2026-32914 - IDIV CN / AP - DTNUM Pôle données et IA Ingénieur LLM Ops - H/F

Domaine et métier : Numérique/Data Scientist
Nature de l'emploi : Emploi ouvert aux titulaires et/ou aux contractuels
Description du poste :
Ingénieur(e) LLM Ops au sein de la plateforme d'IA générative Diane Contexte :La direction générale des Finances publiques (DGFiP) développe Diane, sa plateforme souveraine d'intelligence artificielle générative.Cette plateforme a pour objectif de déployer et mettre à disposition, dans les meilleures conditions de performance, de fiabilité et de sécurité, des modèles d'IA Open Weight pour les applications du système d'information de la DGFiP et pour les services d'IA proposés directement à ses agents.Diane s'appuie prioritairement sur des technologies open source, déployées sur des infrastructures maîtrisées par la DGFiP. La plateforme doit permettre d'industrialiser l'utilisation des modèles de langage, depuis leur évaluation jusqu'à leur exposition en production, tout en optimisant l'utilisation de ressources de calcul GPU contraintes.L'équipe évolue dans un domaine particulièrement dynamique, dans lequel les modèles, frameworks et méthodes d'optimisation progressent rapidement. Elle assure à la fois la construction de la plateforme, son exploitation en production, son évolution technologique et l'accompagnement des équipes utilisatrices. Rôle :En tant qu'Ingénieur(e) LLM Ops, vous serez en charge de l'industrialisation, du déploiement, de l'optimisation et du maintien en conditions opérationnelles des modèles de langage mis à disposition sur la plateforme Diane.Vous contribuerez en particulier à obtenir le meilleur niveau de service possible à ressources matérielles données. L'optimisation des performances d'inférence constitue à ce titre une composante centrale du poste.Vous participerez également aux choix technologiques de la plateforme et accompagnerez les équipes de la DGFiP dans l'utilisation des services d'IA générative. Au sein de la DGFIP, l’emploi est calibré « inspecteur divisionnaire de classe normale des finances publiques (IDIV CN)». Pour les candidates/candidats fonctionnaires, il conviendra de détenir un grade équivalent (attachée principale/attaché principal pour IDIV CN// grade ad hoc équivalent ). Selon le corps d'origine détenu, le recrutement pourra s'effectuer dans le cadre d'un détachement à équivalence de grade avec celui détenu dans l'administration d'origine et à l'échelon comportant un indice égal ou immédiatement supérieur à celui détenu précédemment, d'une affectation ou d'une PNA. Pour les candidates/candidats non fonctionnaires, la rémunération proposée sera déterminée en fonction notamment du niveau de diplôme et de l'expérience professionnelle de la candidate/du candidat.

Savoirs-faire :Diplômé(e) d'un Bac+5 en école d'ingénieur ou équivalent universitaire, vous justifiez d'une expérience significative dans la mise en production et l'exploitation de systèmes logiciels, ML ou IA.Vous disposez d'une très bonne compréhension du fonctionnement des LLM et de leur inférence : tokenisation, génération autorégressive, attention, KV cache, batching, parallélisme et contraintes mémoire GPU.Vous avez déjà travaillé sur des systèmes en production et êtes attentif(ve) à leur fiabilité, leur observabilité, leurs performances et leur maintenabilité.Vous êtes capable d'investiguer un problème de manière autonome, depuis le comportement d'un modèle jusqu'aux couches système, réseau, conteneurisation ou GPU.Vous êtes à l'aise dans un environnement où les technologies évoluent rapidement et savez expérimenter, mesurer et remettre en question les choix existants.Vous maîtrisez suffisamment l'anglais pour lire la documentation technique, suivre les projets open source et échanger avec leurs communautés.Une participation à des projets ou des contributions à la communauté open source seront particulièrement appréciées. Compétences techniques : • vLLM : expertise attendue. Très bonne compréhension de son architecture, de sa configuration, de ses mécanismes de scheduling, de gestion mémoire et de parallélisation ainsi que des principaux leviers d'optimisation de l'inférence. • Bonne connaissance de l'écosystème des LLM Open Weight et des outils associés, notamment Hugging Face. • Solides compétences en Python. • Très bonne maîtrise des environnements Linux. • Expérience de Kubernetes, de la conteneurisation et du déploiement de services en production. • Connaissance des problématiques liées aux GPU, à CUDA et aux mécanismes de communication et de parallélisation utilisés pour l'inférence distribuée.• Expérience des problématiques d'observabilité, de monitoring et de diagnostic de services distribués. • Connaissance des mécanismes d'exposition de modèles sous forme d'API et des architectures de gateway associées. • Bonne connaissance des technologies d'agents IA techniques, aussi bien du point de vue utilisateur que de leur déploiement et de leur exploitation. • Une expérience des environnements GitOps, CI/CD, Helm, Argo CD, Prometheus/Grafana ou technologies équivalentes est un plus. Savoir-être :Sens du travail en équipe, autonomie, rigueur et capacité d'analyse.Curiosité technique et capacité à apprendre rapidement dans un domaine en évolution permanente.Goût pour l'expérimentation, la mesure et l'optimisation.Qualités relationnelles et pédagogiques permettant d'accompagner des équipes aux niveaux de maîtrise variés.Sens des responsabilités et de la fiabilité nécessaires au travail sur des systèmes de production critiques et des systèmes d'information sécurisés.Esprit de partage, intérêt pour l'open source et sens du service public.
Lieu d'affectation : Immeuble Xylo, 18 av. des Olympiades 94120 Fontenay-ss-Bois
Niveau d'études min. souhaité : Niveau 6 Licence/diplômes équivalents
Langue / Niveau :
Anglais : Autonome