Plateforme IA générative on-premise avec orchestration GPU
Déployer une plateforme interne d’IA générative entièrement autonome, qui permet d’exécuter, d’optimiser et d’orchestrer des modèles LLM open source (Llama, Mistral…) sans dépendre des clouds publics.
Missions, technologies et objectifs
Missions
- Déploiement de modèles open source
- Mise en place d’un moteur de prompts interne
- Fine-tuning LoRA sur les données d’ITEmpire
- Interface web et API sécurisées pour un accès interne contrôlé
Spécialités concernées
IA, DevOps, infrastructure cloud, sécurité
Technologies et compétences
- Docker
- Kubernetes GPU
- Hugging Face
- Triton Inference Server
- FastAPI
Objectifs
- Déployer une architecture IA on-premise robuste et scalable.
- Garantir la sécurité, la confidentialité et la performance du traitement IA.
- Optimiser les modèles par fine-tuning LoRA.
- Fournir une plateforme interne unifiée pour l’IA générative.