Intermédiaire

Fine-tuning et personnalisation de LLM — 3 jours

Formation L200 — Intermédiaire. Vous savez ce qu'est un LLM, maintenant apprenez à le personnaliser. Cette formation pratique vous guide pas à pas pour fine-tuner un modèle open-source (Llama, Mistral) sur vos propres données avec les techniques LoRA/QLoRA. De la préparation du dataset à la mise en service du modèle, vous maîtriserez le pipeline complet de personnalisation.

✓Inclus dans l'abonnement — 9,99 €/mois sans engagement

S'abonner — 9,99 €/mois

3 jours

21h de formation

6 modules

Max 12 participants

Fine-tuningLoRAOpen-source

9,99 €/mois

Acces a toutes les formations · Sans engagement

Prochaine session : 2 juin 2026

S'abonner — 9,99 €/mois

✓Acces illimite a toutes les formations

✓Nouveaux contenus chaque mois

✓Resiliable a tout moment

AI Act : la formation IA devient obligatoire avant le 2 aout 2026

Anticipez la mise en conformite de votre entreprise. Voir nos formations

Ce que vous allez construire et apprendre

Des competences immediatement applicables dans votre contexte professionnel

✓Choisir entre fine-tuning, RAG et prompt engineering selon le cas d'usage
✓Préparer un dataset de qualité aux formats standard (JSONL, Alpaca, ShareGPT)
✓Fine-tuner un modèle avec LoRA et QLoRA sur GPU consumer
✓Évaluer un modèle fine-tuné avec des métriques quantitatives et qualitatives
✓Déployer un modèle personnalisé avec vLLM, TGI ou Ollama
✓Optimiser les coûts : choix du modèle de base, quantization post-training

Programme detaille

6 modules · 21h de formation intensive

01Quand fine-tuner : arbre de décision

3h30

●Fine-tuning vs RAG vs prompt engineering : matrice de décision
●Types de fine-tuning : full, LoRA, QLoRA, prefix-tuning
●Prérequis hardware et budget : GPU VRAM, temps de calcul
●Atelier : évaluer 5 cas d'usage et recommander la bonne approche

02Préparation des données

3h30

●Formats de datasets : JSONL, Alpaca, ShareGPT, conversation
●Nettoyage et validation : détection de doublons, incohérences, biais
●Métriques de qualité : diversité, couverture, distribution
●Atelier : construire un dataset de 500 exemples à partir de données brutes

03Fine-tuning avec LoRA et QLoRA

3h30

●LoRA : théorie (matrices low-rank) et implémentation avec PEFT
●QLoRA : combiner quantization et LoRA pour GPU consumer
●Outils : Hugging Face Transformers, Axolotl, Unsloth
●Atelier : fine-tuner Mistral 7B sur un dataset métier

04Évaluation et benchmarking

3h30

●Métriques automatiques : perplexité, BLEU, ROUGE
●LLM-as-judge : utiliser Claude/GPT pour évaluer les réponses
●Évaluation humaine : grilles de notation, accord inter-annotateurs
●Atelier : construire une suite d'évaluation complète pour son modèle

05Déploiement et serving

3h30

●vLLM : serving haute performance avec paged attention
●Text Generation Inference (TGI) : le standard Hugging Face
●Ollama : déployer localement pour le prototypage et la production légère
●Atelier : déployer son modèle fine-tuné et benchmarker les latences

06Projet de synthèse : cas client

3h30

●Étude de cas complète : fine-tuner un modèle de support client
●Pipeline end-to-end : données brutes → dataset → fine-tuning → évaluation → déploiement
●Optimisation des coûts : choix du modèle de base, quantization post-training
●Présentation et retours du formateur

Programme détaillé par demi-journée

6 demi-journées · 21h de formation

Demi-journée 1 — Quand fine-tuner : arbre de décision

Objectif : Choisir la stratégie de personnalisation adaptée (fine-tuning, RAG ou prompt engineering) pour un cas d'usage donné

3h30

●Matrice de décision : fine-tuning vs RAG vs prompt engineering — critères de choix (volume de données, latence, coût, contrôle)
●Types de fine-tuning : full fine-tuning, LoRA, QLoRA, prefix-tuning — avantages et limites de chacun
●Prérequis hardware : calcul de la VRAM requise selon le modèle et la technique (tableau de référence)
●Budget réaliste : coût GPU/heure, durée d'entraînement estimée, comparaison cloud vs on-premise
●Cas d'usage où le fine-tuning est indispensable : ton de marque, terminologie métier, format de sortie spécifique

Cas pratiqueAtelier : analyser 5 cas d'usage réels (chatbot juridique, assistant médical, générateur de fiches produit, traducteur technique, agent de support). Pour chacun, recommander fine-tuning, RAG ou prompt engineering avec justification chiffrée.

Evaluation : Quiz d'ancrage (10 questions) : choisir la bonne stratégie de personnalisation selon les contraintes du projet

Demi-journée 2 — Préparation des données de fine-tuning

Objectif : Construire un dataset de fine-tuning de qualité à partir de données métier brutes

3h30

●Formats standards : JSONL (instruction/input/output), Alpaca, ShareGPT (multi-turn), format conversation Hugging Face
●Pipeline de collecte : extraction depuis bases de données, logs de support, documentation interne, conversations existantes
●Nettoyage : détection de doublons (MinHash), suppression de PII, correction des incohérences, normalisation
●Métriques de qualité : diversité lexicale, couverture des cas d'usage, distribution des longueurs, équilibre des catégories
●Augmentation de données : reformulation par LLM, traduction, synthèse de cas limites

Cas pratiqueAtelier : à partir d'un export brut de 2 000 tickets de support client (fourni), construire un dataset de 500 exemples de qualité au format JSONL. Pipeline complet : extraction, nettoyage, validation, split train/eval.

Evaluation : Quiz d'ancrage (10 questions) : identifier les problèmes de qualité dans un dataset et proposer des corrections

Demi-journée 3 — Fine-tuning avec LoRA et QLoRA

Objectif : Fine-tuner un modèle Mistral 7B avec LoRA/QLoRA sur le dataset préparé en demi-journée 2

3h30

●LoRA en profondeur : décomposition en matrices low-rank, rang optimal, couches cibles (attention, MLP)
●QLoRA : quantization NF4 + LoRA — comment entraîner un 7B sur un GPU 16 Go de VRAM
●Configuration d'Axolotl : fichier YAML, hyperparamètres clés (learning rate, epochs, batch size, warmup)
●Alternative rapide avec Unsloth : 2x plus rapide, 60% moins de VRAM — quand l'utiliser
●Monitoring de l'entraînement : courbes de loss, détection du surapprentissage, early stopping

Cas pratiqueLab : fine-tuner Mistral 7B avec QLoRA sur le dataset de support client construit en demi-journée 2. Configurer Axolotl, lancer l'entraînement sur GPU cloud, surveiller les métriques en temps réel avec Weights & Biases.

Evaluation : Quiz d'ancrage (10 questions) : paramétrer un fine-tuning LoRA et diagnostiquer les problèmes courants

Demi-journée 4 — Évaluation et benchmarking

Objectif : Évaluer rigoureusement un modèle fine-tuné avec des métriques automatiques, LLM-as-judge et évaluation humaine

3h30

●Métriques automatiques : perplexité (mesure de surprise du modèle), BLEU et ROUGE (pour les tâches de génération/résumé)
●LLM-as-judge : utiliser Claude comme évaluateur avec des grilles de notation structurées (fidélité, pertinence, ton)
●Évaluation humaine : protocole de notation, accord inter-annotateurs (kappa de Cohen), biais à éviter
●Comparaison A/B : base model vs fine-tuned — mesurer l'amélioration sur les métriques métier
●Regression testing : s'assurer que le fine-tuning n'a pas dégradé les capacités générales du modèle

Cas pratiqueLab : construire une suite d'évaluation complète pour le modèle fine-tuné. Comparer base vs fine-tuned sur 50 exemples de test avec perplexité, LLM-as-judge (Claude) et évaluation humaine croisée entre participants.

Evaluation : Quiz d'ancrage (10 questions) : interpréter les résultats d'évaluation et décider si un fine-tuning est réussi

Demi-journée 5 — Déploiement et serving en production

Objectif : Déployer un modèle fine-tuné en production avec vLLM ou Ollama et mesurer les performances

3h30

●vLLM : architecture paged attention, throughput élevé, compatible OpenAI API — idéal pour la production
●Text Generation Inference (TGI) : le standard Hugging Face, intégration native avec les modèles du Hub
●Ollama : packaging en Modelfile, déploiement local en 3 commandes — idéal pour le prototypage et les petites équipes
●Quantization post-training : GPTQ, AWQ, GGUF — réduire la taille du modèle pour réduire les coûts d'inférence
●Benchmarking : mesurer latence (TTFT, TPS), throughput (requêtes/seconde), consommation VRAM

Cas pratiqueLab : déployer le modèle fine-tuné via 3 méthodes (vLLM, TGI, Ollama). Benchmarker les latences et le throughput. Créer un Modelfile Ollama pour distribuer le modèle à l'équipe.

Evaluation : Quiz d'ancrage (10 questions) : choisir la solution de serving adaptée selon les contraintes de production

Demi-journée 6 — Projet capstone : pipeline complète

Objectif : Livrer un pipeline de fine-tuning end-to-end reproductible et documenté

3h30

●Synthèse du pipeline : données brutes → dataset → fine-tuning → évaluation → déploiement
●Optimisation des coûts : choix du modèle de base (7B vs 13B vs 70B), impact de la quantization sur la qualité
●Reproductibilité : versioning des datasets (DVC), des modèles (Hugging Face Hub), des configurations (git)
●Maintenance : quand re-fine-tuner, détection de la dérive des données, pipeline de mise à jour
●Présentation des projets devant le groupe et feedback individualisé du formateur

Cas pratiqueProjet de synthèse : présenter son pipeline de fine-tuning complète — du dataset brut au modèle déployé et évalué. Soutenance de 10 minutes avec démonstration live du modèle en production. Feedback individualisé.

Evaluation : Quiz final récapitulatif (20 questions) : valider l'ensemble des compétences acquises — décision, données, entraînement, évaluation, déploiement

Public cible et prérequis

Ce programme est fait pour vous si vous êtes

✓Développeurs Python souhaitant personnaliser des modèles de langage
✓Data scientists et ML engineers explorant les LLM
✓Tech leads évaluant le fine-tuning pour leur organisation
✓Ingénieurs NLP en transition vers les grands modèles de langage
✓Tout développeur ayant suivi la formation L100 et voulant passer à la pratique

Prérequis détaillés

Niveau : Perfectionnement

●Maîtriser Python à un niveau intermédiaire (classes, environnements virtuels, pip/conda)
●Avoir des notions de machine learning : ce qu'est un modèle, une fonction de perte, un entraînement
●Formation L100 'Comprendre les LLM de A à Z' recommandée (ou connaissances équivalentes sur l'architecture Transformer)

Modalités pédagogiques et moyens

Approche pédagogique

●Formation structurée autour du transfert de compétences opérationnelles
●Apprentissage par la pratique : chaque concept est suivi d'un exercice de fine-tuning appliqué à des cas réels
●Apprentissage collaboratif : échanges entre pairs développeurs et data scientists
●Parcours progressif en 6 demi-journées avec montée en compétence graduelle
●Alternance théorie (30%) / pratique sur cas réels (70%)

Moyens et ressources fournis

✓Plateforme e-learning Talki Academy avec accès post-formation (6 mois)
✓GPU cloud fournis pour toute la durée de la formation (RunPod ou Vast.ai, quota suffisant pour tous les exercices)
✓Environnement sandbox préconfiguré : Jupyter, Hugging Face Transformers, PEFT, Axolotl, Unsloth
✓Support de cours PDF téléchargeable (200+ pages, avec exemples de code commentés)
✓Dépôt GitHub privé avec tout le code des exercices, datasets et modèles fine-tunés
✓Enregistrements vidéo des sessions (accès 6 mois)

Évaluation et suivi

Modalités d'évaluation

●Auto-positionnement en amont de la formation (questionnaire technique en ligne)
●Quiz d'évaluation à la fin de chaque module (6 quiz, seuil de réussite : 70%)
●Cas pratique fil rouge : fine-tuner un modèle de support client end-to-end
●Auto-évaluation des compétences acquises en fin de formation
●Évaluation à froid à 60 jours : questionnaire de transfert des acquis en situation de travail

Accompagnement

Assistance technique et pédagogique joignable entre 9h et 18h (jours ouvrés) par email à support@talki-academy.fr. Réponse sous 24h ouvrées. Accès au forum communautaire des apprenants.

Résultats de la formation

Indicateurs mesurés auprès des apprenants sur les 12 derniers mois

95%

Taux de satisfaction

90%

Taux de réussite

79%

Mise en oeuvre à J+60

☉

Accessibilité

Formation accessible aux personnes en situation de handicap. Contactez-nous à accessibilite@talki-academy.fr pour étudier les adaptations nécessaires (supports, rythme, outils).

Prochaines sessions

Places limitées à 12 participants par session

Ville / Format	Dates	Inscription
Paris	2 Juin 2026 · 21 Sep. 2026 · 14 Déc. 2026	S'inscrire
À distance	2 Juin 2026 · 21 Sep. 2026 · 14 Déc. 2026	S'inscrire

Parcours apprenant avant et après la formation

Avant la formation

Engagement apprenant

En amont de la formation : connectez-vous à votre espace apprenant pour compléter le questionnaire de positionnement et configurer votre environnement Python. Un guide d'installation vous sera envoyé par email. Votre formateur recevra vos objectifs de progression personnalisés.

Après la formation

Transfert de compétences

À l'issue de la formation : accédez à vos ressources, auto-évaluez vos compétences acquises et retrouvez votre dépôt GitHub avec tout le code et les modèles produits. Un point de suivi individuel est proposé à J+30.

Pour qui est cette formation ?

Profils vises

✓Développeurs

Intermédiaire21h · 12 personnes max

Prerequis

●Python niveau intermédiaire (fonctions, classes, environnements virtuels)
●Notions de base en machine learning (ce qu'est un modèle, un entraînement, une loss)
●Formation L100 'Comprendre les LLM de A à Z' recommandée

Modalites

Format

Présentiel ou distanciel — groupe de 6 à 12 personnes

Duree

3 jours (21h)

Prochaine session

2 juin 2026

Certification

Attestation de formation + accès au dépôt de code et modèle fine-tuné

Financement

Reste à charge potentiel : 0€

Nos formations sont éligibles à la prise en charge OPCO dans le cadre du plan de développement des compétences. Selon votre OPCO (ATLAS, OPCO2i, AFDAS, AKTO...), la formation peut être financée à 100%.

✓Nous gérons les démarches administratives OPCO
✓Convention de formation et programme fournis
✓Attestation officielle en fin de formation
✓Déductible en charges pour votre entreprise

Prochaine session : 2 juin 2026

Fine-tuning et personnalisation de LLM

9,99 €/mois

Abonnement mensuel

Acces a toutes les formations

Sans engagement, resiliable a tout moment

✓3 jours intensifs
✓12 participants max
✓Livrables production-ready
✓Support post-formation 30 jours

S'abonner — 9,99 €/mois Vérifier mon éligibilité OPCO

* Dans le cadre du plan de développement des compétences. Consultez votre OPCO.

Aller plus loin

Ressources vidéo recommandées

Une sélection de vidéos des meilleurs experts pour approfondir chaque module de la formation.

Module 1

1h30

A Hackers' Guide to Language Models

Jeremy Howard

Le fondateur de fast.ai explique quand et comment fine-tuner un modèle. Approche pragmatique orientée praticien, pas théoricien.

Module 2

Fine-tuning Large Language Models

DeepLearning.AI (Andrew Ng)

Cours court de DeepLearning.AI sur le fine-tuning. Andrew Ng rend les concepts accessibles avec des exemples concrets et du code.

Module 3

32 min

LoRA: Low-Rank Adaptation — Paper Explained

Yannic Kilcher

Explication détaillée du paper LoRA par Yannic Kilcher. Comprendre la théorie derrière la technique de fine-tuning la plus utilisée.

Module 4

Coding LLMs from the Ground Up: A 3-hour Workshop

Sebastian Raschka

Workshop pratique de Sebastian Raschka (auteur de 'Build a LLM from Scratch'). Construction et fine-tuning d'un LLM étape par étape en PyTorch.

Module 5

45 min

Hugging Face Transformers — Fine-tuning Tutorial

Hugging Face

Tutoriel officiel Hugging Face pour fine-tuner un modèle avec la librairie Transformers. Code et bonnes pratiques directement applicables.

Module 6

21 min

Fine-tuning with QLoRA → MXFP4 → vLLM Deployment

Gareth Jones

Pipeline end-to-end : fine-tuning QLoRA, quantization et déploiement vLLM. Cas pratique complet idéal pour le projet de synthèse.

ⓘ Ces vidéos sont des contenus externes produits par des créateurs indépendants et ne sont pas la propriété d'Academy Talki. Elles sont recommandées à titre pédagogique pour compléter et vulgariser le contenu de la formation.