La distillation de modèles, c’est la technique qui permet de transférer les capacités d’un très grand modèle d’IA vers un modèle beaucoup plus petit, sans perdre l’essentiel de ses performances. En clair : tu prends un géant comme GPT-5.4, tu extrais son « savoir », et tu l’injectes dans un modèle léger qui tient sur ton téléphone ou ton ordi. Le résultat ? Une IA presque aussi intelligente, mais infiniment plus rapide et moins gourmande en ressources.
C’est une des techniques les plus importantes de l’IA moderne. Et pourtant, très peu de gens en ont entendu parler. Cet article t’explique tout, simplement.
Pourquoi les grands modèles IA posent un problème concret ?
Un modèle IA comme GPT-5 pèse des dizaines, voire des centaines de gigaoctets, et nécessite des cartes graphiques très puissantes pour fonctionner. Ces modèles sont impressionnants, mais impossibles à faire tourner sur du matériel grand public. Tu ne peux pas les mettre sur un smartphone. Tu ne peux pas les intégrer dans une appli légère. Et les faire fonctionner en production coûte une fortune en serveurs.
Le problème est réel : les meilleurs modèles sont réservés à ceux qui ont les moyens de payer l’infrastructure. Tout le monde ne peut pas se payer des GPU à 10 000€ par mois.
C’est là que la distillation entre en jeu. Elle permet de rendre l’intelligence accessible, sans sacrifier toute la qualité.
Comment fonctionne la distillation de modèles concrètement ?
La distillation repose sur un principe simple : un grand modèle (appelé « teacher », le professeur) va enseigner à un petit modèle (appelé « student », l’élève) comment raisonner, pas seulement quelles réponses donner.
Voici comment ça se passe en pratique :
- Le teacher génère des réponses sur un grand nombre d’exemples.
- Ces réponses contiennent plus que juste « la bonne réponse ». Elles contiennent des probabilités : le modèle indique à quel point il hésite entre plusieurs options. C’est ce qu’on appelle les soft labels.
- Le student apprend à imiter ces probabilités, pas seulement les résultats finaux.
- Ce faisant, il absorbe une part du raisonnement du teacher, pas juste ses conclusions.
La différence avec un entraînement classique ? Si tu entraînes un petit modèle normalement, tu lui donnes des réponses correctes ou incorrectes. Binaire. Avec la distillation, tu lui donnes des nuances : « cette réponse est probable à 70%, celle-là à 20%, celle-là à 10%. » Le student apprend à penser avec des nuances, ce qui le rend beaucoup plus performant que s’il apprenait seul.
C’est exactement comme un apprenti cuisinier qui ne copie pas juste les recettes, mais observe les gestes, les hésitations, les ajustements du chef. Il apprend le raisonnement, pas juste le résultat.
Quels sont les différents types de distillation qui existent ?
Il n’existe pas qu’une seule façon de faire de la distillation : les chercheurs ont développé plusieurs variantes selon l’objectif visé.
La distillation classique (response-based) : le student apprend directement depuis les sorties du teacher. C’est la forme la plus simple et la plus utilisée. Le teacher génère des données d’entraînement enrichies, et le student les absorbe.
La distillation basée sur les features : au lieu de copier seulement les sorties, le student essaie de reproduire les représentations internes du teacher, ce que le modèle « voit » à l’intérieur de ses couches. C’est plus complexe mais souvent plus efficace.
La distillation basée sur les relations : ici, le student apprend à reproduire la façon dont le teacher compare différents exemples entre eux. Il capture les relations entre les données, pas juste les réponses individuelles.
La self-distillation : un modèle s’enseigne à lui-même, en utilisant ses propres prédictions comme cibles d’entraînement. Une technique plus récente et de plus en plus utilisée.
Quels modèles populaires sont nés de la distillation ?
La distillation n’est pas théorique : elle a déjà produit des modèles que tu utilises peut-être sans le savoir.
| Modèle distillé | Modèle teacher | Gain obtenu |
|---|---|---|
| DistilBERT | BERT (Google) | 60% plus petit, 97% des performances |
| DeepSeek-R1-Distill | DeepSeek-R1 | Modèles 7B/14B ultra-performants |
| Phi-3 Mini (Microsoft) | Modèles GPT-4 class | 3,8B paramètres, performances bluffantes |
| Gemma 2 (Google) | Gemini Pro | Tient sur un laptop standard |
Si tu utilises Ollama pour faire tourner une IA en local, il y a de fortes chances que tu utilises déjà des modèles distillés sans t’en rendre compte. C’est ce qui permet à ces petits modèles d’être aussi impressionnants malgré leur taille réduite.
Distillation vs quantization : c’est la même chose ?
Non, et c’est une confusion très fréquente : la distillation et la quantization sont deux techniques différentes pour réduire la taille d’un modèle, mais elles n’agissent pas au même endroit.
La quantization réduit la précision des chiffres utilisés dans le modèle : au lieu de stocker les valeurs en 32 bits, on les compresse en 8 bits ou 4 bits. Le modèle reste structurellement le même, il pèse juste moins lourd.
La distillation, elle, crée un nouveau modèle plus petit dès le départ. Elle ne compresse pas un modèle existant : elle en forme un nouveau qui apprend à imiter le grand.
Dans la pratique, les deux techniques sont souvent combinées : tu distilles d’abord un modèle plus petit, puis tu le quantifies pour le rendre encore plus léger. C’est ainsi qu’on obtient des modèles qui tournent sur des smartphones.
Quelles sont les limites de la distillation ?
La distillation est puissante, mais elle a des contraintes réelles qu’il faut connaître avant de s’emballer.
La perte de performance sur les tâches complexes : un modèle distillé reste inférieur au teacher sur des tâches qui demandent beaucoup de raisonnement. Si tu as besoin d’analyses très profondes ou de raisonnements en plusieurs étapes, le student montrera ses limites. Pour tout ce qui touche au raisonnement avancé, c’est d’ailleurs l’un des enjeux des mécanismes d’inférence modernes.
Le teacher doit être accessible : pour distiller un modèle, tu dois pouvoir obtenir ses sorties en grande quantité. Si le teacher est une API fermée et coûteuse, distiller devient cher. Et certaines entreprises interdisent explicitement dans leurs CGU d’utiliser leurs sorties pour entraîner des modèles concurrents.
La qualité des données de distillation compte énormément : si le teacher génère de mauvaises sorties sur certains sujets, le student apprendra ces erreurs. Les hallucinations du teacher peuvent se transmettre à l’élève.
Le gap de capacité : si le student est trop petit par rapport au teacher, il ne pourra tout simplement pas absorber toute la complexité. Il y a une limite à ce qu’un modèle de 3 milliards de paramètres peut apprendre d’un modèle de 70 milliards.
Pourquoi la distillation va changer la façon dont tu utilises l’IA ?
La distillation est en train de démocratiser l’accès à des IA puissantes, et ça va avoir un impact direct sur ta façon d’utiliser ces outils.
On s’approche d’un monde où des modèles très capables tourneront directement sur ton téléphone, sans connexion internet, sans abonnement mensuel, sans envoyer tes données à un serveur distant. Des applis de traduction, d’analyse de documents, de génération de texte, tout ça en local sur ton appareil.
C’est aussi ce qui rend possible des outils comme LM Studio pour faire tourner des IA localement avec des modèles accessibles au grand public. Les modèles distillés, c’est le moteur invisible derrière cette révolution.
Et pour les développeurs et entreprises, la distillation permet de créer des modèles spécialisés sur un domaine précis (médecine, droit, finance) qui sont plus efficaces que le teacher généraliste sur ces niches spécifiques. C’est une des grandes directions du fine-tuning et de la personnalisation des modèles.
En résumé : la distillation de modèles IA
La distillation de modèles, c’est la technique qui permet à de petits modèles d’apprendre les raisonnements d’un grand modèle, et non pas seulement ses réponses. Le résultat : des IA légères, rapides et économiques qui conservent une grande partie de l’intelligence du teacher. C’est grâce à cette technique que des modèles impressionnants comme Phi-3 ou DistilBERT existent. Et c’est ce qui va, dans les prochaines années, permettre à des IA puissantes de tourner directement sur tes appareils du quotidien, sans cloud ni abonnement.
Questions fréquentes sur la distillation de modèles IA
La distillation, c’est la même chose que le fine-tuning ?
Non, ce sont deux techniques différentes. Le fine-tuning prend un modèle existant et l’entraîne sur des données spécifiques pour l’adapter à une tâche précise. La distillation, elle, crée un nouveau modèle plus petit qui apprend à imiter le comportement d’un grand modèle. Les deux peuvent être utilisés ensemble, mais ils répondent à des objectifs différents.
Est-ce qu’un modèle distillé est vraiment aussi bon que l’original ?
Pas tout à fait, mais souvent très proche sur les tâches courantes. DistilBERT, par exemple, conserve 97% des performances de BERT tout en étant 60% plus petit. Sur des tâches très complexes ou des raisonnements très longs, le modèle distillé montrera ses limites. Mais pour la plupart des usages quotidiens, la différence est souvent imperceptible.
Est-ce qu’on peut distiller n’importe quel modèle IA ?
En théorie oui, mais en pratique il faut accéder aux sorties du teacher en grande quantité. Si le modèle teacher est un modèle open source, c’est possible. Si c’est un modèle propriétaire accessible uniquement via API, c’est plus compliqué et souvent interdit par les conditions d’utilisation. OpenAI, par exemple, interdit explicitement d’utiliser ses sorties pour entraîner des modèles concurrents.
Pourquoi les modèles distillés sont-ils si importants pour l’IA locale ?
Parce qu’ils permettent de faire tenir une IA performante dans la mémoire limitée d’un ordinateur grand public ou d’un smartphone. Sans distillation, les meilleurs modèles nécessitent des dizaines de gigaoctets de VRAM. Les modèles distillés peuvent tourner avec quelques gigaoctets seulement, ce qui ouvre la porte à une utilisation vraiment locale et privée.
La distillation peut-elle transmettre les biais du teacher ?
Oui, c’est un risque réel. Si le teacher a des biais dans ses réponses ou tend à halluciner sur certains sujets, le student va apprendre ces comportements. C’est pourquoi la qualité des données générées par le teacher est cruciale. Les équipes qui créent des modèles distillés doivent filtrer et vérifier soigneusement ce que le teacher produit.
Est-ce que la distillation va rendre les abonnements IA payants obsolètes ?
Pas complètement, mais elle va changer le paysage. Les abonnements aux modèles les plus puissants resteront utiles pour des tâches très exigeantes. Mais pour un usage quotidien, des modèles distillés locaux pourraient largement suffire dans les prochaines années, gratuitement et sans envoyer tes données dans le cloud.