L’enfant qui apprenait de quatre façons à la fois

Un nouveau-né ne sait presque rien. Quelques mois plus tard, il reconnaît les visages et il anticipe les gestes. Il devine même qu'une cuillère qui approche annonce quelque chose de bon. Comment a-t-il fait ?

D'abord, il est venu au monde avec un équipement de série, inscrit dans son ADN : téter, s'agripper, pleurer. Rien de tout cela ne s'apprend. Ensuite, ses parents lui ont désigné les choses en les commentant, "ça c'est bien", "ça, non". Il a fini par retenir la leçon. Par ailleurs il est tombé, et il s'est fait mal. Aucun adulte n'aurait su lui transmettre cet enseignement avec autant d'efficacité. Enfin, il a longuement regardé les autres faire, et il a recommencé après eux.

Quatre sources, donc, empilées les unes sur les autres. Chacune peut arriver quand la précédente a fait son travail.

Cette description de la façon dont un bébé apprend, vous vous attendez sans doute à la trouver dans un manuel de psychologie du développement. Or elle vient d'ailleurs, et de beaucoup plus loin : de la conclusion d'un cours d'informatique donné à Stanford.

Quatre couches, et non quatre méthodes

Le cours s'intitule "Construire des systèmes d'IA agentiques". Il est donné par Kian Katanforoosh, qui enseigne le deep learning à Stanford aux côtés d'Andrew Ng.

Pourtant, pendant près d'une heure, il déroule devant nous des techniques d'ingénierie qui n'ont rien de pédagogique. Il s'agit de formuler une consigne, de découper une tâche complexe en étapes, ou de mesurer si le résultat tient la route.

Puis, dans les toutes dernières minutes, il change de registre. Il vient d'énumérer les grandes familles d'apprentissage automatique vues pendant le semestre écoulé. Puis il ajoute cette remarque : si l'on regarde comment un bébé apprend, c'est probablement un mélange de tout cela.

Comment un bébé apprend, étage par étage

À chaque étage de l'empilement correspond une famille de méthodes d'apprentissage automatique, c'est-à-dire une façon d'amener une machine à s'améliorer.

• L'instinct de survie inscrit dans l'ADN, c'est le pré-entraînement : tout ce que le modèle a absorbé d'avance.
• Les parents qui désignent et commentent, c'est l'apprentissage supervisé : on montre la bonne réponse, exemple après exemple.
• La chute qui fait mal, c'est l'apprentissage par renforcement : pas de correction, mais un signal, agréable ou non.
• L'observation des autres, enfin, c'est l'apprentissage non supervisé : personne n'explique rien, on dégage seul les régularités.

Une expression que Katanforoosh répète, en revanche, mérite d'être relevée. Ce n'est pas "à côté", ni "en parallèle". C'est "par-dessus". Par-dessus l'instinct viennent les parents ; par-dessus les parents vient la douleur de la chute ; et par-dessus tout cela vient l'observation d'autrui.

Ce n'est pas un éventail de méthodes, c'est un empilement : chaque étage suppose l'existence de ceux du dessous. Il en va comme des strates que dégage une fouille archéologique. Chaque époque d'occupation repose sur celles qui l'ont précédée, sans jamais les effacer.

Sa conclusion tient en une phrase. L'avenir de ces systèmes passe par la convergence (et la complémentarité) de ces méthodes, plutôt que par le triomphe de l'une d'elles.

Un pont, et non une équivalence

Avant d'aller plus loin, une précaution s'impose (d'ailleurs Katanforoosh nous prévient lui-même). Cette image n'a jamais prétendu être autre chose qu'une image.

Quand il pose l'équivalence entre l'ADN et le pré-entraînement, il ajoute aussitôt "si vous voulez". Et sa phrase d'ouverture dit bien "c'est probablement un mélange", et non "c'est un mélange". Ces deux réserves ne sont pas de simples tics de langage. Elles signalent qu'il propose une analogie, et non une démonstration.

Nous sommes probablement un mélange de toutes ces méthodes.

Kian Katanforoosh, cours CS230, Stanford — transcription traduite

Il se montre d'ailleurs plus net encore quelques minutes plus tard. Le cerveau humain, explique-t-il alors, ne fonctionne pas exactement comme ces modèles. Certaines recherches s'inspirent délibérément du vivant. D'autres s'en affranchissent tout aussi délibérément, parce qu'un corps humain impose des contraintes dont une machine n'a que faire.

Un détail vient confirmer cette prudence. Observer les autres pour les imiter, en toute rigueur, relève plutôt de l'apprentissage par imitation que du non-supervisé. L'analogie boite donc un peu. Elle n'en éclaire pas moins quelque chose, et c'est bien tout ce qu'on attend d'une analogie.

Ce que tout formateur y reconnaît

Transposée du côté des humains, cette image dit quelque chose de familier à quiconque a formé des adultes.

J'ai souvent croisé, chez des formateurs — les débutants, mais pas seulement —, une réaction qui revient avec une régularité presque touchante. La découverte d'une technique suscite chez eux un enthousiasme tel qu'elle devient l'alpha et l'oméga de toute pratique. Soudain, la classe inversée règle tout. La pédagogie de projet règle tout. La carte mentale règle tout. Le jeu de rôle règle tout. Chaque fois, la méthode est excellente, et chaque fois, on lui demande de porter bien plus qu'elle ne le peut.

Je ne dis pas cela de l'extérieur, et je m'en voudrais de le laisser croire. J'ai observé cet emballement de très près, et je l'ai sans doute éprouvé moi-même.

Or l'image du bébé désarme cette tentation sans qu'il soit nécessaire de faire la leçon à quiconque. Personne ne soutiendra qu'un nourrisson apprend uniquement en tombant, pas davantage qu'il n'apprendrait uniquement en écoutant ses parents. Aucune modalité ne se suffit à elle-même — ni chez l'enfant, ni chez l'adulte, ni chez la machine.

Le cours qui s'applique à lui-même

Il y a une dernière chose, et c'est peut-être la plus savoureuse de toutes.

En refermant sa séance, Katanforoosh explique un choix de conception. Pour son cours, il a voulu une vue d'ensemble plutôt qu'un approfondissement. Sa raison tient à la vitesse où les choses évoluent : les méthodes changent trop vite. Enseigner la dix-septième technique d'optimisation du moment n'aurait donc aucun sens, puisqu'elle serait périmée avant même d'être maîtrisée. Mieux vaut offrir une largeur de vue, et la capacité d'aller en profondeur le jour où le besoin s'en fera sentir.

C'est un arbitrage de conception pédagogique, formulé avec ce vocabulaire-là. Apprendre à apprendre, dirions-nous.

Cet ingénieur passe donc une heure à expliquer comment faire apprendre des machines. Puis il termine en décrivant un nourrisson, avant de justifier l'organisation de son propre cours. Il ne découvre rien, à vrai dire : il revient. Et ce qu'il retrouve au bout du chemin, c'est que rien, dans l'apprentissage, ne se ramène jamais à une cause unique.

Sources

• Kian Katanforoosh, "Construire des systèmes d'IA agentiques : de l'ingénierie de prompt aux workflows multi-agents", cours CS230, Stanford — vidéo relayée sur X par Krishna Agrawal. (Les citations proviennent d'une transcription traduite en français.)
• Présentation du cours CS230 — Deep Learning, Stanford University : cs230.stanford.edu

---

Le Petit Abécédaire...