Un ami m'a récemment envoyé un article. Il fait partie de l'équipe derrière celui-ci, et il pensait que je le trouverais intéressant étant donné le travail sur les agents d'IA que je fais. Il avait raison.

L'article est NeMoCo: Apprentissage contrastif auto-supervisé pour les morphologies 3D de l'ultrastructure en neurosciences, publié dans Graphical Models d'Elsevier (août 2026). L'auteur principal est Humaira Shaffique, encadré par le Dr Marco Agus à l'université Hamad Bin Khalifa, avec les co-auteurs Dr Uzair Shah, Dr Mahmood Alzubaidi, Dr Jens Schneider, Dr Pierre Julius Magistretti, Dr Corrado Calì et le Prof Mowafa H. Le code est open-source sur GitHub sous licence MIT.

Je ne suis pas neuroscientifique. Je suis ingénieur en IA. Je passe mes journées à construire Aura — un assistant IA personnel qui gère la mémoire, achemine les tâches, récupère le contexte et tente d'être réellement utile d'une session à l'autre. Mais en lisant NeMoCo, je voyais sans cesse les mêmes problèmes structurels auxquels je suis confronté en ingénierie des agents, simplement habillés sous les données de microscopie électronique et la géométrie spectrale. Ainsi, voici une rédaction technique sous cet angle — ce que fait NeMoCo, pourquoi c'est intéressant, et ce que cela reflète dans le travail de construction de systèmes d'agents.

Le problème : Les étiquettes sont coûteuses, la biologie ne les utilise pas

Les neuroscientifiques utilisent la microscopie électronique en volume (MEV) pour capturer des images 3D du tissu cérébral à résolution nanométrique. À partir de ces images, ils reconstruisent des maillages 3D des structures subcellulaires — les névrites (branches d'axones et de dendrites), des organites telles que les mitochondries, l'enveloppe nucléaire. Ces maillages sont les morphologies : les formes réelles en 3D des structures neuronales.

Pour les classer — s'agit-il d'un axone, d'un dendrite, d'une épine ? — il faut des neuroscientifiques experts pour étiqueter manuellement chaque maillage. C'est lent, coûteux et ne scale pas. On ne peut pas entraîner un classifieur supervisé sans étiquettes, et on ne peut pas obtenir d'étiquettes sans experts. La connectomique doit traiter des millions de ces structures. L'étiquetage manuel constitue un goulot d'étranglement.

Voici ce qui m'a interpellé : le cerveau ne reçoit pas d'étiquettes non plus. Un enfant n'a pas besoin qu'on lui dise « ceci est une chaise » pour chaque chaise qu'il voit. Il apprend le concept en observant des chaises sous différents angles, avec différents éclairages, à différentes distances — découvrant les propriétés invariantes qui font qu'une chaise est une chaise. Pas d'étiquettes. Juste une expérience brute et la découverte de la structure.

NeMoCo se demande : une machine peut-elle faire la même chose avec les structures neuronales ?

Ce que fait NeMoCo

NeMoCo est un pipeline d'apprentissage contrastif auto-supervisé pour la classification de maillages 3D. Il apprend à reconnaître des structures neuronales sans aucun exemple étiqueté pendant le pré-entraînement. L'architecture est un système d'encodeur double de style CLIP appliqué aux maillages 3D.

Voici comment cela fonctionne :

1. Prenez un maillage 3D non étiqueté d'une neurite ou d'un organite.
2. Créez deux vues du même maillage : l'original (ou légèrement augmenté) et une version transformée — rotation aléatoire (±60°), mise à l'échelle (0,6–1,4×), cisaillement, et éventuellement décimation (50–75 % de faces en moins).
3. Faites passer les deux vues dans un DiffusionNet encoder — un réseau de neurones qui opère directement sur les surfaces 3D en utilisant la géométrie spectrale (valeurs propres et vecteurs propres du laplacien du maillage).
4. L'encodeur produit un vecteur d'embedding de 32 dimensions pour chaque vue.
5. Une CLIP-style contrastive loss entraîne le modèle à rapprocher les deux vues du même maillage tout en éloignant les embeddings de maillages différents.
6. Une branche de l'encodeur est mise à jour via la rétropropagation normale ; l'autre est un momentum-updated "teacher" (EMA, momentum=0.999) — l'approche MoCo, qui évite l'effondrement de la représentation.

L'idée clé : en apprenant qu'un maillage tourné, mis à l'échelle et décimé est « la même chose », l'encodeur découvre les caractéristiques géométriques intrinsèques qui définissent chaque type de structure neuronale — sans jamais être informé de ce que sont ces types.

Pourquoi DiffusionNet est important ici

DiffusionNet (Sharp et al., SIGGRAPH 2022) n'est pas quelque chose que NeMoCo a inventé. C'est une architecture empruntée pour l'apprentissage sur des surfaces 3D. Mais le choix est significatif. Contrairement aux CNN (qui nécessitent des grilles régulières) ou à PointNet (qui traite les points indépendamment), DiffusionNet opère sur la géométrie spectrale d'une surface — en calculant les fonctions propres du laplacien (pensez : modes de vibration de la forme) et en utilisant les signatures du noyau de chaleur (HKS) comme descripteurs multi-échelle qui capturent la forme locale à différentes échelles spatiales.

Cela importe parce que les neurones sont fondamentalement des structures 3D. La géométrie EST la morphologie. Lorsque vous classez des structures neuronales, la forme — sa courbure, son ramification, son épaisseur, la texture de sa surface — est le signal. DiffusionNet respecte cela. Il n'aplatit pas le maillage en image ni ne le réduit à un nuage de points. Il apprend sur la surface même.

Dans NeMoCo, DiffusionNet prend en entrée des caractéristiques HKS de dimension 16 et produit un embedding de dimension 32, en utilisant 4 blocs de largeur 128. L'architecture est empruntée, mais l'application est nouvelle : cette combinaison spécifique de DiffusionNet + MoCo + un apprentissage contrastif de type CLIP appliqué aux morphologies de la neuroscience ultrastructurale n'a jamais été réalisée auparavant.

Le cadrage de la construction cérébrale

C'est là que le cerveau de mon ingénieur en IA s'est mis à s'illuminer.

NeMoCo est, dans un sens réel, en train de construire une partie de ce que fait un cerveau — pas biologiquement, mais computationnellement. Il construit un système qui apprend à catégoriser des structures neuronales de la manière dont les cerveaux biologiques apprennent à catégoriser le monde : à partir d'une expérience brute, non étiquetée.

Le parallèle se situe au niveau du principe, pas du mécanisme. NeMoCo utilise une fonction de perte mathématique spécifique (croisentropie de type CLIP). Le cerveau utilise la plasticité dépendante du timing des spikes et la neuromodulation — bien plus complexe et non directement analogue. La « banque de mémoire » de NeMoCo est une table de recherche kNN. La mémoire biologique est associative, reconstructive et constamment réorganisée. Le cerveau apprend en continu à partir d'un flux ; NeMoCo s'entraîne par époques discrètes sur un jeu de données fixe.

Mais le principe tient : les étiquettes ne sont pas nécessaires pour apprendre de bonnes représentations. C'est ainsi que fonctionnent les cerveaux biologiques, et NeMoCo est une démonstration computationnelle de cela.

Les éléments d'un cerveau, cartographiés

Si vous réfléchissez à ce que fait un cerveau — au niveau fonctionnel, pas biologique — vous pouvez le décomposer en éléments : perception, mémoire, représentation, apprentissage, raisonnement. NeMoCo possède des analogues pour chacun :

• Perception: L'entrée sensorielle brute devient une représentation structurée. Chez NeMoCo, les caractéristiques HKS + DiffusionNet transforment un maillage brut en un embedding géométrique. Dans le cerveau, les signaux sensoriels bruts deviennent des caractéristiques perceptuelles.
• Mémoire: Des représentations stockées, récupérables par similarité. La banque de mémoire kNN gelée de NeMoCo stocke des embeddings et les récupère par le plus proche voisin. Le cerveau récupère par similarité associative.
• Représentation: Des caractéristiques invariantes extraites d'une expérience variée. L'embedding 32D de NeMoCo mappe le même maillage sous différentes transformations vers le même vecteur. Le cerveau maintient des représentations d'objets stables malgré les changements de point de vue.
• Learning: Mise à jour basée sur l'expérience. NeMoCo utilise la rétropropagation + momentum EMA. Le cerveau utilise des règles de plasticité.
• Reasoning: Combinaison de représentations pour prendre des décisions. NeMoCo utilise le vote kNN et le sondage linéaire. Le cerveau fait... eh bien, quelque chose de bien plus complexe, mais le rôle fonctionnel est le même.

Je ne prétends pas que NeMoCo soit un cerveau. C'est un pipeline mathématique. Mais c'est un pipeline qui construit une pièce fonctionnelle de ce que font les cerveaux : construire des représentations internes utiles à partir d'expériences brutes et non étiquetées.

Où cela reflète l'ingénierie des agents

Cette partie est celle qui m'a le plus touché. Je développe Aura — un assistant IA qui gère la mémoire, achemine les tâches, récupère le contexte et maintient la continuité entre les sessions. Les parallèles structurels avec NeMoCo sont suffisamment concrets pour que je hochais la tête en lisant l'article.

Pré-entraînement auto-supervisé ↔ mémoire de l'agent

NeMoCo effectue un pré-entraînement sur 4,235 maillages de crânes de souris non étiquetés (le jeu de données MouseFinal), construisant une représentation géométrique à usage général. Cet encodeur pré-entraîné peut ensuite être gelé et réutilisé pour plusieurs tâches en aval — classification, récupération, regroupement — sans avoir à ré-entraîner le noyau.

La mémoire de l'agent fonctionne de la même manière. Les fichiers de mémoire d'Aura — mémoire à long terme, notes quotidiennes, notes d'outils — construisent une compréhension à usage général de l'utilisateur, des projets et de l'environnement sans étiquettes spécifiques à la tâche. Cette mémoire persiste d'une session à l'autre et peut être interrogée pour toute tâche. C'est un "contexte pré-entraîné" qui n'a pas besoin d'être reconstruit à chaque fois.

L'évaluation du kNN gelé est le parallèle le plus net. L'encodeur de NeMoCo, pré-entraîné sans étiquettes, atteint une précision d'environ 70–80 % sur une tâche de classification pour laquelle il n'a jamais été explicitement entraîné — simplement en trouvant les plus proches voisins dans l'espace d'embedding. Une mémoire d'agent bien entretenue permet à un assistant IA de répondre à des questions sur des projets auxquels il n'a pas été explicitement briefé durant la session en cours — simplement en trouvant des entrées sémantiquement similaires. Le mécanisme est différent (kNN dans l'espace vectoriel vs. recherche sémantique sur le texte), mais le principe est le même : une bonne représentation, construite à partir de l'expérience brute, se transfère à des tâches pour lesquelles elle n'a jamais été conçue.

Apprentissage de représentation ↔ Structure de connaissance de l'agent

L'embedding 32 dimensions de NeMoCo est une représentation compressée de l'identité géométrique d'un maillage. Les embeddings proches dans l'espace vectoriel représentent des morphologies similaires. L'espace d'embedding émerge des données — personne n'a conçu quelles dimensions correspondent à quelles caractéristiques.

La mémoire de l'agent est une représentation compressée des faits, des décisions et du contexte. L'agent ne stocke pas les transcriptions brutes ; il stocke un sens distillé. Et la structure de cette mémoire émerge de l'utilisation, pas d'un schéma prédéfini. Je n'ai pas conçu à l'avance la taxonomie de la mémoire d'Aura. J'ai découvert ce qui était important grâce à l'interaction — quels projets apparaissent, quelles décisions comptent, quelles préférences reviennent. La mémoire regroupe naturellement les concepts liés, de la même manière que l'espace d'embedding de NeMoCo regroupe naturellement des structures neuronales similaires.

L'insight contrastuel

Celui-ci est plus spéculatif, mais je pense qu'il est réel. La perte contrastive de NeMoCo fonctionne en rapprochant les choses similaires et en éloignant les choses différentes. Le modèle apprend ce qui fait que deux vues sont "le même maillage" en apprenant également ce qui les fait être "pas un autre maillage".

Il y a une leçon ici pour la conception d'agent. Un agent qui ne stocke que des faits — des exemples positifs — n'a aucun moyen de savoir ce qui est distinctif à propos de ces faits. J'ai expérimenté le suivi des contrastes dans la mémoire d'Aura : « ce projet utilise SQLite, pas Postgres » ; « cet utilisateur préfère des réponses directes, pas des explications ». Le cadrage contrastif enrichit la représentation. Il ne suffit pas de savoir ce qu'est quelque chose ; il faut aussi savoir ce qu'il n'est pas.

L'encodeur de momentum est un autre exemple. La branche enseignante lentement mise à jour (EMA, τ=0.999) empêche la représentation d'osciller fortement pendant l'entraînement. La mémoire de l'agent pourrait utiliser un principe similaire de « mise à jour lente ». Je ne réécris pas la mémoire à long terme à chaque nouveau fait. Je laisse les motifs importants accumuler du poids au fil du temps avant de les promouvoir. Les notes quotidiennes sont des journaux bruts ; la mémoire à long terme est organisée. La promotion de l'un à l'autre ressemble à une mise à jour de type momentum — lente, délibérée, résistante au bruit.

Les résultats

NeMoCo évalue les représentations apprises à trois niveaux :

1. kNN gelé (k=20): L'encodeur est complètement gelé. Les maillages de test sont classés en trouvant leurs 20 plus proches voisins dans une banque de mémoire d'embeddings d'entraînement et en votant. Aucun entraînement supplémentaire. Résultat : ~70–80% de précision sur la tâche de classification de structures neuronales à six classes, après pré-entraînement sur MouseFinal — un jeu de données pour lequel l'encodeur n'a jamais vu d'étiquettes.
2. Probing linéaire: Une seule couche linéaire est entraînée au-dessus de l'encodeur gelé. Cela teste si les caractéristiques apprises sont linéairement séparables — les classes forment-elles des clusters nets dans l'espace d'embedding ?
3. Affinage: L'encodeur + le classificateur entier sont entraînés de bout en bout. C'est le plafond supervisé : ~87% de précision.

Le résultat principal : les approches auto-supervisées et supervisées atteignent une précision comparable. Pas identiques — le plafond supervisé est plus élevé — mais suffisamment proches pour que vous puissiez classer des structures neuronales sans grands ensembles de données étiquetées. La précision de récupération CLIP pendant le pré-entraînement est 200–400× meilleure que le hasard aléatoire (aléatoire = 0.024% pour 4,235 maillages), ce qui indique que l'encodeur apprend une véritable structure, et ne se contente pas de mémoriser du bruit.

Ces chiffres proviennent du README de la phase 4 du projet — des intervalles attendus, pas des chiffres publiés définitifs. L'article est derrière un paywall sur ScienceDirect, donc je ne peux pas vérifier les chiffres exacts définitifs. Mais la tendance est claire : le pré-entraînement auto-supervisé comble la plupart de l'écart avec l'entraînement entièrement supervisé, et il le fait sans aucune étiquette.

Pourquoi cela importe

La connectomique nécessite de l'échelle. Le goulot d'étranglement n'est pas l'imagerie — la technologie EM peut capturer des téraoctets de données. Le goulot d'étranglement est l'annotation. Si vous avez besoin de neuroscientifiques experts pour étiqueter manuellement chaque maillage, vous êtes limité par le débit humain. L'approche de NeMoCo — pré-entraîner sur des données non étiquetées, transférer vers des tâches étiquetées avec un fine-tuning minimal — est une voie pour briser ce goulot d'étranglement.

Le transfert inter-domaine est particulièrement intéressant. NeMoCo pré-entraîne sur des maillages de crâne de souris et transfère vers la classification de structures neurales. Domaine différent, formes différentes, mêmes primitives géométriques. L'encodeur a appris des caractéristiques générales de forme 3D qui ont été transférées. C'est la promesse de l'apprentissage auto-supervisé : apprendre la structure du monde, puis se spécialiser à moindre coût.

Le code est open-source. Les jeux de données sont décrits dans le dépôt. L'architecture est reproductible sur une RTX 3090 (avec une taille de lot réduite) ou une A100 pour un entraînement à pleine échelle. Ce n'est pas un système d'entreprise verrouillé — c'est un projet de recherche que vous pouvez exécuter vous-même.

L'équipe

Cela provient de l'université Hamad Bin Khalifa au Qatar. Humaira Shaffique a dirigé le travail dans le cadre de sa thèse de master. Le Dr Marco Agus a supervisé. Le Dr Uzair Shah (propriétaire du dépôt et mentor), le Dr Mahmood Alzubaidi, le Dr Jens Schneider, le Dr Pierre Julius Magistretti, le Dr Corrado Calì et le Prof. Mowafa H. complètent la liste des co-auteurs. L'article est publié dans Graphical Models (Elsevier), autour d'août 2026.

Mon ami fait partie de l'équipe. Il me l'a envoyé parce qu'il pensait que les parallèles avec l'ingénierie d'agents seraient évidents. Ils l'ont été.

Ce que je retiens

En développant Aura, j'ai résolu le même problème fondamental que NeMoCo résout, mais dans un autre domaine : comment construire des représentations internes utiles à partir d'expériences brutes et non étiquetées ?

NeMoCo's answer: apprentissage contrastif sur la géométrie intrinsèque. Montrez au système la même chose sous différents angles, dites-lui « ce sont les mêmes », et il découvrira ce qui importe. Ma réponse pour Aura : accumuler la mémoire provenant de l'interaction, laisser la structure émerger de l'utilisation, promouvoir lentement les modèles. Des mécanismes différents, même principe.

L'approche de la construction cérébrale n'est pas une métaphore que j'impose. C'est la structure réelle du problème. Lorsque vous construisez un agent — perception (routage d'entrée), mémoire (stockage et récupération), représentation (contexte compressé), apprentissage (mises à jour de la mémoire), raisonnement (sélection d'outils et planification) — vous construisez quelque chose de similaire à un cerveau à partir de composants. Pas biologiquement. Fonctionnellement. De la même manière que NeMoCo construit un système qui catégorise les structures neurales comme les cerveaux catégorisent le monde : sans qu'on lui dise quelles sont les catégories.

C'est la leçon. Les étiquettes sont un raccourci. La structure est ce qui compte. Et vous pouvez apprendre la structure à partir de l'expérience brute — que vous soyez un cerveau, un classifieur de maillage, ou un agent IA essayant d'être utile.

NeMoCo sur GitHub: github.com/Uzshah/NeMoCo

Article : Elsevier, Graphical Models (~August 2026)

DiffusionNet : Sharp et al., SIGGRAPH 2022 — github.com/nmwsharp/diffusion-net

MoCo v2 : He et al., CVPR 2020 — arxiv.org/abs/2003.04297

CLIP : Radford et al., ICML 2021 — arxiv.org/abs/2103.00020