Ein Freund hat mir kürzlich einen Artikel geschickt. Er ist Teil des Teams dahinter, und er dachte, ich würde es interessant finden angesichts der KI-Agenten-Arbeit, die ich bisher gemacht habe. Er lag richtig.

Der Artikel ist NeMoCo: Selbstüberwachtes kontrastives Lernen für ultrastrukturelle 3D-Neurowissenschaften-Morphologien, veröffentlicht in Elseviers Graphical Models (August 2026). Der Hauptautor ist Humaira Shaffique, betreut von Dr. Marco Agus an der Hamad Bin Khalifa Universität, mit Co-Autoren Dr. Uzair Shah, Dr. Mahmood Alzubaidi, Dr. Jens Schneider, Dr. Pierre Julius Magistretti, Dr. Corrado Calì und Prof. Mowafa H. Der Code ist auf GitHub unter MIT-Lizenz Open Source verfügbar.

Ich bin kein Neurowissenschaftler. Ich bin KI-Ingenieur. Ich verbringe meine Tage damit, Aura zu bauen — einen persönlichen KI-Assistenten, der Speicher verwaltet, Aufgaben weiterleitet, Kontext abruft und versucht, über Sitzungen hinweg wirklich nützlich zu sein. Beim Lesen von NeMoCo fiel mir immer wieder auf, dass ich dieselben strukturellen Probleme sehe, mit denen ich in der Agenten-Entwicklung zu tun habe, nur verkleidet in Elektronenmikroskopie-Daten und spektraler Geometrie. Deshalb ist dies ein technischer Bericht aus dieser Perspektive — was NeMoCo tut, warum es interessant ist und worauf es in der Arbeit beim Aufbau von Agentensystemen entspricht.

Das Problem: Etiketten sind teuer, Biologie verwendet sie nicht

Neurowissenschaftler verwenden volumetrische Elektronenmikroskopie (EM), um 3D-Bilder von Gehirngewebe mit Nanometer-Auflösung aufzunehmen. Aus diesen Bildern rekonstruieren sie 3D-Netze von subzellulären Strukturen — Neuriten (Axon- und Dendriten-Zweige), Organellen wie Mitochondrien, Kernhüllen. Diese Netze sind die Morphologien: die tatsächlichen 3D-Formen von neuronalen Strukturen.

Um sie zu klassifizieren — handelt es sich um ein Axon, ein Dendrit oder eine Spine? — braucht man Expert*innen-Neurowissenschaftler, die jedes Netz manuell beschriften. Das ist langsam, teuer und skaliert nicht. Ohne Etiketten kann man keinen überwachten Klassifikator trainieren, und ohne Expert*innen kann man keine Etiketten erhalten. Connectomics muss Millionen dieser Strukturen verarbeiten. Das manuelle Beschriften ist ein Engpass.

Das, was mich gefesselt hat: Das Gehirn bekommt ebenfalls keine Etiketten. Ein Kind benötigt nicht jemanden, der für jeden Stuhl, den es sieht, sagt „das ist ein Stuhl“. Es lernt das Konzept, indem es Stühle aus verschiedenen Winkeln, bei unterschiedlicher Beleuchtung und in unterschiedlichen Entfernungen beobachtet — dabei entdeckt es die invarianten Eigenschaften, die einen Stuhl zu einem Stuhl machen. Keine Etiketten. Nur reine Erfahrung und die Entdeckung von Struktur.

NeMoCo fragt: Kann eine Maschine dasselbe mit neuronalen Strukturen tun?

Was NeMoCo macht

NeMoCo ist ein selbstüberwachtes kontrastives Lernpipeline für die Klassifizierung von 3D-Meshes. Es lernt, neuronale Strukturen ohne ein einziges gelabeltes Beispiel während des Vortrainings zu erkennen. Die Architektur ist ein CLIP-artiges Dual-Encoder-System, das auf 3D-Meshes angewendet wird.

So funktioniert es:

1. Nimm ein unbeschriftetes 3D-Mesh eines Neurits oder Organells.
2. Erstelle zwei Ansichten desselben Meshes: das Original (oder leicht erweitert) und eine transformierte Version — zufällig gedreht (±60°), skaliert (0.6–1.4×), gesheart und optional dezimiert (50–75 % weniger Flächen).
3. Passe beide Ansichten durch einen DiffusionNet encoder hindurch — ein neuronales Netzwerk, das direkt auf 3D-Oberflächen mittels Spektralgeometrie arbeitet (Eigenwerte und Eigenvektoren des Laplacian des Meshes).
4. Der Encoder erzeugt für jede Ansicht einen 32‑dimensionalen Einbettungsvektor.
5. Ein CLIP-style contrastive loss trainiert das Modell, die beiden Ansichten desselben Meshes zusammenzuziehen, während Einbettungen verschiedener Meshes auseinandergeschoben werden.
6. Ein Encoder-Zweig wird über normale Backpropagation aktualisiert; der andere ist ein momentum-aktualisiert "Lehrer" (EMA, momentum=0.999) — der MoCo-Ansatz, der einen Kollaps der Repräsentation verhindert.

Der wesentliche Einsicht: Indem lernt, dass ein gedrehtes, skaliertes, dezimiertes Netz "das Gleiche" ist, entdeckt der Encoder die intrinsischen geometrischen Merkmale, die jeden Neuronenstruktur-Typ definieren — ohne jemals gesagt zu bekommen, welche Typen das sind.

Warum DiffusionNet hier wichtig ist

DiffusionNet (Sharp et al., SIGGRAPH 2022) ist nichts, was NeMoCo erfunden hat. Es ist eine ausgeliehene Architektur für das Lernen auf 3D-Oberflächen. Aber die Wahl ist bedeutend. Im Gegensatz zu CNNs (die regelmäßige Gitter benötigen) oder PointNet (das Punkte unabhängig behandelt), arbeitet DiffusionNet auf der spektralen Geometrie einer Oberfläche — es berechnet Laplacian-Eigenfunktionen (denk: Schwingungsmoden der Form) und verwendet Heat Kernel Signatures (HKS) als mehrskalige Deskriptoren, die die lokale Form bei verschiedenen räumlichen Skalen erfassen.

Das ist wichtig, weil Neuronen grundsätzlich 3D-Strukturen sind. Die Geometrie IST die Morphologie. Wenn du neuronale Strukturen klassifizierst, ist die Form — ihre Krümmung, Verzweigung, Dicke, Oberflächenstruktur — das Signal. DiffusionNet respektiert das. Es flacht das Netz nicht zu einem Bild ab oder reduziert es auf eine Punktwolke. Es lernt auf der Oberfläche selbst.

In NeMoCo nimmt DiffusionNet 16-dimensionale HKS-Features als Eingabe und gibt eine 32-dimensionale Einbettung aus, wobei 4 Blöcke mit der Breite=128 verwendet werden. Die Architektur ist ausgeliehen, aber die Anwendung ist neu: Diese spezifische Kombination aus DiffusionNet + MoCo + CLIP-artigem kontrastivem Lernen, angewendet auf ultrastrukturelle Neurowissenschaften-Morphologien, wurde bisher noch nicht durchgeführt.

Die Gehirn-Konstruktion-Rahmung

Hier begann mein KI-Ingenieur-Gehirn zu leuchten.

NeMoCo konstruiert im wahrsten Sinne des Wortes einen Teil dessen, was ein Gehirn tut — nicht biologisch, sondern rechnerisch. Es baut ein System auf, das lernt, neuronale Strukturen zu kategorisieren, so wie biologische Gehirne lernen, die Welt zu kategorisieren: aus rohen, unbeschrifteten Erfahrungen.

Die Parallele liegt auf Ebene des Prinzips, nicht des Mechanismus. NeMoCo verwendet eine spezifische mathematische Verlustfunktion (CLIP-artiger Kreuz-Entropie). Das Gehirn nutzt spike-timing-abhängige Plastizität und Neuromodulation — weit komplexer und nicht direkt analog. Der „Speicher“ von NeMoCo ist eine kNN-Lookup-Tabelle. Biologisches Gedächtnis ist assoziativ, rekonstruktiv und ständig reorganisiert. Das Gehirn lernt kontinuierlich aus einem Strom; NeMoCo trainiert in diskreten Epochen an einem festen Datensatz.

Aber das Prinzip gilt: Labels sind nicht notwendig für das Erlernen guter Darstellungen. So funktionieren biologische Gehirne, und NeMoCo ist eine computergestützte Demonstration davon.

Die Elemente eines Gehirns, abgebildet

Wenn man darüber nachdenkt, was ein Gehirn tut — auf funktionaler, nicht biologischer Ebene — lässt es sich in Elemente zerlegen: Wahrnehmung, Gedächtnis, Darstellung, Lernen, Schlussfolgern. NeMoCo besitzt dafür jeweils ein Analogon.

• Wahrnehmung: Rohes sensorisches Input wird zu einer strukturierten Darstellung. In NeMoCo transformieren HKS-Features + DiffusionNet ein rohes Mesh in eine geometrische Einbettung. Im Gehirn werden rohe sensorische Signale zu perceptualen Merkmalen.
• Gedächtnis: Gespeicherte Darstellungen, die durch Ähnlichkeit abrufbar sind. Der gefrorene kNN-Speicher von NeMoCo speichert Einbettungen und ruft sie mittels nächster Nachbarn ab. Das Gehirn ruft durch assoziative Ähnlichkeit ab.
• Darstellung: Invarianten Merkmale, die aus vielfältiger Erfahrung extrahiert werden. Die 32D-Einbettung von NeMoCo bildet das gleiche Mesh unter verschiedenen Transformationen auf denselben Vektor ab. Das Gehirn hält stabile ObjektDarstellungen über verschiedene Blickwinkel aufrecht.
• Lernen: Aktualisierung basierend auf Erfahrung. NeMoCo verwendet Rückwärtspropagation + Momentum-EMA. Das Gehirn verwendet Plastizitätsregeln.
• Schlussfolgern: Kombinieren von Darstellungen zur Entscheidungsfindung. NeMoCo verwendet kNN Abstimmung und lineare Abtastung. Das Gehirn macht... nun ja, etwas weit Komplexeres, aber die funktionale Rolle ist die gleiche.

Ich behaupte nicht, dass NeMoCo ein Gehirn ist. Es ist eine mathematische Verarbeitungspipeline. Aber es ist eine Pipeline, die ein funktionales Stück dessen konstruiert, was Gehirne tun: Aufbauen nützlicher interner Darstellungen aus rohen, unbeschrifteten Erfahrungen.

Wo es Agenten-Engineering widerspiegelt

Dies ist der Teil, der mir am nächsten kommt. Ich baue Aura — einen AI-Assistenten, der Speicher verwaltet, Aufgaben weiterleitet, Kontext abruft und Kontinuität über Sitzungen aufrechterhält. Die strukturellen Parallelen zu NeMoCo sind konkret genug, dass ich beim Lesen des Papieres ständig genickt habe.

Selbstüberwachtes Vortraining ↔ Agentenspeicher

NeMoCo vortrainiert auf 4,235 unbeschriftete Maus-Schädel-Netze (dem MouseFinal-Datensatz) und baut eine allgemein einsetzbare geometrische Darstellung auf. Dieser vortrainierte Kodierer kann anschließend eingefroren und für mehrere nachgelagerte Aufgaben wiederverwendet werden — Klassifizierung, Abruf, Clustering — ohne das Kernmodell erneut zu trainieren.

Agentenspeicher funktioniert auf die gleiche Weise. Auras Speicherdateien — Langzeitgedächtnis, tägliche Notizen, Tool-Notizen — bauen ein allgemein einsetzbares Verständnis des Benutzers, der Projekte und der Umgebung auf, ohne aufgabenbezogene Bezeichnungen. Dieser Speicher verbleibt über Sitzungen hinweg und kann für jede Aufgabe abgefragt werden. Es ist ein "vortrainierter Kontext" der nicht jedes Mal neu aufgebaut werden muss.

Die gefrorene kNN-Evaluierung ist die schärfste Parallele. Der von NeMoCo vortrainierte Encoder ohne Beschriftungen erreicht eine Genauigkeit von ~70–80 % bei einer Klassifikationsaufgabe, für die er niemals explizit trainiert wurde — einfach indem er die nächsten Nachbarn im Embedding‑Raum findet. Ein gut gepflegtes Agenten‑Gedächtnis ermöglicht einem KI‑Assistenten, Fragen zu Projekten zu beantworten, für die er in der aktuellen Sitzung nicht explizit eingewiesen wurde — einfach indem er semantisch ähnliche Einträge findet. Der Mechanismus ist unterschiedlich (kNN im Vektorraum gegenüber semantischer Suche über Text), aber das Prinzip ist das gleiche: Eine gute Darstellung, die aus roher Erfahrung aufgebaut wird, überträgt sich auf Aufgaben, für die sie niemals entworfen wurde.

Repräsentationslernen ↔ Agenten-Wissensstruktur

NeMoCo's 32-dimensionaler Embedding ist eine komprimierte Darstellung der geometrischen Identität eines Meshes. Embeddings, die im Vektorraum nahe beieinander liegen, repräsentieren ähnliche Morphologien. Der Embedding‑Raum entsteht aus den Daten — niemand hat entworfen, welche Dimensionen welchen Features entsprechen.

Das Agenten‑Gedächtnis ist eine komprimierte Darstellung von Fakten, Entscheidungen und Kontext. Der Agent speichert keine rohen Transkripte; er speichert destillierte Bedeutung. Und die Struktur dieses Gedächtnisses entsteht aus der Nutzung, nicht aus einem vordefinierten Schema. Ich habe Auras Memory‑Taxonomie nicht von vornherein entworfen. Ich habe durch Interaktion herausgefunden, was wichtig ist — welche Projekte auftauchen, welche Entscheidungen wichtig sind, welche Präferenzen wiederkehren. Das Gedächtnis gruppiert verwandte Konzepte auf natürliche Weise, genauso wie der Embedding‑Raum von NeMoCo ähnliche neuronale Strukturen natürlich clustert.

Der kontrastive Einblick

Dieses ist zwar spekulativer, aber ich glaube, es ist real. Der kontrastive Verlust von NeMoCo funktioniert dadurch, dass er ähnliche Dinge zusammenzieht und verschiedene Dinge auseinanderdrückt. Das Modell lernt, was zwei Ansichten zu "dem gleichen Mesh" macht, indem es auch lernt, was sie zu "keinem anderen Mesh" macht.

Hier gibt es eine Lehre für das Agentendesign. Ein Agent, der nur Fakten — positive Beispiele — speichert, hat keine Möglichkeit zu wissen, was distinctive an diesen Fakten ist. Ich experimentiere damit, Kontraste in Auras Gedächtnis zu verfolgen: "Dieses Projekt verwendet SQLite, nicht Postgres"; "Dieser Benutzer bevorzugt direkte Antworten, nicht Erklärungen." Die kontrastive Rahmung macht die Darstellung reicher. Es reicht nicht aus, zu wissen, was etwas ist; man muss auch wissen, was es nicht ist.

Der Momentum-Encoder ist ein weiteres Beispiel. Der langsam aktualisierende Lehrerzweig (EMA, τ=0.999) verhindert, dass die Darstellung während des Trainings stark oszilliert. Das Agenten‑Gedächtnis könnte ein ähnliches "slow update"-Prinzip verwenden. Ich schreibe das Langzeitgedächtnis nicht bei jedem neuen Fakt um. Ich lasse wichtige Muster im Laufe der Zeit Gewicht anhäufen, bevor ich sie fördere. Tagesnotizen sind Rohprotokolle; das Langzeitgedächtnis ist kuratiert. Die Beförderung von einem zum anderen ist ein momentum‑ähnliches Update — langsam, überlegt, widerstandsfähig gegen Rauschen.

Die Ergebnisse

NeMoCo bewertet die gelernten Darstellungen auf drei Ebenen:

1. Gefrorener kNN (k=20): Der Encoder ist vollständig eingefroren. Test-Meshes werden klassifiziert, indem ihre 20 nächsten Nachbarn in einer Speicherbank von Trainingsembeddings gesucht und abgestimmt werden. Zusätzliches Training erfolgt nicht. Ergebnis: ~70–80 % Genauigkeit bei der sechs-Klassen-Neuralstruktur-Klassifizierungsaufgabe, nach Pretraining auf MouseFinal — einem Datensatz, dessen Labels der Encoder nie gesehen hat.
2. Lineares Probing: Eine einzelne lineare Schicht wird auf dem gefrorenen Encoder trainiert. Dies testet, ob die gelernten Features linear trennbar sind — bilden die Klassen saubere Cluster im Embedding-Raum?
3. Feinabstimmung: Der gesamte Encoder + Klassifikator wird end-to-end trainiert. Dies ist die Obergrenze des überwachten Lernens: ~87 % Genauigkeit.

Die Hauptfeststellung: self-supervised und überwachte Ansätze erreichen vergleichbare Genauigkeit. Nicht identisch — die überwachte Obergrenze ist höher — aber nahe genug, dass Sie neuronale Strukturen ohne große beschriftete Datensätze klassifizieren können. Die CLIP-Abrufgenauigkeit während des Pretrainings ist 200–400× besser als Zufall (random = 0.024% for 4,235 meshes), was Ihnen zeigt, dass der Encoder echte Struktur lernt, nicht nur Rauschen memoriert.

Diese Zahlen stammen aus dem README der Phase 4 des Projekts — erwartete Bereiche, nicht endgültige veröffentlichte Zahlen. Der Artikel ist hinter einer Bezahlwand auf ScienceDirect, sodass ich die genauen Endzahlen nicht überprüfen kann. Aber die Richtung ist klar: self-supervised Pretraining schließt den größten Teil der Lücke zum vollständig überwachten Training, und das ohne ein einziges Label.

Warum es wichtig ist

Connectomics benötigt Skalierung. Der Engpass liegt nicht beim Bildgebungsverfahren — EM-Technologie kann Terabytes an Daten erfassen. Der Engpass ist die Annotation. Wenn Sie Expert*innen-Neurowissenschaftler benötigen, um jedes Mesh manuell zu beschriften, sind Sie durch den menschlichen Durchsatz begrenzt. Der Ansatz von NeMoCo — Vortraining an unbeschrifteten Daten, Transfer zu beschrifteten Aufgaben mit minimalem Feintuning — ist ein Weg, diesen Engpass zu durchbrechen.

Der kreuz-domänen Transfer ist besonders interessant. NeMoCo vortrainiert an Maus-Schädel-Meshes und überträgt auf die Klassifizierung neuronaler Strukturen. Andere Domäne, andere Formen, gleiche geometrische Primitiven. Der Encoder hat allgemeine 3D-Form-Features gelernt, die übertragen wurden. Das ist das Versprechen des selbstüberwachten Lernens: Die Struktur der Welt erlernen, dann kostengünstig spezialisieren.

Der Code ist Open-Source. Die Datensätze werden im Repository beschrieben. Die Architektur lässt sich auf einer RTX 3090 (mit reduzierter Batch-Größe) oder einer A100 für Vollskalentraining reproduzieren. Dies ist kein gesperrtes Unternehmenssystem — es ist ein Forschungsprojekt, den Sie selbst ausführen können.

Das Team

Dies stammt von der Hamad Bin Khalifa University in Katar. Humaira Shaffique leitete die Arbeit als Teil ihrer Masterarbeit. Dr. Marco Agus betreute sie. Dr. Uzair Shah (der Repository-Betreuer und Mentor), Dr. Mahmood Alzubaidi, Dr. Jens Schneider, Dr. Pierre Julius Magistretti, Dr. Corrado Calì und Prof. Mowafa H. vervollständigen die Co-Autoren. Der Artikel erscheint in Graphical Models (Elsevier), veröffentlicht etwa August 2026.

Mein Freund ist im Team. Er hat es mir geschickt, weil er dachte, dass die Parallelen zum Agent-Engineering klicken würden. Sie haben es getan.

Was ich mitnehme

Beim Aufbau von Aura habe ich das gleiche grundlegende Problem gelöst, das NeMoCo löst, nur in einem anderen Bereich: Wie baut man nützliche interne Darstellungen aus rohen, unbeschrifteten Erfahrungen auf?

NeMoCos Antwort: kontrastives Lernen auf intrinsischer Geometrie. Zeige dem System das gleiche Objekt aus verschiedenen Winkeln, sage ihm „das sind die gleichen“, und es entdeckt, was wichtig ist. Meine Antwort für Aura: sammle Erinnerung aus Interaktion, lasse Struktur aus Gebrauch entstehen, fördere Muster langsam. Verschiedene Mechanismen, das gleiche Prinzip.

Die Vorstellung, das Problem als Gehirnkonstruktion zu sehen, ist keine erzwungene Metapher. Es ist die eigentliche Struktur des Problems. Wenn du einen Agenten aufbaust — Wahrnehmung (Eingangsrouting), Speicher (Speicherung und Abruf), Darstellung (komprimierter Kontext), Lernen (Speicheraktualisierungen), Schlussfolgerung (Werkzeugauswahl und Planung) — konstruierst du etwas Gehirnähnliches aus Komponenten. Nicht biologisch. Funktional. Auf die gleiche Weise, wie NeMoCo ein System konstruiert, das neuronale Strukturen kategorisiert, wie Gehirne die Welt kategorisieren: ohne dass man ihm sagt, welche Kategorien das sind.

Das ist die Lehre. Bezeichnungen sind eine Abkürzung. Struktur ist das, was zählt. Und du kannst Struktur aus roher Erfahrung lernen — egal ob du ein Gehirn, ein Mesh-Klassifikator oder ein KI-Agent bist, der nützlich sein möchte.

NeMoCo auf GitHub: github.com/Uzshah/NeMoCo

Aufsatz: Elsevier, Graphical Models (~August 2026)

DiffusionNet: Sharp et al., SIGGRAPH 2022 — github.com/nmwsharp/diffusion-net

MoCo v2: He et al., CVPR 2020 — arxiv.org/abs/2003.04297

CLIP: Radford et al., ICML 2021 — arxiv.org/abs/2103.00020