友人が最近、論文を送ってきた。彼はその論文のチームの一員で、私がAIエージェントの仕事をしていることを考慮して興味深いと感じるだろうと思った。彼は正しかった。

この論文はNeMoCo: Self-supervised contrastive learning for ultrastructural 3D neuroscience morphologiesであり、ElsevierのGraphical Models（2026年8月）に掲載されている。筆頭著者はHumaira Shaffiqueで、Hamad Bin Khalifa UniversityのDr. Marco Agusの指導の下、共同著者としてDr. Uzair Shah、Dr. Mahmood Alzubaidi、Dr. Jens Schneider、Dr. Pierre Julius Magistretti、Dr. Corrado Calì、およびProf. Mowafa H.が名を連ねている。コードはGitHubでMITライセンスのもとオープンソースとして公開されている。

私は神経科学者ではない。私はAIエンジニアだ。日々、Aura — — 個人用AIアシスタントで、記憶を管理し、タスクをルーティングし、コンテキストを取得し、セッションをまたがって本当に役立つよう努めている — — を構築している。しかしNeMoCoを読んでいると、エージェントエンジニアリングで直面している同じ構造的な問題を繰り返し見る。ただそれが電子顕微鏡データとスペクトル幾何学で飾られているだけだ。したがって、この角度からの技術的な解説となる — — NeMoCoが何をするのか、なぜ興味深いのか、そしてエージェントシステムの構築作業において何を映し出すのか — — 。

問題: ラベルは高コストで、生物学ではそれを使わない

神経科学者は、ナノメートル解像度の脳組織の3D画像を取得するために、ボリューム電子顕微鏡（EM）を使用する。これらの画像から、サブセルラー構造 — — ニューライト（軸索と樹状突起の枝）、ミトコンドリアなどのオルガネラ、核膜 — — の3Dメッシュを再構築する。これらのメッシュは形態学であり、神経構造の実際の3D形状を表す。

これらを分類する — — これが軸索なのか、樹状突起なのか、スパインなのか — — ためには、専門の神経科学者が各メッシュを手動でラベル付けする必要がある。これは遅く、コストが高く、スケールしない。ラベルがなければ教師あり分類器を訓練することはできず、専門家がいなければラベルを得ることもできない。コネクトミクスでは、これらの構造を何百万単位で処理する必要がある。手動ラベル付けはボトルネックとなっている。

私が気づいたことは次の通りだ：the brain doesn't get labels either. 子どもは、見かける椅子ごとに「これは椅子だ」と言われる必要はない。彼らは、異なる角度から、異なる照明の中で、異なる距離で椅子を観察することによって概念を学び、椅子を椅子たらしめる不変の特性を見つけ出す。ラベルは必要ない。ただ生の経験と構造の発見だけがある。

NeMoCoは問いかける：機械は神経構造に対して同じことができるだろうか？

NeMoCoの機能

NeMoCoは、3Dメッシュの分類のための自己教師ありコントラスト学習パイプラインです。事前学習中にラベル付きの例を一つも使わずに、ニューラル構造を認識するように学習します。アーキテクチャは、3Dメッシュに適用されたCLIPスタイルのデュアルエンコーダシステムです。

仕組みは次の通りです:

1. ニューライトまたはオルガネラのラベルなし3Dメッシュを取得します。
2. 同じメッシュの2つのビューを作成します：元のメッシュ（または軽微な拡張）と、変換されたバージョン—ランダムに回転（±60°）、スケーリング（0.6–1.4×）、シアー、およびオプションでデシメート（面数を50–75%削減）します。
3. DiffusionNetエンコーダを通じて両方のビューを渡します — これはスペクトル幾何学（メッシュのラプラシアンの固有値と固有ベクトル）を用いて3Dサーフェス上で直接動作するニューラルネットワークです。
4. エンコーダは各ビューに対して32次元の埋め込みベクトルを出力します。
5. CLIPスタイルのコントラスト損失により、同じメッシュの2つのビューを近づけ、異なるメッシュの埋め込みを遠ざけるようにモデルが訓練されます。
6. 一方のエンコーダブランチは通常のバックプロパゲーションで更新され、もう一方はmomentum-updated "teacher"（EMA、momentum=0.999）となります。これは表現の崩壊を防ぐMoCoアプローチです。

回転、スケーリング、間引きされたメッシュが「同じもの」であることを学習することで、エンコーダは各ニューラル構造タイプを定義する内在的な幾何学的特徴を見出します。タイプについて明示的に教えられることはありません。

なぜDiffusionNetがここで重要なのか

DiffusionNet（Sharp et al., SIGGRAPH 2022）はNeMoCoが考案したものではありません。3Dサーフェス上での学習のために借用されたアーキテクチャです。しかし、この選択は重要です。正則グリッドを必要とするCNNや、点を独立に扱うPointNetとは異なり、DiffusionNetはサーフェスのスペクトル幾何学で動作します。つまり、ラプラシアン固有関数（形状の振動モードと考えられます）を計算し、Heat Kernel Signature（HKS）をマルチスケールディスクリプタとして使用します。HKSは異なる空間スケールでの局所形状を捉えます。

これは重要です。なぜならニューロンは根本的に3D構造だからです。形状＝形態です。ニューラル構造を分類する際、曲率、分岐、厚さ、表面テクスチャといった形状そのものが信号となります。DiffusionNetはこれを尊重します。メッシュを画像に平坦化したり、点群に削減したりせず、サーフェスそのもので学習します。

NeMoCoでは、DiffusionNetは16次元のHKS特徴を入力とし、幅128の4ブロックを用いて32次元の埋め込みを出力します。アーキテクチャは借用ですが、応用は新規です。すなわち、DiffusionNet＋MoCo＋CLIPスタイルの対比学習を超微細神経科学の形態学に適用したこの特定の組み合わせはこれまで行われていませんでした。

Brain-Construction フレーミング

ここで私のAIエンジニアとしての脳が刺激され始めました。

NeMoCoは、実際の意味で、脳が行うことの一部を構築しています——生物学的ではなく、計算学的に。それは、生物の脳が世界を分類するのと同じように、ニューラル構造を分類する方法を学ぶシステムを構築しています：生のラベルなしの経験から。

類似点はメカニズムのレベルではなく、原理のレベルにあります。NeMoCoは特定の数学的損失関数（CLIPスタイルのクロスエントロピー）を使用します。脳はスパイクタイミング依存性可塑性とニューロモデュレーションを使用します——これははるかに複雑で、直接的な類似とは言えません。NeMoCoの「メモリバンク」はkNNルックアップテーブルです。生物学的なメモリは結合的で、再構成的であり、常に再編成されています。脳はストリームから継続的に学習します；NeMoCoは固定データセット上で離散的なエポックで訓練されます。

しかし原理は成り立ちます：ラベルは良い表現を学ぶために必要ではない。 これが生物の脳の働き方であり、NeMoCoはそれを計算的に示しています。

脳の要素、マッピング

脳が行うことを考えると——機能的レベルで、生物学的レベルではない——それを要素に分けることができます：知覚、記憶、表現、学習、推論。NeMoCoにはそれぞれに対応する類似物があります。

• 知覚: 生の感覚入力が構造化された表現になります。NeMoCoでは、HKS特徴量＋DiffusionNetが生のメッシュを幾何学的埋め込みに変換します。脳では、生の感覚信号が知覚的特徴になります。
• 記憶: 類似性によって検索可能な保存された表現。NeMoCoの凍結されたkNNメモリバンクは埋め込みを保存し、最近傍で検索します。脳は結合的類似性によって検索します。
• 表現: 多様な経験から抽出される不変特徴。NeMoCoの32D埋め込みは、異なる変換下での同じメッシュを同じベクトルにマッピングします。脳は視点をまたがって安定したオブジェクト表現を維持します。
• 学習: 経験に基づいて更新される。NeMoCoはバックプロパゲーション＋モメンタムEMAを使用する。脳は可塑性ルールを使用する。
• 推論: 表現を組み合わせて意思決定を行う。NeMoCoはkNN投票と線形プロービングを使用する。脳は…まあ、はるかに複雑な何かを行うが、機能的な役割は同じである。

NeMoCoが脳であるとは主張していない。これは数学的パイプラインだ。しかし、これは脳が行うことの機能的な一部を構築するパイプラインである：生のラベルなしの経験から有用な内部表現を構築する。

エージェントエンジニアリングにおける類似点

これは私にとって最も身近な部分だ。私はAuraを構築している——記憶を管理し、タスクをルーティングし、コンテキストを取得し、セッション間で継続性を保つAIアシスタントだ。NeMoCoとの構造的な類似性は具体的に十分であり、論文を読んでいる間頷き続けた。

自己教師ありプリトレーニング ↔ エージェントメモリ

NeMoCoは4,235枚のラベルのないマウス頭蓋メッシュ（MouseFinalデータセット）でプリトレーニングを行い、汎用的な幾何学的表現を構築する。このプリトレーニング済みエンコーダはその後凍結され、コアを再トレーニングすることなく、分類、検索、クラスタリングなどの複数のダウンストリームタスクで再利用できる。

エージェントメモリも同様に機能する。Auraのメモリファイル——長期メモリ、日々のノート、ツールノート——は、タスク固有のラベルを必要とせず、ユーザー、プロジェクト、環境に関する汎用的な理解を構築する。このメモリはセッション間で保持され、どのタスクにもクエリできる。これは「プリトレーニング済みコンテキスト」で、毎回再構築する必要がない。

凍結されたkNN評価が最も類似した並列例である。NeMoCoのエンコーダーはラベルなしで事前学習され、明示的に訓練されたわけではない分類タスクにおいて約70〜80%の精度を達成する——埋め込み空間における最近傍を見つけることによってだけである。よく維持されたエージェントメモリは、現在のセッションで明示的に説明されていないプロジェクトについての質問にAIアシスタントが答えることを可能にする——意味的に類似したエントリを見つけることによってだけである。メカニズムは異なる（ベクトル空間でのkNN対テキスト上の意味検索）が、原理は同じである：生の経験から構築された良い表現は、設計されていなかったタスクにも転移する。

表現学習 ↔ エージェント知識構造

NeMoCoの32次元埋め込みは、メッシュの幾何学的同一性の圧縮表現である。ベクトル空間で近い埋め込みは類似した形態を表す。埋め込み空間はデータから現れる——どの次元がどの特徴に対応するかを設計した者はいない。

エージェントメモリは、事実、決定、および文脈の圧縮表現である。エージェントは生のトランスクリプトを保存せず、蒸留された意味を保存する。さらに、そのメモリの構造は事前に定義されたスキーマではなく、使用から現れる。私はAuraのメモリ分類を事前に設計しなかった。相互作用を通じて何が重要かを発見した——どのプロジェクトが挙がるか、どの決定が重要か、どの嗜好が繰り返されるか。メモリは関連する概念を自然にクラスター化し、これはNeMoCoの埋め込み空間が類似した神経構造を自然にクラスター化するのと同じである。

対比的洞察

これはより推測的だが、私はこれが現実だと考えている。NeMoCoのコントラスト損失は、類似したものを引き寄せ、異なるものを押し離すことで機能する。モデルは、2つのビューが「同じメッシュ」である理由を学ぶと同時に、それらが「他のメッシュではない」理由も学ぶ。

エージェント設計においてここで学べる教訓がある。事実のみを保存する——つまりポジティブな例のみを保存する——エージェントは、それらの事実のうち何が特徴的であるかを知る手段がない。私はAuraのメモリにおいて対比を追跡する実験を行っている：「このプロジェクトはSQLiteを使い、Postgresは使わない」、「このユーザーは説明ではなく直接的な回答を好む」。対比的なフレーミングは表現を豊かにする。何かが何であるかを知るだけでは不十分で、それが何でないかも知る必要がある。

モーメンタムエンコーダーも同様である。ゆっくり更新される教師ブランチ（EMA, τ=0.999）は、訓練中に表現が激しく振動することを防ぐ。エージェントメモリにも同様の「ゆっくりした更新」の原理を適用できる。私は新しい事実ごとに長期メモリを書き換えない。重要なパターンが時間をかけて重みを蓄積し、その後に昇格させるのを待つ。日々のノートは生ログであり、長期メモリはキュレーションされている。一方から他方への昇格は、モーメンタムに似た更新——遅く、意図的で、ノイズに強い——である。

結果

NeMoCo は学習された表現を3つのレベルで評価します：

1. Frozen kNN (k=20): エンコーダーは完全に凍結されます。テストメッシュは、トレーニングエンベディングのメモリバンク内の20近傍を見つけて投票することで分類されます。追加のトレーニングはゼロです。結果：MouseFinal での事前学習後（エンコーダーはラベルを見たことがないデータセット）、六クラスのニューラル構造分類タスクで約70–80%の精度を達成します。
2. Linear probing: 凍結されたエンコーダーの上に単一の線形層が訓練されます。これにより学習された特徴が線形分離可能かどうかをテストします — クラスはエンベディング空間できれいなクラスターを形成するか？
3. Fine-tuning: エンコーダー＋分類器全体がエンドツーエンドで訓練されます。これは教師ありの上限です：約87%の精度。

主要な発見：self-supervised and supervised approaches reach comparable accuracy. 同一ではありません — 教師ありの上限は高いですが — 大規模なラベル付きデータセットがなくてもニューラル構造を分類できるほど近いです。事前学習中のCLIP検索精度はランダムチャンスより200–400倍優れています（ランダム = 0.024%、4,235メッシュの場合）。これにより、エンコーダーがノイズを記憶するのではなく実際の構造を学習していることがわかります。

これらの数字はプロジェクトのPhase 4 READMEから得られたもので、予想範囲であり、最終的な公開数値ではありません。論文はScienceDirectで有料化されているため、正確な最終数値を確認することはできません。しかし、方向性は明確です：自己教師あり事前学習は完全教師ありトレーニングへのギャップのほとんどを埋め、かつ単一のラベルも使用せずにそれを達成します。

なぜ重要なのか

コネクトミクスにはスケールが必要です。ボトルネックはイメージングではなく、EMテクノロジーはテラバイト単位のデータをキャプチャできます。ボトルネックはアノテーションです。専門の神経科学者が毎回メッシュを手動でラベル付けする必要がある場合、人間のスループットによって制限されます。NeMoCoのアプローチ — ラベルなしデータで事前学習し、最小限のファインチューニングでラベル付きタスクに転移 — は、このボトルネックを突破する道筋となります。

クロスドメイン転移は特に興味深いです。NeMoCoはマウスの頭蓋骨メッシュで事前学習を行い、ニューラル構造の分類に転移します。ドメインは異なり、形状も異なりますが、同じ幾何プリミティブです。エンコーダは転移可能な一般的な3D形状特徴を学習しました。これが自己教師あり学習の約束です：世界の構造を学び、その後安価に特化させる。

コードはオープンソースです。データセットはリポジトリに記載されています。アーキテクチャはRTX 3090（バッチサイズを削減）またはフルスケールトレーニング用のA100で再現可能です。これはロックダウンされた企業システムではなく、自分で実行できる研究プロジェクトです。

チーム

これはカタールのハマド・ビン・ハリファ大学から生まれたものです。ヒュマイラ・シャフィークが修士論文の一部としてこの研究を主導しました。ドクター・マルコ・アグスが指導しました。ドクター・ウザイル・シャフ（リポジトリのオーナーかつメンター）、ドクター・マフムード・アルズバイディ、ドクター・ジェンス・シュナイダー、ドクター・ピエール・ジュリウス・マジェストレッティ、ドクター・コラド・カリ、およびプロフェッサー・モワファ・H.が共著者を構成しています。論文はGraphical Models（Elsevier）に掲載され、2026年8月頃に出版されました。

私の友人はチームの一員です。彼は、エージェントエンジニアリングとの類似点が通じると考えて私に送ってくれました。そして実際に通じました。

私が得たもの

Auraの構築において、私はNeMoCoが解決している同じ根本的な問題を、異なるドメインで解決してきました： 生のラベルなし経験から有用な内部表現をどのように構築するか？

NeMoCoの答え: 内在的幾何学における対比学習。システムに同じものを異なる角度から見せ、「これらは同じ」と伝えると、何が重要かを発見する。Auraに対する私の答え: 相互作用から記憶を蓄積し、使用から構造が現れるようにし、パターンをゆっくりと促進する。メカニズムは異なるが、原理は同じ。

脳構築のフレーミングは私が強いるメタファーではない。それは問題の実際の構造だ。エージェントを構築するとき — 知覚（入力ルーティング）、記憶（保存と取得）、表現（圧縮されたコンテキスト）、学習（記憶の更新）、推論（ツール選択と計画） — — コンポーネントから脳に似たものを構築している。生物学的ではない。機能的だ。NeMoCoが脳が世界を分類するようにニューラル構造を分類するシステムを構築するのと同じ方式で、カテゴリが何であるかを教えられずに行う。

これが教訓だ。ラベルは近道である。重要なのは構造だ。そして、生の経験から構造を学ぶことができる — — 脳であれ、メッシュ分類器であれ、役に立とうとするAIエージェントであれ。

NeMoCoのGitHub: github.com/Uzshah/NeMoCo

論文: Elsevier, Graphical Models (~August 2026)

DiffusionNet: Sharp et al., SIGGRAPH 2022 — github.com/nmwsharp/diffusion-net

MoCo v2: He et al., CVPR 2020 — arxiv.org/abs/2003.04297

CLIP: Radford et al., ICML 2021 — arxiv.org/abs/2103.00020