라벨 없는 기하학에서 뇌를 구축하는 방법: NeMoCo가 AI 엔지니어에게 가르치는 것

친구가 최근에 논문을 하나 보내주었다. 그는 그 논문 팀의 일원이며, 내가 AI 에이전트 작업을 하고 있다는 점을 고려해 내가 흥미롭게 느낄 거라고 생각했다. 그는 맞았다.

이 논문은 NeMoCo: 초미세 구조 3D 신경과학 형태학을 위한 자기지도 대비 학습이며, Elsevier의 Graphical Models (2026년 8월)에 게재되었다. 주저자는 Humaira Shaffique이며, Hamad Bin Khalifa University의 Dr. Marco Agus가 지도했으며, 공동 저자는 Dr. Uzair Shah, Dr. Mahmood Alzubaidi, Dr. Jens Schneider, Dr. Pierre Julius Magistretti, Dr. Corrado Calì, 그리고 Prof. Mowafa H.이다. 코드는 GitHub에서 MIT 라이선스 하에 오픈소스로 제공된다.

저는 신경과학자가 아닙니다. 저는 AI 엔지니어입니다. 저는 하루 종일 Aura를 구축하는 데 시간을 보냅니다 — Aura는 기억을 관리하고, 작업을 라우팅하며, 컨텍스트를 검색하고, 세션 전반에 걸쳐 진정으로 유용하려는 개인용 AI 어시스턴트입니다. 하지만 NeMoCo를 읽으면서, 저는 에이전트 엔지니어링에서 다루는 동일한 구조적 문제를 계속 보았는데, 다만 전자 현미경 데이터와 스펙트럴 기하학으로 포장되어 있었을 뿐입니다. 따라서 이 글은 그 관점에서 작성된 기술적 글입니다 — NeMoCo가 하는 것, 왜 흥미로운지, 그리고 에이전트 시스템을 구축하는 작업과 어떻게 연결되는지를 설명합니다.

문제: 라벨은 단축 방법이고, 생물학은 그것을 사용하지 않는다

신경과학자들은 나노미터 해상도의 뇌 조직 3D 이미지를 포착하기 위해 부피 전자 현미경(EM)을 사용한다. 이러한 이미지에서, 그들은 세포 내 구조 — 신경섬유(축수와 가지돌기 가지), 미토콘드리아 같은 소기관, 핵막 등 — 의 3D 메시를 재구성한다. 이러한 메시는 형태학을 나타내며, 신경 구조의 실제 3D 형태이다.

이들을 분류하려면 — 이것이 축수인지, 가지돌기인지, 스파인인지 — 전문 신경과학자가 각 메시를 수동으로 라벨링해야 한다. 이는 느리고 비용이 많이 들며 확장성이 없다. 라벨이 없으면 지도 분류기를 훈련시킬 수 없고, 전문가가 없으면 라벨을 얻을 수 없다. 커넥토믹스는 이러한 구조 수백만 개를 처리해야 한다. 수동 라벨링은 병목 현상이다.

내 관심을 끈 것은 다음과 같다: 뇌도 라벨을 받지 않는다. 아이는 보는 의자마다 누군가 "이것은 의자다"라고 말해 줄 필요가 없다. 그들은 다양한 각도에서, 다양한 조명에서, 다양한 거리에서 의자를 관찰함으로써 개념을 배운다 — 의자를 의자로 만드는 불변의 특성을 발견하는 것이다. 라벨이 없다. 순수한 경험과 구조의 발견만 있다.

NeMoCo는 묻는다: 기계가 신경 구조에 대해서도 동일한 일을 할 수 있는가?

NeMoCo가 하는 일

NeMoCo는 3D 메쉬 분류를 위한 자기지도형 대비 학습 파이프라인입니다. 사전 학습 중에 단 하나의 레이블이 붙은 예시도 없이 신경 구조를 인식하도록 학습합니다. 아키텍처는 3D 메쉬에 적용된 CLIP 스타일의 듀얼 인코더 시스템입니다.

작동 방식은 다음과 같습니다:

신경돌기 또는 소기관의 레이블이 없는 3D 메쉬를 하나 가져옵니다.
같은 메쉬에 대해 두 가지 뷰를 만듭니다: 원본(또는 경미하게 증강된 버전)과 변형된 버전 — 임의로 회전(±60°), 스케일링(0.6–1.4×), 전단, 그리고 선택적으로 디시메이트(면 수가 50–75% 적게)됩니다.
두 뷰를 모두 DiffusionNet 인코더를 통과시킵니다 — 메쉬의 라플라시안의 고유값과 고유벡터를 사용하는 스펙트럴 기하학을 직접 활용하여 3D 표면에서 작동하는 신경망입니다.
인코더는 각 뷰에 대해 32차원 임베딩 벡터를 생성합니다.
CLIP 스타일 대비 손실은 같은 메쉬의 두 뷰를 끌어당기고 서로 다른 메쉬의 임베딩을 밀어내도록 모델을 훈련시킵니다.
한 인코더 브랜치는 일반 역전파를 통해 업데이트되고, 다른 브랜치는 모멘텀 업데이트된 교사 (EMA, 모멘텀=0.999) — 표현 붕괴를 방지하는 MoCo 접근 방식이다.

핵심 통찰: 회전, 스케일링, 디시메이트된 메시가 "같은 것"임을 학습함으로써, 인코더는 각 신경 구조 유형을 정의하는 내재적 기하학적 특징을 발견한다 — 유형을 전혀 알려주지 않아도 된다.

여기서 DiffusionNet이 중요한 이유

DiffusionNet (Sharp et al., SIGGRAPH 2022)은 NeMoCo가 발명한 것이 아니다. 3D 표면에서의 학습을 위한 빌려온 아키텍처이다. 하지만 이 선택은 중요하다. 정규 그리드가 필요한 CNN(또는 PointNet, 점을 독립적으로 처리하는)과 달리, DiffusionNet은 표면의 스펙트럴 기하학에서 작동한다 — 라플라시안 고유함수(모양의 진동 모드라고 생각)를 계산하고, 다중 스케일 서술자인 Heat Kernel Signature(HKS)를 사용해 다양한 공간 규모에서 국소 형태를 포착한다.

이는 뉴런이 근본적으로 3D 구조이기 때문이다. 기하학이 곧 형태이다. 신경 구조를 분류할 때, 형태 — 곡률, 분기, 두께, 표면 질감 — 이 신호이다. DiffusionNet은 이를 존중한다. 메시를 이미지로 평면화하거나 포인트 클라우드로 축소하지 않는다. 표면 자체에서 학습한다.

NeMoCo에서 DiffusionNet은 16차원 HKS 특징을 입력으로 받아 4개의 블록(폭=128)을 사용하여 32차원 임베딩을 출력한다. 아키텍처는 빌려온 것이지만 적용은 새롭다: 초미세 구조 신경 형태학에 DiffusionNet + MoCo + CLIP 스타일 대비 학습을 적용한 이 특정 조합은 이전에 수행된 적이 없다.

뇌-구축 프레이밍

여기가 나의 AI 엔지니어로서의 뇌가 불이 켜지기 시작한 곳이다.

NeMoCo는 실제 의미에서 뇌가 하는 일의 일부를 구성하고 있다 — 생물학적으로가 아니라 계산적으로. 그것은 생물학적 뇌가 세계를 범주화하는 방식과 같이 신경 구조를 범주화하도록 학습하는 시스템을 구축하고 있다: 원시적이며 라벨이 없는 경험으로부터.

유사점은 메커니즘이 아닌 원리 수준에 있다. NeMoCo는 특정 수학적 손실 함수(CLIP 스타일 크로스 엔트로피)를 사용한다. 뇌는 스파이크 타이밍 의존적 가소성과 신경조절을 사용하며 — 이는 훨씬 더 복잡하고 직접적으로 유사하지 않다. NeMoCo의 '메모리 뱅크'는 kNN 조회 테이블이다. 생물학적 메모리는 연관적이며 재구성적이며 끊임없이 재구성된다. 뇌는 스트림으로부터 지속적으로 학습하는데 반해, NeMoCo는 고정된 데이터셋에서 이산적인 에포크 단위로 훈련한다.

하지만 원리는 여전히 성립한다: 라벨은 좋은 표현을 학습하는 데 필수적이지 않다. 생물 뇌가 작동하는 방식이며, NeMoCo는 이에 대한 계산적 시연이다.

뇌의 요소들, 매핑

뇌가 하는 일을 기능적 수준에서(생물학적 수준이 아닌) 생각해 보면, 이를 지각, 기억, 표현, 학습, 추론이라는 요소로 나눌 수 있다. NeMoCo는 각각에 대응하는 유사물이 있다:

지각:원시 감각 입력이 구조화된 표현이 된다. NeMoCo에서는 HKS 특성 + DiffusionNet이 원시 메시를 기하학적 임베딩으로 변환한다. 뇌에서는 원시 감각 신호가 지각적 특성이 된다.
기억:저장된 표현은 유사성에 따라 검색 가능하다. NeMoCo의 동결된 kNN 메모리 뱅크는 임베딩을 저장하고 최근접 이웃으로 검색한다. 뇌는 연관적 유사성에 따라 검색한다.
표현:다양한 경험에서 추출된 불변 특징. NeMoCo의 32D 임베딩은 동일한 메시를 다양한 변환 하에서도 동일한 벡터로 매핑한다. 뇌는 관점 전반에 걸쳐 안정적인 객체 표현을 유지한다.
학습: 경험에 기반한 업데이트. NeMoCo는 역전파 + 모멘텀 EMA를 사용한다. 뇌는 가소성 규칙을 사용한다.
추론: 표현을 결합하여 결정을 내린다. NeMoCo는 kNN 투표와 선형 탐사(linear probing)를 사용한다. 뇌는... 글쎄, 훨씬 더 복잡한 무언가를 수행하지만, 기능적 역할은 동일하다.

NeMoCo가 뇌라고 주장하는 것은 아니다. 그것은 수학적 파이프라인이다. 하지만 그것은 뇌가 하는 일의 기능적 부분을 구성하는 파이프라인이다: 원시적이고 라벨이 없는 경험으로부터 유용한 내부 표현을 구축한다.

에이전트 엔지니어링에서의 유사점

이 부분이 가장 내게 와닿는 부분이다. 나는 기억을 관리하고, 작업을 라우팅하며, 컨텍스트를 검색하고, 세션 간 연속성을 유지하는 AI 어시스턴트 Aura를 구축한다. NeMoCo와의 구조적 유사점이 구체적이어서 논문을 읽으면서 계속 고개 끄덕이게 되었다.

자기지도형 사전 학습 ↔ 에이전트 메모리

NeMoCo는 4,235개의 라벨이 없는 쥐 두개골 메쉬(MouseFinal 데이터셋)에서 사전 학습을 수행하여 범용 기하 표현을 구축한다. 이렇게 사전 학습된 인코더는 동결하여 핵심 재학습 없이 분류, 검색, 클러스터링과 같은 다수의 하위 작업에 재사용할 수 있다.

에이전트 메모리도 같은 방식으로 작동한다. Aura의 메모리 파일 — 장기 메모리, 일일 노트, 도구 노트 — 는 작업별 라벨 없이 사용자, 프로젝트, 환경에 대한 범용 이해를 구축한다. 이 메모리는 세션 간에 유지되며 어떤 작업에도 질의할 수 있다. 이는 매번 재구성할 필요가 없는 '사전 학습된 컨텍스트'이다.

동결된 kNN 평가가 가장 명확한 병렬이다. NeMoCo의 엔코더는 라벨 없이 사전 학습되어, 명시적으로 훈련된 적 없는 분류 작업에서 약 70–80%의 정확도를 달성한다 — 단지 임베딩 공간에서 최근접 이웃을 찾는 것만으로. 잘 관리된 에이전트 메모리는 현재 세션에서 명시적으로 브리핑되지 않은 프로젝트에 대한 질문에 답변할 수 있게 해준다 — 단지 의미적으로 유사한 항목을 찾는 것만으로. 메커니즘은 다르다(벡터 공간에서의 kNN 대 텍스트에서의 의미적 검색), 하지만 원리는 동일하다: 원시 경험으로부터 구축된 좋은 표현은 설계되지 않았던 작업으로도 전이된다.

표현 학습 ↔ 에이전트 지식 구조

NeMoCo의 32차원 임베딩은 메쉬의 기하학적 정체성의 압축된 표현이다. 벡터 공간에서 가까운 임베딩은 유사한 형태를 나타낸다. 임베딩 공간은 데이터로부터 발생한다 — 어떤 차원이 어떤 특징에 대응하는지를 설계한 사람은 없다.

에이전트 메모리는 사실, 결정, 맥락의 압축된 표현이다. 에이전트는 원본 트랜스크립트를 저장하지 않고, 압축된 의미를 저장한다. 그리고 해당 메모리의 구조는 미리 정의된 스키마가 아닌 사용으로부터 발생한다. 나는 Aura의 메모리 분류법을 사전에 설계하지 않았다. 상호작용을 통해 무엇이 중요한지 발견했다 — 어떤 프로젝트가 등장하는지, 어떤 결정이 중요한지, 어떤 선호가 반복되는지. 메모리는 관련 개념을 자연스럽게 군집화하며, 이는 NeMoCo의 임베딩 공간이 유사한 신경 구조를 자연스럽게 군집화하는 방식과 동일하다.

대조적 통찰

이것은 더 추측적인 부분이지만, 나는 이것이 실제라고 생각한다. NeMoCo의 대비 손실은 유사한 것을 끌어당기고 다른 것을 밀어냄으로써 작동한다. 모델은 두 뷰가 '같은 메쉬'인 이유를 배우면서 동시에 '다른 메쉬가 아님'을 배우게 된다.

여기서 에이전트 설계에 대한 교훈을 얻을 수 있습니다. 사실 — 긍정적인 예시 — 만 저장하는 에이전트는 그 사실들에 대해 무엇이 distinctive인지 알 방법이 없습니다. 저는 Aura의 메모리에서 대비를 추적하는 실험을 해왔습니다: "이 프로젝트는 SQLite를 사용하고, Postgres는 사용하지 않는다"; "이 사용자는 설명이 아닌 직접적인 답변을 선호한다." 대비적 프레이밍은 표현을 더 풍부하게 만듭니다. 무언가가 무엇인지 아는 것만으로는 충분하지 않습니다; 또한 그것이 무엇이 아닌지도 알아야 합니다.

모멘텀 인코더도 마찬가지이다. 천천히 업데이트되는 교사 브랜치(EMA, τ=0.999)는 훈련 중에 표현이 크게 진동하는 것을 방지한다. 에이전트 메모리도 유사한 "느린 업데이트" 원리를 사용할 수 있다. 나는 새로운 사실이 생길 때마다 장기 메모리를 다시 쓰지 않는다. 중요한 패턴이 시간에 따라 가중치를 축적하도록 두고서야 그들을 승격시킨다. 일일 메모는 원시 로그이고, 장기 메모리는 큐레이션된 것이다. 하나에서 다른 것으로의 승격은 모멘텀과 유사한 업데이트이다 — 느리고, 의도적이며, 소음에 강하다.

결과

NeMoCo는 세 가지 수준에서 학습된 표현을 평가합니다:

Frozen kNN (k=20): 인코더는 완전히 동결됩니다. 테스트 메시는 훈련 임베딩 메모리 뱅크에서 20개의 최근접 이웃을 찾아 투표하여 분류됩니다. 추가 훈련이 없습니다. 결과: MouseFinal에서 사전 훈련 후 six-class 신경 구조 분류 작업에서 약 70~80% 정확도를 달성합니다. (MouseFinal은 인코더가 레이블을 본 적이 없는 데이터셋입니다.)
Linear probing: 하나의 선형 레이어가 동결된 인코더 위에 훈련됩니다. 이는 학습된 특징이 선형적으로 분리 가능한지 테스트합니다 — 즉, 클래스가 임베딩 공간에서 깨끗한 클러스터를 형성하는지 확인합니다.
Fine-tuning: 인코더와 분류기를 전체적으로 엔드 투 엔드로 훈련합니다. 이는 지도 학습의 상한선입니다: 약 87% 정확도.

주요 발견: self-supervised and supervised approaches reach comparable accuracy. 동일하지는 않지만 — 지도 학습 상한이 더 높지만 — 충분히 가까워서 대규모 레이블이 없는 데이터셋에서도 신경 구조를 분류할 수 있습니다. 사전 훈련 중 CLIP 검색 정확도는 우연의 일치보다 200~400배 높습니다 (우연의 일치 = 4,235개의 메시에 대해 0.024%). 이는 인코더가 실제 구조를 학습하고 있으며, noise를 암기하지 않고 있음을 보여줍니다.

이 숫자들은 프로젝트의 Phase 4 README에서 나온 것이며, 예상 범위이지 최종 발표된 수치는 아닙니다. 해당 논문은 ScienceDirect에서 유료화되어 있어 정확한 최종 수치를 확인할 수 없습니다. 그러나 방향은 명확합니다: 자체 지도 사전 훈련은 완전 지도 훈련과의 격차를 대부분 줄이며, 단 하나의 레이블도 사용하지 않고 이를 달성합니다.

왜 중요한가

커넥토믹스는 규모가 필요합니다. 병목 현상은 이미징이 아닙니다 — EM 기술은 테라바이트 단위의 데이터를 캡처할 수 있습니다. 병목 현상은 주석 작업입니다. 전문 신경과학자가 모든 메시를 수동으로 라벨링해야 한다면, 인간의 처리량에 제한받게 됩니다. NeMoCo의 접근 방식 — 라벨이 없는 데이터로 사전 학습하고, 최소한의 파인튜닝으로 라벨이 있는 작업으로 전이 — 는 그 병목을 뚫는 길입니다.

도메인 간 전이는 특히 흥미롭습니다. NeMoCo는 쥐 두개골 메쉬에서 사전 학습하고, 신경 구조 분류로 전이합니다. 도메인이 다르고 모양이 다르지만, 동일한 기하학적 프리미티브를 공유합니다. 인코더는 전이 가능한 일반적인 3D 형태 특징을 학습했습니다. 이것이 자기 지도 학습의 약속입니다: 세계의 구조를 배우고, 저렴하게 전문화하는 것입니다.

코드는 오픈소스입니다. 데이터셋은 리포지토리에 설명되어 있습니다. 아키텍처는 RTX 3090(배치 크기 축소 시) 또는 전체 규모 학습을 위한 A100에서 재현 가능합니다. 이는 폐쇄된 기업 시스템이 아니라, 직접 실행할 수 있는 연구 프로젝트입니다.

팀

이 연구는 카타르의 하마드 빈 칼리파 대학교에서 나왔습니다. 후마이라 샤피크가 석사 논문의 일부로 이 작업을 이끌었습니다. 드. 마르코 아구스가 감독을 맡았습니다. 드. 우자이르 샤(리포지토리 소유자이자 멘토), 드. 마흐무드 알주바이디, 드. 옌스 슈나이더, 드. 피에르 줄리우스 마지스트레티, 드. 코라도 칼리, 그리고 프로프. 모와파 H.가 공동 저자로 참여했습니다. 논문은 Graphical Models (Elsevier)에 게재되었으며, 약 2026년 8월에 출판되었습니다.

내 친구는 팀에 속해 있습니다. 그는 에이전트 엔지니어링과의 유사점이 통찰이 될 거라고 생각해서 이를 나에게 보냈습니다. 그리고 실제로 그러했습니다.

내가 얻은 교훈

Aura를 구축하면서 저는 NeMoCo가 해결하는 동일한 근본 문제를 다른 도메인에서 풀어가고 있습니다: 원시적이고 라벨이 없는 경험으로부터 유용한 내부 표현을 어떻게 구축할 수 있을까요?

NeMoCo의 답변: 내재 기하학에 대한 대비 학습. 시스템에 같은 것을 다른 각도에서 보여주고, "이것들은 동일하다"고 말하면, 중요한 것을 발견합니다. Aura에 대한 제 답변: 상호작용에서 메모리를 축적하고, 사용에서 구조가 나타나도록 하며, 패턴을 천천히 장려합니다. 메커니즘은 다르지만 원리는 같습니다.

뇌 구성 프레이밍은 제가 강제로 끌어온 은유가 아닙니다. 이는 문제의 실제 구조입니다. 에이전트를 구축할 때 — 지각 (입력 라우팅), 기억 (저장 및 검색), 표현 (압축된 컨텍스트), 학습 (메모리 업데이트), 추론 (도구 선택 및 계획) — 구성 요소를 통해 뇌와 유사한 것을 구성하고 있습니다. 생물학적으로가 아니라 기능적으로 말입니다. NeMoCo가 뇌가 세계를 범주화하는 방식과 마찬가지로 신경 구조를 범주화하는 시스템을 구축하는 방식과 같습니다: 범주가 무엇인지 알려주지 않아도 됩니다.

이것이 교훈입니다. 라벨은 단축 방법입니다. 구조가 중요합니다. 그리고 원시 경험에서 구조를 배울 수 있습니다 — 당신이 뇌이든, 메쉬 분류기이든, 유용하려는 AI 에이전트이든 간에.

NeMoCo GitHub에서: github.com/Uzshah/NeMoCo

논문: Elsevier, Graphical Models (~August 2026)

DiffusionNet: Sharp 외, SIGGRAPH 2022 — github.com/nmwsharp/diffusion-net

MoCo v2: He 외, CVPR 2020 — arxiv.org/abs/2003.04297

CLIP: Radford 외, ICML 2021 — arxiv.org/abs/2103.00020