Bir arkadaş son zamanlarda bana bir makale gönderdi. Onun ekibinin bir parçası olduğu ve yapay zeka ajanıyla yaptığım çalışmam göz önüne alındığında benin ilginç bulacağımı düşündü. Hakkti.

Makale NeMoCo: Ultrastruktür 3D nörobilim morfolojileri için özdenetimli karşılaştırmalı öğrenme, Elsevier'in Graphical Models dergisinde (Ağustos 2026) yayınlanmıştır. Başlıca yazar Humaira Shaffique, Hamad Bin Khalifa Üniversitesi'nde Dr. Marco Agus'un danışmanlığında; diğer yazarlar Dr. Uzair Shah, Dr. Mahmood Alzubaidi, Dr. Jens Schneider, Dr. Pierre Julius Magistretti, Dr. Corrado Calì ve Prof. Mowafa H. Kod, GitHub üzerinde MIT lisansıyla açık kaynak olarak mevcuttur.

Nörobilimci değilim. Yapay zeka mühendisiym. Günlerimi Aura'yı geliştirerek geçiriyorum — hafızı yöneten, görevleri yönlendiren, bağlamı getiren ve oturumlar arasında gerçekten faydalı olmaya çalışan kişisel bir yapay zeka asistanı. Ancak NeMoCo'yu okurken, ajan mühendisliğiyle karşılaştığım aynı yapısal sorunları sürekli gördüm, sadece elektron mikroskopi verisi ve spektral geometriyle örtülü şekilde. Bu yüzden bu, bu açıdan bir teknik yazı — NeMoCo'nun ne yaptığı, neden ilginç olduğu ve ajan sistemleri geliştirme işlemiyle neyi yansıttığı.

Sorun: Etiketler Pahalı, Biyoloji Onları Kullanmaz

Nörobilimciler, nanometre çözünürlükte beyin dokusunun 3D görüntülerini yakalamak için hacim elektron mikroskopisi (EM) kullanır. Bu görüntülerden, nöronaltı yapıların 3D ağlarını yeniden oluştururlar — nöritler (akson ve dendrit dalları), mitokondri gibi organeller, nükleer zarflar. Bu ağlar morfolojileri oluşturur: nöral yapıların gerçek 3D şekilleri.

Onları sınıflandırmak için — bu bir akson mu, bir dendrit mi, bir sinaps mı? — her bir ağı manuel olarak etiketleyecek uzman nörobilimcilere ihtiyaç duyarsınız. Bu yavaş, pahalı ve ölçeklenemez. Etiket olmadan denetimli bir sınıflandırıcı eğleyemezsiniz ve etiket elde edemezsiniz uzman olmadan. Konnektomik, bu yapıların milyonlarını işlemek zorundadır. Manuel etiketleme bir bottlenecktir.

Beni çeken şey: beyin etiket alamaz. Bir çocuk, gördüğü her sandalye için \"bu bir sandalye\" diyen birine ihtiyaç duymaz. Farklı açılardan, farklı ışıklarda ve farklı mesafelerden sandalyeleri gözlemleyerek kavramı öğrenir — bir sandalyeyi sandalye yapan değişmez özellikleri keşfeder. Etiket yok. Sadece deneyim ve yapı keşfi var.

NeMoCo soruyor: bir makine, nöral yapılarla aynı şeyi yapabilir mi?

NeMoCo Ne Yapar?

NeMoCo, 3D mesh sınıflandırması için kendi kendine denetimli kontrastif öğrenme bir ardışık sistemidir. Ön eğitim sırasında tek bir etiketlenmiş örnek olmadan sinir yapılarını tanımayı öğrenir. Mimari, 3D mesh'lere uygulanan CLIP-tipi çift-encoder sistemidir.

İşte nasıl çalışır:

1. Bir nöriş veya organel için etiketlenmemiş bir 3D mesh alın.
2. Aynı mesh'in iki görünümünü oluşturun: orijinal (veya hafif artırılmış) ve dönüştürülmüş bir versiyon — rastgele döndürülmüş (±60°), ölçeklendirilmiş (0.6–1.4×), kaydırılmış ve isteğe bağlı olarak yüzde 50–75 daha az yüzey.
3. Her iki görünümü DiffusionNet encoder'den geçirin — 3D yüzeylerde doğrudan spektral geometri kullanılarak çalışan bir sinir ağları (mesh'in Laplasiyanı özdeğerleri ve özvektörleri).
4. Encoder, her görünüm için 32 boyutlu bir gömme vektörü üretir.
5. CLIP-style kontrastif loss, modeli aynı mesh'in iki görünümünü birbirine çekerken farklı mesh'lerden gelen gömmeleri ayrı tutacak şekilde eğitir.
6. Bir kodlayıcı dalı normal geri yayılım üzerinden güncellenir; diğer bir momentum-updated "teacher" (EMA, momentum=0.999) — MoCo yaklaşımlıdır, temsil çökmesini önler.

Ana içgörü: döndürülmüş, ölçeklendirilmiş, azaltılmış bir ağın "aynı şey" olduğu öğrenildiğinde, kodlayıcı her bir sinir yapısı türünü tanımlayan içsel geometrik özellikleri keşfeder — türlerin ne olduğu asla söylenmeden.

Neden DiffusionNet Burada Önemli?

DiffusionNet (Sharp et al., SIGGRAPH 2022) NeMoCo tarafından icat edilen bir şey değildir. 3D yüzeylerde öğrenmek için ödün mimarisi bir mimaridir. Ancak bu seçenek önemlidir. CNNs (düzenli ızgaraya ihtiyaç duyar) veya PointNet (noktaları bağımsız olarak ele alır) gibi yöntemlerden farklı olarak, DiffusionNet bir yüzeyin spektral geometrisinde çalışır — yüzeyin Laplacian özfonksiyonlarını hesaplar (şeklin titreşim modellerini düşünün) ve Isı Çekirdek İmzaları (HKS) gibi çok ölçekli tanımlayıcıları kullanır; bu tanımlayıcılar farklı uzaysal ölçeklerde yerel şekli yakalar.

Bu önemlidir, çünkü nöronlar temel olarak 3D yapılarıdır. Geometri morfolojidir. Sinir yapılarını sınıflandırırken, şekil — eğrilik, dallanma, kalınlık, yüzey dokusu — sinyaldir. DiffusionNet bu durumu saygı gösterir. Ağ'ı bir görüntüye düzleştirmez veya nokta bulutuna indirgemez. Kendisi yüzey üzerinde öğrenir.

NeMoCo'da, DiffusionNet girdi olarak 16 boyutlu HKS özelliklerini alır ve 32 boyutlu bir gömleme çıkarır; 4 blok, genişlik=128 kullanır. Mimari ödün alınmıştır, ancak uygulama yenidir: Ultrasinir bilimi morfolojilerine uygulanan bu spesifik DiffusionNet + MoCo + CLIP-tipi karşıtlaştırmalı öğrenme kombinasyonu daha önce yapılmamıştır.

Beyin-İnşa Çerçevesi

Bu, yapay zeka mühendisi beynimin aydınlanmaya başladığı yer.

NeMoCo, gerçek anlamda, bir beyin yapar şeyin bir parçasını — biyolojik olmaksızın, hesaplamalı olarak — inşa ediyor. Biyolojik beyinlerin dünyayı kategorize etme şekliyle, sinir yapılarını kategorize etmeyi öğrenen bir sistem inşa ediyor: ham, etiketsiz deneyimden.

Paralel, mekanizma düzeyi değil, prensip düzeyinde gerçekleşir. NeMoCo, belirli bir matematiksel kayıp fonksiyonu kullanır (CLIP tarzı çapraz-entropi). Beyin, spike-timing-dependent plasticite ve nöromodülasyon kullanır — çok daha karmaşık ve doğrudan analojik değil. NeMoCo'nun "memory bank"ı, kNN arama tablosudur. Biyolojik bellek, ilişkisel, yeniden yapıcı ve sürekli yeniden düzenlenir. Beyin, bir akımdan sürekli öğrenir; NeMoCo ise sabit bir veri seti üzerinde ayrık epoch'larda eğitim yapar.

Ama prensip geçerli: labels are not necessary for learning good representations. İşte biyolojik beyinlerin nasıl çalıştığı ve NeMoCo'nun bu prensibi hesaplamalı olarak gösterdiği şekildedir.

Beyin Elemanları, Haritalandı

Bir beyin ne yaparsa — fonksiyonel, biyolojik olmayan bir seviyede — düşünürsen, bunu öğelere ayırabilirsin: algı, bellek, temsili, öğrenme, akıl yürütme. NeMoCo'nun her biri için bir karşılığı vardır.

• Perception: Ham duyusal girdi yapılandırılmış bir temsile dönüşür. NeMoCo'da, HKS özellikleri + DiffusionNet, bir ham mesh'i geometrik bir embedding'e dönüştürür. Beyin'de, ham duyusal sinyaller perceptual özelliklere dönüşür.
• Memory: Saklanmış temsiller, benzerlik üzerinden alınabilir. NeMoCo'nun donmuş kNN memory bankı, embedding'leri saklar ve en yakın komşu yoluyla alır. Beyin, ilişkisel benzerlik üzerinden alır.
• Representation: Çeşitli deneyimlerden çıkarılan değişmez özellikler. NeMoCo'nun 32D embedding'i, farklı dönüşümler altında aynı mesh'i aynı vektöre eşler. Beyin, farklı bakış açıları boyunca stabil nesne temsillerini korur.
• Öğrenme: Deneyimlere dayalı güncelleme yapar. NeMoCo, geri yayılım + momentum EMA kullanır. Beyin, plasticite kurallarını kullanır.
• Nedenleme: Temsilleri birleştirerek kararlar alınır. NeMoCo, kNN oyu ve lineer probingle kullanır. Beyin... daha karmaşık bir şey yapar, ancak fonksiyonel rolü aynıdır.

NeMoCo'nun bir beyin olduğunu iddia etmiyorum. Bu bir matematiksel ardışık sistemdir. Ama, beyinlerin yaptığı şeyin fonksiyonel bir parçasını oluşturan bir ardışık sistemdir: ham, etiketsiz deneyimlerden faydalı dahili temsiller oluşturarak.

Ajan Mühendisliğiyle Paralel Bölüm

Beni en çok etkileyen kısım. Ben, hafıyayı yöneten, görevleri yönlendiren, bağlamı getiren ve oturumlar arasında sürekliliği sağlayan bir yapay zeka asistanı olan Aura'yı geliştiriyorum. NeMoCo ile yapısal benzerlikler oldukça somut olduğu için, makaleyi okurken sürekli kafayı titrettim.

Öz denetimli ön eğitim ↔ Ajan Hafızası

NeMoCo, MouseFinal veri seti olan 4,235 etiketsiz fare kafa ağ üzerinde ön eğitim yapar ve bu sayede genel amaçlı bir geometrik temsille oluşturur. Bu önceden eğitilmiş kodlayıcı daha sonra donur ve çekirdeği yeniden eğitmeden sınıflandırma, getirme ve kümeleme gibi birden fazla aşağı akış görevinde yeniden kullanılabilir.

Ajan hafızası aynı şekilde çalışır. Aura'nın hafıza dosyaları — uzun süreli hafıza, günlük notlar, araç notları — , görev özel etiketler olmadan kullanıcı, projeler ve ortam hakkında genel amaçlı bir anlama oluşturur. Bu hafıza oturumlar arasında devam eder ve herhangi bir görev için sorgulanabilir. Bu, her seferinde yeniden inşa edilmesi gerekmeyen bir "ön eğitilmiş bağlam" tir.

Dondurulmuş kNN değerlendirmesi en kesin paralelidir. NeMoCo'nun kodlayıcı, etiket olmadan önceden eğitilmiş ve ~70–80% doğrulukla, açıkça eğitilmediği bir sınıflandırma görevinde başarır — sadece gömme uzayında en yakın komşuları bularak. İyi bakılan ajan belleği, bir yapay zeka asistanının mevcut oturumda açıkça bilgilendirilmemiş projeler hakkında soruları yanıtlamasına olanak tanır — sadece semantik olarak benzer girişleri bularak. Mekanizma farklıdır (vektör uzayında kNN vs. metin üzerindeki semantik arama), fakat ilke aynıdır: deneyimden elde edilen iyi bir gösterim, tasarlanmadığı görevlere aktarılır.

Gösterim Öğrenmesi ↔ Ajan Bilgi Yapısı

NeMoCo'nun 32 boyutlu gömmesi, bir ağ geometrik kimliğinin sıkıştırılmış bir gösterimidir. Vektör uzayında yakın olan gömmeler, benzer morfolojileri temsil eder. Gömme uzayı veriden ortaya çıkar — kimsenin hangi boyutların hangi özelliklere karşılık geldiğini tasarlaması yoktur.

Ajan belleği, gerçekler, kararlar ve bağlamın sıkıştırılmış bir gösterimidir. Ajan ham transkriptleri depolamaz; distilled (özlü) anlamı depolar. Ayrıca o belleğin yapısı, önceden tanımlanmış bir şema değil, kullanımdan ortaya çıkar. Aura'nın bellek taksonomısını önceden tasarlamadım. Etkileşim üzerinden önemli olanları keşfettim — hangi projeler gündeme gelir, hangi kararlar önemli olur, hangi tercihler tekrarlanır. Bellek, ilgili kavramları doğal olarak kümeleştirir; bu da NeMoCo'nun gömme uzayının benzer sinir yapılarını doğal olarak kümelemesiyle aynıdır.

Kontrastif İçgörü

Bu daha spekülatif, ancak gerçek olduğunu düşünüyorum. NeMoCo'nun kontrastif kaybı, benzer şeyleri birbirine çeker ve farklı şeyleri birbirinden uzaklaştırarak çalışır. Model, iki görünümün 'aynı ağ' olmasını sağlayan şeyi, aynı zamanda onları 'başka bir ağ olmaması' gereken şeyi öğrenerek öğrenir.

Ajan tasarımı için burada bir ders var. Sadece gerçekler — pozitif örnekler — depolayan bir ajan, bu gerçeklerin distinctive olduğu nedirini bilmenin bir yolu yoktur. Aura'nın belleğinde karşıtlıkları takip etmeyle deney yapıyorum: "bu proje SQLite kullanıyor, Postgres değil"; "bu kullanıcı açıklamalar yerine direkt cevaplar tercih eder." Kontrastif çerçeve, gösterimi zenginleştirir. Bir şeyin ne olduğunu bilmek yeterli değil; aynı zamanda onun ne olmadığını da bilmeniz gerekir.

Momentum kodlayıcı başka bir örnektir. Yavaş güncellenen öğretmen dalgası (EMA, τ=0.999), eğitim sırasında gösterimin vahşileşerek osilasyonuna yol açmasını önler. Ajan belleği benzer bir "yavaş güncelleme" prensibinden yararlanabilir. Her yeni gerçekte uzun süreli belleği yeniden yazmam. Önemli desenlerin zamanla ağırlık biriktirmesini sağlayıp, sonra terfi ettiririm. Günlük notlar ham loglardır; uzun süreli bellek kurateldir. Birinden diğerine terfi, momentum benzeri bir güncellemedir — yavaş, amaçlı ve gürültüye karşı dayanıklıdır.

Sonuçlar

NeMoCo, öğrenilmiş temsilleri üç seviyede değerlendirir:

1. Frozen kNN (k=20): Kodlayıcı tamamen dondurulmuş olur. Test ağları, eğitim gömlemelerinin bir bellek bankasında 20 en yakın komşu bulunarak ve oylama yaparak sınıflandırılır. Ekstra eğitim gerekmez. Sonuç: MouseFinal üzerinde ön eğitimden sonra altı-sınıflı sinir yapısı sınıflandırma görevinde yaklaşık %70–80 doğruluk elde edilir — bu veri seti kodlayıcı tarafından etiket görmemiştir.
2. Linear probing: Dondurulmuş kodlayıcı üzerine tek bir lineer katman eğitilir. Bu, öğrenilen özelliklerin lineer olarak ayrılabilir olup olmadığını test eder — sınıflar, gömleme uzayında temiz kümeler oluşturuyor mu?
3. Fine-tuning: Tüm kodlayıcı + sınıflandırıcı, uçtan uca eğitilir. Bu, denetimli öğrenmenin tavanudur: yaklaşık %87 doğruluk.

Ana bulgu: self-supervised and supervised approaches reach comparable accuracy. Aynı olmayan — denetimli tavan daha yüksek — ancak bu kadar yakın ki, büyük etiketli veri setleri olmadan sinir yapılarını sınıflandırabilirsiniz. Ön eğitim sırasında CLIP getiri doğruluğu, rastgele şansın 200–400 katı daha iyidir (rastgele = 0.024%, 4,235 yüzey ağı için), bu da kodlayıcının gerçek bir yapı öğrendiğini, gürültüyü memorize etmediğini gösterir.

Bu sayılar projenin 4. aşama README dosyasından gelir — beklenen aralıklar, henüz yayınlanmamış son sayılar değildir. Makale ScienceDirect'te ücretli olduğu için kesin son sayıları doğrulayamıyorum. Ancak yön açık: özdenetimli ön eğitim, tam denetimli eğitime olan boşluğu büyük ölçüde kapatır ve bunu tek bir etiket olmadan yapar.

Neden Önemli

Connectomics ölçek gerektiriyor. Darboğaz görüntüleme değil — EM teknolojisi terabaytlarca veri yakalayabiliyor. Darboğaz anotasyon. Uzman nörobilimcilerin her bir mesh'i elle etiketlemesini gerekiyorsanız, insan throughput'una sınırlı kalıyorsunuz. NeMoCo'nun yaklaşımı — etiketsiz veri üzerinde ön eğitim yapıp, minimum ince ayarla etiketli görevlere aktarım — bu darboğazı aşmanın bir yoludur.

Çapraz-etki transferi özellikle ilginç. NeMoCo, fare kafatası mesh'leri üzerinde ön eğitim yapıp, sinir yapısı sınıflandırmasına aktarım yapar. Farklı domain, farklı şekiller, aynı geometrik temel ilkeler. Kodlayıcı, aktarılan genel 3D şekil özelliklerini öğrenmiş. Bu, özdenetimli öğrenmenin vaatidir: dünyanın yapısını öğren, ardından ucuz bir şekilde uzmanlaş.

Kod açık kaynaklı. Veri setleri repoda açıklanmıştır. Mimari, RTX 3090'te (küçültülmüş batch boyutu ile) veya tam ölçekli eğitim için A100'te yeniden üretilebilir. Bu, kilitli bir kurumsal sistem değil — kendi kendinizi çalıştırabileceğiniz bir araştırma projesidir.

Ekip

Bu çalışma Katar'daki Hamad Bin Khalifa Üniversitesi'ndeki çıktı. Humaira Shaffique, yüksek lisans tezi kapsamında çalışmayı yönetti. Dr. Marco Agus denetledi. Dr. Uzair Shah (repo sahibi ve mentor), Dr. Mahmood Alzubaidi, Dr. Jens Schneider, Dr. Pierre Julius Magistretti, Dr. Corrado Calì ve Prof. Mowafa H. birlikte yazarlar listesini tamamladı. Makale Graphical Models (Elsevier) dergisinde yayınlanmıştır, yaklaşık Ağustos 2026'da.

Arkadaşım ekibin içinde. Beni gönderdi, çünkü ajan mühendisliği ile paralelliklerin uyuşacağını düşündü. Ve öyle oldu.

Öğrendiklerim

Aura'yı geliştirirken, NeMoCo'nun çözdüğü aynı temel sorunu farklı bir alanda çözmeye çalışıyorum: ham, etiketsiz deneyimden faydalı içsel temsiller nasıl oluşturulur?

NeMoCo'nun cevabı: içsel geometri üzerindeki karşıtlaştırmalı öğrenme. Sisteme aynı şeyi farklı açıdan göster, bunlar aynı olduğunu söyle, ve önemli olanı keşfetmesini sağla. Aura için benim cevabım: etkileşimden bellek biriktir, kullanımdan yapı ortaya çıksın, desenleri yavaşça teşvik et. Farklı mekanizmalar, aynı ilkeler.

Beyin-çerçevesi çerçevesi benim zorladığım bir metafor değil. Aslında sorunun gerçek yapısıdır. Bir ajan oluştururken — algılama (giriş yönlendirmesi), bellek (depolama ve alma), temsil (sıkıştırılmış bağlam), öğrenme (bellek güncellemeleri), akıl yürütme (araç seçimi ve planlama) — bileşenlerden beyne benzer bir şey inşa ediyorsun. Biyolojik değil. Fonksiyonel. NeMoCo'nun sinir yapılarını beyinlerin dünyayı kategorize ettiği şekilde kategorize eden bir sistem kurma şekliyle aynı: kategorilerin ne olduğunu söylemeden.

Bu ders. Etiketler bir kısayoldur. Yapı önemli olan şeydir. Ayrıca ham deneyimden yapı öğrenebilirsin — bir beyin, bir ağ sınıflandırıcı veya faydalı olmaya çalışan bir AI ajanı olsan da.

NeMoCo GitHub'da: github.com/Uzshah/NeMoCo

Makale: Elsevier, Grafik Modelleri (~Ağustos 2026)

DiffusionNet: Sharp et al., SIGGRAPH 2022 — github.com/nmwsharp/diffusion-net

MoCo v2: He et al., CVPR 2020 — arxiv.org/abs/2003.04297

CLIP: Radford et al., ICML 2021 — arxiv.org/abs/2103.00020