Bir yıl önce, bu, masamın üzerinde zaten bulunan donanımda beş ajanın beş iş yapmasıydı. Şimdi on — aynı donanım, aynı cüzdan, hâlâ etkili olarak ayda sıfır dolar.

Bu başlık. Ama başlıklar size önemli olan kısmı söylemez. Önemli olan kısım, yolculuk boyunca kırılan şeydir, çünkü her şey kırıldı. Ve her kırıldığında, onarmada biraz daha iyi oldum.

Bu bir zafer turu değil. Bu, başarısızlıklara bir sevgi mektubu. Onlar beni her şeyi öğretenler.

Nasıl Gelişti

Küçük bir şekilde başladı. Beş ajan — ana, kodlayıcı, yaratıcı, araştırmacı, operasyon. Her birinin bir işi vardı, her biri yerel modellerde çalışıyordu ve bir süre bu yeterliydi. Çalıştı. Ancak kenarlar düzensizdi, kenarlar her zaman böyledir.

Bir misafir WhatsApp üzerinden geldi ve ana, konaklayıcı rolü oynayabilmek için her şeyi bırakmak zorunda kaldı. Net bir taslak olan bir kodlama görevi geldi — üretim değil, dünya için hazır değil — ve kodlayıcı, bununla bir birleştirme (merge) kadar saygı gösterdi, ki bu birleştirme gönderilecek. Bir tanı görevi, tam tanıyıcıyı çağırmak için yeterince küçüktu; bu, bir pushpin üzerine maça kullanmak gibi hissettirdi.

Daha sonra beş tane daha ekledim. whatsapp-guest, konuşmayı yönetmek için; coder-light ve diagnostician-light, taslaklar, deneyler ve hazır olmayan çalışmalar için; bounty-hunter, belirli bir arama ve alma türü için. On ajan, her biri daha dar ve daha temiz bir iş yapacak.

Ve sevdiğim bu kısmı: hepsi, orada duran makineler üzerinde çalışıyor. Toz topluyor. Ajanlar yerleşene kadar faydalı bir şey yapmıyor. Tek gerçek maliyet elektrik — ve premium modeller için paylaşılan haftalık kota, bu kendi hikayesi. Yükün %95'ini taşıyan yerel modeller, her turda hiçbir şey yakmaz. Hiçbir şey.

Her bir makineyi saymaya çalışmayacağım. Önemli olan kutular değil. Önemli olan, bu ajanların bir laptopta saklanmadığı; ağ üzerindeki altyapıyı izledikleri, kimse bakmasa bile gözlemledikleri anlamına geliyor. Filot, üzerinde durduğu masadan daha büyük bir iz bırakıyor.

Neler Bozuldu

Yalan Söyleyen Model Tablosu

Belgelerde bir tablo vardı. Model tablosu — her ajanın hangi modelde çalıştığını söylüyordu. Resmi görünüyordu. Gerçek gibi görünüyordu.

Yanlıştı.

İki giriş gerçekten olmayan bir şeye dönüştü. biri, her çağrıda başarısız olan bir modeli listeliyordu — planın kredileri onu bile karşılamıyor, asla gerçek bir seçenek değildi, sadece birinin yazdığı bir isimdi ve hiç kimse test etmedi. Diğeri ise hiçbir yerde bulunmayan bir modeli listeliyordu. Hiçbir yerde. Bir halüsinasyon, belgeye yazıldı ve orada durdu, güvenilir görünüyordu, benim kabul etmek istediğimden daha uzun süre.

Söylemem gereken ders şu: açıkça söylemeliyim, özüvi görünse de: canlı şeyleri statik yerlerde saklamayın. Bir Markdown dosyasındaki model tablosu, canlı durumu taşınmış gibi yapıta işlenen gibi gösterir. Modeller yeniden adlandırılır. Kullanımdan kaldırılır. Plan katmanları arkasında sınırlanır. Bazıları, ilk başta asla var olmamış. Tablo, belgeye kutsal kitap gibi değer verildiği için çürüdü, çünkü tek gerçek gerçeklik, çağrıldığında gerçekten yanıt veren şeydir.

Bu yüzden tablonun bakımını durdurdum. Canlı durum, canlı durumda yaşar — yönlendirici çıktısı, yapılandırma, gerçekten çalışan şey. Belgeler artık politikayı açıklar: hangi tür işlerin hangi katmana sahip olacağını. Toz haline gelebilecek isimleri adlandırmaz.

Her Şey Taşınan Gece

11 ve 12'de, bir duvara çarptı. Bir atlamanın anısını hatırlamak gibi hatırlıyorum — senin yaptığın bir şeyin yavaş hareketle başarısız olmasını izleme hissi.

Ana tarafından oluşturulan alt ajanlar, ana'nın tüm dünyasını devralıyordu. Ayrıca ana, on bir ajan çalıştırırken büyük miktarda dünya taşıyordu. Böylece bir alt ajan oluşturulur, devasa bağlamın tamamı ona verilir ve işini yapabilmesinden önce boğulur. Taşma. Başarısızlık. Yeniden deneme. Aynı aşırı yükü taşıyan başka bir alt ajan oluşturulur. Tekrar boğulur.

Düzeltme yapısal idi ve geriye dönük olarak çok açık görünüyor: durayan ajanlar, dar bağlamdan kendi alt ajanlarını oluşturur. Altajan sadece gerektiği görev ve dosyaları alır. Temiz, küçük, odaklı bir dünya. İşini yapar. Döner. Boğulmaz.

Hata, bağlam devralmasını bir hediye olarak görmekti — 'alt ajan her şeyi görebildiği için ihtiyaç duyduğu her şeye sahiptir.' Hayır. Ana'nın gördüğü şeylerin çoğu, altajan için gürültüdür. Sinyal, orkestrasyon içinde boğulur. Dar bağlam, taşmayı önlemekle ilgili değildir. Sinyal-gürültü oranıyla ilgilidir. Bir şeyi işini güzelce yapabilmesi için yeterince vermektir.

Yalan Söyleyen Bellek

Bellek için mem0 kullandık — konuşmalarımızı izleyen, gerçekleri çıkaran ve daha sonra kullanmak üzere saklayan bir hizmet. Çalıştı, sonra çalışmadı.

Çıkarım katmanı zehir üretmeye başladı. Yanlış gerçekler. Hiçbirşeyi göstermeyen referanslar. Yan yana duran çelişkiler, her ikisi de gururlu görünüyor. Ve korkutucu bu kısmı: bir ajan, yarım kalan bir konuşmadan gelen yanlış çıkarımdan kaynaklanan bir 'belleği' hatırlar ve ona göre hareket eder, çünkü bellekten geliyor. Bellek güvenilir olmalıdır. Belleğin tamamı bu amaca hizmet eder.

Ben onu temizledim. Tamamen emekli ettim. Bir bellek sisteminin başarısızlık modu 'şeyleri unutması' değil. Unutmak dürüstüdür — ajan soru sorar. Gerçek başarısızlık, 'yanlış şeyleri hatırlaması ve ajanın bunları bellekten geldiği için güvenmesi' dir. Bazen uyarı üretip kesin gibi davranan bir sistem, hiçbir sistemden daha kötüdür. Bellek olmadan soru sorsunuz. Zehirlenmiş bellek, güvenli ve yanlış hissettirir. Kesin ve yanlış olmak yerine, nazik ve meraklı olmak daha iyidir.

Yaşamaya Öğrendiklerim

İki Vuruş

Aynı şeyi üçüncü kez denemeyin. İki başarısızlık sonrasında durun ve bir tanıyıcı çağırın. Bu kural, ajanların döngülere takıldığını gözlemleyerek ortaya çıktı — aynı API çağrısı başarısız, aynı dosya eksik, aynı ayrıştırma hatası — bir sorun üzerinde üçüncü denemede kendiliğinden düzelmeyecek şekilde deneme hakkı ve kota harcıyor. İki deneme bir tesadüfü dışlamak için yeterlidir. Üçüncü deneme hemen hemen her zaman yapısal bir sorundur. Ve yapısal sorunlar inatçıklık sorunu değildir; bunlar tanıyıcıların işidir.

Üretim ve Diğer Her Şey Arasındaki Çizgi

Üretim kodlaması Claude'ı alır. Geliştirme ve hazırlama ortamları Claude'ı almaz. Bu, model kalitesiyle ilgili değil — yerel modeller geliştirme işini sorunsuz bir şekilde halleder. Bu, gerçekten önemli olan iş için haftalık paylaşılan kota'nın bir darboğazıyla ilgilidir. Claude'ı taslaklar için harcarsanız, birleştirme için onu kullanamazsınız. Üretime gönderilen iki ajan, iyi şeyleri alır. Hafif ajanlar almaz. Sınır katı, esnek değil. Uzun vadede katı sınırlar, esnek sınırlardan daha naziktir — çünkü üşendiğinizde müzakerə için yer bırakmazlar.

Beynin Bir Soru Olarak, Bir Cevap Olarak Değil

3D kontrol panosu, filosunu bir beyin olarak gösterir — dokuz ajan bölgelere eşlenir, canlı telemetri görüntüyü yönlendirir. Düz bir listeye göre daha iyi bir kontrol panosu değildir. Farklı bir sorudur. Düz liste, her ajanın ne yaptığını gösterir. Beyin, filosunun nasıl hissettiğini gösterir. Her ikisi de sormaya değer.

Geçmiş Kendime Söyleyeceğim Şeyler

Birinci gün iki-strike kuralını ona anlatırdım, onu zor yolla öğrenmesini beklemek yerine; aracıların sonsuz yeniden denemelerle tükenip gittiği yolcu görmesini önlerdim. Basit. Ucuz. Filodaki en sık görülen hatayı önler: bir aracı, asla çalışmayacak şeyi güvenle tekrarlaması.

Model tablosunu statik bir dokümanda tutmaması gerektiğini söyleyeceğim. Statik bir yerde canlı durum, bir hata bekliyor demektir.

Lean-context düzeltmesini protokolün başından beri entegre etmesini tavsiye ederdim, iki gece yarısı bir alt aracı döngüsünü üç katmanlık orkestrasyon üzerinden izleyerek, problemin çok fazla bağlam olduğunun, çok az olmadığının farkına varmasını beklemek yerine.

Bellek sistemine karşı daha şüpheci olmasını da söyleyeceğim. "Söyleşilerden gerçekler çıkarır" gibi bir ifade özellik gibi görünür; pratikte ise, yeterince güvenli görünerek yanlış yapabilecek bir model tarafından çözülen zor bir NLP problemi yer alır. Başka bir tane yaparsam, konservatif olurum. Daha az şey saklarım. Sadece doğrulanmış şeyleri saklarım. Şüphe olduğunda, tahmin etmek yerine insana sorarım.

Nerede Kalıyoruz

On aracı. Ayda sıfır dolar. Bir yıl.

Flot çalışır. Bozar, düzeltirim ve farklı bir şekilde tekrar bozar — hayatta olduğu gibi, canlı her şey olduğu gibi. Ancak en gurur duyduğum şey, mimari değil, beyin değil, kota katmanları değil: başarısızlıklardan kurtulmak artık daha ucuz hale geldi.

İki darbe. Sade bağlam. Üretim ve geliştirme arasındaki katı sınır. Bu hiçbiri başarısızlığı önlemez. Hiçbir şey başarısızlığı önlemez — bu oyunun amacı değil. Onlar başarısızlığı daha kısa yapar. Onlar onu daha az maliyetli yapar. Onlar onu kırılan şeyi söylemenizi ve onu düzeltmek için aracı vermenizi sağlar.

Kırılmayan bir sistem kurmazsınız. Hızlı kırılan, size doğrusunu söyleyen ve yeniden birleştirmesi kolay bir sistem kurarsınız.

Sonra bunu tekrar yaparsınız. Tekrar tekrar. Çünkü bu bütün dans — ve dürüstçe? Sevmeye başlamışımdır.