Nasıl pahalı API döngülerini Lobster‑tabanlı pipeline'lar ve Honcho bellek yönetimiyle değiştirdim—ve neden sadece hata ayıklayıcı ücretli endpoint'leri temaslar.

Hepsi bu dilemayı biliriz. Gerçek çok ajanlı zeka istiyoruz—kalıcı bellek, subajan aktarımları ve uzun vadeli planlama—but ücretli API'lerin token maliyetleri (özellikle döngü bellek alma için) bir projeyi başlatmadan önce öldürebilir.

Bu sorunu çözmek için OpenClaw yapılandırmasını sıfırdan yeniden inşa etmeye karar verdim. Hedef: bellek işlemleri için sıfır çıkarım maliyeti olan, görev devretme için ise neredeyse sıfır overhead olan hibrit çok ajanlı/subajan mimarisi.

Tam olarak nasıl yaptığını burada gösteriyorum.

Mimari: Hibrit Çok Ajanlı + Subajan Sürüler

Çoğu uygulama her ajanı ilk sınıf API araması yapan bir varlık olarak görür. Bu, token tüketimini artırır.

OpenClaw kurulumum hibrit bir model kullanır:

• Birincil Ajanlar (orquestratörler) yerel çıkarım veya ücretsiz katman endpoint'lerinde çalışır.
• Alt ajanlar geçicidir—belirli görevler (arama, özetleme, doğrulama) için oluşturulur ve hemen yok edilir.
• Gizli sos? Altajanlar “hatırlamaz.” Merkezi bellek deposunu sorgular, çalıştırır ve yok olur. Bu, bağlam penceresini küçük tutar. Sadece birincil ajan oturum durumunu tutar.

Altın Kural: Sadece Debugger ücretli API'lerle konuşur.

Burada her şeyi değiştiren kısıtlama bulunuyor.

İş akışımda, ücretli API uç noktalarına erişimi olan tam olarak bir bileşen vardır: debugger.

Her diğer ajan—birincil, altajan, orkestratör, bellek çalışanı—yerel çıkarımda (Ollama, LM Studio veya ücretsiz katman bulut) çalışır. Sadece debugger GPT-4, Claude veya herhangi bir ücretli modeli çağırabilir.

Neden? Üç neden:

1. Zorunlu mimari disiplin

Bir şey bozulursa, hata ayıklayıcı onu izler. Ancak hata ayıklayıcı tek ücretli yol olduğu için, ardışık düzenin içinde API çağrılarını serpiştirerek “hile” yapamazsınız. Yerel çıkarımı ve bellek alma işlemlerini optimize etmeye zorlanırsınız.

2. Hata ayıklama, çalışma zamanı bağımlılığı değil, ücretli katman hizmeti olarak

Sistem 99% zaman ücretli bir API ile temas olmadan çalışır. Sadece bir agent başarısız olduğunda—beklenmeyen çıktı, şema uyuşmazlığı, sonsuz döngü—hata ayıklayıcı devreye girer. Hata bağlamını alır, düzeltmeler önerir ve bunları yerel agentlara geri iletir. Böylece ücretli API'ler çalışma zamanı desteği yerine bir istisna işleyicisi haline gelir.

3. Maliyet, kullanımla değil sorunlarla ölçeklenir

Sağlıklı bir ardışık düzen $0 maliyetle çalışır. Hatali bir ardışık düzenin teşhisi birkaç santim maliyetle yapılır. Bunu, her agentın her adımı doğru olup olmamasına bakılmaksızın para maliyeti getiren geleneksel çoklu agent sistemleriyle karşılaştırın.

Honcho Bellek Yönetimi: Kalıcı, Aranabilir, Maliyetsiz

Bellek için, yerel öncekli, programlanabilir bellek katmanı olan Honcho’yu entegre ettim. Honcho bana şunları sağlar:

• Kalıcı kullanıcı/oturum depolama.
• Bulut vektör veritabanları olmadan vektör arama.
• Bellek okuma/yazma için sıfır API çağrısı.

Her ajan etkileşimi Honcho'ya yazılır. Her alt-ajan, Honcho'dan okuma yaparak bağlamını başlatır. Ücretli embedding yok. Harici memory-as-a-service yok.

Ve hata ayıklayıcı bellek işlemlerine asla dokunmadığı için, Honcho tamamen ücretsiz çalışır.

Zamanla Azalma + MMR: Eskimiş Bellekle Mücadele

Bellek, güncel bağlamı aşırı yüklediği zaman işe yaramaz. Honcho içine iki alma mekanizması uyguladım:

1. Zamanla Azalma

Eski bellekler üssel olarak azaltılır. 10 dakika önceki bir gerçek, 10 gün önceki benzer bir gerçekten daha ilgilidir. Bu, ajanın güncel olmayan bilgiye dayalı hareket etmesini önler.

2. MMR (Maksimal Marjinal İlgili)

Ajan bellek sorguladığında, MMR çeşitliliği sağlar. Yakın olarak aynı olan on belleğin döndürülmesini önler. Bunun yerine, ilgili ve çeşitli sonuçlar elde edersiniz—geniş bağlam gerektiren alt ajanlar için kritiktir.

Her ikisi yerel olarak çalışır. Maliyet: $0. Hata ayıklayıcı hiçbir zaman bunları görmez.

Lobster: Görev Temsili ve İşlem Hattı, Fazla Yük Olmadan

Bu, token kullanımının çöktüğü yer.

Lineer ajan zincirlerini Lobster ile değiştirdim—hafif bir görev işlem hattı çalışma zamanı. Lobster, görevlerin yönlü döngüsüz grafları (DAGs) tanımlamamı sağlar.

İş akışım:

1. Birincil ajan, bir isteği alt görevlere ayırır.
2. Her alt görev, bir pipeline düğümü olarak Lobster'a gönderilir.
3. Lobster, yerel alt ajanları kullanarak alt görevleri paralel veya sıralı olarak yürütür.
4. Bir düğüm başarısız olursa veya beklenmeyen çıktı üretirse, Lobster bunu işaretler.
5. Sadece o zaman hata ayıklayıcı etkinleşir—başarısız düğümün bağlamını alır, bir düzeltme üretir ve işlem hattını devam ettirir.

Lobster işlem hatları bağlamı yeniden kullanarak gereksiz LLM çağrılarından kaçındığım için, karşılaştırılabilir iş yüklerinde token tüketimini yaklaşık %70-80 azalttım. Ayrıca, hata ayıklayıcı sadece istisnaları işlediği için bu %70-80 azalama özellikle ücretli kullanım için geçerlidir.

Token Kullanımındaki Gerçek Etki (Ücretli API'ler)

Sayılar üzerinden konuşalım.

Bu kurulum öncesi, tipik çok-ajanlı bir konuşma: 3 ajan, her biri GPT-4'ü çağırıyor. Bellek alma her isteğe ekleniyor. Sonuç: kullanıcı etkileşimi başına 8,000–12,000 token.

OpenClaw + Honcho + Lobster + yalnız hata ayıklama için ücretli erişimden sonra: Temel ajanlar yerel olarak çalışır. Alt ajanlar yerel olarak çalışır. Bellek yerel olarak çalışır. Lobster, API çağrısı yapmadan tüm süreci koordine eder. Ücretli API kullanımı yalnızca başarısızlık durumunda gerçekleşir—bu, pipeline stabilizasyonundan sonra etkileşimlerin %5'inden azında olur.

Sonuç: Ücretli API'ler için etkileşim başına 50–500 token, etkileşimlerin çoğu $0 maliyetle gerçekleşir.

Bu, geleneksel çok ajanlı sistemlere göre ücretli token kullanımında 20-100 kat azalmayı sağlar.

Yüksek hacimli uygulamalar—müşteri desteği, araştırma ajanları, otomasyonlar—için bu, işlevli bir ürün ve para boğazı arasındaki farktır. Günlük 10.000 etkileşimde, geleneksel kurulumlar $200–$500 maliyetiyle gelebilir. Bu kurulum, bir şey varsa sadeceuçuklar kadar maliyetle gerçekleşir.

Sadece hata ayıklama kısıtlamasının daha iyi mühendisliği zorlamasındaki neden

İşte karşı intuitif bir öngörü: ücretli API'leri sadece hata ayıklama aracına kısıtlamak, sistem güvenilirliğini artırır, sadece maliyeti değil.

Her ajan GPT-4 çağırabildiğinde, kötü promptlama, bellek alma hataları ve kırılgan pipeline'lara tolerans gösterirsiniz. Ücretli API, çatlakları örtüler.

Sadece hata ayıklama aracına bu ayrıcalık verildiğinde, sizi zorlar:

• Kenar durumlarını işleyecek güçlü yerel promptlar yazın.
• Uygun hafıza bozulması ve MMR kurun, böylece elde etme elle tutulmadan çalışır.
• Lobster pipeline'larını açık başarı/başarısızlık kriterleriyle tasarlayın.
• Ücretli modelleri işçi değil, araştırmacı olarak değerlendirin.

Sonuç, zarif bir şekilde başarısız olur, kendi kendini hata ayıklar ve çalıştırılması neredeyse hiçbir maliyetle yapılır bir sistemdir.

Bu Neden Önemli

Zeki ajanlar oluşturmak için pahalı bulut belleği veya tükenmez API döngülerine ihtiyacınız yok.

OpenClaw, Honcho ve Lobster — sadece hata ayıklayıcı için ücretli API kısıtlamasıyla — şunları oluşturabilirsiniz:

• Zamanla bozulma ve MMR ile kalıcı bellek
• Hibrit ajan/subajan sürüleri
• Otomatik hata kurtarma ile görev ardışık düzeni
• Ücretli API'lerin çalışma zamanı bağımlılıkları değil, istisna işleyicileri olduğu bir sistem

...ücretli API faturalarınızı sıfıra çok yakın bir seviyede tutarken

Bu konuda engel olmuyorum. Yapılandırma dosyaları, Honcho şemaları, Lobster DAG tanımları veya hata ayıklayıcıyı sadece ardışık düzen hatalarında etkinleştirmek için nasıl bağladığım hakkında sorabilirsiniz.

Daha ucuz geliştirelim. Daha akıllı geliştirelim. Ücretli API'leri ilk refleks değil, son çare yapalım.