Kurumsal LLM mimarisi: RAG, guardrail ve maliyet kontrolü

Kurumsal LLM projelerinde demo ile üretim arasındaki uçurum, model kalitesinden değil platform eksikliğinden kaynaklanır. Üretimde LLM işleten müşterilerimizden damıttığımız üç mimari ders paylaşıyoruz.

LLM gateway: tek kapı, tam görünürlük

Ekiplerin model API'lerine doğrudan erişmesine izin verirseniz; maliyet, güvenlik ve uyum görünürlüğünü daha ilk ay kaybedersiniz. Tüm model trafiğini tek bir gateway'den geçirin: istek loglama, PII maskeleme, model yönlendirme, kota ve maliyet ataması bu katmanda yaşar.

Bu katman aynı zamanda model bağımsızlığı sağlar: sağlayıcı veya model değiştirmek, uygulama ekipleri için bir konfigürasyon değişikliğine iner.

RAG'de kalite, embedding'den önce veri hattındadır

Kötü cevapların kök nedeni çoğunlukla model değil, içerik hattıdır: güncelliğini yitirmiş dokümanlar, yanlış parçalama (chunking), erişim yetkisi gözetmeyen indeksleme. Doküman yaşam döngüsünü (kim güncelledi, hangi sürüm geçerli, kim erişebilir) çözmeden vektör veritabanı seçimi tartışmak, temelsiz binaya çatı seçmektir.

Erişim kontrolünü indeksleme katmanına gömün: kullanıcının görmeye yetkili olmadığı doküman, daha retrieval aşamasında elenmiş olmalıdır.

Maliyeti mimariyle yönetin

Token maliyetleri lineer büyümez; kontrolsüz bağlam şişmesi ile patlar. Önbellekleme (aynı sorulara aynı cevap), model katmanlaması (basit görevlere küçük model), bağlam bütçeleri ve agresif RAG filtrelemesi; kalite kaybı olmadan maliyeti tipik olarak %60-80 düşürür.