Bir finans hizmetleri firması için iç belgeleri aramak için bir Gen AI sohbet botu oluşturdum, böylece kullanıcıların belgeleri daha hızlı arama, tarama ve özetlemek için bir araç kullanmalarına olanak sağlar. %80'e kadar verimlilik yaratarak, Retrieval-Augmented Generation (RAG)'ı kullandım, belgeyi çantasına (katalog grupları) yerleştirdim ve Claude, Titan ve Llama-3 gibi LLM'leri karşılaştırdıktan sonra Titan'ı kabul ettim, belge arama için bağlam bilincine dayalı, doğru cevaplar sunmak için.
Üç sprint çalışması için modeller karşılaştırmak, boru hattlarını ayarlamak, performansları optimize etmeye çalışmak ve uyarı talimatları - Titan modelinde oldukça iyi çalıştı (Titan, metin modeli için tasarlanmış olduğu için listelenen modeller arasında en iyi şekilde çalışıyor ve kullanım durumum yeteneğinin kapsamına iyi yerleştirildiği için). Tüm kullanıcılar gösterdi ve gösterdiğimi YAPTIM. Dokümanlar için Soru Soruları ve Finansal Ürün belgeleri için standart T&C'ler için arama ve tarama saatleri tasarrufu sağladı (terminoloji ağır ve notlar dolu vb.). Çalışmamın sonuçlarından gurur duyuyorum, aklımda bir soru vardı: Bu, özellikle AI çağında en iyi fiyat ve performans ile çözüm olduğundan %100 emin miyim? daha spesifik olarak, “Dünyada Amazon Q
Başarı ile ilgili sorunlar
Bir fikri test etmek ve onaylamak için iyi bir şey oluşturduğunuzda, bu büyük bir başarı gibi hissedilir – bar sadece “işe yaramıyor” farkına varıncaya kadar. Müşteriler, finansal hizmetler gibi yüksek düzeyde düzenlenmiş endüstrilerde GenAI'yi kullanmaktan çok dikkatli olmasına rağmen, şirket hazırlıkları Amazon Q, Microsoft Copilot ve Google Gemini gibi işletme çözümlerinden daha yüksek bir fiyat talep etmek için hala yeterli görünmüyor. RAG ile çözümlerimin yanıtlara olan güvenimi artırdığını, halüsinasyonları ortadan kaldırdığını ve kaliteyi çok sayıda güvenlik çubuğuyla karşılamaya devam ettiğini fark ettiğimde, işletme hazırlığı platformları, işletmelerde zaten yaşayan ekosistemlerle ucuz, iyi görünür ve derinlemesine entegre. Amazon Q Business, ör
Benim durumumda, Amazon Q Business Enterprise, bir birim için saatte $0.264 ücreti (20K belge veya 200Mb çıkarılmış metin) alırken, belge başına işlem başına maliyetimi $0.23 olarak hesapladım.
Yaptığım chatbotla gurur duyuyorum.Ama ölçeklendirme ve maliyet verimliliği açısından?Aniden çok sıkı bir yerdeydim.
Zor Karar: GenAI Çağında İnşa vs. Satın Al
Bu yeni bir dilemma değil, ancak GenAI ile işler daha karmaşık hale geldi. İşte AWS Q Business'a benzer olan iç chatbot geliştirme sırasında karşılaştırdığım öğrendiğim bir özet:
|
Feature |
In-house GenAI Chatbot |
AWS Q Business / Off-The-Shelf ChatBot |
|---|---|---|
|
Control |
You have full customization (RAG, LLM tuning, |
Limited to platform capabilities – but fairly flexible |
|
Data Privacy |
You can enforce custom encryption, anonymization, or add new layers |
Predefined policies & integrations – needs configuration |
|
Cost |
Significantly higher (especially if you use Bedrock type of environments) |
Cost-effective for enterprise level solutions |
|
Setup Time |
Weeks of model selection, actual development, QA, iterations |
Hours, sometimes minutes (can have account support) |
|
LLM Model Options |
Choose your model (Claude, Llama-3, Titan, etc.) |
Locked into platform choice (Amazon = Titan/Q, Microsoft = GPT-4) |
|
Maintenance |
you have to manage yourself - scaling, uptime, latency tuning |
Handled by provider |
Control
Tam özelleştirme (RAG, LLM tuning,
Hızlı mühendislik
Platform yetenekleri ile sınırlı - ancak oldukça esnek
Data Privacy
Özel şifreleme, anonimleştirme veya yeni katmanlar ekleyebilirsiniz
Önceden tanımlanmış politikalar ve entegrasyonlar – konfigürasyon gereksinimleri
Cost
Önemli ölçüde daha yüksek (özellikle Bedrock tipi ortamları kullanıyorsanız)
Kurumsal düzeyde maliyet verimli çözümler
Setup Time
Model seçimi haftaları, gerçek gelişme, QA, iterasyonlar
Saatler, bazen dakikalar (bilgi desteği olabilir)
LLM Model Options
Modelinizi seçin (Claude, Llama-3, Titan vb.)
Platform seçiminde kilitlenmiş (Amazon = Titan / Q, Microsoft = GPT-4)
Maintenance
Kendinizi yönetmeniz gerekir - ölçeklendirme, çalışma süresi, gecikme ayarlaması
Tedarikçi tarafından yönetilen
Evin içinde inşaat yapmaya değer mi?
Evet ve hayır.
Müşterilerim %100 kontrol sahibi olmak istiyorsa ve bilinen tüm düzenlemeleri (tamamen uygulanabilir ve gerekli olmasa bile) belge işleme, arama ve model açıklanabilirliğine uygulamak zorunda kalsam, evde inşaat mantıklıydı. Çift kontrol düzenleyici gereksinimleri ve özelleştirilmiş sorgulama yapıları iş için değer yaratabilir çünkü; ek değer için daha fazla ödemeye istekli olabilirler.
Eğer inşa etmelisiniz:
- Veri ve model davranışları üzerinde daha sıkı bir kontrolye ihtiyacınız var
- Karmaşık finansal belgeler, çok kaynaklı RAG vb. gibi benzersiz iş akışları içinde çalışmanız gerekir.
- Ana ürün içinde ek AI özelliklerini eklemek istiyorsunuz
- Organizasyonunuz geliştirme, bakım ve alt maliyetler için önceden yatırım yapmaya hazırdır
Eğer satın almak gerekir:
- Küçük alanlar ve gösteriler için hızlı kazançlar istiyorsunuz
- Kullanım durumunuz nispeten standart (örneğin belge Q&A, politika navigasyonu vb.)
- Maliyet duyarlısınız
- Satıcı ekosisteminde zaten bulunuyorsunuz (örneğin AWS, Microsoft, Google)
Düşünceleri kapatmak
GenAI chatbot oluşturmak ödüllendirici olabilir ve iş için hızlı kazançlar yaratabilir. Ayrıca operasyonlar içinde GenAI araçları ile deneyimlemeye başlamak, ekibin yeteneklerini arttırmak için nispeten daha kolaydır. Ama piyasa süper hızlı hareket ediyor. AWS gibi teknoloji devleri AWS Q Business gibi araçlar için bariyerleri daha da düşürüyor. Yani, her zaman sorguya değer, “Yapmalı mıyız yoksa satın almalıyız?” Çünkü bu çağda sadece kodla rekabet etmiyoruz.
