Mən bir finansal xidmət şirkəti üçün iç dokumentların bir çoxunu aradan qaldırmaq üçün bir Gen AI chatbot yaratdım ki, istifadəçilərin dokumentları daha sürətli aradan qaldırmaq, taraymaq və ötürmək üçün bir vasitə ilə imkan verə bilər. 80%-ə qədər effektivlik yaratmaq üçün, Retrieval-Augmented Generation (RAG) qəbul etdim, dokumentları cəriməyə daxil etdim (kataloglar qrupu), və Claude, Titan və Llama-3 kimi LLM-ləri karşılaşdırdıqdan sonra Titan qəbul etdim ki, dokument aradan qaldırmaq üçün kontekst bilən, doğru cavablar verim.
Üç sprint modelləri birləşdirmək, pipelinizi dəyişdirmək, performansını optimize etmək və düzəltmək üçün çalışmaq üçün – Titan modelində çox yaxşı işlədi (Titan listə çəkilən modellər arasında ən yaxşı işləyir ki, text model üçün tasarlanmışdır və mənim istifadə prosesi imkanlarının genişliyində yaxşı yerdədir). Bütün istifadəçilər göstərdiyim və demo etdiyim LOVED bunu.
Başarı ilə bağlı problem
Bir ideyaya test etmək və valid etmək üçün yaxşı işləyə bilən bir şey yaratdığınızda, bu, böyük bir uğur kimi hiss edilsin – o qədər ki, barın yalnız “ işləyə bilməyəcəyini” anlayırsınız. “Finans xidmətləri” kimi yüksək qiymətləndirilmiş sektorlarda GenAI-ni istifadə etmək üçün müştərilər çox qorxulu olsa da, mən hələ ki, Enterprise hazır platformaları Amazon Q, Microsoft Copilot və Google Gemini kimi korporativ çözümlərdən daha ucuz, gözəl görünür və RAG-lə bağlı olan çözümlərimin reaksiyalara, halucinasiyalara, keyfiyyətə və keyfiyyətə artırdığına inanıram. “Amazon Q Business” şirkəti, S3 dokuzunuzunuzu, kontrolünüzü və xərclənməməyinizin infrastrukturuna bənzəyir.
Mənim halda, Amazon Q Business Enterprise, bir birliyi (dokument 20K və ya 200Mb ekstrakt tekst) üçün saatda 0,264 dollar xərcləyir, mən isə prosesi başına xərclərimi 0,23 dollar hesab edirəm.
“İnter”də “Milli” və “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”də “Milli”.
“Build” və “Buy in the GenAI Era”
Bu, yeni diləm deyil, lakin GenAI ilə işlər daha kompleks olmuşdur.Burada AWS Q Business-a bənzər (bir qədər genişlənmək üçün):
|
Feature |
In-house GenAI Chatbot |
AWS Q Business / Off-The-Shelf ChatBot |
|---|---|---|
|
Control |
You have full customization (RAG, LLM tuning, |
Limited to platform capabilities – but fairly flexible |
|
Data Privacy |
You can enforce custom encryption, anonymization, or add new layers |
Predefined policies & integrations – needs configuration |
|
Cost |
Significantly higher (especially if you use Bedrock type of environments) |
Cost-effective for enterprise level solutions |
|
Setup Time |
Weeks of model selection, actual development, QA, iterations |
Hours, sometimes minutes (can have account support) |
|
LLM Model Options |
Choose your model (Claude, Llama-3, Titan, etc.) |
Locked into platform choice (Amazon = Titan/Q, Microsoft = GPT-4) |
|
Maintenance |
you have to manage yourself - scaling, uptime, latency tuning |
Handled by provider |
Control
Sizə tamamilə ehtiyac var (RAG, LLM
Mühəndislik prosesləri)
Platforma imkanları ilə sınırlıdır – lakin çox fleksibil
Data Privacy
Sürücülük, anonimizasiya və ya yeni layerlər daxil edə bilərsiniz.
Əvvəla definisiyalı politikalar və integrasiyalar – konfigürasiyaya ehtiyac var
Cost
Daha çox (özəlləşdirmək üçün daha çox)
Şirkət Solutions xəritədə
Setup Time
Model seçiminin haftaları, real inkişaf, QA, iterasiyalar
Saatlar, zaman zaman dəqiqələr (faturaya kömək edə bilər)
LLM Model Options
Modelinizi seçin (Claude, Llama-3, Titan və s.
Platform seçimində qalmış (Amazon = Titan / Q, Microsoft = GPT-4)
Maintenance
Siz özünüzü idarə etməlisiniz - scaling, uptime, latency tuning
Təqdimatçı tərəfindən
Bəs evin içində inşa etmək olarmı?
Eyni zamanda və ya
Əgər müştərilərim 100%-lik kontrol sahibi olmaq istəyirlər və bildiyim bütün normativləri (bilinməyən və ehtiyacı olmayanlar olsa da) dokument işlətmək, araşdırmaq və modelin izah edilə biləcəyinə uyğunlaşdırmaq üçün məni qüvvətləndirərlərsə, evin içində inşa etmək anlamlı olardı.İstədiyim kimi, standartlar və özəlləşdirilmiş sorğu strukturları ticarət üçün qiymət yarada bilər; onlar qiymət artırmaq üçün daha çox ödənmək istərdilər.
İnşa etmək lazımdır:
- Veri və model davranışının daha da güclənilməsinə ehtiyac var
- Kompleks finans dokumentları, multi-source RAG və s. kimi unikal iş proseslərində işləmək lazımdır.
- Qazaxıstanda daha çox işləmək istəyirsiniz
- Organizasiyanız geliştirmə, karbohidrat və infra qiymətlər üçün öncə investisiya etməyə hazırdır.
Əgər satın alırsanız:
- Uşaqlar və uşaqlar üçün çətindir.
- Sizin istifadə prosesi nisbətən standartdır (t.b. dokument Q&A, politika navigasiyası və s.
- Hesab edirəm ki, maliyyələşdirirsiniz.
- Siz artıq satıcının ekosistemin içindəsiniz (AWS, Microsoft, Google)
Düşüncələr qapılır
GenAI chatbot yaratmaq biznes üçün ödüllendirici və sürətli qələbə yaratmaq mümkündür. İşlərdə GenAI aletləri ilə eksperimentə başlaymaq da, komandaya üstünlük vermək də nisbətən daha asandır. Amma marketlər süper sürətlə gedir. AWS kimi texnologiya divarları AWS Q Business kimi alətlər üçün bariyeri daha da azaldır. Beləliklə, hər zaman soruşmaq lazımdır: “Biz yaratmalıyıq, yoxsa satın alaq?”
