मैंने एक वित्तीय सेवा कंपनियों के लिए आंतरिक दस्तावेज़ों के एक कवरेज के माध्यम से खोजने के लिए एक जनन एआई चैटबॉट बनाया ताकि उपयोगकर्ताओं को दस्तावेज़ों को तेजी से खोजने, स्कैन करने और सारांशित करने के लिए एक उपकरण के साथ सक्षम बनाया जा सके। 80% तक कुशलता बनाने के लिए, मैंने रिट्रिवल-एडगमेंट जेनरेज (आरएजी) को अपनाया, कवरेज में दस्तावेज़ों को एम्बेड किया (डायरेज समूह), और क्लॉड, टाइटन, और लामा-3 जैसे एलएलएम की तुलना करने के बाद टाइटन को दस्तावेज़ खोज के लिए संदर्भ-जागरूक, सटीक उत्तर प्रदान करने के लिए अपनाया।
तीन स्प्रिंट मॉडल की तुलना करने, पाइपलाइनों को अनुकूलित करने, प्रदर्शन को अनुकूलित करने की कोशिश करने और ट्यूनिंग प्रमोटर पर काम करने के लिए - यह टाइटन मॉडल पर काफी अच्छी तरह से काम करता है (टाइटन सूचीबद्ध मॉडल के बीच सबसे अच्छा काम करता है क्योंकि यह टेक्स्ट मॉडल के लिए डिज़ाइन किया गया है और मेरा उपयोग केस इसकी क्षमता सीमा के भीतर अच्छी तरह से बैठता है)। सभी उपयोगकर्ताओं ने दिखाया और डेमो किया इसे प्यार करता है।
सफलता के साथ समस्या
जब आप एक विचार का परीक्षण और सत्यापन करने के लिए अच्छी तरह से काम करने वाली चीज़ का निर्माण करते हैं, तो यह एक महान उपलब्धि की तरह महसूस होता है - जब तक आप महसूस करते हैं कि बार केवल "काम" नहीं है. हालांकि ग्राहकों को वित्तीय सेवाओं जैसे अत्यधिक विनियमित उद्योगों में GenAI का उपयोग करने के बारे में बहुत सावधानी बरतनी पड़ती है, मुझे अभी भी ऐसा नहीं लगता है कि मुझे अमेज़ॅन क्यू, माइक्रोसॉफ्ट कॉपीलोट, और गूगल जुमिनी जैसे उद्यम तैयार समाधानों की तुलना में एक उच्च कीमत का भुगतान करने के लिए पर्याप्त लगता है. यह मानते हुए कि मेरे समाधान के साथ आरएजी जो प्रतिक्रियाओं पर आत्मविश्वास बढ़ा रहे हैं, भ्रमों को खत्म कर रहे हैं, और गुणवत्ता के साथ कई
मेरे मामले में, अमेज़ॅन क्यू बिजनेस एंटरप्राइज़ एक इकाई के लिए प्रति घंटे $ 0.264 का शुल्क लगाता है (20K दस्तावेज़ या 200Mb निकाले गए पाठ) जबकि मैं दस्तावेज़ प्रति लेनदेन के लिए $ 0.23 के रूप में गणना कर रहा था।
मैं मैंने बनाए गए चैटबोट पर गर्व महसूस किया था. लेकिन स्केलिंग और लागत प्रभावीता के मामले में?
कठिन निर्णय: GenAI युग में निर्माण vs. खरीद
यह एक नई दुविधा नहीं है, लेकिन GenAI के साथ, चीजें अधिक जटिल हो गई हैं. यहाँ मैंने जो सीखा है उसका एक सारांश है, जो कि AWS Q Business के समान है (कुछ विस्तार के लिए):
|
Feature |
In-house GenAI Chatbot |
AWS Q Business / Off-The-Shelf ChatBot |
|---|---|---|
|
Control |
You have full customization (RAG, LLM tuning, |
Limited to platform capabilities – but fairly flexible |
|
Data Privacy |
You can enforce custom encryption, anonymization, or add new layers |
Predefined policies & integrations – needs configuration |
|
Cost |
Significantly higher (especially if you use Bedrock type of environments) |
Cost-effective for enterprise level solutions |
|
Setup Time |
Weeks of model selection, actual development, QA, iterations |
Hours, sometimes minutes (can have account support) |
|
LLM Model Options |
Choose your model (Claude, Llama-3, Titan, etc.) |
Locked into platform choice (Amazon = Titan/Q, Microsoft = GPT-4) |
|
Maintenance |
you have to manage yourself - scaling, uptime, latency tuning |
Handled by provider |
Control
आपके पास पूर्ण अनुकूलन है (आरएजी, एलएलएम ट्यूनिंग,
त्वरित इंजीनियरिंग
प्लेटफॉर्म क्षमताओं पर सीमित – लेकिन काफी लचीला
Data Privacy
आप कस्टम एन्क्रिप्शन, एनामीकरण, या नए परतों को जोड़ सकते हैं
पूर्व परिभाषित नीतियां और एकीकरण - आवश्यकताएं कॉन्फ़िगरेशन
Cost
काफी अधिक (विशेष रूप से यदि आप बेड्रोक प्रकार के वातावरण का उपयोग करते हैं)
उद्यम स्तर के लिए लागत प्रभावी समाधान
Setup Time
मॉडल चयन के सप्ताह, वास्तविक विकास, QA, iterations
Hours, sometimes minutes (can have account support)
LLM Model Options
अपने मॉडल का चयन करें (Claude, Llama-3, Titan, आदि)
प्लेटफॉर्म विकल्प में लॉक (अमेरिकी = Titan / Q, माइक्रोसॉफ्ट = GPT-4)
Maintenance
आपको खुद को प्रबंधित करना होगा - स्केलिंग, अपटाइम, लेटेनिस ट्यूनिंग
आपूर्तिकर्ता द्वारा संचालित
तो ... क्या यह घर के भीतर बनाने के लायक है?
हाँ और नहीं।
यदि मेरे ग्राहक 100% नियंत्रण रखना चाहते हैं और मुझे सभी ज्ञात नियमों को लागू करने के लिए मजबूर करना चाहते हैं (हालांकि वे पूरी तरह से लागू नहीं होते हैं और आवश्यक नहीं हैं) दस्तावेज़ प्रसंस्करण, खोज और मॉडल स्पष्टीकरण पर, आंतरिक निर्माण समझ में आता है. क्योंकि डबल चेक नियामक आवश्यकताओं और अनुकूलित पूछताछ संरचनाओं को व्यवसाय के लिए मूल्य पैदा कर सकता है; वे अतिरिक्त मूल्य के लिए अधिक भुगतान करने के लिए तैयार हो सकते हैं।
यदि आप बनाना चाहते हैं:
- आपको डेटा और मॉडल व्यवहार पर अधिक सख्त नियंत्रण की आवश्यकता है
- आपको जटिल वित्तीय दस्तावेजों, मल्टी-सॉर्ड आरएजी आदि जैसे अद्वितीय कार्य प्रवाहों के भीतर काम करने की आवश्यकता होती है।
- आप कोर उत्पाद के भीतर अतिरिक्त एआई सुविधाओं को जोड़ना चाहते हैं
- आपका संगठन विकास, रखरखाव और इन्फ्रा-कोस्ट के लिए अग्रिम निवेश करने के लिए तैयार है
आपको खरीदना चाहिए यदि:
- आप छोटे स्पेस और शो के लिए तेजी से जीतना चाहते हैं
- आपका उपयोग केस अपेक्षाकृत मानक है (उदाहरण के लिए दस्तावेज़ Q&A, नीति नेविगेशन आदि)
- आप लागत संवेदनशील हैं
- आप पहले से ही विक्रेता के पारिस्थितिकी तंत्र के भीतर हैं (उदाहरण के लिए, AWS, Microsoft, Google)
बंद करने के विचार
GenAI चैटबोट बनाने से व्यवसाय के लिए तेजी से लाभ मिल सकता है. ऑपरेशनों के भीतर GenAI उपकरणों के साथ प्रयोग करना शुरू करना अपेक्षाकृत आसान है, टीम को बढ़ाना. लेकिन बाजार सुपर तेजी से चल रहा है. AWS जैसी तकनीकी विशालताएं एडब्ल्यूएस जैसे उपकरणों के लिए बाधा को और भी कम कर रही हैं. इसलिए, यह हमेशा पूछने लायक है, "क्या हमें निर्माण करना चाहिए या खरीदना चाहिए? क्योंकि हम इस युग में केवल कोड के साथ प्रतिस्पर्धा नहीं कर रहे हैं. हम एक अरब डॉलर के बुनियादी ढांचे, प्रतिभा, और पॉलिश यूआई / यूएस के साथ-साथ उपकरणों के साथ कट्टरपंथी GenAI उपकरणों के साथ प्रतिस्पर्धा कर रहे हैं. और यह एक अलग
