Aš sukūriau "Gen AI" pokalbių robotą, kad galėčiau ieškoti finansinių paslaugų įmonės vidinių dokumentų, kad vartotojai galėtų greičiau ieškoti, nuskaityti ir apibendrinti dokumentus.Sukurti iki 80% efektyvumą, aš priėmiau "Retrieval-Augmented Generation" (RAG), įterpiau dokumentus į seifą (direktorių grupę) ir priėmė "Titan", palyginus LLM, tokius kaip Claude, Titan ir Llama-3, kad pateiktų kontekstinius, tikslius atsakymus į dokumentų paiešką.
Dėl trijų sprinto darbų, susijusių su modelių palyginimu, vamzdynų keitimu, bandymu optimizuoti našumą ir nurodymų nustatymu, „Titan“ modelis dirbo gana gerai (Titanas geriausiai tinka išvardytiems modeliams, nes jis yra skirtas tekstiniam modeliui, o mano naudojimo atvejis yra gerokai mažesnis už jo galimybes). Visi vartotojai, kuriuos demonstravome ir demonstravome, jį mylėjo. Jis sutaupė valandų, ieškančių ir nuskaitydamas dokumentus, susijusius su FAQ ir standartiniais finansinių produktų dokumentais (terminologija sunki ir pilna pastabų ir tt). Nors aš didžiuojuosi savo darbo rezultatais, mano galvoje buvo vienas klausimas: ar aš esu 100% tikras, kad tai yra geriausios ka
Sėkmės problema
Nors klientai yra pernelyg atsargūs dėl GenAI naudojimo labai reguliuojamose pramonės šakose, pvz., finansinėse paslaugose, vis dar neatrodo, kad man pakanka mokėti didesnę kainą nei verslui parengti sprendimai, tokie kaip „Amazon Q“, „Microsoft Copilot“ ir „Google Gemini“. Pripažindamas, kad mano sprendimas su RAG, kuris didina pasitikėjimą atsakymais, pašalina haliucinacijas ir kokybę su daugybe apsaugos priemonių, aš nesu patenkintas, kad jis yra geresnis už tai, kas jau yra. Verslui parengtos platformos yra pigios, gerai atrodo ir giliai integruotos į ekosistemas, kurios jau gyvena versle. „Amazon Q Business“, pavyzdžiui, gali indeksuoti jūsų S3 dokumentus, valdyti prieigą
Mano atveju „Amazon Q Business Enterprise“ kainuoja 0,264 USD per valandą už vieną vienetą (20K dokumento arba 200Mb ištraukto teksto), o aš apskaičiavau savo kainą už sandorį už dokumentą kaip 0,23 USD.
Aš buvau didžiuojasi pokalbių botu, kurį sukūriau. bet kiek tai susiję su masteliu ir ekonomiškumu?
Sunkus sprendimas: statyti vs. pirkti GenAI eros metu
Tai nėra nauja dilema, tačiau su GenAI viskas tapo sudėtingesnė.Štai apibendrinimas, ką aš sužinojau, palyginus per vidaus pokalbių robotą, kuris yra panašus į „AWS Q Business“ (kai kuriam laikui):
|
Feature |
In-house GenAI Chatbot |
AWS Q Business / Off-The-Shelf ChatBot |
|---|---|---|
|
Control |
You have full customization (RAG, LLM tuning, |
Limited to platform capabilities – but fairly flexible |
|
Data Privacy |
You can enforce custom encryption, anonymization, or add new layers |
Predefined policies & integrations – needs configuration |
|
Cost |
Significantly higher (especially if you use Bedrock type of environments) |
Cost-effective for enterprise level solutions |
|
Setup Time |
Weeks of model selection, actual development, QA, iterations |
Hours, sometimes minutes (can have account support) |
|
LLM Model Options |
Choose your model (Claude, Llama-3, Titan, etc.) |
Locked into platform choice (Amazon = Titan/Q, Microsoft = GPT-4) |
|
Maintenance |
you have to manage yourself - scaling, uptime, latency tuning |
Handled by provider |
Control
Jūs turite pilną pritaikymą (RAG, LLM nustatymas,
Greitas inžinerinis darbas
Ribotos platformos galimybės – bet gana lanksčios
Data Privacy
Galite taikyti pritaikytą šifravimą, anonimizavimą arba pridėti naujų sluoksnių
Iš anksto apibrėžtos politikos kryptys ir integracijos – reikia konfigūracijos
Cost
Žymiai didesnis (ypač jei naudojate „Bedrock“ tipo aplinką)
Efektyvūs įmonių lygmens sprendimai
Setup Time
Modelių atrankos savaitės, faktinė plėtra, QA, iteracijos
valandos, kartais minutės (gali turėti sąskaitos palaikymą)
LLM Model Options
Pasirinkite savo modelį (Claude, Llama-3, Titan ir kt.)
Užrakintas į platformos pasirinkimą (Amazon = Titan / Q, Microsoft = GPT-4)
Maintenance
Jūs turite valdyti save - skalavimą, veikimo laiką, vėlavimo nustatymą
Paslaugų teikėjas
Ar verta statyti namą viduje?
Taip ir ne.
Jei mano klientai nori turėti 100% kontrolę ir priversti mane taikyti visus žinomus reglamentus (net jei jie nėra visiškai taikomi ir būtini) dokumentų apdorojimo, paieškos ir modelio paaiškinamumo atžvilgiu, vidaus statyba buvo prasminga. Kadangi dvigubas reguliavimo reikalavimų patikrinimas ir individualizuotos užklausų struktūros gali sukurti vertę verslui; jie gali tapti pasirengę mokėti daugiau už pridėtinę vertę.
Turėtumėte statyti, jei:
- Jums reikia griežtesnės duomenų ir modelio elgesio kontrolės
- Jūs turite dirbti unikalių darbo srautų, tokių kaip sudėtingi finansiniai dokumentai, daugelio šaltinių RAG ir kt.
- Norite pridėti papildomų AI funkcijų pagrindiniame produkte
- Jūsų organizacija yra pasirengusi iš anksto investuoti į plėtrą, techninę priežiūrą ir infra sąnaudas
Turėtumėte nusipirkti, jei:
- Norite greitų pergalių dėl mažų sričių ir šou
- Jūsų naudojimo atvejis yra palyginti standartinis (pvz., dokumento klausimai ir atsakymai, politikos navigacija ir kt.)
- Jūs esate sąnaudų jautrumas
- Jūs jau esate tiekėjo ekosistemoje (pvz., AWS, Microsoft, Google)
Uždaromos mintys
GenAI pokalbių robotų kūrimas gali būti naudingas ir sukurti greitą pelną verslui. Taip pat santykinai lengviau pradėti eksperimentuoti su GenAI įrankiais operacijose, padidinant komandos įgūdžius. Tačiau rinka juda labai greitai. Tech gigantai, tokie kaip AWS, dar labiau sumažina kliūtį tokiems įrankiams kaip AWS Q Business. Taigi visada verta paklausti: „Ar turėtume kurti ar pirkti?“ Nes šiame amžiuje mes ne tik konkuruojame su kodu.
