Jag byggde en Gen AI-chattbot för att söka igenom en kuvert av interna dokument för ett finansföretag för att göra det möjligt för användare med ett verktyg att söka, skanna och sammanfatta dokument snabbare. Skapa upp till 80% effektivitet, jag antog Retrieval-Augmented Generation (RAG), inbäddade dokument i kuvert (grupp av kataloger), och antog Titan efter att ha jämfört LLMs som Claude, Titan och Llama-3 för att leverera kontextmedvetna, korrekta svar för dokumentsökning.
Det fungerade ganska bra på Titan-modellen (Titan fungerar bäst bland de listade modellerna eftersom den är utformad för textmodell och mitt användningsfall ligger väl under dess kapacitetsområde). Alla användare jag visade och demonstrerade ÄLSKADE det. Det sparade timmar av sökning och skanning på dokument för vanliga frågor och standard T&C för finansiella produktdokument (terminologi tung och full av fotnoter etc.).
Problemet med framgång
När du bygger något som fungerar bra för att testa och validera en idé känns det som en stor prestation – tills du inser att baren inte bara ”fungerar”. Även om kunderna är alltför försiktiga med att använda GenAI i mycket reglerade branscher som finansiella tjänster, verkar det fortfarande inte vara tillräckligt för mig att debitera ett högre pris än företagsfärdiga lösningar som Amazon Q, Microsoft Copilot och Google Gemini. Att erkänna att min lösning med RAG som ökar förtroendet för svar, eliminerar hallucinationer och kvalitet med många väggledningar, var jag inte nöjd med att det överträffar vad som redan finns där ute. Enterprise-färdiga plattformar är billiga, väl utseende och djupt integrerade med ekosystem som redan lever i företag. Amazon Q Business, till exempel, kan indexera dina S3-dokument
In my case, Amazon Q Business Enterprise charges $0.264 per hour for one unit (20K document or 200Mb extracted text) whereas I was calculating my cost per transaction per document as $0.23.
Jag var stolt över den chatbot jag byggde.Men när det gäller skalning och kostnadseffektivitet?
Hårda beslut: Bygg vs. Köp i GenAI Era
Detta är inte ett nytt dilemma, men med GenAI har saker och ting blivit mer komplexa. Här är en sammanfattning av vad jag lärde mig, jämfört under utvecklingen av in-house chatbot som är liknande till AWS Q Business (till vissa förlängning):
|
Feature |
In-house GenAI Chatbot |
AWS Q Business / Off-The-Shelf ChatBot |
|---|---|---|
|
Control |
You have full customization (RAG, LLM tuning, |
Limited to platform capabilities – but fairly flexible |
|
Data Privacy |
You can enforce custom encryption, anonymization, or add new layers |
Predefined policies & integrations – needs configuration |
|
Cost |
Significantly higher (especially if you use Bedrock type of environments) |
Cost-effective for enterprise level solutions |
|
Setup Time |
Weeks of model selection, actual development, QA, iterations |
Hours, sometimes minutes (can have account support) |
|
LLM Model Options |
Choose your model (Claude, Llama-3, Titan, etc.) |
Locked into platform choice (Amazon = Titan/Q, Microsoft = GPT-4) |
|
Maintenance |
you have to manage yourself - scaling, uptime, latency tuning |
Handled by provider |
Control
Du har fullständig anpassning (RAG, LLM tuning,
Snabb ingenjörsutbildning
Begränsad till plattformskapacitet – men ganska flexibel
Data Privacy
Du kan tillämpa anpassad kryptering, anonymisering eller lägga till nya lager
Fördefinierade policyer och integrationer – konfigurationsbehov
Cost
Betydligt högre (särskilt om du använder miljöer av typen Bedrock)
Kostnadseffektiva lösningar för företag
Setup Time
Veckor av modellval, faktisk utveckling, QA, iterationer
timmar, ibland minuter (kan ha konto stöd)
LLM Model Options
Välj din modell (Claude, Llama-3, Titan, etc.)
Lås i plattformsvalet (Amazon = Titan / Q, Microsoft = GPT-4)
Maintenance
du måste hantera dig själv - skalning, uptime, latency tuning
Hanteras av leverantör
Är det värt att bygga inomhus?
Ja och nej.
Om mina kunder vill ha 100% kontroll och tvinga mig att tillämpa alla kända bestämmelser (även om de inte är fullt tillämpliga och nödvändiga) över dokumentbehandling, sökning och modellförklarbarhet, gör det bra att bygga inomhus. Eftersom dubbelkontroll av regleringskrav och skräddarsydda frågestrukturer kan skapa värde för verksamheten; de kan bli villiga att betala mer för mervärdet.
Du bör bygga om:
- Du behöver strängare kontroll över data och modellbeteende
- Du måste arbeta inom unika arbetsflöden som komplexa finansiella dokument, multi-source RAG, etc.
- Du vill lägga till ytterligare AI-funktioner inom kärnprodukten
- Din organisation är redo att investera i förväg för utveckling, underhåll och infra-kostnader
Du bör köpa om:
- Du vill ha snabba vinster för små scope och showcases
- Ditt användningsfall är relativt standard (t.ex. dokument Q&A, policynavigering etc.)
- Du är kostnadskänslig
- Du är redan inom leverantörens ekosystem (t.ex. AWS, Microsoft, Google)
Stäng tankar
GenAI chatbot creation can be rewarding and create quick wins for the business. It is also relatively easier to start experimenting with GenAI tooling within operations, upskilling the team. But the market moves super fast. Tech giants like AWS are lowering the barrier even further for tools like AWS Q Business. So, it always worth asking, “Should we build or buy?” Cause we’re not just competing with code in this era. We’re competing with commoditized GenAI tools created by giants with billion-dollar infrastructure, talent, and polished UI/UX as well as tooling. And that’s a different kind of battle.
