122 показання

Я побудував чат-бот GenAI, що працює на титані, але покупка Amazon Q все ще може бути розумнішою

за Onder A.4m2025/06/25
Read on Terminal Reader

Надто довго; Читати

Налаштований чат-бот GenAI перевершує точність, але зростаючі витрати та агресивне ціноутворення Amazon Q викликають важкі питання щодо будівництва проти покупки.
featured image - Я побудував чат-бот GenAI, що працює на титані, але покупка Amazon Q все ще може бути розумнішою
Onder A. HackerNoon profile picture
0-item

Я побудував чат-бот Gen AI для пошуку через сейф внутрішніх документів для фірми фінансових послуг, щоб дозволити користувачам з інструментом швидше шукати, сканувати та підсумовувати документи. Створюючи до 80% ефективності, я прийняв Retrieval-Augmented Generation (RAG), вбудував документи в сейф (групу каталогів) і прийняв Titan після порівняння LLM, таких як Claude, Titan і Llama-3, щоб забезпечити контекст-свідомі, точні відповіді для пошуку документів.

Протягом трьох спринтів роботи по порівняння моделей, налаштування трубопроводів, спроби оптимізувати продуктивність та налаштування сповіщень – це спрацювало досить добре на моделі Titan (Titan працює найкраще серед перерахованих моделей, оскільки він розроблений для текстової моделі, а мій випадок використання добре знаходиться в межах його можливостей).Всі користувачі, яких я показав і демонстрував, полюбили його.Це заощадило години пошуку та сканування на документи для FAQ і стандартних T&C для фінансових документів (термінологія важка і повна нот тощо).Хоча я пишаюся результатом моєї роботи, у мене було одне запитання: чи я на 100% впевнений, що це рішення з найкращою ціною та продуктивністю – особливо

Проблема успіху

Незважаючи на те, що клієнти надто обережні щодо використання GenAI у високорегульованих галузях, таких як фінансові послуги, мені все ще здається недостатньо, щоб стягнути більш високу ціну, ніж корпоративні рішення, такі як Amazon Q, Microsoft Copilot та Google Gemini. Визнаючи, що моє рішення з RAG, які підвищують впевненість у відповідях, усувають галюцинації, і якість з багатьма охоронними стежками, я не був задоволений тим, що воно перевершує те, що вже є там. Підприємницькі готові платформи є дешевими, добре виглядають і глибоко інтегровані з екосистемами, які вже живуть в бізнесі. Amazon Q Business, наприклад, може індексувати ваші дошки S3,

У моєму випадку Amazon Q Business Enterprise стягує $ 0,264 за годину за одну одиницю (20K документа або 200Mb вилученого тексту), тоді як я обчислював свою вартість за транзакцію за документ як $ 0,23.

Я пишався чатботом, який я побудував. Але з точки зору масштабування та економічної ефективності? я раптом був у дуже вузькому місці.

Важке рішення: побудувати проти купівлі в епоху GenAI

Ось резюме того, що я дізнався, порівнюючи під час розробки внутрішнього чат-бота, який схожий на AWS Q Business (до деяких розширень):

Feature

In-house GenAI Chatbot

AWS Q Business / Off-The-Shelf ChatBot

Control

You have full customization (RAG, LLM tuning,
prompt engineering)

Limited to platform capabilities – but fairly flexible

Data Privacy

You can enforce custom encryption, anonymization, or add new layers

Predefined policies & integrations – needs configuration

Cost

Significantly higher (especially if you use Bedrock type of environments)

Cost-effective for enterprise level solutions

Setup Time

Weeks of model selection, actual development, QA, iterations

Hours, sometimes minutes (can have account support)

LLM Model Options

Choose your model (Claude, Llama-3, Titan, etc.)

Locked into platform choice (Amazon = Titan/Q, Microsoft = GPT-4)

Maintenance

you have to manage yourself - scaling, uptime, latency tuning

Handled by provider

Control

Ви маєте повну налаштування (RAG, LLM налаштування,
Швидка інженерія

Обмежені можливості платформи – але досить гнучкі

Data Privacy

Ви можете застосувати індивідуальне шифрування, анонімність або додавати нові шари

Заздалегідь визначені політики та інтеграції – необхідна конфігурація

Cost

Значно вище (особливо якщо ви використовуєте середовища типу Bedrock)

Ефективні витрати на корпоративні рішення

Setup Time

Тижні вибору моделі, фактичний розвиток, QA, ітерації

Час, іноді хвилини (можуть мати підтримку облікового запису)

LLM Model Options

Виберіть свою модель (Claude, Llama-3, Titan і т.д.)

Замкнуто в вибір платформи (Amazon = Titan / Q, Microsoft = GPT-4)

Maintenance

Ви повинні управляти собою - масштабування, час роботи, налаштування затримки

Здійснюється постачальником


Чи варто будувати вдома?

Так і ні.

Якщо мої клієнти хочуть мати 100% контроль і змусити мене застосувати всі відомі правила (навіть якщо вони не повністю застосовні та необхідні) щодо обробки документів, пошуку та пояснюваності моделей, побудова вдома робить сенс. Оскільки подвійне перевірка нормативних вимог та індивідуальні структури запитів можуть створювати цінність для бізнесу; вони можуть стати готовими платити більше за додану вартість.

Ви повинні будувати, якщо:

  • Вам потрібен більш суворий контроль за поведінкою даних та моделей
  • Ви повинні працювати в межах унікальних робочих процесів, таких як складні фінансові документи, багатоджерело RAG і т.д.
  • Ви хочете додати додаткові функції AI в рамках основного продукту
  • Ваша організація готова інвестувати заздалегідь для розробки, технічного обслуговування та інфра витрат

Ви повинні купити, якщо:

  • Ви хочете швидких перемог для невеликих масштабів і показів
  • Ваш випадок використання є відносно стандартним (наприклад, документ Q&A, навігація політики і т.д.)
  • Ви чутливі до витрат
  • Ви вже перебуваєте в екосистемі постачальника (наприклад, AWS, Microsoft, Google)

Закриття думок

Створення чат-ботів GenAI може бути корисним і створювати швидкі перемоги для бізнесу. Також відносно простіше почати експериментувати з інструментами GenAI в межах операцій, підвищуючи кваліфікацію команди. Але ринок рухається надзвичайно швидко. Технологічні гіганти, такі як AWS, ще більше знижують бар'єр для інструментів, таких як AWS Q Business. Так, завжди варто запитати, "Чи варто нам будувати або купувати?" Тому що ми не просто конкуруємо з кодом в цю епоху. Ми конкуруємо з товарними інструментами GenAI, створеними гігантами з мільярдною інфраструктурою, талантом і полірованим UI / UX, а також інструментами.

L O A D I N G
. . . comments & more!

About Author

Onder A. HackerNoon profile picture
Technical PM - experienced in FinTech, InsurTech, IoT, and AI/ML

ПОВІСИТИ БИРКИ

ЦЯ СТАТТЯ БУЛА ПРЕДСТАВЛЕНА В...

Trending Topics

blockchaincryptocurrencyhackernoon-top-storyprogrammingsoftware-developmenttechnologystartuphackernoon-booksBitcoinbooks