Construí un chatbot GenAI alimentado por titanio, pero comprar Amazon Q todavía podría ser más inteligente

Construí un chatbot Gen AI para buscar a través de un cubo de documentos internos para una empresa de servicios financieros para permitir a los usuarios con una herramienta para buscar, escanear y resumir documentos más rápidamente. Creando hasta un 80% de eficiencia, adopté la Generación aumentada de recuperación (RAG), incorporé documentos en el cubo (grupo de directorios), y adopté Titan después de comparar LLMs como Claude, Titan y Llama-3 para ofrecer respuestas contextuales y precisas para la búsqueda de documentos.

Para un trabajo de tres sprints de comparación de modelos, ajuste de tuberías, intento de optimizar el rendimiento y ajuste de prompts, funcionó bastante bien en el modelo Titan (Titan funciona mejor entre los modelos listados ya que está diseñado para el modelo de texto y mi caso de uso se sienta bien bajo su alcance de capacidad).Todos los usuarios que he mostrado y demostrado LO QUIERON. Se ahorró horas de búsqueda y escaneo en documentos para FAQs y T&C estándar para documentos de productos financieros (terminología pesada y llena de notas de pie, etc.). Mientras estoy orgulloso del resultado de mi trabajo, tuve una pregunta en mi mente: ¿Estoy 100% seguro de que esta es la solución con el mejor precio y rendimiento – especialmente en la edad de la IA?

El problema del éxito

Cuando se construye algo que funciona bien para probar y validar una idea, se siente como un gran logro —hasta que se da cuenta de que la barra no es solo «funcional». Aunque los clientes son demasiado cautelosos sobre el uso de GenAI en industrias altamente reguladas como los servicios financieros, todavía no me parece suficiente para cobrar un precio más alto que las soluciones enterprise-ready como Amazon Q, Microsoft Copilot y Google Gemini. Reconociendo que mi solución con RAG que está aumentando la confianza en las respuestas, eliminando alucinaciones y la calidad con muchos rascacielos, no estaba satisfecho de que está superando lo que ya está allí. Las plataformas enterprise-ready son baratas, de buen aspecto y profundamente integradas con los ecosistemas que ya viven en las empresas. Amazon Q Business, por ejemplo, puede

En mi caso, Amazon Q Business Enterprise cobra $ 0,264 por hora por una unidad (20K de documento o 200Mb de texto extraído), mientras que estaba calculando mi costo por transacción por documento como $ 0,23.

Estaba orgulloso del chatbot que construí. pero en términos de escala y rentabilidad? de repente estaba en un lugar muy apertado.

Decisión difícil: Construir vs. Comprar en la era GenAI

Este no es un dilema nuevo, pero con GenAI, las cosas se han vuelto más complejas.Aquí está un resumen de lo que aprendí, comparando durante el desarrollo de un chatbot interno que es similar a AWS Q Business (a algunos extender):

Control

Usted tiene personalización completa (RAG, LLM tuning,
Ingeniería rápida

Limitado a las capacidades de la plataforma – pero bastante flexible

Data Privacy

Puede aplicar la encriptación personalizada, la anonimización o agregar nuevas capas

Políticas y integraciones predefinidas - Necesidades de configuración

Cost

Significativamente más alto (especialmente si utiliza entornos tipo Bedrock)

Soluciones rentables a nivel empresarial

Setup Time

Semanas de selección de modelos, desarrollo real, QA, iteraciones

Horas, a veces minutos (puede tener soporte de cuenta)

LLM Model Options

Elija su modelo (Claude, Llama-3, Titan, etc.)

Encerrado en la elección de la plataforma (Amazon = Titan / Q, Microsoft = GPT-4)

Maintenance

tienes que gestionarte a ti mismo: escalado, tiempo de funcionamiento, ajuste de latencia

Tratado por el proveedor

¿Merece la pena construir en casa?

Sí y no.

Si mis clientes quieren tener el control del 100% y obligarme a aplicar todas las regulaciones conocidas (incluso si no son totalmente aplicables y necesarias) sobre el procesamiento de documentos, la búsqueda y la explicabilidad del modelo, la construcción interna tiene sentido. Debido a que el doble control de los requisitos regulatorios y las estructuras de consulta personalizadas pueden crear valor para el negocio; podrían estar dispuestos a pagar más por el valor añadido. Sin embargo, si tuve que escalar rápidamente? o si necesitaba algo lo suficientemente bueno (85-90% de los casos de uso) sin invertir mucho dinero en efectivo, Amazon Q Business de repente se vuelve muy atractivo.

Deberías construir si:

• Necesita un control más estricto sobre los datos y el comportamiento del modelo
• Se requiere trabajar dentro de flujos de trabajo únicos como documentos financieros complejos, RAG de múltiples fuentes, etc.
• ¿Quieres agregar características de IA adicionales dentro del producto principal
• Su organización está lista para invertir de antemano en desarrollo, mantenimiento e infracoste

Deberías comprar si:

• Quieres ganancias rápidas para pequeños ámbitos y presentaciones
• Su caso de uso es relativamente estándar (por ejemplo, documento Q&A, navegación por políticas, etc.)
• Usted es sensible al costo
• Ya estás dentro del ecosistema del proveedor (por ejemplo, AWS, Microsoft, Google)

Cierre de pensamientos

La creación de chatbots GenAI puede ser recompensadora y generar ganancias rápidas para el negocio. También es relativamente más fácil comenzar a experimentar con las herramientas GenAI dentro de las operaciones, mejorando el equipo. Pero el mercado se mueve super rápido. Gigantes tecnológicos como AWS están bajando la barrera aún más para herramientas como AWS Q Business. Por lo tanto, siempre vale la pena preguntar, “¿Deberíamos construir o comprar?” Porque no estamos sólo compitiendo con código en esta era. Estamos compitiendo con herramientas GenAI mercantilizadas creadas por gigantes con infraestructura de miles de millones de dólares, talento y UI/UX pulido, así como herramientas. Y eso es un tipo diferente de batalla.