Esta es mi secuela del famoso libro de Transformers titulado“La atención es todo lo que necesitas”.La tecnología descrita en ese artículo ha llevado a casi todos los grandes avances en la IA en los últimos siete años, todo desde ChatGPT hasta el modelo de generación de vídeo de Google.VeoY todo entre.
El artículo original se centró en ayudar a las computadoras (modelos de IA) a entender y generar mejor el lenguaje.Describe cómo las computadoras pueden derivar el significado de una frase leyéndola a la vez y utilizando un mecanismo llamado “atención” para decidir qué palabras son importantes.
Por ejemplo, en la sentencia “El gato que persiguió al ratón estaba hambriento”, el modelo puede conectar las palabras “El gato”, “El ratón”, y “Había hambreObtener el significado de la frase mientras ignora todo lo demás.
La implementación de "atención" llevó a la creación de los poderosos LLM que tenemos hoy en día.
A medida que las personas se han acostumbrado más a los LLM y lo han hecho parte de sus vidas, he notado que todavía hay un reto para maximizar la utilidad de las herramientas y modelos de IA...
El contexto.
El contexto es la información de fondo que ayuda a explicar algo.
Guía cómo realizar tareas en el trabajo, a veces es lo que hace que una broma sea divertida, es por eso que la búsqueda de Google ha ganado, eso es todo.
Un gran desafío con los modelos / herramientas de IA en este momento es que no siempre tienen contexto mientras realizan ciertas tareas, y esto afecta la calidad del trabajo hecho o las respuestas proporcionadas.
Saber qué considerar, cuánto impacto debería tener y cuándo ya no es útil es la verdadera prueba de la inteligencia.
Volviendo a nuestro ejemplo de sentenciaEl gato que persiguió al ratón estaba hambriento“Si sabemos cómo los modelos de IA aplican la atención, podemos sacar más de ellos proporcionando esa información de manera eficiente.
Iré hasta decir que incluso si se logra AGI, no es relevante a menos que pueda manejar el contexto bien.
En este momento, varias herramientas de IA han intentado resolver esto de diferentes maneras. memoria y conciencia de sesión, RAG (Retrieval Augmented Generation), ajuste fino, MCP, e incluso la creación de guías de ingeniería rápidas.
Sin embargo, no creo que el problema haya sido correctamente resuelto todavía porque muchos de los enfoques actuales ponen la carga del contexto en el usuario.
- No siempre es fácil para los humanos proporcionar contexto porque a veces no recordamos completamente toda la información y metadatos que tenemos, y los usamos para tomar ciertas decisiones.
- Afecta negativamente a la experiencia del usuario de las herramientas de IA si el usuario final tiene que decidir qué añadir, cuándo, etc. Es como decir una broma pero tener que explicarlo a todo el mundo cada vez.
Veo un par de maneras en que las herramientas de IA intentarán resolver el desafío de tener suficiente contexto sobre cómo una persona piensa de las cosas:
-
Constant presence: General-purpose AI models could start to provide ever-present tools similar to the Limitless AI pendant to constantly track places you visit, things you see, conversations you have, reactions you have to things and apply that in answering questions or performing tasks for you. This could also just be the next evolution of smartphones.
-
Data import: In this approach, AI tools will provide mechanisms for users to import and sync their data from various platforms into their favourite AI tool. You’ll be able to sync your activity on X (things you see, like, post or repost), your work tools (emails, presentations, meeting recordings), your shopping data (items you’ve liked or bought on Amazon, Asos, etc)
-
Implants: In the far future, I also think AI tools could explore a neuralink type brain implant that allows people ‘extend their brain’ and ‘get the full power of AI’. With this, they could get more context to be able to answer questions and even eliminate delays with using AI tools. Why do you need to think of a question, unlock your phone, open the ChatGPT app and type the question when you can just think of a question and get the answer?
La ética en torno a estos enfoques es una conversación por sí sola. Pero cualquiera que sea la forma en que decidan ir, lo siguiente será averiguar cuándo aplicar ese contexto y cuánto peso debería tener. Algunas plataformas tratan de hacer esto a través de ajustes finos, pesas y solicitudes de preprocesamiento de AKA Reasoning.
Sin embargo, creo que sería interesante ver pesos dinámicos. es decir, herramientas de IA que usan diferentes pesos y proporcionan respuestas de una manera diferente basándose en lo que ya saben sobre usted. Algunas formas de personalización. similar a cómo Google a veces adapta respuestas a la ubicación y el historial de búsqueda, etc.
No estoy seguro de cómo será la próxima fase de la IA, pero estoy convencido de que una fuerte comprensión y aplicación del contexto será una parte importante de ella.
