Aquesta és la meva seqüela del famós paper de Transformers titulat“L’atenció és tot el que necessites”.La tecnologia descrita en aquest article ha portat a gairebé tots els grans avenços en la IA en els últims set anys, tot des de ChatGPT fins al model de generació de vídeo de Google.VeigI tot entre.
El paper original es va centrar en ajudar els ordinadors (models d'IA) a entendre millor i generar llenguatge.Descriu com els ordinadors poden derivar el significat d'una frase llegint-lo tot alhora i utilitzant un mecanisme anomenat "atenció" per decidir quines paraules són importants.
Per exemple, en la sentènciaEl gat que perseguia el ratolí tenia gana”, el model pot connectar les paraules “El gat”, “ratolí”, i “Tenia famObtenir el significat de la frase tot ignorant la resta.
La implementació de "atenció" va conduir a la creació dels poderosos LLM que tenim avui.
A mesura que les persones s'han acostumat a LLMs i ho han fet part de les seves vides, he notat que encara hi ha un repte per maximitzar la utilitat d'eines i models d'IA.
El context.
El context és la circumstància que envolta i la informació de fons que ajuda a explicar alguna cosa.
Guia com realitzeu tasques a la feina, és a vegades el que fa que una broma sigui divertida, és per això que la cerca de Google ha guanyat, és tot.
Un gran repte amb els models / eines d'IA en aquest moment és que no sempre tenen context mentre realitzen certes tasques, i això afecta la qualitat del treball fet o les respostes proporcionades.
Saber què tenir en compte, quin impacte hauria de tenir i quan ja no és útil és la veritable prova de la intel·ligència.
Tornant al nostre exemple de sentènciaEl gat que perseguia el ratolí tenia gana"Si sabem com els models d'IA apliquen l'atenció, podem treure més profit d'ells proporcionant aquesta informació de manera eficient.
Aniré fins al punt de dir que fins i tot si s'aconsegueix AGI, no és rellevant tret que pugui manejar bé el context.
Actualment, diverses eines d'IA han intentat resoldre això de diferents maneres: memòria i consciència de sessió, RAG (Retrieval Augmented Generation), ajustament, MCP i fins i tot la creació de guies d'enginyeria ràpides.
No obstant això, no crec que el problema s'hagi resolt correctament encara perquè molts dels enfocaments actuals posen la càrrega del context en l'usuari.
- No sempre és fàcil per als humans proporcionar context perquè de vegades no recordem completament tota la informació i metadades que tenim, i l'utilitzem per prendre determinades decisions.
- Afecta negativament l'experiència de l'usuari de les eines d'IA si l'usuari final ha de decidir què afegir, quan, etc. És com dir una broma però haver d'explicar-ho a tothom cada vegada.
Veig un parell de maneres en què les eines d’IA tractaran de resoldre el repte de tenir prou context sobre com pensa una persona de les coses:
-
Constant presence: General-purpose AI models could start to provide ever-present tools similar to the Limitless AI pendant to constantly track places you visit, things you see, conversations you have, reactions you have to things and apply that in answering questions or performing tasks for you. This could also just be the next evolution of smartphones.
-
Data import: In this approach, AI tools will provide mechanisms for users to import and sync their data from various platforms into their favourite AI tool. You’ll be able to sync your activity on X (things you see, like, post or repost), your work tools (emails, presentations, meeting recordings), your shopping data (items you’ve liked or bought on Amazon, Asos, etc)
-
Implants: In the far future, I also think AI tools could explore a neuralink type brain implant that allows people ‘extend their brain’ and ‘get the full power of AI’. With this, they could get more context to be able to answer questions and even eliminate delays with using AI tools. Why do you need to think of a question, unlock your phone, open the ChatGPT app and type the question when you can just think of a question and get the answer?
L'ètica al voltant d'aquests enfocaments és una conversa per si sola. Però sigui quin sigui el camí que decideixin anar, el següent serà esbrinar quan aplicar aquest context i quant pes hauria de tenir. Algunes plataformes intenten fer-ho a través de l'ajustament, els pesos i les sol·licituds de pre-processament AKA Raonament.
No obstant això, crec que seria interessant veure pesos dinàmics. és a dir, eines d'IA que utilitzen pesos diferents i proporcionen respostes d'una manera diferent basant-se en el que ja saben sobre tu. Alguna mena de personalització. Similar a com Google de vegades personalitza respostes a la ubicació i l'historial de cerca, etc.
No estic segur de com serà la següent fase de la IA, però estic convençut que una forta comprensió i aplicació del context serà una part important d'ella.
