Dit is mijn vervolg op het beroemde Transformers-papier getiteld“Aandacht is alles wat je nodig hebt.”De technologie die in dat artikel wordt beschreven, heeft geleid tot bijna elke grote doorbraak in AI in de afgelopen zeven jaar, van ChatGPT tot het video-generatiemodel van Google.VeoEn alles tussenin.
Het oorspronkelijke artikel was gericht op het helpen van computers (AI-modellen) om taal beter te begrijpen en te genereren. het beschrijft hoe computers betekenis kunnen afleiden van een zin door het allemaal tegelijk te lezen en met behulp van een mechanisme genaamd "attentie" om te beslissen welke woorden belangrijk zijn.
Bijvoorbeeld in de zin "De kat die de muis achtervolgde was hongerig”, het model kan de woorden verbinden “Katten”, “muis”, en “was hongerigOm betekenis te krijgen uit de zin terwijl je alles anders negeert.
De implementatie van "attentie" leidde tot de creatie van de krachtige LLM's die we vandaag hebben.
Naarmate mensen zich meer hebben gewend aan LLM's en het een deel van hun leven hebben gemaakt, heb ik gemerkt dat er nog steeds een uitdaging is om de bruikbaarheid van AI-tools en modellen te maximaliseren.
De context.
Context is de omstandigheden en achtergrondinformatie die iets helpt uit te leggen.
Het begeleidt hoe je taken op het werk uitvoert, het is soms wat een grap grappig maakt, dat is waarom Google-zoek wint, dat is alles.
Een grote uitdaging met AI-modellen/tools op dit moment is dat ze niet altijd context hebben bij het uitvoeren van bepaalde taken, en dit beïnvloedt de kwaliteit van het werk dat wordt gedaan of de antwoorden die worden gegeven.
Weten wat te overwegen, hoeveel impact het zou moeten hebben en wanneer het niet langer nuttig is, is de echte test van intelligentie.
Terug naar ons voorbeeld van zinDe kat die de muis achtervolgde was hongerigAls we weten hoe AI-modellen aandacht toepassen, kunnen we er meer uit halen door die informatie efficiënt te verstrekken.
Ik ga zo ver als ik zeg dat zelfs als AGI wordt bereikt, het niet relevant is tenzij het de context goed kan hanteren.
Op dit moment hebben verschillende AI-tools geprobeerd dit op verschillende manieren op te lossen: geheugen- en sessiebewustzijn, RAG (Retrieval Augmented Generation), fijne aanpassing, MCP en zelfs het maken van prompt engineering guides.
Ik denk echter niet dat het probleem nog goed is opgelost omdat veel van de huidige benaderingen de last van context op de gebruiker leggen.
- Het is niet altijd gemakkelijk voor mensen om context te bieden omdat we soms niet volledig alle informatie en metagegevens onthouden die we hebben en gebruiken om bepaalde beslissingen te nemen.
- Het heeft een negatieve invloed op de gebruikerservaring van AI-tools als de eindgebruiker moet beslissen wat hij moet toevoegen, wanneer, enz.
Ik zie een paar manieren waarop AI-tools zullen proberen de uitdaging op te lossen van het hebben van voldoende context over hoe een persoon denkt over dingen:
-
Constant presence: General-purpose AI models could start to provide ever-present tools similar to the Limitless AI pendant to constantly track places you visit, things you see, conversations you have, reactions you have to things and apply that in answering questions or performing tasks for you. This could also just be the next evolution of smartphones.
-
Data import: In this approach, AI tools will provide mechanisms for users to import and sync their data from various platforms into their favourite AI tool. You’ll be able to sync your activity on X (things you see, like, post or repost), your work tools (emails, presentations, meeting recordings), your shopping data (items you’ve liked or bought on Amazon, Asos, etc)
-
Implants: In the far future, I also think AI tools could explore a neuralink type brain implant that allows people ‘extend their brain’ and ‘get the full power of AI’. With this, they could get more context to be able to answer questions and even eliminate delays with using AI tools. Why do you need to think of a question, unlock your phone, open the ChatGPT app and type the question when you can just think of a question and get the answer?
De ethiek rond deze benaderingen is een gesprek op zichzelf. Maar welke manier ze ook besluiten te gaan, het volgende is om erachter te komen wanneer deze context moet worden toegepast en hoeveel gewicht het moet hebben. Sommige platforms proberen dit te doen door middel van fijne aanpassing, gewichten en voorbehandeling van AKA Reasoning-verzoeken.
Ik denk echter dat het interessant zou zijn om dynamische gewichten te zien. d.w.z. AI-tools die verschillende gewichten gebruiken en antwoorden op een andere manier bieden op basis van wat ze al over u weten.
Ik weet niet zeker hoe de volgende fase van AI eruit ziet, maar ik ben ervan overtuigd dat een sterk begrip en toepassing van de context een belangrijk onderdeel ervan zal zijn.
