Dit is my opvolger van die beroemde Transformers-papier getiteld“Aandacht is alles wat jy nodig het.”Die tegnologie wat in daardie artikel beskryf is, het gelei tot byna elke groot deurbraak in AI in die afgelope sewe jaar, alles van ChatGPT tot Google se video-generasie model.Ek sienEn alles tussenin.
Die oorspronklike artikel was gefokus op die help van rekenaars (AI-modelle) om taal beter te verstaan en te genereer. Dit beskryf hoe rekenaars betekenis van 'n frase kan afgelei deur dit alles op 'n keer te lees en 'n meganisme genaamd "oplettendheid" te gebruik om te besluit watter woorde belangrik is.
Byvoorbeeld, in die frase “Die kat wat die muis agtervolg het, was honger”, die model kan die woorde verbind ”Katte”, “die muis”, en “Hy het hongerOm betekenis uit die frase te kry terwyl jy alles anders ignoreer.
Die implementering van "oplettendheid" het gelei tot die skepping van die kragtige LLMs wat ons vandag het.
Soos mense meer gewoond geword het aan LLMs en dit 'n deel van hul lewens gemaak het, het ek opgemerk dat daar nog 'n uitdaging is om die nut van AI-tools en modelle te maksimeer.
die konteks.
Kontekst is die omliggende omstandighede en agtergrond inligting wat help om iets te verduidelik.
Dit lei hoe jy take op die werk uitvoer, dit is soms wat 'n grap grappig maak, dit is hoekom Google-soek gewen het, dit is alles.
'N Groot uitdaging met AI-modelle / gereedskap op die oomblik is dat hulle nie altyd konteks het terwyl sekere take uitgevoer word nie, en dit beïnvloed die kwaliteit van die werk wat gedoen word of antwoorde wat verskaf word.
Om te weet wat om te oorweeg, hoeveel impak dit moet hê en wanneer dit nie meer nuttig is nie, is die ware toets van intelligensie.
Terug na ons voorbeeldwoordDie kat wat die muis agtervolg het, was hongerAs ons weet hoe AI-modelle aandag toepas, kan ons meer uit hulle kry deur daardie inligting doeltreffend te verskaf.
Ek gaan so ver as om te sê selfs as AGI bereik word, is dit nie relevant nie, tensy dit konteks goed kan hanteer nie.
Op die oomblik het verskillende AI-tools probeer om dit op verskillende maniere op te los. geheue en sessie bewustheid, RAG (Retrieval Augmented Generation), fine-tuning, MCP, en selfs die skep van prompte ingenieursgids.
Ek dink egter dat die probleem nog nie behoorlik opgelos is nie, want baie van die huidige benaderings plaas die las van konteks op die gebruiker nie.
- Dit is nie altyd maklik vir mense om konteks te verskaf nie, want ons onthou soms nie ten volle al die inligting en metadata wat ons het nie, en gebruik dit om sekere besluite te neem.
- Dit beïnvloed die gebruikerservaring van AI-tools negatief as die eindgebruiker moet besluit wat om te voeg, wanneer, ens Dit is soos om 'n grap te sê maar om dit elke keer aan almal te verduidelik.
Ek sien 'n paar maniere waarop AI-tools sal probeer om die uitdaging op te los om genoeg konteks te hê oor hoe 'n persoon van dinge dink:
-
Constant presence: General-purpose AI models could start to provide ever-present tools similar to the Limitless AI pendant to constantly track places you visit, things you see, conversations you have, reactions you have to things and apply that in answering questions or performing tasks for you. This could also just be the next evolution of smartphones.
-
Data import: In this approach, AI tools will provide mechanisms for users to import and sync their data from various platforms into their favourite AI tool. You’ll be able to sync your activity on X (things you see, like, post or repost), your work tools (emails, presentations, meeting recordings), your shopping data (items you’ve liked or bought on Amazon, Asos, etc)
-
Implants: In the far future, I also think AI tools could explore a neuralink type brain implant that allows people ‘extend their brain’ and ‘get the full power of AI’. With this, they could get more context to be able to answer questions and even eliminate delays with using AI tools. Why do you need to think of a question, unlock your phone, open the ChatGPT app and type the question when you can just think of a question and get the answer?
Die etiek rondom hierdie benaderings is 'n gesprek op sigself. Maar watter manier hulle besluit om te gaan, die volgende ding sal wees om uit te vind wanneer om daardie konteks toe te pas en hoeveel gewig dit moet hê.
Ek dink egter dit sal interessant wees om dinamiese gewigte te sien. dit wil sê AI-gereedskap wat verskillende gewigte gebruik en antwoorde op 'n ander manier verskaf op grond van wat hulle reeds van jou weet. 'n Soort persoonlikheid. Soos hoe Google soms antwoorde pas op ligging en soektog, ens.
Ek is nie seker hoe die volgende fase van AI lyk nie, maar ek is oortuig dat 'n sterk begrip en toepassing van konteks 'n belangrike deel daarvan sal wees.
