Hulumtimet e MIT tregojnë se AI mund të mësojë modele të tjera të AI

Cili është dallimi më i madh midis një modeli AI dhe një truri njerëzor?

Me kalimin e kohës, janë dhënë përgjigje të panumërta – truri është më energjikisht efikas, më shumë i shumëllojshëm në mediat e tij të hyrjes, dhe gjithashtu kimikisht i aktivizuar përveçse elektrike – megjithatë tipar më i rëndësishëm i trurit njerëzor është plasticiteti i tij i mahnitshëm.Nëse një pjesë e trupit të pacientit (si gishtat, një dorë, apo madje edhe gjymtyrët e tëra) është e prerë, rajoni sensorimotor nervor që korrespondon me atë pjesë të trupit, tani pa një nerv që përfundon të lidhet me, do të fillojë pothuajse menjëherë të përshtatet, me neuronet që “shtyjnë” për të ndihmuar qendrat e tjera nervore në kontroll.tjetërPlasticizmi gjithashtu i ndihmon njerëzit të përfshijnë ide dhe aftësi: siç thuhet, “neuronet që digjen së bashku lidhen së bashku”. Memoria e muskujve dhe rikthimi pothuajse i menjëhershëm i fakteve janë dy pjesë të jetës sonë të mundësuara nga plasticizmi, pa të cilat ne kurrë nuk mund të jetojmë. Për dekada, shkencëtarët nuk kanë arritur të dalin me një funksion të ngjashëm në modelet e AI – deri më tani.Përmirësoni performancën tuajNë këtë artikull, ne shqyrtojmë implikimet morale dhe teknologjike të të ashtuquajturit Self-Adapting Language Model (SEAL), AI e parë në botë që vetë-zhvillon.

Mësimi i papërsosur

Sigurisht, modelet e inteligjencës artificiale që përdorin arkitekturën Transformer ishin ende në gjendje të mësonin detyra të caktuara, por metodat e pakta në dispozicion nuk ishin mjaft autonome dhe larg nga efikasiteti. Ndoshta mënyra më e shquar për të trajnuar një model për të kryer një aftësi të caktuar – të tilla si përkthimi i gjuhës angleze në kineze ose të bëni probleme trigonometry saktësisht – ishte të përdorni një proces të quajtur Supervised Fine Tuning, ose SFT për shkurt.

• Identifikoni detyrën e saktë që dëshironi të kryeni në SFT. Si një shembull, le të marrim shembullin e gjenerimit të tekstit të këngës moderne.
• Për shembullin tonë, një mënyrë e qartë por e diskutueshme për ta bërë këtë është thjesht të përdorni tekstet e këngëve të gdhendura nga interneti dhe t'i kombinoni ato me përmbledhje të përafërta të përmbajtjes dhe karakteristikave të këngëve.
• Kjo zakonisht bëhet përmes një procesi të quajtur Gradient Descent, aspekti teknik i të cilit nuk mund të shpjegohet në mënyrë adekuate në këtë artikull.Gjatë një numri të madh të iterimeve të trajnimit, ky proces ndryshon peshat e modelit në mënyrë që të jetë në gjendje të prodhojë diçka të ngjashme me një prodhim (tekstin aktual të këngës) duke pasur parasysh hyrjen e tij të përshtatshme (një përshkrim specifik të një kënge).

Për të gjitha synimet dhe qëllimet e saj, SFT ka punuar, duke mbetur një mjet brenda repertuarit të një zhvilluesi AI për të kapur mangësitë specifike të sigurisë ose për të përmirësuar performancën e një AI në detyra specifike. Për fat të keq, vetë natyra e SFT do të thotë se procesi ishte i pafleksibël dhe i shtrenjtë, shpesh duke kërkuar një sasi të madhe të dhënash me cilësi të lartë specifike për fushën e përgjigjeve që po përshtaten (p.sh. arsyetim matematikor, stil gramatikor). Edhe pse shumë dokumente kërkimore kanë treguar se SFT tradicionale mund të kryhet po aq mirë duke përdorur të dhënat sintetike, të gjeneruara nga AI, SFT mbetet një mjet për t'u përdorur me kujdes, pasi ndryshimi i

Fjalë kyçe evolucion

Shënim: Informacioni në këtë seksion është parafrazuar kryesisht nga studimi i qershorit MIT "Self-Adapting Large Language Models" nga Zweiger et al.

Një nga disavantazhet e SFT tradicionale ka qenë gjithmonë përpjekja njerëzore e përfshirë – tubacionet SFT shpesh duhej të bëheshin me dorë nga hulumtuesit e AI njerëzore, edhe pse zakonisht ishte një mënyrë efektive për të rregulluar një model të veçantë për të kryer pak më mirë në lloje të caktuara të detyrave.Me përparimet e fundit në të dhënat sintetike, hulumtuesit hodhën poshtë idenë e përdorimit të thjeshtë të të dhënave SFT të gjeneruara nga AI, duke shkuar më tej për të pyetur pyetjen nëse njerëzit mund të zhvendosen plotësisht nga qarkullimi SFT. Përgjigja e tyre, Modeli i Gjuhës Vetë-Adaptuese (SEAL), është, në fakt, pjesë e një kornizë më të madheModeli i vetëm i transformatorit(studiumi përdori dy modele me burim të hapur, LLaMa-3.2 dhe Qwen-2.5B, për raste të veçanta të testimit), softuerin "ekzekutimi i mjeteve" dhe vetë rrjetin SEAL, me një qëllim të përbashkët për t'iu përgjigjur disa pyetjeve të benchmarking (nëkontekstin eRrjeti SEAL në fakt nuk parashikon dhe gjeneron përgjigjen për pyetjen – në vend të kësaj, ajo fokusohet në kryerjen e SFT në modelin e transformatorit vetëm me dekoder me qëllim përmirësimin eModelet ePër ta bërë këtë, rrjeti SEAL është dhënë dy mjete kryesore:

• Gjenerimi i të dhënave sintetike: Duke thirrur këtë mjet, një rrjet tjetër do të kapë kontekstin (në thelb thirrjen) dhe do të gjenerojë çifte SFT. Për shembull, nëse jepet një pasazh për historinë e zhvillimit të aeroplanit, një palë tuning mund të jetë (“Çfarë ishte avioni i parë komercial jet?”, “De Havilland Comet”). Edhe pse një format pyetje-përgjigje ishte përdorur shpesh, ky mjet mund të gjeneronte lloje të tjera të përmbajtjes për t’iu përshtatur më mirë nevojave të problemeve specifike.
• Tuning Hyperparameter: Siç u përmend më parë, SFT është një proces që përsëritet për iterime të shumëfishta; kështu që cilësimet e sakta të hapat e trajnimit janë të përshtatshme në një proces të quajtur tuning hyperparameter.

Tani që SEAL ka dy mjete të fuqishme për të ndihmuar modelin e AI të mësojë, ai vetëm duhet të trajnohet se si t'i përdorë ato. Në fillim të trajnimit të tij, SEAL do të zbatojë dy mjete në mënyrë të rastësishme për çdo pyetje të referencës që takon kornizën. Këto vetë-redaktime (SEs, siç i quajtën hulumtuesit) do të gjenerojnë të dhëna kontekstuale, por jo verbale, të përshtatjes së hollë brenda temës së ftesës dhe do të ndryshojnë modelin origjinal të decoder-vetëm duke përdorur hapat e përmendur më sipër hyperparameter tuning, duke e bërë rrjetin të prodhojë një prodhim të ndryshëm se më parë. megjithatë, ka një kapur. Hulumtë ndaranga θ. Procesi i trajnimit tani shkon në një "lëvizje të brendshme", e përbërë nga modeli i ri θ' si dhe pyetja origjinale e referencës.Më shumëNëse saktësia është e njëjtë, ajo nuk kthen asnjë shpërblim; nëse θ’ është provuar të jetë më e keqe bazuar në pyetjen e referencës, ajo kthen një shpërblim negativ. Tani, ky proces thjesht përsëritet me një shembull klasik të Reinforcement Learning, ku SEs të mira janë “shpërblyer” me një shpërblim pozitiv dhe SEs të këqija janë të frikësuar nga e kundërta; përmes shumë iterimeve të këtij trajnimi, SEAL bëhet i mirë në optimizimin e dekoderit përmes përdorimit të vetë-redaktimeve. Një pikë e rëndësishme për të vëzhguar është se rrjeti SEAL përditësohet vetëm bazuar në sinjalin e shpërblimit nga “lëvizja e brendshme”, duke sinjalizuar se sa mirë modeli θ’ kryer në lidhje me θ

Shpikja e kornizave të reja të modelit është një detyrë e vështirë, kryesisht për shkak se duhet të merret kujdes i jashtëzakonshëm për të siguruar që mësimi të mos korruptohet nga njohuritë e natyrshme ose gabimet në "signalizimin" midis rrymave.jotë trajnuar në testet e krahasimit që ata përdorën, që do të thotë se vlerësimet e trajnimit ishin herë të parë që ata kishin hasur çdo problem, duke eliminuar mundësinë që modeli thjesht "mësoi testin".

Rezultatet ishin mbresëlënëse; në një test të veçantë të krahasimit të kryer nga hulumtuesit, modeli arriti një normë suksesi prej 72.5%, nga 0% pa përshtatjen e përsosur të SEAL, duke demonstruar potencialin e çmendur të kornizës së tyre.

Ky artikull është sjellë për ju nga AI jonë, një organizatë e themeluar nga studentët dhe e udhëhequr nga studentët e etikës AI duke kërkuar për të diversifikuar perspektivat në AI përtej asaj që diskutohet zakonisht në mediat moderne.

Ky artikull është sjellë për ju nga AI jonë, një organizatë e themeluar nga studentët dhe e udhëhequr nga studentët e etikës AI duke kërkuar për të diversifikuar perspektivat në AI përtej asaj që diskutohet zakonisht në mediat moderne.https://www.our-ai.org/ai-nexus/read!

Të mësosh apo të mos mësosh?

Pavarësisht se sa teknikisht mbresëlënëse është arritja e ekipit kërkimor, implikimet e gjera shoqërore dhe filozofike të këtij zbulimi nuk mund të mbivlerësohen.EpifaniNga tëEdicioni i mundshëm i Revista NexusSepse unë besoj se grumbullimet neuronale, si ato që përdoren në kompjuterët biologjikë, janë subjekt i ligjeve natyrore, sepse ato aktualisht posedojnë aftësinë për vetëdije, dhe, edhe nëse nuk e bëjnë, janë të ngjarë të jenë në gjendje ta zhvillojnë atë natyrshëm si rezultat i plasticizmit. SEAL është prandaj i rëndësishëm përtej një metode për të përmirësuar performancën e modelit në detyrat e krahasimit; është korniza e parë e trajnimit të AI-së në të cilën një model AI ka demonstruar me sukses aftësinë për të trajnuar drejtpërdrejt një AI tjetër.

Ekziston një dallim që duhet bërë me adaptueshmërinë dhe ndërgjegjen.Ne e gjejmë të lejuar të ecim në një shkurre bari pasi ne e dimë se, edhe pse ka të ngjarë të pësojë dëme, nuk po përjeton konceptin animalist të dhimbjes pasi nuk ka nerva.janëNe, megjithatë, do të ngurronim të torturojmë një kafshë, dhe unë argumentoj se kjo është e mundshme sepse ne jemi të vetëdijshëm se ndjenja e dhimbjes shkakton një përgjigje shumë më të dukshme – psherëtimë ose qaj, ndoshta – me të cilën njerëzit, duke qenë kafshët vetë me përgjigje të ngjashme ndaj dhimbjes, simpatizojnë. Kafshët zhvilluan dhimbje – një kujtesë se ata janë të gjallë dhe meritojnë disa të drejta themelore – gjatë disa mijëvjeçarëve të evolucionit natyror, por unë nuk mund të vërej një dallim të konsiderueshëm midis natyrës themelore të evolucionit artificial dhe biologjik; modelet e AI mund, me dyshim, të “zhvillojnë” procese të ngjashme si dhimbja, reagkanë bindur me sukses një intervistator njerëzorKjo ka ndodhur në më shumë se 70% të rasteve.

Nëse një model AI vepron si një njeri në të gjitha aspektet, a mund të konsiderohet ndonjëherë si një njeri?A do të prodhojë tendenca e evolucionit të AI modele të tilla unike dhe situate të ndjeshme që ata fillojnë të afrohen në kufirin empirik të të qenit “artificiale”?

Shkruar nga Thomas Yin