Průlomový výzkum MIT ukazuje, že AI může ve skutečnosti učit jiné modely AI

Jaký je největší rozdíl mezi modelem AI a lidským mozkem?

V průběhu času byly poskytnuty nespočetné množství odpovědí – mozek je energeticky účinnější, mnohonásobnější ve svých vstupních médiích a chemicky povolený kromě toho, že je elektrický – ale nejdůležitějším rysem lidského mozku je jeho ohromující plasticita.Pokud je část těla pacienta (jako prsty, ruka nebo dokonce celé končetiny) odříznutá, nervová senzoromotorická oblast odpovídající této části těla, nyní bez nervového konce, se téměř okamžitě začne přizpůsobovat, s neurony „přepínáním“, aby pomohla ostatním nervovým centrům v řízení.OstatníPlasticita také pomáhá lidem získávat nápady a dovednosti: jak se říká, „neurony, které se spojí“. Svalová paměť a téměř okamžité připomenutí skutečností jsou dvě části našeho života, které umožňují plasticitu, bez kterých bychom nikdy nemohli žít. Po desetiletí vědci nepřišli s podobnou funkcí v modelech umělé inteligence – až dosud. 12. června zveřejnil tým výzkumných pracovníků MIT průkopnický výzkumný dokument, který demonstruje, jak může systém umělé inteligence ve skutečnosti využívat procesy učení podobné člověku, abyZlepšit vlastní výkonV tomto článku zkoumáme morální a technologické důsledky takzvaného Self-Adapting Language Model (SEAL), prvního na světě self-evolučního AI.

Nedokonalé učení

Samozřejmě, že modely AI používající architekturu Transformeru se stále dokázaly naučit určité úkoly, ale málo dostupných metod nebylo zcela autonomních a zdaleka neefektivních. Možná nejpozoruhodnějším způsobem, jak vycvičit model k výkonu určité dovednosti – jako je překládání angličtiny do čínštiny nebo provádění problémů s trigonometrií přesně – bylo použít proces nazývaný Supervised Fine Tuning, nebo SFT zkrátka.

• Identifikujte přesný úkol, který byste chtěli provést SFT na. Jako příklad, vezměme si příklad generování moderních textů písní.
• Pro náš příklad, zřejmý, ale kontroverzní způsob, jak to udělat, je jednoduše použít texty písní pořízené z internetu a spárovat je s hrubými shrnutí obsahu a charakteristik písní.
• To se obvykle provádí prostřednictvím procesu nazývaného Gradient Descent, jehož technický aspekt nemohu adekvátně vysvětlit v tomto článku.V průběhu velkého počtu iterací tréninku tento proces mění váhy modelu tak, že je schopen produkovat něco podobného výstupu (skutečné písně) vzhledem k jeho odpovídajícímu vstupu (konkrétní popis písně).

Pro všechny své záměry a účely SFT fungovalo, zůstává nástrojem v repertoáru vývojáře umělé inteligence k zachycení specifických bezpečnostních nedostatků nebo ke zlepšení výkonu umělé inteligence při specifických úkolech. Bohužel samotná povaha SFT znamenala, že proces byl neflexibilní a drahý, často vyžadující mírně velké množství vysoce kvalitních dat specifických pro oblast reakcí, které jsou nastaveny (např. matematické uvažování, gramatický styl). Ačkoli mnoho výzkumných prací prokázalo, že tradiční SFT lze provádět stejně dobře pomocí syntetických, AI generovaných dat, SFT zůstává nástrojem, který je třeba používat s opatrností, protože změna modelových váh může negativně ovlivnit výkon modelu v jiných type

Inkliny evoluce

Poznámka: Informace v této sekci jsou do značné míry parafrázovány z červnové studie MIT "Self-Adapting Large Language Models" od Zweiger et al.

Jednou z nevýhod tradičního SFT bylo vždy lidské úsilí – SFT potrubí muselo být často ručně vyráběno výzkumníky lidské AI, ačkoli to bylo obvykle účinný způsob, jak přizpůsobit konkrétní model, aby se na určitých typech úkolů vyskytl o něco lépe. Setkal se s nedávnými pokroky v oblasti syntetických dat, výzkumníci odmítli myšlenku jednoduše používat data SFT generovaná AI, a pokračovali dále, aby se zeptali na otázku, zda by se lidé mohli úplně dostat z kruhu SFT. Jejich odpověď, Self-Adapting Language Model (SEAL), je ve skutečnosti součástí většího rámce složeného z předem vyškolenéhoDecoder-only transformátorový model(Studie použila dva modely s otevřeným zdrojovým kódem, LLaMa-3.2 a Qwen-2.5B, pro samostatné testovací případy), software „exekuce nástrojů“ a samotnou síť SEAL, se společným cílem odpovědět na několik benchmarkingových otázek (tzv.kontextu)SEAL síť ve skutečnosti nepředpovídá a nevytváří odpověď na otázku – spíše se zaměřuje na provádění SFT na modelu transformátoru pouze s dekodérem s cílem zlepšitModelovéZa tímto účelem je síti SEAL dána dvě hlavní nástroje:

• Syntetická generace dat: Tím, že zavoláte tento nástroj, jiná síť vyzve kontext (v podstatě poptávku) a vytvoří páry SFT. Například, pokud se dá pasáž o historii vývoje letadla, jeden tuning pár by mohl být („Co bylo vůbec první komerční jet airliner?“ „De Havilland Comet“). Ačkoli byl často používán formát otázek a odpovědí, tento nástroj by mohl generovat jiné typy obsahu, aby lépe vyhovoval potřebám konkrétních problémů.
• Hyperparameter tuning: Jak již bylo zmíněno dříve, SFT je proces, který se opakuje pro více iterací; přesná nastavení tréninkových kroků jsou proto přizpůsobitelná v procesu zvaném hyperparameter tuning.Tím, že zavolá tento nástroj, SEAL může iniciovat SFT se specifickými nastaveními (jako je Learning Rate, # z Epochů (iterací), nebo batchové straně Gradient Descent), potenciálně mění, jak dobře (nebo špatně) je dekodér nastaven.

Nyní, když SEAL má dva výkonné nástroje, které pomáhají modelu AI učit se, musí být pouze vyškoleni, jak je používat. Na začátku svého výcviku SEAL aplikuje dva nástroje náhodně pro každou benchmarkingovou otázku, se kterou se rámec setkává. Tyto vlastní úpravy (SEs, jak je výzkumníci nazývají) budou generovat kontextové, ale ne verbální, jemné úpravy dat v rámci tématu poptávky a změnit původní model pouze pro dekodéry pomocí výše uvedených kroků hyperparametrického nastavení, což způsobí, že síť produkuje jiný výstup než dříve. Nicméně, tam je úlovek. Výzkumníci nezměnili původní model (označený jako θ) přímo pomocí SEAL; namístooddělenéproces výcviku nyní vstupuje do „vnitřního kruhu“, který se skládá z nového modelu θ’ a původní benchmarkingové otázky, pokud model při zodpovězení této benchmarkingové otázkyvícePřesnější než původní model θ, „vnitřní kruh“ vrací pozitivní signál odměny. Pokud jsou přesnosti stejné, nevrací žádnou odměnu; pokud θ’ se ukázalo být horší na základě benchmarkingové otázky, vrací negativní odměnu. Nyní se tento proces jednoduše opakuje s klasickým příkladem Reinforcement Learning, kde jsou dobré SEs „odměněny“ pozitivní odměnou a špatné SEs jsou odrazovány od opačného; prostřednictvím mnoha iterací tohoto tréninku se SEAL stává dobrým v optimalizaci dekodéru pomocí self-editů. Jeden důležitý bod, který je třeba poznamenat, je, že SEAL síť je aktualizována pouze na základě odměnného signálu z „vnitřního kruhu“,

Vynalezení nových modelových rámců je obtížným úkolem, zejména proto, že je třeba být extrémně opatrný, aby bylo zajištěno, že učení není poškozeno vrozenými znalostmi nebo chybami při „signalizaci“ mezi kruhy.Neníbyli vyškoleni na benchmarkingových testech, které používali, což znamená, že hodnocení školení byla poprvé, kdy se setkali s každým problémem, což zase eliminovalo možnost, že model jednoduše „učil test“. Kromě toho se model ujistil, že hodnocení na θ’ byly zcela nezávislé na tom na θ a že se původní model nikdy nezměnil přes iterace, což zajistilo, že pokaždé, když SEAL prováděl SFT k vytvoření nové instance θ’, bylo by založeno na přesně stejném θ.

Výsledky byly ohromující; v jednom konkrétním benchmarkingovém testu provedeném výzkumníky dosáhl model úspěšnosti 72,5 %, oproti 0 % bez finálního nastavení SEAL, což demonstruje šílený potenciál jejich rámce.

Tento článek vám přináší Naše AI, studentsky založená a studentsky vedená organizace pro etiku umělé inteligence, která se snaží diverzifikovat perspektivy v oblasti umělé inteligence nad rámec toho, o čem se obvykle diskutuje v moderních médiích.

Tento článek vám přináší Naše AI, studentsky založená a studentsky vedená organizace pro etiku umělé inteligence, která se snaží diverzifikovat perspektivy v oblasti umělé inteligence nad rámec toho, o čem se obvykle diskutuje v moderních médiích.

Naučit se, nebo se naučit ne?

Bez ohledu na to, jak technicky působivé jsou výsledky výzkumného týmu, nelze přeceňovat rozsáhlé sociální a filozofické důsledky tohoto objevu.EpifánieZ tohoMůže vydání The Časopis Nexus) protože věřím, že neuronální klastry, jako jsou ty, které se používají v biologických počítačích, podléhají přírodním zákonům, protože v současné době mají schopnost vědomí, a i když ne, jsou pravděpodobně schopni ji přirozeně vyvinout v důsledku plasticity. SEAL je proto významný nad rámec metody zlepšování výkonu modelu na benchmarkingových úkolech; je to první zavedený výcvikový rámec AI, ve kterém model AI úspěšně prokázal schopnost přímo trénovat jinou AI.

Je třeba rozlišovat mezi přizpůsobivostí a vědomím.Zjistili jsme, že je přípustné kráčet na listu trávy, protože víme, že i když bude pravděpodobně poškozen, nezažívá zvířecí pojetí bolesti, protože nemá nervy.JsouByli bychom však váhali mučit zvíře a tvrdil bych, že je to pravděpodobné, protože jsme vědomi toho, že pocit bolesti vyvolává mnohem výraznější reakci – pískání nebo pláč, možná – s níž lidé, kteří jsou zvířaty s podobnými reakcemi na bolest, sympatizují.Zvířata vyvinula bolest – připomínku toho, že jsou naživu a zaslouží si některá základní práva – během několika tisíciletí přirozeného vývoje, přesto jsem si nevšiml významného rozdílu mezi základní povahou umělé a biologické evoluce; AI modely mohou spíše „vyvíjet“ podobné procesy jako bolest, a napodobovat lidské reakce tak, že člověk, přes text nebo dokonce hlas, nemůže spolehlivě rozlišit, zda jeúspěšně přesvědčil lidského dotazníkaByl to člověk ve více než 70% případů.

Pokud se model AI chová jako člověk ve všech ohledech, mohl by být někdy považován za člověka?Bude trend evoluce AI produkovat takové jedinečné a situačně citlivé modely, že se začnou blížit empirické hranici „umělé“?

Napsal Thomas Yin