
 
 
 
 
 
 
 
 
 
 
 
 
 
 Autori : (1) Дан Бидерман, Универзитет Колумбија и Databricks Mosaic AI (db3236@columbia.edu); (2) Жозе Гонзалес Ортиз, Датабрицкс Мосаиц АИ (ј.гонзалес@датабрицкс.цом); (3) Јакоб Портес, Databricks Mosaic AI (jportes@databricks.com); (4) Mansheej Paul, Databricks Mosaic AI (mansheej.paul@databricks.com); (5) Филип Греенгард, Универзитет Колумбија (пг2118@columbia.edu); (6) Конор Јеннингс, Databricks Mosaic AI (connor.jennings@databricks.com); (7) Данијел Кинг, Databricks Mosaic AI (daniel.king@databricks.com); (8) Сам Хавенс, Databricks Mosaic AI (sam.havens@databricks.com); (9) Виталиј Чилеи, Databricks Mosaic AI (vitaliy.chiley@databricks.com); (10) Џонатан Франкл, Databricks Mosaic AI (jfrankle@databricks.com); (11) Коди Блакени, Databricks Mosaic AI (cody.blakeney); (12) Џон П. Каннингхам, Универзитет Колумбија (јпц2181@columbia.edu). Authors: (1) Дан Бидерман, Универзитет Колумбија и Databricks Mosaic AI (db3236@columbia.edu); (2) Жозе Гонзалес Ортиз, Датабрицкс Мосаиц АИ (ј.гонзалес@датабрицкс.цом); (3) Јакоб Портес, Databricks Mosaic AI (jportes@databricks.com); (4) Mansheej Paul, Databricks Mosaic AI (mansheej.paul@databricks.com); (5) Филип Греенгард, Универзитет Колумбија (пг2118@columbia.edu); (6) Конор Јеннингс, Databricks Mosaic AI (connor.jennings@databricks.com); (7) Данијел Кинг, Databricks Mosaic AI (daniel.king@databricks.com); (8) Сам Хавенс, Databricks Mosaic AI (sam.havens@databricks.com); (9) Виталиј Чилеи, Databricks Mosaic AI (vitaliy.chiley@databricks.com); (10) Џонатан Франкл, Databricks Mosaic AI (jfrankle@databricks.com); (11) Коди Блакени, Databricks Mosaic AI (cody.blakeney); (12) Џон П. Каннингхам, Универзитет Колумбија (јпц2181@columbia.edu). Табела левице АБСТРАКТ И 1 УВОД 2 Позадина 3 Експериментално подешавање и 3.1 сетови података за континуирано претренирање (ЦПТ) и финитонирање инструкција (ИФТ) 3.2 Мерење учења са кодирањем и математичким бенчмарковима (оцена циљног домена) 3.3 Заборављање метрике (оцена изворног домена) 4 Резултати 4.1 ЛоРА испољава потпуно финетунинг у програмирању и математичким задацима 4.2 ЛоРА заборавља мање од потпуног финетунирања 4.3 Учење-заборављање трговине 4.4 Лора регулациони својства 4.5 Потпуно усавршавање кода и математике не учи поремећаје ниског ранга 4.6 Практични узимања за оптимално конфигурисање ЛоРА 5 Povezani radovi 6 Дискусија 7 Закључци и референце Appendix А. Експериментална поставка Б. Претраживање учења C. Dataset za obuku D. Теоријска ефикасност меморије повећава се са ЛоРА-ом за подешавања једне и више ГПУ-а апстракт LoRA штеди меморију обуком само поремећаја ниског ранга на одабране матрице тежине. У овом раду упоређујемо перформансе LoRA-е и комплетно финитонинг на два циљна домена, програмирању и математици. Узимамо у обзир и инструкцију финитонинг (≈100K парова брзих одговора) и континуирани претренинг (≈10B неструктурирани токени) података. Наши резултати показују да, у већини подешавања, LoRA значајно не функционише у потпуном финитонинг. Ипак, LoRA показује жељену формацију регулације: боље одржава перформансе базе модела на задацима изван циљног домена. Показујемо да LoRA пружа јачу регула 1 Увод Финетунинг великих језичких модела (ЛЛМ) са милијардама тегова захтева не-тривијалну количину меморије ГПУ-а. Методе финетунинга са параметарском ефикасношћу смањују меморијски отисак током тренинга замрзавањем унапред обученог ЛЛМ-а и само обуком малог броја додатних параметара, који се често називају адаптери. Од свог увођења, ЛоРА је промовисана као строго побољшање ефикасности које не угрожава тачност на новом, циљном домену (Ху ет ал., 2021; Деттмерс ет ал., 2024; Расцхка, 2023; Зхао ет ал., 2024б). Међутим, само неколико студија бенчмарк ЛоРА у односу на потпуну финетунинг за ЛЛМ са милијардама параметара, (Ивисон ет ал., 2023; Зхуо ет ал., 2024; Деттмерс ет ал., 2024), извештавање мешовите резултате. Неке од ових студија се ослањају на старије моделе (нпр. РоБЕРТА), или грубе оцењивање бенчмарке (као што су ГЛУЕ или РОУГЕ) који су мање релеван Here we ask: under which conditions does LoRA approximate full finetuning accuracy on challenging target domains, such as code and math? Обуком мање параметара, ЛоРА се претпоставља да обезбеди облик регулализације који ограничава понашање фино подешеног модела да остане близу онога базалног модела (Sun et al., 2023; Du et al., 2024). We also ask: does LoRA act as a regularizer that mitigates “forgetting” of the source domain? У овој студији, строго упоређујемо ЛоРА и комплетно финетунинг за Ллама-2 7Б (а у неким случајевима и 13Б) моделе преко два изазовна циљна домена, кода и математике. Унутар сваког домена, истражујемо два режима обуке. Први је инструкција финетунинг, заједнички сценарио за ЛоРА који укључује сетове питања-одговора са десетинама до стотинама милиона токена. Овде користимо Магицодер-Евол-Инструцт-110К (Веи ет ал., 2023) и МетаМатхаКА (Иу ет ал., 2023). Други режим се наставља претренинг, мање уобичајена апликација за ЛоРА која укључује обуку на милијарде не-о Ми процењујемо перформансе циљних домена (од сада, учење) кроз изазовно кодирање и математичке референтне марке (HumanEval; Chen et al. (2021), и GSM8K; Cobbe et al. (2021)). Ми процењујемо перформансе изворних домена заборављања на разумевање језика, знање света и задатке размишљања здравог смисла (Zellers et al., 2019; Sakaguchi et al., 2019; Clark et al., 2018). Primetili smo da kod LoRA značajno ne funkcioniše u potpunosti, dok kod matematike LoRA zatvara veći deo praznine (odeljak 4.1), dok zahteva duže obuke. Usprkos ovoj razlici u performansi, pokazujemo da LoRA bolje održava performanse izvorne domene u poređenju sa potpunim finetuningom (odeljak 4.2). Nadalje, karakterizujemo kompromis između performansi na ciljanom i izvornom domenu (učenje u odnosu na zaborav). Za danu veličinu modela i skup podataka, nalazimo da LoRA i kompletno finetuning formiraju sličnu krivulju kompromisnog zaboravljanja učenja: LoRA koji uče opšte zaboravljaju koliko i kompletno finetuning, iako nalazimo slučajeve (za kod) u kojima LoRA može da uči Затим показујемо да ЛоРА – чак и са мање рестриктивним рангом – пружа јачу регулализацију у поређењу са класичним методама регулализације као што су одбацивање (Сривастава и др., 2014) и губитак тежине (Гоодфелоу и др., 2016). Такође показујемо да ЛоРА пружа регулализацију на нивоу излаза: анализирамо генерисана решења за проблеме ХуманЕвал и налазимо да док се потпуно финетунинг сруши на ограничени скуп решења, ЛоРА одржава разноликост решења сличније базичном моделу (Сун и др., 2023; Ду и др., 2024). Зашто ЛоРА не функционише у потпуности? ЛоРА је првобитно мотивисан делимично хипотезом да финетунинг резултира у поремећајима ниског ранга у матрици тежине базалног модела (Ли и др., 2018; Агајаниан и др., 2020; Ху и др., 2021). Међутим, задаци које истражују ови радови су релативно једноставни за савремене ЛЛМ-ове, а можда и лакши од домена кодирања и математике које су овде проучаване. Тако вршимо појединачну декомпозицију вредности како бисмо показали да потпуно финетунинг једва мења спектар матрица тежине базалног модела, а ипак је разлика између два (тј. поремећаја) висока. Ранг поремећа Zaključujemo tako što ćemo predložiti najbolje prakse za modele obuke sa LoRA-om.Uočavamo da je LoRA posebno osetljiv na stope učenja i da na performanse uglavnom utiče izbor ciljanih modula i u manjoj meri po rang. Да сумирамо, доприносимо следећим резултатима: • Потпуно финитонирање је прецизније и ефикасније од ЛоРА у коду и математици (Сец.4.1). • ЛоРА заборавља мање изворног домена, пружајући облик регулализације (секције 4.2 и 4.3). • ЛоРА регулализација је јача у поређењу са уобичајеним техникама регулализације; такође помаже у одржавању разноликости генерација (Сец. • Потпуно финитонирање проналази високе поремећаје тежине (секција 4.5). • У поређењу са пуним финитонирањем, ЛоРА је осетљивији на хиперпараметре, односно стопу учења, циљне модуле и ранг (у смањујућем редоследу; Сек. 2 Позадина 
 
 Овај документ је доступан на архиву под лиценцом CC BY 4.0 DEED. Ovaj papir je под лиценцом CC BY 4.0 DEED. Доступно у архиви Доступно у архиви

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Овај аудио је произведен на оригиналном језику приче!

ЛоРА учи мање и заборавља мање - да ли је то грешка или функција?

About Author

КОМЕНТАРИ

ХАНГ ТАГС

ОВАЈ ЧЛАНАК ЈЕ ПРЕДСТАВЉЕН У

Related Stories

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Building a website with React and Bulma

Sravana Kumar Reddy Yeruva’s Fusion Transformation Sets a New Standard in ERP Excellence

Scaling Web Testing with Automation: Srikanth Srinivas’s Digital Strategy Breakthrough

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Building a website with React and Bulma

Sravana Kumar Reddy Yeruva’s Fusion Transformation Sets a New Standard in ERP Excellence

Scaling Web Testing with Automation: Srikanth Srinivas’s Digital Strategy Breakthrough

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps