Аўтар :
(1) Шамелеон Команда, FAIR на мета.
Author:
(1) Шамелеон Команда, FAIR на мета.
Левы стол
4 Ацэнкі людзей і выпрабаванні бяспекі, і 4.1 Прампеткі для ацэнкі
5 Бенчмаркавыя ацэнкі і 5.1 тэкст
7 Высновы, узнагароды, дапаможнікі і рэфералы
Appendix
B. Дадатковая інфармацыя пра ацэнкі людзей
Мы прадастаўляем Chameleon, сям'ю мікрамодальных мадэляў на аснове токена ранняга злучэння, якія могуць разумець і вырабляць малюнкі і тэкст у любым жалюзіным падзеі. Мы разлічваем стабільны навучальны падыход з пачатку, рэцэпт падыходу і архітэктурную параметрызацыю, прызначаную для ранняга злучэння, на аснове токена, мікрамодальных устаноў. Мадэлі ацэняюцца на шырокім спектре задач, у тым ліку візуальнай адказнасці на пытанні, малюнкаў, генерацыі тэксту, генерацыі малюнкаў і доўгіх форм мікрамодальных генерацый. Chameleon дэманструе шырокія і агульныя магчымасці, у
1 Уступленне
Неўзабаве мультымодальныя асноўныя мадэлі вельмі шырока прынятыя, але ўсё ж мадэлі розных модальнасцяў асобна, часта выкарыстоўваючы мадальнасці-спецыфічныя кодэкатары або дэкадатары. Гэта можа абмежаваць іх здольнасць інтэграваць інфармацыю праз мадальнасці і вырабляць мультымодальныя дакументы, якія могуць ўтрымліваць самастойныя сцэны малюнкаў і тэксту. У гэтай артыкуле, мы прадстаўляем Chameleon, сям'ю сумесных-модальных асноўных мадэляў, якія могуць генераваць і разважаць з сумешчанымі сцэнамі сваімі вопытнымі межамі тэкставага і малюнковага ўтрымлівання (Фігуры 2-4). Гэта дазваляе поўны мультымо
Наш уніфікаваны падыход выкарыстоўвае цалкам токен-базавыя прадстаўлення як для ілюстрацый, так і для тэкставых мадальнасцяў (Фактар 1). Квантызуючы малюнкі ў дыскрытныя токены, аналогічна словам у тэксту, мы можам прымяніць тую ж архітэктуру трансформатара да пасяджэнняў як для ілюстрацый, так і для тэкставых токенів, без патрэбы ў асобных ілюстрацый / тэкставых кодэктараў (Alayrac et al., 2022; Liu et al., 2023b; Laurençon et al., 2023) або дамам-спецыфічных дэкадатараў (Ramesh et al., 2022; Jin et al., 2023; Betker et al., 2023). Гэты ранні падыход з'я
Мы ўводзім новыя мадыфікацыі ў архітэктуры трансфарміравальнікаў, такія як стандартызацыя запыту-ключ і пераўтварэнне пластыкавых норм, якія, на наш погляд, важныя для стабільнага навучання ў супольна-модальным асяроддзі (Секцыя 2.3). Мы дакладна паказваем, як адаптаваць надзвычайныя падыходы, якія выкарыстоўваюцца для LLM з толькі тэкстам, да супольна-модальнага асяроддзі, дазваляючы цвёрдае параўнаньне ў галіне (Секцыя 3). З дапамогай гэтых тэхналогій, мы паспяхова навучылі Chameleon-34B на 5x колькасць токенаў, як Llama-2 - дазваляючы новыя супольныя-модальныя прыкладання
Асноўныя ацэнкі паказваюць, што Chameleon з'яўляецца шырокім мадэлем на розных заданнях. На візуальныя пытанні адказаў і малюнак падпісаў бенчмаркі, Chameleon-34B дасягае найбуйнейшых працэдур, выконваючы мадэлі, такія як Flamingo, IDEFICS і Llava-1.5 (Секцыя 5.2). У той жа час, ён падтрымлівае канкурэнтную прадукцыю на тэкставыя бенчмаркі, адпавядаючы мадэлі, такія як Mixtral 8x7B і Gemini-Pro на разумныя размовы і задачы разумення чытання (Секцыя 5.1).
Як выкарыстоўваць толькі статычныя, публічныя бенчмаркі для ацэнкі мадэлі працэдуры могуць быць абмежаванымі (Schaeffer, 2023), мы таксама праводзіць старанна распрацаваны эксперымент для ацэнкі людзей, вымяраючы якасць сумяшчальна-модальных доўгіх форм адказаў на адкрытых просьб.
Напрыклад, мы даем наступны ўклад:
Мы прадстаўляем Chameleon, сям'ю мікрамодальных мадэляў на аснове токена ранняга злучэння, якія могуць разглядаць і генеруюць змешчаныя малюнак-текст дакументы, усталяваючы новы бар для адкрытых мультымодальных мадэляў фундамента.
— Мы звярнуліся ў Фонд Прэзідэнта па падтрымцы культуры і мастацтва з просьбай выдзеліць фінансаванне для аднаўлення Крэўскага замка.
Варта адзначыць, што для ажыццяўлення работ па стварэнні Нацыянальнага інвентара нематэрыяльнай культурнай спадчыны наша краіна летась атрымала грант з адпаведнага фонду UNESCO.
Мы працуем з ільдом трэці год, і толькі зараз, здаецца, пачынаем разумець важныя моманты.
Кампанія мае самую вялікую долю ў кітайскіх і індыйскіх рынках, дзе ён з'яўляецца лідэрам на рынку.
Гэты дакумент даступны на архіве пад ліцэнзіяй CC BY 4.0 DEED.
Гэтая кніга ёсць
