Hierdie Open-Source AI lees die aarde soos ChatGPT lees teks

How a rocket scientist turned entrepreneur created the “ChatGPT for Earth data” using transformers and satellite imagery

Bruno Sánchez is 'n raketwetenskaplike met 'n iets afwykende trajektuur. 'n astrofisikus deur opleiding, gebruik hy die gereedskap van sy beroep - wiskunde en wetenskap - op die breedste moontlike skaal: die heelal.

Sánchez het 'n stint by die Wêreldbank gehad, waar hy as lid van interdissiplinêre span gehelp het om geospatiale data te verstaan.

Hierdie ervaring het 'n ander besef vir Sánchez gebring - datOns het so baie data oor die aardedat ons nie regtig weet hoe om dit te gebruik nie: “Ons weet wat die bome in die wêreld is. Ons weet wat die woude in die wêreld is.

So toe hy die geleentheid gekry het om dit alles in dieselfde datasentrum en in een werkbank te probeer saam te sit, het hy dit gekoop.

Sánchez het opgemerk dat die T in ChatGPT - dieTransformer– was 'n argitektuur wat lyk om groot te werk vir modaliteite soos teks, beelde en klank, maar niemand lyk om dit te gebruik vir aarde data.ClayHy is gebore

Clay: the ChatGPT of Earth data?

“Dit is orders van grootte vinniger, goedkoper, en beter as enigiets anders wat ons ooit gesien het, wat presies dieselfde ding is wat met teks en beelde en klank gebeur het. Dit is weer bewys dat hierdie T van ChatGPT, die transformer, 'n wonderlike menslike uitvinding is,” het Sánchez opgemerk, regtig opgewonde oor Clay.

“Dit is orders van grootte vinniger, goedkoper, en beter as enigiets anders wat ons ooit gesien het, wat presies dieselfde ding is wat met teks en beelde en klank gebeur het. Dit is weer bewys dat hierdie T van ChatGPT, die transformer, 'n wonderlike menslike uitvinding is,” het Sánchez opgemerk, regtig opgewonde oor Clay.

Wat is dus presies klei - wat doen dit, en hoe werk dit? Sánchez posisieer klei in abstrakte terme as 'n argitektuur. Dit is 'n prosessor wat enige soort beeld van die aarde (satelliet, vliegtuig of drone) neem en " verstaan" wat in die beeld is. Dit kan enige voorwerp identifiseer - van vliegtuie tot gewasse en van water tot boot, en dit kan tel hoeveel van hulle in 'n beeld is.

Alhoewel ClayGeïnspireer deur ChatGPTen gebruik die transformator argitektuur, noem dit die ChatGPT van Aarde data sal nie akkuraat wees vir 'n aantal redes.

'N Sleutelverskil is die tipe data waarop Clay opgelei is - beelde eerder as teks.

Die klei is nie op enige soort beeld opgelei nie, maar beelde van 'n baie spesifieke tipe: hoë-resolusie lugskotte van aarde wat deel uitmaak vanOpenbare domein dataSánchez het opgemerk dat dit deel is van die rede waarom hallusinasies, een van die mees uitgesproke probleme met transformer-gebaseerde modelle, is baie minder van 'n probleem met Clay.

Clay, soos ChatGPT en sy ilk, vertrou opBeperkings– Hoë-dimensionele numeriese verteenwoordigings van die data wat dit hanteer.Maar behalwe die data waarmee Clay werk, is die embeddings wat dit produseer en die manier waarop dit gebruik word, almal anders.

In teenstelling met sy eweknieë, op die oomblik interaksie met Clay behels nie 'n teks koppelvlak nie. Dit gaan nie eens deur Clay nie. In plaas daarvan, die Clay span moedig mense aan om die model te gebruik om insette te genereer, en dan werk direk met hierdie.

The power of embeddings

Soos Sánchez verduidelik het, het ClayDie masker van die auto-encoderDit beteken dat beelde nie net deur middel van hul ingebedde verteenwoordigings gecomprimeer word nie, maar dele van die beeld ook verwyder word.

Byvoorbeeld, as 'n beeld dele van 'n gesig bevat, beteken dit waarskynlik dat ander dele ook daar is.

Maskerde AutoEncoders gebruik encoders en decoders, en stel Clay in staat omSkale sonder menslike data etiketteOorspronklik was die idee om die Clay-fundamentaalmodel te train, en dan die dekoders net vir spesifieke take soos die tel van motors, byvoorbeeld.

Maar dan het die Clay-span besef hulle kan inbeddings skep wat universeel toepasbaar is. Dus genereer hulle inbeddings, en dan gebruik hulle die inbeddings om 'n decoder te skep, die encoder te skip. Die hoofmotiwiteit is dat dit antwoorde in millisekondes, nie in weke, kan kry.Vektor databasisDit moet werk, soos vir Sánchez:

“Stel jou voor dat ons 'n gebruiker het wat die sonpanele in Griekeland wil vind, en ons het ingebedings vir die hele Griekeland gemaak.

“Stel jou voor dat ons 'n gebruiker het wat die sonpanele in Griekeland wil vind, en ons het ingebedings vir die hele Griekeland gemaak.

Dan as iemand anders kom en iets anders wil vind, soos bote of konstruksie, word dieselfde embeddings gebruik vir daardie nuwe operasie.Dit beteken dat jy hulle net een keer moet skep.Dit is die krag van embeddings.Dit is universele voorbereiding, die meeste van die manier vir die meeste antwoorde. "

Dan as iemand anders kom en iets anders wil vind, soos bote of konstruksie, word dieselfde embeddings gebruik vir daardie nuwe operasie.Dit beteken dat jy hulle net een keer moet skep.Dit is die krag van embeddings.Dit is universele voorbereiding, die meeste van die manier vir die meeste antwoorde. "

Clay meets Plato

Die alomvattendheid van embeddings is 'n onderwerp wat baie belangstelling in die AI-gemeenskap veroorsaak het.die publikasie van 'n onbeheerde benadering wat enige embedding na en van 'n universele latente verteenwoordiging vertaal, d.w.z. 'n universele semantiese struktuur wat deur die Platoniese verteenwoordingshypotese voorspel word.

diePlatoniese verteenwoordiging hipotese'N groep navorsers van Cornell Universiteit het 'n sterker, konstruktiewe weergawe van hierdie hipotese vir teksmodelle voorgestel.

Wat die akkuraatheid betref, het Sánchez 'n paar empiriese bevindings gedeel, met die opmerking dat die span gekies het om op ander gebiede te fokus eerder as benchmarks. Clay embeddings, het hy opgemerk, doen die beste wanneer die voorwerp wat geïdentifiseer moet word, is die dominante voorwerp op die beeld.

Daarbenewens moet die embeddings periodiek herstel word om veranderinge te weerspieël wat op die oppervlak van die Aarde plaasvind - dinge soos natuurrampe of konstruksiewerk.Ergodiese.

Ergodic stelsels is stelsels waarin alle moontlike toestande op enige tyd teenwoordig is. Byvoorbeeld, as weens klimaatsverandering in Spanje sommige dele van Madrid in 'n woestyn verander, is dit iets wat die model nog nooit voorheen gesien het nie.

Sluit aan by die Orkestrate alle die dinge nuusbrief

Stories oor hoe Tegnologie, Data, AI en Media in mekaar vloei en ons lewens vorm.

Analise, essays, interviews en nuus. Mid-tot-lengte vorm, 1-3 keer per maand.

Volg hierhttps://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/

Multi-modality: Clay and text

Maar wat van teks? Sánchez het erken dat die vermoë om die krag van teksmodelle met die krag van Aarde-modelle te kombineer, 'n ander reeks moontlikhede sal ontbloot. Om klei multi-modal te maak, sal dit ook in staat stel om verhoudings te vind met behulp van teks semantiese ooreenkoms.

Die span werk aktief daarop, maar Sánchez het opgemerk dat teks data uitdagings bied wat Aarde data nie het nie, meestal met waarheidsgetrouwheid te doen.Die OpenStreetMaps.

Eerstens gebruik hulle klei om 'n embedding van 'n Aarde-beeld te produseer. Dan neem hulle dieselfde beeld en gebruik die OpenStreetMaps API om te vra vir etikette van dieselfde gebied. OpenStreetMaps reageer met karakteristieke soos 'n woestyn, 'n rivier of 'n parkeerterrein, en 'n teksmodel word gebruik om 'n embedding daarvan te skep.

Dan neem die span die 2 embeddings van hierdie plek - die een van klei en die een van die teksmodel - en hulle probeer uitvind hoe om hulle te pas. Die doel is om die verliese te verminder wanneer jy probeer om een van die ander te herleef of om ooreenkoms te vind. klei embeddings moet soortgelyk wees aan hul ooreenkoms teks embeddings, aangesien hulle dieselfde ding kodeer, selfs as die modaliteit anders is.

AI and environmental impact

Ten spyte van sy enthousiasme oor transformateurs, erken Sánchez dat hulle nie perfek is nie.Die belangrikste rede waarom die transformasie-argitektuur vir Clay gekies is, was dat die bedryf en navorsing hul gewig daarop geplaas het, dus is daar baie hulpbronne en kundigheid wat gebruik kan word.

"As ek van nul af moes kies en ek die befondsing gehad het om die wêreldbeweging van AI te dryf, sou ons miskien nie transformateurs gekies het nie, maar daardie besluit is nie in ons hande nie," het Sánchez gesê.

Die belangrikste nadele van transformateurs wat die Clay-span moes hanteer, het te doen met die hoeveelheid data en berekening wat nodig is om modelle te train, en hul sensitiwiteit.Die rekenaar is 'n probleemDit neem selfs meer data en berekening om goed aangepaste modelle te produseer, en die resultate is broos en oorspesialiseer.

Die Clay-span het begin met 'n bewys van konsep voor fondssameling om die uitgebreide opleiding te onderneem wat nodig was om die model te produseer. Tot dusver is daar slegs 2 iterasies van die Clay-model, en Sánchez wil die bedrag van opleiding wat nodig is, verminder - vandaar die gebruik van embeddings.

As gevolg van sy posisie by Microsoft se Planetary Computer, Sánchez weet goed hoe uiters veeleisende AI is in terme van elektrisiteit, water en ander hulpbronne.

Die idee, sê hy, is dat Clay oop is nie net in sy output nie, maar ook oor die manier waarop die span werk en die benadering.Die omgewingsvoetafdruk van AIDie aarde op twee maniere.

Eerstens, deur mense met soortgelyke doelwitte te bring om kragte te verenig, dus in plaas van meer modelle te opleiding, stel hulle saam rondom Clay. Tweedens, deur met mense te deel wat nog steeds hul eie ding wil doen, sodat hulle van Clay se ervaring kan leer en die hoeveelheid opleiding wat nodig is, kan verminder.

Working with Clay and LGND

Dit is alles goed en goed, maar wat is eintlik die beste manier vir mense om klei te gebruik? Dit is 'n oop vraag. Behalwe inbeddings en fine-tuning, wat kundigheid en hulpbronne vereis, en teks, wat eksperimenteel is, het die klei span ook 'n aansoek ontwikkel genaamdClay verken.

Jy klik op plekke, en dit laat jou toe om dinge te vind.Maar dan vra ons onsself - is dit 'n kaart omdat dit 'n kaart verdien of omdat ek gewoond is aan kaarte omdat ek in hierdie bedryf is en ek 'n kaart wil hê?

Jy klik op plekke, en dit laat jou toe om dinge te vind.Maar dan vra ons onsself - is dit 'n kaart omdat dit 'n kaart verdien of omdat ek gewoond is aan kaarte omdat ek in hierdie bedryf is en ek 'n kaart wil hê?

Ons dink miskien is die manier om die nut van Clay te maksimeer nie om 'n kaart te wees nie. Miskien is dit ook 'n chat-interface. Miskien is dit net 'n kolom op 'n spreadsheet.

Ons dink miskien is die manier om die nut van Clay te maksimeer nie om 'n kaart te wees nie. Miskien is dit ook 'n chat-interface. Miskien is dit net 'n kolom op 'n spreadsheet.

Sánchez ondersoek ook maniere om dienste te verskaf en produkte rondom Clay te ontwikkel deur middel vandie, 'n start-up wat hy in 2024 gestig het.Dit is vroeë dae, maar die maatskappy het reeds 'n paar betalende kliënte en sluit nou 'n seedronde van finansiering.

"Die belangrikste ding is dat ons 'n duidelike idee het van wat die diens is, maar terselfdertyd is ons gesond om nie te weet wat die produk is nie.

"Die belangrikste ding is dat ons 'n duidelike idee het van wat die diens is, maar terselfdertyd is ons gesond om nie te weet wat die produk is nie.

Ons is nie 'n geospatiale maatskappy nie, ons is 'n antwoorde maatskappy en ons grootste risiko is om 'n geospatiale maatskappy te word waarvan daar baie is," het Sánchez opgemerk.

Ons is nie 'n geospatiale maatskappy nie, ons is 'n antwoorde maatskappy en ons grootste risiko is om 'n geospatiale maatskappy te word waarvan daar baie is," het Sánchez opgemerk.

Going all in

Openheid is 'n sleutelthema vir Clay en LGND, aangesien Sánchez oop is vir beide vennootskappe en om ander modelle as Clay te gebruik.

“Miskien is die waarde dat dit oopbron is.Miskien is die waarde dat dit offline is.Ons wed dat daar iets daar is.Miskien is daar nie.Miskien is ons verkeerd en miskien is embeddings nie.

“Miskien is die waarde dat dit oopbron is.Miskien is die waarde dat dit offline is.Ons wed dat daar iets daar is.Miskien is daar nie.Miskien is ons verkeerd en miskien is embeddings nie.

Maar as dit is, of in die mate dat dit is, glo ek sterk dat dit soveel waarde sal ontbloot aan soveel kwessies, sosiale, ekonomiese, omgewings-, en ook beleggingsoos.

Maar as dit is, of in die mate dat dit is, glo ek sterk dat dit soveel waarde sal ontbloot aan soveel kwessies, sosiale, ekonomiese, omgewings-, en ook beleggingsoos.

Daar is so baie dinge wat sin maak daaroor, dat ek alles in gaan.En ek sal liewer verkeerd wees maar probeer het, as om te wag om 'n tegnologie te sien wat my honderd persent verseker dat dit sal werk, "is hoe Sánchez die filosofie agter Clay opsom.

Daar is so baie dinge wat sin maak daaroor, dat ek alles in gaan.En ek sal liewer verkeerd wees maar probeer het, as om te wag om 'n tegnologie te sien wat my honderd persent verseker dat dit sal werk, "is hoe Sánchez die filosofie agter Clay opsom.

Sluit aan by die Orkestrate alle die dinge nuusbrief

Stories oor hoe Tegnologie, Data, AI en Media in mekaar vloei en ons lewens vorm.

Analise, essays, interviews en nuus. Mid-tot-lengte vorm, 1-3 keer per maand.

Volg hierhttps://linkeddataorchestration.com/orchestrate-all-the-things/newsletter/