I Made Dall-E transformă schițele copiilor în imagini realiste

A Personal Journey Through Childhood Drawing, Imagination, and the Magic of Generative AI

TL;DR: Ce-ar fi dacă AI ar putea face mai mult decât să genereze imagini - ce-ar fi dacă ar putea imagina?·E pentru a transforma schițe brutale, asemănătoare copiilor - inclusiv una desenată de un copil real - în opere de artă vii și detaliate.

De la recunoașterea tiparelor la "hallucinații" neașteptate care se simt mai mult ca imaginația, această călătorie dezvăluie modul în care AI generativă ar putea deveni cel mai surprinzător partener creativ din toate - mai ales pentru cei care încă învață să deseneze.

Where does imagination begin - and can a machine ever truly share in it?

Copiii nu desenează pentru a impresiona; ei desenează pentru a exprima. schițele lor sunt brute, impulsive și adesea indescriptibile pentru adulți - dar cumva explodând cu semnificație.

Ce-ar fi dacă AI generativă, un instrument construit pe logică și date, ar putea intra în acea lume fragilă a liniilor de creion și a viselor nespuse?însemna?

Why Do Kids Love to Draw?

O mulțime de copii iubesc desenul.Este intuitiv, creativ și distractiv.Dar iată captura: majoritatea copiilor tânjesc după satisfacție instantanee și laude pentru eforturile lor.

Încercați să explicați unui copil că desenarea unei flori așa cum își imaginează necesită ani de dezvoltare a abilităților.

Unii copii sunt perfect mulțumiți de creațiile lor abstracte - imaginația lor umple golurile.Pentru ochii adulților, este adesea doar o grămadă de linii, dar pentru ei, este o navă de rachete, o prințesă sau un unicorn deghizat.

Alții, totuși, se pot simți descurajați atunci când desenele lor nu se potrivesc cu imaginea din mintea lor. La fel ca adulții, copiii se țin de standarde diferite - și unii sunt critici mai dure decât ne-am aștepta.

Drawing Is a Superpower for Child Development

Beneficiile desenului pentru copii sunt recunoscute pe scară largă - și susținute științific.

Să luăm, de exemplu,LucrareadeDr. Richard Jolley and Dr. Sarah Rose, experți în dezvoltarea copilului de la Universitatea Staffordshire. Cercetarea lor cuprinde perspective cognitive, estetice, educaționale și interculturale. În unul dintre articolele lor publicate, ei scriu:

Cercetările arată că utilizarea desenului ca activitate didactică poate crește înțelegerea copiilor în alte domenii, cum ar fi știința.

Cercetările au constatat că copiii dau mai multe informații despre un eveniment experimentat anterior atunci când li se cere să deseneze despre el în timp ce vorbesc despre el.

Cercetările arată că utilizarea desenului ca activitate didactică poate crește înțelegerea copiilor în alte domenii, cum ar fi știința.

Cercetările au constatat că copiii dau mai multe informații despre un eveniment experimentat anterior atunci când li se cere să deseneze despre el în timp ce vorbesc despre el.

Pe măsură ce am explorat mai mult acest subiect, am descoperit o mulțime de studii similare care confirmă faptul că desenul îmbunătățește memoria, înțelegerea, concentrarea și expresia emoțională la copii.

A Lightbulb Moment

Aceste perspective mi-au stârnit o idee în minte.A apărut o singură întrebare puternică:

If drawing is both enjoyable and beneficial - but often frustrating for kids - can I make it more magical? Could I motivate children to draw more often and with greater satisfaction?

Ce-ar fi dacă mi-aș putea ajuta copilul să devină artistinstantaneu?

Sună prea bine ca să fie adevărat, dar răspunsul este: da.poatesă fie făcută.

Enter Generative AI: Magic With a Sketch

Cu experiența mea în generarea de instrumente AI cum ar fiDăncilăAm observat ceva aproape instantaneu:

Modelul ar trebui să poată traduce o schiță simplă într-o imagine de înaltă calitate, realistă - dacă este ghidat cu instrucțiunile corecte.

Why?Pentru că aceste modele au fost instruite pe mari seturi de date care le-au învățat cum percep oamenii formele și le atribuie sens.

Singurul lucru care lipsea era instrucțiunea corectă (adică promptul corect).

My First Experiment - A Sunny Day

Pentru a-mi pune ideea la încercare, am creat o schiță rapidă pe iPad - deși creionul și hârtia tradiționale ar fi funcționat la fel de bine.

Schița a fost în mod intenționat aspră, nepolitizată și incoloră - foarte mult în spiritul desenului unui copil.În timp ce această versiune a fost desenată de mine digital, a imitat tipul de ieșire spontană, imaginativă pe care o puteți vedea de la un copil mic.

Pentru a ghida modelul, am folosit o singură promptă - una care ar rămâne consecventă pe tot parcursul experimentului:

“Generate a realistic image based on this sketch, placing each element exactly where it appears in the original drawing.”

Rezultatele au fost nimic mai puţin uimitoare.

More Than a Copy

Să aruncăm o privire mai atentă la rezultat pentru a înțelege ce o face atât de remarcabilă.

Fiecare element din schița originală este prezent nu numai în imaginea generată, ci și poziționat cu o precizie spațială impresionantă.Aşa cum s-a cerutModelul nu a recunoscut doar componentele; a respectat amplasarea și dimensiunea acestora, păstrând compoziția aproape exact așa cum a fost desenată.

Pentru a ilustra mai bine acest lucru, am acoperit o grilă care evidențiază alinierea dintre schiță și rezultatul final:

Dar haideți să mergem și mai adânc – pentru că DALL-E nu a urmat doar instrucțiunile, ci aÎmbunătățitălor .

Casa dispune acum de o fereastră și o ușă - detalii pe care le-am lăsat în urmă, totuși completări perfect naturale. Modelul a înțeles intuitiv ce ar trebui să includă o „casă” și a umplut golurile.

De asemenea, a introdus un cer albastru și iarbă verde - alegeri clasice, logice.De fapt, toate culorile au sens perfect: soarele este galben, norii sunt albi, iar curcubeul este multicolor, așa cum ne-am aștepta.

Ceea ce am ajuns nu a fost doar o imagine generată de AI - a fost o pictură frumoasă, coerentă, născută dintr-o schiță brută.

Pentru un copil, producerea unui desen la acest nivel ar fi incredibil de dificilă.Și totuși aici este - viu, complet, și da, DALL-E chiar reușește să rămână în linie.

The Science Behind the Magic

DALL-E este capabil să genereze o imagine realistă dintr-o schiță brută, deoarece a fost instruit pe seturi de date vaste care conțin milioane de imagini și descrierile lor textuale asociate.

Prin această pregătire, modelul a învățat să recunoască tiparele - nu numai în modul în care obiectele arată, ci și în modul în care acestea sunt aranjate și descrise de oameni.

Deci, atunci când i se dă o schiță, chiar și una brută, DALL-E poate deduce ce reprezintă formele (un pătrat cu un triunghi în partea de sus înseamnă probabil "casa") și folosește cunoștințele dobândite pentru a umple detaliile vizuale într-un mod coerent, adecvat din punct de vedere contextual.

(Pentru cei curioși de modul în care funcționează DALL-E 3, merg mai adânc în mecanica unui antrenament de model înArticolul meu anterior)

Să încercăm să ilustrăm fluxul din mintea unui model de AI generativ pentru a explica procesul și mai mult:

În acest moment, am fost cu adevărat entuziasmat - și dornic să împing modelul și mai departe.

My Second Experiment - Frosty the Snowman

Următorul schiț a fost puțin mai complex, deoarece a introdus un indiciu contextual subtil: un om de zăpadă. Acest singur element sugerează un sezon specific - iarna - care adaugă un strat suplimentar de interpretare pentru model.

Rezultatul nu a dezamăgit.

Dall-E a fost capabil săIncepe timpul anuluiEste o alegere logică și contextual precisă, având în vedere că zăpada este o cerință fundamentală pentru construirea unui om de zăpadă.

La fel ca în schița anterioară, modelul a generat o casă completă cu o ușă, o fereastră și un șemineu de lucru. Omul de zăpadă a fost adus la viață cu două brațe, un șarpe, o pălărie și un nas de morcov. A fost inclus și un pin, în mod natural praf cu zăpadă - o altă adăugare atentă și potrivită.

Au fost respectate și detalii mai fine: imaginea conținea numărul exact de nori din schița originală.

Pentru cei care au acordat o atenție deosebită, a existat o adăugare neașteptată - o floare. Interesant, această floare seamănă foarte mult cu una din creația noastră anterioară, deși cu o schimbare de culoare de la galben la roșu. Deși nu a făcut parte din schița actuală, nu a fost nici o eroare aleatorie.

Cu toate acestea, în marea schemă a lucrurilor, aceasta a fost o defectă minoră (sau a fost?) într-o ieșire altfel impresionant de precisă și imaginativă.

O întrebare intrigantă a apărut repede:Dacă aș fi generat a doua imagine într-o nouă fereastră de chat DALL-E - effectively resetting the context, the way our minds naturally do when switching focus?

My Third Experiment - The Ultimate Challenge

Acum, a venit timpul pentru provocarea finală: utilizarea desenului unui copil din viața reală.

Din fericire, fiica celui mai bun prieten al meu, Naomi, a fost fericită să ajute - și a produs rapid următorul schiț la cererea mea.

Recunosc, am fost un pic îngrijorat. Desenul a fost abstract și deschis, cu puțin în calea formelor de beton sau a formelor convenționale. A venit în întregime din imaginația lui Naomi - acești caractere nu există în lumea reală, așa că modelul nu s-a putut baza pe modele familiare pe care le-a văzut în formare.A fost un teritoriu necunoscut.

Dacă DALL-E ar putea interpreta creația lui Naomi și ar aduce la viață personajele ei imaginare, ar fi nimic mai puțin magic - un moment în care tehnologia întâlnește cu adevărat creativitatea copilăriei.

Rezultatul de la DALL·E a depășit tot ce mi-am putut imagina:

Modelul nu numai că a replicat formele și trăsăturile feței de la schița lui Naomi -transformatălinii vagi, abstracte în personaje vii, expresive.El a creat ceva din nimic.

Aceasta a fost o adevărată creație: o manifestare vizuală a unei idei care a existat anterior numai în imaginația lui Naomi. Aceste personaje nu aveau nicio referință, niciun precedent - doar scânteia creativității unui copil, acum adusă la viață de AI.

În lumea inteligenței artificiale generative, atunci când un model inventează ceva care nu a fost furnizat în mod explicit, adesea îl numim "un model".hallucinationTermenul poartă o conotație negativă - implicând eroare, judecată greșită sau abatere de la intenția utilizatorului.

Tehnic, aceasta ar putea fi clasificată ca o halucinație ușoară: un mic detaliu nedorit care a izbucnit dintr-un context anterior.

Dar cu desenul lui Naomi, DALL-E a creat ceva cu adevărat remarcabil - artă care a fost atât originală, cât și expresivă - prinhalucinațiiNu a fost copierea, nu a fost referențierea; a fost imaginația.

Aceasta ridică o întrebare mai profundă:În contextul potrivitpoate ceea ce numim halucinaţii să fie de fapt ceva mai uman – cum ar fiImaginație?

A Final Reflection

Ceea ce a început ca un simplu test a devenit ceva profund emoționant: un moment în care tehnologia a intrat în imaginația unui copil - nu pentru a o înlocui, ci pentru a o onora.

Urmărind liniile aspre ale lui Naomi transformându-se în personaje vii, respirație a fost mai mult decât impresionant - sa simțit magic.

Într-o lume în care copiii încă învață să exprime ceea ce văd și simt, AI poate servi ca o punte între imaginație și realitate, dând formă viselor prea mari pentru mâinile mici să deseneze singure.

Despre mine

Sunt Maria Piterberg - un expert AI care conduce echipa de software Runtime de la Habana Labs (Intel) și un artist semi-profesionist care lucrează pe medii tradiționale și digitale. mă specializez în sisteme de formare AI la scară largă, inclusiv biblioteci de comunicare (HCCL) și optimizarea timpului de rulare.