“Dall-E” uşaqların çizimlərini realist görüntülərə dönüştürdü

A Personal Journey Through Childhood Drawing, Imagination, and the Magic of Generative AI

“Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”ni” istifadə edib.·E. Doğrudan da, həqiqətən də, bir övladın çəkilişini daxildir – çirkin, uşaq kimi dizaynları canlı, ayrıntılı artefaklara dönüştürmək.

Bu yolculuk, görünüşə daha çox bənzəyəcək “hallucinasyonlar”a qədər, generativ AI-nin bütün bunların ən şaşırtıcı yaratıcı ortağı ola biləcəyini açıqlayır - özellikle çizim öyrənmək üçün.

Where does imagination begin - and can a machine ever truly share in it?

Uşaqlar izah etmək üçün çəkmirlər; onlar izah etmək üçün çəkirlər.

Xenerativ AI, logika və verilər üzərində yaradılmış bir alət olsa, o kırılgan pensiya dəlilləri və deyilməz rüyaların dünyasına daxil olsaydı?Düşünmək?

Why Do Kids Love to Draw?

Bir çox uşaqlar çizimdən sevirlər.Intuitiv, yaratıcı və xoşbəxtdir.Ancaq burada qapı var: Çoğu uşaq çabalarından anında xoşbəxtlik və övlad istəyir.

Uşaqlara bir çiçək çəkmək, düşünürlər ki, uzun illərdir işləmək mümkün deyil.

Bəziləri uşaqlar abstrakt yaradılışları ilə mükəmməldir - imajinasiyaları boşluqları doldurur. yetişkin gözlər üçün, bu sıklıkla yalnız bir dəlildir, lakin onlar üçün, bu, roket gəmisi, bir princess, ya da gizlənmiş bir birkilərdir.

Diğerləri isə, çizimləri zənnindəki görüntüyü eşidə bilmədikləri zaman çəkinə bilərlər.Bənzər yetişkinlər kimi, uşaqlar özlərini farklı standartlara tutarlar - və bəzilərimiz gözləməyəcəyimizdən daha şiddətli kritikalardır.

Drawing Is a Superpower for Child Development

Uşaqlar üçün çizimün faydaları yaygın olaraq tanınmışdır - və bilimlə təmin edilmişdir.

Misal olaraq,İşlərvəDr. Richard Jolley and Dr. Sarah RoseABŞ-ın “Staffordshire” Universiteti (Staffordshire Universiteti) və “Staffordshire” Universiteti (Staffordshire Universiteti) tərəfindən yaradılan “Staffordshire” Universiteti (Staffordshire Universiteti) və “Staffordshire” Universiteti (Staffordshire Universiteti) tərəfindən yaradılan “Staffordshire” Universiteti (Staffordshire Universiteti) və “Saffordshire” Universiteti (Saffordshire Universiteti) tərəfindən yaradılmış “Saffordshire” Universiteti (Saffordshire Universiteti) tərəfindən yaradılmış “Saffordshire” Universiteti (Saffordshire Universiteti).

Araşdırmalar göstərir ki, çizimlə öyrənmək, öyrənmək kimi, uşaqların bilim kimi digər alanlarda anlayışını artıra bilər”.

“Diktirmək də uşaqların xatirəsini yaxşılaşdırmağa kömək edə bilər.Gözəl araşdırmalar göstərir ki, uşaqlar bundan əvvəl yaşadığı bir olayla bağlı daha çox məlumat verirlər”.

Araşdırmalar göstərir ki, çizimlə öyrənmək, öyrənmək kimi, uşaqların bilim kimi digər alanlarda anlayışını artıra bilər”.

“Diktirmək də uşaqların xatirəsini yaxşılaşdırmağa kömək edə bilər.Gözəl araşdırmalar göstərir ki, uşaqlar bundan əvvəl yaşadığı bir olayla bağlı daha çox məlumat verirlər”.

Mən bu temayı daha da araşdırdığımda, çizimin uşaqlarda xatirəni, anlayışını, fokusunu və duygusal ifadəsini artırdığına dair bir çox bənzər araşdırmalar keşfetdim.

A Lightbulb Moment

Bu fikirlər mənim düşüncəmdə bir fikir yarandı, tək bir sual ortaya çıxdı:

If drawing is both enjoyable and beneficial - but often frustrating for kids - can I make it more magical? Could I motivate children to draw more often and with greater satisfaction?

Uşaqlarımın artist olmasına kömək edə bilərəm.İstirahət?

Bu, həqiqətən də çox yaxşıdır, amma cavab: Evet.MəşhurBəlkə

Enter Generative AI: Magic With a Sketch

Əsas səhifə » Gündəm » Gündəm » Gündəm » GündəmDərslərBir şeyləri anında anladım:

Modelin basit bir skiceyi yüksək qiymətli, realist bir görüntüyə çevirmək mümkün olmalıdır - doğru əmrlər ilə yönəldikdə.

Why?Çünki bu modellər, insanların şekilləri necə algılayacağını və onlara anlam verəcəyini öyrətən geniş datasetlər üzərində eğitildi.

Yalnız bir şey yox idi, doğru instruksiya (yani, doğru söhbət).

My First Experiment - A Sunny Day

Mənim fikirimi test etmək üçün, iPad-də sürətli bir skice yaratdım - lakin standart pensiya və kağız da işləyirdi.

Xatırladaq ki, bu fotoqrafiyanın çəkilişində, bu fotoqrafın çəkilişində, bu fotoqrafın çəkilişində, bu fotoqrafın çəkilişində, bu fotoqrafın çəkilişində, bu fotoqrafın çəkilişində, bu fotoqrafta, bu fotoqrafta, bu fotoqrafta, bu fotoqrafta, bu fotoqrafta, bu fotoqrafta, bu fotoqrafta, bu fotoqrafta, bu fotoqrafta, bu fotoqrafta, bu fotoqrafta, bu fotoqrafta, bu fotoqrafta var.

Modeli yönəltmək üçün, bütün eksperimentdə konsistent qalacaq olan tek bir prompt istifadə etdim:

“Generate a realistic image based on this sketch, placing each element exactly where it appears in the original drawing.”

Sonuçlar təəccüblü deyil.

More Than a Copy

İndi bu prosesə daha yaxından baxmalıyıq ki, bu prosesin nə olduğunu anlamalıyıq.

Orijinal skicdən hər bir element yalnız yaradılan görüntülərdə deyil - ancaq təəccüblü spatial həddi ilə yerləşdirilmişdir.İstədiyi kimiModel yalnız komponentləri tanımadı; onların yerləşdirilməsini və boyutlarını saydı, kompozisiyasını təxminən tam olaraq çəkildiyi kimi saxladı.

Bunu daha yaxşı izah etmək üçün, dizaynın və sonuncu çıxışı arasındakı düzəltməyi göstərən bir rütbəyə yerləşdirdim:

Amma daha da derinləşək - çünki DALL-E yalnız talimatları izləmədi,İstirahətOnların

Evdə artıq bir pencere və bir qapı var - ayrıntılar qoyduğum, lakin mükəmməl doğal əlavələr.

Belə ki, bütün rənglər tam anlamlıdır: günəş sarıdır, buludlar baldır, və şair çoxlu rəngdir, ancaq gözləyirdiklərimiz kimi.

Bizə gəldi ki, yalnız AI-yə yaradılmış bir görüntü deyildi - bu, çirkin bir dizayndan doğulan gözəl, qısa bir görüntü idi.

Bir uşaq üçün, bu seviyədə bir çizim istehsal etmək inanılmaz çətin olacaqdır.Və lakin burada o - canlı, tam, və evet, DALL-E hətta çizgilərin içində qalmaq qadağan edir.

The Science Behind the Magic

DALL-E, milyonlarca görüntüləri və bununla bağlı textual təsvirləri içərisində olan geniş məlumat setləri ilə öyrəndikdən sonra realist bir görüntü istehsal edə bilər.

Bu eğitimlə, model modelin görünüşü ilə bağlı deyil, insanlar tərəfindən tipik olaraq necə düzəldildiyi və tanımlandığını da tanımlamışdır.

Beləliklə, bir skice verildikdə, hətta bir çirkin bir skice verildikdə, DALL-E formaların nəyi nümayiş etdirdiyini (topda bir üçlü olan bir kvadrat, şübhəsiz ki, “ev” anlamına gelir) və görsellərin ayrıntılarını koherent, kontekstual olaraq uygun bir şəkildə doldurmaq üçün öyrəndiyi bilgiləri istifadə edə bilər.

(Dall-E 3 necə işlədiyini merak edənlər üçün, model öyrənmə prosesinin mekanikasına daha çox baxıram.Əvvəlki yazı)

Bu prosesin daha da genişləndirilməsi üçün generativ AI modelinin zəlzələyi izah etməyə çalışmalıyıq:

Bu zamanda, mən həqiqətən heyran oldum - və model daha da davam etdirmək istəyirdim.

My Second Experiment - Frosty the Snowman

Sonrakı dizayn bir az daha kompleks idi, çünkü bu, subtil kontekstual həddi gətirdi: bir kar adamı.Bu tək element, model üçün daha çox interpretasiya layerini artıran, spesifik bir meyvə - kəşf göstərdi.

Sonrakı xəbərHəqiqətən də hayal kırıklığına uğramadı.

“Dall-E” ilə bağlıGünün sonuncu vaxtıXatırladaq ki, “Snickers” və “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri, “Snickers” filmləri...

Əvvəllərki dizaynda olduğu kimi, model bir qapı, bir qapı, bir qapı və bir iş çamaşırı ilə tamamlanmış bir ev yaratdı. Snowman iki paltar kolu, bir şapka, bir şapka və bir karot burnusu ilə həyat gətirildi.

Daha kiçik detallar qəbul edildi: görüntü orijinal skicdən buludların tam sayını içərdi.

Xatırladaq ki, bu, bizim əvvəlki yaradılışımızdan olan bir çiçəyə çox bənzəyirdi, lakin sarıdan kırmızıya bir rəng dəyişdirdi.

Buna görə də, bu, bir neçə ildir ki, bu, bir neçə ildir ki, bir neçə ildir ki, bu, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir.

Bir müddət sonra bir sorğu ortaya çıxdı:Əgər ikinci görüntüyü yeni bir DALL-E chat pencerəsində xəlq etsəydim -Konteksti düzəltmək, fikirlərimizi dəyişdirməkdə özəlləşdirmək?

My Third Experiment - The Ultimate Challenge

Artıq son meydan zamanı idi: real həyatda olan bir uşaqın çizimini istifadə etmək.

Şükürlər olsun ki, mənim ən yaxşı dostumun qızı Naomi kömək etməyə sevindi - və mənim istədimə görə aşağıdaki dizaynı dərhal hazırladı.

Düşünürəm ki, mən bir az qorxudum. Çizgi abstrakt və açıq-aşkar idi, beton formalar və ya standart formalar kimi çox azdır. Bütün bunlar Naomi'nin imajinasiyasından gəlmişdi - bu karakterlər real dünyada yoxdur, bu yüzden model eğitimdə gördükləri tanıdık modellərə təslim olamazdı.Bu, açıq-aşkar qeydə alınıb.

Əgər DALL-E Naomi'nin yaradılışını tərcümə edər və onun imajlı karakterlərini həyatına gətirərsə, bu, heç bir şey deyil ki, sihirli ola bilər - texnologiya həqiqətən uşaqlıq yaratıcılığı ilə qarşılaşacaq bir vaxt.

“Dall·E”nin nəticəsi düşünə biləcəyim hər şeydən üstün idi:

Model yalnız Naomi'nin dizaynından görünən formaları və yüz xüsusiyyətlərini replik etmədi - bu daTransformasiyaAbstrakt, qürurlu, qürurlu karakterlərO, heç bir şeydən yaradılıb..

Bu, həqiqi yaradılış idi: əvvəlcə yalnız Naomi'nin imajinasiyasında var idiyanan bir fikrin vizual manifestasiyası.Bu karakterlər heç bir referensə, heç bir öncə yoxdur - ancaq bir uşaqın yaratıcılığının şimali, şimdi AI tərəfindən həyatına gətirilmişdir.

Xenerativ AI dünyasında, bir model açıq-aşkar vermədikləri bir şeyi işıqlandırdıqda, biz bunu sıklıkla “a” adlandırırıq.hallucinationBu termin negatif bir konnotasiya gətirir - yanlışlıq, yanlış hökm, ya da istifadəçinin niyyətindən uzaqlaşma anlamına gelir.

Təknik olaraq, bu, hafif halucinasiya olaraq təsvir edilə bilər: bir əvvəlki kontekstdən keçən kiçik, istəmədik detal.

Amma Naomi'nin çizimlə, DALL-E həqiqətən dəhşətli bir şey yaratdı - həm orijinal, həm də expressiv -hallucinasiyaBu, kopyalaşmaq deyil, referenz etmək deyil; bu, imajlaşdırmaq idi.

Bu isə daha çox soruşur:Doğru kontekstdə“Halucinasiya” adlandırdığımız həqiqətən də daha insani bir şeydir.Imaginasiya?

A Final Reflection

Bir test kimi başladığı şey çox heyranlıq verici bir şey oldu: texnologiya bir uşaqın imajinasiyasına girdiyi an - onu yerləşdirmək üçün deyil, ona layiq görülmək üçün.

Naomi'nin çirkin dəlilləri canlı, heyranlıqlı karakterlər kimi dəyişdirilməsini izləmək çox təəccüblü idi - sihirli hiss etdi.

Uşaqların göründüyü və hiss etdiyi şeyləri necə izah edə biləcəyini öyrənməkdə olan dünyada, AI imajinin və həqiqət arasında bir köhnə olaraq işləyə bilər, təkcə küçük əllərin çəkmək üçün çox böyük rüyaların formalaşdırılmasına imkan verə bilər.

Mənim haqqında

Mən Maria Piterbergəm - Habana Labs (Intel) Runtime proqramı qrupunu liderlik edən bir AI ekspert və yarım-profesional bir artist ki, yenilikçi və dijital medialarda işləyir.