אני עשיתי Dall-E להפוך ציורים של ילדים לתמונות מציאותיות

A Personal Journey Through Childhood Drawing, Imagination, and the Magic of Generative AI

TL;DR: מה אם AI יכול לעשות יותר מאשר ליצור תמונות - מה אם זה יכול לדמיין?·E כדי להפוך ציורים קשים, ילדותיים - כולל אחד שצייר ילד אמיתי - לעבודות אמנות חיות ומפורטות לאורך הדרך, גיליתי כי AI אינו רק לחקות את היצירתיות האנושית; זה יכול לפעמים להרחיב את זה.

מזיהוי דפוסים ל"ההלוקינציות" הלא צפויות שמרגישות יותר כמו דמיון, המסע הזה חושף כיצד ה-Generative AI יכול להיות השותף היצירתי המפתיע ביותר מכולם - במיוחד עבור אלה שעדיין לומדים לצייר.

Where does imagination begin - and can a machine ever truly share in it?

ילדים לא לצייר כדי להרשים; הם לצייר כדי להביע את עצמם.התסריטים שלהם הם חריפים, אימפולסיביים, ולעתים קרובות בלתי נתפסים למבוגרים - אבל איכשהו להתפוצץ עם משמעות.

מה אם ה-Generative AI, כלי המבוסס על לוגיקה ונתונים, יוכל להיכנס לעולם העדין הזה של קווי עיפרון וחלומות שלא נאמרו?פירוש?

Why Do Kids Love to Draw?

הרבה ילדים אוהבים לצייר, זה אינטואיטיבי, יצירתי ונהדר, אבל הנה ההצלחה: רוב הילדים מחפשים שביעות רצון מיידית ושבח על המאמצים שלהם.

נסו להסביר לילד כי ציור פרח כפי שהם מדמיינים דורש שנים של מיומנות-בניית.

ילדים מסוימים מרוצים לחלוטין עם יצירותיהם האפסטרטגיות - הדמיון שלהם ממלא את הפערים בעיניים של מבוגרים, לעתים קרובות זה רק גמילה של קווים, אבל עבורם, זה ספינת רקטות, נסיכה, או יחידון במסתור.

אחרים, לעומת זאת, עשויים להרגיש מתוסכלים כאשר הציורים שלהם אינם מתאימים לתמונה בראשם, בדיוק כמו מבוגרים, ילדים מחזיקים עצמם בסטנדרטים שונים - וחלקם קריטיים יותר מאשר היינו מצפים.

Drawing Is a Superpower for Child Development

היתרונות של ציור לילדים מוכר באופן נרחב - ותומך מדעית.

קחו לדוגמההעבודהאוDr. Richard Jolley and Dr. Sarah Rose, מומחים לפיתוח ילדים מאוניברסיטת סטאפורדשייר. המחקר שלהם מקיף נקודות מבט קוגניטיביות, אסתטיות, חינוכיות ובין-תרבותיות.

מחקרים מראים כי השימוש בצייר כפעילות הוראה יכול להגדיל את ההבנה של הילדים בתחומים אחרים, כגון מדע".

מחקרים מצאו כי ילדים נותנים יותר מידע על אירוע שחוו בעבר כאשר מבקשים מהם לצייר עליו בזמן שהם מדברים עליו".

מחקרים מראים כי השימוש בצייר כפעילות הוראה יכול להגדיל את ההבנה של הילדים בתחומים אחרים, כגון מדע".

מחקרים מצאו כי ילדים נותנים יותר מידע על אירוע שחוו בעבר כאשר מבקשים מהם לצייר עליו בזמן שהם מדברים עליו".

כאשר חקרתי את הנושא הזה עוד יותר, מצאתי שפע של מחקרים דומים המאשרים כי ציור משפר את הזיכרון, ההבנה, ההתמקדות והביטוי הרגשי בילדים.

A Lightbulb Moment

רעיון אחד התעורר בראש שלי, שאלה אחת חזקה:

If drawing is both enjoyable and beneficial - but often frustrating for kids - can I make it more magical? Could I motivate children to draw more often and with greater satisfaction?

מה אם הייתי יכולה לעזור לילד שלי להיות אמניתמיידית?

זה כמעט נשמע טוב מכדי להיות נכון, אבל התשובה היא - כן, זה נכון.יכולתעשה את זה

Enter Generative AI: Magic With a Sketch

עם הרקע שלי בכלי AI גנרטורי כמודלהיהבנתי משהו כמעט מיד:

המודל צריך להיות מסוגל לתרגם ציור פשוט לתמונה באיכות גבוהה, מציאותית - אם הוא מוביל עם ההוראות הנכונות.

Why?מכיוון שהמודלים הללו נלמדו על קבוצות נתונים ענקיות, אשר לימדו אותם כיצד בני האדם תופסים צורות ומקבלים להם משמעות.

הדבר היחיד שחסר היה ההוראה הנכונה (כלומר, ההמלצה הנכונה).

My First Experiment - A Sunny Day

כדי להניח את הרעיון שלי למבחן, יצרתי ציור מהיר על ה-iPad שלי - אם כי עיפרון מסורתי נייר היו עובדים גם כן.

התסריט היה בכוונה אגרסיבי, לא צבוע, ואינו צבעוני - מאוד ברוח של ציור של ילד.

כדי להדריך את המודל, השתמשתי במדריך אחד - אחד שיהיה עקבי לאורך כל הניסוי:

“Generate a realistic image based on this sketch, placing each element exactly where it appears in the original drawing.”

התוצאות היו לא פחות מדהימות.

More Than a Copy

בואו נסתכל מקרוב על התוצאה כדי להבין מה עושה את זה כל כך מדהים.

כל אלמנט מהתסריט המקורי הוא לא רק נוכח בתמונה שנוצרה - אלא ממוקם עם דיוק מרשים בחלל.בדיוק כמו שביקשוהמודל לא רק זיהה את הרכיבים; הוא הכבד את המיקום והגודל שלהם, שמר את ההרכב כמעט בדיוק כפי שצייר.

כדי להדגים זאת טוב יותר, העליתי רשת שמדגישה את האיזון בין הציור לבין היציאה הסופית:

אבל בואו נלך עמוק יותר - כי DALL-E לא רק עשה את ההוראות, זהשיפורהם

הבית מכיל עכשיו חלון ודלת - פרטים שהשארתי בחוץ, אך תוספות טבעיות לחלוטין.המודל הבין באופן אינטואיטיבי מה "בית" צריך לכלול ולמלא את הריקנות.

למעשה, לכל הצבעים יש משמעות מושלמת: השמש היא צהובה, העננים לבנים, והקשת היא רב-צבעונית, בדיוק כפי שציפינו.

מה שבסופו של דבר לא היה רק תמונה שנוצרה על ידי AI - זה היה ציור יפה, עקבי, שנולד מתוך ציור גס.

עבור ילד, ייצור ציור ברמה זו יהיה קשה להפליא, ובכל זאת כאן זה - חי, מלא, וכן, DALL-E אפילו מצליח להישאר בתוך הקווים.

The Science Behind the Magic

DALL-E מסוגלת ליצור תמונה מציאותית מתוך תסריט גס, משום שהיא נלמדת על קבוצות נתונים ענקיות המכילות מיליוני תמונות ותיאורים טקסטים הקשורים אליהן.

באמצעות הדרכה זו, המודל למד לזהות דפוסים - לא רק איך אובייקטים נראים, אלא גם איך הם בדרך כלל מאורגנים ומתוארים על ידי בני אדם.

לכן, כאשר ניתנת לו תסריט, אפילו תסריט גלם, DALL-E יכולה להסיק מה הצורות מייצגות (שדה עם משולש בחלק העליון סביר להניח אומר "בית") ולהשתמש בידע שנלמד על מנת למלא את הפרטים החזותיים בצורה עקבית, מתאימה למקשר.

(למי שמעוניין לדעת כיצד DALL-E 3 פועל, אני מסתכל עמוק יותר על המכניקה של אימון מודל בהמאמר הקודם)

בואו ננסה להדגים את הזרם במוחו של מודל AI גנריטי כדי להסביר את התהליך עוד יותר:

בשלב זה, הייתי באמת מתרגש - ואני רוצה לדחוף את המודל עוד יותר.

My Second Experiment - Frosty the Snowman

הציור הבא היה קצת יותר מורכב, שכן הוא הציג רמז מעמיק: איש שלג. אלמנט יחיד זה מצביע על עונה ספציפית - חורף - אשר מוסיף שכבה נוספת של הפרשנות למודל.

התוצאה לא מאכזבת.

דלהי היה מסוגללהורדה הזמן של השנהזהו בחירה הגיונית ומקונקטואלית מדויקת, בהתחשב בכך שלג הוא דרישה בסיסית לבניית שלג.

בדיוק כמו בתסריט הקודם, המודל יצר בית מלא עם דלת, חלון, ושיח עבודה. איש השלג הובא לחיים עם שתי זרועות עץ, כובע, כובע, וציפורן. עץ עץ עץ, באופן טבעי אבק עם שלג, נכלל גם כן - עוד תוספת מעודכנת ומתאימה.

הפרטים הטובים יותר היו מכובדים: התמונה מכילה את המספר המדויק של עננים מהסרט המקורי.

עבור אלה ששילמו תשומת לב קרובה, היה תוספת בלתי צפויה אחת - פרח. מעניין, פרח זה דומה מאוד לאחד של היצירה הקודמת שלנו, אם כי עם שינוי צבע מצהוב ל אדום. בעוד זה לא היה חלק של הציור הנוכחי, זה לא היה שגיאה אקראית גם.

עם זאת, בתכנית הגדולה של הדברים, זה היה פגם קטן (או זה היה?) בתוצאת מדויקת ודמיונית באופן מרשים.

שאלה מעניינת הופיעה במהירות:מה אם הייתי מייצר את התמונה השנייה בחלון צ'אט חדש DALL-E -האם ניתן לשנות באופן יעיל את הקשר, כפי שהמוח שלנו עושה באופן טבעי בעת החלפת המוקד?

My Third Experiment - The Ultimate Challenge

עכשיו הגיע הזמן לאתגר האולטימטיבי: באמצעות ציור של ילד בחיים האמיתיים.

למרבה המזל, בתה של החבר הכי טוב שלי, נומי, הייתה שמחה לעזור - והפכה במהירות לסרט הבא על פי בקשתי.

אני מודה, הייתי קצת מודאגת.התמונה הייתה אסתטית ופתוחה, עם מעט בדרך של צורות בטון או צורות קונבנציונליות.היא באה לחלוטין מהדמיון של נאומי - דמויות אלה אינן קיימות בעולם האמיתי, ולכן המודל לא יכול לסמוך על דפוסים מוכרים שהוא ראה בהכשרה.זה היה שטח לא ידוע..

אם DALL-E תוכל לפרש את יצירתו של נאומי ולהביא את הדמויות הדמיוניות שלה לחיים, זה יהיה שום דבר מלבד קסם - רגע שבו הטכנולוגיה באמת פוגשת את היצירתיות של הילדות.

התוצאה מ- DALL·E עלתה על כל מה שהייתי יכול לדמיין:

המודל לא רק העביר את הצורות ואת תכונות הפנים של תסריט של נאומי - זההמהפךקווים לא ברורים, אבסורדיים לתוך דמויות חיות, ביטוי.הוא יצר משהו מכלום..

זה היה יצירה אמיתית: ביטוי חזותי של רעיון שהיה קיים בעבר רק בדמיון של נאומי, הדמויות האלה לא היו רלוונטיות, לא היו להם תקדים - רק זוהר של היצירתיות של ילד, שהובא עכשיו לחיים על ידי AI.

בעולם של ה-Generative AI, כאשר מודל ממציא משהו שלא נמסר באופן מפורש, אנו קוראים לזה לעתים קרובות "hallucinationהמונח נושא קונוטציה שלילית – המשמעות היא שגיאה, שיפוט שגוי, או הפרעה מכוונת המשתמש.

ניקח לדוגמה את הפרח הלא צפוי שהופיע בסצנה של איש השלג שלנו.טכנית, זה יכול להיות מסווג כגלולינציה קלה: פרט קטן, לא מבוקש שנכנס מהקשר הקודם.

אבל עם הציור של נומי, DALL-E יצרה משהו באמת מדהים - אמנות שהייתה מקורית ומבטאת - על ידיהלוצינציהזה לא היה עותק, זה לא היה התייחסות; זה היה דמיון.

זה מעלה שאלה עמוקה יותר:בהקשר הנכוןאולי מה שאנחנו מכנים הלוצינציה היא למעשה משהו אנושי יותר - כמודמיון?

A Final Reflection

מה שהתחיל כבדיקה פשוטה הפך למשהו מאוד מרגש: רגע שבו הטכנולוגיה נכנסה לדמיון של ילד - לא כדי להחליף אותו, אלא כדי לכבד אותו.

צפייה בקווים הארוכים של נומי הופכים לחיים, דמויות נשימה היה יותר מאשר רק מרשים - זה הרגיש קסום.

בעולם שבו ילדים עדיין לומדים כיצד להביע את מה שהם רואים ומרגישים, AI יכול לשמש כגשר בין דמיון למציאות, נותן צורה לחלומות גדולים מכדי שהידיים הקטנות יוכלו לצייר לבד.

אודותי

אני מריה פיטרברג - מומחה AI המוביל את צוות התוכנה Runtime ב Habana Labs (אינטל) ואמן חצי מקצועי עובד על מדיה מסורתית ודיגיטלית.