צפו: סטארטאפ ישראלי והסינמטק הוסיפו צבע לסרטון המוכר של הכרזת העצמאות

מהנדס ML ישראלי חבר לסינמטק ירושלים כדי לצבוע את אחד מהרגעים הגדולים בהיסטוריה הישראלית. כך הוא עשה את זה

הכרזת העצמאות הצבועה | באדיבות: ארכיון המדינה, סינמטק ירושלים וחברת Hailo

אין ספק שאחד מהרגעים המכוננים של ישראל הוא רגע הכרזת העצמאות על ידי דוד בן גוריון מיום ה’ באייר תש”ח, 14 במאי 1948. עתה, לכבוד יום העצמאות ה-73 של מדינת ישראל, חובר סטארטאפ ישראלי לסינמטק ירושלים, כדי לשדרג את הקטע שצולם על ידי נתן ולאה אקסלרוד, ולהפוך אותו לקצת יותר ריאליסטי.

ככה הפך בן גוריון משחור-לבן לצבעוני

סטארטאפ שבבי ה-AI למכשירי הקצה Hailo לקח את הסרטון של הכרזת העצמאות, שבו מודיע דוד בן גוריון על הקמת מדינת ישראל, והופך אותו מקטע מטושטש בשחור לבן לקטע צבעוני.

אורי אלמוג, מהנדס למידת מכונה ב-Hailo, מסביר בשיחה עם גיקטיים איך בכלל נולד הרעיון מאחורי הצביעה של קטע הוידאו האיקוני: “תחום התעניינות האישי שלי הוא צילום וציור, וחיבור ביניהם ובין בינה מלאכותית. כפועל יוצא, כבר קרה ששיפרתי איכות של תמונות של חברים לעבודה באמצעות אלגוריתמי בינה מלאכותית שיצרתי. בשיחה עם חבר לעבודה נולד הרעיון לשפר סרט ארכיוני בעל משמעות, ובמסגרת הזאת פנינו לסינמטק ירושלים לבחון את האפשרות לקבל את סרט הכרזת המדינה בשחור לבן, סרוק באיכות גבוהה, ובמטרה לשפר אותו בצורה מרשימה שתעשה שימוש בבינה המלאכותית”, מספר אלמוג.

ובאילו טכנולוגיות השתמשתם כדי להוציא את זה לפועל?

“הצביעה היא השלב הראשון, כיוון שהיא ממילא מורידה את הרזולוציה באופן מובנה, ואין לה צורך ברזולוציה גבוהה כדי לפעול. הפעלת הסופר רזולוציה היא השלב השני על מנת להגדיל חזרה (ואף יותר מכך) את הסרט. לטובת הצביעה בחרתי בפרויקט בקוד פתוח משנת 2019, שעושה שימוש ברשת נוירונים שאומנה במיוחד לצביעת וידאו – בניגוד לצביעת תמונות בודדות. ההבדל הוא בכך שהרשת מקפידה על עקביות בצביעת פריימים עוקבים בסרט, ובאופן כזה לא נוצר מצב בו החולצה שאדם לובש היא אדומה בפריים אחד וכחולה בפריים הבא, כפי שעשוי לקרות עם אלגוריתמים הצובעים תמונות בלי להשתמש בידע על הצבע של תמונות קודמות”.

אלמוג מסביר כי אלגוריתם הצביעה שבו השתמש הצריך הכנה מקדימה, שכללה את חלוקת הסרט לסצנות שבהן ההתרחשות אחידה יחסית, ושבסצנה אין שינוי קיצוני בסוג ובמספר האובייקטים המופיעים. בנוסף, הוא היה צריך לתת לאלגוריתם תמונת ייחוס צבעונית, הדומה מבחינת המאפיינים שלה לסצנה. כך למשל, לצורך הסצנה שבה מכריז דוד בן גוריון על הקמת המדינה, הוא חיפש תמונות צבע של אנשים בחליפות, עומדים או יושבים על במה.

לאחר מכן הריץ אלמוג את רשת הנוירונים על הסצנות השונות – בכל סצנה בחן מספר תמונות ייחוס, ובחר את התוצאות הטובות. “מאחר שהצביעה היא לרוב לא מושלמת, לקחתי את אחת מהתמונות שהרשת צבעה, תיקנתי ידנית והזנתי אותה כתמונת ייחוס, לסיבוב נוסף של צביעה. התהליך הצריך ניסוי ותעייה, ולאחר 2-4 חזרות בכל אחת מהסצנות, קיבלתי תוצאה שהייתי מרוצה ממנה”, אמר אלמוג.

לסיום הוא שיפר את הרזולוציה של כל קטע הווידאו הצבוע על ידי שימוש בגרסה של רשת הנוירונים SR ResNet, שאותה שיפר בעבר, ואימן אותה על מאגר תמונות ברזולוציה גבוהה הנקרא DIV2K. “בשנים האחרונות מודלי למידה עמוקה מצליחים להשיג תוצאות מרשימות במשימת סופר-רזולוציה, עקב יכולתם להתאים את עצמם למאפיינים ולסוג התמונות עליהן הם נדרשים לפעול. הזנתי לרשת באופן סדרתי את התמונות הצבעוניות, והיא הפיקה אותן מוגדלות פי 4 בכל מימד, ולאחר מכן השתמשתי בכלים פייתוניים פשוטים בשביל לאחד אותן חזרה לסרט”, הוסיף אלמוג.

מאזינים להכרזה, בצבע | מקור הקטע: הסרט “בא היום”, 1950 | באדיבות: ארכיון המדינה, סינמטק ירושלים וחברת Hailo

תודה ל-AI, ולאדם שלידה

זה נשמע טוב ויפה, אבל ככל הנראה שלא תוכלו לעשות זאת בכזאת קלות על המעבד המובנה שלכם. לדברי אלמוג מכיוון שמדובר ברשתות נוירונים מתקדמות, כדי לאפשר המרה של וידאו בזמן סביר, נדרש כוח עיבוד רב ויעיל למשימות למידה עמוקה, וניתן לבצע זאת ב-GPU בענן למשל. לדברי אלמוג הרצה של רשתות כגון אלו על מחשב אישי “יכולה להיות איטית ביותר ובכך תהליך ההמרה של דקה של וידאו יכולה לארוך עשרות דקות”.

בכל מקרה, ולמרות המודלים המתקדמים, לא היה מדובר בתהליך “שגר ושכח”: “אמנם מדובר באלגוריתם בינה מלאכותית חזק המיועד במיוחד לסרטים, אך עדיין הוא מצריך שיקול דעת אנושי בצורה של חלוקה לסצנות, בחירת תמונות ייחוס צבעוניות, ביצוע תיקונים ידניים נקודתיים וסיבוב נוסף של צביעה בהתאם לצורך. עם זאת, ברור שבעתיד תהליכים כאלה יהפכו גם הם להיות יותר ויותר אוטומטיים כפי שקרה באזורים אחרים בעולם הבינה המלאכותית”, אמר אלמוג.

פנקו את הטלגרם שלכם עם ערוץ הטכנולוגיה הגדול בארץ פנקו את הטלגרם שלכם עם ערוץ הטכנולוגיה הגדול בארץ הצטרפו לערוץ גיקטיים בטלגרם

לשאר הקטעים של ארכיון סינמטק ירושלים

אושרי אלקסלסי

Your Friendly Neighborhood Geek. יש לכם סיפור טכנולוגי? דברו איתי: Oshry@geektime.co.il

הגב

2 תגובות על "צפו: סטארטאפ ישראלי והסינמטק הוסיפו צבע לסרטון המוכר של הכרזת העצמאות"

avatar
Photo and Image Files
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
עודד
Guest

עשרות דקות עיבוד לשרת וידאו נשמע לא רע

משהו
Guest

מה לגבי הסינק של הדיבור עם השפתיים
לפרק סירטון לפרמיים זה משהו אחד . אבל להרכיב את הפרמיים בחזרה ולסנכרן את הפס קול עם התמונה
או יותר מדויק עם השפתיים זה מצריך עריכת וידיו .
לא הבנתי את הקטע עם החולצה האדומה והכחולה .
עם כל הכבוד לאורי אלמוג יש הבדל בין אדום לכחול .
ואני לא מתכוון בצבע חי אלא בגוניים של אפור
בעברית זה אומר שמבחינת ביטים זה מספר שונה
אבל יצא סירטון נחמד

wpDiscuz

תגיות לכתבה: