בראד פיט מדבר עברית: סטארטאפ ישראלי פיתח ”דיפ פייק” לקול

הסטארטאפ הישראלי deepdub פיתח טכנולוגיה שתאפשר לדבב סרטים, סדרות ומשחקים לשפות שונות תוך שמירה על גוון הקול של השחקנים המקוריים. הסוד: הרבה ML ולמידה עמוקה

מקור: deepdub

תוכן מדובב, תודה לאל, הוא לא משהו שאנחנו נתקלים בישראל ביום-יום, אלא אם כן זה בסרטי ילדים או פרסומות לשוקולד וסוכריות שדובבו ממש גרוע. אבל במדינות רבות בעולם כמו צרפת, ספרד או איטליה למשל, הדיבוב הוא חלק מהתרבות, ושירותי סטרימינג כמו נטפליקס או מפיצי סרטים שרוצים להנגיש את התכנים שלהם במדינות הללו נאלצים לדבב את כל השחקנים – כולל הכוכבים הגדולים – לשפות המקומיות. למעשה, לא פעם תושבים במדינות הללו לא מכירים או מזהים כלל את הקול של השחקן המקורי, גם אם מדובר בכוכב ענק.

עכשיו מציע סטארטאפ ישראלי, להשתמש ב-AI, כדי ליצור פסקול מדובב לשפה אחרת – שנשמע בדיוק כמו הדובר המקורי – ללא צורך במדובבים אנושים. אם תרצו, “דיפ פייק” לקול האנושי.

לשמוע את מורגן פרימן מדבר עברית

התוכנה שפיתחה deepdub הישראלית מאפשרת ליוצרי תוכן, כמו חברות הפקה למשל, להעביר תכנים משפה אחת לשפות אחרות על ידי שימוש בלמידה עמוקה (Deep Learning) בשלבים שונים של העברת המדיה משפה אחת לאחרת. כדי לשמר את החוויה המקורית, כלומר על קולו הייחודי של השחקן, הפלטפורמה לומדת את גוון הקול המקורי של השחקנים השונים וממירה אותו אחר-כך לשפת היעד. בשלב הראשוני מציעה המערכת תמיכה באנגלית, ספרדית, צרפתית וגרמנית.

בשיחה עם גיקטיים מספר אופיר קרקובסקי, מייסד שותף ומנכ״ל החברה, כי הפיתוח מצריך שילוב של טכנולוגיות שונות כמו מחקר מתקדם של מודלים לומדים, רובם מסוג רשתות נוירונים מורכבות (Deep Learning), עיבוד אותות, מידול גוון הקול של השחקנים, ביצוע Neural style transfer והבנת שפה טבעית (NLP). בין היתר נעזרת החברה, שלוקחת חלק בתוכנית NVIDIA Inception, בחומרה של NVIDIA כמו GPUs שהיא מייצרת, ופיתוחים תוכנתיים כמו Apex ל-PyTorch ו-CUDA. ב-deepdub מספרים כי הם עושים גם שימוש באימון מקבילי על על כמה מכונות בענן (Multi Node Training): “באמצעות השימוש בחומרה והתוכנה הזו, אנחנו מצליחים להגיע להאצה בסדרי גודל של פי 100, הן בתהליך המחקר ולימוד המכונה, והן מבחינת האיכות”, אומר קרקובסקי.

בין היתר הצליחה החברה כבר להדגים כיצד מורגן פרימן, השחקן האמריקאי שמזוהה כל-כך עם קולו העמוק והייחודי, מדבר ספרדית שוטפת. בחברה אף מתגאים כי הלקוח יוכל לבחור האם הוא רוצה לבחור ששחקן אמריקאי ידבר איטלקית רהוטה או איטלקית במבטא אמריקאי או אנגלית עם מבטא איטלקי. בסופו של דבר מתכננים בחברה שתהליך דיבוב של סדרה שלמה, שאורך כיום כ-3 חודשים, ייארך כשבועיים והעלות תהיה מזערית ביחס לתהליך הדיבוב כיום.


deepdub הוקמה על ידי אופיר קרקובסקי, שזכה באות הרמטכ”ל בגין “תרומה טכנולוגית יוצאת דופן” ואחיו, ניר קרקובסקי, שהיה ממייסדי תחום הסייבר בשב”כ והשתתף באקסלרטור Y Combinator. השניים מספרים שבתור חובבי סרטים וקולנוע, ולאחר ששוחחו עם מספר שחקנים בולטים בתעשייה, היה ברור שיש צורך אמיתי ומשמעותי לפתרון בנושא, ומכאן נסללה הדרך להקמת הסטארטאפ.

החברה שהוקמה ב-2019, היתה עד עכשיו במצב Stealth והספיקה כבר לגייס סיד. בין 25 העובדים שלה ניתן למנות חוקרי ML שיצאו מחברות כמו פייסבוק ומג’יק ליפ, ובוגרי יחידות טכנולוגיות במערכת הביטחון. לפני כשבוע הודיעה החברה על גיוסו כיועץ של קווין ריילי, לשעבר מנהל התוכן הראשי של HBO Max. ריילי הצטרף לאמיליאנו קלאמזוק, שהיה נשיא Fox Studios וערן איטם, ממייסדי Kaltura ו-ICQ.

 


כבר הצבעתם למועמדות ולמועמדים שלכם בטקס פרסי ה-GeekAwards?

אושרי אלקסלסי

Your Friendly Neighborhood Geek. יש לכם סיפור טכנולוגי? דברו איתי: Oshry@geektime.co.il

הגב

5 תגובות על "בראד פיט מדבר עברית: סטארטאפ ישראלי פיתח ”דיפ פייק” לקול"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
איציק
Guest

יפה. עדיין יש למצא פתרון לתנועות השפתיים

חסן
Guest

בכותרת: בארד פיט מדבר עברית. בכתבה: אין בראד פיט, אין עברית.
איכסוש פיכסוש

עידו
Guest

קליקבייט

מיקו
Guest

WOW XD! GOLD BABY GOLD
לוקחים קול מלבישים על סירי ואז משפצים טעויות בדרך
זה כנראה לוקח שבועות לאדם אחד אבל אכן מהפכה של ממש אם הם הראשונים בעולם אכן כבוד לישראל הWAZE של הנטפליק ואפל טיו דיסני וכו ועוד ועוד
מחכה ליום שכל אדם יוכל בלחיצת כפתור לתרגם אדם אחר במדינה זרה דרך מצלמת הטלפון בלייב.

אלף
Guest

שניה נפלתי מהכיסא
עוד כתבה מטעם המפורסם

wpDiscuz

תגיות לכתבה: