צפו: כלי של מיקרוסופט מנתח ומתמלל וידאו בזמן אמת – גם בעברית

כלי ה-Azure Video Analyzer החדש של מיקרוסופט, שפותח בישראל, זוכה לכמה שדרוגים – כולל תמיכה באחת מהשפות הבעייתיות ביותר

גם ההתפלספויות של אייל שני מתומללות בזמן אמת | מקור: מיקרוסופט מחקר ופיתוח ישראל

במאי 2017 הציגה מיקרוסופט בכנס המפתחים שלה את Video Indexer – כלי אנליטיקה לוידאו עבור משתמשי שירותי הענן שלה Azure. הכלי אפשר לאנדקס בזמן אמת סרטוני וידאו, לנתח את הפרצופים של כל המשתתפים, להבין מתי הם מדברים, על מה הם מדברים, לתייג את הנושאים הללו ולתמלל אותם בזמן אמת. השבוע, במסגרת כנס Ignite של החברה, הוא זכה לשידרוג וכולל לראשונה גם תמיכה בעברית.

30 מודלים של AI שמנתחים את הווידאו במקביל

ראשית, האינדקסר זכה השנה לשם חדש והפך לשם המאוד יצירתי Azure Video Analyzer for Media. הכלי מבית מיקרוסופט, שפותח אגב במרכז הפיתוח של מיקרוסופט בהרצליה, רץ בענן והוא בנוי כחלק מ-Azure Applied AI Services, הבנויה על שירותי Azure Media ו-Azure Cognitive Services.

“הכלי מאפשר לך לחלץ את התובנות מהסרטונים שלך עבור דגמי וידאו ואודיו של מדיה. כשאתה מעלה את הסרטונים שלך ל-Video Analyzer for Media, הוא מנתח את האלמנטים החזותיים ואת האודיו על ידי הפעלת מודלים מבוססי בינה מאכותית”, מסבירה בשיחה עם גיקטיים ענבל שגיב – ראש קבוצת המוצר של Video Analyzer במרכז ה-R&D של מיקרוסופט בישראל. בפועל, הכלי מנתח כל פריים שנראה על המסך ויכול לזהות דמויות ואנשים שמופיעים בו; מותגים שונים; דמויות מסרטי אנימציה, לתמלל בצורה מרשימה סרטונים, לתרגם אותם בזמן אמת, ולתייג אוטומטית מילות מפתח; לזהות נושאים מרכזיים בוידאו; לחלץ פריימים שהוא מזהה כ”חשובים”; לזהות אירועים שונים כמו פיצוץ, נביחות, מחיאות כפיים ועוד.

“מאחורי הקלעים אנחנו מריצים אלגוריתמיקה מאוד עשירה שמבוססת machine learning, כ-30 מודלים שונים של בינה מלאכותית רצים ומעבדים את הקבצים האלה, שומרים אותם בענן ובעצם מאפשרים לייצא מתוך קבצי אודיו או קבצי וידאו תובנות”, אומרת שגיב.

הוא מבין עברית עכשיו

החידוש המשמעותי של הכלי, לפחות מבחינתנו, הוא העובדה שהחל מהחודש הבא המשתמשים בו באז’ור יוכלו להזין לתוכו סרטונים בעברית. בסרטון שיצרו עבורנו במיקרוסופט (ונמצא ממש פה מעל הפסקה) אתם יכולים לראות איך הכלי מנתח בזמן אמת את סרטון גיוס העובדים. בין היתר הכלי מתייג את ארבעת שופטי “מאסטר שף”, מתמלל אותם ומראה בדיוק מתי כל אחד מהם מדבר. בנוסף ניתן לראות שהכלי יצר גם תגיות ומילות מפתח שעולות מהשיחה בין ארבעת השופטים.

כמו שאנחנו יודעים, בניגוד לאנגלית למשל, העברית מציבה לא מעט אתגרים למודלי שפה שונים. שגיב מספרת כי הצוות הישראלי נתן הכוונה צמודה מישראל, כדי לאפשר את התמיכה בשפת הקודש: “האתגרים סובבים סביב ההטיות הרבות שיש בעברית והשוני בזכר ונקבה, סימני הפיסוק והניקוד של השפה גם כן אינם פשוטים, וגם ההבחנה במספרים ‘חמישה’ לעומת ‘חמש’ והשירבוב של שפות אחרות בתוך עברית כמו ‘סבבה’ או ‘אהלן’ – כל אלו הפכו את משימת התמלול למורכבת יותר עבור כל מילה שאינה מופיעה במילון”, מספרת שגיב.

היא מוסיפה כי המוצר פותח פה בישראל לפני ארבע שנים כרעיון שצץ במוחו של אחד מהעובדים, ומשם הוא עבר אינקובציה – כמו תינוק מחשבתי – בתוך מרכז הפיתוח. העובד קיבל תקציב ומסגרת זמן לפיתוח של המוצר – ומשם בסופו של דבר נוצר Video Analyzer.

השוק המרכזי של המוצר הוא, שפותח כאן בארץ, הוא חברות המדיה: “כל ארגון המחזיק ספריות וארכיונים של וידאו וצריך לשלוף מידע במהירות וביעילות – יוכל להשתמש בכלי הזה. לדוגמה – המערכת תדע לומר מי הם הסלבז שהופיעו בסרט, מה הן מילות המפתח שהופיעו בסרט, מתי נשמע קול של פיצוץ? איזה לוקיישנים הוזכרו שם? וכך הלאה”.

היתרון המשמעותי הוא היכולת לשחרר כוח אדם אנושי, שאולי היה מקבל את המשימה של צפייה בשעות של תכנים כדי להוציא מהם מידע מסוים – כשבמקום זה אפשר לתת לכלי לעשות את העבודה ולעשות קראנץ’ לשעות של תכנים כדי להוציא מהם את התובנות. “במקום שיהיה אדם שיישב ויצפה בכל חומר הגלם של התוכנית, המערכת תדע לציין שב-01:47 דיברו על נושא כזה וכזה ולטייב את זמן הצפייה של אנשי ההפקה”.

כל הכתבות והעדכונים מעולם הטכנולוגיה וההייטק כל הכתבות והעדכונים מעולם הטכנולוגיה וההייטק מחכים לך עכשיו בערוץ גיקטיים בטלגרם

אושרי אלקסלסי

Your Friendly Neighborhood Geek. יש לכם סיפור טכנולוגי? דברו איתי: Oshry@geektime.co.il

הגב

11 תגובות על "צפו: כלי של מיקרוסופט מנתח ומתמלל וידאו בזמן אמת – גם בעברית"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
מיכאל
Guest

פשוט מעולה. זה יכול לעזור מאוד ללקויי שמיעה.
לגמרי מחכה שזה יזלוג למקומות אחרים כמו יוטיוב, כתוביות בזמן אמת במכשירי סמסונג למשל ועוד מקומות. (בעיקר בשביל העברית)

אילן
Guest

לא ראיתי עברית בגרסא החינמית https://www.videoindexer.ai/ מישהו יודע איך להפעיל?

chen
Guest

כלקוי שמיעה זה חלום שמתגשם????

נוגה
Guest

נשמע כאילו Gong בצרות

לירן
Guest

יש כזה גם לגוגל

yw1971 .
Guest

אבל רק למי שמעלה ביוטיוב

מישהו
Guest

כל מה שיש ביוטיוב יש ב GCP בתשלום.

אוק
Guest

אפשר לעלות ליוטוב ואז הוא מתמלל , ולקחת משם את הקובץ ולמחוק (:

בלשצר
Guest

כל הכבוד על הניתוח של הדמויות והחפצים, אבל אתם באמת רוצים להגיד לי שהסרטון שהוא בחר “לתמלל” זה סרטון *עם כתוביות בעברית*? זה כאילו בדיחה?

nope
Guest

צוות תותחים, סחתיין

יהיה
Guest

איך אפשר להשתמש בזה כבר?

wpDiscuz

תגיות לכתבה: