מתנועה לשפה: כפפה שמתרגמת שפת סימנים

המכשיר החדש מורכב מכפפה, חיישנים, מדי תנועה, שלט וסמארטפון. יחד, כל זה יכול לתרגם משפת סימנים אמריקנית לדיבור שוטף. כמו בכל תוכנת תרגום, יש עוד אתגרים בדרך

כשאנחנו חושבים על דיבור, על שפה, אנחנו חושבים אוטומטית על הדדיות. מישהו אחד אומר משהו, מישהו שני מקשיב לו, ושניהם מבינים זה את זה. בעולמם של החרשים, זה כמעט תמיד יהיה חד צדדי. אם נדבר מספיק ברור הם יוכלו לקרוא שפתיים ולהבין מה אמרנו, אבל אנחנו, שלא מדברים שפת סימנים, לא נבין אותם. הם יכולים לסמן ולסמן, אנחנו פשוט לא נבין.

צילום מסך

בגלל זה לקבוצת סטודנטים מאוקראינה הגיע לזכות במקום הראשון בתחרות “גביע הדמיון” של מיקרוסופט, שנערכה השנה בסידני שבאוסטרליה. באמצעות כפפות שחורות, חיישנים מתוחכמים, מיקרו-שלט וסמארטפון, הסטודנטים בנו מערכת חכמה, “אינבל טוק” שמה, שמסוגלת לתרגם שפת סימנים לדיבור של ממש.

אתגרים רבים בדרך

הזוכים המאושרים יטוסו הביתה עם 25 אלף דולר ואפשרות להגיש מועמדות לקרנות נוספות של מיקרוסופט, ולהיעזר בה בהמשך, אבל זה לא העיקר. העיקר הוא שהמערכת שלהם תוכל לאפשר להמוני בני אדם ברחבי העולם לתקשר טוב יותר עם הסביבה, להשתלב טוב יותר בשוק העבודה, להגיע למיצוי עצמי גבוה יותר.

את הרעיון הם הגו כשניסו לתקשר עם חבר חירש. את המערכת עצמה הם ביססו על 11 חיישנים גמישים, שמונה חיישני מגע ומדי תנועה ומיקום, שהוטמעו בתוך הכפפות. כך יכולה המערכת לזהות היכן בחלל נמצאות הידיים, ולהעביר את המידע לשלט, שעושה שימוש בבלוטות’ על מנת לתקשר עם הסמארטפון. כעת, מתרגמת התוכנה את הסימן שנקלט לאות או למילה, ובאמצעות ה-API המוטבע בכל סמארטפון, המאפשר לקרוא טקסט בקול רם, מושמעת התוצאה.

עלות הייצור מוערכת כעת ב-75 דולרים, וככל הנראה תימכר ב-250. בשלב הראשוני המפתחים התמקדו בזיהוי פקודות איות בסיסיות שהתקבלו באמצעות אצבע בודדת, אך הכוונה היא להרחיב את התוכנה כך שתוכל לתרגם גם סימנים מורכבים יותר בשפת הסימנים האמריקנית. בנוסף, המשתמשים יוכלו להוסיף עוד ועוד סימנים למילון בו הם משתמשים.

עם זאת, הדרך עדיין טומנת בחובה לא מעט קשיים. למשל, המעבר מסימון באצבע לסימון ביד שלמה עשוי להיות בעייתי. זאת, מכיוון שלכל אדם יש מבנה יד שונה במקצת, ומכיוון שכמו שלכל אדם יש אינטונציה, כך כל דובר שפת סימנים מסמן קצת אחרת.

בעיה נוספת שתעמוד בפני המפתחים היא אותה בעיה שעומדת בפני כל מפתח שמוציא לשוק תוכנת תרגום. בדיוק כמו השפה הדבורה, שפת סימנים מורכבת ומכילה ביטויים קונטקסטואליים רבים. על תוכנת התרגום יהיה להתאים עצמה ולקלוט את הניואנסים הללו על מנת להצליח לתרגם כראוי. המשימה אפילו קשה יותר מתרגום שפות דבורות, שכן בשפת הסימנים התנועה עצמה מסמלת מנעד רחב של רגשות והקשרים, ועל התוכנה יהיה לפענח אותם.

נועה זהבי רז

נועה רז, בת 30. חיה באינטרנט מאז 1999, חובבת ג’אדג’טים אך לא יודעת מה עושים איתם, וכותבת, בעיקר על כלום.

הגב

Be the First to Comment!

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 
wpDiscuz

תגיות לכתבה: