7658204725 5 דברים שחשוב שתדעו על Deep Learning | גיקטיים

סוכן חכם
אישי ודיסקרטי

לוח משרות ההיי-טק
והטכנולוגיה של ישראל.

רוצים לדעת על משרות חדשות שמתאימות לכם?
תנו לנו לעבוד בשבילכם.
במקום לחפש משרות, קבלו אותן למייל ראשונים.

תודה רבה,
מעכשיו הסוכן האישי שלנו עובד בשבילך. בהצלחה:)
ההרשמה בוצעה בהצלחה
*הרשמה מאשרת לנו את תנאי השימוש
אני מאשר קבלת חומר פרסומי מגיקטיים וידוע לי כי באפשרותי לבקש הסרה מרשימת התפוצה בכל עת

5 דברים שחשוב שתדעו על Deep Learning

ההשראה המרכזית ללמידה עמוקה מגיעה ממבנה המוח. הנה 5 דברים חשובים שכדאי שתכירו על התחום שצובר פופולאריות בעולם הטכנולוגי

deep getty images

מאת ליאור כהן

אין ספק כי אחד המושגים המדוברים בשנה האחרונה בתעשיית ההיי-טק הוא Deep Learning (למידה עמוקה). מושג המתמקד ביכולת של מחשבים לחקות תהליכים שקורים במוח האנושי, כמו זיהוי דיבור, פענוח תמונה או ניתוח טקסט. חברות וסאטרטאפים רבים עושים שימוש תדיר במונח זה. אז רגע לפני שאתם צוללים לשם, הנה חמישה דברים שחשוב מאוד לדעת:

1. Deep Learning זה לא פתרון קסם

Deep Learning או בקיצור DL הינו תחום מאוד רחב ומורכב להבנה. נהוג להמשיל אותו לתהליך הלימוד המתרחש במוח האנושי. כמו במוח, גם ב-DL נעשה שימוש ברשתות נוירונים. למעשה, רשתות הנוירונים המלאכותיות מנסות לחקות את פעילות המוח. תינוק בן מספר חודשים לומד לזהות תכנים ויזואליים על ידי צפייה בדוגמאות ותיוג המגיע מהסובבים אותו. כך לאורך זמן, הוא בעצם מבין שלגבר יש בדרך כלל שיער קצר לעומת נקבה שלה יש בדרך כלל שיער ארוך ופנים עדינות יותר. עם הזמן והעיבוד של עוד ועוד דוגמאות, הוא לומד להבחין בפרטים דקים יותר המבדילים בין זכר לנקבה.

בעקרון, הנלמד נכון לגבי הבנת כלל התכנים הויזואליים בשלב הילדות בכלל. בסופו של דבר, אדם בוגר מסוגל להבין תכנים ויזואליים בהתאם לתהליך ה״אימון״ שעבר בחייו. קרי, אם ראה הרבה דוגמאות של מגוון רחב של ציפורים, ידע לתייג אותן נכון. לעומתו, אדם שראה מגוון מצומצם, יהיה בעל יכולת מוגבלת לסווג ציפורים.

אחד הקשיים המרכזיים בלימוד רשת בטכניקה של DL, הוא לספק אוסף דוגמאות איכותי וגדול ככל הניתן. למעשה זה אחד האתגרים המרכזיים באימון רשתות נוירונים. קושי נוסף, הוא ברמה הבסיסית להחליט מה המודל אמור להבין ומה לא. למשל, יש הרבה מאוד תכנים ויזואליים שנראים דומה. למשל, כלב מסוג לברדור דומה במידה מסוימת לגולדן רטריוור. השאלה היא האם נחוץ להבדיל בניהם או שניתן להסתפק בהבנה של משהו כללי יחסית כמו כלב ציד. כדוגמא נוספת, ניתן לחשוב על לימוד של קטגוריה כמו אל כוס. מכיוון שיש הרבה מאוד סוגים של כוסות שמאוד נבדלים אחד מהשני במראה ובצבע, יהיה מאוד קשה ללמד את המודל מה זה כוס ונצטרך לפצל את הקטגוריה לכוס יין, כוס בירה, ספל וכדומה. חשוב מאוד לחשוב על הסיווג כבר בשלבים ההתחלתיים מכיוון שלכל החלטה הקשורה למה מלמדים ובאיזה סט אימון משתמשים, יש השלכה מרחיקת לכת על רמת הדיוק בפרט ועל הביצועים של המודל בכלל.

2. אין צורך ולא כדאי להתחיל מאפס

אפשר להתבסס על Frameworks קיימים. העולם של DL מתפתח במהירות מסחררת ויש מגוון רחב של פלטפורמות ותשתיות המשמשות לאימון מודלים בטכניקה של DL. רוב הכלים בהם ניתן להשתמש זמינים חינמית והתיעוד הוא יחסית מלא ומקיף. כ-Frameworks מרכזיים ניתן למנות את Caffe, Theano, TensorFlow של גוגל ועוד. נקודה חיובית נוספת היא שגם האקדמיה וגם התעשייה משתמשים באותם כלים כך שניתן בקלות לבדוק ולהשתמש בתוצרים המגיעים מהאקדמיה.

3. GPU עדיף על CPU

אימון של מודל נוירונים היא פעולה מאד אינטנסיבית מבחינת משאבי החומרה הנדרשים. מדובר בעיקר על כוח עיבוד עצום הנדרש לבצע איטרציות על איטרציות בכדי לעדכן את המודל בהתאם לדוגמאות עליהן הוא עובד. החישובים המתמטיים המתרחשים בשלב האימון, הם פשוטים יחסית אך יש כמות אדירה של חישובים פשוטים שכאלה. יחד עם זאת, ההבדל בין CPU ל-GPU הוא בעיקר בכמות ובחוזק המעבדים. ל–CPU יש בדרך כלל מעט (במקרה הטוב כמה עשרות) מעבדים חזקים לעומת GPU שלו יש המון (אלפים) מעבדים יחסית חלשים. מסיבה זאת, המקבול של תהליך האימון על גבי GPU הוא אופטימאלי יותר. רק בכדי לסבר את האוזן, אימון שלוקח על גבי GPU כ-5 ימים יכול לקחת חודשים על גבי CPU. הבשורות הרעות הן ש-GPU זה דבר יקר. GPU בעל אלפי יחידות עיבוד יכול להגיע לעלות של אלפי דולרים רק לכרטיס המסך. לעיתים, אף יש צורך בשרתים ייעודיים שרק עליהם ניתן להתקין את הכרטיס הגרפי. זה כמובן כרוך בהוצאות נוספות.

4. שימוש במודלים קיימים

אחת השאלות הבוערות בתחום ה–DL היא, האם ניתן לקחת מודל מסוים ולהשתמש בו לאימון של מודל אחר? ישנם מצבים בהם מודל שמתמחה בתחום מסוים יכול לעבור תהליך הסתגלות לטובת הבנה של תחום אחר. ככל שהתחומים סמוכים זה לזה, כך קל יותר ״להכשיר״ מודל מתחום מסוים להבין תחום אחר. למשל, מודל, המתמחה בזיהוי פנים, יכול לשמש בסיס למודל שמתמחה בזיהוי מין (זכר/נקבה). תכונה זו של המודל נקראת transfer learning. למעשה, גם אצל בני האדם אזורים סמוכים במוח, מבינים תכנים ויזואליים קרובים. הנושא של Transfer learining הוא חשוב ומעניין מכיוון שהוא יכול מאוד לסייע בהפחתת כמות הדוגמאות הנדרשת לאימון מודלים על תכנים דומים/סמוכים.

5. הכנת דוגמאות האימון (Training set)

החלק הכי מאתגר באימון של מודל הוא איסוף כמות לא מבוטלת של דאטה הנדרשת בכדי ללמד את המודל להבין תמונה מסוימת. לדוגמה, אם נרצה ללמד מודל מסוים את המושג "כדורסל", אז הבעיה הראשונה תהיה להגדיר מה זה כדורסל. הרי יש הרבה סוגים של כדורסל. יש כדורסל מקצועני, כדורסל ילדים/נשים/גברים, כדורסל בשכונה וכדומה. למעשה, צריך להחליט מה נדרש בכדי להבין את הקטגוריה הרצויה. רק לאחר מכן, צריך לאסוף תמונות ומידע רב שמייצג את הקטגוריה אותה רוצים ללמד. כאן, בעצם נכנסים לשאלה, איזה תמונה מייצגת ואיזה לא? התשובה לכך, לא תמיד ברורה.

הכותב הוא סמנכ"ל הפיתוח בחברת PicScout

כתב אורח

אנחנו מארחים מפעם לפעם כותבים טכנולוגים אורחים, המפרסמים כתבות בתחומי התמחות שלהם. במידה ואתם מעוניינים לפרסם פוסט בשמכם, פנו אלינו באמצעות טופס יצירת קשר באתר.

הגב

8 Comments on "5 דברים שחשוב שתדעו על Deep Learning"

avatar
Sort by:   newest | oldest | most voted
צחי
Guest

Gtx 1080 g1
מספיק לכל דבר שתדמיינו. 4000 שקל גג. לא אלפי דולרים. מה שבאמת יעלה לכם זה המומחה לדיפ שיעלה לכם קצת הרבה יותר מאשר אלפי דולרים.

עמית
Guest

רדוד ביחס לכתבה על רשתות עמוקות

עידן
Guest

מה שנקרא, לכתוב בשביל הפרסומת.

איציק
Guest

הוא לא מפרסם שום דבר, די ללכלך.

דודו
Guest

אני שואל את העצמי אם מתמקדים בלהבין תמונה דו-מימד או במפה תלת מימדית, תינוק רואה אובייקטים תלת מימדיים…(לא?)

יוחאי
Guest

אין באמת כזה הבדל גדול. שם זה פיקסלים ופה זה ווקסלים

שאולי
Guest

איזה יוחאי ? יוחאי שלנו ?

יוחאי
Guest

כנראה שלא

wpDiscuz

תגיות לכתבה: