”חדי הקרן” של מקצועות ההייטק: מה עושים מהנדסי דאטה וכמה הם מרוויחים?

הביקוש לדאטה גבוה, וכפועל יוצא מכך הפכו מהנדסי הדאטה לאחד מהתפקידים החמים ביותר בענף כיום. אז מה הם עושים בפועל, מה הדרישות ומה השכר?

מקור: Pexels

תחום הדאטה נמצא בצמיחה מתמשכת, וככל שאנחנו מייצרים יותר מידע – יש עוד ועוד חברות שרוצות לקחת את המידע הזה ולייצר ממנו מוצרים ותובנות, שיעזרו להן וללקוחות שלהן להשיג יתרון על פני המתחרות. צוותי הדאטה בארגונים כוללים כמה וכמה בעלי תפקידים, אך מי שהפכו בתקופה האחרונה לשם החם בתחום הם מהנדסי דאטה. מה הופך אותם לכל כך חיוניים לחברות, מה התנאים ואיך נכנסים לתחום הזה.

הפרופיל של “חדי הקרן” של עולם הדאטה

הדאטה היום, בניגוד לעבר, מגיע ממגוון עצום של מקורות – החל ממידע לא מובנה, מידע שמוזן ידנית, מידע מאתרים, אפליקציות, מערכות מיושנות – והוא גם מגיע בפורמטים שונים: תמונות, קטעי אודיו, סרטוני וידאו וכמובן טקסטים. מהנדסי הנתונים לוקחים את כמויות הדאטה האדירות הללו – ומנהלים אותן בזמן אמת. אפשר להגדיר אותם כמעין “גנרלים של דאטה” האחראים על התכלול של כל שלבי הטיפול בדאטה: החל מאופן איסוף המידע והדרכים הטכנולוגיות לבצע בפועל את האיסוף, וכלה בפיתוח התשתיות לניהול של אותו מידע, לצד הצורך של החברה לפתח אוטומציות, כדי לנהל בצורה אופטימלית את כמויות המידע הרבות שבהן היא מחזיקה.

כמו שניתן להבין מהמעורבות העמוקה בשלבים השונים, צריכים מהנדסי הנתונים להגיע עם רקע נרחב בשפות תכנות – בראשן פייתון. בנוסף, מהנדסי נתונים צריכים רקע ויכולת עבודה עם לא מעט כלי פיתוח בקוד פתוח – בהם AirFlow (שפותחה ע”י Airbnb) ו-Spark. חלק ממהנדסי הדאטה צריכים לשלוט גם בג’אווה, הכוללים כמה כלים (גם הם בקוד פתוח) ממשפחת אפאצ’י כמו NiFi, Hadoop, HBase ו-Hive. כמובן שבהתחשב בעובדה שהם עובדים עם כמויות אדירות של דאטה, עליהם להיות בעלי בסיס חזק ב-SQL וב-NoSQL (ספציפית ב-MongoDB). כמובן שידע וניסיון בעבודה עם תשתיות הענן הכרחיים גם הם – מכיוון שבסופו של דבר רוב הדאטה נמצא שם.

שי גוטסדינר, VP R&D בסטארטאפ הישראלי Lusha, המעסיקה 8 מהנדסי דאטה, מסביר כי ככל שארגונים הופכים להיות יותר מבוססי דאטה, תהליכי קבלת ההחלטות שלהם נשענים על יותר ויותר דאטה ובכדי להגיב מהר יותר ובדיוק רב יותר לתנאי שוק משתנים, הם מנסים לעבד כמויות גדולות יותר של פריטי מידע בקבועי זמן קצרים יותר: “תפקידו של מהנדס הדאטה בארגונים כאלה תופס מקום יותר ויותר מרכזי. על מנת שתהליך אנליזה ומחקר של היקפי מידע עצומים יהיה יעיל ובכלל אפשרי, מהנדס הדאטה לוקח אחריות מלאה על ההכנות שהוא צריך לעבור לפני שצורכים ומנתחים אותו. כל מה שקשור לקליטה, ניקוי, תיוג, נרמול והנגשת הדאטה בצורות שונות לצרכים השונים על מנת לייעל את תהליך התיחקור והעיבוד הם לב העיסוק שלו”, הוסיף גוטסדינר.

רועי מיארה, Data & ML Engineering Manager באקספלוריום הישראלית, מסביר כי יש תכונות מובהקות שצריכות להיות למהנדסי הדאטה. “אופי העבודה של מהנדס דאטה נוגע ברבדים רבים של המוצר, מהתשתית ועד המשתמשים – כך שמהנדס דאטה מתמודד עם בעיות מרובות וצריך לקבל הרבה החלטות עצמאיות כל יום. חקרנות ויכולת למידה הן עוד תכונות חשובות כי הסטאק הטכנולוגי בתחום מתפתח בקצב בלתי נתפס והיכולת ללמוד טכנולוגיה חדשה ולהישאר מעודכן מאוד חשובה”.

התכונות שהופכות אותם לכל כך מבוקשים

אבל יש כמה תכונות שהחברות שמעסיקות כיום מהנדסי נתונים מחפשות במי שעל כתפיהם אחריות רבה בכל הקשור לניהול ותכלול של תחום הדאטה בחברה. יבגני פרולוב, Head of Data ב-Lusha, אומר כי לדבריו המומחיות שמגלמים מהנדסי הדאטה – בין השאר בהיכרות מעמיקה ובהוצאה לפועל של תחום ה-ML – הופכת אותם לסחורה חמה, ובגלל שהביקוש לא מצליח לעמוד בהיצע – נוצר פער משמעותי.

לעומתו, לימור טל (Head of Data) וענבל רוזנשטוק (VP R&D) מהסטארטאפ הישראלי Tailor Brands אומרות כי מה שהופך את מהנדסי הדאטה לכל כך נדירים בנוף הוא החיבור בין היכולות הטכנולוגיות להיכרות עם סוגי הדאטה ומבני הנתונים. לדבריהן, זו לא רק היכולת הטכנית לפתח תהליך כזה או אחר, אלא גם להבין איך לעשות זאת סביב מבנה נתונים וסביב הצרכים של החברה.

פנקו את הטלגרם שלכם עם ערוץ הטכנולוגיה הגדול בארץ פנקו את הטלגרם שלכם עם ערוץ הטכנולוגיה הגדול בארץ הצטרפו לערוץ גיקטיים בטלגרם

מה שהופך אותם לסחורה חמה כל כך בשוק, לפי טל ורוזנשטוק, הוא שילוב של כמה תהליכים – הראשון שבהם הוא העלייה המשמעותית בדאטה המיוצר. “המורכבות של מבנה הנתונים בערוצים השונים העלתה את המורכבות באיחזור הנתונים והפקת תובנות עסקיות. זה דרש אנשים שיש להם יכולות טכנולוגיות והבנה עסקית”, אומרות השתיים, כשסיבה נוספת שהן מציינות להפיכתם של מהנדסי הדאטה לסחורה חמה היא העובדה שחברות הבינו שיש כוח בקבלת החלטות מבוססות דאטה – וכפועל יוצא מכך יש צורך באנשים שייצרו את התובנות הדרושות לקבלת החלטות כאלו.

גם מיארה מציין את כמויות הדאטה כגורם לעליית קרנם של מהנדסי הדאטה, אך מוסיף כי “מהנדס דאטה צריך להיות בעל ידע רחב מאוד בסטאק טכנולוגי רחב שמשתנה מחברה לחברה, חברות מודרניות משתמשות בעשרות רכיבי תשתית וביג דאטה ורצות על עננים שונים, זה מייצר היצע מוגבל מאוד לחברות, שבדרך כלל מחפשות מהנדסים עם נסיון רלוונטי”. לדבריו, מהנדסי הדאטה צריכים גם מה שהוא מכנה “ראש של האקרים” – כשהוא מציין את היצירתיות של מי שלרוב נחשבים “האנשים הרעים” והיכולת “לכופף את החוקים” כדי למצוא דרכים לפתרון בעיות.

נדירים בנוף – והתשלום בהתאם

צילום גבע טלמור

כיאה לחדי קרן, ובהתאם לביקוש – מהנדסי דאטה משתכרים בקצה העליון של הסקאלה. על פי נתוני סקר השכר של מקצועות הדאטה של MDLI – שכרם של מהנדסי הדאטה הוא בין הגבוהים ביותר שמוצעים בשוק לתפקידים שאינם CTO או חוקרים בעלי תארים גבוהים.

השכר הממוצע של מהנדסי הדאטה, על פי נתוני MDLI, הוא כ-34 אלף שקלים – אולם ככל שעולים בסולם מבחינת תארים ותפקידי ניהול הוא מזנק לטווח שבין 48 ל-53 אלף שקלים – למי שמחזיקים בתואר שני או מנהלים צוותים (Group Lead). ההבדל בין המספרים בקרב התפקידים הבכירים תלוי בין היתר בעבודה בחברות רב לאומיות וגאמפא (גוגל, אמזון, מיקרוסופט, פייסבוק ואפל) שתניב למהנדסי הדאטה את האקסטרה במשכורת לעומת עמיתיהם בחברות אחרות. בסטארטאפים אגב השכר יורד מעט לאזור ה-43 אלף שקלים.

מה הסיכוי שלכם להגיע לתחום?

אז השתכנעתם שהתחום מעניין ומכניס. אבל איך נכנסים לתחום? על פי גוטסדינר, הרבה מהנדסי דאטה מגיעים מעולם ה-BI, אחרי שעסקו בעיבוד ושינוי מידע – לרוב מידע עסקי לעולם ה-Data Warehouse. הוא מוסיף כי ככל שהנפחים של הדאטה שאיתו הם עובדים גדלים, והגיוון של סוגי המידע הוא רחב, הדרך שלכם להפוך למהנדס דאטה מתקצרת.

“מבחינת ניסיון מקצועי יש רשימה לא קצרה של כישורים וידע שארגונים היו רוצים למצוא במהנדסי מידע ומכאן גם הקושי, בין השאר: ידע מעמיק במסדרי נתונים שונים, ניסיון בעבודה עם נפחי מידע גדולים, ניסיון במערכות מבוזרות, ניסיון עם אלגוריתמיקה ועיבוד מידע, ידע בשפות תוכנה שונות כמו פייתון וג’אווה, ספריות וכלים לטיפול במידע, ידע בתחומי ה-ML וה-NLP”, אמר על הכישורים הנדרשים לתפקיד.

טל ורוזנשטוק מוסיפות כי מי שיכול לעשות הסבה לתפקידים אלה הם למשל מהנדסי פיתוח שצריכים להשלים את ההבנה במבני נתונים: “לא מדובר רק בשליפת נתונים אלא הבנה ממש איך בנוי דאטה בייס, איך עושים אופטימיזציות. אנליסטים צריכים להתמקד ביכולות פיתוח, וללמוד לעבוד עם כלים של ביג דאטה ו-ETL”. לדבריהן, תכונות חשובות למהנדסי דאטה עתידיים הוא רצון לקחת חלק פעיל בבניית המוצר, הכרה של התחום העסקי שבו הם עובדיפ בצורה עמוקה, לצד יכולת להתמודד עם כמויות דאטה אדירות ובניית מוצרי דאטה שיתמכו בקבלת ההחלטות בחברה.

אושרי אלקסלסי

Your Friendly Neighborhood Geek. יש לכם סיפור טכנולוגי? דברו איתי: Oshry@geektime.co.il

הגב

3 תגובות על "”חדי הקרן” של מקצועות ההייטק: מה עושים מהנדסי דאטה וכמה הם מרוויחים?"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
דג ברשת
Guest
הכל טוב ויפה עד שיום אחד בארגונים ישאלו: כמה תועלת יש לנו מההשקעה הזו? כי כבר התחילו להבין שאיסוף מידע ועיבודו, האנשים שעוסקים, החומרה והתוכנה הנדרשות – עולה הרבה מאוד. אם משקללים מול כמה הכנסה היתה ממכירות או שיווק תפור לפי יעוד/מיקום? אולי בכל זאת כדאי להשקיע יותר במוצר, בעבודה, אפילו בהנחה במקום טונות ב-BI לסוגיו ? ככל שהארגון גדול יותר, פונה לקהל יעד מבוגר יותר – מבינים שהשיקולים שלהם ויכולות הקניה הם עדיפים פי כמה על אלו של הדור הצעיר, שאינו נאמן, חי את הרגע ורצוי ללא מאמץ, רוצה הכל בחינם ורק לזמן קצר. כל אחד יעשה את החשבון… Read more »
ניר
Guest

אם יש משהו שהוא לא באזז וורד זה עולם ה DATA.
איך אתה יודע בכלל מיהו הלקוח האידיאלי שלך? על סמך תאוריה? על סמך מה שאתה רוצה? דאתא הוא התשובה לכל השאלות ואם אצלך בארגון פרודקט מקבל החלטות שרירותיות מבלי יכולת לגבות אותם בנתונים מאומתים אז זה חבל מאוד.

ניר
Guest

כתבה חביבה אבל היא מתעלמת מכמה יסודות מאוד בסיסים. בניגוד ל FRONT END או BACK END המקצוע של DATA ENGINEER אינו מוגדר היטב. הוא יכול להיות הרבה דברים למעשה הה DATA ENGINNERING בעצמו מתחלק ל FRONT, BACK ו FULL STACK. מי שכל העבודה שלו זה לקחת נתונים מ DWH ולפתח מזה דאשבורדים כנראה לא מרוויח כמו מי שעובד עם KAFKA STREAMS.

wpDiscuz

תגיות לכתבה: