משכורות גבוהות וביקוש בשמיים: כיצד הפך Data Engineer למקצוע הכי סקסי בהייטק?

איך ארגונים יכולים לנהל את איסוף המידע בצורה יעילה ולהפיק ממנו תובנות יקרות ערך? הרי כמות המידע רק הולכת וגדלה, המקורות הם רבים מגוונים וגם סוג המידע מגיע בצורות שונות. בדיוק בשביל זה קיימים מהנדסי המידע. אך על מה הם אחראים, אילו כישורים דורש התפקיד ואילו טכנולוגיות משמשות אותם?

תמונה: Pexels

מאת נמרוד קינן, מנהל תחום Data Engineer בנאיה טכנולוגיות ומנהל מקצועי בנאיה קולג’

אנחנו חיים בעולם של ביג דאטה: על פי הערכות אתר Statista, כמות המידע בעולם ב-2020 צפויה לעמוד על 50.5 זטה-בייטס וב-2025 על 175 זטה-בייטס, לעומת 2 זטה-בייטס בלבד ב-2010.

ארגונים מכל התחומים נדרשים לנהל ולנתח את המידע העצום שאליו יש להם נגישות, על מנת לצבור יתרון תחרותי ולשפר את תוצאותיהם העסקיות. לכן, אין זה פלא כי הביקוש למגוון רחב של מקצועות בתחום ניהול הדאטה נמצא בעלייה, ואחד המקצועות הבולטים שבהם הוא ה-Data Engineer (מהנדס נתונים). לפני מספר חודשים כבר קבע המגזין Information Age כי תפקיד זה הוא ה”המקצוע הסקסי ביותר של המאה ה-21″, ונראה כי קביעה זו אכן מקבלת אחיזה במציאות.

דו”ח חדש שהתפרסם לאחרונה מראה כי במהלך 2019 הביקוש ל-Data Engineer היה הגבוה ביותר בתעשיית ההייטק. על פי The Dice Tech Job Report, מדובר בעלייה של 50% בביקוש למקצוע ה-Data Engineer ב-2019 לעומת הביקוש לו ב-2018.

ישראל אינה מנותקת מהעולם בתחום זה. גם בארץ הביקוש למקצוע גבוה, וכאשר הביקוש לתחום מסוים גבוה – כך גם המשכורות המוצעות. על פי גורמים בשוק, פוטנציאל ההשתכרות של Data Engineer בעל ניסיון של שנה הוא כ-18,000 שקל ברוטו, ואחרי 3 שנים המשכורת כבר קופצת ל-35-25 אלף שקל ברוטו.

אחת הסיבות, כאמור, לגידול בביקוש הרב לתפקיד היא כמויות המידע האדירות שמצטברות, אך בעיקר עולה גם הצורך לנהל את תהליך איסוף המידע בצורה יעילה ונכונה. ב-30 השנים האחרונות אופן ניהול הדאטה השתנה משמעותית: אם בעבר מרבית המידע הגיע מהקשר שנוצר בין הלקוח לארגון באופן ישיר, כיום הוא מגיע ממקורות רבים ומגוונים, שלעיתים קרובות אין ביניהם כלל קשר, לדוגמה – נתונים המגיעים מאתר, אפליקציה, טלפון נייד, רשתות חברתיות, מפגשים פיזיים בין נציגי לקוחות ועוד. זאת נוסף על העובדה כי סוג המידע אף הוא הפך למגוון בהרבה ומופיע כיום בצורות רבות, כגון טקסט, מיקום, תמונות, סרטונים ועוד. המידע העצום הזה מאפשר לארגונים להפיק תובנות הכרחיות, ובהתאם להן לקבל החלטות אסטרטגיות שיכולות להשפיע עמוקות על השרידות או השגשוג של הארגון.

תמונה: Unsplash

יכולות פיתוח גבוהות, היכרות עם מגוון רחב של כלים ויחסי אנוש טובים

Data Engineer הוא אדם שיודע לקחת את כל המידע האדיר הזה ולנהל אותו בזמן אמת. ה-Data Engineer מסייע לארגון לתכנן את אופן איסוף המידע ממקורות שונים ומגוונים ומאפשר את ניתוח הנתונים באופן יעיל על מנת לקבל תשובות באופן מהיר ואפקטיבי.

באופן כללי, ה-Data Engineer אחראי על השלבים הקשורים ל-Data Operations Tasks, כגון בחירת הטכנולוגיה המתאימה ביותר לאיסוף נתונים; יצירה ופיתוח של תשתיות לקליטה, לשינוע, לניתוח ולאחסון של נתונים; יצירת מנגנונים לזמינות מלאה – High Availability; שמירה על רמת ביצועים המתאימה לצורכי הארגון – Performance; פיתוח תהליכים אוטומטים – Automation ועוד.

בנוסף, כל תחום ה-Data Preparation מצוי אף הוא באחריותו של ה-Data Engineer: הכנת המידע הגולמי לעיבוד לקראת טיוב הנתונים – Staging; טיוב הנתונים כדי לוודא את תקינותם לפני שימוש בהם על ידי משתמשי הקצה בצורת אפליקציה או דו”חות; יצירת תהליכי בדיקות למהימנות ולתקינות המידע; והנגשת המידע לכלל הצרכנים הארגונים.

מכיוון שמדובר בתפקיד מרכזי בארגון ובעל חשיבות רבה, הכישורים וכלי העבודה שנדרשים ממי שממלאים תפקיד זה הם מגוונים מאוד. כך צריך ה-Data Engineer להיות בעל יכולות פיתוח טובות ולהכיר כלי עבודה מגוונים, שבהם: Python, Linux, Apache AirFlow, Apache NiFi, Hadoop, Hive, Impala, HBase, MongoDB, ELK, Kafka, SQL, Cloud Platforms ועוד. בנוסף, נדרש ה-Data Engineer ליכולת תקשורת טובה, כיוון שהוא נדרש לעבוד מול ממשקים רבים ושונים בארגון, ועליו להיות מסוגל להבין את הצרכים של המחלקות שונות ולתרגם אותם לאופני כריית המידע וניתוחו.

הידע הזה כמובן לא מגיע משום מקום, כיום ניתן ללמוד את הכישורים האלה במכללות נבחרות בישראל המתמחות במקצועות ה-data, ואלה לרוב גם עובדות בשיתוף פעולה עם חברות במשק על מנת להקנות את הידע המתאים במקצוע ולהתחיל לעבוד בהקדם.

אין ספק כי דרישה מהותית נוספת ממי שממלאים תפקיד זה היא היכולת ללמוד כל הזמן ולהתפתח. בעידן של מידע אינסופי והתפתחות תמידית באופן איסוף המידע וניתוחו – הדרישה לאנשי מקצוע בתחום רק תלך ותגבר. אנשים אלו יצטרכו להכיר את השיטות המתקדמות ביותר לניתוח נתונים בזמן אמת, ויצטרכו לדעת כיצד לתרגם את המידע כך שיהפוך לבעל ערך רב, וכן לשנע אותו באופן היעיל ביותר בתוך הארגון.​

הכתבה בחסות נאיה (NAYA) קולג'

נאיה (NAYA) קולג', המכללה הטכנולוגית המובילה למקצועות ה-Data והפיתוח בישראל, מהווה את חטיבת ההדרכה של חברת NAYA Technologies העולמית אשר עובדת עם החברות המובילות בארץ ובעולם משנת-2009. אנו מתמחים בהדרכה ובהכשרה מקצועית לארגונים ולקהל הרחב תוך דגש רב על פרקטיקה, חיבור ממשי לדרישות השוק ובהתאם לסטנדרטים בינלאומיים. נאיה מציעה פורמט לימודים המשלב גישה מסורתית ולימוד מרחוק באמצעות פלטפורמה ייחודית, המאפשרת אינטראקציה מלאה עם המדריך ולקחת חלק פעיל בשיעור בזמן אמת. לפרטים נוספים, לחצו כאן.

כתב אורח

אנחנו מארחים מפעם לפעם כותבים טכנולוגים אורחים, המפרסמים כתבות בתחומי התמחות שלהם. במידה ואתם מעוניינים לפרסם פוסט בשמכם, פנו אלינו באמצעות טופס יצירת קשר באתר.

הגב

18 תגובות על "משכורות גבוהות וביקוש בשמיים: כיצד הפך Data Engineer למקצוע הכי סקסי בהייטק?"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
יבגני
Guest

מאמר מעניין, NAYA זאת לא החברה שעשתה אקזיט לאחרונה?

לירן
Guest

ללא ספק אחד ממקצועות העתיד.
וכן יבגני, נקנתה ע”י ענקית טכנולוגיה בשם EPAM

אנה
Guest

לפני חצי שנה עשיתי הסבה מDBA לData Engineer ,ללא ספק אחד המקצועות המעניינים היום בתחום ההייטק.

הנתן
Guest

אשמח להבין מה זה אומר

חנן זוין
Guest

אני סימתי לפני כחודש את המסלול.
קורס מצוין – מכין אותך מעולה לאתגרים הטכנולוגים של התקופה בתחום ה DATA.

מושון
Guest

הנקודה המעניינת שלא מוזכרת כאן נמצאת דווקא במאמר המצוטט – זמן יקר שמתבזבז בעבודה של Data Scientists על טיפול בנתונים. החבר’ה האלה מוכשרים, אבל בדרך כלל נעדרים את היכולות הטכניות.

השוק הולך לכיוון של יותר Engineers שיעבדו עם מודלים מוכנים (שמספיק טובים ל 99.8% מהחברות) ולא ימציאו את הגלגל – זה יותר יעיל, מהיר ורווחי.
ובכל מקרה, לא מאמין שזה משהו שאפשר ללמוד בקורס בנאיה.

עידו
Guest

מדעני נתונים ברוב המשרות הם לא מפתחי מודלים סטטיסטיים, אלא אלו שמשלבים בין הבנה ותחקור של הדומיין עם יכולות פיתוח. ה15 אחוז הנותרים של העבודה הולכים באמת ליישום של מודלים, איתור חריגים ועוד משימות שמצריכות אוריינטציה סטטיסטית.

שרה
Guest

data science ו data Engineer , זה לא אותו מקצוע ?

א א
Guest

איך יכול להיות שברשימת הטכנולוגיות בכתבה לא כוללים את Spark?

אורח
Guest

ידע ב-Spark זה תמיד יתרון, אך זה שייך יותר לעולם של מפתחי Big Data. פחות לעולם של DE. הם כותבים ב-Python בדרך כלל (ואז יכולים להשתמש ב-PySpark אם צריך)

dropout
Guest
Avi
Guest

מאמר מעניין מאוד בתחום, ללא ספק התחום צומח במהירות לכן ממליץ להכנס אליו בעודו צומח.
בתור סטודנט שעשה קורס דאטה אנג׳ניר בנאיה קולג׳ , אני ממליץ בחום.. הקורס תרם לי גם באופן תיאורטי אך יותר באופן הפרקטי וכן, נתן לי את ארגז הכלים להצלחה בתחום, מה שעזר למצוא במהירות עבודה בתחום.

Ivgeni Ivgi
Member

סיימתי לפני כחודש את המסלול data engineer של נאיה, הקורס ברמה גבוהה ומכסה המון כלים, כולל חלק נכבד של hands on. נראה שתחום הולך ומתפתח במיוחד שמבינים את הפער בין הdata הפוטנציאלי הרב שקיים במערכות לבין האופן בו ה data scientists צריכים שה data יונגש להם.

אחד שיודע
Guest

די כבר פתטים כמה אתם יכולים להגיב בפרסומות לעצמכם?

א יח
Guest

איך יכול להיות שאתם שמים פרסומת בלי לכתוב שהיא כזו בעמוד הראשי ?? מביישים את עצמכם גיקטיים

עידו
Guest

חח, דווקא כתבו בחסות נאיה

אחד שיודע
Guest

ללא ספק באז וורד שילדים קופצים עליו ומחרטטים בקצב. 80 אחוז מהפרויקטים לא שווים כלום ו90 אחוז מהעובדים לא שווים חצי מהשכר שמבקשים

הנתן
Guest

היי שמח להבין מה זה בדיוק Data Engineer?
איך זה כל כך שונה מDBA או מפתח BI או שילוב של השניים או בכלל לא?

wpDiscuz

תגיות לכתבה: