שלושת ה-"V" של ביג דאטה והטכנולוגיות שלהם

את שלושת הפרמטרים המרכזים של Big Data: נפח (Volume), מהירות (Velocity) ומגוון (Variety) כולנו מכירים, אבל כשמתחילים להתבונן בטכנולוגיות עצמן, אז העניינים מתחילים להסתבך באמת.

shutterstock

הפוסט נכתב ע"י צחי לונט-לוי, דירקטור באמדוקס.

אם תערכו משאל שבמסגרתו תשאלו מהו "ביג דאטה", סביר להניח שתקבלו את תשובת בית הספר הבאה: "שלושת ה-V", כלומר נפח (Volume), מהירות (Velocity) ומגוון (Variety). לאחר מכן יתחיל דיון – כמה "ביג", צריך ה"דאטה" להיות כדי שיהפוך ל"ביג דאטה".

201310-Big-Data-3V

נפח: פטה בייטס, רשומות, עסקאות, טבלאות, קבצים.

מהירות: אצווה, זמן אמת, סטרימינג.

מגוון: מובנה, לא מובנה, מובנה למחצה.

כשאתם מתחילים להתבונן בטכנולוגיות עצמן, אז העניינים מתחילים להסתבך באמת.

לא קיימת טכנולוגיה אחת

האתגר העיקרי, הוא שלא קיימת כיום טכנולוגיה בודדת שמסוגלת להתמודד עם כל המאפיינים של ביג דאטה – מהירות, נפח ומגוון – בעת ובעונה אחת.

אם היה עלי לסווג טכנולוגיות ביג דאטה לכמה קבוצות גדולות, הייתי עורך אותן באופן הבא:

Hadoop & Map Reduce – מסגרת עבור data-intensive distributed applications, שרצה על חומרה זולה.
NoSQL – זן חדש של מאגרי מידע שאינם מספקים את אותם מודלים של עקביות שמספקים מאגרי מידע טבלאיים מסורתיים.
מאגרי מידע In-Memory – מאגרי מידע הנסמכים בעיקר על זיכרון המחשב לצורך ביצוע גישות מהירות.
מאגרי מידע במבנה עמודי – מאגרי מידע המאורגנים בעמודות במקום בשורות, באופן המאפשר גישה מהירה יותר לאפליקציות ניתוח.
עיבוד בסטרימינג – מערכות מחשוב בזמן אמת המשמשות לסינון ולניתוח כמויות אדירות של נתונים ואירועים במהירות גבוהה.
תוכלו למצוא כאן מידע נוסף על הטכנולוגיות הללו, אך בסופו של יום, אם נצטרך למפות את הקבוצות אל תוך שלושת ה-V נקבל את הטבלה הבאה:

201310-Big-Data-Technologies

טכנולוגיות אלו נמצאות בשינוי וזרימה מתמדת, כמה מהן מהוות בעצם אוסף של פתרונות שונים זה מזה – כך ש… אל תתפסו אותי בקטנות בקשר למידת הדיוק של הטבלה. הכוונה היא אך ורק לתת אינדיקציה היכן הכי נכון לסווג כל אחת מן הטכנולוגיות.

מעניין לראות כיצד הסביבה העסקית והטכנולוגית של Hadoop עוברת שינוי, שבו מפתרון בעיית הנפח היא עוברת להתמודדות עם בעיית המהירות באמצעות Hadoop עצמה. לכל מפיץ יש גישה שפותחה אצלו להגברת המהירות של Hadoop. יוזמה שכזו היא הניסיון המפורסם של Hortonworks לשפר את הביצועים של Hadoop SQL querying פי מאה.

הנה שני דברים ששווה לזכור בקשר לביג דאטה:

1. ביג דאטה הוא מטרה נעה. שוק עיבוד המידע משתנה סביבנו מדי רגע. נסו להישאר מעודכנים בטרנדים ובשינויים.

2. אין תרופת פלא. כמו בכל דבר, אין פתרון קסם לכל הבעיות. בפועל, מרבית הארגונים עושים בסופו של דבר שימוש בטכנולוגיות ביג דאטה מרובות כדי להתמודד עם בעיות.

אם אתם מחפשים פתרון לבעיית ביג דאטה, התחילו בלהגדיר איזה מן ה-"V" של הביג דאטה, הנפח המגוון או המהירות – הוא זה שגורם לכם כאב ראש. ברגע שתעשו זאת תוכלו להמשיך ולבחור מתוך ארגז הכלים את הטכנולוגיות המתאימות. אם היה עליי לנחש, הייתי אומר שבסופו של דבר תמצאו את עצמכם משתמשים ביותר מטכנולוגיה אחת.

קרדיט תמונה: big data via Shutterstock.

 

הכתבה בחסות אמדוקס

אמדוקס משלבת פורטפוליו של מוצרים מן המובילים בשוק בתחום מערכות ה- OSS, BSS, השליטה והבקרה, יחד עם ניהול שירותים מבוססי פרויקטים. אמדוקס רשמה הכנסות של 3.2 מיליארד בשנה הפיסקלית 2012, והיא משרתת באמצעות 20 אלף עובדיה לקוחות ביותר מ-60 מדינות ברחבי העולם.

ההתמקדות של אמדוקס בסקטור הטלקום מחוללת תובנות מעמיקות באשר לסוד ההצלחה של ספקי תקשורת. תובנות אלה משתקפות בפורטפוליו המוצרים והשירותים של החברה ובמנהיגות המתמשכת בהובלת הפרקטיקות המצליחות והחדשניות ביותר בתעשייה. כחלק ממחויבותה לספק ללקוחותיה ערך רב יותר באמצעות חדשנות, אמדוקס מפעילה את תכנית השותפים "Enreach". "Enreach" מתמקדת בהרחבת האקוסיסטם של אמדוקס ע"י פתרונות חדשניים, מבוססי שותפות, שמטרתם לספק תמיכה טובה יותר ללקוחות החברה.

לפרטים נוספים על אמדוקס ותוכנית השותפים היכנסו ל
www.amdocs.com/Enreach
או צרו קשר בכתובת
enreach@amdocs.com

כתב אורח

אנחנו מארחים מפעם לפעם כותבים טכנולוגים אורחים, המפרסמים כתבות בתחומי התמחות שלהם. במידה ואתם מעוניינים לפרסם פוסט בשמכם, פנו אלינו באמצעות טופס יצירת קשר באתר.

הגב

11 Comments on "שלושת ה-"V" של ביג דאטה והטכנולוגיות שלהם"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 
Sort by:   newest | oldest | most voted
יגאל
Guest

כתבה ברמה נמוכה

YT
Guest

מנומקת, מפורטת, מצביעה על הבעיה בצורה מדויקת המאפשרת שיפור לעתיד.
בניגוד לתגובה ברמה נמוכה שסתם משחררת רעל לאויר במשפט סתמי וחסר כל נימוק.

aviv
Guest
כתבה שמי שקורא אותה לא יוצא עם משהו טוב ממנה כי 1.היא יותר מדי תמציתית למינימום שאפשר להגיד על Big Data שהוא נושא מבלבל לעצמו למי שלא מבין. 2.גם לגבי התמצות יש לי הסתייגויות לדברים הראשונים שצריכים לבדוק כי hadoop זה כולה תשתית לעבודה מול קבצים בצורה מבוזרת.(map reduce זה נגזרת לצורת החישובים בה אותה תשתית יכולה לאפשר) מעליה ניתן להתקין DB מיוחדים או FrameWork לתחקור כמו Hive אשר מאפשרים תחקור שיחסית מזכיר את התחקור הSQL ולא רק לכתוב קוד java אשר יגדיר ספציפית את הצורות למרות שמבחינת זמן עיבוד הוא יותר מהיר ומקנה יכולות חישוב אלגוריתמים אל לא ניתן… Read more »
רומן
Guest

כתבה לא רצינית, כתבה חסרת תוכן ולא מלמדת או מציגה שום דבר ענייני.
מרגיש שזה נכתב ברמה כל כך נמוכה שאולי הוא פשוט ביקש מהבן שלו לכתוב את זה..
מביך אותי שאתר כמוכם מביא אדם מחברה חיצונית לפרסם כתבה ממומנת ואתם לא עוברים עליה בכלל.. אתם יורים לעצמכם ברגל ופוגעים בקהל הרחב שקורא אותכם..
קחו את זה בחשבון..

lior
Guest

מאמר קצר למדי שרובו תמונות ופרסומת לאמזון..

lior
Guest

לאמדוקס סליחה

oc666
Guest

חייב לחזק את ההערות שנאמרו לעיל.
מה גם ש-NoSQL היום מהיר ומסוגל להכיל כמות נכבדה של מידע. לי אישית יצא להחזיק מאות טרות בייטים.

יצחק
Guest

ב"ה

רק מוזכר כאן הכותרות של הדברים…

מה עושה כל טכנולוגיה ?
מה היתרונות \ חסרונות של אחת על השנייה ?
מה הזמנים של ניתוח נתונים בכל שיטה ?
מי מתאים למה ?
וכו'…
ואולי אפילו כמה קטעי קוד וכו'…

מינימי
Guest

באמת חיוני לציין "בעזרת השם" בטוקבק ?!

תוכל להפנות אותי לפסוק הרלוונטי בתנך בבקשה?

יצחק
Guest

ב"ה

לא ציפיתי להפתעה כזאת!
אבל מה בדיוק זה מפריע לך?? אפילו במכתבים שאני כותב לגויים תמיד אני כותב והם מעריכים את זה מאוד

ודבר שני, המקור של זה נמצא בתהילים והרעיון שלו אומר שתמיד צריך לחשוב על ה'.

ענן 37
Guest

אם טכנולוגיה היא העולם שלכם,
בואו לאירוע הכי חשוב בתחום ה-IT, ללמוד מהמומחים, לעשות Networking עם שותפים ולקוחות, ולהתחיל את השינוי בארגון שלכם.

http://www.emcblog.co.il/emc-forum-2013

הכניסה חינם, חובה להירשם מראש.

wpDiscuz

תגיות לכתבה: