מדען נתונים ניתח את שיגורי הטילים על ישראל בשנים האחרונות – והתוצאה מהפנטת

יואב טפר, מדען נתונים ישראלי, ישב על נתוני האזעקות של שיגורי הרקטות על ישראל. הוא שילב, חתך, ניפה ויצר מפה אינטראקטיבית עם וידאו מהפנט

מקור: paffairs sanfrancisco – flickr.com/photos/36313307@N06/3350293196/sizes/l/, CC BY-SA 2.0,

“מאז שנת 2001 שוגרו לעבר ישראל עשרות אלפי רקטות” מספר לי חיפוש ב-Google; “עיקר השיגורים מופנים למחוז הדרום ולישובי עוטף עזה” מוסיפה ויקיפדיה.

אובייקטיבית, סביר שכל מי שקורא עכשיו את הטקסט זה כרגע כבר מכיר היטב את הצליל של אזעקת “צבע אדום”. סובייקטיבית, כחייל שהעביר 4 שנים משירותו הצבאי בדרום הארץ, למדתי לשנוא את הצליל הזה מהר מאוד במשך שהותי שם.

במרץ 2019, הייתי בדירתי בגבעתיים כשנשמעה אזעקה באזור גוש דן. עת אני בחדר המדרגות מחליף רשמים עם השכן על טיב האזעקה הבלתי צפויה ומשתכנע בטיעוני כי ככל הנראה מדובר באזעקת שווא, קול הנפץ מכריע את הדיון בצורה חד משמעית, אזעקת אמת.

כשעליתי חזרה לדירה אחרי האזעקה הזו, מצאתי את עצמי מסתקרן יותר מתמיד – כמה שכיחות הן אזעקות במרכז? בעצם, כמה הן באמת שכיחות בדרום? אפילו יותר מזה, כמה אזעקות שכיחות בארץ בכלל?

חיפוש אינטרנטי לא הניב יותר מדי ידע בנושא, שכן ישנם הרבה דיווחים שונים, משנים שונות וברמת פירוט שונה.

פוליטיקה בצד, כחובב דאטה נלהב החלטתי לנסות ולקחת על עצמי פרויקט קצר טווח (שלא בהלימה ישירה לטווח הרקטות שהוא מסקר) ולנסות להמחיש מעט יותר את התמונה הכוללת, באמצעות נתונים שנגישים לקהל הרחב.

למתעניינים, אפרט על תהליך העבודה של הפרויקט בחמישה חלקים קצרים, אוהבי השורות התחתונות – מוזמנים לדלג באלגנטיות ישירות לחלק הרביעי.

שלב ראשון: איסוף המידע

תחילה ניסיתי למצוא איזשהו תיעוד קוהרנטי של אזעקות בארץ. באופן לא מפתיע החיפוש הוביל אותי לאתר פיקוד העורף, ובו האפשרות לתשאול האתר על אזעקות עבר ברחבי הארץ:

אתר פיקוד העורף

 

כך נראו תוצאות חיפוש לדוגמה:

דוגמה לתוצאות חיפוש

 

על מנת לעבוד עם הנתונים בתצורתם הגולמית ביותר, פניתי לשרתי האתר עם תוכנה בשפת Python שאספה את טבלת כל האזעקות כטקסט שטוח על מנת שיהיה לי נוח לעבד אותו (באותה מידה יכול היה גם כל אחד להעתיק ידנית את המידע מהאתר למחשב).

 

הטקסט הגולמי ש”מאחורי” תצוגת האתר

סה”כ, המידע כלל כ-4400 רשומות מיולי 2014 ועד מאי 2019 – רגע איסוף המידע.

חלק שני: העשרת המידע

כפי שניתן לראות, הדיווחים אינם כוללים שמות ערים, אלא “אזורי התגוננות” כלליים – זאת מנסיבות טכניות/היסטוריות שבימים אלו בדיוק עוברות שינוי. מכיוון שאין מילון “אזור התגוננות – רשימת ערים” רשמי, היה עלי למצוא דרך חלופית להמיר אזורי התגוננות לרשימות ערים. מחיפוש אינטרנטי, מצאתי כי לכל אזור התגוננות ערך בויקיפדיה המכיל הפניות לערכים על הערים השונות שנכללות בתוך האיזור המדובר:

עמוד ויקיפדיה לכל איזור התגוננות

תוכנה בשפת Python שכתבתי חיפשה את שמות האזורים אחד אחרי השני, ו”זחלה” על ערכי ויקיפדיה לחילוץ שמות הערים מתוך ההפניות שבעמוד. בנוסף, התוכנה המירה כל שם עיר לנ.צ. ע”י חיפוש שם העיר באתר דומה ל-Google Maps.

למי שמתעניין בפרטים הטכניים, כך נראה התהליך שהמידע עבר:

 

חלק שלישי – זיקוק המידע

מידע אף פעם אינו מושלם, על אחת כמה וכמה בכמויות גדולות, וכשתוכנות הן אלו שמחלצות אותו. להלן דוגמאות לנושאים שצצו והיה צורך לתת עליהם את הדעת:

התנגשויות בין ערכים – למשל “ג’סר” ו-“גזר” זוהו כאותו המקום ע”י התוכנה על אף שיש הבדל במיקום הערים הללו. קונפליקטים רבים כאלו בין ערכים היו חייבים להיפתר ידנית.

מידע לא רלוונטי – למשל ימים שבהם היו אזעקות בהרבה מאוד איזורים באותה שנייה התבררו לרוב כתרגולי עורף לאומיים, בדיקות צופרים או אזעקות שווא – לשם כך, כל תאריך שהיה נדמה ככזה הוצלב ידנית למול חיפושים באינטרנט ואם אכן התברר כתרגיל/בדיקה אזי נתוניו הוסרו מהמאגר.

מידע חסר – כאמור, בכל שלב ושלב של הפרויקט מידע יכול ליפול (ונופל) בין הכסאות, בין אם שם עיר שלא הועתק כראוי, אזור התגוננות ללא ערך ויקיפדיה עדכני, או עיר שלא נמצאה לה התאמה במאגר המידע הגאוגרפי, יש לקחת בחשבון מידע זה בעת התבוננות על התמונה הכוללת שהמידע מציג.

חלק רביעי – הצגת המידע

באמצעות כלי Open Source בשם Kepler שאליו הזנתי את כל הנתונים שאספתי, בניתי תצוגה ויזואלית ואינטראקטיבית. מי שרוצה יכול לשחק בעצמו עם המידע.

התפלגות האזעקות ברחבי הארץ

וידאו: מפת חום של פעילות אזעקות ב-5 השנים האחרונות

 

 

תשומת לבכם כי בגרפיקה זו המציגה את “השיגורים” אין לייחס אמינות לנ.צ של מקור השיגור שכן הוא נקבע בנקודות קבועות לפי מרחק מנק’ היעד ולצרכים אסתטיים בלבד

כמו כן, בעזרת תוכנה לניתוח מידע בשם Tableau טענתי את אותו המידע והכנתי תצוגות מותאמות להשוואה בין תקופות:

אזעקות ב-5 השנים האחרונות

אזעקות ב-5 השנים האחרונות לפי חודשי השנה

מפת האזעקות המלאה (מיולי 2014 עד מאי 2019)

חלק חמישי – ההקשר

חלק זה אינו באמת חלק משלבי הפרויקט, אבל חשיבותו למאמר זה אינה פחותה. חשוב לי לציין כי בעוד שהמידע יכול להראות מסקרן והויזואליזציה יכולה להיות מעניינת לצפייה, אי-אפשר לנתק את המידע מהמציאות שהוא מייצג, וככל שנהניתי לעבוד על הפרויקט הזה, מיותר לציין שהייתי מעדיף שהמידע הנ”ל לא היה קיים מלכתחילה (והנה בכל זאת ציינתי).

לינק למאמר באנגלית

יואב טפר

מפתח תוכנה וסטודנט למדעי המחשב בהווה, אנליסט בדימוס, מוסיקאי בפוטנציה. אוהב להפוך רעיונות לקוד ← קוד למידע ← מידע לידע ← ידע לרעיונות

הגב

35 תגובות על "מדען נתונים ניתח את שיגורי הטילים על ישראל בשנים האחרונות – והתוצאה מהפנטת"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
אלי
Guest

לפחות כולם יראו שהטילים החלו ב-2001 וההתנתקות היתה ב-2005, ושהיא לא הביאה לטילים. היא הביאה להצלת חיי המתנחלים שהופקרו בחזית ובציר כיסופים וכמובן בהצלת חיי החיילים שהיו נכתשים שם.

Tomer
Guest

כזה חוסר דעת חשבתי לרגע שאתה ימני
לפחות תקרא את הכתבה ותבין שהמידע פה מ2014

למה ככה חזק? רררר
Guest
למה ככה חזק? רררר

לא לא הוא נשמע כמו כל אידיוט שמאלני מצוי אתה יכול להירגע =)
מעניין אם גיק טיים יפרסמו גם תגובות על ליצנים שמאלנים ? …

סיבה ותוצאה
Guest

בלי קשר לימין שמאל מה המחיר ומה נכון היה לעשות ומה לא-
אתה באמת חושב שאם צה”ל היה שולט ברצועת עזה היתה מתפתחת שם תשתית ליצור ושיגור טילים?
מנהרות ותשתיות להברחת חומרים -בתי ספר והכשרות ליצור טילים- מחסנים מפעלים וכ”ו? לא נראה לי….

Nyx
Guest

מעניין ממש! תודה גם על הפירוט של כל שלב ושלב.

יצחק כהן
Guest

ב”ה

עבודה מרשימה שיכולה להועיל מאוד למערך ההסברה

אין כמו עובדות אמתיות מהשטח

אלי
Guest

מה זה ב”ה?

יהוחפץ
Guest

ברוך השם

ביל גייטס
Guest

בעזרת המחשב

מתן
Guest

בעזרת החבר הדמיוני

חיפאי
Guest

מתי ירו טילים על איזור חיפה?
אני סנילי או שזה לא היה מוכר?

אברהם
Guest

במבצע צוק איתן הגיעו לחיפה

מדען נתונים
Guest

מחילה מכבודכם, אבל איזה ערך הפרויקט הזה מספק למעט ויזואליזציה נחמדה? פרויקט נחמד ומגניב, יתכן וזה רק אני, אבל לא רואה מה הערך שלו

asfdasd
Guest

רעיונות לקוד ← קוד למידע ← מידע לידע ← ידע לרעיונות. אז… גם אני אשמח לשמוע מה הערך של הויזאלוזציה הזו.

יהוחפץ
Guest

מיפוי של ההתקפות ע״פ אזור..
לא יודע איך אתה מדען נתונים אם לא הבנת את זה לבד :)

תום
Guest

“…ויזואליזציה נחמדה” “…אבל לא רואה מה הערך שלו”
אני חושב שעניתה לעצמך על השאלה. אולי התכוונתה להגיד שלדעתה וויזואליזציה של מידע זה לא משהו שנותן ערך. אבל גם על זה הייתי חולק מאחר שהרבה יותר קל להסביר רעיון על ידיי וויזואליזציה.
בנוסף, כל אחד יכול לקחת את העבודה שנעשתה ולהרחיב עלייה.

tower defense
Guest

הסברה…היות וכיפת הברזל ומערכות אחרות עושות עבודה יפה עד עכשיו- והיות ויש לגורמים שונים אינטרסים להשתיק את הנושא- רב תושבי העולם לא מודעים לתוקפנות הגדולה של החמאס ורואים אותו כקורבן חסר ישע

עופר
Guest

הנתונים, איסופם, ואופן ניתוחם והצגתם מרשים למדי (ואף למעלה מכך).
אולם,
מה משמעותן של התוצאות? מה הן בעצם “אמרות” לנו? מה ניתן להסיק מהן לגבי מה שהיה ואולי גם מה שיהיה?
מה הם הכלים האופרטיביים שאנו יכולים להפיק מהן? האם ישנם כאן דפוסים לוגיים של שיגורים המצביעים על: מגמות מסוימות?, על פרדיגמות?
השלב הבא חייב להיות ניתוח הנתונים בכמה היבטים הן של “המשגר” (חמאס), והן של “הנפגע” (אנחנו).
האם ניתן לבצע מניפולציות ונגזרות נוספות מבחינת “חקר ביצועים”?
ובעצם כיצד ניתן להשתמש במסקנות להפקת לקחים?
מעניין מאוד.
תודה רבה

גורביץ\'
Guest

הוויזואליזציה מאוד יפה, אבל זו לא עבודה של מדען נתונים. זו בערך גרסה יפה יותר של הצגה גרפית של אקסל (שפרוסה יפה על מפת ארץ ישראל). אני לא מזלזל בהשקעה ומשוכנע שזו לא עבודה של 5 דקות, אבל מדען נתונים ממוצע עושה דברים אחרים כמו פיתוח / אופטימיזציות של מודלים/אלגוריתמים מבוססים מכונה לומדת. אם כבר זה יותר מתאים לאנליסט שיודע לכתוב קוד.

ASD
Guest

היה יכול להיות מעניין אם הוא היה מצליב את זה עם מקורות מידע נוספים (חדשותיים למשל) ובונה מודל שמצליח לחזות אילו אירועים גורמים לשיגור ובאיזה שלב טיפטופי שיגור קטנים מתחילים לרמז על מסת שיגורים גדולה ורחבה יותר

אברהם
Guest

חבל שאין לפי 2014 – בעופרת יצוקה, חורף חם ועמוד ענן

מוריאל
Guest

חוץ מסטטיסטיקה מעיקה שיכולה לשמש את האויב אין פה שום דבר מעניין באמת

VLAD
Guest

אחד התכלסים

כרטיס חבר מועדון
Guest
כרטיס חבר מועדון

אחד הסובייטים

אופיר
Guest

עבודה יפה והשימוש בכלים טוב. לא תמיד אזעקה מייצגת שיגורים זה נאמר בכתבה. מה שחבל שפיקוד העורף או מקור אחר לא נותנים במבנה מידע אחד כמה רקטות שוגרו וכמה מהן נחתו או יורטו או היו אזעקות שווא ובצורה רשמית. ממה שאני מבין זה הופך את הניתוח מידע לאזעקות ולא ניתוח של שיגורים כמו בכותרת… כי מהאזעקות לא ניתן להסיק על השיגורים עצמם. תודה.

איתי
Guest

שלום יואב, שמי איתי מפתח צבע אדום, אני אשמח ליצור איתך קשר app.redalert@gmail.com

Chaim Moshe Rodnizky
Guest

וואו
עבודה יפה מאוד!

אהבתי במיוחד את הדרך של איסוף המידע, התגברות על מכשולים וניקוי המידע.

היות שאין לך תנאי עצירה…
ידע לרעיונות!

הבנו מה ואיך קרה
השאלה העיקרית שלנו היא איך למזער נזקים.

הייתי מנסה להוסיף מידע מסוגים שונים
(לדוגמא, קירבה לאירועים פוליטיים, או [אם יש לך גישה לידע] מי היה אחראי על השיגורים, שעות שונות וכדו׳)
בניסיון לזהות אנומליות.

כאן חזרנו שוב ל״ידע לרעיונות״

לו תהיה גישה, ניתן לבדוק את שני הצדדים, גורמים, והשלכות.

אין לי רעיון איך לנקות ידע כזה, אבל אולי עם מספיק מידע וגישה לשינוי של נתונים ומעקב אחרי תוצאות ניתן להגיע לאופטימיזציה {למצוא את סט הביתות המושלם} בשאיפה למצוא את הגורם היעיל ביותר לצמצום נזקים.

Break

גלי
Guest

ניתוח אזעקות לא נתוני שיגורים. אין כאן דבר עם מספרי שיגורים וזו הטעיה בכותרת ראשית וגם בתוכן, הגרפיקה לא מציגה שיגורים!. היא מציגה אזעקות שגם אחרי ניקוי מידע לא נותנת מספר מדויק ולא עונה לשאלה: כמה שיגורים היו מעזה?

ירין
Guest

עבודה יפה. יחד עם זאת, במאמר באנגלית יש קטע שלא כלול בעברית, שכללת בו דאעש. לא פלא שלא כללת זאת בעברית, כי לא יכולת לכתוב זאת לישראלים שיודעים טוב מאוד שלא היו שיגורים כאלה שרלוונטים למאמר. אז לא ממש “פוליטיקה בצד”. לא מאוחר לתקן.

אור
Guest

עבודה יפה מאד.
לכל מי ששואל מה אפשר לעשות עם המידע לדוגמה – מערכות הגנה נגד טילים פועלות סטטיסטית (כיפת ברזל לדוגמה). מידע כמו זה יכול לספק למקבלי ההחלטות מושג איפה עדיף להציב את הסוללות בהתחממות הבאה, בעימות מול פלג מסויים בעזה.
יכול לספק לנו הבנה של לאן האויב מכוון במרוצת השנים, האם שינה את דפוס ההתנהגות שלו.
כמה טילים שוגרו כתגובה לפעולה שביצענו וכו׳

ממליץ לכל המבקרים להסתכל על הדברים בצורה חיובית, לתת הערות בונות ובעיקר להחמיא כשצריך. תעודדו יצירתיות ולא ביקורתיות.

ASAFS
Guest

אם לצה”ל אין את המידע הזה, כולנו בבעיה

ZZZZ
Guest

יש ויותר.

כנרת
Guest

הי יואב,
בדיוק נתקלתי בכתבה שעשו עם המידע במקור ראשון.
איך ניתן ליצור איתך קשר?
אני חוקרת ילדים והורים באזור העוטף והמידע שהצגת מאד שימושי לי בכדי להבין טוב יותר את מידת הסטרס אותו הם חווים לאורך ציר הזמן וציר המרחב…
זה המייל שלי: kinnush@gmail.com
כנרת

אולי
Guest

תעשה עדכון עכשיו??

אולי
Guest

תעדכן עכשיו??

wpDiscuz

תגיות לכתבה: