80 רגליים – מנוע חיפוש קטן משלכם

רוצים מנוע חיפוש פרטי משלכם? חברת 80Legs השיקה השבוע בצורה רשמית את מנוע הסריקה ניתוח התוכן המקוון שלה שמאפשר לכל משתמש להשכיר את השירות המשתמש בכוח עיבוד של 50,000 מחשבים כדי לסרוק ולנתח עד ל-2 מיליארד אתרים ביום. דיברנו עם שייסון דייסרקר, מנכל החברה על היתרונות הגלומים בשירות החדש והוא נתן לנו 50 הזמנות מתנה להעניק לקוראי ניוזגיק.

80legsחברת 80Legs השיקה השבוע בצורה רשמית את מנוע ה-Crawling (סריקה) וניתוח התוכן המקוון (Online Content Analyses) שלה. המנוע החדש שהוצג לראשונה בתאריך Web 2.0 Expo בחודש אפריל, הושק השבוע באופן רשמי בתערוכת DEMOfall 09 ובין החידושים שהציגה החברה ניתן למצוא מספר גדול של שיפורים בביצועים ויכולת Scalability טובה יותר וכמובן, איך אפשר בלי תוספת של חנות אפליקציות.

המנוע של 80Legs מבצע לפעולת ה-Crawling, מה שתוכנית ה-SETI@Home עשתה בזמנו לפעולת ניתוח האותות של תוכנית SETI. המנוע החדש רותם את הכוח של 50,000 מחשבים הפרוסים ברחבי העולם תוך שימוש בתצורת Grip Computing לצורך ביצוע Crawling של עד ל-2 מיליארד אתרים ביום.

תפסנו את שייסון דייסרקר, מנכל החברה לשיחה קצרה על השירות החדש.

מהו היתרון הגדול ביותר של 80Legs לעומת שירותי Grip Computing אחרים?
אנו מספקים שלושה יתרונות משמעותיים ביום.
היתרון הראשון הוא ביצועים. אם פתרונות אחרים, תוכלו לסרוק בין 100 ל-200 מיליון עמודים מדי יום, אבל עם 80Legs, תוכלו לסרוק עד ל-2 מיליארד עמודים ביום אחד. יש לנו את היכולת לרתום את הכוח של 50,000 מחשבים לשימוש, בעוד שלכל שירותי הענן האחרים העוסקים בתחום יש בערך 1,000 מחשבים לניצול.
היתרון השני של 80Legs הוא קלות השימוש. כאשר משתמשים בפתרונות אחרים, יש צורך בהקמת שרתים או מכונות וירטואליות וכתיבת Web Crawler משלכם, שניהם צורכים זמן יקר ומאוד יקרים בעצמם. אנחנו לעומת זאת, מטפלים בכל העבודה בשבילכם, כך שכל מה שאתם עושים זה לכתוב אפליקציה חדשה על-גבי המנוע שלנו, או אפילו משתמשים באחת קיימת.
היתרון השלישי והלא פחות חשוב מהאחרים הוא המחיר. המחיר שבו 80Legs מציעה את שירותיה שלה זול ביותר מ-50% מאשר שירותי Crawling או שירותי עיבוד אחרים. בנוסף לכך, התמחור שלנו מתבסס באופ מלא לפי דרישת הלקוח, כך שהלקוח יכול לשלם בדיוק לפי מה שהוא רוצה או צריך לצורך השימוש שלו.

אילו סוגי שימושים ראית עד היום לשירות של 80Legs?
בבטא הסגורה שהרצנו בחצי השנה האחרונה, ראינו ארבעה שימושים עיקריים לפלטפורמה של 80Legs: מנועי חיפוש שהשתמשו במנוע לצורך סריקה עמודי אינטרנט לאינדוקס, שירותי מחקר שוק שרצו לבדוק האם, היכן וכיצד מדברים על המוצר שלהם ברחבי הרשת, שירותי ניטור נכסים אינטלקטואליים (Intellectual Property) אשר ביקשו לחפש אתרים המפרים את זכויות היוצרים של הנכס שלהם ורשתות פרסום שבדקו אתרים לצורך פרסום מודעות ולצורך ידיעה היכן המתחרים שלהם מפרסמים את המודעות שלהם. בנוסף לכך, אנו מצפים שעכשיו, כאשר המערכת יצאה משלב הבטא הסגורה, אנו נראה מגוון רחב יותר של שימושים בשירות שלנו.

האם אתה יכול לתת דוגמאות ספציפיות יותר לגבי חברות המשתמשות בשירותים שלכם?
אני לא יכול לנקוב בשמות ספציפים כחלק מהסכם שמירה על פרטיות הלקוח, אך הלקוחות העיקריים של 80Legs נעים כרגע בין רשתות פרסום גדולות, מנועי חיפוש קטנים ונישתיים, חברות מחקר מהגדולות בשוק ועד לחברות Fortune 500.

ואם אני לא תוכניתן ואין לי בחברה את הידע לכתוב קוד מורכב? אם כל מה שאני רוצה זה לחקור את הרשת בנושא מסוים, האם זה אפשרי?
אפילו אם לחברה אין התמחות טכנולוגית או את היכולת לעצב תוכנת Crawling משלה לצרכי המחקר אותו היא מעוניינת לבצע, 80Legs עדיין יכולה לעבוד בשבילם. באמצעות אשף פשוט, הם יכולים לבחור האם הם מעוניינים לסרוק את הרשת לפי מילות מפתח ספציפיות ואז המערכת תבצע התאמה פשוטה של מילות המפתח עבודה, או שהם יכולים באמצעות ה-80Apps Store להשתמש במגוון רחב של אפליקציות צד שלישי שפותחו עבור דברים כאלו בדיוק ללא צורך בפיתוח נוסף.


סרטון קצר המציג את השירות כפי שהוצג לראשונה בתערוכת Web 2.0 Expo

כחלק מההשקה הרשמית של השירות, הכריזה החברה על פיתוח עתידי של חנות אפליקציות אשר תאפשר למפתחים להשתמש בשירותים של 80Legs כדי להריץ את האפליקציות שלהם ולשתף את האפליקציות שלהם עם מפתחים אחרים. החנות החדשה תאפשר למפתחים אחרים לשוטט בחנות ולרכוש אפליקציות המתאימות לצרכים שלהם דוגמת ביצוע מחקר אינטרנט, מחקרי מדיה שונים, ניתוח סמנטי או כל צורך אחרי שיכול לעלות על דעתם. הרווח ממכירת האפליקציות יהיה לפי מודל CPR וילך כולו אל מפתחי האפליקציות השונות.

שאלנו את שייסון האם ה-80Apps לא יהפוך את החברה לעוד חברה שמוכרת כוח מחשוב?
החברה האחות שלנו, Plura, מתעניינת כרגע בשימושים אחרים שניתן לעשות ב-Grid שיצרנו, אבל 0Legs מיועדת ספציפית לסריקת ה-Web וניתוח תוכן כך שכל האפליקציות שיהיו למערכת יהיו מפותחות למטרה זו. זהו השוק שבו אנו ממוקדים ושם אנחנו מרגישים את הצורך הגודל שאנו צריכים לספק.

האם יש לכם תוכניות עתידיות לגבי תמיכה בסביבות פיתוח נוספות והאם אתם מתכננים בעתיד ליצור סביבת פיתוח מקוונת משלכם כדי לאפשר למפתחים לעבוד ישירות מול המערכת שלכם?
אנו בוחנים ממש בימים אלו תמיכה ב-Ruby וב-Python עבור האנשים של 80Apps ואנחנו מתכננים לשחרר בעתיד גרסאות של API שיתמכו במגוון רחב של שפות פיתוח.  נכון להיום, אנחנו בוחנים אפשרויות לשיתוף פעולה עם מספר גורמי פיתוח מצד שלשי, אשר יספקו לנו ספריות ופוקנציות שהמפתחים ב-80Apps יוכלו להשתמש בהם. זה יאפשר למשתמשים שלנו לפתח וליצור כלים ואפליקציות חדשות שישתמשו בשירותים שאנו מציעים.

.

מעבר ל-80Legs, ישנם עוד שירותים נוספים ברשת המספקים שירותים דומים לאלו של החברה, אך מעבר למיקוד של החברה בתחום החיפוש, היא מאפשרת גם לפתח אפליקציות לשימוש אישי במערכת וכן שימוש בה במחיר נמוך יחסית. אם אתם מפתחים אשר מעוניינים להתנסות בכוח העיבוד החדש של 80Legs בעצמכם, 50 המשתמשים הראשונה שירשמו לשירות תוך שימוש בקוד NEWSGEEK בעת ההרשמה, מה שיקנה לכם תוספת של 50% קרדיט מעבר לקרדיט שהכנסתם בעצמכם.

יניב פלדמן

צ'יף-גיק ועורך ראשי. יזם, סטטיסטיקאי חובב, טכנולוג בדם, בעל תואר ראשון במנהל עסקים ו-Microsoft MVP בתחום אבטחת מידע. התחביב האהוב עליו הוא מציאת פתרונות מסובכים לבעיות פשוטות במיוחד.

הגב

4 Comments on "80 רגליים – מנוע חיפוש קטן משלכם"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 
Sort by:   newest | oldest | most voted
ערן
Guest

אני מניח שהכוונה לגריד
as in "Grid Computing"
http://en.wikipedia.org/wiki/Grid_computing

menashe
Guest

שגיאת כתיב?

"…תוכלו לסרוק בין 100 ל-200 מיליון עמודים מדי יום, אבל עם 80Legs, תוכלו לסרוק עד ל-2 מיליון עמודים ביום אחד…"

אני לא מבין גדול בעניין אבל 100 מיליון דפים עדיין הם יותר מ 2 מיליון.

yanivf
Guest

אתה צודק. הכוונה הייתה ל-2 מיליארד. הטעות תוקנה.
תודה רבה :-)

yanivf
Guest

כן. אם כי לא הבנתי את מטרת השאלה… :-)

wpDiscuz

תגיות לכתבה: