עם 16 אלף GPUs: מטא מציגה מחשב-על שיוכל להריץ יותר מקוינטיליון משימות בשנייה

שזה 1 עם 18 אפסים אחריו. וכן, אם תהיתם לאן נעלמו כל ה-GPUs בעולם – הם כנראה אצל Meta

תמונה: Meta

בזמן שמשבר השבבים וצווארי בקבוק בתהליכי הייצור לא מאפשרים לכם להניח את ידיכם על GPU בודד, מטא (חברת האם של פייסבוק) מודיעה היום (ב׳) על השלמת השלב הראשון בהקמה של מחשב-על חדש בשם RSC (קיצור של Research SuperCluster), שאמור להיות אחד ממחשבי העל הגדולים והמהירים בעולם – עם כמות מפלצתית של GPUs ותעבורת מידע שאמורה להפוך את כל מה שחוקרים יכולים לדעת על AI.

לא תריצו עליו את קרייסיס, אבל כן תוכלו להריץ עליו משימות AI מורכבות

הדור הקודם של RSC הונדס ב-2017 והורכב מ-22,000 יחידות של NVIDIA V100 Tensor Core שהצליחו להשלים 35 אלף משימות אימון ביום אחד. אבל נראה שלמטא זה לא הספיק, וב-2020 הוחלט להתחיל לתכנן את הדור השני של RSC, שכרגע מורכב מ-760 מערכות DGX A100 של NVIDIA, שהן בעצם 6,080 כרטיסים גרפיים. נזכיר כי NVIDIA חשפה את ה-DGX A100 בסוף 2020, כתחנת עבודה שניתן להתקין עליה 8 GPUs מסוג A100, שביחד מציגים 640GB של זיכרון. כל יחידה של A100, כך לדברי NVIDIA, מובילה לביצועים משופרים עד פי 20 בהשוואה לדור הקודם.

כדי לאחסן את כל הררי המידע שמטא מתכננת לעבד, נבנתה גם שכבת איחסון שכוללת 165 פטהבייט (=1,000 טרהבייט) של זיכרון Pure Storage FlashArray; עוד 56 פטהבייט לזיכרון Cache; ועוד 10 פטהבייט של Pure Storage FlashBlade. מה שעוד תמצאו בקרביים של המפלצת הזאת, זה קצת גאווה מקומית בדמות מערכת התקשורת InfiniBand של NVIDIA, שהיא כמובן פרי פיתוחה של חטיבת מלאנוקס הישראלית של NVIDIA. המערכות הללו מסוגלות לעבד 16TB/s של מידע אימונים, ובמטא טוענים כי יוכלו לשפר את הביצועים עד ל-1Exabyte. בקטנה.


הנתונים ש-Meta משתפים בשלב זה מאששים את ההצהרות של NVIDIA, ובשימוש במערכות Legacy, ה-Workflows הקשורים לראייה ממוחשת רצים במהירות מהירה פי 20, ומריצה את ה-NCCL של NVIDIA מהר יותר פי 9; ומאמנת מודלי NLP גדולים פי 3 מהר יותר. כאשר היא תשלים את העבודה על ה-RSC החדש, מטא טוענת כי הוא יכיל 16,000 GPUs, מה שיהפוך אותו לאחד המתקנים הגדולים בעולם.

החוקרים של מטא כבר משתמשים ב-RSC כדי לאמן מודלים גדולים ב-NLP וראייה ממוחשבת, מתוך מטרה לאמן בהמשך מודלים עם יותר מטריליון פרמטרים. לשם השוואה, GPT-3, אחד ממודלי השפה המתקדמים ביותר כיום, מכיל "רק" 175 מיליארד פרמטרים.

המחשב החדש אמור לסייע לניתוח של מאות שפות שונות בו זמנית, ניתוח של טקסט בתוך תמונות וסרטונים, פיתוח כלי AR ועוד. בין היתר – מטא גם מציינת כי ניתוחים שכאלו ואחרים יכולים לעזור לה לזהות תוכן פוגעני בצורה טובה ומהירה יותר. בחברה גם טוענים כי המערכת מסוגלת לנתח מידע מוצפן של משתמשים שמפוענח רק רגע לפני האימון עצמו, ולפני הייבוא ל-RSC, הוא עובר תהליך ביקורת שמוודא שהמידע עבר אנונימיזציה. ה-RSC עצמו מנותק לחלוטין מרשת האינטרנט הכללית ומידע זורם אך ורק לדאטהסנטרים של מטא. לאחר האימון, מפתחות הפיענוח נמחקים כדי לוודא שהמידע הישן לא זמין יותר.

מקור: מטא

החוקרים של מטא שעבדו על RSC מספרים כי העבודה החלה ממסמך משותף בלב הסגרים הראשונים של 2020, ושנה וחצי לאחר מכן – המחשב כבר פעיל בתצורתו החדשה. בחברה טוענים כי משבר השבבים תקע גם את העבודה על RSC והקשה על החברה להניח את ידיה על GPUs ואפילו על חומרי בנייה למבנה עצמו.

כמובן שמטא לא יכולה להכריז על שום דבר בלי להשתמש בבאזוורד המעיק של שנת 2021 שמאיים להשתלט גם על 2022, ה-MetaVerse, וטוענת כי הוא ישחק תפקיד משמעותי בפיתוח של האינטרנט החדש שעד עכשיו לאף אחד לא ברור מה הוא אומר באמת.

עידן בן טובים

נולד עם ג׳ויסטיק ביד. יש לו הרבה יותר מדי גאדג׳טים והרבה פחות מדי זמן פנוי כדי לשחק עם כולם. בעל פטיש לא מוסבר לביצוע קליברציות לסוללות של מכשירים. כשהוא לא עסוק בלכתוב על טכנולוגיה, הוא אוהב לדבר עליה, והרבה

הגב

16 תגובות על "עם 16 אלף GPUs: מטא מציגה מחשב-על שיוכל להריץ יותר מקוינטיליון משימות בשנייה"

avatar
Photo and Image Files
 
 
 
Audio and Video Files
 
 
 
Other File Types
 
 
 

* היי, אנחנו אוהבים תגובות!
תיקונים, תגובות קוטלות וכמובן תגובות מפרגנות - בכיף.
חופש הביטוי הוא ערך עליון, אבל לא נוכל להשלים עם תגובות שכוללות הסתה, הוצאת דיבה, תגובות שכוללות מידע המפר את תנאי השימוש של Geektime, תגובות שחורגות מהטעם הטוב ותגובות שהן בניגוד לדין. תגובות כאלו יימחקו מייד.

סידור לפי:   חדש | ישן | הכי מדורגים
בצל גראפי
Guest

16 אלף GPU והיה להם קשה להשיג….
אויש מסכנים.
חלאות הלוואי שתכחדו

101
Guest

הם ישתמשו בו לדברים יותר מועילים לאנושות ממשחקים וקריפטו אז אני מאחל להם כל טוב ושימשיכו לשתות את אספקת הGPU משימושים חסרי תועלת

כרובי
Guest

דברים מועילים כמו פרסומות בחלומות?

ASD
Guest

כמו זיהוי של ספאם וfake news. אבל כן, גם לפרסומות (בכל זאת, ככה הם עושים את הכסף)

מה הולך פה
Guest

זיהוי FAKE NEWS?
זה כל הכסף שלהם. פייק זה הכי וויראלי
גם היום יש להם המון דרכים לנטר את זה.
זה לא כלכלי אז זה לא יקרה. ברוך הבא לעולם

בצל גראפי
Guest

צודק כי פייסבוק ידועה בפילנטרופיות שלה. רק על טובת האנושות הם חושבים… ממש צדיקים.
תגיד לי אתה שפוי? אני מסכים שגם כריית הקריפטו זה משהו לא טוב… אבל זה לא אומר שצריך להוסיף חטא על פשע.

לאון
Guest

אתה יכול לציין ענקית טכנולוגיה הידועה בפילנטרופיות?

רומני אמיתי
Guest

"הם ישתמשו בו לדברים יותר מועילים לאנושות"… עד כמה אתה נאייבי?
באמת נראה לך שזה לטובת מחקר רפואי או לטובת שלום עולמי?

צוקי
Guest

רק שיהיה ברור, הם משתמשים בזה להכניס את כולנו למטווארס

ZUZ
Guest

להשקיע מיליארדים במטה/מתה כן, לתקן באגים מפגרים בפייסבוק במשך שנים… לא מה פתאום.

ASD
Guest

זו ההוכחה שלא צריך להשקיע בבאגים מפגרים כדי לצמוח ושיש דברים חשובים יותר להתעסק איתם

בלבל
Guest

השאלה האם זה מריץ Cyberpunk 2077…

רומני אמיתי
Guest
המהלך הזה יפה מאוד וכבודו מונח במקומו.. אבל!.. זה לא שהם עשו משהו מיוחד. הם לא הקימו איזה מחשוב על עם פי שתיים יכולות תוך כדי ניצול שליש שטח שהיה משמש מחשוב על אחר.. סתם לקחו ערימת כרטיסים ועוד אחסון מכמה סוגים וחיברו בינהם. שלא חלילה לזלזל במאמץ הזה.. אבל כל חברת אחסון יכולה למכור לך כזה. אם היו אומרים לי שהם ישבו במעבדות שלהם וייצרו את המערך הזה כשהו צורך שליש חשמל או שכל החשמל של הדבר הזה מופק מפאנלים סולריים על הגג של המבנה ואת היתרות הם תורמים לסביבה.. הייתי מתרשם. פה הם סתם הגדילו את הזיהום הסביבתי… Read more »
ASD
Guest

למה נראה לך שמישהו ניסה להרשים אותך?

חוץ מזה שהעובדה שהם שפכו פה מליארדים על העניין כן מאותת שהם הולכים להשקיע בחזון שלהם. ברור שכל אחד יכול, אבל יש הבדל בין יכול לבין לשים את הכסף איפה שהפה שלך נמצא (באנגלית זה נשמע כל כך הרבה יותר טוב)

רומני אמיתי
Guest

חבר קפוץ לבית מרקחת הקרוב לביתך ובקש מירמורון..

צוקי
Guest

בזיון שנותנים להם להקים חוות כאלה, ליצור חוסר זמינות לציבור הרחב, ולא לשלם על זה.

wpDiscuz

תגיות לכתבה: