AI על GPU משלכם
מה צריך כדי להריץ מודלי AI פתוחים על GPU שבשליטתכם: זיכרון, מהירות וכל מה שמסביב.
הרצה עצמית של מודל מתחילה בשאלה אחת: האם הוא נכנס? התשובה תלויה בגודל המודל, בדיוק שבו המשקלים שלו שמורים ובכמות ההקשר שהוא צריך להחזיק בזיכרון, והיא קובעת איזה GPU המודל צריך, וכמה.
הנושא הזה מרכז את הכלים והעמודים שעונים על השאלה מתוך datasheets והגדרות מודלים שפורסמו, עם כל ההנחות גלויות, כדי שאפשר יהיה לבדוק את ההערכה לפני ששוכרים או קונים חומרה.
מסלול מומלץ
- משווים GPUs
רואים את הזיכרון, רוחב הפס וקצב ה-Tensor של כל GPU מה-datasheet שלו, ואילו מודלים פתוחים נכנסים עליו.
- בודקים התאמה
מעריכים את זיכרון ה-GPU שדרוש למשקלים ול-KV cache, והאם GPU אחד מספיק.
- בודקים את ההנחות
קוראים איך ההערכות מחושבות, ומה הן לא כוללות, לפני שסומכים עליהן.
כלים ועמודים
| עמוד | סוג | על העמוד |
|---|---|---|
| GPUs להרצת LLM: השוואת מפרטים | נתונים | כרטיסי ה-GPU של NVIDIA במאגר ה-GPU של האתר זה לצד זה: זיכרון, רוחב פס זיכרון, קצב Tensor ללא sparsity והספק מרבי, מה-datasheet של היצרן ועם תאריך הקריאה, ועמוד לכל GPU עם המודלים הפתוחים שנכנסים עליו. |
| NVIDIA B200: מפרט ואילו מודלי LLM נכנסים | נתונים | נתוני NVIDIA B200 מה-datasheet של היצרן, כל אחד עם מקור ותאריך קריאה, אילו מודלי LLM פתוחים נכנסים עליו ב-bf16, fp8 ו-int4 כהערכה, השוואה ל-GPUs הסמוכים, וקישור ל-GPU Planner כשהוא כבר נבחר. |
| NVIDIA H200 SXM: מפרט ואילו מודלי LLM נכנסים | נתונים | נתוני NVIDIA H200 SXM מה-datasheet של היצרן, כל אחד עם מקור ותאריך קריאה, אילו מודלי LLM פתוחים נכנסים עליו ב-bf16, fp8 ו-int4 כהערכה, השוואה ל-GPUs הסמוכים, וקישור ל-GPU Planner כשהוא כבר נבחר. |
| NVIDIA H100 SXM: מפרט ואילו מודלי LLM נכנסים | נתונים | נתוני NVIDIA H100 SXM מה-datasheet של היצרן, כל אחד עם מקור ותאריך קריאה, אילו מודלי LLM פתוחים נכנסים עליו ב-bf16, fp8 ו-int4 כהערכה, השוואה ל-GPUs הסמוכים, וקישור ל-GPU Planner כשהוא כבר נבחר. |
| NVIDIA H100 NVL: מפרט ואילו מודלי LLM נכנסים | נתונים | נתוני NVIDIA H100 NVL מה-datasheet של היצרן, כל אחד עם מקור ותאריך קריאה, אילו מודלי LLM פתוחים נכנסים עליו ב-bf16, fp8 ו-int4 כהערכה, השוואה ל-GPUs הסמוכים, וקישור ל-GPU Planner כשהוא כבר נבחר. |
| NVIDIA A100 80GB SXM: מפרט ואילו מודלי LLM נכנסים | נתונים | נתוני NVIDIA A100 80GB SXM מה-datasheet של היצרן, כל אחד עם מקור ותאריך קריאה, אילו מודלי LLM פתוחים נכנסים עליו ב-bf16, fp8 ו-int4 כהערכה, השוואה ל-GPUs הסמוכים, וקישור ל-GPU Planner כשהוא כבר נבחר. |
| NVIDIA A100 80GB PCIe: מפרט ואילו מודלי LLM נכנסים | נתונים | נתוני NVIDIA A100 80GB PCIe מה-datasheet של היצרן, כל אחד עם מקור ותאריך קריאה, אילו מודלי LLM פתוחים נכנסים עליו ב-bf16, fp8 ו-int4 כהערכה, השוואה ל-GPUs הסמוכים, וקישור ל-GPU Planner כשהוא כבר נבחר. |
| NVIDIA L40S: מפרט ואילו מודלי LLM נכנסים | נתונים | נתוני NVIDIA L40S מה-datasheet של היצרן, כל אחד עם מקור ותאריך קריאה, אילו מודלי LLM פתוחים נכנסים עליו ב-bf16, fp8 ו-int4 כהערכה, השוואה ל-GPUs הסמוכים, וקישור ל-GPU Planner כשהוא כבר נבחר. |
| NVIDIA L4: מפרט ואילו מודלי LLM נכנסים | נתונים | נתוני NVIDIA L4 מה-datasheet של היצרן, כל אחד עם מקור ותאריך קריאה, אילו מודלי LLM פתוחים נכנסים עליו ב-bf16, fp8 ו-int4 כהערכה, השוואה ל-GPUs הסמוכים, וקישור ל-GPU Planner כשהוא כבר נבחר. |
| NVIDIA GeForce RTX 5090: מפרט ואילו מודלי LLM נכנסים | נתונים | נתוני NVIDIA GeForce RTX 5090 מה-datasheet של היצרן, כל אחד עם מקור ותאריך קריאה, אילו מודלי LLM פתוחים נכנסים עליו ב-bf16, fp8 ו-int4 כהערכה, השוואה ל-GPUs הסמוכים, וקישור ל-GPU Planner כשהוא כבר נבחר. |
| NVIDIA GeForce RTX 4090: מפרט ואילו מודלי LLM נכנסים | נתונים | נתוני NVIDIA GeForce RTX 4090 מה-datasheet של היצרן, כל אחד עם מקור ותאריך קריאה, אילו מודלי LLM פתוחים נכנסים עליו ב-bf16, fp8 ו-int4 כהערכה, השוואה ל-GPUs הסמוכים, וקישור ל-GPU Planner כשהוא כבר נבחר. |
ראו גם: מתודולוגיה · כלים חינמיים