מפרט
מהמקור של היצרן. נתוני ה-Tensor הם ללא sparsity.
- זיכרון
- 80 GB HBM2e
- רוחב פס זיכרון
- 2,039 GB/s
- FP16 Tensor, ללא sparsity
- 312 TFLOPS
- BF16 Tensor, ללא sparsity
- 312 TFLOPS
- FP8 Tensor, ללא sparsity
- אין FP8 Tensor Cores
- INT8 Tensor, ללא sparsity
- 624 TOPS
- הספק מרבי של הכרטיס
- 400 W
- ארכיטקטורה
- Ampere
- קטגוריה
- מרכז נתונים
- תצורה
- מודול SXM
איך הנתונים נשמרו
ה-datasheet מפרט נתונים עם sparsity ובלעדיו; כאן מופיעים הנתונים ללא sparsity. לארכיטקטורת Ampere אין FP8 Tensor Cores. ההספק הוא של התצורה הרגילה (גרסת CTS מגיעה עד 500 W).
אילו מודלים פתוחים נכנסים
על NVIDIA A100 80GB SXM אחד נכנסים 6 מתוך 10 המודלים ב-bf16 כפי שפורסמו, ו-10 ב-int4, בעומס הזה.
הערכה הערכה של המחשבון של ה-GPU Planner: בקשה אחת של 8,192 tokens, KV cache ב-bf16, הגשה עם vLLM, ו-90% מהזיכרון של כל GPU זמינים. כל תא אומר כמה מה-GPU הזה המודל צריך עם tensor parallelism; צפוף פירושו שרק ההערכה האופטימית נכנסת.
| מודל | bf16 (כפי שפורסם) | fp8 | int4 |
|---|---|---|---|
| Qwen2.5 7B Instruct | נכנס על 1 | נכנס על 1 | נכנס על 1 |
| Qwen2.5 14B Instruct | נכנס על 1 | נכנס על 1 | נכנס על 1 |
| Qwen2.5 32B Instruct | נכנס על 2 | נכנס על 1 | נכנס על 1 |
| Qwen2.5 72B Instruct | נכנס על 4 | נכנס על 2 | נכנס על 1 |
| Qwen3 8B | נכנס על 1 | נכנס על 1 | נכנס על 1 |
| Qwen3 32B | נכנס על 2 | נכנס על 1 | נכנס על 1 |
| DeepSeek-R1-Distill-Llama 8B | נכנס על 1 | נכנס על 1 | נכנס על 1 |
| DeepSeek-R1-Distill-Llama 70B | נכנס על 4 | נכנס על 2 | נכנס על 1 |
| Phi-4 | נכנס על 1 | נכנס על 1 | נכנס על 1 |
| Mistral 7B Instruct v0.3 | נכנס על 1 | נכנס על 1 | נכנס על 1 |
הנחות
כל מספר שהתוצאה משתמשת בו ולא הזנתם. אפשר לשנות כל אחד מהם כך שיתאים למקרה שלכם.
- %
ברירת המחדל של gpu_memory_utilization ב-vLLM; השאר נשאר ל-driver ולתהליכים אחרים.
מקור · - ביטים למשקל ב-bf16הנחה16 ביט (הגדרה קבועה)
16 ביט למשקל: הפורמט שבו המודלים מפורסמים.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - ביטים למשקל ב-fp8הנחה8 ביט (הגדרה קבועה)
8 ביט למשקל; ה-scales לכל ערוץ או בלוק מוסיפים פחות מ-0.1 ביט.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - ביטים למשקל ב-int4הנחה4.25 ביט (הגדרה קבועה)
4 ביט למשקל ועוד scale של 16 ביט ו-zero של 4 ביט לכל 128 משקלים (AWQ / GPTQ), כ-4.16, מעוגל ל-4.25 בגלל האריזה.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - ביטים למשקל embedding, זהירהנחה16 ביט (הגדרה קבועה)
checkpoints מכווצים שמתפרסמים משאירים את מטריצות ה-embedding והפלט ב-16 ביט; הקצה הזהיר סופר אותן כך.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - תקורת ריצה לכל GPU, קבועה, אופטימיהנחה0.75 GB (הגדרה קבועה)
CUDA context, שכבת ההגשה ומרחב העבודה של ה-activations בכל GPU: חלק קבוע וחלק שגדל עם המשקלים שה-GPU מחזיק. טווח מוצהר, לא מדידה.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - תקורת ריצה לכל GPU, קבועה, זהירהנחה1.5 GB (הגדרה קבועה)
CUDA context, שכבת ההגשה ומרחב העבודה של ה-activations בכל GPU: חלק קבוע וחלק שגדל עם המשקלים שה-GPU מחזיק. טווח מוצהר, לא מדידה.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - תקורת ריצה, חלק מהמשקלים, אופטימיהנחה0.03 (הגדרה קבועה)
CUDA context, שכבת ההגשה ומרחב העבודה של ה-activations בכל GPU: חלק קבוע וחלק שגדל עם המשקלים שה-GPU מחזיק. טווח מוצהר, לא מדידה.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - תקורת ריצה, חלק מהמשקלים, זהירהנחה0.1 (הגדרה קבועה)
CUDA context, שכבת ההגשה ומרחב העבודה של ה-activations בכל GPU: חלק קבוע וחלק שגדל עם המשקלים שה-GPU מחזיק. טווח מוצהר, לא מדידה.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם.
מה שהזנתם וההנחות ששיניתם נשמרים בקישור של העמוד, אחרי ה-#.
בהשוואה ל-GPUs הסמוכים
ה-GPUs הקרובים ביותר במאגר לפי זיכרון, עם אותם נתונים מהמקורות שלהם.
| GPU | זיכרון | רוחב פס | BF16, ללא sparsity | FP8, ללא sparsity | הספק | מקור |
|---|---|---|---|---|---|---|
| NVIDIA A100 80GB PCIe | 80 GB HBM2e | 1,935 GB/s | 312 TFLOPS | אין FP8 Tensor Cores | 300 W | |
| NVIDIA A100 80GB SXM ה-GPU הזה | 80 GB HBM2e | 2,039 GB/s | 312 TFLOPS | אין FP8 Tensor Cores | 400 W | |
| NVIDIA H100 SXM | 80 GB HBM3 | 3,350 GB/s | 989.5 TFLOPS | 1,979 TFLOPS | 700 W |
תכננו את המקרה שלכם
יותר בקשות במקביל, הקשר ארוך יותר או מודל אחר משנים את התשובה. ה-GPU Planner מחשב אותה כשה-GPU הזה כבר נבחר, וכותב את פקודת vLLM או Ollama.
מגבלות
- הנתונים הם של היצרן ולא מדידות; ההתאמה היא הערכה של מנוע ה-GPU של האתר ולא benchmark.
- טבלת ההתאמה מכסה רק את המודלים הפתוחים הצפופים (dense) שבמאגר; מודלי mixture-of-experts לא כלולים בה.
- אין בעמוד הזה מחיר, זמינות או הצעה.
מקורות
הגדרות המודלים
- Qwen/Qwen2.5-7B-Instruct: config.json
- Qwen/Qwen2.5-7B-Instruct: model card
- Qwen/Qwen2.5-14B-Instruct: config.json
- Qwen/Qwen2.5-14B-Instruct: model card
- Qwen/Qwen2.5-32B-Instruct: config.json
- Qwen/Qwen2.5-32B-Instruct: model card
- Qwen/Qwen2.5-72B-Instruct: config.json
- Qwen/Qwen2.5-72B-Instruct: model card
- Qwen/Qwen3-8B: config.json
- Qwen/Qwen3-8B: model card
- Qwen/Qwen3-32B: config.json
- Qwen/Qwen3-32B: model card
- deepseek-ai/DeepSeek-R1-Distill-Llama-8B: config.json
- deepseek-ai/DeepSeek-R1-Distill-Llama-8B: model card
- deepseek-ai/DeepSeek-R1-Distill-Llama-70B: config.json
- deepseek-ai/DeepSeek-R1-Distill-Llama-70B: model card
- microsoft/phi-4: config.json
- microsoft/phi-4: model card
- mistralai/Mistral-7B-Instruct-v0.3: config.json
- mistralai/Mistral-7B-Instruct-v0.3: model card
מנוע GPU @anaroq/gpu 1.0.0 · נתוני GPU 2026.10.0 · נתוני מודלים 2026.10.0
איך ההערכות מחושבות: מתודולוגיה