מפרט
מהמקור של היצרן. נתוני ה-Tensor הם ללא sparsity.
- זיכרון
- 80 GB HBM2e
- רוחב פס זיכרון
- 1,935 GB/s
- FP16 Tensor, ללא sparsity
- 312 TFLOPS
- BF16 Tensor, ללא sparsity
- 312 TFLOPS
- FP8 Tensor, ללא sparsity
- אין FP8 Tensor Cores
- INT8 Tensor, ללא sparsity
- 624 TOPS
- הספק מרבי של הכרטיס
- 300 W
- ארכיטקטורה
- Ampere
- קטגוריה
- מרכז נתונים
- תצורה
- כרטיס PCIe
איך הנתונים נשמרו
ה-datasheet מפרט נתונים עם sparsity ובלעדיו; כאן מופיעים הנתונים ללא sparsity. לארכיטקטורת Ampere אין FP8 Tensor Cores.
אילו מודלים פתוחים נכנסים
על NVIDIA A100 80GB PCIe אחד נכנסים 6 מתוך 10 המודלים ב-bf16 כפי שפורסמו, ו-10 ב-int4, בעומס הזה.
הערכה הערכה של המחשבון של ה-GPU Planner: בקשה אחת של 8,192 tokens, KV cache ב-bf16, הגשה עם vLLM, ו-90% מהזיכרון של כל GPU זמינים. כל תא אומר כמה מה-GPU הזה המודל צריך עם tensor parallelism; צפוף פירושו שרק ההערכה האופטימית נכנסת.
| מודל | bf16 (כפי שפורסם) | fp8 | int4 |
|---|---|---|---|
| Qwen2.5 7B Instruct | נכנס על 1 | נכנס על 1 | נכנס על 1 |
| Qwen2.5 14B Instruct | נכנס על 1 | נכנס על 1 | נכנס על 1 |
| Qwen2.5 32B Instruct | נכנס על 2 | נכנס על 1 | נכנס על 1 |
| Qwen2.5 72B Instruct | נכנס על 4 | נכנס על 2 | נכנס על 1 |
| Qwen3 8B | נכנס על 1 | נכנס על 1 | נכנס על 1 |
| Qwen3 32B | נכנס על 2 | נכנס על 1 | נכנס על 1 |
| DeepSeek-R1-Distill-Llama 8B | נכנס על 1 | נכנס על 1 | נכנס על 1 |
| DeepSeek-R1-Distill-Llama 70B | נכנס על 4 | נכנס על 2 | נכנס על 1 |
| Phi-4 | נכנס על 1 | נכנס על 1 | נכנס על 1 |
| Mistral 7B Instruct v0.3 | נכנס על 1 | נכנס על 1 | נכנס על 1 |
הנחות
כל מספר שהתוצאה משתמשת בו ולא הזנתם. אפשר לשנות כל אחד מהם כך שיתאים למקרה שלכם.
- %
ברירת המחדל של gpu_memory_utilization ב-vLLM; השאר נשאר ל-driver ולתהליכים אחרים.
מקור · - ביטים למשקל ב-bf16הנחה16 ביט (הגדרה קבועה)
16 ביט למשקל: הפורמט שבו המודלים מפורסמים.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - ביטים למשקל ב-fp8הנחה8 ביט (הגדרה קבועה)
8 ביט למשקל; ה-scales לכל ערוץ או בלוק מוסיפים פחות מ-0.1 ביט.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - ביטים למשקל ב-int4הנחה4.25 ביט (הגדרה קבועה)
4 ביט למשקל ועוד scale של 16 ביט ו-zero של 4 ביט לכל 128 משקלים (AWQ / GPTQ), כ-4.16, מעוגל ל-4.25 בגלל האריזה.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - ביטים למשקל embedding, זהירהנחה16 ביט (הגדרה קבועה)
checkpoints מכווצים שמתפרסמים משאירים את מטריצות ה-embedding והפלט ב-16 ביט; הקצה הזהיר סופר אותן כך.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - תקורת ריצה לכל GPU, קבועה, אופטימיהנחה0.75 GB (הגדרה קבועה)
CUDA context, שכבת ההגשה ומרחב העבודה של ה-activations בכל GPU: חלק קבוע וחלק שגדל עם המשקלים שה-GPU מחזיק. טווח מוצהר, לא מדידה.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - תקורת ריצה לכל GPU, קבועה, זהירהנחה1.5 GB (הגדרה קבועה)
CUDA context, שכבת ההגשה ומרחב העבודה של ה-activations בכל GPU: חלק קבוע וחלק שגדל עם המשקלים שה-GPU מחזיק. טווח מוצהר, לא מדידה.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - תקורת ריצה, חלק מהמשקלים, אופטימיהנחה0.03 (הגדרה קבועה)
CUDA context, שכבת ההגשה ומרחב העבודה של ה-activations בכל GPU: חלק קבוע וחלק שגדל עם המשקלים שה-GPU מחזיק. טווח מוצהר, לא מדידה.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם. - תקורת ריצה, חלק מהמשקלים, זהירהנחה0.1 (הגדרה קבועה)
CUDA context, שכבת ההגשה ומרחב העבודה של ה-activations בכל GPU: חלק קבוע וחלק שגדל עם המשקלים שה-GPU מחזיק. טווח מוצהר, לא מדידה.
אין מקור: זו הנחה שלנו. שנו אותה אם אתם מכירים את המקרה שלכם.
מה שהזנתם וההנחות ששיניתם נשמרים בקישור של העמוד, אחרי ה-#.
בהשוואה ל-GPUs הסמוכים
ה-GPUs הקרובים ביותר במאגר לפי זיכרון, עם אותם נתונים מהמקורות שלהם.
| GPU | זיכרון | רוחב פס | BF16, ללא sparsity | FP8, ללא sparsity | הספק | מקור |
|---|---|---|---|---|---|---|
| NVIDIA L40S | 48 GB GDDR6 | 864 GB/s | 362.05 TFLOPS | 733 TFLOPS | 350 W | |
| NVIDIA A100 80GB PCIe ה-GPU הזה | 80 GB HBM2e | 1,935 GB/s | 312 TFLOPS | אין FP8 Tensor Cores | 300 W | |
| NVIDIA A100 80GB SXM | 80 GB HBM2e | 2,039 GB/s | 312 TFLOPS | אין FP8 Tensor Cores | 400 W |
תכננו את המקרה שלכם
יותר בקשות במקביל, הקשר ארוך יותר או מודל אחר משנים את התשובה. ה-GPU Planner מחשב אותה כשה-GPU הזה כבר נבחר, וכותב את פקודת vLLM או Ollama.
מגבלות
- הנתונים הם של היצרן ולא מדידות; ההתאמה היא הערכה של מנוע ה-GPU של האתר ולא benchmark.
- טבלת ההתאמה מכסה רק את המודלים הפתוחים הצפופים (dense) שבמאגר; מודלי mixture-of-experts לא כלולים בה.
- אין בעמוד הזה מחיר, זמינות או הצעה.
מקורות
הגדרות המודלים
- Qwen/Qwen2.5-7B-Instruct: config.json
- Qwen/Qwen2.5-7B-Instruct: model card
- Qwen/Qwen2.5-14B-Instruct: config.json
- Qwen/Qwen2.5-14B-Instruct: model card
- Qwen/Qwen2.5-32B-Instruct: config.json
- Qwen/Qwen2.5-32B-Instruct: model card
- Qwen/Qwen2.5-72B-Instruct: config.json
- Qwen/Qwen2.5-72B-Instruct: model card
- Qwen/Qwen3-8B: config.json
- Qwen/Qwen3-8B: model card
- Qwen/Qwen3-32B: config.json
- Qwen/Qwen3-32B: model card
- deepseek-ai/DeepSeek-R1-Distill-Llama-8B: config.json
- deepseek-ai/DeepSeek-R1-Distill-Llama-8B: model card
- deepseek-ai/DeepSeek-R1-Distill-Llama-70B: config.json
- deepseek-ai/DeepSeek-R1-Distill-Llama-70B: model card
- microsoft/phi-4: config.json
- microsoft/phi-4: model card
- mistralai/Mistral-7B-Instruct-v0.3: config.json
- mistralai/Mistral-7B-Instruct-v0.3: model card
מנוע GPU @anaroq/gpu 1.0.0 · נתוני GPU 2026.10.0 · נתוני מודלים 2026.10.0
איך ההערכות מחושבות: מתודולוגיה