שני נתונים קובעים את רוב מה ש-GPU יכול לעשות עם מודל שפה: הזיכרון, שמגביל את המודל ואת ההקשר שאפשר להחזיק, ורוחב הפס של הזיכרון, שמגביל את קצב יצירת ה-tokens. קצב ה-Tensor חשוב כשמגישים בקשות רבות במקביל.
הטבלה כוללת רק GPUs שיש להם מקור רשמי של היצרן. נתוני ה-Tensor הם ללא sparsity, כדי שאפשר יהיה להשוות בין datasheets שונים; בעמוד של כל GPU כתוב איך הנתונים שפורסמו הומרו לנתונים שכאן.
כל ה-GPUs במאגר
ממוינים לפי זיכרון. נתון שנקרא לפני יותר מ-180 ימים מסומן כישן. כל GPU מקשר לעמוד שלו.
| GPU | זיכרון | רוחב פס | BF16, ללא sparsity | FP8, ללא sparsity | הספק | מקור |
|---|---|---|---|---|---|---|
| NVIDIA L4 | 24 GB GDDR6 | 300 GB/s | 121 TFLOPS | 242.5 TFLOPS | 72 W | |
| NVIDIA GeForce RTX 4090 | 24 GB GDDR6X | 1,008 GB/s | 165.2 TFLOPS | 330.3 TFLOPS | 450 W | |
| NVIDIA GeForce RTX 5090 | 32 GB GDDR7 | 1,792 GB/s | 209.5 TFLOPS | 419 TFLOPS | 575 W | |
| NVIDIA L40S | 48 GB GDDR6 | 864 GB/s | 362.05 TFLOPS | 733 TFLOPS | 350 W | |
| NVIDIA A100 80GB PCIe | 80 GB HBM2e | 1,935 GB/s | 312 TFLOPS | אין FP8 Tensor Cores | 300 W | |
| NVIDIA A100 80GB SXM | 80 GB HBM2e | 2,039 GB/s | 312 TFLOPS | אין FP8 Tensor Cores | 400 W | |
| NVIDIA H100 SXM | 80 GB HBM3 | 3,350 GB/s | 989.5 TFLOPS | 1,979 TFLOPS | 700 W | |
| NVIDIA H100 NVL | 94 GB HBM3 | 3,900 GB/s | 835.5 TFLOPS | 1,670.5 TFLOPS | 400 W | |
| NVIDIA H200 SXM | 141 GB HBM3e | 4,800 GB/s | 989.5 TFLOPS | 1,979 TFLOPS | 700 W | |
| NVIDIA B200 | 180 GB HBM3e | 8,000 GB/s | 2,250 TFLOPS | 4,500 TFLOPS | לא פורסם לכל GPU |
איך לקרוא את הטבלה
ל-H100 SXM ול-H200 SXM אותו קצב Tensor, אבל ל-H200 SXM יש 141 GB ב-4,800 GB/s לעומת 80 GB ב-3,350 GB/s: הוא מחזיק מודלים גדולים יותר ומייצר מהר יותר על אותו מודל.
מגבלות
- נתוני datasheet ולא מדידות: הקצב בפועל תלוי במנוע, בקרנלים ובעומס.
- רק GPUs של NVIDIA, כפי שהם במאגר היום; ל-GPU בלי מקור רשמי אין עמוד.
- אין בעמודים האלה מחיר, זמינות או הצעה.
מקורות
- NVIDIA L4 Tensor Core GPU: Product Specifications
- NVIDIA Ada GPU Architecture, Appendix A: GeForce RTX 4090 Full Specifications
- NVIDIA RTX Blackwell GPU Architecture, Appendix A: GeForce RTX 5090
- NVIDIA L40S GPU Specifications
- NVIDIA A100 Tensor Core GPU: Specifications
- NVIDIA H100 Tensor Core GPU: Product Specifications
- NVIDIA H200 Tensor Core GPU: Specifications
- NVIDIA HGX Platform: HGX B200 Specifications
- NVIDIA DGX B200 Specifications
מנוע GPU @anaroq/gpu 1.0.0 · נתוני GPU 2026.10.0 · נתוני מודלים 2026.10.0
איך ההערכות מחושבות: מתודולוגיה