מה המדריך הזה מוסיף
ה-GPU Planner אומר על אילו כרטיסים המודל נכנס, מחשבון עלות ה-LLM אומר אם שכירה משתלמת יותר מ-API, ומדד מחירי ה-GPU מראה כמה עולה לשכור כרטיס בודד. המדריך מסדר אותם בסדר שבו מקבלים את ההחלטה, ומוסיף את מה שאף אחד מהם לא מכסה: החיבור בין הכרטיסים, שכבת התוכנה, החיוב והעברת הנתונים.
לפני שמשווים
השאלה היא כמעט אף פעם לא איזה GPU הכי טוב. השאלה היא מהו הכרטיס הקטן ביותר שהמודל נכנס אליו, בהקשר ובמקביליות שאתם צריכים, והאם שכירה שלו עולה פחות מ-API. לשאלה הזאת יש סדר: מודל, זיכרון, עלות, ורק אז ספק.
כל נתון כאן מגיע מהנתונים של האתר, עם המקור שלו ותאריך הקריאה. הטקסט לא נוקב במחיר ולא מדרג אף ספק.
מה להשוות
- קודם כול זיכרון ה-GPU
- המשקלים, ה-KV cache של ההקשר והתקורה של סביבת הריצה צריכים להיכנס כולם לזיכרון ה-GPU. כרטיס עם יותר כוח חישוב ופחות מדי זיכרון לא יריץ את המודל בכלל.
- פורמט המשקלים
- משקלים מכווצים (quantized) צריכים פחות זיכרון, במחיר של ירידה מסוימת באיכות. החליטו על הפורמט לפני שבוחרים כרטיס; ה-GPU Planner משווה בין פורמטים.
- כרטיס אחד או כמה
- מודל שמפוצל בין כרטיסים צריך חיבור מהיר ביניהם. הצעות עם כמה GPU במכונה אחת מציינות את החיבור; פיצול בין מכונות איטי עוד יותר.
- שכבת התוכנה
- בדקו את הדרייבר, את גרסת CUDA או ROCm ואת ה-image ששרת המודל צריך מול מה שההצעה מספקת, לפני ששוכרים.
- חיוב ועצירה
- חיוב on-demand רץ כל עוד המכונה קיימת. בדקו את יחידת החיוב, האם מכונה עצורה עדיין מחויבת על האחסון שלה, וכמה מהר היא עולה שוב.
- העברת נתונים
- משקלי מודלים ו-datasets גדולים. בדקו כמה עולה להכניס אותם ולהוציא תוצאות אצל הספק.
מודדים בכלים
לפי הסדר. על כל שלב עונה כלי חינמי באתר שעובד בדפדפן.
- מכניסים את המודל לזיכרון
בוחרים מודל, פורמט משקלים, הקשר ומספר בקשות במקביל. ה-GPU Planner נותן את הזיכרון הדרוש, על אילו כרטיסים המודל נכנס וכמה מכל אחד.
- משווים ל-API
מזינים את נפח הטוקנים, את ה-API שהייתם משלמים עליו ואת הכרטיס שהייתם שוכרים. המחשבון נותן את שתי העלויות החודשיות ואת הנפח שממנו הרצה עצמית מפסיקה לעלות יותר.
- בודקים בסיס על CPU
למודל קטן או לשימוש קל, ה-Stack Sizer מעריך את Open WebUI עם Ollama על CPU בלבד. אם זה מספיק, אין צורך ב-GPU בכלל.
כלי: Stack Sizer
- מתמחרים את העברת הנתונים
מזינים כמה תשלחו החוצה מהספק, כולל תוצאות וגיבויים, וכמה תעבירו החוצה אם תעזבו. משקלים ו-datasets הופכים את עלות היציאה לממשית.
מחירים מתוארכים ממדד המחירים
הצעות on-demand של GPU בודד מהמדגם של מדד מחירי ה-GPU, בסדר של מאגר הנתונים, עם הזיכרון של כל כרטיס. קראו אותן רק אחרי שה-GPU Planner אמר לכם כמה זיכרון המודל צריך; המדד המלא מוסיף הצעות עם כמה GPU ומחיר לכל GB של זיכרון.
| ספק | GPU | אזור | זיכרון GPU (GB) | מחיר מפורסם לשעת GPU |
|---|---|---|---|---|
| Lambda | NVIDIA H100 SXM | ארצות הברית | 80 | 4.29 $ |
| Lambda | NVIDIA A100 PCIe 40 GB | ארצות הברית | 40 | 1.99 $ |
| Lambda | NVIDIA B200 SXM6 | ארצות הברית | 180 | 6.99 $ |
| DigitalOcean | NVIDIA HGX H100 | מחיר אחד בכל מקום | 80 | 4.41 $ |
| DigitalOcean | NVIDIA HGX H200 | מחיר אחד בכל מקום | 141 | 4.47 $ |
| DigitalOcean | NVIDIA L40S | מחיר אחד בכל מקום | 48 | 1.57 $ |
| DigitalOcean | NVIDIA RTX 4000 Ada Generation | מחיר אחד בכל מקום | 20 | 0.76 $ |
| Runpod | H100 SXM | מחיר אחד בכל מקום | 80 | 3.99 $ |
| Runpod | H100 PCIe | מחיר אחד בכל מקום | 80 | 2.89 $ |
| Runpod | A100 SXM | מחיר אחד בכל מקום | 80 | 1.79 $ |
| Runpod | L40S | מחיר אחד בכל מקום | 48 | 1.09 $ |
| Runpod | L4 | מחיר אחד בכל מקום | 24 | 0.59 $ |
| Hyperstack | NVIDIA H200 SXM | מחיר אחד בכל מקום | 141 | 3.99 $ |
| Hyperstack | NVIDIA H100 SXM | מחיר אחד בכל מקום | 80 | 3.2 $ |
| Hyperstack | NVIDIA H100 | מחיר אחד בכל מקום | 80 | 2.5 $ |
| Hyperstack | NVIDIA A100 SXM | מחיר אחד בכל מקום | 80 | 1.6 $ |
| Hyperstack | NVIDIA B200 | מחיר אחד בכל מקום | 192 | 6 $ |
| UpCloud | NVIDIA L4 | מחיר אחד בכל מקום | 24 | 0.58 € |
המחירים כפי שכל ספק מפרסם אותם, במטבע שלו, בלי מסים אלא אם המקור של השורה אומר אחרת. המדד המלא ממיר אותם לפי שערים מתוארכים.
המדד המלא: מדד מחירי שכירת GPU
טעויות נפוצות
- לבחור את הכרטיס החדש ביותר
- כרטיס חדש יותר הוא לעתים קרובות יותר ממה שהמודל צריך. הכרטיס הקטן ביותר שהמודל נכנס אליו, עם מקום להקשר, הוא נקודת ההתחלה למדידה.
- לשכוח את ההקשר
- הזיכרון להקשר ארוך ולבקשות רבות במקביל יכול לעבור את המשקלים עצמם. העריכו לפי ההקשר שבאמת תגישו.
- להשאיר אותו רץ
- GPU במצב on-demand שלא עושה כלום מחויב כמו GPU עמוס. עצרו אותו כשלא רץ עליו כלום, ובדקו כמה מכונה עצורה עדיין עולה.
- אותו שם, כרטיס אחר
- הצעות מכנות כרטיסים בשמות שונים, וגרסאות PCIe ו-SXM של אותו שבב שונות ברוחב הפס של הזיכרון ובחיבור בין הכרטיסים. קראו את הגרסה, לא רק את השם.
- להשוות רק מחיר שעתי
- הצעה שעולה לאט יותר או מחייבת ביחידות גדולות יותר עלולה לעלות יותר בעבודות קצרות. השוו לפי דפוס השימוש שלכם.
מגבלות
- המדגם כולל כמה ספקים והצעות on-demand בלבד: בלי מחירי reserved, spot או התחייבות.
- התפוקה לא נמדדה כאן: הנתון של ה-GPU Planner הוא הערכה, ורק ה-prompts שלכם נותנים מספר אמיתי.
- מחירים משתנים: כל שורה מציגה את היום שבו נקראה ומסומנת כלא עדכנית אחרי חלון הרענון. העמוד של הספק הוא המקור הקובע.
בעמוד /cloud
העמוד /cloud של סוג המחשוב הזה מונה מה לבדוק לפני שמתחייבים, ומתאר את העקרונות ש-ANAROQ בונה לפיהם, בסטטוס בפיתוח.