איך לבחור שרת GPU
שרת GPU משתלם כשהעבודה היא חישוב מקבילי גדול, כמו הרצה או אימון של מודל. לפני שבוחרים, בודקים אם המודל נכנס בזיכרון, אם התוכנה מתאימה, ואם CPU לא יספיק.
בפיתוח. שום דבר בעמוד הזה עוד לא מוצע למכירה, ואין חשבון לפתוח. הכלים שמקושרים כאן חינמיים ועובדים כבר היום.
מה אנחנו בונים
אנרוק לא מפעילה קיבולת GPU, ומוצר GPU אינו חלק מהתוכנית הנוכחית. העמוד הזה הוא מדריך, לא הכרזה.
אם מחשוב GPU יתווסף בהמשך, הוא יהיה תחת אותה שכבה כמו כל השאר: גבולות, עלות לפני ביצוע ויומן ביקורת.
איך לבחור
מה לבדוק לפני שמתחייבים, ואיזה כלי באתר עונה על כל שאלה.
- לשאול אם בכלל צריך GPU
מודלים קטנים יכולים לענות על CPU, לאט יותר. כדאי לנסות את זה קודם: ה-Stack Sizer מעריך את Open WebUI עם Ollama על CPU בלבד, כך שרואים מה שרת רגיל נותן.
כלי: Stack Sizer
- להכניס את המודל לזיכרון ה-GPU
המשקלים של המודל וה-context שהוא מחזיק בזמן שהוא עונה צריכים להיכנס בזיכרון ה-GPU. בודקים בכרטיס המודל; גרסה מכומתת (quantized) צריכה פחות זיכרון, על חשבון מעט איכות.
אין כלי לשלב הזה: שאלו את הספק וקראו את התנאים שלו.
- להתאים דרייבר וסביבת הרצה
בודקים שהדרייבר של ה-GPU, גרסת ה-CUDA או ה-ROCm וה-image של הקונטיינר מתאימים זה לזה, לפני ששוכרים משהו.
אין כלי לשלב הזה: שאלו את הספק וקראו את התנאים שלו.
- להכין אותו כמו כל שרת
גם שרת GPU צריך משתמש, מפתחות SSH, חומת אש ועדכונים, וגם לאפליקציות צריכים להיות קבצים שאפשר לבנות מהם מחדש.
- להריץ את המערכת מקבצים
מגדירים את שרת המודל והממשק שלו כקונטיינרים עם images מוצמדים, כך שמכונה חדשה מריצה בדיוק את אותו הדבר.
- למדוד עם הפרומפטים שלכם
קצב התשובות תלוי במודל, באורך הפרומפט ובמספר הבקשות שרצות במקביל. מודדים עם העומס האמיתי שלכם, ועוצרים את המכונה כשהיא לא בשימוש.
אין כלי לשלב הזה: שאלו את הספק וקראו את התנאים שלו.
מה העמוד הזה לא מכסה
העמוד הזה לא מציין נתוני GPU. גודלי זיכרון, מהירויות ומחירים משתנים לעיתים קרובות, והאתר מפרסם מספרים כאלה רק עם מקור ותאריך.