מה המדריך הזה מוסיף
העמוד /cloud/agents מונה את הגבולות שצריך לדרוש, ומטריצת ה-sandbox לסוכנים משווה בין אפשרויות בידוד. המדריך מוסיף את המדידה: כמה משאבי מחשוב הסוכנים שלכם צורכים במקביל, כמה עולות הקריאות שלהם למודל, אילו סיכונים יש בהגדרה שלכם, ובכמה מכונות בגודל הזה מתומחרות במדד מחירי ה-VPS.
לפני שמשווים
סוכן AI צריך שני סוגי תשתית: מקום שבו הקוד שלו רץ בבידוד, ואת המודל שהוא קורא לו. את שניהם מעריכים מאותן עובדות: כמה סוכנים רצים במקביל, לכמה זמן, ולמה מותר להם להגיע.
כל נתון כאן מגיע מהנתונים של האתר, עם המקור שלו ותאריך הקריאה. הטקסט לא נוקב במחיר ולא מדרג אף ספק.
מה להשוות
- בידוד
- קוד שסוכן כותב או מוריד צריך לרוץ במקום שממנו הוא לא מגיע לשרתים או לסודות האחרים שלכם: קונטיינר עם הגבלות הדוקות, microVM או sandbox מנוהל. ככל שהבידוד חזק יותר, אתם תלויים פחות בהתנהגות של הסוכן.
- מקביליות
- מעריכים סוכנים לפי כמה רצים באותו רגע, לא לפי כמה קיימים. מדדו את השיא, והגבילו אותו בפלטפורמה.
- משך חיים
- ריצות קצרות מתאימות לסביבות שעולות מהר ופגות מעצמן; סוכנים שרצים לאורך זמן צריכים מכונה קבועה, שמתוחזקת בקפידה כמו כל שרת.
- איפה המודל רץ
- סוכן שקורא ל-API של מודל צריך מעט משאבי מחשוב משלו; סוכן שקורא למודל שאתם מריצים צריך זיכרון GPU. הבחירה הזאת מזיזה את רוב העלות.
- גבולות שהפלטפורמה אוכפת
- תקציב קשיח, תפוגה לכל משאב, תקרה למקביליות, אישור לפעולות מסוכנות, תיעוד ביקורת ומתג השבתה. גבול שכתוב רק ב-prompt הוא בקשה.
- גישה לרשת
- החליטו לאן הסביבה רשאית להגיע, למשל ה-API של המודל ו-registry של חבילות, וחסמו כל דבר אחר כברירת מחדל.
מודדים בכלים
לפי הסדר. על כל שלב עונה כלי חינמי באתר שעובד בדפדפן.
- מעריכים את הסוכנים
מזינים כמה סוכנים רצים במקביל בכל סוג סביבה, האם הם קוראים ל-API או למודל משלכם, וכמה שעות הם עובדים. מקבלים vCPU, זיכרון, דיסק וזיכרון GPU כטווחים.
- מתמחרים את הקריאות למודל
סוכנים צורכים טוקנים. מזינים את הנפח ומשווים בין ה-API שהייתם משלמים עליו לבין הרצה של מודל פתוח על כרטיס שכור.
- מעריכים את הסיכונים
עונים על שאלות על המקום שבו הסוכן רץ ולמה הוא יכול להגיע. מקבלים ממצאים לפי חומרה, לכל אחד המלצה והמקור שלה.
- מעריכים שרת קבוע
לסוכנים שרצים על מכונה שאתם שומרים, הופכים את התוצאה של ההערכה ואת השירותים האחרים שלכם לגודל שרת אחד עם מרווח.
כלי: מחשבון גודל שרת
מחירים מתוארכים ממדד המחירים
תוכניות קטנות יותר מהמדגם של מדד מחירי ה-VPS, בסדר של מאגר הנתונים, עם ה-vCPU והזיכרון של כל אחת, להשוואה עם התוצאה של מעריך העומס לסוכנים. סביבות sandbox מנוהלות אינן במדד; מטריצת ה-sandbox משווה ביניהן.
| ספק | תוכנית | אזור | vCPU | RAM (GiB) | מחיר מפורסם לחודש |
|---|---|---|---|---|---|
| DigitalOcean | Basic Droplet (Regular) 1 GiB | מחיר אחד בכל מקום | 1 | 1 | 6 $ |
| DigitalOcean | Basic Droplet (Regular) 4 GiB | מחיר אחד בכל מקום | 2 | 4 | 24 $ |
| Akamai Cloud | Nanode 1 GB (Shared CPU) | צפון אמריקה | 1 | 1 | 5 $ |
| Akamai Cloud | Linode 4 GB (Shared CPU) | צפון אמריקה | 2 | 4 | 24 $ |
| AWS | Lightsail 1 GB (Linux/Unix, IPv4) | מחיר אחד בכל מקום | 2 | 1 | 7 $ |
| AWS | Lightsail 4 GB (Linux/Unix, IPv4) | מחיר אחד בכל מקום | 2 | 4 | 24 $ |
| UpCloud | Starter 1 GB | מחיר אחד בכל מקום | 1 | 1 | 3 € |
| UpCloud | Starter 4 GB, 2 cores | מחיר אחד בכל מקום | 2 | 4 | 12 € |
המחירים כפי שכל ספק מפרסם אותם, במטבע שלו, בלי מסים אלא אם המקור של השורה אומר אחרת. המדד המלא ממיר אותם לפי שערים מתוארכים.
המדד המלא: מדד מחירי VPS
טעויות נפוצות
- סוכנים על השרת הראשי
- הרצת קוד של סוכן על המכונה שמחזיקה את הנתונים שלכם פירושה שטעות אחת מגיעה להכול. תנו לסוכנים סביבה משלהם.
- הערכה לפי הממוצע
- סוכנים מתחילים בפרצים. העריכו לפי שיא הריצות במקביל, ואז הגבילו אותו.
- בלי תפוגה
- סביבה שנשכחה ממשיכה לרוץ וממשיכה לחייב. תנו לכל משאב תפוגה, אלא אם מישהו שומר אותו.
- רשת פתוחה כברירת מחדל
- סביבה שיכולה להגיע לכל מקום יכולה להדליף כל דבר. אפשרו את מה שהמשימה צריכה וחסמו את השאר.
- לספור מכונות ולשכוח טוקנים
- בסוכנים שקוראים ל-API, הטוקנים של המודל יכולים לעלות יותר מהמכונות. תמחרו את שניהם.
מגבלות
- הנתונים של מעריך העומס הם הערכות לפי מה שהזנתם; מדדו ריצה אמיתית לפני שמחליטים על גודל.
- מדגם ה-VPS כולל כמה ספקים וכמה גדלים, וסביבות sandbox מנוהלות אינן במדד המחירים.
- מחירים משתנים: כל שורה מציגה את היום שבו נקראה ומסומנת כלא עדכנית אחרי חלון הרענון. העמוד של הספק הוא המקור הקובע.
בעמוד /cloud
העמוד /cloud של סוג המחשוב הזה מונה מה לבדוק לפני שמתחייבים, ומתאר את העקרונות ש-ANAROQ בונה לפיהם, בסטטוס בפיתוח.