Stack Sizer
תכנון משאבים ל-stack של אפליקציות self-hosted, ממקורות רשמיים.
עומס ואפשרויות
LocalAI
v1.0.0עומס
מודל עד 8B פרמטרים ב-Q4_K_M (קובץ עד 5.1 GB, למשל qwen3-8b מה-gallery), context של 8,192 tokens, בקשה אחת בכל פעם, מודל טעון אחד.
אפשרויות
משאבים מומלצים
דרישות האפליקציות + baseline של המערכת + מרווח בטיחות. לא מתווסף שום דבר אחר, ושום מספר לא מעוגל לגודל של מכונה.
vCPU 5.52, RAM 10.5 GiB, דיסק 16.153 GiB
vCPU5.52
RAM10.5GiB
דיסק16.153GiB
פירוט
| שורה | מקור השורה | vCPU | RAM (GiB) | דיסק (GiB) | מקורות |
|---|---|---|---|---|---|
| LocalAI | LocalAI · עומס בינוני | 4.5 | 7.5 | 5.946 | 12345678910 |
| baseline של המערכת | מערכת הפעלה, container runtime (Docker Engine, containerd), יומני מערכת (journald), ועוד יומנים ל-1 containers | 0.1 | 1.25 | 8.1 | 111213141516 |
| מרווח בטיחות | vCPU 20%, RAM 20%, דיסק 15% מהאפליקציות + baseline | 0.92 | 1.75 | 2.107 | 1712181519 |
| סה״כ מומלץ | 5.52 | 10.5 | 16.153 |
מקורות
- MaziyarPanahi/Qwen3-8B-GGUF: Qwen3-8B.Q4_K_M.gguf, 5,027,783,904 B (LocalAI, נקרא ב-14 באוק׳ 2026)
- Qwen/Qwen3-8B config.json: 36 layers, 8 KV heads, head_dim 128 (8.2B parameters) (LocalAI, נקרא ב-14 באוק׳ 2026)
- LocalAI v4.11.0 gallery/qwen3.yaml: backend llama-cpp, context_size 8192, mmap true (LocalAI, נקרא ב-14 באוק׳ 2026)
- llama.cpp server README: KV cache type -ctk/-ctv default f16; --cache-ram default 8192 MiB (LocalAI, נקרא ב-14 באוק׳ 2026)
- LocalAI docs, Text generation (llama.cpp): one parallel slot unless set; host prompt cache cache_ram 8192 MiB with idle-slot saving on by default since 4.3 (LocalAI, נקרא ב-14 באוק׳ 2026)
- LocalAI v4.11.0 pkg/vram/estimate.go: memory estimate = GGUF size + KV cache + overhead (0.02 × 2 × GGUF size + 0.15 GB) (LocalAI, נקרא ב-14 באוק׳ 2026)
- LocalAI docs, Model configuration: threads default = processor count (example threads: 8), cache_type_k/v map to llama.cpp -ctk/-ctv (LocalAI, נקרא ב-14 באוק׳ 2026)
- Docker Hub manifest of localai/localai:v4.11.0 (linux/amd64): 18 layers, 305,525,063 B compressed; layers decompressed and counted: 878,025,216 B (LocalAI, נקרא ב-14 באוק׳ 2026)
- Docker Hub manifest of localai/localai-backends:v4.11.0-cpu-llama-cpp (linux/amd64, same digest as latest-cpu-llama-cpp): 1 layer, 50,037,362 B compressed; decompressed: 172,602,368 B (LocalAI, נקרא ב-14 באוק׳ 2026)
- Docker: containerd image store is the default on fresh Engine 29+ installs and keeps images compressed and uncompressed (LocalAI, נקרא ב-14 באוק׳ 2026)
- Ubuntu Server: System requirements (מדיניות sizing, נקרא ב-10 באוק׳ 2026)
- Google Kubernetes Engine: About GKE node sizing (מדיניות sizing, נקרא ב-10 באוק׳ 2026)
- ANAROQ measurement: dockerd and containerd at rest (Ubuntu 24.04, Docker 29.8.2) (מדיניות sizing, נקרא ב-10 באוק׳ 2026)
- Docker Community Forums: Docker resource usage & overhead (מדיניות sizing, נקרא ב-10 באוק׳ 2026)
- journald.conf(5), Ubuntu Manpages (מדיניות sizing, נקרא ב-10 באוק׳ 2026)
- Docker Docs: Local file logging driver (מדיניות sizing, נקרא ב-10 באוק׳ 2026)
- AWS Compute Optimizer: Rightsizing recommendation preferences (מדיניות sizing, נקרא ב-10 באוק׳ 2026)
- Kubernetes: Node-pressure Eviction (מדיניות sizing, נקרא ב-10 באוק׳ 2026)
- mke2fs(8), Ubuntu Manpages (מדיניות sizing, נקרא ב-10 באוק׳ 2026)
Deployment Spec
הפכו את התוצאה לקישור שאפשר לשמור או לשתף. הכול נמצא בקישור, ושום דבר לא נשלח אלינו.
מזהה image קצר באותיות קטנות, למשל ubuntu-24.04.