Licensed to be used in conjunction with basebox, only.
// installation
Sizing
Gilt für
Produkt: Server · Zielgruppe: Platform Operator · Entscheider
Welche Hardware brauchen Sie für wie viele Nutzer und welche Modelle? Diese Seite fasst die Richtwerte aus den Detailseiten zusammen und verweist auf sie. Die Werte für gleichzeitige Nutzer sind Schätzungen aus der VRAM-Rechnung, keine Lastmessungen. Das kundenspezifische Sizing schließen Sie mit basebox im Solution Design ab.
Drei Schichten getrennt rechnen
basebox besteht aus drei Schichten, die unabhängig voneinander wachsen. Rechnen Sie jede für sich:
| Schicht | Wächst mit | Braucht vor allem |
|---|---|---|
| basebox-Plattform | Nutzern, gleichzeitigen Sitzungen, API-Verkehr | CPU, RAM, Datenbank-Speicher – keine GPU |
| Service-Modelle (RAG, OCR, Sprache-zu-Text) | Dokumentvolumen, OCR-Anteil, Audiominuten | Eine dedizierte GPU oder MIG-Slices; alternativ CPU (langsamer) |
| Inferenz (Sprachmodell) | Modellgröße, Kontextlänge, gleichzeitigen Anfragen | GPU-Speicher für Gewichte und KV-Cache |
Mehr Nutzer heißt nicht mehr Inferenz-GPU, solange die Parallelität nicht steigt; mehr Dokumente heißt Speicher und Service-GPU, nicht Inferenz. Details: Ressourcen & Skalierung.
Plattform
- CPU und RAM für den gesamten Stack ohne GPU-Workloads: minimal 5+ Kerne und 12 GB+ RAM, empfohlen 10+ Kerne und 32 GB+ RAM.
- Speicher: minimal 200 GB+, empfohlen 500 GB+ SSD/NVMe, 1 TB+ mit Modellspeicher. Für den Inferenz-Modell-Cache sind 200 GB+ üblich.
- Shared Memory (
/dev/shm): 64 GB in der geprüften Konfiguration.
Service-Modelle
- Als Orientierung, nicht als Mindestanforderung: rund 48 GB GPU-Speicher, besser etwa 96 GB für größere Nutzungsszenarien.
- Zwei Wege aus den Referenzkonfigurationen: eine dedizierte GPU (RTX PRO 6000) oder MIG-Slices (4 ×
1g.35gbauf einer H200; 2 ×3g.40gbauf je einer H100). - Sprache-zu-Text (Whisper) braucht etwa 8 GB GPU-Speicher.
- Gemessen auf 2 × H200: 120-seitiges PDF in 28,47 s extrahiert, 60 Minuten Audio in 31,31 s transkribiert.
Service-Modelle nicht auf die Inferenz-GPU legen: Uploads und Transkriptionen konkurrieren dann mit dem Chat.
Inferenz: Modell und gleichzeitige Nutzer
Faustformel:
Richtwerte nach Hardware-Klasse (Schätzungen, FP16-KV-Cache):
| Hardware-Klasse | Gesamt-VRAM | Empfohlenes Modell | Kontext | Gleichzeitige Nutzer |
|---|---|---|---|---|
| Enterprise – 4 × H100 | 320 GB | GPT-OSS 120B MXFP4, TP=4 / TP=2 | 128k / 32–64k | 15–20 / 8–12 |
| Enterprise – Alternative | 320 GB | Llama 3.3 70B Instruct FP8 | 32k–65k | 20–25 / 10–12 |
| Professional – 4 × L40S | 192 GB | GPT-OSS 120B AWQ, TP=4 | 32–64k | 5–8 |
| Workstation – 2 × RTX 4090 | 48 GB | GPT-OSS 20B MXFP4, TP=2 | 64k | 2–3 |
| Entry – 1 × 24-GB-GPU (L4 o. Ä.) | 24 GB | GPT-OSS 20B MXFP4 | 32k | 1 |
Die H200-Klasse (141 GB je GPU) liegt zwischen Professional und Enterprise: Eine H200 trägt Llama 3.3 70B FP8 mit langem Kontext, zwei H200 mit TP=2 GPT-OSS 120B MXFP4. Die RTX PRO 6000 (96 GB je Karte) orientiert sich an der L40S-Zeile.
Kontext gegen Parallelität: Beispiel Llama 3.3 70B FP8 auf 4 × H100 – 65k Kontext → 10–12 gleichzeitige Nutzer, 32k → 20–25, 16k → 40–50. KV-Cache-Quantisierung kann die Kapazität etwa verdoppeln. Bei RAG-Workloads hat Kontext Vorrang vor Parallelität.
Details: Empfohlene Modelle · LLM-Empfehlungen (Sizing-Referenz) mit VRAM-Tabelle je Modellgröße · Benchmarks für das, was gemessen ist.
Referenzkonfigurationen
Bekannte Hardware-Setups, in denen die drei Schichten bereits zugeteilt sind:
| Konfiguration | Status | Arbeitsspeicher |
|---|---|---|
| 3 × NVIDIA RTX PRO 6000 | Supported | 128 GB / 512 GB |
| 2 × NVIDIA H200 141 GB | Validated | 128 GB / 512 GB |
| 2 × NVIDIA H200 + 1 × RTX PRO 6000 | Supported | 128 GB / 512 GB |
| 4 × NVIDIA H100 SXM 80 GB | Validated | siehe Seite |
| Eigene Hardware | Custom | – |
Status und Inhalt der Seiten: Referenzkonfigurationen.
Vorgehen
- Bedarf festlegen: gleichzeitige Nutzer (nicht Gesamtnutzer), benötigte Kontextlänge, Dokument- und Audiovolumen.
- Modell wählen nach Hardware-Klasse und Szenario – Empfohlene Modelle.
- Service-GPU ergänzen: dedizierte GPU oder MIG-Slices.
- Plattform auf CPU/RAM/Speicher prüfen.
- Abgleichen mit einer Referenzkonfiguration – passt keine, ist das Setup Custom und wird mit basebox geprüft.
Ein zweiter Knoten wird sinnvoll, wenn die Inferenz mehr GPUs braucht, als ein Server aufnimmt, wenn Plattform und Inferenz in verschiedene Sicherheitszonen gehören oder wenn Hochverfügbarkeit gefordert ist: Multi-Node.
Nächster Schritt: Referenzkonfigurationen oder Installationswege