Licensed to be used in conjunction with basebox, only.
// installation
Voraussetzungen
Gilt für
Produkt: Server · Zielgruppe: Platform Operator
Was Sie vor dem Start brauchen: Hardware (siehe Referenzkonfigurationen), Betriebssystem, Netzzugang zu Registries, DNS- und TLS-Entscheidungen, Modellwahl. Klären Sie diese Punkte, bevor Sie den Server anfassen – die meisten Verzögerungen bei Installationen entstehen aus offenen Entscheidungen, nicht aus technischen Problemen.
Hardware
| Komponente | Minimum | Empfehlung |
|---|---|---|
| GPU | NVIDIA mit Compute Capability 7.0+ (V100, T4, RTX 20xx, A100, L4, H100, H200 …) | Nach Referenzkonfiguration; MIG-fähig, wenn Service-Modelle per MIG laufen sollen |
| CPU | 8 Kerne | 16+ Kerne |
| Arbeitsspeicher | 16 GB | 32 GB+, 64 GB+ für große Modelle; FAST-LTA-Systeme: 128 oder 512 GB |
| Speicher | 500 GB | 1 TB+ SSD/NVMe |
| Strom, Kühlung | Für alle GPUs bei ihrer Leistungsgrenze | Vom Hersteller freigegeben |
Prüfen Sie nach der OS-Installation: lspci | grep -i nvidia, lscpu, free -h, df -h.
Was die GPU-Frage entscheidet, ist nicht basebox, sondern Inferenz und Service-Modelle – siehe Hardware-Optionen. Ein reiner CPU-Anwendungsserver mit separatem GPU-Host ist ebenfalls möglich: Deployment-Topologien.
Betriebssystem
Ubuntu 24.04 LTS Server (x86_64) für Neuinstallationen; 22.04 LTS für bestehende Systeme. Debian, RHEL, SLES, Rocky/Alma funktionieren möglicherweise, sind aber nicht offiziell getestet; Windows Server wird nicht unterstützt (vLLM erfordert Linux). Details und Begründung: Server Preparation Guide → Alternative Betriebssysteme.
Netzzugang
Während der Installation braucht der Server ausgehendes HTTPS (443) zu Paketquellen und Registries – Ubuntu, Docker, Kubernetes (pkgs.k8s.io), NVIDIA (developer.download.nvidia.com, nvidia.github.io, helm.ngc.nvidia.com), Helm, Container-Registries, Calico – und zur basebox-Registry gitea.basebox.health. Die vollständige Domainliste mit Testbefehlen: Erforderlicher Netzzugang.
Eingehend: 22/TCP (SSH), 6443/TCP (Kubernetes-API, falls extern), 80/443 (Ingress).
Abgeschottete Umgebungen werden unterstützt – über einen internen Image-Mirror und vorab geladene Modellartefakte. Das Verfahren stimmen Sie vorab mit support@basebox.ai ab.
Registry-Zugang
Das Umbrella-Chart liegt unter oci://gitea.basebox.health/basebox-distribution/helm/basebox.ai, die Images unter gitea.basebox.health/basebox-distribution/. Prüfen Sie den Pull-Zugang aus der Container-Runtime der Knoten, nicht nur von Ihrer Workstation. Zugangsdaten für den OCI-Login stehen unter Helm Charts verwenden.
Entscheidungen, die Sie vorher treffen
| Entscheidung | Optionen | Wo es weitergeht |
|---|---|---|
| Domain und DNS | Öffentliche Domain · interne Domain · basebox.local (nur Evaluierung) |
Netzwerk |
| TLS-Modus | cert-manager (öffentliche Domain) · existing-secret (eigenes Zertifikat, interne CA) · local (Evaluierung) |
Netzwerk |
| Sprachmodell | Nach GPU-Ausstattung; Kontextgröße und Parallelität | Modelle & Inferenz · LLM-Empfehlungen |
| Inferenz | Gebündeltes vLLM auf demselben Knoten · externer Endpunkt | Inferenz anbinden |
| Service-Modelle | Dedizierte GPU · MIG-Slices · CPU-Modus | Service-Modelle bereitstellen |
| Identität | Lokale Konten · LDAP/AD · OIDC-SSO | LDAP / OIDC |
| SMTP-Server für Einladungen · zunächst Einladungslinks manuell | SMTP | |
| Konnektoren | Welche; Endpunkte je Konnektor | MCP-Konnektoren mit Helm |
| Betrieb | Selbst verwaltet · durch basebox | Betriebsmodelle |
Zugang und Werkzeuge
- Physischer oder Fernzugang zum Server (IPMI, iLO o. Ä.), Root-Rechte, SSH.
- Auf Ihrer Workstation:
kubectl,helm(3.x),curl; für Image-Prüfungenrgodergrep. - Ein Ort für Zugangsdaten: Passwortmanager oder Secret-Store. Die Installation erzeugt Admin-Passwörter, die Sie sicher übergeben müssen.
- Falls basebox mit Installation oder Betrieb beauftragt ist: freigegebener PAM-/VPN-Zugang – siehe Fernwartung.
Checkliste
- Hardware entspricht einer Referenzkonfiguration oder ist als Custom mit basebox abgestimmt
- GPUs vom System erkannt (
lspci | grep -i nvidia) - Ubuntu 24.04 LTS Server ISO und Installationsmedium bereit
- Netzzugang zu allen Domains geprüft – oder Offline-Transfer vereinbart
- Registry-Pull aus der Runtime getestet
- Domain, DNS und TLS-Modus entschieden; Zertifikat oder ClusterIssuer bereit
- Sprachmodell gewählt und gegen VRAM geprüft
- Service-Modelle: GPU-Zuteilung oder CPU-Modus entschieden
- Identitäts- und Mail-Anbindung geplant
- Backup-Ziel für Datenbanken vorgesehen (S3-kompatibler Speicher für CloudNativePG oder Dump-Ablage)
Nächster Schritt: Server Preparation Guide, danach NVIDIA / GPU