Zum Inhalt
Copyright © 2022-2026 basebox GmbH, all rights reserved.
Licensed to be used in conjunction with basebox, only.

// installation

Bare-Metal-Installation

Gilt für

Produkt: Server · Zielgruppe: Platform Operator

Der durchgängige Pfad für Selbstinstallierer: vom leeren Server zur geprüften basebox-Installation. Folgen Sie den Schritten in dieser Reihenfolge; jede Seite behandelt genau einen Schritt, verweist auf die maßgeblichen Anleitungen und endet mit einer Prüfung, bevor Sie weitergehen. Wer bereits einen passenden Kubernetes-Cluster hat, steigt bei Schritt 7 ein.

Die Schritte

# Schritt Ergebnis Seite
1 Voraussetzungen Hardware, Netzwerk, Entscheidungen zu DNS/TLS/Modell geklärt Voraussetzungen
2 Server vorbereiten Ubuntu 24.04 LTS installiert, aktualisiert, Netzzugang geprüft Server Preparation Guide
3 NVIDIA / GPU Treiber, CUDA, Container-Runtime, GPU Operator; MIG, wo vorgesehen; Knoten bietet GPU-Ressourcen an NVIDIA / GPU
4 Kubernetes Cluster mit Ingress-Controller, Storage Class, CloudNativePG Kubernetes
5 Speicher Volumes für Datenbanken, Medien, Modellartefakte geplant Speicher
6 Netzwerk DNS, TLS-Modus, Firewall, Grenze AISRV ↔ Inferenz Netzwerk
7 basebox installieren Umbrella-Chart per Helm, Pods laufen, Anmeldedaten geholt basebox installieren
8 Service-Modelle bereitstellen ragsrv, ragsrv-support, OCR, STT auf GPU oder CPU, gesund Service-Modelle bereitstellen
9 Inferenz anbinden Gebündeltes vLLM oder externer Endpunkt, Modell antwortet Inferenz anbinden
10 Installation prüfen Abnahme: Chat, RAG, OCR, STT, Neustart, Manifest festgehalten Installation prüfen

Zeitbedarf

Mit vorbereiteter Hardware und Netzzugang: Schritte 2–4 einige Stunden (Modell-Downloads eingerechnet), Schritt 7 unter einer Stunde, Schritte 8–10 ein bis zwei Stunden. Rechnen Sie insgesamt mit einem Arbeitstag; abgeschottete Umgebungen brauchen zusätzlich den Offline-Transfer der Images und Modelle.

Was Sie mitbringen sollten

  • Linux- und Kubernetes-Grundkenntnisse; Erfahrung mit kubectl und helm.
  • Zugang zum Server (physisch oder IPMI/iLO), Root-Rechte.
  • Netzzugang zu Paketquellen, NVIDIA, Kubernetes-Repositories und der basebox-Registry gitea.basebox.health – oder ein Offline-Transferverfahren.
  • Eine Entscheidung, welches Sprachmodell laufen soll (Modelle & Inferenz), und ob Service-Modelle auf GPU oder CPU laufen.

Was dieser Pfad voraussetzt

  • Ein Server mit NVIDIA-GPU(s) nach einer Referenzkonfiguration – oder als Custom mit basebox abgestimmt. Für getrennte Anwendungs- und Inferenzhosts gilt der Pfad für beide Hosts; der Anwendungsserver braucht dann keinen NVIDIA-Stack, siehe Deployment-Topologien.
  • Ubuntu 24.04 LTS. Andere Distributionen funktionieren möglicherweise, sind aber nicht offiziell getestet.
  • Kubernetes 1.33+ empfohlen (das Chart verlangt 1.23+).

Geprüfter Stand

Dieser Pfad wurde im Februar 2026 mit Ubuntu 24.04.3 LTS, NVIDIA-Treiber 580.126.09, CUDA 13.0.88, Docker 29.2.1, Kubernetes 1.33.7, Helm 3.20.0 und GPU Operator (aktuell) durchlaufen. Versionen ändern sich schnell; jede Schrittseite verlinkt die offizielle Dokumentation, die maßgeblich bleibt.

Grundsätze für den ganzen Pfad

  1. Erst prüfen, dann weiter. Jeder Schritt endet mit einem Befehl, der den Zustand bestätigt. Gehen Sie nicht weiter, solange der nicht passt.
  2. GPUs anhand stabiler Identität zuordnen (nvidia-smi -L: UUID, PCI-Adresse), nicht anhand von Indexnummern, die sich nach Neustarts ändern können.
  3. Secrets nie in Values-Dateien oder Git. Datenbankpasswörter, API-Schlüssel, Registry- und Inferenz-Zugangsdaten gehören in Kubernetes-Secrets.
  4. Versionen festhalten. Chart, App, Treiber, CUDA, Kubernetes, GPU-Operator, Image-Digests – das Manifest brauchen Sie bei jedem Update und jedem Support-Fall.

Hilfe

Nächster Schritt: Voraussetzungen