Licensed to be used in conjunction with basebox, only.
// start
Platform Operator
Sie installieren und betreiben basebox Server auf eigener oder dedizierter Hardware: Bare Metal, NVIDIA, Kubernetes, Inferenz, Monitoring. Ihr Bereich ist Entwickler → Installation & Betrieb.
Diese Rolle gibt es nur bei basebox Server. In basebox Cloud übernimmt basebox den Betrieb vollständig; dort existiert auf Kundenseite nur der Administrator. Auf einem Server sind Sie entweder die IT des Kunden oder – bei Beauftragung – basebox.
Typische Aufgaben
| Aufgabe | Einstiegsseite |
|---|---|
| Die drei Schichten und ihren Ressourcenbedarf verstehen | Architektur verstehen |
| Hardware gegen eine Referenzkonfiguration prüfen | Referenzkonfigurationen |
| Betriebssystem, NVIDIA-Treiber, CUDA, Kubernetes vorbereiten | Server vorbereiten · NVIDIA / GPU |
| basebox mit Helm installieren | Helm Charts verwenden · basebox installieren |
| Service-Modelle (RAG, OCR, STT) auf GPU oder CPU legen | Service-Modelle bereitstellen |
| Inferenz anbinden – gebündelt oder auf separatem GPU-Host | Inferenz anbinden · Deployment-Topologien |
| Ein Sprachmodell wählen und dimensionieren | Modelle & Inferenz · LLM-Empfehlungen |
| Konnektor-Dienste im Cluster bereitstellen | MCP-Konnektoren mit Helm |
| Keycloak an LDAP / Active Directory anbinden | Keycloak-LDAP-Anbindung |
| Installation abnehmen | Installation prüfen |
| Überwachen, sichern, aktualisieren, skalieren | Betrieb |
| Fehler diagnostizieren | Troubleshooting · FAQ |
Was Sie verantworten
Bei einem selbst verwalteten Server liegt nach Übergabe der Software alles Betriebliche bei Ihnen: Betriebssystem, Treiber, Kubernetes, basebox-Installation, Service-Modelle, Inferenz, Netzwerk, Backups, Updates. basebox liefert Software, Updates, Dokumentation und Support. Ist basebox mit dem Betrieb beauftragt, übernimmt basebox die vereinbarten Punkte über PAM/VPN oder einen anderen abgestimmten Zugangsweg. Die Tabelle dazu: Verantwortlichkeiten.
Nicht Ihre Aufgabe – in keinem Modell: die Anwendungsadministration. Benutzer, Gruppen, Apps, Modellauswahl und Konnektor-Freigaben liegen beim Administrator, auch wenn Sie den Server betreiben.
Drei Grundsätze aus dem Betrieb
- basebox braucht wenig GPU – Inferenz und Service-Modelle brauchen sie. Planen Sie GPUs für das Sprachmodell und für RAG/OCR/STT, nicht für die Plattform. Service-Modelle sollten die Inferenz-GPU nicht teilen.
- Kein stiller Rückfall. Ist der Inferenz-Endpunkt offline, zeigt basebox den Fehler an und erholt sich, sobald er wieder bereit ist. Überwachen Sie den Endpunkt entsprechend.
- Vor jedem Upgrade sichern. Vor allem die AISRV-Datenbank; Datenbankmigrationen sind nicht ohne Backup rückgängig zu machen. Siehe Updates.
Für Sicherheits- und Compliance-Fragen
Was auf einem Server wo gespeichert wird, was verschlüsselt ist, wie Fernwartung abläuft und was im abgeschotteten Betrieb funktioniert: Sicherheit & Compliance → Server-Sicherheit.