Licensed to be used in conjunction with basebox, only.
// admin
Modelle aktivieren
Kurzbeschreibung
Welche KI-Modelle Ihrer Organisation zur Verfügung stehen, legen Sie hier fest. Diese Seite ergänzt die Modellauswahl um die Frage, woher die Liste der Modelle kommt – und die Antwort unterscheidet sich zwischen basebox Cloud und basebox Server.
Wofür nutze ich das
Die Modellliste bestimmt, was Ihre Nutzer in Apps auswählen können, was die API unter /v1/models zurückgibt und welches Modell als Standard in Frage kommt. Eine kurze, geprüfte Liste ist übersichtlicher und kostensicherer als eine lange.
Woher die Modelle kommen
| basebox Cloud | basebox Server | |
|---|---|---|
| Wer bindet Modelle an | basebox betreibt die Inferenz und stellt die Modelle bereit | Der Platform Operator verbindet den Anwendungsserver (AISRV) mit einem oder mehreren Inferenz-Endpunkten |
| Woraus Sie wählen | Aus den von basebox bereitgestellten Modellen | Aus den Modellen, die der angebundene Endpunkt meldet (bei vLLM alle dort geladenen Modelle) |
| Ein weiteres Modell | Anfrage an basebox | Der Platform Operator lädt es in die Inferenz oder bindet einen weiteren Endpunkt an |
Auf einem Server ist damit die Modellliste eine Frage der Infrastruktur: Ein zusätzliches Modell braucht GPU-Speicher und wird unter Modelle & Inferenz geplant. Ein Modell aus dem Internet (externer Anbieter) ist eine Datenschutz- und Vertragsfrage – siehe Modellanbieter.
Wo finde ich die Einstellung
Im Administrationsbereich Ihrer Organisation, zusammen mit der Modellauswahl.
Welches Modell gerade aktiv ist und welche Kontextgröße es hat, zeigt die Seite „Über" im Benutzermenü.
Schritt für Schritt
Ein Modell für die Organisation bereitstellen (Server):
- Der Platform Operator prüft das Modell gegen die GPU-Ausstattung (LLM-Empfehlungen) und lädt es in die Inferenz bzw. konfiguriert den Endpunkt in AISRV (
AISRV_LLM_URL,AISRV_LLM_MODEL,AISRV_LLM_CONTEXT_SIZE). Siehe Modelle konfigurieren. - Prüfen Sie, dass das Modell unter
/v1/modelserscheint (ein Entwickler kann das mit einem API-Schlüssel in Sekunden testen). - Wählen Sie es bei Bedarf als Standardmodell oder weisen Sie es einzelnen Apps zu.
- Testen Sie in einer privaten App, bevor Sie es breit freigeben – Antwortqualität, Geschwindigkeit, Reasoning-Unterstützung, Tool Calling für Konnektoren.
Ein Modell zurückziehen:
- Stellen Sie Apps, die es fest verwenden, auf ein anderes Modell oder auf „Standard verwenden" um.
- Wählen Sie ein anderes Standardmodell, falls es das Standardmodell war.
- Der Platform Operator entfernt es aus der Inferenz.
Hinweise
Hinweis
- Nicht jedes Modell kann alles. Reasoning (Denkmodi) und Tool Calling (Konnektoren) setzen Modelle voraus, die das unterstützen. Modelle ohne Reasoning zeigen keine Reasoning-Auswahl im Chat.
- Kontextgröße ist eine Modelleigenschaft. Sie bestimmt, wie viel Text ein Chat aufnehmen kann – siehe Kontextfenster.
- Bekannte Modell-Eigenheiten (etwa Qwen 3 mit
/no_think, DeepSeek-R1 mit Thinking-Tokens, GPT-OSS mit Tensor-Parallelismus) stehen unter LLM-Empfehlungen → Bekannte Probleme. - Kein stiller Rückfall: Ist der Inferenz-Endpunkt eines Modells offline, zeigt basebox den Fehler an; es wechselt nicht unbemerkt auf ein anderes Modell.
- Das Compliance-Paket nach EU AI Act führt die von basebox ausgelieferten Modelle im Modellregister.
Häufige Fragen
Kann ich mehrere Modelle gleichzeitig anbieten? Ja. Das Standardmodell gilt überall, wo nichts anderes gesetzt ist; einzelne Apps können ein anderes Modell festlegen. Auf basebox Server müssen die Modelle dafür angebunden sein – siehe Mehrere Inferenz-Instanzen.
Warum sehe ich in der Cloud andere Modelle als ein Kollege auf einem Server? Weil die Liste von der jeweiligen Inferenz abhängt. In der Cloud stellt basebox sie bereit, auf dem Server der Platform Operator.
Woran erkenne ich, ob ein Modell Reasoning unterstützt? Am Reasoning-Auswahlfeld im Chat: Fehlt es, unterstützt das aktive Modell kein Reasoning.
Wer entscheidet über externe Modellanbieter (OpenAI, Anthropic)? Ihre Organisation – vertraglich und datenschutzrechtlich. Closed-Source-Modelle sind nicht Teil der basebox-Lieferung; siehe Haftungsausschluss.
Benötigen Sie Hilfe? Support kontaktieren