Licensed to be used in conjunction with basebox, only.
// admin
Modelle je App
Kurzbeschreibung
Neben dem Standardmodell der Organisation kann jede App ein eigenes Modell festlegen. Darüber steuern Sie auch, wer ein bestimmtes Modell nutzt: Eine eigene Gruppe von Modellberechtigungen gibt es nicht, der Weg führt über eine App mit festem Modell und deren App-Freigabe. Diese Seite erklärt außerdem, welche Modellparameter Sie in der Oberfläche beeinflussen und welche der Platform Operator setzt.
Wofür nutze ich Modelle je App
- Kosten: Ein großes Modell verbraucht mehr Tokens pro Antwort und bindet auf basebox Server GPU-Kapazität. Es soll nur dort antworten, wo es gebraucht wird.
- Eignung: Ein Modell für Analysen ist für Kurzauskünfte unnötig langsam.
- Pilotbetrieb: Ein neues Modell soll erst ein Pilotteam testen, bevor es Standardmodell wird.
Wo finde ich die Einstellung
- Modell je App: „Alle Apps“ → App Bearbeiten → Erweiterte Felder → Feld Modell (Voreinstellung Standard verwenden) und Feld Denkaufwand.
- Standardmodell der Organisation: Administration → Organisation, Abschnitt Standardmodell, siehe Standardmodell.
- Inferenz (Server): Helm-Values des Platform Operators, siehe Modelle konfigurieren.
Als Administrator können Sie jede App bearbeiten und deren Modell einsehen, auch Apps anderer Ersteller.
Wie basebox Modelle zuordnet
| Ebene | Einstellung | Wirkung |
|---|---|---|
| Organisation | Standardmodell | Gilt für alle Chats und für Apps mit Standard verwenden |
| App | App-Editor → Erweiterte Felder → Modell | Ein festes Modell für genau diese App |
| Nutzer | – | Im Chat wählen Nutzer kein Modell. In eigenen Apps können sie über das Feld Modell wählen; eine Beschränkung auf eine Gruppe umgehen sie damit nicht |
Schritt für Schritt
Ein Modell auf eine Gruppe begrenzen:
- Wählen Sie als Standardmodell der Organisation das Modell, das alle nutzen sollen.
- Legen Sie eine App an (oder nutzen Sie eine bestehende) und setzen Sie unter Erweiterte Felder → Modell das Modell, das nur die Gruppe erhalten soll. Passen Sie bei Bedarf den Denkaufwand an.
- Geben Sie die App per App-Freigabe nur an die gewünschte Gruppe frei.
- Belassen Sie alle anderen Apps auf Standard verwenden.
Ergebnis: Das Modell antwortet nur in dieser App, und nur Gruppenmitglieder sehen sie. Der normale Chat und alle übrigen Apps nutzen weiterhin das Standardmodell. Umgekehrt funktioniert es genauso: eine organisationsweit freigegebene App mit festem kleinem Modell für eine Massenaufgabe.
Eine App auf ihren Zweck abstimmen:
- Öffnen Sie die App im App-Editor.
- Modell: Standard verwenden belassen, wenn die App kein bestimmtes Modell braucht.
- Denkaufwand (bei Modellen, die das unterstützen): Niedrig für gleichförmige Aufgaben wie Umformulieren oder Übersetzen, höher für Analysen und mehrschrittige Aufgaben. Mehr Aufwand bedeutet längere Antwortzeit und mehr Tokens.
- App-Anweisungen: Antwortlänge, Format und Ton vorgeben. Das wirkt oft stärker als jeder Parameter.
- Speichern und in der Vorschau testen.
Welche Parameter wer setzt
| Ebene | Wer | Was |
|---|---|---|
| Inferenz-Anbindung (Server) | Platform Operator, per Helm-Values | Endpunkt, Modellbezeichner, Kontextgröße, Ausgabelimit, Standardwerte für Temperatur, Top-p, Repetition Penalty |
| Anwendung | Administrator und App-Ersteller, in der Oberfläche | Standardmodell, Modell je App, Denkaufwand je App, Anweisungen |
In basebox Cloud übernimmt basebox die Inferenz-Ebene vollständig.
- Kontextgröße – wie viele Tokens ein Chat insgesamt aufnehmen kann (Fragen, Antworten, Dokumente). Eigenschaft des angebundenen Modells, auf dem Server über
AISRV_LLM_CONTEXT_SIZEgesetzt; die Seite Versionsinfo im Benutzermenü zeigt den aktiven Wert. Für Nutzer: Kontextfenster. - Ausgabelimit – maximale Länge einer Antwort in Tokens (
AISRV_LLM_MAX_TOKENS, Standard 8000). Eine Obergrenze, kein Ziel. - Temperatur – Variabilität der Antworten (0 = fokussiert und reproduzierbar, 1 = kreativ). Serverstandard in
AISRV_LLM_TEMPERATURE; je App in der Oberfläche nicht einstellbar. Über die API setzen Entwicklertemperatureje Anfrage. - Repetition Penalty / Top-p – Feineinstellungen der Inferenz (
AISRV_LLM_REPETITION_PENALTY,AISRV_LLM_TOP_P), die der Platform Operator setzt.
Details: AISRV → LLM-Konfiguration.
Hinweise
Hinweis
- Anweisungen wirken stärker als Parameter. „Antworte in maximal fünf Sätzen“ in den App-Anweisungen ist wirksamer als ein niedriges Ausgabelimit.
- Der System-Prompt der Organisation gilt zusätzlich in jeder App.
- API-Schlüssel können alle Modelle nutzen, die unter
/v1/modelsfür die Organisation gelistet sind; eine Begrenzung je Schlüssel gibt es nicht. Siehe API-Schlüssel. - Verbrauch je App sehen Sie im Dashboard (Tokens, Benutzer, Betrag).
- Limits je Organisation stehen unter Organisation → Limits.
- Bei externem Inferenz-Endpunkt muss der in AISRV konfigurierte Modellbezeichner exakt dem entsprechen, was der Endpunkt unter
/v1/modelsmeldet.
Häufige Fragen
Kann ich einer Gruppe direkt ein Modell zuweisen? Nicht als eigene Einstellung. Der Weg ist eine App mit festem Modell, freigegeben an die Gruppe.
Können Nutzer im Chat ein anderes Modell wählen? Nein. Das Modell bestimmen die Organisation bzw. die App.
Was passiert, wenn ein Modell, das eine App fest nutzt, nicht mehr angeboten wird? Stellen Sie die App auf ein verfügbares Modell oder auf Standard verwenden um.
Wie finde ich heraus, welche Apps vom Standard abweichen? Öffnen Sie die App im App-Editor und prüfen Sie Erweiterte Felder → Modell. Eine Sammelansicht gibt es derzeit nicht.
Kann ich die Kontextgröße als Administrator erhöhen? Nein. Sie ist eine Eigenschaft des angebundenen Modells und wird auf dem Server vom Platform Operator gesetzt.
Kann ich die Temperatur je App einstellen? Nein, nicht in der Oberfläche.
Nächster Schritt: App-Freigabe · Dashboard
Benötigen Sie Hilfe? Support kontaktieren