Licensed to be used in conjunction with basebox, only.
// sicherheit
Modellanbieter
Gilt für
Produkt: Demo · Cloud · Server · Zielgruppe: Sicherheits- / Compliance-Prüfer
Welche Modell-Infrastruktur je Deployment-Modell genutzt wird. In Cloud und Server läuft das Sprachmodell auf demselben Server wie die basebox-Plattform; Prompts gehen an keinen Dritten. Nur die Demo nutzt einen externen Modellanbieter.
Je Deployment-Modell
| Wo läuft das Sprachmodell | Wer kontrolliert die Hardware | Gehen Prompts an Dritte? | |
|---|---|---|---|
| basebox Cloud | Auf dem eigenen basebox-Server, zusammen mit der Plattform; der Server steht im Rechenzentrum von Noris in München | basebox | Nein – keine Datenverarbeitung bei einem Dritten |
| basebox Server | Auf dem Server oder einem GPU-Host des Kunden im selben Netz; gebündelt (vLLM im Chart) oder externer OpenAI-kompatibler Endpunkt des Kunden | Kunde | Nein – außer der Kunde bindet selbst einen externen Dienst an |
| Demo | Claude über Google Vertex AI; die Plattform läuft bei Hetzner | Google (Modell), Hetzner (Plattform) | Ja – an Google, auf Grundlage eines AVV |
Die Demo ist anders
Die Demo ist ein getrennter Aufbau und nicht die Cloud. Dort gehen Prompts an Google Vertex AI. basebox ist auch in der Demo Auftragsverarbeiter und hat mit Google und Hetzner AVV geschlossen (basebox.ai/de/legal#data). Verarbeiten Sie in der Demo trotzdem keine echten personenbezogenen oder Patientendaten – dafür sind Cloud und Server da.
Welche Modelle
Für Server stellt basebox Open-Source-Modelle bereit – etwa GPT-OSS 20B/120B, Llama 3.3 70B, Mistral-Varianten – und dokumentiert Quelle, Lizenz und Version im Modellregister. An den Modellen wird nur quantisiert (Laufzeit- und Speicheroptimierung); kein Feintuning, kein Retraining, keine Änderung an Gewichten oder Architektur (Compliance-Dokument). Vor Auslieferung prüft basebox Modelle auf dokumentierte Sicherheitslücken und stellt keine Modelle bereit, die gegen Art. 5 EU AI Act verstoßen.
In der Cloud läuft das Sprachmodell ebenfalls lokal auf dem basebox-Server.
In der Demo ist das Modell Claude über Google Vertex AI – ein proprietäres Modell eines Dritten.
Welche Modelle auf welcher Hardware sinnvoll sind: LLM-Empfehlungen · Getestete Modelle.
Externe Modelle auf einem Server
Ein Server kann statt der gebündelten Inferenz einen externen OpenAI-kompatiblen Endpunkt nutzen (Inferenz anbinden). Dokumentiert und erprobt ist das für einen kundeneigenen GPU-Host im selben Netz. Technisch lässt sich so auch ein externer KI-Dienst anbinden – das Compliance-Dokument nennt die „optionale Anbindung externer Closed-Source-Modelle (vom Kunden separat erworben)". Dann gilt:
- Prompts, Verlauf, abgerufener Kontext und Dokumentinhalte gehen an diesen Dienst – außerhalb Ihrer Datenverarbeitungsgrenze.
- Der Vertrag mit dem Dienst (AVV, Drittlandübermittlung, Trainingsausschluss, Aufbewahrung) ist Ihre Sache; basebox ist daran nicht beteiligt.
- Die Zusagen dieser Dokumentation zu Datenflüssen und Speicherung gelten für diesen Pfad nicht.
- Kein stiller Rückfall: Ist der Endpunkt offline, zeigt basebox den Fehler; es wechselt nicht unbemerkt auf ein anderes Modell.
Empfehlung für regulierte Umgebungen: lokale Inferenz. Wer einen externen Dienst anbindet, dokumentiert ihn als eigene Verarbeitungstätigkeit.
Was das Modell sieht
Bei jeder Anfrage: System-Prompt der Organisation, Personalisierung des Nutzers, Verlauf der Unterhaltung, aktuelle Eingabe, abgerufene Textabschnitte aus Wissensbasen und Dokumenten, Werkzeugergebnisse von Konnektoren und Websuche.
- Cloud: Die Anfrage bleibt auf dem basebox-Server; es gibt kein Lernen aus Anfragen.
- Server: vLLM hält Anfragen nur für die Dauer der Verarbeitung im GPU-Speicher; es gibt kein Lernen aus Anfragen (Inferenz-Architektur).
- Demo: Die Anfrage geht an Google Vertex AI. Aufbewahrung und Verarbeitung dort richten sich nach den Bedingungen von Google und dem AVV zwischen basebox und Google.
Was basebox nicht tut
- Kein Training oder Feintuning mit Kundeninhalten – auf keiner Umgebung.
- Keine Weiterleitung von Prompts an Dritte in Cloud und Server. Nur in der Demo gehen Prompts an Google Vertex AI. Überall kommen die vom Administrator gesteuerten Ausnahmen Websuche und Konnektoren hinzu.
- Keine Inhaltsfilter als Sicherheitsgarantie – Verhaltensregeln setzt der System-Prompt, Durchsetzung leisten Freigaben (Richtlinien).
Für die Prüfung
- Cloud: Sprachmodell und Plattform auf demselben basebox-Server bei Noris in München, kein externer Modellanbieter (Infrastruktur).
- Server: Inferenz-Host in die Datenverarbeitungsgrenze aufnehmen; bei externem Dienst eigene Bewertung.
- Modellliste mit Version und Lizenz aus dem Modellregister übernehmen; bei eigenen Modellen selbst dokumentieren.
- Demo-Beobachtungen nicht auf Cloud oder Server übertragen – die Demo ist ein anderer Aufbau.
Nächster Schritt: Websuche