Licensed to be used in conjunction with basebox, only.
// sicherheit
Modellanbieter
Gilt für
Produkt: Cloud · Server · Zielgruppe: Sicherheits- / Compliance-Prüfer
Welche Modell-Infrastruktur je Deployment-Modell genutzt wird. In Cloud und Server läuft das Sprachmodell auf denselben Servern wie die basebox-Plattform. Weitere Anbieter kommen in der Cloud nur mit Ihrer Zustimmung als Unterauftragsverarbeiter hinzu (Auftragsverarbeitung & Unterauftragsverarbeiter). Im Übergangsbetrieb der Cloud bis November 2026 kommen die KI-Modelle von Google Vertex AI in Frankfurt.
Je Deployment-Modell
| Wo läuft das Sprachmodell | Wer kontrolliert die Hardware | Gehen Prompts an Dritte? | |
|---|---|---|---|
| basebox Cloud | Auf den basebox-Servern, zusammen mit der Plattform, im Rechenzentrum der noris network AG in München | FAST LTA (Eigentum, Wartung), betrieben von basebox | Nein – außer an Anbieter zusätzlicher Rechenleistung (z. B. STACKIT, Mistral AI in der EU), nur mit Ihrer Zustimmung |
| basebox Cloud (Übergangsbetrieb bis November 2026) | Google Vertex AI in Frankfurt, bis zum Umzug; die Plattform läuft bei Hetzner in Nürnberg | Google (Modelle), Hetzner (Plattform) | Ja – an Google als Unterauftragsverarbeiter |
| basebox Server | Auf dem Server oder einem GPU-Host des Kunden im selben Netz; gebündelt (vLLM im Chart) oder externer OpenAI-kompatibler Endpunkt des Kunden | Kunde | Nein – außer der Kunde bindet selbst einen externen Dienst an |
Übergangsbetrieb bis November 2026
Im Übergangsbetrieb gehen Prompts an Google Vertex AI in Frankfurt. basebox ist auch hier Auftragsverarbeiter; Hetzner und Google sind Unterauftragsverarbeiter (basebox.ai/avv). Gesundheitsdaten und andere besondere Kategorien nach Art. 9 DSGVO verarbeiten Sie am besten erst nach dem Umzug (Übergangsbetrieb).
Welche Modelle
Für Server stellt basebox Open-Source-Modelle bereit – etwa GPT-OSS 20B/120B, Llama 3.3 70B, Mistral-Varianten – und dokumentiert Quelle, Lizenz und Version im Modellregister. An den Modellen wird nur quantisiert (Laufzeit- und Speicheroptimierung); kein Feintuning, kein Retraining, keine Änderung an Gewichten oder Architektur (Compliance-Dokument). Vor Auslieferung prüft basebox Modelle auf dokumentierte Sicherheitslücken und stellt keine Modelle bereit, die gegen Art. 5 EU AI Act verstoßen.
In der Cloud läuft das Sprachmodell auf den basebox-Servern; im Übergangsbetrieb bis November 2026 nutzt die Cloud bis zum Umzug Modelle von Google Vertex in Frankfurt – proprietäre Modelle eines Dritten.
Welche Modelle auf welcher Hardware sinnvoll sind: LLM-Empfehlungen · Getestete Modelle.
Externe Modelle auf einem Server
Ein Server kann statt der gebündelten Inferenz einen externen OpenAI-kompatiblen Endpunkt nutzen (Inferenz anbinden). Dokumentiert und erprobt ist das für einen kundeneigenen GPU-Host im selben Netz. Technisch lässt sich so auch ein externer KI-Dienst anbinden – das Compliance-Dokument nennt die „optionale Anbindung externer Closed-Source-Modelle (vom Kunden separat erworben)". Dann gilt:
- Prompts, Verlauf, abgerufener Kontext und Dokumentinhalte gehen an diesen Dienst – außerhalb Ihrer Datenverarbeitungsgrenze.
- Der Vertrag mit dem Dienst (AVV, Drittlandübermittlung, Trainingsausschluss, Aufbewahrung) ist Ihre Sache; basebox ist daran nicht beteiligt.
- Die Zusagen dieser Dokumentation zu Datenflüssen und Speicherung gelten für diesen Pfad nicht.
- Kein stiller Rückfall: Ist der Endpunkt offline, zeigt basebox den Fehler; es wechselt nicht unbemerkt auf ein anderes Modell.
Empfehlung für regulierte Umgebungen: lokale Inferenz. Wer einen externen Dienst anbindet, dokumentiert ihn als eigene Verarbeitungstätigkeit.
Was das Modell sieht
Bei jeder Anfrage: System-Prompt der Organisation, Personalisierung des Nutzers, Verlauf der Unterhaltung, aktuelle Eingabe, abgerufene Textabschnitte aus Wissensbasen und Dokumenten, Werkzeugergebnisse von Konnektoren und Websuche.
- Cloud: Die Anfrage bleibt auf den basebox-Servern, sofern Sie keinem Anbieter zusätzlicher Rechenleistung zugestimmt haben; es gibt kein Lernen aus Anfragen.
- Server: vLLM hält Anfragen nur für die Dauer der Verarbeitung im GPU-Speicher; es gibt kein Lernen aus Anfragen (Inferenz-Architektur).
- Cloud im Übergangsbetrieb: Die Anfrage geht an Google Vertex AI in Frankfurt. Aufbewahrung und Verarbeitung dort richten sich nach den Bedingungen von Google und dem AVV zwischen basebox und Google.
Was basebox nicht tut
- Kein Training oder Feintuning mit Kundeninhalten – auf keiner Umgebung.
- Keine Weiterleitung von Prompts an Dritte ohne Ihre Zustimmung in Cloud und Server. Im Übergangsbetrieb der Cloud gehen Prompts bis zum Umzug an Google Vertex AI. Überall kommen die vom Administrator gesteuerten Ausnahmen Websuche und Konnektoren hinzu.
- Keine Inhaltsfilter als Sicherheitsgarantie – Verhaltensregeln setzt der System-Prompt, Durchsetzung leisten Freigaben (Richtlinien).
Für die Prüfung
- Cloud: Sprachmodell und Plattform auf den basebox-Servern bei noris network AG in München; weitere Anbieter nur mit Ihrer Zustimmung. Unterauftragsverarbeiter aus der Liste übernehmen (Auftragsverarbeitung & Unterauftragsverarbeiter).
- Server: Inferenz-Host in die Datenverarbeitungsgrenze aufnehmen; bei externem Dienst eigene Bewertung.
- Modellliste mit Version und Lizenz aus dem Modellregister übernehmen; bei eigenen Modellen selbst dokumentieren.
- Übergangsbetrieb: Hetzner und Google bis zum Umzug als Unterauftragsverarbeiter aufnehmen; Art.-9-Daten erst nach dem Umzug (Übergangsbetrieb).
Nächster Schritt: Websuche