Zum Inhalt
Copyright © 2022-2026 basebox GmbH, all rights reserved.
Licensed to be used in conjunction with basebox, only.

// ki-chat

Was ist RAG?

Kurzbeschreibung

RAG (Retrieval-Augmented Generation) ist das Verfahren, mit dem basebox Antworten aus Ihren eigenen Dokumenten erzeugt: Erst wird gesucht, dann wird geantwortet. Das Sprachmodell bekommt zu Ihrer Frage die passenden Textstellen aus der Wissensbasis mitgeliefert und antwortet auf dieser Grundlage – mit Quellenangabe. Diese Seite erklärt, was dabei passiert und warum sich Antworten aus einer Wissensbasis anders verhalten als der normale Chat.

Das Prinzip in einem Satz

Ein Sprachmodell weiß, was in seinen Trainingsdaten stand. Ihre Leitlinien, Verträge und Handbücher standen nicht darin. RAG schließt diese Lücke, indem es dem Modell zur Laufzeit die relevanten Abschnitte aus Ihren Dokumenten vorlegt – so, als würden Sie einer Kollegin die richtigen Seiten aufgeschlagen hinlegen, bevor Sie fragen.

Was beim Hochladen passiert

  1. Extraktion – Text wird aus PDF, Word, E-Mail, Bildern (per OCR) und anderen Formaten gelesen.
  2. Zerlegung in Abschnitte – das Dokument wird in Textabschnitte („sections") geteilt. Ihre Anzahl sehen Sie später in der Quellenangabe.
  3. Embedding – jeder Abschnitt wird in eine Zahlenrepräsentation umgewandelt, die seine Bedeutung abbildet. Ähnliche Inhalte liegen dabei nahe beieinander.
  4. Speicherung – Abschnitte und Embeddings werden in der Wissensbasis der App abgelegt.

Das dauert je nach Umfang einige Sekunden bis Minuten; die App zeigt je Datei einen Verarbeitungsstatus.

Was bei einer Frage passiert

  1. Ihre Frage wird ebenfalls in ein Embedding umgewandelt.
  2. basebox durchsucht die gesamte Wissensbasis – nicht nur die ersten Treffer – nach den Abschnitten, deren Bedeutung Ihrer Frage am nächsten kommt.
  3. Die 20 relevantesten Abschnitte werden ausgewählt und zusammen mit Ihrer Frage an das Sprachmodell gegeben.
  4. Das Modell formuliert die Antwort aus diesen Abschnitten und belegt Aussagen mit nummerierten Quellen-Chips.

Unter der Antwort steht, wie viele Dokumente durchsucht wurden. Ein Klick auf einen Chip zeigt die Fundstelle und bietet den Download des Originals. Details: Wissensbasen & Quellen.

Was das für Ihre Fragen bedeutet

  • Formulierung zählt. Die Suche findet, was Ihrer Frage inhaltlich ähnelt. Verwenden Sie die Begriffe aus den Dokumenten – „Retoure" findet anderes als „Rückgabe".
  • Enger ist besser. Eine konkrete Frage verschiebt die Auswahl der 20 Abschnitte auf den Bereich, der Sie interessiert. „Was steht im Handbuch?" liefert Beliebiges; „Wie setze ich das Gerät zurück?" liefert die richtige Seite.
  • Nur, was drinsteht. Fehlt eine Information in den Dokumenten, kann RAG sie nicht liefern. Ein gutes Modell sagt das dann; prüfen Sie im Zweifel die Quellen.
  • Die Antwort ist belegt, nicht garantiert richtig. Der Chip zeigt, worauf sich das Modell stützt – ob es die Stelle richtig gelesen hat, sehen Sie erst beim Nachlesen.

RAG, Chat-Upload und Websuche im Vergleich

Wissensbasis (RAG) Datei im Chat Websuche
Woher kommt das Wissen Aus den Dokumenten der App Aus der angehängten Datei Aus dem öffentlichen Internet
Umfang Sehr groß; wird durchsucht Begrenzt durch das Kontextfenster Aktuell, aber ungeprüft
Quellenangaben Ja, bis zur Fundstelle Nein Links zu Webseiten
Dauerhaft Ja Nur in dieser Unterhaltung Nein
Verlässt die Umgebung Nein Nein Ja, die Suchanfrage

Eine kleine Datei für eine einmalige Frage gehört in den Chat. Alles, was Sie oder Ihr Team wiederholt brauchen, gehört in eine Wissensbasis.

Hinweise

Hinweis

  • Für Platform Operators: Die Verarbeitung übernehmen die Dienste ragsrv und ragsrv-support; die Vektoren liegen in PostgreSQL mit pgvector. Ohne GPU läuft RAG im CPU-Modus – funktionsfähig, aber langsamer. Siehe Service-Modelle.
  • Die Dokumente einer Wissensbasis verlassen Ihre basebox-Umgebung nicht. Nur die ausgewählten Abschnitte werden – innerhalb der Umgebung – an das Sprachmodell gegeben. Ausnahme ist die Demo: Dort gehen diese Abschnitte an Claude bei Google Vertex AI.

Häufige Fragen

Lernt das Modell aus meinen Dokumenten? Nein. RAG verändert das Modell nicht. Die Dokumente werden bei jeder Frage neu durchsucht; entfernen Sie ein Dokument, ist sein Inhalt sofort weg.

Warum nennt die Antwort nur 20 Quellen, obwohl mehr passen könnten? Angezeigt werden die 20 relevantesten Abschnitte. Durchsucht wird alles. Fragen Sie enger, um andere Abschnitte nach vorn zu holen.

Kann ich RAG im normalen Chat nutzen? Nur über eine App mit Wissensbasis. Im normalen Chat gibt es keine Wissensbasis und deshalb keine Quellenangaben.

Wie Sie eine Wissensbasis anlegen: Neue App erstellen