Ein KI-Agent soll eine Kundenanfrage vorbereiten. Er findet die aktuelle Produktbeschreibung, kennt die vereinbarte Sprache und erkennt, dass eine Kollegin noch eine Preisfreigabe prüfen muss. Dafür benötigt er unterschiedliche Informationen: freigegebenes Unternehmenswissen, Kontext zum laufenden Vorgang und klare Regeln für den Zugriff.
RAG und Memory helfen dabei auf unterschiedliche Weise. In diesem Beitrag sehen wir uns an, was die Begriffe bedeuten, wann welche Architektur genügt und wie Unternehmen mit veralteten Informationen, Berechtigungen und Datenschutz umgehen können. Das Beispiel ist bewusst fiktiv.
Was ist RAG bei KI-Agenten?
RAG steht für Retrieval-Augmented Generation. Ein Large Language Model (LLM) erhält dabei zusätzliche Informationen, bevor es eine Antwort formuliert. Bei diesem Verfahren sucht eine Anwendung zunächst nach Informationen außerhalb des trainierten Sprachmodells und übergibt passende Fundstellen zusammen mit der Anfrage an das Modell. Dieses formuliert daraus eine Antwort oder unterstützt einen weiteren Arbeitsschritt. Google Cloud beschreibt RAG als Verbindung von Informationssuche und generativer KI (Quelle).
Ein vereinfachter Ablauf für ein Unternehmen:
- Eine Mitarbeiterin fragt nach Lieferbedingungen für eine Produktgruppe.
- Das System prüft, auf welche freigegebenen Quellen sie zugreifen darf.
- Die Suche findet relevante Abschnitte in einer aktuellen Richtlinie und im Produktkatalog.
- Das Sprachmodell erhält Anfrage und ausgewählte Textstellen als Kontext.
- Es erstellt eine Antwort; die Anwendung kann die verwendeten Quellen anzeigen.
Die Qualität hängt von der Datenbasis, der Suche und der Verarbeitung ab. Ein veraltetes Dokument, ein unvollständiger Index oder eine falsch verstandene Passage kann eine unzutreffende Antwort verursachen. Quellenangaben helfen beim Prüfen, beweisen aber allein noch nicht, dass eine Antwort korrekt ist.
Wie funktionieren Chunks, Embeddings und Vektorsuche?
Ein RAG-System kann PDFs und andere Dokumente in kleinere Abschnitte, sogenannte Chunks, zerlegen. Embeddings bilden deren Inhalt als Zahlenvektoren ab; eine Vektorsuche vergleicht diese mit der Nutzeranfrage. Die semantische Suche kann so passende Inhalte finden, auch wenn die Formulierung abweicht. Größe und Zuschnitt der Chunks beeinflussen, ob ausreichend Zusammenhang erhalten bleibt. Quelle, Zugriffsrecht und Index müssen bei der Auswahl ebenfalls berücksichtigt werden.
Bei der Generierung können Sprachmodelle trotzdem eine Halluzination erzeugen, also eine plausibel klingende, sachlich falsche Aussage. Ein RAG-System sollte daher Antworten anhand vertrauenswürdiger Quellen überprüfbar machen; für kritische Entscheidungen bleibt eine fachliche Prüfung wichtig.
Was ist Agentic RAG?
Agentic RAG, auch agentisches RAG genannt, erweitert den Abruf um eine steuernde Komponente: Ein Agent kann je nach Aufgabe etwa mehrere Wissensquellen durchsuchen oder eine Suchanfrage verfeinern. Traditionelles RAG folgt dagegen häufig einer fest definierten Abrufkette. Die konkrete Orchestrierung, externe Tools, APIs und Freigaben müssen zum Risiko passen. Mehr Schritte können auch höhere Latenz und Betriebskosten bedeuten; zusätzliche Autonomie garantiert keine genaueren Antworten.
Braucht RAG immer eine Vektordatenbank?
Nein. Retrieval kann über Stichwortsuche, strukturierte Datenbanken, semantische Suche oder eine Kombination erfolgen. Eine Vektordatenbank kann helfen, inhaltlich ähnliche Passagen zu finden. Bei exakten Artikelnummern oder Vertragsdaten kann eine gezielte Abfrage einer strukturierten Quelle besser passen. Die Auswahl richtet sich nach Daten, Qualitätsanforderungen und Aufwand.
Was bedeutet Memory bei einem KI-Agenten?
Memory bezeichnet hier gespeicherten Kontext, den eine Anwendung bei späteren Schritten wiederverwenden kann. Agent Memory ist kein menschliches Gedächtnis: Ein Sprachmodell erinnert sich nicht automatisch wie ein Mensch. Die Anwendung entscheidet, welche Informationen sie speichert, wie lange sie diese vorhält und wann sie sie erneut bereitstellt.
Praktisch lassen sich mehrere Arten unterscheiden:
- Kurzfristiger Kontext: Informationen innerhalb einer laufenden Aufgabe oder Sitzung, etwa die bereits besprochenen Anforderungen.
- Vorgangsgedächtnis: Der Status eines Prozesses, etwa „Preisprüfung ausstehend“ oder „Entwurf zur Prüfung übergeben“.
- Längerfristiger Kontext: Gezielt gespeicherte Präferenzen oder bestätigte Fakten, sofern Zweck, Zugriff und Aufbewahrung geregelt sind.
- Verfahrenswissen: Hinterlegte Regeln und Abläufe, die das System bei einer Aufgabe unterstützen. Je nach Architektur können sie auch als Dokumente oder strukturierte Regeln vorliegen.
Diese Kategorien sind keine einheitlich festgelegten Produktfunktionen. Unterschiedliche Systeme verwenden den Begriff Memory verschieden. Manche speichern Sitzungsdaten, andere besitzen separate Speicher für längerfristigen Kontext.
Speichert Memory jede Unterhaltung dauerhaft?
Das sollte es nicht automatisch tun. Für Unternehmen ist entscheidend, was gespeichert werden darf, wer es lesen kann, wie lange es benötigt wird und wie eine Korrektur oder Löschung erfolgt. Eine einmal erwähnte Vermutung sollte nicht ungeprüft als dauerhaft gültige Kundeninformation behandelt werden.
RAG vs. Memory: Wo liegt der Unterschied?
| Frage | RAG | Memory |
|---|---|---|
| Zweck | Passende externe Informationen für die aktuelle Aufgabe abrufen | Kontext einer Sitzung, eines Vorgangs oder früherer Interaktionen verfügbar halten |
| Typische Inhalte | Freigegebene Richtlinien, Produktdaten, Handbücher | Fallstatus, bestätigte Präferenz, vorheriger Arbeitsschritt |
| Aktualität | Abhängig von Quelle, Synchronisierung und Suchindex | Abhängig von Schreibregeln, Bestätigung und Überprüfung |
| Hauptrisiko | Falsche, veraltete oder nicht erlaubte Quellen werden gefunden | Kontext ist falsch, veraltet, zu breit geteilt oder zu lange gespeichert |
| Kontrolle | Quellenfreigabe, Suchberechtigungen und Versionsstand | Speicherrechte, Geltungsbereich, Korrektur und Löschung |
Die Grenze ist in der Praxis nicht starr: Ein System kann Erinnerungen ebenfalls mit Retrieval suchen. „RAG“ beschreibt vor allem einen Abruf- und Generierungsablauf; „Memory“ beschreibt den gespeicherten Kontext und seine Nutzung. Deshalb geht es bei der Architektur häufig um das Zusammenspiel beider Ansätze.
Was ist ein Knowledge Layer?
Ein Knowledge Layer ist eine Architekturschicht für den Umgang mit Wissen. Der Begriff ist nicht überall gleich definiert. In diesem Artikel meinen wir damit die Regeln und Komponenten, mit denen Unternehmenswissen angebunden, auffindbar und kontrolliert nutzbar gemacht wird.
Dazu können gehören:
- Anbindung von Dokumenten, Datenbanken und Geschäftssystemen;
- Zuständigkeiten, Freigaben, Quelle und Versionsstand;
- Suchindex, Aktualisierung und Qualitätsprüfung;
- Identität, Berechtigungen und Protokollierung;
- Regeln für gespeicherten Kontext und dessen Aufbewahrung.
Ein Knowledge Layer ersetzt weder eine saubere Datenquelle noch die menschliche Verantwortung. Er schafft einen Rahmen, damit mehrere Anwendungen oder KI-Agenten auf abgestimmtes Wissen zugreifen können. Ob und wie das technisch umgesetzt wird, entscheidet das jeweilige Projekt.
Praxisbeispiel: Eine Anfrage mit RAG und Memory bearbeiten
Stellen wir uns einen mittelständischen Maschinenbauer vor. Ein Kunde fragt nach einem Ersatzteil und möchte wissen, wann ein Angebot möglich ist.
1. Anfrage einordnen: Der Agent erkennt Produktgruppe und Anliegen. Fehlen entscheidende Angaben, fordert er eine Klärung an oder übergibt den Fall an eine zuständige Person.
2. Unternehmenswissen abrufen: Über RAG werden für den Vorgang freigegebene Teilelisten und Angebotsrichtlinien gesucht. Eine Fundstelle enthält Artikelbezeichnung und aktuelle Hinweise. Preise oder Lieferzeiten werden nur aus dafür vorgesehenen Quellen übernommen und vor einer Zusage geprüft.
3. Vorgangskontext nutzen: Das Memory hält zum Beispiel fest, dass die technische Prüfung aussteht und welche Informationen bereits angefragt wurden. Es ist auf den konkreten Fall und berechtigte Rollen begrenzt.
4. Entwurf und Freigabe: Der Agent bereitet einen Antwort- oder Angebotsentwurf vor. Ein Mensch prüft Preise, Verfügbarkeit und Formulierungen. Der Versand erfolgt erst entsprechend dem vereinbarten Freigabeprozess.
5. Ergebnis aktualisieren: Nach der Prüfung wird der Vorgangsstatus aktualisiert. Eine neue allgemeine Preisregel wird nur dann zum Unternehmenswissen, wenn sie im vorgesehenen Prozess bestätigt und freigegeben wurde.
Dieses Beispiel veranschaulicht ein mögliches Design. Welche Integrationen, Prüfungen und Speichermechanismen verfügbar sind, wird für den jeweiligen Einsatz festgelegt.
Wann reicht RAG – und wann ist zusätzliches Memory sinnvoll?
RAG kann zunächst genügen, wenn eine Anwendung einzelne Fragen zu freigegebenen, aktuellen Dokumenten beantwortet und dafür keinen sitzungsübergreifenden Kontext benötigt. Beispiel: Mitarbeitende fragen nach der aktuellen Reisekostenrichtlinie und prüfen die angezeigte Quelle.
Zusätzliches Memory kann für Workflows sinnvoll sein, wenn ein Vorgang über mehrere Schritte oder Sitzungen läuft, mehrere Beteiligte zusammenarbeiten oder bestätigte Informationen erneut benötigt werden. Beispiel: Ein Kundenfall wartet auf eine Freigabe; das Team muss nachvollziehen können, welche Prüfung bereits erfolgt ist.
Vor einem Ausbau helfen diese Fragen:
- Welche Entscheidung soll die Anwendung unterstützen?
- Welche Quelle ist für diese Entscheidung maßgeblich?
- Welcher Kontext wird nach Abschluss der Sitzung tatsächlich noch gebraucht?
- Wer darf ihn lesen und verändern?
- Was geschieht bei Widerspruch, Löschung oder fehlender Freigabe?
Je weniger Informationen unnötig dauerhaft gespeichert werden, desto einfacher lassen sich Aktualität und Zugriff kontrollieren. Bei einfachen, festen Abläufen kann zudem eine klassische regelbasierte Automatisierung ausreichen.
Wie bleiben gespeicherte Informationen aktuell?
Ein typisches Problem: Im Gespräch wird eine Lieferfrist genannt, später ändert sich die bestätigte Lieferplanung. Der alte Gesprächskontext darf die neue, verbindliche Quelle nicht automatisch überstimmen.
Für solche Fälle sollten Unternehmen vorab festlegen:
- Verantwortliche Quelle: Welches System führt die verbindlichen Daten?
- Gültigkeit: Für welchen Kunden, Vorgang oder Zeitraum gilt eine Information?
- Zeitstempel und Herkunft: Wann und wo wurde sie erfasst oder bestätigt?
- Aktualisierung: Wie werden Änderungen übernommen und Suchindizes erneuert?
- Konfliktregel: Was passiert, wenn Quellen und gespeicherte Erinnerungen voneinander abweichen?
- Korrektur und Löschung: Wer kann einen Eintrag berichtigen oder entfernen?
Eine mögliche Regel: Bei abweichenden Lieferfristen prüft das Team den aktuellen Eintrag im führenden System. Bis zur Klärung erstellt der Agent keine verbindliche Zusage. Welches System führt, hängt vom konkreten Unternehmen ab.
Berechtigungen und Datenschutz bei RAG und Memory
Ein gemeinsames Unternehmenswissen bedeutet nicht, dass jede Person jedes Dokument sehen darf. Eine berechtigungsbasierte KI-Suche sollte den Zugriff im jeweiligen Kontext prüfen – einschließlich Rollenwechseln, entzogenem Zugriff, Suchindex und gespeicherten Ausgaben. Ebenso brauchen Memory-Einträge einen klaren Geltungsbereich. Eine einmal erteilte Berechtigung darf nicht unbegrenzt fortwirken.
Bei AI Cowork werden personenbezogene Angaben vor der Verarbeitung durch KI-Modelle durch Platzhalter ersetzt und nach der Rückgabe wieder den Originaldaten zugeordnet. Das gilt nach unserem Ansatz auch für lokale Modelle sowie Azure und Amazon Bedrock. Diese Pseudonymisierung ist keine vollständige Anonymisierung: Die Erkennung kann unvollständig sein und zuordenbare Daten bleiben schutzbedürftig. Auch Speicher, Suchindizes, Protokolle und die Zuordnungstabelle müssen betrachtet werden.
Bei Azure oder Bedrock wählen wir für den vorgesehenen Einsatz nach Verfügbarkeit Server in Deutschland und alternativ in der EU. Welche Region und welche weiteren Datenflüsse tatsächlich gelten, prüfen wir für das konkrete Projekt. Standortwahl allein garantiert keine DSGVO-Konformität.
Externe Dokumente und E-Mails können zudem irreführende oder schädliche Anweisungen enthalten. RAG verhindert solche Prompt-Injection-Angriffe nicht vollständig. Begrenzte Rechte, getrennte Behandlung externer Inhalte, Prüfungen und menschliche Freigaben reduzieren das Risiko (OWASP).
Mehr dazu: Berechtigungsbasierte KI-Suche und personenbezogene Daten bei KI-Agenten schützen.
Welche Kosten entstehen für ein RAG-System und Agent Memory?
Für RAG-Systeme entstehen je nach Architektur Aufwand für die Aufbereitung von Wissensquellen, Suchindex und Vektordatenbank sowie für den Betrieb von Sprachmodellen. Beim Agent Memory kommen Speicher, Zugriffsprüfung und regelmäßige Pflege hinzu. Umfangreiche Workflows und häufige Abfragen können die Latenz und laufenden Modellkosten erhöhen. Ein Pilot mit repräsentativen Queries zeigt, welche Qualität und welcher Aufwand für den konkreten Prozess entstehen.
Was sollten Unternehmen vor dem Start testen?
Ein Pilot wird aussagekräftiger, wenn Fachbereich und IT vorab einige reale, datenschutzgerecht ausgewählte Aufgaben definieren. Eine kleine Testliste:
| Testfall | Erwartetes Verhalten |
|---|---|
| Aktuelle Richtlinie und alte Version enthalten unterschiedliche Angaben | Gültige Quelle bevorzugen; Unsicherheit offenlegen |
| Person ohne Freigabe fragt nach vertraulichem Dokument | Keine Inhalte aus unberechtigten Quellen ausgeben |
| Kundenpräferenz widerspricht aktualisierter Information | Konflikt markieren und zuständige Person einbeziehen |
| Relevante Quelle fehlt | Fehlende Grundlage benennen statt eine Aussage zu erfinden |
| Externes Dokument enthält fremde Handlungsanweisungen | Inhalt als potenziell unsicher behandeln; Rechte und Freigaben beachten |
| Eine Freigabe wurde entzogen | Zugriff nach Aktualisierung der Rechte wirksam unterbinden |
Messen Sie neben Geschwindigkeit auch, ob Fundstellen relevant und berechtigt sind, wie oft fachliche Korrekturen nötig sind und wie schnell Änderungen in der Quelle ankommen. Testfälle und Verantwortlichkeiten sollten zum Risiko des jeweiligen Prozesses passen.
Wie unterstützt AI Cowork eine gemeinsame Wissensbasis?
AI Cowork ist auf eine eigene, modular erweiterbare KI-Umgebung für Unternehmen ausgerichtet. Im Projekt klären wir, welche Wissensquellen und Prozesse angebunden werden, welche KI-Agenten damit arbeiten und welche Zugriffs- und Freigaberegeln erforderlich sind. Ein eigener Kontextspeicher oder RAG-Abruf sollte jeweils einen nachvollziehbaren Nutzen im vorgesehenen Ablauf erfüllen.
Wichtig ist die Unterscheidung zwischen einer Architekturidee und der konkreten Umsetzung: Quellen, Integrationen, Speicherfristen, Modellwahl und Kontrollen werden anhand Ihrer Anforderungen geprüft. Ein modulares System kann Modellwechsel erleichtern; technische Anpassungen und Abhängigkeiten von Infrastruktur oder angebundenen Diensten bleiben möglich.
Lesen Sie auch, wie Unternehmenswissen aktuell und freigegeben bleibt, wie mehrere Agenten Aufgaben und Wissen übergeben und wie ein Audit-Trail Freigaben und Aktionen nachvollziehbar macht.
Häufige Fragen zu RAG und Memory bei KI-Agenten
Ist RAG das Gedächtnis eines KI-Agenten?
RAG kann als externer Wissensabruf verstanden werden. Ein Agentengedächtnis bewahrt zusätzlich situations- oder vorgangsbezogenen Kontext auf. In der Praxis überschneiden sich die Begriffe: Auch Memory kann durch Retrieval durchsucht werden.
Kann ein KI-Agent ohne Memory arbeiten?
Ja. Für eine einzelne Frage zu aktuellen Dokumenten kann eine stateless Anwendung mit passendem RAG-Abruf ausreichen. Mehrstufige oder länger laufende Vorgänge benötigen dagegen häufig einen geregelten Kontext- oder Statusspeicher.
Kann Memory falsche Informationen enthalten?
Ja. Ungeprüfte Eingaben, veraltete Angaben oder falsche Zuordnungen können auch im Gedächtnis landen. Herkunft, Bestätigung, Geltungsdauer und ein Verfahren zur Korrektur helfen, das Risiko zu begrenzen.
Macht RAG Antworten automatisch richtig?
Nein. Fehler können unter anderem bei Quelle, Berechtigung, Suche und Interpretation entstehen. Quellenangaben und fachliche Prüfungen machen Ergebnisse besser nachvollziehbar.
Ist Fine-Tuning eine Alternative zu RAG?
Fine-Tuning passt ein Modell für ein Verhalten oder eine Aufgabe an. RAG stellt Informationen zur Laufzeit bereit und eignet sich für wechselnde, externe Quellen. Die Ansätze können kombiniert werden; Fine-Tuning ersetzt keine Berechtigungsprüfung oder verlässliche Quellenpflege.
Müssen alle KI-Agenten dasselbe Wissen und Gedächtnis teilen?
Nein. Ein gemeinsames System kann unterschiedliche Bereiche, Rollen und Fallkontexte trennen. Entscheidend ist, welche Informationen ein bestimmter Agent in wessen Auftrag benötigt.
Fazit: Die passende Kombination beginnt beim Prozess
RAG hilft einem KI-Agenten, relevante Informationen für eine Aufgabe abzurufen. Memory hält benötigten Kontext über Schritte oder Sitzungen hinweg verfügbar. Ein Knowledge Layer kann Quellen, Rechte und Pflege zusammenführen. Wie viel davon sinnvoll ist, zeigt sich am konkreten Geschäftsprozess – und an den Anforderungen für Qualität, Datenschutz und menschliche Kontrolle.
Möchten Sie prüfen, wie KI-Agenten in Ihrem Unternehmen auf Wissen zugreifen und Prozesse unterstützen können? Lernen Sie AI Cowork in einer kostenlosen Demo kennen.. Wir besprechen einen geeigneten Anwendungsfall, die benötigten Informationen und die nächsten Schritte.