Hey IT-Abteilung, bitte bauen Sie kein eigenes RAG-System

Hinweis: Dieser Blogartikel wurde aus seiner Originalversion übersetzt und kann geringfügige Abweichungen enthalten. Auch die im Text enthaltenen Zitate wurden übersetzt.

Es überrascht nicht, dass 89 % der Unternehmen glauben, dass die Technologie der generativen KI (GenAI) eine disruptive Technologie für Unternehmen sein wird, um strategische Marktdifferenzierung zu schaffen. Dennoch hatten nur wenige die tatsächliche Komplexität antizipiert, produktionsreife Ergebnisse zu erzielen, und viele haben schnell die Grenzen der Anwendung externer Large Language Models (LLMs) auf interne Bedürfnisse erkannt. Infolgedessen sagen 51 % der Arbeitnehmer, dass generativer KI die Informationen fehlen, die sie nützlich machen würden.

Nach dem anfänglichen trügerischen Trend, das eigene Modell zu trainieren oder fein abzustimmen (was sich als zu komplex, zu kostspielig und mangelhaft in Bezug auf Flexibilität erwies), schauen Unternehmen nun darauf, ihre KI-Strategien durch Retrieval Augmented Generation, oder RAG, voranzutreiben.

RAG-Systeme nutzen die eigenen internen Daten und Inhalte eines Unternehmens, um relevante und präzise Produktantworten zu generieren. Diese Systeme verwenden weiterhin ein generisches Modell und funktionieren, indem sie das Modell zum Zeitpunkt der Abfrage mit internem Wissen füttern. Da Unternehmen RAG als einzigen Weg wahrnehmen, ihre Hürden zur Erzielung zufriedenstellender Ergebnisse zu überwinden, hat es sich verbreitet und ist zum neuen Trend in der KI-Technologie geworden. Infolgedessen haben die meisten IT-Abteilungen beschlossen, ihr eigenes RAG zu erstellen.

Klingt nach einer großartigen Idee, oder? Nicht ganz. Lassen Sie uns aufschlüsseln, warum dies nicht die beste Wahl ist und was Sie stattdessen tun sollten, um die Vorteile der RAG-Technologie zu nutzen.

Zwei Herausforderungen beim Aufbau eines RAG-Systems (bevor Sie überhaupt anfangen!)

Sie denken vielleicht: „Wir wollen wirklich unser eigenes RAG erstellen! Schließlich, wie schwer kann es sein? Wir haben bereits großartige Ingenieure. Sie sind alle begeistert, das Projekt zu starten, und es gibt tonnenweise Beispiele und Tools da draußen.“

Aber warten Sie, warum möchten Sie Ihr eigenes RAG erstellen? Ist es Ihr Kerngeschäft? Schließlich würden Sie nicht versuchen, Ihr eigenes CRM, Ihre Unternehmenssuche oder Ihr CMS zu erstellen, also warum ein RAG-System erstellen?

Der Aufbau Ihres eigenen RAG bringt versteckte Komplexitäten, Kosten, Herausforderungen und langfristige Bedürfnisse mit sich. Stattdessen ist die Investition in einen externen RAG-Anbieter für 99,9 % der Unternehmen die bessere Wahl.

Bevor Sie sich entscheiden, dieses neue Projekt zu starten, müssen Sie die zwei Hauptherausforderungen verstehen, die auftreten werden, sollten Sie versuchen, ein RAG-System zu erstellen.

Herausforderung 1: Ihre Daten sind nicht KI-bereit

Fragen Sie sich zunächst, welche Arbeit Sie geleistet haben, um Ihre Daten für die Nutzung durch KI-Modelle vorzubereiten. Die goldene Regel lautet, dass die Qualität der KI-Ausgaben nur so gut ist wie die Qualität und Genauigkeit der Inhalte, die das Modell speisen.

Wenn Sie sich denken „unsere Dokumentation ist detailliert und präzise, sie sollte in Ordnung sein“, ist das leider nicht die einzige Herausforderung. Beim Aufbau von RAG-Lösungen wird das LLM nicht richtig gefüttert, wenn das Produktwissen Ihres Unternehmens nicht vereinheitlicht oder auf dem neuesten Stand ist, und das RAG wird Schwierigkeiten haben, genaue, relevante Antworten zu generieren.

Ihre KI-Tools müssen auch in der Lage sein, Informationen aus verschiedenen Dateitypen aufzunehmen, da Produktinhalte über mehrere Quellen verstreut sind (z. B. SharePoint, technische Dokumentationsportale, Wikis, Wissensdatenbanken, Websites usw.). Dies fügt dem Projekt Komplexität bei der Inhaltsvorverarbeitung hinzu, da nicht alle Tools alle Dokumentformate aufnehmen können.

Darüber hinaus muss dieses vereinheitlichte Informationsrepository in Echtzeit aktualisiert werden, wenn sich der Quellinhalt ändert, damit die generierten Antworten die Grundwahrheit widerspiegeln. Es geht nicht nur darum, einmal alle Dokumentationen irgendwo abzulegen, sondern ein Live-System zu haben, das die neuesten Änderungen an Inhalten widerspiegelt und Sicherheits- und Zugriffsrechte durchsetzt, sodass Ihre RAG-Lösung nur mit dem gefüttert wird, was ein Benutzer sehen darf.

Herausforderung 2: Unerwartete Ressourcen- und Kosteninvestitionen

Die andere Kategorie von Problemen, die auftauchen werden, bevor Sie mit dem Bau beginnen und während des gesamten Projekts fortbestehen, sind die verschiedenen ungeplanten Ausgaben, die Ihr Budget in die Höhe schnellen lassen werden.

Sie werden wahrscheinlich zusätzliche Ressourcen mit den erforderlichen Fähigkeiten einstellen müssen, um dies zu erstellen. Und selbst wenn es fertig ist, müssen Sie das System kontinuierlich debuggen, Halluzinationen eliminieren, die Genauigkeit der Ausgaben fein abstimmen und andere Wartungs- und Sicherheitsaufgaben erledigen. Werden Sie bestehende Teams von ihren kritischen Missionen abziehen, um dies zu tun? Und für wie lange? Denn seien wir uns klar. Dies ist keine einmalige Investition. Der Aufbau eines RAG-Systems ist ein Marathon, kein Sprint. Sie müssen diese Ressourcen für Jahre zuweisen.

Diese Herausforderungen werden das Projekt verzögern, während dessen Sie einfach in einen externen RAG-Anbieter hätten investieren können, während Sie zusätzliche Ressourcen in Ihr eigenes Produkt stecken.

5 Gründe, kein eigenes RAG zu erstellen

Wenn die oben genannten Herausforderungen nicht ausreichten, um Sie abzuschrecken, hier sind fünf klare Gründe, nicht mit dem Projekt voranzuschreiten. Jeder einzelne hebt Wege hervor, wie der Aufbau Ihres eigenen RAG Ressourcen abzieht und finanzielle, organisatorische, operative und Sicherheitsprobleme schafft, die sich im gesamten Unternehmen erstrecken.

1. Ihnen fehlen die erforderlichen Komponenten

Moderne Content-Praktiken

In 67 % der Unternehmen sind Wissen und Ressourcen über mehrere Standorte und Abteilungen hinweg isoliert, was die Informationssuche erschwert. Wie bereits beschrieben, wird das Sammeln von Inhalten aus jeder Quelle ohne eine einheitliche Grundlage mühsam und fehleranfällig. PDFs und Word-Dateien in eine RAG-Lösung zu werfen, ist eindeutig zum Scheitern verurteilt. Bevor Unternehmen ein neues Projekt starten, müssen sie sich darauf konzentrieren, Inhalte zu strukturieren und Metadaten zu Themen und Dokumenten hinzuzufügen. Sie müssen auch in Technologie investieren, um Dokumente zu sammeln, zu analysieren und in granulare Informationen umzuwandeln, wodurch die Relevanz der Chunking drastisch verbessert wird.

Angepasste Suchfunktionen

Eine weitere erforderliche Komponente ist eine angepasste Unternehmenssuchmaschine. Speziell für RAG benötigen Sie eine semantische Suchmaschine.

Semantische Suche ist eine Informationsabruftechnik, die darauf abzielt, die kontextuelle Bedeutung einer natürlichsprachlichen Abfrage und die Absicht der Person zu bestimmen, die die Suche durchführt. Auf diese Weise können Benutzer erklären, wonach sie suchen, und relevante, genaue Antworten auf ähnlich konversationelle Weise erhalten.

Die Einrichtung einer guten semantischen Suchmaschine erfordert die Aktivierung mehrerer komplexer Komponenten:

• Content-Chunking,
• Embeddings-Berechnung durch Auswahl des geeigneten Sentence Transformers (jede Woche taucht ein neuer auf, können Sie mit dem Testen Schritt halten?),
• Betrieb einer Vektordatenbank mit den entsprechenden Indizes und Ähnlichkeitssuchmethoden (diese müssen ebenfalls bewertet und abgestimmt werden).

Im Gegensatz dazu ist die Schlüsselwortsuche nicht für den Umgang mit solchen natürlichsprachlichen Abfragen konzipiert. Aber die Technologie bewegt sich schnell, und es ist besser, sowohl semantische als auch Schlüsselwort-Suchtechnologien mit einer Reranking-Engine zu kombinieren. Dies wird als hybride Suche bezeichnet und ist ein weiterer Technologie-Stack, den man einrichten und beherrschen muss.

Dedizierte Analytik

Schließlich ist der Aufbau eines Systems eine Sache, aber die Messung seiner Leistung eine andere. Insbesondere bei KI ist es entscheidend zu bewerten, wie sie am ersten Tag sowie bei der Weiterentwicklung der Komponenten und Technologie funktioniert. Sie benötigen eine Lösung, die kontinuierlich die Qualität der Ergebnisse bewertet, während Sie Ihr System anpassen und abstimmen, um eine optimale Leistung aufrechtzuerhalten.

2. Personal- und Fachkenntniskosten sind hoch

Spezialisiertes Wissen ist kostspielig, und obwohl Sie möglicherweise ein kompetentes Team von Ingenieuren haben, erfordert RAG viel mehr. Wenn Sie einige bestehende Mitarbeiter für dieses Projekt einsetzen, müssen Sie verstehen, dass dies Fähigkeiten und Energie von Ihrem Unternehmensprodukt oder Ihren Dienstleistungen über einen längeren Zeitraum abziehen wird. Sind Sie bereit, dieses Opfer zu bringen?

Sie werden wahrscheinlich neue Teammitglieder mit spezifischen Fähigkeiten einstellen müssen, um dieses Projekt zu bewältigen. Diese Fähigkeiten kommen mit hohen Gehältern, und mehrere Rollen müssen besetzt werden:

• Machine Learning Engineers
• DevOps Engineers
• KI-Sicherheitsspezialisten
• Quality Assurance Engineers
• Projektmanager

Dies ist nur eine Musterliste dessen, was erforderlich ist, und andere Rollen müssen möglicherweise ebenfalls besetzt werden, um das Projekt abzuschließen.

3. Sie müssen neue Infrastrukturen und Systeme aufbauen

Haben Sie die Infrastruktur zur Verfügung, um ein neues System auf Unternehmensniveau von Grund auf neu zu erstellen? Während ich sicher bin, dass Sie wissen, dass es ein komplexer Prozess ist, haben Sie über die Ressourcen nachgedacht, die für dieses Ausmaß eines Projekts erforderlich sind? Hier sind einige Elemente, die Sie möglicherweise nicht berücksichtigt haben:

• Hosting einer Vektordatenbank
• Die Kosten der Modellinferenz (für Embeddings-Berechnung, dynamisches Reranking und Beantwortung der Anfragen)
• Aufbau von Entwicklungs-, Test- und Produktionsumgebungen
• Aufbau von Überwachungs- und Analysesystemen

Wenn Sie die Erstellung und Wartung dieser Systeme nicht budgetiert haben, können sie schnell zu Senklöchern werden, die Ihre Zeit, Ihr Geld und Ihre Ressourcen verschlingen.

4. Sie müssen einen kontinuierlichen Betrieb und Wartung gewährleisten

Selbst wenn Sie eine RAG-Lösung erstellen, hat das Projekt keinen einfachen Zeitplan und kein Enddatum. Diese Modelle erfordern konstante Unterstützung, Feinabstimmung und Bewertung, damit sie sich mit neuen Informationen und Produktveröffentlichungen weiterentwickeln und weiterhin genauer werden können. Die Zeit, Energie, Ressourcen und das Geld, die für Wartungsoperationen erforderlich sind, stellen eine oft unvorhergesehene, aber schwere Belastung dar.

Zusätzlich zur regelmäßigen Wartung müssen Sie auch die Updates berücksichtigen, die Ihre Benutzer für wichtig halten. Daher müssen Teams einen Weg finden, regelmäßig Benutzerfeedback zu sammeln. Benutzern die Möglichkeit zu bieten, die Ergebnisse, die sie von Ihrem KI-System erhalten, zu bewerten und zu kommentieren, liefert wertvolle Informationen für Sie und schafft gleichzeitig Vertrauen und fördert die Produktakzeptanz bei den Benutzern.

5. Es werden neue Bedrohungen für Sicherheit und Compliance freigesetzt

Einige Unternehmen verwenden externe Ressourcen zur Berechnung von Embeddings. Dadurch riskieren sie, ihre vertraulichen Informationen extern zu teilen. Daher müssen Sie die Embeddings-Berechnung und eine Vektordatenbank in Ihr internes System oder das eines vertrauenswürdigen, validierten Anbieters (ja, noch ein weiterer) integrieren. Es selbst zu tun, erfordert jedoch mehr Zeit und Ressourcen.

Die Wahrheit ist, dass Ihr KI-System Zugriff auf die gesamte Dokumentation Ihres Unternehmens haben wird, sodass das System so gebaut werden muss, dass es Angriffen und Datenlecks standhält. Über 90 % der Datenschutz- und Sicherheitsfachleute sind sich einig, dass generative KI neue Techniken zur Verwaltung von Daten und Risiken erfordert. Die Quintessenz ist, dass Sie konstante Sicherheitsupdates und Überwachung benötigen.

Dies wird noch entscheidender, wenn Sie darüber nachdenken, eine kundenorientierte RAG-Lösung zu erstellen. Wenn Ihr System vertrauliche Informationen halluziniert oder versehentlich sensible Daten durch Modellantworten mit Kunden teilt, wird dies der Glaubwürdigkeit und Vertrauenswürdigkeit des Unternehmens schaden.

Vorteile des Kaufs einer fertigen Lösung

Da haben Sie es, die 5 Hauptgründe, kein eigenes RAG zu erstellen. Nun, um den Punkt zu unterstreichen, schauen wir uns an, warum die Investition in eine externe RAG-fähige Lösung die bessere Option ist.

Automatisierte Content-Vorbereitung

Erstklassige Lösungen wie Content Delivery Platforms und Product Knowledge Platforms mit RAG-Fähigkeiten helfen Unternehmen, ihre Inhalte für KI vorzubereiten, indem sie sie sammeln und in einem zentralisierten Content-Hub harmonisieren. Die Automatisierung dieses Schritts spart unzählige Stunden manueller Konvertierung von Inhaltsformaten und der Verbindung von KI-Tools mit verschiedenen Inhaltsquellen.

Kontrollierte, transparente Kosten

Beim Kauf einer RAG-Lösung wissen Sie, was Sie bekommen und ausgeben. Es wird keine versteckten oder unerwarteten Kosten für Wartung oder andere Wartungsbedürfnisse geben. Außerdem wurde das System bereits vom Anbieter und bestehenden Kunden getestet, sodass Sie wissen, dass es funktioniert.

Schnellere Time-to-Use

Mit einer externen Lösung müssen Sie keine Zeit damit verschwenden, ein RAG-System zu erstellen, während Ihre Wettbewerber Out-of-the-Box-Lösungen einsetzen und weiterhin ihre eigenen Produkte verbessern. Fertige Lösungen helfen Ihnen, auf die Vorteile zuzugreifen, die Benutzererfahrung zu verbessern und schneller einen ROI auf Ihre Investition zu sehen.

Bessere Überwachung und RAG-System-Upgrades

Überlassen Sie die Hintergrundwartung einem externen Anbieter und lassen Sie Ihre Teams sich auf ihre Hauptaufgaben konzentrieren. Softwarelösungen mit integriertem RAG haben bereits die Prozesse zur Überwachung und Optimierung ihrer Systeme eingerichtet, sodass Sie nicht die Zeit und Ressourcen aufwenden müssen, um es selbst zu tun.

Wir sprechen nicht nur von kleinen Anpassungen. Es ist die Pflicht der RAG-Anbieter, die neuesten Fortschritte in der Technologie zu verfolgen, sie zu bewerten und diejenigen zu integrieren, die den größten Mehrwert bieten. Durch die Wahl eines schlüsselfertigen RAG-fähigen Systems profitieren Sie automatisch von besseren Sentence Transformers, Proximity-Search-Algorithmen und Reranking-Techniken.

Verbesserte Sicherheitsmaßnahmen und -reaktionen

Es lohnt sich nicht, Ihr Team mit doppelten Sicherheitsprioritäten zu überfordern, indem Sie ein Hochrisiko-RAG-System aufbauen. Sicherheitsbedrohungen entwickeln sich schnell weiter und machen anfängliche Sicherheitsmaßnahmen obsolet. Verlagern Sie einen Teil der Verantwortungslast auf einen externen Anbieter, dessen Hauptaufgabe es ist, konstante Sicherheitsupdates zu überwachen, das Auslaufen sensibler Informationen zu verhindern und vor Angriffen zu schützen.

8 Dinge, auf die Sie bei einem RAG-Anbieter achten sollten

Die Fakten weisen eindeutig auf externe RAG-Anbieter als bessere Lösung hin. Jetzt bleibt die Frage, wie Sie das richtige RAG-System für die Bedürfnisse Ihres Unternehmens auswählen. Hier sind acht unverzichtbare Elemente, auf die Sie bei der Auswahl eines Anbieters achten sollten.

1. Zentrales Content-Repository: Suchen Sie nach Lösungen, die Ihre Inhalte in einer einzigen Quelle der Wahrheit zentralisieren. Erstklassige Product Knowledge Platforms wie Fluid Topics tun dies.
2. Angepasste Suchmaschine: Wenn Sie nicht bereits über eine angepasste Suchmaschine verfügen, finden Sie eine Plattform, die semantische Suchfunktionen mit erstklassiger Schlüsselwortsuche kombiniert, um die Ausgabegenauigkeit und damit die RAG-Relevanz zu optimieren.
3. Robuste Sicherheitsmaßnahmen: Wählen Sie eine Lösung, die Best Practices für Sicherheit befolgt und Schlüsselkomponenten intern betreibt, wie z. B. Embeddings-Berechnung und eine Vektordatenbank, um sicherzustellen, dass Inhalte niemals an externe Quellen weitergegeben werden. Achten Sie auch auf Verwaltung von Inhaltszugriffsrechten.
4. Auswahl des LLM: Suchen Sie nach Optionen, die es Ihnen ermöglichen, Ihre bevorzugten LLMs auszuwählen, um auf natürliche Sprachverarbeitung für RAG-fähige Tools zuzugreifen. Dies stellt sicher, dass Ihre Teams die Kontrolle über die Genauigkeit der generierten Antworten behalten.
5. Prompt-Management: Erkunden Sie Anbieter, die es Ihnen ermöglichen, das LLM-Verhalten für Ihre einzigartigen Anwendungsfälle mit Prompt-Management anzupassen. Lösungen, die es Unternehmen ermöglichen, Prompt-Vorlagen zu erstellen und zu verwalten, bieten die Flexibilität, einzigartige RAG-gestützte Funktionen zu entwerfen (z. B. Chatbots).
6. Analytik und Überwachung: Finden Sie eine Plattform mit mehreren eingerichteten Systemen zur Überwachung und kontinuierlichen Verbesserung der Qualität der RAG-Ausgaben. Suchen Sie neben automatisierten Tests und Qualitätstests nach Lösungen, die es Endbenutzern ermöglichen, Feedback zu geben. Diese direkte Kommunikation liefert hochwertige Einblicke, wie Sie Ihre Dokumentation für optimale Nutzung durch das RAG-System verbessern können, um die Benutzererfahrung zu verbessern.
7. Erfolgreiche Anwendungsfälle: Untersuchen Sie die bestehenden Kunden-Anwendungsfälle jedes Anbieters, um zu bewerten, ob das von Ihnen gewählte System Ihren Anforderungen entspricht und RAG-Funktionen in großem Maßstab bieten kann. Dies ist besonders wichtig für regulierte Branchen, um sicherzustellen, dass der Anbieter die notwendigen Compliance-Anforderungen für Ihren Bereich erfüllt.
8. Support-Optionen: Stellen Sie sicher, dass die von Ihnen gewählte Lösung leicht zugängliche Unterstützung rund um die Uhr bietet. Von professionellen Dienstleistungen, die Ihrem Team bei der Implementierung der neuen Technologie helfen, bis hin zu Success- und Support-Teams, die alle Fragen oder Probleme nachverfolgen, stellen Sie sicher, dass Sie auf jede benötigte Unterstützung zugreifen können, um diese neue Lösung in Ihrem Technologie-Stack erfolgreich einzuführen und zu pflegen.

Abschließende Gedanken: RAG heute, Agentic AI morgen

Die Welt der technischen Innovationen bewegt sich schnell. Wenn Sie noch nicht von der Kraft von RAG profitieren oder Schwierigkeiten haben, die benötigte Qualität zu erhalten, ist die beste Option, eine sichere, externe, RAG-fähige Plattform wie Fluid Topics zu wählen. Ihre Teams und Ihr Budget werden Ihnen dafür danken, dass Sie kein eigenes RAG-System erstellt haben.

Mit Blick auf die Zukunft ist der neue große Fortschritt der KI die agentic AI. Anstatt Ihr eigenes RAG zu erstellen, nur um dann das nächste große Ding erstellen zu müssen, wählen Sie einen RAG-Anbieter, der in den Aufbau von agentic AI investiert, damit Sie der Konkurrenz einen Schritt voraus bleiben können.