Die wahren Kosten schlechter Dokumentation in KI-Systemen

Hinweis: Dieser Blogbeitrag wurde mithilfe von KI aus der Originalversion übersetzt und kann daher geringfügige Abweichungen enthalten. Einige der Links in diesem Beitrag führen zu Inhalten, die nur auf Englisch verfügbar sind.

Unternehmen, die ihre KI-Budgets erhöhen, müssen sich mit der Kluft zwischen den Kosten von KI und dem unverhältnismäßigen ROI auseinandersetzen. Goldman Sachs schätzt, dass private und öffentliche Organisationen weltweit im Jahr 2026 rund 1 Billion USD in KI investieren werden. Doch obwohl 60 % der Unternehmen planen, ihre KI-Investitionen im nächsten Jahr zu erhöhen, berichtet McKinsey, dass sich die Auswirkungen von KI auf das operative Ergebnis (EBIT) der Unternehmen im letzten Jahr nicht verändert haben. Ein Fünftel der Unternehmen spürt inzwischen die Belastung durch KI-bedingte Betriebskosten. Angesichts dieser wachsenden Kosten-Nutzen-Lücke prognostiziert Gartner, dass 40 % der neu entstehenden agentischen KI-Projekte bis Ende 2027 eingestellt werden.

Angesichts dieser Zahlen gehen Unternehmen meist davon aus, dass ihre Probleme mit KI-Projekten von der Technologie selbst herrühren. Das größte Problem für CIOs bei scheiternden KI-Projekten ist jedoch das Wissen, das diese Systeme antreibt. Wenn Sie KI-Initiativen gestartet haben, ohne sicherzustellen, dass das Wissen oder gar die Dokumentation hinter den Tools für die Aufgabe geeignet ist, entstehen Ihnen wahrscheinlich unnötige Kosten. Erfahren Sie, was Dokumentation für KI schlecht macht, wie hoch die Kosten sind und wie Sie das Problem beheben können.

Was gilt als minderwertige Dokumentation?

„Schlechte“ oder „minderwertige“ Dokumentation bedeutet hier, dass sie für KI-Systeme nicht gut funktioniert. Das Problem ist, dass die meiste Dokumentation ursprünglich für Menschen erstellt wurde, nicht für KI-Systeme. Da KI-gestützte Suche, Chatbots, Copiloten und andere Tools zunehmend auf Produktinhalte zurückgreifen, um Antworten zu generieren, nehmen und verarbeiten sie diese Informationen anders. Was Dokumentation für KI „minderwertig“ macht, hat oft weniger mit den Informationen selbst zu tun als damit, wie leicht KI-Systeme diese Informationen finden, darauf zugreifen und sie verstehen können.

Es gibt mehrere Gründe, warum Dokumentation für KI-Systeme als minderwertig gelten kann:

• Fehlende Informationen oder Kontext: Eine Anleitung erklärt möglicherweise, was zu tun ist, ohne das betreffende Produkt, die Version, die Konfiguration oder die Voraussetzungen zu nennen. Fehlende Metadaten, undefinierte Terminologie oder unvollständige Anweisungen erhöhen das Risiko, falsche Informationen abzurufen und anzuwenden.
• Veraltete Informationen: KI kann nur dokumentierte Informationen nutzen. Wenn Inhalte veraltet sind, liefert die Lösung selbstbewusste, aber nutzlose Antworten – anders als menschliche Support-Mitarbeiter, die veraltete Informationen erkennen und genauer nachfragen könnten. Veraltete Inhalte sind ein häufiges Problem bei Unternehmen mit häufigen Releases. Da Teams laufend neue Funktionen einführen und Terminologie überarbeiten, müssen sie Inhalte ebenso oft aktualisieren, um KI-Risiken zu vermeiden.
• Nicht KI-freundliche Formate: Formate wie PDF und reines HTML enthalten oft zusätzliche Formatierungsdetails (wie mehrspaltige Layouts, Fußnoten, freistehende Objekte, umfangreiches JavaScript und visuelles Styling), die Informationen für Menschen leichter überschaubar, für KI jedoch schwerer verständlich machen. Wenn KI diese Formate verarbeitet, gehen Markup und strukturelle Nuancen verloren – und damit auch die eigentliche Bedeutung.
• Doppelte und widersprüchliche Inhalte: Wenn doppelte Informationen über mehrere Versionen, Regionen, Übersetzungen oder Produktreleases hinweg existieren, kann ein KI-System die autoritative Wissensquelle für die jeweilige Situation nicht bestimmen. Es kann mehreren Versionen gleiche Gültigkeit zuweisen oder veraltete Inhalte anzeigen, wodurch die KI falsche Details für den falschen Kontext liefert.
• Schlechte Inhaltsstruktur: Der Abruf kann fehlschlagen, wenn die Inhaltsstruktur nicht auf KI ausgelegt ist. RAG-Systeme zerlegen Inhalte üblicherweise in kleinere Textfragmente, wandeln sie in Vektor-Embeddings um und speichern sie in einem durchsuchbaren Index. Wenn zusammenhängende Informationen über mehrere Abschnitte verteilt sind, kann die Aufteilung in Chunks sie in eigenständige Ausschnitte zerlegen, die von ihrem Kontext getrennt sind. Wenn die KI diese Fragmente abruft, kann sie halluzinieren, um Wissenslücken zu füllen – was zu plausiblen, aber falschen Antworten führt.

Diese Qualitätsprobleme bei der Dokumentation sind nur ein Teil der Gleichung. Selbst exzellente Inhalte nützen einem KI-System wenig, wenn es sie nicht finden oder darauf zugreifen kann:

• Fragmentierte Inhalte: Produktwissen ist häufig über CCMS, Wissensdatenbanken, Wikis, Support-Plattformen, Dateiablagen, Altsysteme und andere Quellen verteilt. Wenn diese Quellen isoliert voneinander betrieben werden, kann die KI die richtigen Informationen nicht finden, um durchgängig genaue Antworten zu liefern.
• Unzugängliches Wissen: Wertvolle Informationen können in Systemen liegen, die KI-Anwendungen nicht abfragen oder abrufen können. Ohne die richtigen APIs, Konnektoren oder Protokolle (z. B. MCP-Server) kann die KI dieses Wissen nicht zur Beantwortung nutzen. Tut sie es doch, liefert sie möglicherweise Informationen ohne den nötigen Kontext.
• Schwache Dokumentations-Governance: Schwache Zugriffskontrollen, inkonsistente Versionierung oder unklare Content-Eigentümerschaft können dazu führen, dass die KI veraltete, unpassende oder eingeschränkte Informationen abruft. KI-Systeme benötigen nicht nur Zugriff auf die richtigen Inhalte, sondern auch auf die Inhalte, die für den jeweiligen Nutzer zugelassen sind.

Diese Dokumentations- und Datenprobleme erschweren es der KI, Wissen zu finden und zu verstehen. KI weiß nicht, was ihr fehlt. Sie erkennt weder Fehler noch Lücken in den Informationen. Mit der Zeit verschlechtern diese Probleme die Nutzererfahrung, die Analytics und die Leistung der KI.

Warum birgt schlechte Dokumentation ein Geschäftsrisiko?

CIOs sollten sich damit befassen, wie sich die Qualität der Dokumentation auf die Systemzuverlässigkeit, die Finanzen sowie Gesundheits- und Sicherheitsrisiken auswirkt. Wenn KI Zugriff auf schlechte Dokumentation hat, sind die geschäftlichen Auswirkungen gravierend:

• Gesundheits- und Sicherheitsrisiken: In Außendienst- und anderen sicherheitskritischen Umgebungen können ungenaue, unvollständige oder veraltete Informationen schwerwiegende Folgen haben. Ein einziger Fehler kann dazu führen, dass ein Techniker unsichere Verfahren durchführt, Gefahren übersieht oder Geräte falsch verwendet – mit erhöhtem Risiko für Verletzungen oder sogar Todesfälle.
• Zeitverschwendung und geringere Produktivität: Fehlerhafte KI-Antworten können einen unternehmensweiten Aufwand erfordern, um die Folgen zu beheben. Sie verursachen Nacharbeit für Teams, die Fehler untersuchen und korrigieren, Prompts und Dokumentation aktualisieren, Support-Tickets und Nutzerbeschwerden bearbeiten, Korrekturmitteilungen versenden und Schadensbegrenzung betreiben müssen. Das kostet Zeit, die eigentlich für Kernaufgaben und produktive Arbeit gebraucht wird.
• Produktfehler und Ausfallzeiten: KI-Halluzinationen können Nutzer zu falschen Produktanweisungen, Konfigurationsschritten oder Wartungsverfahren anleiten. Je nach Produkt und Anwendungsfall kann dies zu Konfigurationsfehlern, unsachgemäßer Gerätenutzung, Schäden, Produktausfällen oder Systemausfallzeiten führen.
• Verlorenes Vertrauen und Rufschaden: Wenn Nutzer unvollständige, verwirrende oder schlicht falsche KI-Antworten erhalten, sind sie zu Recht verärgert und frustriert. Das lässt die Akzeptanzraten des Produkts einbrechen, und mit zunehmend negativen Bewertungen sinkt das Vertrauen der Nutzer. Sozialkapital ist entscheidend – und ist der Ruf einmal beschädigt, ist es sehr schwer, ihn wiederherzustellen.
• Erhöhte Compliance-Risiken: Fehlt es der Dokumentation an Data Governance und Zugriffskontrollen auf Inhaltsebene, entsteht ein größeres Risiko, dass vertrauliche Informationen in unbefugte Hände geraten. Nutzt die KI diese Dokumentation, riskiert sie, sensible und vertrauliche Informationen an nicht berechtigte Nutzer weiterzugeben – mit entsprechenden Compliance- und regulatorischen Folgen.

Wie misst man die Kosten schlechter Dokumentation?

Die Auswirkungen schlechter Dokumentation sind teamübergreifend spürbar. Scheitert eine KI-Ausgabe, steigen die Gesamtkosten über mehrere Geschäftsbereiche hinweg – von den Kosten für KI-Token über die verschwendete Zeit von Entwicklern für Nacharbeit bis hin zu Ressourcen für menschliche Validierungsschleifen und die Ticketbearbeitung im Support-Team.

Der KI-Verbrauch ist nur die sichtbarste Kostenart. Ein einzelnes Token mag günstig sein, doch ineffizienter Abruf und wiederholte Versuche können die Nutzung schnell erhöhen. Das gilt besonders für agentische und Multi-Agenten-Systeme, bei denen eine einzelne Anfrage mehrere Modellaufrufe, Suchvorgänge, Tool-Aufrufe, Validierungsschritte und Wiederholungsversuche auslösen kann. Kann der zugrunde liegende Inhalt keine verlässliche Antwort liefern, verbrauchen diese zusätzlichen Schritte Ressourcen, ohne bessere Ergebnisse zu erzielen. Das führt dazu, dass sich der gesamte Prompt- und Konversationsverlauf im System wiederholt und eine gescheiterte, kostspielige Schleife entsteht.

Entwicklungszeit kann weit teurer sein als die Token selbst. Wenn schlechte Ergebnisse immer wieder auftreten, unterbrechen Entwickler möglicherweise die Arbeit an zentralen Produktfunktionen, um Probleme manuell zu triagieren, Fehler zu beheben und System-Prompts zu überarbeiten. Dies zählt zu den größten „unsichtbaren“ Kostenfaktoren von KI. Es belastet Entwicklungsteams erheblich. Produktionskennzahlen zeigen, dass 30 % bis 40 % der gesamten KI-Projektbudgets direkt für Entwicklerstunden zur Fehlerbehebung an Agenten und zur Prompt-Optimierung aufgewendet werden.

Eine vierstündige Debugging-Sitzung wirkt isoliert betrachtet unbedeutend. Multipliziert man das jedoch mit der Anzahl der Entwickler, wiederkehrenden Fehlern, Releases, KI-Anwendungen und Nachbesserungssitzungen, summieren sich diese versteckten Ausgaben zu erheblichen Betriebskosten.

Menschliche Validierung und Nutzersupport verursachen weitere Kostenebenen. Anschließend muss eine weitere Fachkraft eingreifen und 45 Minuten damit verbringen, Fakten zu prüfen und eine KI-Qualitätskontrolle durchzuführen, bevor die Ausgabe für die Produktion freigegeben wird. Und selbst wenn KI und Dokumentation korrigiert sind, sind die Kosten damit nicht vorbei. Ist der Schaden durch fehlerhafte KI-Antworten einmal entstanden, schnellen die Nutzeranfragen in die Höhe, was zu einem Anstieg der Support-Tickets führt, deren Bearbeitung wertvolle Zeit und Ressourcen bindet. Das Ergebnis kann leicht mehrere Tausend Dollar an verschwendeten Kosten erreichen – und dies summiert sich, je länger die KI mit schlechter Dokumentation im Einsatz war.

Welche Kennzahlen dienen als Warnsignale?

Um die oben beschriebenen Budgetverluste zu vermeiden, müssen Teams nach Anzeichen für schlechte Inhalte in KI-Systemen suchen. Es gibt mehrere Kennzahlen, die zwar subtil sind, aber als Frühwarnsysteme dienen können. Zeigen diese Kennzahlen plötzliche Spitzen oder eine Zunahme über die Zeit, ist das ein Signal, die Ursache zu untersuchen.

• Erfolgsquote beim Abruf: Ruft das System bei einer repräsentativen Menge an Fragen die autoritative Quelle für das richtige Produkt, die richtige Version und den richtigen Nutzerkontext ab? Wenn nicht, deutet das auf größere Dokumentationsprobleme hin.
• Nutzerfeedback, Kommentare und Bewertungen: Direktes Feedback ist einer der klarsten Indikatoren für mögliche Inhaltsprobleme. Negative Bewertungen, wiederholte Kommentare über unvollständige Antworten oder Nutzer, die falsche Informationen melden, können Lücken, Unklarheiten oder veraltetes Wissen aufdecken. Die Verfolgung von Feedback auf Content- und KI-Antwort-Ebene hilft Teams, wiederkehrende Muster zu erkennen.
• Gescheiterte oder ausbleibende KI-Akzeptanz: Niedrige Akzeptanzraten, sinkende Nutzung, wiederholte Anfragen oder Nutzer, die schnell zu traditionellen Support-Kanälen zurückkehren, können darauf hinweisen, dass eine KI-Erfahrung nicht den erwarteten Mehrwert liefert. Können Sie analysieren, welche Antworten die KI gegeben hat, lässt sich die Diskrepanz erkennen und feststellen, ob es sich um ein Prompt- oder ein Dokumentationsproblem handelt.
• Verzögerte Proof-of-Concepts: Scheitern POCs für neue KI-Initiativen, sollten Sie untersuchen, warum sie nicht funktioniert haben und welche Dokumentation am häufigsten für die Antworten genutzt wurde. Meistens scheitern KI-Projekte, weil das zugrunde liegende Wissen nicht KI-bereit ist.
• Vorfall- und Support-Ticket-Raten: Steigt die Zahl der Vorfälle oder Support-Tickets kontinuierlich an oder gibt es Spitzen nach einem Produktrelease, kann das auf schlechte Dokumentation hindeuten. Arbeiten Sie mit den entsprechenden Teams zusammen, um die Probleme zu analysieren und zu prüfen, ob sie mit fehlerhaften, vagen oder irreführenden Informationen in Dokumenten zusammenhängen.
• Mittlere Reparaturzeit (MTTR): Diese Kennzahl misst die durchschnittliche Zeit, die benötigt wird, um ein System oder Gerät wieder funktionsfähig zu machen. Isolieren Sie, wenn möglich, die MTTR für Reparaturen mit KI-Self-Service-Tools. Andernfalls achten Sie auf allgemeine Aufwärtstrends. Ein Anstieg der MTTR kann darauf hinweisen, dass Techniker Schwierigkeiten haben, genaue Verfahren, Fehlerbehebungsinformationen oder produktspezifische Anweisungen zu finden.

Durch den Vergleich von Kennzahlen vor und nach der KI-Einführung können Teams ableiten, wo schlechte Dokumentation die Geschäftsergebnisse beeinträchtigt. Die genaue Beobachtung dieser Warnsignale ermöglicht ein proaktives Eingreifen, bevor sich die Kosten summieren. Zusätzlich zu diesen teamübergreifenden Kennzahlen sollten Sie einen regelmäßigen Zeitplan für manuelle Tests Ihrer KI-Systeme einführen. Das sichert Antwortsicherheit und Genauigkeit vor und nach dem Launch.

Wie sieht gute Dokumentation für KI aus?

Um KI-Herausforderungen im Zusammenhang mit schlechter Dokumentation zu bewältigen, müssen Sie nicht alles von Grund auf neu aufbauen. Es erfordert einen bewussten Wandel in der Art, wie Unternehmen die Verbindung zwischen KI und den Inhalten, auf die sie sich stützt, verwalten.

Beginnen Sie damit, die Vorbereitung von Produkt- und technischem Wissen als grundlegende Voraussetzung zu behandeln – nicht als nachträgliche Ergänzung. Das bedeutet, eng mit Dokumentations- und Wissensteams zusammenzuarbeiten, um KI-bereite Content-Operations-Workflows aufzubauen. Zu den wichtigsten Schritten beim Aufbau von KI-bereiter Dokumentation gehören:

1. Wissenszugriff vereinheitlichen: Bringen Sie relevante Dokumentation in einem gemeinsamen Wissens-Hub zusammen, auch wenn sie aus unterschiedlichen Tools stammt. Das gibt der KI konsistenten Zugriff auf die benötigten Inhalte und reduziert Fragmentierung.
2. Dokumentation KI-bereit machen: Strukturieren Sie Dokumentation mit reichhaltigen semantischen Elementen, granularem Text, Metadaten und Taxonomien, konsistenter Terminologie, Querverweisen, Alternativtexten für Bilder, KI-freundlichen Formaten und zusätzlichen Kontextelementen, um Wissenslücken zu schließen.
3. Starke Content-Governance etablieren: Stellen Sie sicher, dass Metadatenstandards konsistent sind, die Versionskontrolle einheitlich erfolgt und autoritative Quellen über alle Teams, Content-Streams und Tools hinweg klar definiert sind.
4. Qualität prüfen, bevor die KI sie nutzt: Prüfen Sie Inhalte auf Genauigkeit, Vollständigkeit, Konsistenz und fehlenden Kontext, bevor sie der KI zur Verfügung gestellt werden. Integrieren Sie diese Prüfungen in Ihre Veröffentlichungs-Workflows, um das Risiko zu verringern, dass Fehler nachgelagerte Systeme erreichen.
5. Klare Zuständigkeiten festlegen: Stellen Sie sicher, dass die Human-in-the-Loop-Workflows für Validierung, Überwachung, Fehlerbehandlung und Nachbesserung klar sind und jeweils feste Verantwortliche haben. Das schafft operative Leitplanken in den Dokumentations-Workflows.
6. Sicherheit und Kontrollen integrieren: Implementieren Sie strenge Zugriffskontrollen auf Inhaltsebene. So folgt jede KI, die auf diesen Inhalten aufbaut, denselben Regeln und verhindert das Durchsickern von Inhalten.
7. Probleme in Echtzeit erkennen und überwachen: Richten Sie automatisierte Anomalieerkennung und andere Systeme ein, um Probleme proaktiv zu erkennen und zu beheben.

Um Risiken zu minimieren, sollten technische Teams jede Anforderung dokumentieren, Abhängigkeiten zwischen KI und Inhalten erläutern und die Rollen und Verantwortlichkeiten der Beteiligten klären. Im Falle eines Vorfalls hilft das Entwicklern, schneller Fehler zu beheben.

Wo sollten CIOs beginnen?

Wählen Sie einen Anwendungsfall mit einem klaren geschäftlichen Ergebnis und ausreichender Aktivität, um ihn messen zu können – zum Beispiel die Unterstützung von Kunden bei der Lösung eines wiederkehrenden Konfigurationsproblems.

Identifizieren Sie das Wissen, auf dem dieser Anwendungsfall basiert, benennen Sie verantwortliche Eigentümer und prüfen Sie die risikoreichsten Lücken. Priorisieren Sie Probleme nach ihrer voraussichtlichen Häufigkeit, ihren potenziellen Auswirkungen und dem Aufwand, der zur Behebung nötig ist. Legen Sie anschließend eine Baseline für die Antwortqualität, die Eskalationsrate und die Kosten pro erfolgreicher Lösung fest. Nehmen Sie gezielte Verbesserungen vor und wiederholen Sie denselben Evaluierungssatz, bevor Sie den Einsatz ausweiten. Definieren Sie für risikoreichere Workflows Freigabe- und Eskalationsanforderungen zusammen mit Qualitätskriterien.

Das gibt CIOs eine praktische Grundlage für Investitionsentscheidungen: welche Wissensverbesserungen Fehler reduzieren, was ihre Pflege kostet und ob der daraus resultierende Geschäftswert eine Skalierung rechtfertigt.

Fazit

KI-Bereitschaft hängt vom Wissen ab, auf das KI-Systeme zugreifen können, das sie verstehen und dem sie vertrauen können. Für CIOs bedeutet das, Produktwissen als Teil des KI-Stacks zu betrachten.

Das muss von Anfang an geschehen. Bevor Sie also KI-Initiativen skalieren, müssen Sie verstehen, auf welches Wissen das KI-System angewiesen ist, wo diese Informationen liegen, wer für sie verantwortlich ist, wie sie verwaltet werden und ob die KI zuverlässig die richtigen Informationen für den richtigen Nutzer abrufen kann.

Arbeiten Sie nach dem Start Ihrer KI-Projekte mit den relevanten Teams zusammen, um KI-Ergebnisse und -Kosten zu verfolgen und zu überwachen. Achten Sie auf Warnsignale, die auf schlechte Dokumentation hindeuten könnten, und richten Sie Workflows ein, die helfen, Inhalte zu pflegen und zu aktualisieren, um eine Verschlechterung der KI zu vermeiden. Weitere Best Practices für ein erfolgreiches KI-Projekt finden Sie in unserem CIO Strategic Playbook für KI.

CIO Strategic Playbook für KI in 2026 (Auf Englisch)

Starten Sie KI-Projekte mit hohem ROI.

Mehr erfahren