41 Prozent der deutschen Unternehmen setzen KI inzwischen aktiv ein. Ein Jahr zuvor waren es 17 Prozent. Aber nur 21 Prozent haben eine formale KI-Strategie. Diese Zahlen stammen aus der Bitkom-Studie vom Februar 2026, für die 604 Unternehmen ab 20 Beschäftigten befragt wurden. Zwischen den 41 und den 21 Prozent liegt die Lücke, in der im Mittelstand gerade die meisten Probleme entstehen: Die Werkzeuge sind im Haus, die Regeln sind es nicht.
KI-Governance ist das Wort für diese fehlenden Regeln. Es klingt nach Konzern, nach Lenkungskreis und nach Aktenordner. Im Mittelstand ist es etwas deutlich Schlichteres — die belastbare Antwort auf drei Fragen: Wer entscheidet, welche KI eingesetzt wird? Wer haftet, wenn sie Unsinn produziert? Und wer sorgt dafür, dass die Daten taugen, mit denen sie arbeitet?
Wer diese drei Fragen beantwortet hat, braucht kein 40-seitiges Rahmenwerk. Wer sie nicht beantwortet hat, bekommt das Rahmenwerk irgendwann trotzdem — nur dann von einem Anwalt, einem Prüfer oder einem verärgerten Kunden diktiert.
Warum Governance kein Papierkram-Thema ist
Der häufigste Einwand lautet: Wir sind 30 Leute, wir brauchen keine Governance, wir brauchen Ergebnisse. Genau deshalb braucht ihr sie. Die Zahlen zum Scheitern von KI-Projekten sind nämlich erstaunlich eindeutig — und sie zeigen nicht auf die Technik.
Gartner hat Ende 2025 782 Infrastruktur- und Betriebsverantwortliche befragt. Ergebnis: Nur 28 Prozent der KI-Anwendungsfälle waren vollständig erfolgreich und haben die Erwartungen an den Return on Investment erfüllt. 20 Prozent sind klar gescheitert. Der große Rest dümpelt irgendwo dazwischen — läuft, kostet Geld, liefert aber nicht das, was im Business Case stand.
Noch interessanter ist das Warum. Gartner rechnet damit, dass bis Ende 2026 rund 60 Prozent der KI-Projekte eingestellt werden, weil die Daten nicht KI-tauglich sind. 63 Prozent der Organisationen haben nach eigener Einschätzung keine oder nur unklare Datenmanagement-Praktiken für KI. Und eine weitere Gartner-Befragung von 223 Daten- und Analytics-Verantwortlichen im März 2026 kommt zu dem Schluss, dass bis 2027 sechs von zehn Organisationen an der KI-Governance scheitern werden, wenn sie die kulturellen Fragen rund um Daten ignorieren. In derselben Befragung wurden kulturelle Widerstände von 60 Prozent als Hürde genannt, fehlendes Budget nur von 40 Prozent.
Das heißt im Klartext: KI-Projekte scheitern selten am Modell. Sie scheitern an unklaren Zuständigkeiten, an Daten, die niemand gepflegt hat, und an Mitarbeitern, die nicht wissen, was sie dürfen. Das sind alles Governance-Fragen, und sie kosten kein Entwicklungsbudget — sie kosten Entscheidungen.
Die drei Pfeiler: entscheiden, haften, aufräumen
Für einen Betrieb mit 20 bis 200 Beschäftigten lässt sich KI-Governance auf drei Rollen herunterbrechen. Keine neuen Stellen, keine neue Abteilung — bestehende Personen mit benannter Zuständigkeit.
| Pfeiler | Zentrale Frage | Wer macht das typischerweise | Mindestens nötig |
|---|---|---|---|
| Entscheidung | Welche KI-Werkzeuge sind erlaubt, welche nicht? | Geschäftsführung plus eine fachlich nahe Person | Eine gepflegte Liste freigegebener Werkzeuge |
| Haftung | Wer trägt das Ergebnis nach außen? | Die jeweilige Fachabteilung, nicht die IT | Prüfschritt vor Veröffentlichung oder Versand |
| Daten | Womit darf die KI arbeiten? | Wer die Daten ohnehin pflegt | Klassifizierung: öffentlich, intern, vertraulich |
Der entscheidende Punkt an dieser Tabelle ist die mittlere Spalte. In vielen Betrieben landet KI reflexhaft bei der IT. Das ist nachvollziehbar und meistens falsch. Die IT kann beurteilen, ob ein Werkzeug sicher angebunden ist. Ob ein KI-generiertes Angebot fachlich richtig ist, kann sie nicht beurteilen — das kann nur der Vertrieb. Governance, die diese Trennung nicht macht, erzeugt eine Abteilung, die für alles verantwortlich ist und nichts davon beurteilen kann.
Wer entscheidet: die Werkzeugliste
Der wirksamste erste Schritt ist unspektakulär: eine Liste. Darauf steht, welche KI-Werkzeuge im Betrieb freigegeben sind, für welchen Zweck, und mit welchen Daten sie gefüttert werden dürfen. Diese Liste ist kein Verbotskatalog, sondern eine Erlaubnisliste — sie beantwortet die Frage, die sich Mitarbeiter täglich stellen und meistens still für sich selbst beantworten.
Denn das ist die Alternative: Schatten-KI. Mitarbeiter nutzen private Konten, weil es im Betrieb nichts Offizielles gibt, und schieben dabei Kundendaten in Dienste, die niemand geprüft hat. Dieses Risiko verschwindet nicht durch ein Verbot, sondern durch eine brauchbare freigegebene Alternative. Eine Erlaubnisliste mit drei funktionierenden Werkzeugen ist wirksamer als eine Richtlinie mit dreißig Verboten.
Praktisch gehören auf die Liste: der Name des Werkzeugs, der erlaubte Einsatzzweck, die Datenklasse (dazu gleich mehr), und eine verantwortliche Person. Vier Spalten. Wer dafür länger als einen Nachmittag braucht, macht es zu kompliziert.
Wer haftet: der Prüfschritt vor dem Rausgehen
Die zweite Frage ist die unbequemste, weil sie juristisch klar ist und organisatorisch gern verdrängt wird: Für das, was euer Unternehmen nach außen gibt, haftet euer Unternehmen. Es spielt keine Rolle, ob ein Mensch oder ein Modell den Satz formuliert hat. Ein falscher Preis in einem KI-generierten Angebot ist euer falscher Preis. Eine erfundene Quelle in einem Blogartikel ist eure erfundene Quelle.
Daraus folgt eine simple Regel, die wir in Projekten durchgängig setzen: Alles, was den Betrieb verlässt, hat vorher ein menschliches Augenpaar gesehen. Intern darf KI frei laufen — Protokolle zusammenfassen, Entwürfe bauen, Daten sortieren. Nach außen gilt der Prüfschritt. Das ist keine Bremse, sondern die Bedingung dafür, dass man KI innen überhaupt schnell laufen lassen kann.
Dazu kommt seit dem 2. August 2026 eine konkrete Pflicht aus dem EU AI Act: KI-generierte Inhalte und Chatbots müssen als solche gekennzeichnet sein, und zwar dort, wo sie wahrgenommen werden. Ein Sammelhinweis im Footer reicht dafür nicht. Wer einen KI-Chat-Assistenten auf der Website oder einen KI-Telefonassistenten betreibt, muss das also im Dialog selbst sichtbar beziehungsweise hörbar machen. Welche Pflichten darüber hinaus wann greifen und was der Digital-Omnibus daran verschoben hat, haben wir in einem eigenen Beitrag zur KI-Verordnung aufgeschlüsselt.
Wer räumt die Daten auf: drei Klassen reichen
Der dritte Pfeiler ist der, an dem laut Gartner die meisten Projekte tatsächlich sterben. Und er ist der am wenigsten glamouröse. Eine KI ist nur so gut wie das, womit sie arbeitet. Wenn die Preisliste in vier Versionen auf drei Laufwerken liegt, wird ein KI-Assistent zuverlässig die falsche erwischen — und er wird es überzeugend tun.
Für den Einstieg braucht es keine Data-Governance-Initiative, sondern drei Schubladen. Öffentlich: darf überall hin, etwa Webseiteninhalte und Prospekte. Intern: darf in geprüfte Werkzeuge, etwa Prozessbeschreibungen und Protokolle. Vertraulich: geht nur in Systeme mit Auftragsverarbeitungsvertrag und klarem Serverstandort, etwa Personal-, Gesundheits- und Kundendaten.
Diese Einteilung macht die Werkzeugliste aus dem ersten Pfeiler erst benutzbar. Statt „darf ich ChatGPT nutzen?” lautet die Frage dann „welche Datenklasse hat das, was ich reinkopiere?” — und die kann ein Mitarbeiter selbst beantworten. Genau das ist das Ziel: Governance, die Entscheidungen nach unten verlagert, statt jede Frage zur Chefsache zu machen.
Parallel lohnt sich der ehrliche Blick auf die Datenbasis selbst. Welche Quelle ist die führende? Wer pflegt sie? Wann wurde sie zuletzt angefasst? Wer vor einem Automatisierungsprojekt diese drei Fragen beantwortet, spart sich hinterher die teure Variante derselben Erkenntnis.
Der realistische Fahrplan für 90 Tage
Governance scheitert, wenn sie als Projekt mit Kick-off und Lenkungskreis aufgesetzt wird. Sie funktioniert, wenn sie in kleinen Schritten entsteht und dabei sofort etwas erlaubt, was vorher unklar war.
- Woche 1–2: Bestandsaufnahme. Welche KI-Werkzeuge sind faktisch im Einsatz — inklusive der privaten Konten? Fragt offen und ohne Sanktionsdrohung, sonst bekommt ihr keine ehrlichen Antworten.
- Woche 3–4: Erlaubnisliste. Drei bis fünf Werkzeuge freigeben, Zweck und Datenklasse dazuschreiben, eine verantwortliche Person benennen.
- Woche 5–6: Datenklassen. Die drei Schubladen definieren und an den zehn häufigsten Dokumenttypen durchexerzieren.
- Woche 7–8: Prüfschritt verankern. Festlegen, was nach außen geht und wer es vorher sieht. In die bestehenden Abläufe einbauen, nicht daneben.
- Woche 9–12: Schulung und Nachsteuern. Einmal erklären, warum es die Regeln gibt. Danach quartalsweise prüfen, ob die Liste noch stimmt.
Der Aufwand dafür liegt bei zwei bis vier Personentagen, verteilt über ein Quartal. Das ist der Grund, warum sich das Thema lohnt: Es ist eine der wenigen KI-Maßnahmen, die fast nichts kostet und messbar die Ausfallwahrscheinlichkeit aller nachfolgenden Projekte senkt.
Wenn ihr nicht sicher seid, wo ihr steht, ist ein strukturierter Blick von außen der schnellste Einstieg. Unser Website- und KI-Audit schaut sich genau diese Punkte an — eingesetzte Werkzeuge, Kennzeichnungspflichten, Datenwege — und liefert eine priorisierte Liste statt eines Gutachtens. Wer lieber direkt sprechen möchte: Meldet euch kurz, eine erste Einordnung kostet nichts.
FAQ
Was ist KI-Governance einfach erklärt?
KI-Governance ist die Summe der Regeln, die festlegen, wer im Unternehmen über KI-Einsatz entscheidet, wer für die Ergebnisse geradesteht und welche Daten verwendet werden dürfen. Im Mittelstand besteht sie im Kern aus drei Dingen: einer Liste freigegebener Werkzeuge, einem Prüfschritt für alles, was nach außen geht, und einer einfachen Einteilung der Daten in öffentlich, intern und vertraulich.
Braucht ein kleines Unternehmen mit 20 Mitarbeitern wirklich KI-Governance?
Ja, aber in einer sehr schlanken Form. Der Aufwand liegt bei zwei bis vier Personentagen über ein Quartal verteilt. Gerade kleine Betriebe profitieren davon, weil dort KI-Werkzeuge oft ungesteuert über private Konten einsickern. Eine Erlaubnisliste mit drei geprüften Werkzeugen löst dieses Problem schneller als jede Richtlinie.
Worin unterscheidet sich KI-Governance von einer KI-Richtlinie?
Die Richtlinie ist das Dokument, die Governance ist die laufende Praxis. Eine Richtlinie beschreibt, was gilt. Governance umfasst zusätzlich, wer entscheidet, wer prüft, wer die Werkzeugliste aktuell hält und was passiert, wenn jemand etwas Neues einsetzen möchte. Ohne diese Zuständigkeiten bleibt die beste Richtlinie ein Dokument, das niemand öffnet.
Wer haftet, wenn eine KI im Unternehmen einen Fehler macht?
Nach außen haftet das Unternehmen, nicht der Hersteller des KI-Werkzeugs und auch nicht der Mitarbeiter, der es bedient hat. Deshalb ist der menschliche Prüfschritt vor Veröffentlichung oder Versand der wichtigste einzelne Baustein jeder KI-Governance. Intern lässt sich KI deutlich freier einsetzen, solange die Ergebnisse den Betrieb nicht ungeprüft verlassen.
Was schreibt der EU AI Act kleinen Unternehmen vor?
Für die meisten KMU sind zwei Punkte relevant. Erstens die KI-Kompetenz: Beschäftigte, die KI-Systeme einsetzen, müssen dafür ausreichend geschult sein. Zweitens die Transparenzpflicht seit dem 2. August 2026 — KI-generierte Inhalte und Chatbots müssen dort gekennzeichnet sein, wo sie wahrgenommen werden. Die strengeren Hochrisiko-Vorgaben betreffen typische Mittelstandsanwendungen in der Regel nicht.
Woran scheitern KI-Projekte im Mittelstand am häufigsten?
An den Daten und an unklaren Zuständigkeiten, nicht an der Technik. Gartner erwartet, dass bis Ende 2026 rund 60 Prozent der KI-Projekte eingestellt werden, weil die Daten nicht KI-tauglich sind, und nennt kulturelle Widerstände häufiger als fehlendes Budget als Hürde für Governance. Genau diese Punkte lassen sich vor Projektstart klären — und das ist deutlich billiger als danach.
