2026: KI ist im Mittelstand angekommen. Jetzt beginnt die eigentliche Arbeit

57 Prozent: So viele Unternehmen in Deutschland setzen 2026 KI ein, erstmals eine Mehrheit. Das zeigt eine repräsentative Bitkom-Umfrage unter 603 Unternehmen ab 20 Beschäftigten. Weitere 38 Prozent planen oder diskutieren den Einsatz, nur noch 4 Prozent sagen, KI sei für sie kein Thema. Die Frage, ob sich KI für dein Unternehmen lohnt, ist damit beantwortet.

Eingeführt heißt aber noch lange nicht genutzt. Kaum ein Unternehmen schöpft das Potenzial von KI bisher aus, und mit KI-Agenten steht schon der nächste Schritt an. In diesem Beitrag zeige ich dir, wo KI heute tatsächlich arbeitet, wohin das Geld fließt und warum Agenten in den meisten Unternehmen noch an Daten und Infrastruktur scheitern.

Zum Schluss bekommst du 6 konkrete Schritte, mit denen du KI in deine Kernprozesse bringst.

KI ist in der Breite angekommen

Die Entwicklung der letzten vier Jahre ist bemerkenswert. Kaum eine Technologie hat sich in deutschen Unternehmen so schnell verbreitet.

Der Anteil hat sich in drei Jahren fast vervierfacht. Allein von 2025 auf 2026 kamen 21 Prozentpunkte dazu. Auch die Einstellung hat sich gedreht: 91 Prozent der Unternehmen halten KI inzwischen für die wichtigste Zukunftstechnologie. Nur noch 8 Prozent sehen darin einen überschätzten Hype. 2024 war es noch rund jedes vierte Unternehmen.

Das zeigt sich auch im Budget. 45 Prozent aller Unternehmen geben 2026 mehr Geld für KI aus als im Vorjahr, 13 Prozent sogar deutlich mehr. Die Hälfte hält die Ausgaben konstant, nur 3 Prozent wollen sie eher senken.

KI: Eingeführt heißt noch lange nicht genutzt

Der spannendste Befund der Studie steht für mich nicht in der Überschrift. Kein einziges Unternehmen mit KI-Einsatz sagt von sich, das Potenzial vollständig auszuschöpfen. Nur 3 Prozent nutzen es nach eigener Einschätzung eher stark. 28 Prozent nutzen es wenig, 59 Prozent überhaupt nicht. Und dieses Bild ist über alle Größen hinweg fast gleich, vom Betrieb mit 20 Beschäftigten bis zum Konzern.

Was sich herauslesen lässt:

Die meisten Unternehmen haben ein Werkzeug eingeführt, aber noch keinen Prozess verändert. Ein Chat-Assistent für E-Mails oder Texte ist ein guter Einstieg. Mit Kernprozessen hat er aber wenig zu tun. Die gute Nachricht für dich: Wenn du jetzt startest, bist du nicht abgehängt. Die entscheidenden Schritte stehen bei fast allen noch aus.

Wo KI heute arbeitet

Am häufigsten läuft KI weiterhin im Kundenkontakt, etwa bei der Bearbeitung von Anfragen (72 Prozent), und in Marketing und Kommunikation (54 Prozent). Interessanter finde ich die Bereiche, die stark zugelegt haben:

Hier sieht man die Verschiebung: KI wandert von der Kommunikation nach außen in die Tiefe des Unternehmens. Wissensmanagement, Vertrieb und Controlling sind Bereiche, in denen KI mit echten Unternehmensdaten arbeiten muss. Genau dort wird es anspruchsvoll.

Das Geld fließt nicht in Lizenzen

Ein Ergebnis widerspricht einem verbreiteten Bild. Viele denken bei KI-Kosten zuerst an Abos und Lizenzen. Die Unternehmen, die KI nutzen, sehen das anders:

Bitkom-Präsident Ralf Wintergerst bringt es auf den Punkt: “Wer nur eine Lizenz kauft, hat KI eingekauft, aber noch nichts verändert.”

Aus Architektursicht überrascht mich das nicht. KI ist in erster Linie ein Daten- und Integrationsthema. Das Modell ist austauschbar und wird jedes Jahr günstiger. Saubere Daten, angebundene Systeme und eine tragfähige Infrastruktur sind es nicht.

Was den Einsatz von KI bremst

Die Hürden hängen stark davon ab, wo du stehst. Unternehmen ohne KI nennen vor allem fehlendes technisches Know-how (85 Prozent), dazu rechtliche Unsicherheit und schwer kalkulierbare Kosten. Wer KI bereits nutzt, kämpft mit anderen Themen:

• Datenschutzanforderungen (66 Prozent),
• rechtliche Verunsicherung (56 Prozent)
• und Kosten (54 Prozent).
• Schlechte Ergebnisqualität nennt nur rund jedes vierte Unternehmen.

Beim Know-how tut sich etwas:

• 70 Prozent der Unternehmen schulen ihre Beschäftigten inzwischen im Umgang mit KI.
• Trotzdem schätzen 66 Prozent die KI-Kompetenzen ihrer Belegschaft als gering ein.

Hier liegt für die meisten noch viel Arbeit.

KI-Agenten: der nächste Schritt nach dem Chatbot

Ein Chatbot beantwortet Fragen. Ein KI-Agent handelt selbstständig. Er vergleicht zum Beispiel Preise, holt Angebote ein und arbeitet Entscheidungsoptionen aus. Statt dir eine Antwort zu liefern, erledigt er eine Aufgabe über mehrere Schritte und Systeme hinweg.

Laut Bitkom ist das Thema in den Unternehmen angekommen, aber noch früh. Unter den Unternehmen, die KI nutzen oder deren Einsatz planen oder diskutieren, sieht es so aus:

Bitkom sieht KI-Agenten heute ungefähr an dem Punkt, an dem KI insgesamt vor drei Jahren stand, und erwartet eine ähnlich schnelle Verbreitung. Wenn du dir die Kurve von 15 auf 57 Prozent anschaust, weißt du, was das heißen kann. Wintergerst betont außerdem, dass ein eigenständig handelnder Agent verlässliche Daten, verbundene Systeme und klare Regeln braucht, was er darf und was nicht.

Der Engpass ist die Infrastruktur, nicht das KI-Modell

Genau an diesen Voraussetzungen hapert es. Der Agentic AI Readiness Index 2026 von Fivetran zeigt:

Fast 60 Prozent der Unternehmen investieren bereits Millionenbeträge in agentenbasierte KI. Vollständig vorbereitet, um solche Systeme produktiv und zuverlässig zu betreiben, sind aber nur 15 Prozent. Gleichzeitig nutzen schon 41 Prozent Agenten im Produktivbetrieb. Viele bauen also auf einem Fundament, das noch nicht trägt.

Als größte Hindernisse nennen die Befragten Probleme bei Datenqualität und Datenherkunft (42 Prozent) sowie regulatorische Anforderungen und Datensouveränität (jeweils 39 Prozent). Der Index bewertet, wie aktuell Daten sind, ob ihre Herkunft nachvollziehbar ist, wie sie verwaltet werden und wie gut Systeme zusammenspielen.

Ein wichtiger Hinweis zur Einordnung: Die Fivetran-Studie basiert auf einer internationalen Umfrage unter 400 Datenexperten in den USA, Großbritannien, EMEA und Asien-Pazifik. Sie ist also nicht direkt mit den Bitkom-Zahlen für Deutschland vergleichbar. Die Richtung ist aber eindeutig.

Warum ist das bei Agenten so viel kritischer als bei Chatbots? Wenn ein Chatbot Unsinn schreibt, liest das ein Mensch und korrigiert. Wenn ein Agent auf Basis falscher oder veralteter Daten handelt, bucht er, bestellt er oder schreibt er in dein ERP. Aus Fehlern werden Aktionen und im schlimmsten Fall entsteht ein Schaden.

Deshalb entscheidet bei Agenten die Datenbasis über Erfolg oder Misserfolg, nicht das Sprachmodell.

2 Beispiele aus der Praxis

Wie nah Erfolg und Misserfolg beieinanderliegen, zeigen zwei Fälle. Beide drehen sich um dieselbe Frage: Wie gut sind Daten, Systeme und Regeln vorbereitet?

Negativbeispiel: Ein KI-Agent löscht die Produktivdatenbank

Im Juli 2025 ließ SaaStr-Gründer Jason Lemkin den KI-Agenten der Entwicklungsplattform Replit an einer Anwendung arbeiten. Obwohl er ausdrücklich einen Code- und Aktions-Stopp verhängt hatte, führte der Agent eigenmächtig Datenbankbefehle aus und löschte die Produktivdatenbank. Zuvor hatte er laut Lemkin bereits Fehler verschleiert und Testdaten erfunden. Anschließend behauptete der Agent, eine Wiederherstellung sei unmöglich. Das stimmte nicht, ein Backup ließ sich später einspielen.

Die Ursache lag weniger im Modell als im Umfeld: Replit nutzte damals dieselbe Datenbank für Vorschau, Test und Produktion, und der Agent hatte Schreibrechte auf alles. Klare Leitplanken, wer was darf, fehlten. Replit hat inzwischen reagiert und trennt Entwicklungs- und Produktivdatenbanken automatisch.

Beachte daher immer:
Gib einem Agenten nie mehr Rechte, als er für seine Aufgabe braucht, und trenne Test- und Produktivsysteme strikt.

Positivbeispiel: Gebündeltes Servicewissen bei J. Wagner

Der Beschichtungsspezialist J. Wagner GmbH aus Markdorf am Bodensee, ein Familienunternehmen mit über 1.700 Beschäftigten, stand vor einem typischen Mittelstandsproblem. Das Servicewissen war über viele Quellen verstreut, die Produkte wurden komplexer, und mit dem Generationswechsel drohte Erfahrungswissen verloren zu gehen.

Statt einfach ein KI-Werkzeug einzuführen, hat Wagner zuerst die Datenbasis geordnet. Die Informationen aus den verteilten Quellen wurden auf einer zentralen, KI-gestützten Wissensplattform von Empolis zusammengeführt und strukturiert. Servicetechniker greifen über ein Portal einheitlich darauf zu. Laut Anbieter spart jeder Mitarbeitende so rund 30 Minuten pro Tag bei der Fehlersuche, insgesamt etwa 220.000 Euro Servicekosten im Jahr. Als Nächstes sollen geführte Diagnosen weniger erfahrene Kollegen durch komplexe Reparaturen leiten.

Das Fazit:
Ein klar abgegrenzter Prozess, saubere Daten und eine messbare Zielgröße bringen mehr als jedes neue Tool. Beachte bei den Zahlen, dass sie aus einer Referenz des Anbieters stammen.

6 Schritte für erfolgreichen KI-Einsatz

Wenn du KI aus dem Experimentierstadium in deine Kernprozesse bringen willst, würde ich so vorgehen:

1. Starte mit einem Prozess, nicht mit einem Tool:
   Such dir einen Ablauf mit messbarem Ergebnis, etwa Durchlaufzeit, Fehlerquote oder Bearbeitungsaufwand. Lege vorher fest, woran du Erfolg erkennst.
2. Bring deine Daten in Ordnung:
   Prüfe für diesen Prozess, ob die Daten aktuell sind, ob ihre Herkunft nachvollziehbar ist und wer worauf zugreifen darf.
3. Baue Schnittstellen statt Copy-and-paste:
   KI entfaltet ihren Nutzen erst, wenn sie direkt mit ERP, CRM oder DMS spricht. Setze dabei auf offene Standards wie das Model Context Protocol (MCP), damit du nicht an einen Anbieter gebunden bist.
4. Definiere Leitplanken für Agenten:
   Lege fest, was ein Agent allein darf und wo ein Mensch freigeben muss. Protokolliere jede Aktion, damit du sie nachvollziehen kannst.
5. Plane das Budget realistisch:
   Rechne den größten Teil für Daten, Integration und Infrastruktur ein, nicht für Lizenzen.
6. Nimm dein Team mit:
   Schulungen sind kein Nice-to-have. Ohne Kompetenz und Akzeptanz bleibt jede Einführung an der Oberfläche.

Fazit

KI ist in der deutschen Wirtschaft angekommen. Das Ob ist entschieden, jetzt geht es um das Wie.

Wer KI nur als Lizenz einkauft, wird wenig verändern. Wer sie in Kernprozesse bringt, braucht vor allem saubere Daten und verbundene Systeme. Mit KI-Agenten verschärft sich diese Anforderung noch einmal deutlich.

Mein Rat:
Nutze die Zeit, bevor Agenten zum Standard werden, um dein Datenfundament fit zu machen. Dann bist du bereit, wenn die Welle kommt.

Quellen

• Bitkom: Erstmals nutzt die Mehrheit der Unternehmen KI (via Silicon Saxony, 14.09.2026)
• ms-aktuell: Mehrheit der Firmen setzt erstmals auf Künstliche Intelligenz
• Fivetran: The 2026 Agentic AI Readiness Index (05.05.2026)
• it-daily: Agentic AI scheitert oft an der Datenreife
• heise: Vibe-Coding-Dienst Replit löscht Produktivdatenbank (25.07.2025)
• Empolis: Referenz J. Wagner GmbH

Mehr zum Thema KI lesen.