KI im Mittelstand: Guter Wille, wenig Plan

Künstliche Intelligenz soll revolutionieren. Effizienz steigern. Innovation treiben. Output optimieren. Nur: Wer hat eigentlich den Plan?

Diese Frage ist nicht rhetorisch. Sie trifft einen wunden Punkt, den viele mittelständische Unternehmen gerade spüren – ohne ihn benennen zu können. KI im Mittelstand folgt keiner Strategie, sondern im besten Falle intrinsischer Motivation.

So sieht die Praxis aus

In den meisten Unternehmen läuft es doch ungefähr so: Einige Mitarbeitende experimentieren aus eigener Motivation kreuz und quer mit KI-Tools und werden unerkannt zu Power-Usern. Andere warten ab, weil sie den Nutzen von KI für ihre tägliche Arbeit nicht erkennen: „Erst mal sehen, ob sich das bei uns durchsetzt“. Konkrete Vorgaben oder Schulungen in Organisationen? Kaum vorhanden.

KI-Nutzung ist gewünscht, aber niemand führt strukturiert ans Thema heran. Was dabei entsteht? Kein geordnetes Experimentieren, sondern risikobehafteter Wildwuchs.

Und dieser Zustand ist kein Einzelfall – häufig ist er Normalzustand. Die Bundesnetzagentur hat im Juli 2025 die Studie KI in Unternehmen veröffentlicht. Über 800 deutsche Unternehmen wurden dafür zum Thema künstliche Intelligenz befragt. -> Das Ergebnis: Nur 29 % setzten KI zu de Zeitpunkt ein – und die meisten davon befanden sich noch in der Erprobungsphase. Größte Hürden: Zeitmangel, fehlende Fachkräfte, Rechtsunsicherheit.

Ein Drittel aller Unternehmen sah lt. Studie schlicht keine Anwendungsfälle für künstliche Intelligenz im eigenen Betrieb. Und das ist bedauerlich, denn KI kann auch in kleinen und mittleren Organisationen viel bewegen und Vorteile im Wettbewerb schaffen. Von denen, die KI bereits nutzen, boten 57 % ihren Mitarbeitenden keinerlei Schulungen oder Weiterbildungen an – obwohl Artikel 4 des EU AI Acts seit Februar 2025 das verpflichtend einfordert.

Wer sensibilisiert in Ihrer Organisation für Datenschutz im Zusammenhang mit Künstlicher Intelligenz? DSGVO-Verstöße passieren nicht aus böser Absicht, sondern aus Unwissenheit. Wer verhindert bei Ihnen, dass personenbezogene Daten oder Unternehmensinterna auf Servern US-amerikanischer Konzerne landen – die es mit Datenschutz bekanntlich nicht so haben? Sind Daten einmal hochgeladen: Damage is done! Wer erklärt, was Bias ist und dass KI zu Halluzinationen neigt. Wer bringt Ihren Mitarbeitenden effektives Prompting bei und klärt über die Notwendigkeit von Output-Kontrolle auf? Wer prüft, welche KI-Use Cases in Ihrem Unternehmen vorhanden sind?

Das eigentliche Problem: Künstliche Intelligenz ist kein IT-Thema

Hier liegt der Denkfehler, der die KI-Transformation in vielen Unternehmen blockiert.

Künstliche Intelligenz wird als IT-Thema behandelt. Aber IT-Verantwortliche wissen meist genau, wo ihre Rolle beginnt: dort wo bereits definiert ist, mit welchen Regeln KI genutzt werden soll und in welchen Anwendungsfällen.

Bevor es um die operative Umsetzung geht, müssen also Management und Führungskräfte strategische Antworten geben: Wie setzen wir den EU-AI Act um? Welche Unternehmensdaten dürfen KI-Tools verwerten – und welche auf keinen Fall? Wie schützen wir Mitarbeitende vor unkritischer Übernahme von KI-Outputs? Wie unsere Kundschaft vor Weitergabe ihrer personenbezogenen Daten? Welche Use Cases hat unsere Organisation?

Künstliche Intelligenz im Unternehmen ist in allererster Linie ein strategisches Führungsthema. Doch alle warten, dass die IT den Startschuss ins KI-Zeitalter gibt.

An diesem Grundverständnis scheitert die KI-Transformation in vielen Organisationen.

Wie viel Expertise es für den Start braucht

Die gute Nachricht: Es braucht weniger, als die meisten denken.

Ich selbst habe schon eine KI-Strategie für einen Mittelständler entwickelt. Gleiches gilt für das Thema KI-Richtlinie. Beide waren kein Deep Dive, sondern aus meiner Sicht beinhalteten sie die Essentials: EU-AI Act, Datensicherheit, Urheberrecht, Bias, Halluzinationen, Prompting. Solche Punkte.

Und ich habe festgestellt: Mit meinem Kenntnisstand weiß ich mehr über künstliche Intelligenz und ihre Nutzung als die meisten in meinem beruflichen Umfeld. Was sagt das über den Stand der KI-Kompetenz in mittelständischen Organisationen insgesamt aus?

Aber: Der Einstieg ist leichter, als viele denken – und er beginnt mit drei konkreten Schritten.

Drei Sofortmaßnahmen für eine strukturiertere KI-Nutzung

KI-Richtlinie

Eine Richtlinie muss kein 20-seitiges Dokument sein – aber sie muss existieren. Sie schafft Klarheit für alle Beteiligten und schützt Unternehmen wie Mitarbeitende rechtlich.

Diese Themencluster sollte sie mindestens abdecken:

• Verantwortlichkeiten: Wer ist intern Ansprechperson für KI-Fragen? Wer berichtet an wen?

• Freigabeprozess & Tools: Wie werden neue Tools geprüft und freigegeben? Welche KI-Tools sind genehmigt?

• Datenschutz & Datensicherheit: Was darf in externe KI-Systeme eingegeben werden? Nicht alle Tools sind gleich – entscheidend ist, ob der Anbieter DSGVO-konform ist und ob Eingaben für das Training genutzt werden. Personenbezogene Daten und kritische Unternehmensinterna gehören grundsätzlich nicht in Tools ohne diese Absicherung.

• Ethik & Bias: Wie wird sichergestellt, dass KI-Outputs nicht diskriminieren oder Vorurteile (Bias) reproduzieren?

• Ergebniskontrolle & Kennzeichnung: Wann müssen KI-generierte Inhalte geprüft werden? Wann müssen sie als KI-Inhalte gekennzeichnet werden?

• Verbotene Anwendungsfälle: Was schließt der EU-AI Act aus – etwa Social Scoring oder biometrische Kategorisierung?

Sensibilisierung

Ein einstündiges Basis-Briefing der Mitarbeitenden zu Halluzinationen, Bias und Datenschutz ist wertvoller als jedes ausgefeilte Tool ohne Kontext. Wer die Grenzen von KI kennt, nutzt sie effektiver und sicherer.

Prompting

KI-Ergebnisse sind so gut wie die Eingaben (Prompts), die man macht. Wer ungenau oder zu vage promptet, bekommt mittelmäßige und lückenhafte Ergebnisse. Grundlegendes Prompting-Wissen bedeutet:

• Rolle zuweisen: z.B. „Agiere als erfahrener Online-Marketer und SEO-Spezialist“
• Kontext geben: z. B. Branche, Zielgruppe, Problemstellung
• Ausgabeformat definieren: z. B. Word-Doc mit Tabelle statt Fließtext, Bulletpoints statt Absätze
• Output kontrollieren: z. B. Aktualität von Statistikzahlen, Kontext recherchierter Informationen

Das ist alles leicht lernbar – und macht den Unterschied zwischen KI als Zeitfresserin und echtem Effizienz-Hebel oder konstruktiver Sparringspartnerin.

Fazit

Diese drei Schritte schaffen einen ersten Rahmen – Leitplanken, die verhindern, dass KI im Mittelstand zum unkontrollierten Experiment wird. Was darauf folgen muss, ist eine KI-Strategie. Denn erst sie beantwortet die entscheidenden Fragen: Wo schafft KI in der Organisation wirklich Mehrwert? Welche Prozesse haben das höchste Potenzial?

Erfahrungsgemäß sind das Marketing, interne und externe Kundenservices, HR, Finanzen und Sales.

In welcher Reihenfolge und welche Investitionen sinnvoll sind, hängt aber von den konkreten Prozessen und Zielen eines Unternehmens ab. Ohne diese Analyse bleibt KI-Nutzung das, was sie in den meisten Organisationen aktuell noch ist: Wildwuchs.

Strategie ist der Rahmen – aber er allein reicht nicht. Und Wildwuchs ist keine Strategie – sondern ein Zustand, der auf eine Führungsentscheidung wartet.

---

Was Sie als Nächstes erwartet

Dieser Beitrag ist der Auftakt unserer Artikel-Serie zum Thema „KI im Mittelstand“. Wer KI einsetzt, muss auch verstehen, wie sie funktioniert: Was sind Halluzinationen, was ist Bias – und prompte ich eigentlich effektiv? Zu diesen Themen steigen wir in Kürze tiefer ein. Und dem Thema KI-Strategie werden wir hier im Blog zukünftig einen Deep-Dive widmen.

Mein Kollege Ingo Gösling hat bereits einen lesenswerten Text zu KI in Finance & Controlling verfasst. Sie finden den Artikel hier. Er behandelt darin den Punkt, wie mittelständische Finanzbereiche mit deutlich weniger gebundenem Personal eine höhere Qualität und strategische Relevanz erreichen.

---