KI im Mittelstand: Guter Wille, wenig Plan
Künstliche Intelligenz soll revolutionieren. Effizienz steigern. Innovation treiben. Output optimieren. Nur: Wer hat eigentlich den Plan?
Diese Frage ist nicht rhetorisch. Sie trifft einen wunden Punkt, in vielen mittelständischen Unternehmen. KI im Mittelstand folgt häufig keiner klaren Strategie, sondern intrinsischer Motivation Einzelner. Die Nutzung ist gewünscht, aber niemand führt strukturiert ans Thema heran. Nur ein Drittel der deutschen Unternehmen schreibt entsprechende Schulungen vor, dabei sind sie seit Februar 2025 verpflichtend.
-> Wer sensibilisiert in Ihrer Organisation zum Beispiel für Datenschutz im Zusammenhang mit künstlicher Intelligenz?
DSGVO-Verstöße passieren nicht aus böser Absicht, sondern aus Unwissenheit. Wer verhindert bei Ihnen, dass personenbezogene Daten oder Unternehmensinterna auf Servern US-amerikanischer Konzerne landen – die es mit Datenschutz bekanntlich nicht so haben? Sind Daten einmal hochgeladen: Damage is done!
-> Wer bringt Ihren Mitarbeitenden effektives Prompting bei und klärt über die Notwendigkeit von Output-Kontrolle auf? Wer erklärt, was Bias ist und dass KI zu Halluzinationen neigt.
Laut Umfragen arbeiten nur 32 Prozent aller Mitarbeitenden regelmäßig mit künstlicher Intelligenz. 43 Prozent davon sagen, Trainings würden ihnen mehr Sicherheit im Umgang mit der Technologie geben.
Hier sind Sie gefragt.
-> Am Ende das Artikels finden Sie unseren Quick-Check: Wie KI-ready ist meine Organisation?
So sieht die Praxis aus
In den meisten Unternehmen läuft es noch ungefähr so: Einige Mitarbeitende experimentieren aus eigener Motivation kreuz und quer mit KI-Tools, bauen sie in ihren Alltag ein und werden unbemerkt zu Power-Usern. Andere warten ab, weil sie den Nutzen dieser Technologie für ihre tägliche Arbeit nicht erkennen: „Erst mal sehen, ob sich das bei uns durchsetzt“. Was dabei entsteht? Risikobehafteter Wildwuchs. Ein Praxisbeispiel:
Ein kaufm. Leiter musste regelmäßig einen Managementreport erstellen. Da im Unternehmen kein SIngle Point of Truth vorhanden war, musste er die Daten aus verschiedenen Quellen und Reports händisch zusammenführen. Irgendwann ging er dazu über ChatGPT für den Report zu nutzen, um den Aufwand zu reduzieren. Er lud Wirtschaftspläne hoch, Vertriebs- und Personalkennzahlen, Vorjahresvergleiche, Daten zu Projekten und Innovationsinitiativen. Was er nicht bedachte: Die sensiblen Unternehmensdaten lagen fortan auf den Servern eines US-Konzerns und flossen sehr wahrscheinlich in Trainingsdaten ein. Zudem hatte er auch personenbezogene Daten hochgeladen, was ein klarer DSGVO-Verstoß war.
Was, wenn das bei Ihnen passiert?
Relevante Zahlen
Laut KI-Index Mittelstand 2026 nutzen 51,2 Prozent aller Mittelständler mittlerweile die Technologie. Viele allerdings noch in der Testphase. Das ist ein Positivtrend zum Vorjahr und zeigt dennoch, dass die Technologie sich noch nicht als feste Größe etabliert hat. Noch immer haben 31 Prozent der Organisationen gar keine konkreten KI-Pläne.
Wo seht Ihr Unternehmen in diesem Feld? Wird bei Ihnen noch getestet oder erzielen Sie schon Wertschöpfung durch KI?
Der Index hebt zudem hervor, dass die Technologie als strategisches Instrument verstanden wird, mit Fokus auf Effizienz, Produktivität und Kostensenkung. Doch dieser Fokus ist rein funktional – nicht strategisch. Und das zeigt auch die Deloitte ROI of AI Studie 2026. Demnach erwarten 90 Prozent der befragten deutschen C-Level, dass künstliche Intelligenz ihr Geschäftsmodell bis 2028 positiv verändert.
Jedoch -> In nur 2 Prozent der deutschen Unternehmen liegt die Verantwortung für KI beim CEO. Das ist der niedrigste Wert aller befragten Länder. Der Rest verteilt sich auf IT-Verantwortliche, operative Bereichsleitungen etc. was bestätigt, dass die Technologie eingesetzt wird, um operativ zu optimieren – nicht um strategisch zu transformieren.
Für Sie ergibt sich daraus die zentrale Frage -> Wer trägt in Ihrem Unternehmen die Verantwortung für das Thema und hat diese Person das Mandat, über Prozesse hinaus zu denken?
Operative Effizienz ist wichtig. Ohne Strategiefokus aber leider mittelfristig nicht genug, um gegen den Wettbewerb zu bestehen.
Das eigentliche Problem: Künstliche Intelligenz ist kein IT-Thema
Hier liegt der Denkfehler, der technologische Transformation in vielen Unternehmen blockiert.
Alles Digitale wird als IT-Thema behandelt. Aber IT-Verantwortliche wissen meist genau, wo ihre Rolle beginnt: dort wo bereits definiert ist, mit welchen Regeln KI genutzt werden soll und in welchen Anwendungsfällen.
Bevor es um die operative Umsetzung geht, müssen also Management und Führungskräfte strategische Antworten geben: Wo sind wiederkehrende manuelle Prozesse? Welche Use Cases ergeben sich daraus für unsere Organisation? Wo kann diese Technologie einen Mehrwert für unsere Kundschaft liefern? Welche Unternehmensdaten dürfen welche Tools verwerten? Wie bauen wir entsprechende Kompetenz im Unternehmen auf?
Künstliche Intelligenz im Unternehmen ist in allererster Linie ein strategisches Führungsthema. Doch alle warten, dass die IT den Startschuss ins KI-Zeitalter gibt.
Wie viel Expertise es für den Start braucht
Die gute Nachricht: Es braucht weniger, als die meisten denken.
Ich selbst habe schon eine KI-Strategie für Mittelständler entwickelt, inkl. Beurteilung der IT-Infrastruktur, potenzieller Use Cases und Investitionskosten, sowie der Roadmap zur Einführung. Gleiches gilt für das Thema KI-Richtlinie mit den Essentials: EU-AI Act, Datensicherheit, Urheberrecht, Bias, Halluzinationen, Prompting.
Und ich habe festgestellt: Mit meinem Kenntnisstand weiß ich mehr über diese Technologie und ihre Nutzung als die meisten in meinem beruflichen Umfeld. Was sagt das über den Stand der KI-Kompetenz in mittelständischen Organisationen insgesamt aus?
Also: Der Einstieg ist leichter, als viele denken und er beginnt mit drei konkreten Schritten.
Drei Sofortmaßnahmen für eine strukturiertere KI-Nutzung
KI-Richtlinie
Eine Richtlinie muss kein 20-seitiges Dokument sein – aber sie muss existieren. Sie schafft Klarheit für alle Beteiligten und schützt Unternehmen wie Mitarbeitende rechtlich.
Diese Themencluster sollte sie mindestens abdecken:
- Verantwortlichkeiten: Wer ist intern Ansprechperson für KI-Fragen? Wer berichtet an wen?
- Freigabeprozess & Tools: Wie werden neue Tools geprüft und freigegeben? Welche Tools sind genehmigt?
- Datenschutz & Datensicherheit: Was darf in externe Systeme eingegeben werden? Nicht alle Tools sind gleich – entscheidend ist, ob der Anbieter DSGVO-konform ist und ob Eingaben für das Training genutzt werden. Personenbezogene Daten und kritische Unternehmensinterna gehören grundsätzlich nicht in Tools ohne diese Absicherung.
- Ethik & Bias: Wie wird sichergestellt, dass Outputs nicht diskriminieren oder Vorurteile (Bias) reproduzieren?
- Ergebniskontrolle & Kennzeichnung: Wann müssen KI-generierte Inhalte geprüft werden? Wann müssen sie als KI-Inhalte gekennzeichnet werden?
- Verbotene Anwendungsfälle: Was schließt der EU-AI Act aus – etwa Social Scoring oder biometrische Kategorisierung?
Sensibilisierung
Ein 45-minütiges Basis-Briefing Ihrer Mitarbeitenden zu Halluzinationen, Bias und Datenschutz ist wertvoller als jedes ausgefeilte Tool ohne Kontext. Wer die Grenzen der Technologie kennt, nutzt sie effektiver und sicherer.
Prompting
Die Ergebnisse sind so gut wie die Eingaben (Prompts), die man macht. Wer ungenau oder zu vage promptet, bekommt mittelmäßige und lückenhafte Ergebnisse. Grundlegendes Prompting-Wissen bedeutet:
- Rolle zuweisen: z.B. „Agiere als erfahrener Online-Marketer und SEO-Spezialist“
- Kontext geben: z. B. Branche, Zielgruppe, Problemstellung
- Ausgabeformat definieren: z. B. Word-Doc mit Tabelle statt Fließtext, Bulletpoints statt Absätze
- Output kontrollieren: z. B. Aktualität von Statistikzahlen, Kontext recherchierter Informationen
Das ist alles leicht lernbar – und macht den Unterschied zwischen KI als Zeitfresserin und Datenkrake oder echtem Effizienz-Hebel und produktiven Sparringspartnerin.
Fazit
Diese drei Schritte schaffen einen ersten Rahmen – Leitplanken, die verhindern, dass diese bahnbrechende Technologie im Mittelstand zum unkontrollierten Experiment wird. Was darauf folgen muss, ist eine klare Strategie. Denn erst sie beantwortet die entscheidenden Fragen: Wo schafft KI in der Organisation wirklich Mehrwert? Welche Prozesse haben das höchste Potenzial?
Erfahrungsgemäß sind das Marketing, interne und externe Kundenservices, HR, Finanzen und Sales.
In welcher Reihenfolge und welche Investitionen sinnvoll sind, hängt aber von den konkreten Prozessen und Zielen eines Unternehmens ab. Ohne diese Analyse bleibt die Nutzung das, was sie in den meisten Organisationen aktuell noch ist: Wildwuchs.
Und Wildwuchs ist ein Zustand, der auf eine Führungsentscheidung wartet.
Was Sie als Nächstes erwartet
Dieser Beitrag ist der Auftakt unserer Artikel-Serie zum Thema „KI im Mittelstand“. Wer diese Technologie einsetzt, muss auch verstehen, wie sie funktioniert: Was sind Halluzinationen, was ist Bias – und prompte ich eigentlich effektiv? Zu diesen Themen steigen wir in Kürze tiefer ein. Und dem Thema KI-Strategie werden wir im Verlauf einen Deep-Dive widmen.
Mein Kollege Ingo Gösling hat bereits einen lesenswerten Text zu KI in Finance & Controlling verfasst. Sie finden den Artikel hier. Er behandelt darin den Punkt, wie mittelständische Finanzbereiche mit deutlich weniger gebundenem Personal eine höhere Qualität und strategische Relevanz erreichen.
-> Machen Sie hier den anonymisierten KI-Readiness-Check
Nicht für die Schublade – sondern für den Moment, in dem Sie ehrlich mit Ihrer Organisation sind.
Wollen Sie zu denen gehören, die die Veränderung jetzt proaktiv gestalten – oder zu denen, die später nur noch reagieren können?
Ein guter Prompt funktioniert nicht durch Kürze allein – und auch nicht durch schiere Menge an Informationen. Wie Ihre Mitarbeitenden braucht auch KI Orientierung: In welcher Rolle soll die KI denken? Was ist der Kontext? Für wen ist das Ergebnis gedacht? Rolle, Kontext, Zielgruppe und Ausgabeformat – das ist der Unterschied zwischen einem mittelmäßigen und einem wirklich nützlichen KI-Output.
Kleiner Hack: Lassen Sie die KI ihren eigenen Prompt schreiben.
Sagen Sie der KI, was Sie brauchen und wozu. Beispiel: „Ich bin Geschäftsführer und möchte das Thema künstliche Intelligenz in unserer Organisation etablieren. Ich möchte eine Strategie entwickeln, die zu unserem Unternehmen passt. Dafür brauche ich deine Hilfe. Wie müsste der optimale Prompt für dich lauten, damit du mir ein effektives, umfassendes und nutzbares Strategiekonzept entwickelst?“
Danach wirft die KI Ihnen einen umfassenden Prompt aus, den Sie um die entsprechend aufgeführten Inhalte ergänzen. Wenn Sie das gemacht haben, geben Sie ihn in die KI ein. Sie werden sehen, das Ergebnis ist verblüffend, wenn auch nicht 1:1 adaptierbar. Aber die KI hat Ihnen in jedem Fall schon eine Menge Denkleistung abgenommen.
Achtung: Jede KI reagiert anders. Ein Prompt von und für ChatGPT funktioniert in Claude.ai oder Perplexity beispielsweise weniger gut – und umgekehrt.
Strategische Generalistin | Kritische Denkerin | Leidenschaftliche Kommunikatorin
➡️ Als Schnittstelle zwischen Vision und Umsetzung bin ich Ihre Sparringspartnerin für Strategieentwicklung, klare Kommunikation und wirksame Veränderungsprozesse.
Kontakt:
📞 0421-36498 200