KI im Mittelstand: Zwischen Hype, Regulierung und gesundem Pragmatismus

Künstliche Intelligenz ist aktuell das Buzzword schlechthin – auch im Mittelstand. Kaum ein Strategiepapier kommt ohne „AI-first“-Vision aus, kaum ein Workshop ohne Prompt Engineering. Doch wer ehrlich hinschaut, merkt schnell: Für kleine und mittlere Unternehmen (KMUs) ist der sinnvolle Einsatz von KI kein Zukunftsthema mehr – sondern ein operatives.

Und vor allem: kein Grund, ein riesiges Fass aufzumachen.

Der regulatorische Spagat: DSGVO, DSA und AI Act

Beginnen wir mit der Realität, die viele gerne ausblenden: KI findet in Europa nicht im luftleeren Raum statt. Unternehmen bewegen sich in einem komplexen regulatorischen Rahmen aus Datenschutz, Plattformregulierung und KI-spezifischen Vorgaben.

Die Kombination aus DSGVO, Digital Services Act und AI Act schafft zwar Sicherheit – aber auch Komplexität. Wie eine aktuelle Analyse es formuliert:

„Die Europäische Union hat … einen beeindruckenden regulatorischen Rahmen geschaffen … doch gerade dieser wachsende Rechtsrahmen führt zu Verunsicherung.“ (althammer-kill.de)

Die Rollen sind klar verteilt, aber nicht trivial:

• DSGVO → schützt personenbezogene Daten

• AI Act → reguliert KI-Systeme risikobasiert

• DSA → adressiert Plattformverantwortung und Transparenz

Für KMUs bedeutet das:
Nicht die KI ist das Problem – sondern die Governance darum.

Und genau hier scheitern viele Initiativen. Nicht an der Technologie, sondern an:

• fehlenden Zuständigkeiten

• unklaren Prozessen

• fehlender Dokumentation

Ein funktionierendes KI-Projekt beginnt also nicht mit einem Modell, sondern mit einem Verzeichnis, klaren Rollen und einem Governance-Modell.

Die Realität in Unternehmen: Microsoft 365, SAP & Co.

Während Strategen noch über „AI Transformation“ diskutieren, hat die Praxis längst entschieden: KI kommt nicht als eigenständiges Projekt – sondern als Feature.

Systeme wie Microsoft 365 oder SAP integrieren KI direkt in bestehende Workflows. Und das ist entscheidend.

Ein Beispiel: Microsoft 365 Copilot greift auf bestehende Unternehmensdaten zu und liefert kontextbezogene Ergebnisse – ohne dass Nutzer verstehen müssen, wie ein LLM funktioniert. Gleichzeitig gelten dieselben Sicherheits- und Compliance-Regeln wie zuvor:

„Für Microsoft 365 Copilot gelten standardmäßig dieselben Sicherheits- und Compliance-Bestimmungen, die bereits für die Nutzung von Microsoft 365 in Ihrer Organisation gelten.“ (info.microsoft.com)

Das ist der eigentliche Gamechanger.

KI wird unsichtbar.

Keine neue Plattform. Kein neues Tool. Sondern:

• ein Button mehr

• ein Vorschlag im Dokument

• eine automatische Zusammenfassung im Meeting

Parallel dazu entstehen spezialisierte AI-SaaS-Lösungen – ebenfalls ohne „KI-Wissen“ beim Nutzer. Für den Anwender ist das schlicht Software.

Der große Irrtum: „Alle müssen prompten lernen“

Einer der größten Denkfehler aktuell:
Dass Mitarbeiter Prompt Engineering lernen müssen.

Das ist ungefähr so sinnvoll wie zu fordern, dass jeder Excel-Nutzer SQL können muss.

Ja, Prompts existieren. Aber:

• sie sind ein Übergangsphänomen

• sie verschwinden zunehmend hinter UI/UX

• sie werden durch Automatisierung ersetzt

Selbst heute schon gilt: Gute Systeme nehmen dem Nutzer das Prompting ab.

Die Vorstellung eines „KI-Kindergartens“, in dem alle lernen, wie man Chatbots richtig füttert, ist nicht nur ineffizient – sie ist strategisch falsch.

Denn sie lenkt vom eigentlichen Ziel ab:
Produktivität.

Statt Meta-Strategie: Flaschenhälse finden

Viele Unternehmen machen denselben Fehler:
Sie starten mit einer großen KI-Strategie.

Was sie stattdessen tun sollten:

👉 Operative Probleme identifizieren
👉 Wiederholende Prozesse erkennen
👉 Automatisierung prüfen

Denn genau dort liegt der ROI.

Typische Beispiele im Mittelstand:

• Angebots- und Dokumentenerstellung

• Kundenanfragen im Support

• Onboarding-Prozesse

• interne Wissenssuche

• Termin- und Kommunikationsprozesse

Hier entfaltet KI ihren echten Wert.

Nicht im Vision Deck.

Der pragmatische Werkzeugkasten

Ein sinnvoller KI-Ansatz im KMU sieht heute eher so aus:

1. Bestehende Systeme nutzen

KI kommt ohnehin in Microsoft, SAP, ERP und Projekttools.
→ Nutzen, nicht neu erfinden.

2. AI-SaaS gezielt einsetzen

Fertige Lösungen für:

• Support

• Marketing

• Dokumentation

Ohne eigenes KI-Know-how.

3. Eigene Lösungen bei Bedarf bauen

Wenn Prozesse regelmäßig auftreten:

• interne Tools (z. B. Onboarding)

• Kundenportale

• Serviceplattformen

Dann lohnt sich eigene AI-SaaS.

4. Kleine Hebel mit großer Wirkung

Oft unterschätzt:

• KI-Chatbots im Support

• Voicebots in der Telefonie

• automatische Klassifizierung von Tickets

Hier entstehen schnelle Effizienzgewinne.

Und was ist mit Datenschutz?

Natürlich bleibt Datenschutz ein zentrales Thema.
Aber auch hier gilt: Pragmatismus schlägt Panik.

Große Anbieter haben massiv investiert:

„Mit der EU Data Boundary … gibt es nun eine klarere und solidere Grundlage für den Einsatz von Microsoft 365 Copilot in deutschen Unternehmen.“ (computech.gmbh)

Gleichzeitig zeigt eine Bitkom-Studie:

„Rechtsunsicherheiten beim Einsatz neuer Technologien müssen minimiert werden … KMUs sollten dezidierte Unterstützung erhalten.“ (Bitkom e. V.)

Heißt übersetzt:
Ja, Compliance ist wichtig.
Aber sie ist lösbar – und kein Grund für Stillstand.

Fazit: Weniger Hype, mehr Handwerk

KI ist kein Selbstzweck.
Und schon gar kein strategisches Monsterprojekt.

Für KMUs gilt:

• KI ist ein Werkzeug, kein Ziel

• Integration schlägt Innovation

• Use Case schlägt Vision

• Pragmatismus schlägt Hype

Oder anders gesagt:

Mach aus KI kein Großprojekt.
Mach daraus ein Werkzeug für den Alltag.

Und wenn am Ende einfach nur ein Prozess schneller läuft, weniger Fehler passieren oder ein Mitarbeiter Zeit spart – dann hat sich der ganze Aufwand bereits gelohnt.

Ganz ohne Kindergarten.