KI-Agenten und der EU AI Act

Der EU AI Act – die europäische Verordnung über Künstliche Intelligenz – ist die erste umfassende gesetzliche Regelung für KI-Systeme und betrifft auch Unternehmen, die KI-Agenten einsetzen. Für den Mittelstand entsteht dadurch keine Panik, aber Klärungsbedarf: Welche Pflichten gelten, wenn ein Agent E-Mails beantwortet oder Bewerbungen vorsortiert? Wer haftet? Und was ist bis wann zu tun? Dieser Ratgeber ordnet die wichtigsten Punkte sachlich ein – aus der Perspektive des Unternehmens, das KI nutzt, nicht selbst entwickelt.

Hinweis: Dieser Text erklärt die Grundzüge und ersetzt keine Rechtsberatung. Für die verbindliche Einordnung Ihres konkreten Einsatzes ziehen Sie eine Rechtsanwältin bzw. einen Rechtsanwalt oder Ihre Datenschutzberatung hinzu. Angaben zu Fristen geben den aktuellen Stand der gestaffelten Anwendung wieder.

Was der EU AI Act regelt – und was nicht

Der AI Act (Verordnung (EU) 2024/1689) ist im August 2024 in Kraft getreten und gilt unmittelbar in allen EU-Mitgliedstaaten. Er verfolgt einen risikobasierten Ansatz: Nicht jede KI wird gleich behandelt, sondern nach dem Risiko, das von ihrem konkreten Einsatz ausgeht. Je höher das Risiko für Grundrechte, Sicherheit oder Gesundheit, desto strenger die Pflichten. Die meisten KI-Anwendungen im Mittelstand fallen in die niedrigen Risikoklassen – das ist die gute Nachricht vorweg.

Der AI Act regelt also nicht „KI“ pauschal, sondern knüpft an den Anwendungsfall. Derselbe technische Agent kann je nach Einsatz in eine andere Klasse fallen. Deshalb beginnt jede Einordnung mit der Frage: Wofür genau setzen wir den Agenten ein?

Die vier Risikoklassen

1. Unannehmbares Risiko – verboten

Eine kleine Zahl von Praktiken ist untersagt, etwa Social Scoring durch Behörden oder manipulative Systeme, die das Verhalten von Menschen zu ihrem Schaden ausnutzen. Diese Verbote gelten bereits. Für typische Geschäftsprozesse im Mittelstand sind sie praktisch nie einschlägig – man landet hier nur bei bewusst grenzwertigen Anwendungen.

2. Hohes Risiko – strenge Auflagen

Als hochriskant gelten KI-Systeme in bestimmten, im Gesetz aufgelisteten Bereichen. Für Unternehmen praxisrelevant sind vor allem: KI in der Personalauswahl (Sichten und Bewerten von Bewerbungen, Entscheidungen über Beförderung oder Kündigung), bei der Kreditwürdigkeitsprüfung natürlicher Personen sowie im Zugang zu wesentlichen Dienstleistungen. Wer einen Agenten hier einsetzt, übernimmt deutlich weitergehende Pflichten – dazu unten mehr.

3. Begrenztes Risiko – Transparenzpflichten

Hierunter fallen die meisten kundennahen Agenten: Chatbots, E-Mail-Assistenten, Systeme, die Texte oder Bilder erzeugen. Die zentrale Pflicht ist Transparenz – Menschen müssen erkennen können, dass sie mit einer KI kommunizieren bzw. dass ein Inhalt KI-generiert ist.

4. Minimales Risiko – keine besonderen Pflichten

Der Großteil interner Automatisierung: ein Agent, der Rechnungen ausliest, Belege ablegt oder Daten in die Warenwirtschaft überträgt. Für diese Systeme sieht der AI Act keine spezifischen Pflichten vor – die allgemeinen Regeln (etwa die DSGVO) gelten selbstverständlich weiter.

Anbieter oder Betreiber? Ihre Rolle entscheidet

Der AI Act unterscheidet Pflichten nach Rolle. Ein Anbieter (provider) entwickelt ein KI-System oder bringt es unter eigenem Namen auf den Markt. Ein Betreiber (deployer) setzt ein KI-System in eigener Verantwortung ein. Der Mittelstand ist fast immer Betreiber: Sie nutzen einen Agenten, den ein Dienstleister oder ein Modell-Anbieter bereitstellt. Die schwersten Pflichten – technische Dokumentation, Konformitätsbewertung, Risikomanagementsystem – treffen den Anbieter, nicht Sie.

Als Betreiber eines hochriskanten Systems haben Sie dennoch eigene Pflichten: das System entsprechend der Anleitung einsetzen, eine menschliche Aufsicht sicherstellen, den Betrieb überwachen und – wichtig – die betroffenen Beschäftigten bzw. deren Vertretung informieren, bevor ein solches System am Arbeitsplatz eingeführt wird. Bei Systemen mit begrenztem oder minimalem Risiko sind Ihre Pflichten deutlich geringer.

Die praktisch wichtigste Pflicht: Transparenz

Für die allermeisten Mittelstands-Agenten läuft es auf die Transparenzpflicht hinaus. Konkret bedeutet das:

  • Kennzeichnung im Dialog: Wenn Kundinnen und Kunden mit einem Agenten schreiben oder sprechen, muss klar sein, dass sie es mit einem KI-System zu tun haben – es sei denn, das ist aus dem Zusammenhang ohnehin offensichtlich.
  • Kennzeichnung erzeugter Inhalte: KI-generierte oder -bearbeitete Inhalte sollen als solche erkennbar sein; für künstlich erzeugte Bild-, Ton- oder Videoinhalte („Deepfakes“) gelten besondere Offenlegungspflichten.

Ein sauber gebauter Agent macht das ohnehin – etwa mit einem klaren Hinweis im Antwortentwurf oder einer Signatur. Wie ein solcher Agent im Kundenkontakt arbeitet und wo der Mensch die Freigabe behält, beschreibt der Ratgeber zum KI-Agenten für Kundenanfragen.

KI-Kompetenz: eine oft übersehene Pflicht

Unabhängig von der Risikoklasse verlangt der AI Act, dass Unternehmen für ein ausreichendes Maß an KI-Kompetenz („AI literacy“) bei den Personen sorgen, die mit den Systemen arbeiten. Gemeint ist kein Zertifikatskurs, sondern ein angemessenes Verständnis: Was kann der Agent, wo sind seine Grenzen, wann ist Vorsicht geboten, wie prüft man seine Ergebnisse? Für den Mittelstand ist das gut mit einer strukturierten Einarbeitung beim Rollout zu erfüllen – ein Aspekt, den auch der Fahrplan KI-Agent einführen aufgreift.

Der Zeitplan – gestaffelte Anwendung

Der AI Act tritt nicht auf einen Schlag in Kraft, sondern gestaffelt:

  • Seit Anfang 2025: Die Verbote unannehmbarer Praktiken und die Pflicht zur KI-Kompetenz gelten.
  • Seit Mitte 2025: Regeln für Modelle mit allgemeinem Verwendungszweck (die großen „Basismodelle“ hinter vielen Agenten) sowie Teile der Aufsichtsstruktur.
  • Ab Mitte 2026: Der Großteil der Pflichten, insbesondere für hochriskante Systeme in den gelisteten Anwendungsbereichen.
  • Danach gestaffelt: Für bestimmte hochriskante Systeme, die Teil regulierter Produkte sind, gelten längere Übergangsfristen.

Für die meisten mittelständischen Anwendungen (Transparenz, KI-Kompetenz) besteht damit bereits jetzt Handlungsbedarf – allerdings mit überschaubarem Aufwand. Wer perspektivisch in Richtung Personalauswahl oder Bonitätsprüfung automatisieren will, sollte die Hochrisiko-Anforderungen früh mitdenken.

Verhältnis zur DSGVO

Der AI Act ersetzt die DSGVO nicht – er kommt hinzu. Sobald ein Agent personenbezogene Daten verarbeitet (und das tut er fast immer), gelten beide Regelwerke parallel: die DSGVO für den Umgang mit den Daten, der AI Act für den Einsatz des KI-Systems. In der Praxis überschneiden sich die Anforderungen an Dokumentation, Transparenz und menschliche Kontrolle. Wer seine Datenschutz-Hausaufgaben macht, hat einen großen Teil der AI-Act-Basisarbeit bereits erledigt. Die datenschutzrechtliche Seite behandelt ausführlich der Ratgeber KI-Agenten DSGVO-konform einsetzen, die technischen Schutzmaßnahmen der Beitrag Datensicherheit bei KI-Agenten.

Was Sie jetzt konkret tun sollten

  • Bestandsaufnahme: Listen Sie auf, welche KI-Systeme und Agenten Sie einsetzen oder planen – und wofür genau.
  • Einstufung: Ordnen Sie jeden Einsatz einer Risikoklasse zu. Achten Sie besonders auf Personal- und Bonitätsentscheidungen (Hochrisiko).
  • Transparenz herstellen: Stellen Sie sicher, dass Kunden erkennen, wenn sie mit einer KI kommunizieren, und dass erzeugte Inhalte gekennzeichnet sind.
  • KI-Kompetenz aufbauen: Sorgen Sie für eine angemessene Einweisung der Mitarbeitenden, die mit den Systemen arbeiten.
  • Rollen klären: Lassen Sie sich von Ihrem Anbieter bestätigen, wer welche Pflichten trägt (Auftragsverarbeitung, Dokumentation, Konformität).
  • Dokumentieren: Halten Sie Einstufung, Verantwortlichkeiten und Freigaberegeln schriftlich fest.

Häufige Fragen zum EU AI Act

Gilt der EU AI Act auch für kleine Unternehmen?

Ja, der AI Act gilt unabhängig von der Unternehmensgröße. Allerdings hängen die konkreten Pflichten am Risiko des Einsatzes, nicht an der Größe. Für die meisten kleinen und mittleren Unternehmen bleibt es bei Transparenz- und Kompetenzpflichten, die mit überschaubarem Aufwand zu erfüllen sind.

Ist mein E-Mail- oder Dokumenten-Agent ein Hochrisiko-System?

In aller Regel nicht. Agenten, die E-Mails bearbeiten, Belege auslesen oder Daten übertragen, fallen typischerweise in die Klassen „begrenztes“ oder „minimales“ Risiko. Hochriskant wird es erst bei gelisteten Anwendungen wie automatisierter Personalauswahl oder Kreditwürdigkeitsprüfung.

Muss ich Kunden mitteilen, dass eine KI antwortet?

Wenn Kundinnen und Kunden mit einem KI-System interagieren, müssen sie das erkennen können – sofern es nicht ohnehin offensichtlich ist. Ein klarer Hinweis oder eine Kennzeichnung im Kontakt erfüllt diese Transparenzpflicht.

Wer haftet, wenn der Agent einen Fehler macht?

Der AI Act regelt vor allem Marktzugang und Pflichten, nicht abschließend die zivilrechtliche Haftung. Grundsätzlich bleibt das Unternehmen als Betreiber für seinen Geschäftsbetrieb verantwortlich – ein Grund mehr für Freigabeschleifen bei kritischen Aktionen und lückenlose Protokolle. Für die verbindliche Haftungsfrage in Ihrem Fall ist eine rechtliche Beratung nötig.

Bereit für Ihren ersten digitalen Mitarbeiter?

Im kostenlosen Erstgespräch klären wir, welcher Prozess das größte Potenzial hat — konkret und unverbindlich.