In der Europäischen Union gibt es ein Gesetz speziell zur Künstlichen Intelligenz: den AI Act. Er gilt auch für gemeinnützige Organisationen. Ab August 2026 wird eine Kennzeichnungspflicht für viele KI-generierte Inhalte und Interaktionen wirksam.
Der AI Act: gesetzliche Regeln speziell zur Künstlichen Intelligenz
Schon 2024 hat die Europäische Union gesetzliche Regelungen zu KI-Systemen verabschiedet. Der AI Act, auch als “KI-Verordnung” bekannt, war das erste KI-Gesetz weltweit. Bisher ist erst ein Teil der Vorschriften wirksam geworden. So wurde die Kompetenzpflicht bereits seit Februar 2025 anwendbar. Der Großteil der Regelungen greift ab dem 02. August 2026, einige wenige Bestimmungen dann noch ein Jahr später.
Der AI Act regelt das Thema Künstliche Intelligenz sehr umfassend. Welche Vorschriften euch betreffen, hängt davon ab, was ihr mit KI macht:
- Einige der Vorgaben gelten fast für jede Organisation, in der mit KI gearbeitet wird. Sie betreffen also vermutlich auch euch. Es genügt, wenn ihr für Texte zum Beispiel Google Gemini oder ChatGPT einsetzt, bei der Arbeit mit Office-Programmen auf Microsoft Copilot zurückgreift oder Grafiken mit Tools wie Midjourney oder Adobe Firefly erstellt. Das macht eure Organisation zum “Betreiber” im Sinne der Verordnung.
- Andere Vorschriften sind für die meisten Non-Profit-Organisationen weniger relevant. Ausnahme: Ihr entwickelt selbst KI-Systeme oder bringt sie auf den Markt und seid im Sprachgebrauch des AI Act deshalb “Anbieter”. Oder ihr betreibt kritische Infrastruktur etwa im Bereich Energie oder Gesundheit. Oder ihr erledigt Aufgaben mit KI, bei denen Rechtsaspekte wie Datenschutz oder Persönlichkeitsrechte ins Spiel kommen.
Zwei Vorgaben zur KI, die vermutlich auch deine Organisation betreffen
- KI-Kompetenzpflicht: Schon seit letztem Jahr verlangt der AI Act, dass Organisationen intern ausreichendes Wissen über KI, ihre Folgen und mögliche Risiken sicherstellen. Das betrifft alle Personen, die im Auftrag der Organisation mit KI-Systemen arbeiten. Die Kompetenzpflicht kann auf eine Schulung oder Fortbildung hinauslaufen. Auch interne Leitlinien können je nach Situation ausreichen. Das hängt von der Situation ab.
- KI-Transparenzpflicht: Ab dem 02. August 2026 muss in vielen Fällen auf KI hingewiesen werden. Die Kennzeichnungspflicht betrifft KI-generierte visuelle oder Audio-Inhalte, die man für echt halten kann. Außerdem gilt sie bei automatisch erstellten Texten zu aktuellen Themen und drittens immer dann, wenn Menschen wie bei smarten Chatbots mit KI interagieren, ohne dass das für sie offensichtlich ist.
Wie erwähnt: Diese Hauptpflichten betreffen besonders viele Organisationen. Je nachdem, wie deine Organisation KI nutzt, können weitere Vorschriften dazu kommen.
Der AI Act klassifiziert Systeme nicht nach technischen Gesichtspunkten, sondern nach dem Risiko für Rechtsverletzungen, und zwar in vier Gefährdungsstufen:
KI aus Sicht des AI Act: das Risiko entscheidet
Die unterste Stufe bildet “KI mit minimalem Risiko“. Damit sind KI-Systeme gemeint, die kaum mit einer Gefahr von Rechtsverletzungen verbunden sind. Smarte Algorithmen, die Spam aussortieren oder die auf Grundlage der bisher gehörten weitere Songs empfehlen, gehören in diese Gruppe. Für sie schreibt der AI Act keine besonderen Regeln vor.
Für “KI mit begrenztem Risiko” gelten dagegen Regeln. Solche Systeme dürfen zwar allgemein verwendet werden. Dann müssen allerdings je nach Verwendung Vorgaben wie die Transparenzpflicht eingehalten werden. Beispiele für KI mit begrenztem Risiko liefern weit verbreitete Nutzungsformen, etwa Texterstellung mit KI-Chatbots wie ChatGPT oder Perplexity, Recherche mit Google Gemini oder Claude und Grafikgestaltung mit Tools wie Midjourney.
Die nächste Stufe ist “Hochrisiko-KI“: Für ihren Einsatz gelten strenge Regeln. Verlangt werden unter anderem systematisches Risikomanagement, umfangreiche Dokumentationen und menschliche Aufsicht. Hochriskant ist KI, wenn sie beispielsweise Kreditanträge oder Bewerbungen vorsortiert, medizinische Befunde auswertet, Uni-Klausuren bewertet oder in regulierten technischen Produkten als Sicherheitsmodul fungiert.
Schließlich gibt es noch “KI mit unannehmbarem Risiko“. Dazu gehören Systeme, die gezielt zur Manipulation von Kaufentscheidungen gedacht sind, oder die anhand von Profildaten alle Personen aussortieren, die vermutlich zu einer bestimmen Ethnie gehören, oder Besucher:innen wahllos per Gesichtserkennung analysieren. Der AI Act fasst dies in Artikel 5 zusammen als “Verbotene AI-Praktiken“.
Wichtig: Entscheidend für die Zuordnung ist weniger das KI-Produkt als seine Verwendung. Wenn es jemand gelingt, die Sicherheitsregeln eines LLM-Chatbots zu umgehen und ihn gezielt zur Manipulation oder Diskriminierung einzusetzen, dann ist das eine verbotene Anwendung. Auch wenn die reguläre Nutzung des LLM-Systems nur in die Kategorie begrenzten Risikos fällt.
Kompetenzpflicht
Diese Vorschrift steht in Artikel 4 des AI Act: “Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ausreichende KI-Kompetenz verfügen, …“
„Betreiber“ im Sinne der KI-Verordnung ist jede Organisation, in der KI eingesetzt wird, einschließlich von Non-Profits. Die Kompetenzpflicht gilt neben festangestellten Mitarbeiter:innen auch für Honorarkräfte und für Ehrenamtliche, die für die Organisation KI-Software wie beispielsweise ChatGPT oder Adobe Firefly verwenden.
Welche Kompetenz erforderlich ist, hängt vom konkreten Kontext und den möglichen Auswirkungen auf die Menschen ab. In jedem Fall geht es um mehr als reines Anwendungswissen über effektive Prompts. Wer die KI nutzt, sollte beispielsweise verstehen, dass bestimmte Verwendungsformen die Rechte der Betroffenen verletzen und deshalb verboten sind.
Es gibt bereits ein breites Angebot an KI-Kompetenzschulungen. Ob solche Fortbildungen notwendig sind, hängt von der konkreten KI-Nutzung, dem Vorwissen und den Risiken ab. Verbindliche Detailvorschriften gibt es bisher keine, auch nicht zu Seminarinhalten.
Transparenzpflicht: Wann müsst ihr auf KI ausdrücklich hinweisen?
Ab dem 02. August 2026 gilt die Transparenzpflicht. Sie steht in Artikel 50 des AI Act. Im Kern läuft sie auf eine Hinweispflicht hinaus. Besteht das Risiko, dass KI-generierte Darstellungen und Äußerungen für authentisch gehalten werden? Dann muss auf die Entstehung hingewiesen werden. Im Einzelnen sind folgende Situationen betroffen:
- Deep Fakes: Wenn generative KI Fotos, Audio oder Filme liefert, die man für echt halten kann, besteht eine Hinweispflicht. Für die Einhaltung sind die “Betreiber” verantwortlich – also die Organisationen oder Personen, die KI nutzen.
Wie der Hinweis konkret aussehen oder eingebunden sein muss, sagt die Verordnung nicht. Sie nennt nur eine Einschränkung: Bei einem “künstlerischen, kreativen, satirischen, fiktionalen oder analogen” Inhalt kann die Kennzeichnung so erfolgen, dass es „die Darstellung oder den Genuss“ nicht beeinträchtigt.
Die “Anbieter” – also z. B. Hersteller – von KI-Systemen müssen zusätzlich ab Werk dafür sorgen, dass Grafik-, Audio- oder Text-Produkte generativer KI stets eine maschinenlesbare Kennzeichnung enthalten. Eine Möglichkeit sind Wasserzeichen. Dieser Hinweis muss nicht für Menschen erkennbar sein. Außerdem ist er verzichtbar, wenn die KI die Inhalte nicht wesentlich verändert, also beispielsweise nur den Kontrast von Fotos schärft. - Werden automatisch per KI Text-Meldungen erstellt und freigeschaltet, die die Öffentlichkeit über “Angelegenheiten von öffentlichem Interesse” informieren? Zum Beispiel als Social-Media-Postings oder als Blog-Artikel im Rahmen einer Öffentlichkeitskampagne? Auch dann sind die Betreiber zu einem Hinweis auf die Entstehung verpflichtet. Dies gilt nicht, wenn der Text von Menschen redaktionell geprüft wird oder ein Mensch die redaktionelle Verantwortung übernimmt.
- Ein Hinweis ist außerdem immer dann Pflicht, wenn KI mit Menschen interagiert und dies nicht direkt offensichtlich ist. Sicherstellen müssen dies die Anbieter, also zum Beispiel Unternehmen, die KI-Chatbot-Software vertreiben.
Eine weitere Hinweispflicht gilt für Emotionserkennung und biometrische Kategorisierung per KI. Das dürfte nur wenige Non-Profits betreffen.
KI-Hinweispflicht – was bedeutet das in der Praxis?
Für die meisten Non-Profits sind vor allem zwei Aspekte des AI Act relevant: die Kompetenzvorgabe und die Hinweispflichten. Konkrete Umsetzungsvorschriften fehlen bisher noch.
In Bezug auf die Kompetenzpflicht gibt es keine direkten Vorgaben dazu, wie ihr den Kenntnisstand eurer Aktiven feststellen müsst, wann eine Schulung erforderlich ist und was genau deren Inhalt sein soll.
Genauso wenig gibt es konkrete Angaben zu Form, Größe, Dauer etc. von KI-Kennzeichnungen. Dasselbe gilt für die Frage, wann von einer Verwechslungsgefahr auszugehen ist und Hinweise deshalb notwendig sind. Bei Videos oder Audio-Files wie einem Podcast könnt ihr den Hinweis am Anfang oder am Ende bringen, eine durchlaufende Einblendung sollte nicht notwendig sein.
Lasst euch am besten erst einmal vom gesunden Menschenverstand leiten. Seid lieber eher vorsichtig und denkt daran, dass viele Menschen nach wie vor kaum Erfahrung mit Künstlicher Intelligenz haben.
Die EU-Kommission arbeitet an einem freiwilligen “Code of Conduct” zur Umsetzung der Pflichten. Konkretere Richtlinien darf man auch von der Bundesnetzagentur erwarten. Dort werden bis August eine “Marktüberwachungsbehörde” und ein “Koordinierungs- und Kompetenzzentrum” zur KI-Verordnung eingerichtet. Einige Inhalte gibt es bereits jetzt.
Außerdem werden wohl Gerichtsurteile im Lauf der Zeit für schärfere Konturen sorgen. Über solche Entwicklungen solltet ihr euch informieren.
Wenn eure Organisation selbst KI entwickelt oder in besonders sensiblen Bereichen einsetzt, ist es mit nutzungsbezogenen Schulungen und kleinen Hinweisen nicht getan. In dem Fall solltet ihr euch zu euren Rechtspflichten beraten lassen.
Was passiert bei Verstößen?
Die EU-Verordnung selbst ermöglicht für fehlende Hinweise grundsätzlich sehr hohe Bußgelder. Die Obergrenze liegt bei 15 Mio. Euro oder drei Prozent des weltweiten Gesamtumsatzes (Art. 99 AI Act). Der deutsche Entwurf für ein Gesetz zur Durchführung der KI-Verordnung sieht zwar keinen eigenen Bußgeldrahmen für Verstöße gegen Artikel 50 vor. Das ist aber auch nicht nötig.
Natürlich bedeutet die Möglichkeit enorm hoher Bußgelder nicht, dass diese schon bei kleineren Verstößen fällig werden. Völlig sorglos solltet ihr mit dem Thema „AI Compliance“ aber nicht umgehen.
Außerdem sind Schadenersatzforderungen möglich, wenn ihr die Pflichten aus dem AI Act verletzt und jemand Schaden oder finanzielle Nachteile erleidet.
Hier findest du den AI Act im Volltext
Die offizielle Bezeichnung lautet “Verordnung (EU) 2024/1689”. Eine übersichtliche Darstellung des Textes liefert der AI Act Explorer, und das auch auf Deutsch. Er stellt den in zwölf Kapitel unterteilten Verordnungstext zusammen mit 13 offizielle Anhängen für Klarstellungen und Erläuterungen bereit. Dazu kommt eine Vielzahl an “Erwägungsgründen”, die die Absichten hinter dem Regelungstext klar machen sollen.
Leider ist auch im Kontext von EU-Verordnungen die Rechtssprache selten leicht verständlich. Trotzdem lässt sich der Verordnungstext insgesamt auch ohne Jura-Studium lesen.
Für die Umsetzung in Deutschland soll das geplante Gesetz zur Durchführung der KI-Verordnung sorgen. Änderungen am Text sind möglich. Eigentlich hätte das Gesetz längst in Kraft treten sollen. Spätestens bis August sollte der nationale Rahmen für die Umsetzung des AI Act in jedem Fall stehen, denn dann werden wichtige Teile dieser EU-Verordnung anwendbar.
Zum Schluss: Es geht ja nicht nur ums Rechtliche
Auch wenn in diesem Beitrag der AI Act und damit um die rechtlichen Vorschriften im Mittelpunkt steht: Mindestens ebenso wichtig ist es, dass ihr Künstliche Intelligenz jenseits aller Paragrafen auf eine verantwortliche und positive Art nutzt. Das ist dann keine juristische Frage, sondern eine, die Ethik und Selbsteinschätzung berührt. Deshalb gibt es dafür auch keine EU-weit gültigen Vorschriften. Umso besser – denn die richtigen Antworten findet ihr selbst am besten.
Dabei helfen können:
- Code of Conduct Demokratische KI (Selbstverpflichtung, unterzeichnet von derzeit rund 200 Organisationen, vorgelegt von D64 – Zentrum für Digitalen Fortschritt)
- Umgang mit KI-Technologien in gemeinnützigen Organisationen (Leitfaden, EngagementZentrum)
- Generative KI im gemeinnützigen Sektor (Studienbericht, Stifterverband)
- KI im Stiftungsalltag (Anwendungsbeispiele, Stiftung Aktive Bürgerschaft)
- Künstliche Intelligenz im zivilgesellschaftlichen Engagement (“Thema im Fokus” der Friedrich-Ebert-Stiftung)
