Was bedeutet das europäische „KI-Gesetz“ für die Landwirtschaft – Anforderungen an den Einsatz von Hochrisiko-Systemen im Agrarsektor*

Das Europäische Parlament hat am 13.03.2024 das sogenannte „Gesetz über künstliche Intelligenz“¹ – auch AI Act genannt – angenommen.² Rechtstechnisch handelt es sich um eine Verordnung, die den Einsatz von KI³ sektor-übergreifend regeln soll. Die EU nimmt hier eine Vorreiterrolle ein, denn der AI Act ist „das weltweit erste verbindliche Gesetz zur künstlichen Intelligenz“⁴. Durch den „Brüssel-Effekt“ sollen sich europäische Standards international etablieren.⁵ Der AI Act hat die Zielsetzung, dem europäischen Grundrechtsschutz zu dienen und Innovation zu fördern.⁶

Wie funktioniert der AI- Act?

Die Verordnung ist ein Teil des Produktsicherheitsrechts, aber im Unterschied zum restlichen europäischen Produktsicherheitsrecht wird hier ein horizontaler Regulierungsansatz verfolgt.⁷ Der AI Act knüpft verschiedene Anforderungen an den Einsatz von KI-Systemen in Abhängigkeit von deren Risikograd. Die Verordnung unterscheidet grundlegend zwischen vier Risikokategorien: unannehmbares Risiko, hohes Risiko, geringes Risiko⁸ und minimales Risiko.⁹ Je höher das Risiko eines KI-Systems, desto höher auch die Anforderungen an dessen Einsatz. Andere gesetzliche Anforderungen, die an den Einsatz eines Produkts oder einer Maschine gestellt werden, werden vom AI Act nicht berührt und müssen weiterhin eingehalten werden. Der AI Act erweitert damit den Kreis potenzieller Produktsicherheitsvorschriften.

Was sind Hochrisiko-Systeme?

Die Einstufung von KI-Systemen als Hochrisiko-Systeme richtet sich nach Art. 6 AI Act. Danach gibt es zwei Kategorien, nach denen ein KI-System als Hochrisiko-System eingestuft werden kann. Die erste Kategorie nach Art. 6 Abs. 1 AI Act sind solche Produkte oder Sicherheitskomponenten eines Produkts, die unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der EU fallen.¹⁰ Die Harmonisierungsvorschriften in Anhang I umfassen u.a. Maschinen, Spielzeug und Medizinprodukte. Zusätzlich muss das entsprechende Produkt einer Konformitätsbewertung durch Dritte unterliegen.¹¹ Konformitätsbewertung meint, dass vor dem Inverkehrbringen eines Produkts eine Risikoanalyse durchzuführen ist und sichergestellt werden muss, dass das Produkt den anwendbaren Vorschriften entspricht. Für die Landwirtschaft relevant sind die in Anhang I aufgeführte, inzwischen durch die Maschinenverordnung¹² aufgehobene, Maschinenrichtlinie¹³ und die Verordnung über die Genehmigung und Marktüberwachung von land- und forstwirtschaftlichen Fahrzeugen¹⁴.

Die zweite Kategorie umfasst solche KI-Systeme, die in Anhang III aufgeführt sind.¹⁵ Dazu gehören etwa kritische Infrastruktur, Rechtspflege und demokratische Prozesse und Zugänglichkeit und Inanspruchnahme grundlegender privater und grundlegender öffentlicher Dienste und Leistungen. Eine Ausnahme gilt, wenn ein KI-System kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt.¹⁶ Dies ist u.a. dann der Fall, wenn das KI-System dazu bestimmt ist, eine eng gefasste Verfahrensaufgabe durchzuführen oder das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern.¹⁷ Eine Rückausnahme besteht für Fälle, in denen das KI-System ein Profiling natürlicher Personen vornimmt.¹⁸ Ein Profiling natürlicher Personen dürfte bei KI-Anwendungen in der Landwirtschaft nicht häufig vorkommen, ist aber auch nicht völlig ausgeschlossen.

Welche Anforderungen müssen Hochrisiko-Systeme erfüllen?

Hochrisiko-Systeme müssen eine Reihe von Anforderungen erfüllen.¹⁹ Dazu gehören etwa die Einrichtung eines Risikomanagementsystems²⁰, die Einhaltung der Anforderungen an Trainings-, Validierungs- und Testdatensätze,²¹ die technische Dokumentation,²² die Protokollierung,²³ die Einhaltung der Transparenzanforderungen,²⁴ die Möglichkeit der menschlichen Aufsicht,²⁵ die Einhaltung der Anforderungen an ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit,²⁶ die Einrichtung eines Qualitätsmanagementsystems²⁷ und Korrekturmaßnahmen sowie Informationspflichten nach dem Inverkehrbringen.²⁸ Die Anforderungen an KI-Systeme mit geringem oder minimalem Risiko sind deutlich schwächer.²⁹

Wie wird KI in der Landwirtschaft eingesetzt?

KI kann in der Landwirtschaft in verschiedenen Bereichen eingesetzt werden. So sind etwa der Einsatz in der Ernte, der Unkrautbeseitigung, der Düngung und der Tierwohlüberwachung möglich.³⁰ KI kann dabei helfen, vor dem Ernteprozess Wild auf den Feldern zu erkennen, Schädlingsbefall von Pflanzen festzustellen oder die Bewässerung zu optimieren. Unterschiedlichste Anwendungen sind bereits im Einsatz und die Zahl der Forschungsvorhaben in diesem Bereich nimmt stetig zu.

Derzeit gibt es in Deutschland mehrere Förderprojekte, die sich mit der Digitalisierung der Landwirtschaft und dem Einsatz von KI und Robotik beschäftigen. Im Rahmen der Fördermaßnahme „Agrarsysteme der Zukunft“ vom BMBF werden acht Konsortien gefördert, die sich mit der Zukunftsgestaltung der Agrarproduktion  befassen.³¹ Das Konsortium „DAKIS – Digitales Wissens- und Informationssystem für die Landwirtschaft“ nutzt Digitalisierung und Feldrobotik, um Ökosystemleistungen und Biodiversität in die Agrarproduktion zu integrieren.³² Dabei beschäftigt sich z.B. ein Teilprojekt mit der Entwicklung von Daten und Sensorik, um ein Echtzeitmonitoring von Agrarökosystemen zu ermöglichen.³³ Ein weiteres Konsortium ist das Projekt Fahrerkabine 4.0, welches das Ziel hat, eine adaptive Mensch-Maschine-Schnittstelle für Landmaschinen zu entwickeln, um das aktuelle Beanspruchungslevel der Nutzenden zu erkennen.³⁴ Im Konsortium GreenGrass werden sogenannte „virtual herding technologies“ erprobt, die das Hüten und Lenken der Tiere in der Landschaft ohne Zäune ermöglichen.³⁵

Welche Anwendungen aus der Landwirtschaft könnten unter den Begriff des Hochrisikosystems fallen?

Die Anwendung von KI in der Landwirtschaft ist bei der Konzeption des AI Act nicht bedacht worden. Dies spiegelt sich in der Schwierigkeit wider, Agrar-KI-Systeme unter den Begriff des Hochrisiko-Systems zu subsumieren. Es ist einem horizontalen Regelungsansatz immanent, dass bereichsspezifische Anwendungen und Probleme vom Regelungsrahmen nicht hinreichend berücksichtigt werden.

Für Agrar-KI-Systeme kommt eine Einstufung grundsätzlich nach Art. 6 Abs. 1 und Abs. 2 AI Act in Betracht. Für KI-gestützte Anwendungen in der Landwirtschaft besonders relevant sein dürfte, ob das KI-System ein Produkt oder eine Sicherheitskomponente eines Produkts nach der Verordnung über die Genehmigung und Marktüberwachung von land- und forstwirtschaftlichen Fahrzeugen darstellt und einer Konformitätsbewertung durch Dritte unterliegt.  Die Verordnung gilt für verschiedene Zugmaschinen, Anhänger und gezogene auswechselbare Geräte.³⁶ In der Verordnung wird eine Konformitätsbewertung für das nationale behördliche Genehmigungsverfahren³⁷ und für die Marktüberwachungsmaßnahmen vorgeschrieben.³⁸ Ein KI-System wird selbst kein Fahrzeug im Sinne der Verordnung darstellen. Daher kommt eine Einstufung als Hochrisiko-System nur in Betracht, wenn das KI-System eine Sicherheitskomponente einer landwirtschaftlichen Zugmaschine, eines Anhängers oder eines gezogenen auswechselbaren Geräts im Sinne der Verordnung darstellt. In diesem Fall greifen die Anforderungen an Hochrisiko-Systeme dennoch nicht, weil gemäß Art. 6 Abs. 2 AI Act für die unter die in Anhang I Abschnitt B aufgeführten Harmonisierungsrechtsvorschriften fallen KI-systeme nur Art. 112 AI Act gilt.

Weiterhin kommt die Einstufung als Hochrisiko-System als Produkt oder Sicherheitskomponente nach der Maschinen-Richtlinie in Betracht. Nicht für alle Maschinen, die dem Anwendungsbereich der Maschinenrichtlinie unterfallen, muss eine Konformitätsbewertung durch Dritte durchgeführt werden. Dies gilt nur für die in Art. 12 Abs. 3 und 4 MaschinenRL genannten Verfahren.³⁹ Eine Einstufung als Hochrisiko-System kommt daher dann in Betracht, wenn das KI-System eine Sicherheitskomponente einer Maschine ist, die den Kategorien des Anhangs IV unterfallen. Für die Landwirtschaft relevant sein dürfte keine der aufgeführten Kategorien. Insbesondere die in den Nr. 1 – 5 genannten Arten von Sägemaschinen zur Holzbearbeitung nicht, da diese zum Holzabbau bestimmt sein müssen. KI-gestützte Robotik im Bereich der Baumpflege in Agroforstsystemen dürften mithin kein Hochrisiko-System nach Art. 6 Abs. 1 iVm Anhang I Nr. 1 AI Act darstellen.

Weiterhin in Betracht kommt eine Einstufung nach Art. 6 Abs. 2 AI Act. Es ist fraglich, ob die Landwirtschaft auch eine kritische Infrastruktur im Sinne von Anhang III Nr. 2 AI Act darstellt. Es liegt zunächst nahe, den Begriff der kritischen Infrastruktur auf die Landwirtschaft auszuweiten. So ist die Gewährleistung der Ernährungssicherheit doch ureigene Aufgabe der Landwirtschaft, und Produktionsausfälle bergen erhebliche Risiken. Eine solche Auslegung würde die Wortlautgrenze der Vorschrift aber überschreiten, denn in Anhang II Nr. 2 lit. a AI Act wird enumerativ aufgeführt, dass zur kritischen Infrastruktur nur solche KI-Systeme gehören, die bestimmungsgemäß als Sicherheitskomponenten im Rahmen der Verwaltung und des Betriebs kritischer digitaler Infrastruktur, des Straßenverkehrs sowie der Wasser-, Gas-, Wärme- und Stromversorgung verwendet werden sollen. Landwirtschaft und Lebensmittelproduktion werden eben nicht erwähnt. Deshalb stellt die Landwirtschaft keine kritische Infrastruktur im Sinne des AI Act dar.

Im Ergebnis dürften die wenigsten Agrar-KI-Systeme unter eine der beiden Hochrisiko-System-Kategorien des Art. 6 AI Act fallen. Die umfassenden Pflichten für solche System würden demnach für Agrar-KI-Systeme nicht gelten.

Welche Anforderungen müssen KI-Systeme erfüllen, wenn sie keine Hochrisiko-Systeme im Sinne des AI Act sind?

Zu den Anforderungen für KI-Systeme mit geringem Risiko zählen vor allem Transparenz- und Kennzeichnungspflichten.⁴⁰ Der Anwendungsbereich dieser Risiko-Kategorie ist erkennbar nicht auf die Landwirtschaft zugeschnitten und umfasst solche Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind (Art.  50 Abs. 1 S .1 AI Act). Ebenfalls umfasst sind sogenannte Deepfakes⁴¹ und Emotionserkennungssysteme.⁴² Die beiden letztgenannten Kategorien dürften in der Landwirtschaft nicht eingesetzt werden. Eine Einstufung nach der ersten Kategorie kommt in Betracht, wenn etwa ein Monitorings- oder Empfehlungssystem über ein Interface mit dem Benutzer interagiert. In diesen Fällen würde aber auch die Ausnahme des Art. 50 Abs. 1 S. 1 AI Act greifen, nach der solche Systeme von Transparenz- und Kennzeichnungspflichten ausgenommen sind, bei denen aus der Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich ist, dass es sich um ein KI-System handelt. In Betracht käme noch die Einstufung als KI-Modell mit allgemeinem Verwendungszweck mit systemischem Risiko nach Art. 51 AI Act.

Was bedeutet das für den zukünftigen Einsatz von KI in der Landwirtschaft?

Festzuhalten bleibt, dass viele KI-Anwendungen in der Landwirtschaft nicht vom Anwendungsbereich der KI-Verordnung erfasst sind. Dies bedeutet aber nicht, dass diese nicht umfangreichen rechtlichen Anforderungen unterlägen. So müssen die KI-Systeme so konzipiert sein, dass sie die Anforderungen des jeweiligen Fachrechts (z.B. das Gewässerschutzrecht, das Klimaschutzrecht, das Bodenschutzrecht und speziell das Dünge-, Pflanzenschutz- oder Tierschutzrecht) einhalten.

 Philipp Schöbel

---

* Dieser Beitrag ist entstanden im Rahmen des vom Bundesministerium für Bildung und Forschung (BMBF) geförderten Projekts „Agrarsysteme der Zukunft: DAKIS - Digitales Wissens- und Informationssystem für die Landwirtschaft".
¹ Europäisches Parlament, Legislative Entschließung des Europäischen Parlaments vom 13. März 2024 zu dem Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)), abrufbar unter: https://www.europarl.europa.eu/doceo/document/TA-9-2024-0138_DE.html.
² Europäisches Parlament, Pressemitteilung v. 13.03.2024, abrufbar unter: https://www.europarl.europa.eu/news/de/press-room/20240308IPR19015/gesetz-uber-kunstliche-intelligenz-parlament-verabschiedet-wegweisende-regeln.
³ Zum Begriff: Honer, Was ist eigentlich Künstliche Intelligenz ?, Beiträge zum Digitalrecht, abrufbar unter: https://www.rewi.europa-uni.de/de/lehrstuhl/or/verwaltrecht/Forschungsstelle-fuer-Digitalrecht/blog_digitalrecht/was_ist_ki/index.html.
⁴ Europäisches Parlament, Pressemitteilung v. 13.03.2024.
⁵ Vgl. Tagesschau, EU-Parlament macht Weg frei für KI-Gesetz, 13.03.2024, abrufbar unter: https://www.tagesschau.de/ausland/eu-parlament-ki-gesetz-100.html.
⁶ Erwg. 1 AI Act; Feldkamp/Kappler/Poretschkin/Schmitz/Weiss, ZfDR 2024, 60, 87; Vgl. Rostalski/Weiss, ZfDR 2021, 329, 336;.
⁷ Ebers, RDi 2021, 588.
⁸ Teilweise wird in der Literatur das geringe Risiko als mittleres und das minimale als geringes Risiko bezeichnet: Bomhard/Merkle RDi 2021,  276, 282.
⁹ Vgl. Roos/Weitz, MMR 2021, 844.
¹⁰ Art. 6 Abs. 1 lit. a AI Act.
¹¹ Art. 6 Abs. 1 lit. b AI Act.
¹² Verordnung (EU) 2023/1230 des Europäischen Parlaments und des Rates vom 14. Juni 2023 über Maschinen und zur Aufhebung der Richtlinie 2006/42/EG des Europäischen Parlaments und des Rates und der Richtlinie 73/361/EWG des Rates, ABl. L 165/1.
¹³ Richtlinie 2006/42/EG des Europäischen Parlaments und des Rates vom 17. Mai 2006 über Maschinen und zur Änderung der Richtlinie 95/16/EG, ABl. L 157/24.
¹⁴ Verordnung (EU) 167/2013 des Europäischen Parlaments und des Rates vom 5. Februar 2013 über die Genehmigung und Marktüberwachung von land- und forstwirtschaftlichen Fahrzeugen, ABl. L 60/1.
¹⁵ Art. 6 Abs. 2 AI Act.
¹⁶ Art. 6 Abs. 3 AI Act.
¹⁷ Art. 6 Abs. 3 lit. a, b AI Act.
¹⁸ Art. 6 Abs. 3 UAbs. 1 AI Act.
¹⁹ Art. 8 Abs. 1 S. 1 AI Act.
²⁰ Art. 9 Abs. 1 AI Act.
²¹ Art. 10 Abs. 1 AI Act.
²² Art. 11 Abs. 1 AI Act.
²³ Art. 12 Abs. 1 AI Act.
²⁴ Art. 13 Abs. 1 S. 1 AI Act.
²⁵ Art. 14 Abs. 1 AI Act.
²⁶ Art. 15 Abs. 1 AI Act.
²⁷ Art. 17 Abs. 1 S. 1 AI Act.
²⁸ Art. 20 Abs. 1 S. 1 AI Act.
²⁹ Zur Darstellung der Pflichten bei geringem Risiko etwa: Rostalski/Weiss, ZfDR 2021, 329, 351.
³⁰ Vgl. Härtel, NuR 2020, 439, 441.
³¹ BMBF, Agrarsysteme der Zukunft, Strategie- und Zukunftsprozess, abrufbar unter: https://agrarsysteme-der-zukunft.de/ueber-uns/historie.
³² BMBF, DAKIS - Digitales Wissens- und Informationssystem für die Landwirtschaft, abrufbar unter: https://agrarsysteme-der-zukunft.de/konsortien/dakis.
³³ DAKIS, Über Dakis, abrufbar unter: https://adz-dakis.com/ueber-dakis/.
³⁴ BMBF, Fahrerkabine 4.0 | Onfield, abrufbar unter: https://agrarsysteme-der-zukunft.de/konsortien/fahrerkabine-40.
³⁵ BMBF, GreenGrass, abrufbar unter: https://agrarsysteme-der-zukunft.de/konsortien/greengrass.
³⁶ Art. 4 EU VO 167/2013.
³⁷ Art. 6 Abs. 2 EU VO 167/2013.
³⁸ Art. 7 Abs. 1 EU VO 167/2013.
³⁹ Art. 14 Abs. 1 MaschinenRL.
⁴⁰ Vgl. Art. 50 AI Act.
⁴¹ Art. 50 Abs. 2 AI Act.
⁴² Art. 50 Abs. 3 AI Act.