Gefahren durch KI-Anwendungen Queere Jugendliche in mehrfacher Weise betroffen

Hass, sexualisierte Gewalt und extremistischer Content bleiben nach Einschätzung des Kompetenzzentrums von Bund, Ländern und Landesmedienanstalten, jugendschutz.net, zentrale Gefahren für Kinder und Jugendliche im Netz. Das geht aus dem aktuellen Jahresbericht der Einrichtung hervor. Demnach wurden bereits im zweiten Jahr in Folge mehr als 15.000 Fälle von Missbrauchsdarstellungen von Kindern bearbeitet. Besonders betroffen in mehrfacher Weise sind queere Jugendliche. 

Das Wichtigste im Überblick

• jugendschutz.net hat im zweiten Jahr in Folge mehr als 15.000 Fälle von Missbrauchsdarstellungen von Kindern bearbeitet.
• Auf Plattformen wie Spotify, Discord und TikTok wurden zahlreiche extremistische, volksverhetzende, frauenfeindliche und homophobe Inhalte festgestellt.
• Frei zugängliche KI-Anwendungen verschärfen laut dem aktuellen Jahresbericht die Risiken für Kinder und Jugendliche deutlich.
• Experten fordern strengere Regeln, wirksamere Alterskontrollen und mehr Verantwortung der Plattformbetreiber.

Drastische Gewaltfantasien

Neben bekannten Risiken beobachtete jugendschutz.net auf Plattformen wie Spotify und Discord zahlreiche volksverhetzende Inhalte und strafbare extremistische Kennzeichen. Auf TikTok und anderen sozialen Netzwerken dokumentierte die Stelle zudem drastische Hass- und Gewaltfantasien gegen Frauen und Mädchen, aber auch gegen queere und homosexuelle Menschen. Besonders kritisch bewertet der Bericht die zunehmende Verbreitung frei zugänglicher KI-Anwendungen. Diese seien leicht verfügbar und könnten auch für strafbare Zwecke eingesetzt werden. Die Anbieter unternehmen nach Einschätzung von jugendschutz.net bislang zu wenig, um Kinder und Jugendliche wirksam zu schützen.

Der Leiter von jugendschutz.net, Stefan Glaser, erklärte: „Die Gefahr, in beliebten Diensten mit Hass und sexualisierter Gewalt konfrontiert, dort gemobbt, belästigt oder manipuliert zu werden, besteht leider weiter. Die Anbieter setzen dem nur wenig entgegen.“ Stattdessen würden Unternehmen mit neuen Funktionen und Anwendungen zusätzliche Risiken schaffen.

Veränderte Wahrnehmung

Besonders KI verändere dabei die Wahrnehmung von Realität, so Glaser weiter. „Das Künstliche verschmilzt mit dem Echten und verzerrt die Wahrnehmung von Realität.“ KI-generierte Influencer präsentierten unrealistische Schönheitsideale, manipulierte Bilder würden für extremistische Narrative genutzt oder zur Herabwürdigung eingesetzt. Zudem könnten Chatbots Kinder und Jugendliche in sexualisierte Interaktionen führen. Auch manipulative Empfehlungsalgorithmen seien problematisch. „Algorithmen führen Nutzende durch immer gleiche Inhaltsvorschläge immer tiefer in Gefahrenbereiche hinein“, warnte Glaser. Es brauche deshalb wirksame Schutzmaßnahmen bereits bei der Einführung neuer Funktionen.

LGBTIQ+-Jugendliche im Fokus 

Queere Kinder und Jugendliche sind von den Risiken KI-gestützter Plattformen in besonderem Maße betroffen. Viele suchen in sozialen Netzwerken, Chats oder bei KI-Chatbots nach Orientierung, Austausch und Akzeptanz – und geraten dabei leichter in Kontakt mit Hassrede, gezieltem Cybermobbing oder manipulativen Inhalten. KI-Systeme können zudem stereotype Schönheitsideale und Rollenbilder verstärken, was insbesondere bei jungen LGBTIQ+-Menschen zusätzlichen psychischen Druck auslösen kann. Hinzu kommt die Gefahr von Deepfakes oder gezielten Outing-Kampagnen, bei denen manipulierte Bilder und Videos genutzt werden, um Betroffene öffentlich bloßzustellen oder zu bedrohen. Fachleute warnen deshalb davor, dass mangelnde Schutzmechanismen auf Plattformen die ohnehin hohe Belastung queerer Jugendlicher durch Diskriminierung und Ausgrenzung weiter verschärfen könnten.

Alarmierender Bericht

Bundesjugendministerin Karin Prien bezeichnete die Ergebnisse des Berichts als alarmierend. „Der Bericht von jugendschutz.net macht deutlich, dass wir noch viel zu tun haben“, erklärte sie. Ziel müsse eine sichere und unbeschwerte Teilhabe junger Menschen an der digitalen Welt sein. Besonders besorgniserregend sei die Rolle frei verfügbarer KI-Anwendungen. „Mit wenigen Klicks lassen sich heute täuschend echte Deepfakes, sexualisierte Gewaltbilder oder manipulative Inhalte erstellen und verbreiten“, sagte Prien. Auch gezielte Desinformation stelle eine wachsende Gefahr für junge Menschen und die Gesellschaft insgesamt dar.

Die Ministerin kritisierte, viele Plattformbetreiber täten weiterhin zu wenig für den Schutz Minderjähriger. „Wir dürfen Kinder und Jugendliche in der digitalen Welt nicht alleine lassen“, betonte Prien. Sicherheit, Schutz und klare Regeln müssten mit der technologischen Entwicklung Schritt halten.

Die rheinland-pfälzische Jugendministerin Sabine Bätzing-Lichtenthäler verwies auf die zunehmende Bedeutung klarer gesetzlicher Vorgaben. „Der Schutz Minderjähriger vor schädlichen Medieninhalten und Interaktionsrisiken im digitalen Raum ist eine gemeinschaftliche Aufgabe von Staat und Gesellschaft“, erklärte sie. Dazu gehörten verpflichtende Alterskontrollen, abgestufte Nutzungskonzepte für soziale Medien sowie eine stärkere Haftung der Plattformen.

Radikalisierung im Internet

Zudem sei Jugendschutz auch Teil der Extremismusprävention. Radikalisierungsversuche fänden gezielt im Netz statt – teilweise auch auf Spiele- oder Musikstreamingplattformen. Medienkompetenz sei deshalb eine zentrale Schlüsselkompetenz für Kinder und Jugendliche. Auch Eva-Maria Sommer, Vorsitzende der Kommission für Jugendmedienschutz und Direktorin der Medienanstalt Hamburg-Schleswig-Holstein, sieht dringenden Handlungsbedarf. „Regulatorisch spielt es keine Rolle, ob Inhalte von Menschen oder mit Hilfe von KI erzeugt wurden. Entscheidend ist allein, ob ein Angebot für junge Nutzerinnen und Nutzer geeignet ist“, erklärte sie.

Technische Innovationen könnten nach ihrer Einschätzung längst stärker für ein sicheres digitales Umfeld genutzt werden – etwa durch Moderation problematischer Inhalte oder wirksame Alterskontrollen. Andernfalls drohe „der Ausverkauf von Kinderrechten zugunsten des maximalen Profits im Zeitalter von KI weiter zu beschleunigen“.