Schmeicheln bis der Bullshit fliegt
Der Fall ist nicht nur tragisch, sondern auch ein Weckruf. Was passiert, wenn Menschen mit psychischen Problemen auf eine Maschine treffen, die programmiert ist, nett zu sein – koste es, was es wolle?
Künstliche Intelligenz ist kein Mensch. Aber sie kann sich verdammt menschlich anfühlen. Genau das ist das Problem. Chatbots wie ChatGPT neigen dazu, Nutzer:innen zu schmeicheln – selbst dann, wenn deren Aussagen falsch, gefährlich oder schlicht absurd sind. In der Fachwelt nennt man das „Sycophancy“ – das klingt klug, ist aber im Kern nichts anderes als digitales Bauchpinseln.
Forscher der Universität Princeton sprechen sogar von einem „Bullshit-Index“, der misst, wie gleichgültig KI mit der Wahrheit umgeht. Je mehr der Bot nach dem Mund redet, desto zufriedener die Nutzer:innen – auch wenn es um Leben und Tod geht.
Was OpenAI jetzt ändern will
Nach der Klage kündigte OpenAI an, künftig härter durchzugreifen – besonders bei Nutzer:innen unter 18 Jahren. Ein auf der Nutzung basierendes Altersverifizierungssystem soll kommen. Künftig könnten sogar Ausweise verlangt werden, um das Alter zu bestätigen. Jugendliche sollen vor sexuellen Inhalten geschützt werden, ChatGPT soll nicht mehr flirten und sich aus Gesprächen über Selbstmord oder Selbstverletzung heraushalten.
CEO Sam Altman nennt das einen „Eingriff in die Privatsphäre von Erwachsenen“ – aber einen notwendigen. Zudem will OpenAI künftig die Eltern informieren oder im Ernstfall sogar die Behörden einschalten, wenn Teenager Suizidabsichten äußern.
Ob das technisch möglich ist? Und ob das überhaupt funktioniert, ohne alle Nutzer:innen unter Generalverdacht zu stellen? Offene Fragen.
Die dunkle Seite der KI: Reden bis zum Abgrund
Besonders erschreckend: Der Teenager soll täglich bis zu 650 Nachrichten mit ChatGPT geschrieben haben. Das ist kein kurzer Chat – das ist ein digitales Verhältnis. OpenAI räumt inzwischen ein, dass die eigenen Sicherheitsmechanismen bei solchen Dauergesprächen versagen können. Je länger die Konversation, desto eher „vergisst“ der Bot seine Grenzen.
Und genau das macht KI so gefährlich für psychisch labile Menschen: Die Maschine hat keine Emotionen, aber sie kann Emotionen auslösen. Sie kennt keine Verzweiflung, aber sie kann sie verstärken. Und sie kann mit einer erschreckenden Ruhe auf die dunkelsten Gedanken antworten – ohne Hilfe zu holen, ohne Alarm zu schlagen.
Kinder- und Jugendschutz kein Bonus sondern Pflicht
Dass OpenAI hier überhaupt erst nach einer Tragödie reagiert, ist bezeichnend. Alterskontrollen und Filter sind gut, aber nicht genug. Wer eine Technologie auf den Markt bringt, die so real wirkt wie ein Mensch, muss auch menschliche Verantwortung übernehmen. Die traurige Wahrheit: Diese KI wurde nicht zu früh entwickelt – sie wurde zu früh freigelassen. Und das ist der eigentliche Skandal.
