Laut OpenAI soll ChatGPT über Gewalt sprechen können, etwa zur Einordnung von Nachrichten oder zur Prävention, ohne dabei zu einem Werkzeug für reale Angriffe zu werden. Dafür kombiniert das Unternehmen Verhaltensregeln für das Modell, technische Erkennung von Risiko-Signalen, menschliche Prüfung und klare Konsequenzen bei Verstößen.
Übersicht:
Wie ChatGPT Gewaltanfragen sinnvoll begrenzt
OpenAI beschreibt eine klare Trennlinie: Über Gewalt darf ChatGPT sachlich, historisch oder präventiv sprechen, aber keine Schritte liefern, die reale Gewalt wahrscheinlicher oder einfacher machen. Sobald eine Unterhaltung in Richtung Drohung, Zielauswahl, Beschaffung oder konkrete Durchführung kippt, soll das Modell stoppen oder ablehnen.
Grundlage dafür ist laut OpenAI die öffentliche Model Spec, also ein Regelwerk, das gewünschtes Modellverhalten beschreibt. Ziel ist eine Voreinstellung, die hilfreich bleibt, aber operative Details weglässt, wenn sie als Anleitung missbraucht werden könnten.
Entscheidungsregel für die Praxis
Für die Einordnung hilft eine einfache Daumenregel, die sich aus OpenAIs Beschreibung ableiten lässt:
-
Erhöht die Antwort die Handlungskompetenz? Wenn Taktik, Ablauf, Ziel, Mittel oder Timing konkretisiert werden, dann verweigern oder stark begrenzen.
-
Geht es um Verständnis oder Prävention? Wenn es um Hintergründe, Folgen, Statistik, Deeskalation, Warnsignale oder Schutzmaßnahmen geht, dann sachlich erklären, ohne umsetzbare Schrittfolgen.
Konkretes Praxisbeispiel
Unkritisch: Nach einem Anschlag fragt jemand, welche politischen Motive in früheren Fällen eine Rolle spielten und wie Medienberichte typischerweise Falschinformationen verstärken. Hier kann ChatGPT erläutern, Begriffe erklären und Quellenarten einordnen.
Kritisch: Jemand bittet um eine „Checkliste“ für einen Angriff, inklusive Material, Zeitplan und Ausweichrouten. Das wäre eine planungsnahe Anfrage, die laut OpenAI nicht unterstützt werden soll, stattdessen wird abgebrochen oder zu sicherer Hilfe umgelenkt.
Warum Kontext über Zeit zählt
OpenAI betont, dass Risiko nicht immer in einer einzelnen Nachricht sichtbar ist. Erst ein Muster in langen Gesprächen oder über mehrere Unterhaltungen hinweg kann anzeigen, dass aus abstraktem Interesse eine reale Absicht wird, deshalb werden Schutzmaßnahmen fortlaufend nachgeschärft.
Wie Regeln überwacht und Verstöße durchgesetzt werden
OpenAI geht nach eigener Darstellung grundsätzlich von guten Absichten aus, greift aber ein, wenn Signale auf Planung oder Durchführung realer Gewalt hindeuten. In solchen Fällen kann der Zugang zu Diensten entzogen werden, bis hin zu Sperren.
Technik plus menschliche Prüfung
-
Automatisierte Erkennung: Laut OpenAI werden Signale mit unterschiedlichen Systemen erkannt, darunter Klassifikatoren, Reasoning-Modelle, Hash-Matching und Blocklisten.
-
Kontext-Review durch geschulte Teams: Markierte Fälle werden laut OpenAI im Zusammenhang bewertet, inklusive Gesprächsverlauf und Mustern über Zeit, weil automatisierte Treffer Absicht und Nuance nicht zuverlässig abbilden.
-
Privacy-Schranken: OpenAI beschreibt, dass menschliche Prüfer innerhalb von Sicherheits- und Datenschutzvorgaben arbeiten, mit begrenztem Zugriff in geschützten Systemen und Vertraulichkeitsauflagen.
Was bei einem bestätigten Verstoß passiert
Wenn OpenAI einen bannbaren Verstoß feststellt, soll der Zugriff laut Unternehmen möglichst sofort entzogen werden. Dazu können Kontosperren, Sperren weiterer Konten derselben Person und Maßnahmen gegen Neuanmeldungen gehören, außerdem sind Einsprüche gegen Entscheidungen vorgesehen.
Die inhaltliche Basis dafür sind die Usage Policies, die unter anderem Drohungen, Einschüchterung, Terrorismus oder Gewalt, Waffenbezug, illegale Aktivitäten sowie Umgehungsversuche untersagen.
Wie OpenAI bei akuter Gefahr reagiert
OpenAI unterscheidet zwischen Regelverstößen und Situationen mit möglicher unmittelbarer Gefährdung. Bei Hinweisen auf ernsthafte reale Gefahr werden Fälle laut Unternehmen für eine vertiefte Untersuchung eskaliert, anhand strukturierter Kriterien und mit zusätzlicher Expertise.
Wann Behörden einbezogen werden
Wenn eine Unterhaltung eine glaubwürdige, unmittelbare Gefahr für andere erkennen lässt, beschreibt OpenAI eine Benachrichtigung von Strafverfolgungsbehörden als möglichen Schritt. Dabei soll laut OpenAI berücksichtigt werden, dass Nutzer nicht immer Ziel, Mittel und Zeitpunkt explizit ausformulieren, aber dennoch ein akutes Risikomuster erkennbar sein kann.
Distress und Selbstgefährdung
Die Sicherheitslogik gilt laut OpenAI auch für Gespräche, in denen Menschen in akuter seelischer Not sind oder Selbstverletzung thematisieren. In solchen Momenten soll ChatGPT deeskalieren, zu realer Unterstützung ermutigen und lokale Krisenangebote sichtbar machen, in besonders schweren Fällen mit dem Hinweis auf Notruf und Soforthilfe.
Mehr Kontext zur Produktseite beschreibt OpenAI in Strengthening ChatGPT’s responses in sensitive conversations.
Welche Schutzfunktionen für Familien und Erwachsene geplant sind
OpenAI verweist auf zusätzliche Schutzmechanismen für Jugendliche und Familien. Dazu gehören Parental Controls, mit denen Eltern laut OpenAI ihr Konto mit dem Konto ihres Teenagers verknüpfen und Einstellungen für ein altersgerechtes Erlebnis anpassen können, ohne die Inhalte der Gespräche einsehen zu können.
In seltenen Fällen, wenn Systeme und geschulte Prüfer Anzeichen akuter Not erkennen, können Eltern laut OpenAI mit minimal notwendigen Informationen benachrichtigt werden, per E-Mail, SMS, Push oder kombiniert.
Für Erwachsene kündigt OpenAI außerdem eine „Trusted Contact“-Funktion an, damit im Bedarfsfall eine benannte Person Hinweise erhält. Ergänzend beschreibt OpenAI, wie ein automatisches Unter-18-Setup über Altersabschätzung ausgerollt wird, siehe Our approach to age prediction und Updating our Model Spec with teen protections.
Mini-Modell zur Einordnung von KI-Sicherheit im Markt
Aus Marktsicht ist OpenAIs Ansatz ein klassisches Defense-in-Depth-Design, also mehrere Sicherheitslagen, die sich gegenseitig absichern. Das ist wichtig, weil kein einzelner Mechanismus zuverlässig Intent erkennt, besonders nicht in Grauzonen und langen Gesprächen.
-
Regeln im Modell: Verhalten wird über Spezifikation und Training begrenzt, etwa durch Verweigerung bei planungsnahen Gewaltanfragen.
-
Erkennung im Betrieb: Automatisierte Signaleingänge filtern riskante Muster und priorisieren Prüfungen.
-
Konsequenz und Eskalation: Sperren, Einsprüche, sowie im Extremfall Meldungen an Behörden.
OpenAI ordnet die Arbeit als fortlaufenden Prozess ein, mit Fokus auf schwierige Fälle wie unklare Legitimität, gezielte Umgehung und wiederholten Missbrauch. Weitere Einstiegsseiten sind die Safety-News-Übersicht Safety, die Policy-Update-Anmeldung Subscribe to receive policy update notifications und die Original-Veröffentlichung Our commitment to community safety.
Als Leitplanke nennt OpenAI dabei explizit das Abwägen zwischen Sicherheit, Privatsphäre und bürgerlichen Freiheitsrechten, siehe auch Transparency & content moderation sowie Teen safety, freedom, and privacy.