Voraussage zu potenziellem Missbrauch von Sprachmodellen in Desinformationskampagnen - und wie das Risiko reduziert werden kann

Quelle OPENAI.COM/BLOG/FORECASTING-MISUSE

OpenAI-Forscher arbeiteten mit dem Center for Security and Emerging Technology der Georgetown University und dem Stanford Internet Observatory zusammen, um zu untersuchen, wie Sprachmodelle für Desinformationszwecke missbraucht werden könnten. Die Zusammenarbeit umfasste einen Workshop im Oktober 2021, an dem 30 Desinformationsforscher, Experten für maschinelles Lernen und politische Analysten teilnahmen, und gipfelte in einem gemeinsam verfassten Bericht, der auf mehr als einem Jahr Forschung aufbaut. Dieser Bericht skizziert die Bedrohungen, die Sprachmodelle für die Informationsumgebung darstellen, wenn sie zur Verstärkung von Desinformationskampagnen eingesetzt werden, und stellt einen Rahmen für die Analyse potenzieller Minderungsmaßnahmen vor. Lesen Sie den vollständigen Bericht hier.

Wenn sich generative Sprachmodelle verbessern, eröffnen sie neue Möglichkeiten in so unterschiedlichen Bereichen wie Gesundheitswesen, Recht, Bildung und Wissenschaft. Aber wie bei jeder neuen Technologie ist es eine überlegung wert, wie sie missbraucht werden können. Vor dem Hintergrund wiederkehrender Online-Beeinflussungsoperationen – verdeckte oder irreführende Versuche, die Meinungen einer Zielgruppe zu beeinflussen – stellt das Papier die Frage:

Wie könnten sich Sprachmodelländerungen auswirken, und welche Schritte können unternommen werden, um diese Bedrohung zu mindern?

Unsere Arbeit brachte unterschiedliche Hintergründe und Fachkenntnisse zusammen – Forscher mit Kenntnissen in den Taktiken, Techniken und Verfahren von Online-Desinformationskampagnen sowie Experten für maschinelles Lernen im Bereich der generativen künstlichen Intelligenz – um unsere Analyse auf Trends in beiden Bereichen zu stützen. Wir glauben, dass es entscheidend ist, die Bedrohung durch KI-gestützte Beeinflussungsoperationen zu analysieren und Schritte zu skizzieren, die unternommen werden können, bevor Sprachmodelle für Beeinflussungsoperationen in großem Maßstab verwendet werden. Wir hoffen, dass unsere Forschung politische Entscheidungsträger informieren wird, die neu in den Bereichen KI oder Desinformation sind, und eine eingehende Erforschung potenzieller Minderungsstrategien für KI-Entwickler, politische Entscheidungsträger und Desinformationsforscher anregen wird.

Wie könnte KI den Betrieb beeinflussen?

Wenn Forscher Beeinflussungsoperationen bewerten, berücksichtigen sie die Akteure, Verhaltensweisen und Inhalte . Die weit verbreitete Verfügbarkeit von Technologie, die auf Sprachmodellen basiert, hat das Potenzial, alle drei Facetten zu beeinflussen:

  1. Akteure : Sprachmodelle könnten die Kosten für die Durchführung von Einflussoperationen senken und sie für neue Akteure und Akteurstypen zugänglich machen. Ebenso können Lohnpropagandisten, die die Textproduktion automatisieren, neue Wettbewerbsvorteile erlangen.
  2. Verhalten : Beeinflussungsoperationen mit Sprachmodellen werden einfacher zu skalieren sein, und Taktiken, die derzeit teuer sind (z. B. das Generieren personalisierter Inhalte), können billiger werden. Sprachmodelle können auch neue Taktiken ermöglichen – wie die Generierung von Inhalten in Echtzeit in Chatbots.
  3. Inhalt : Tools zur Texterstellung, die auf Sprachmodellen basieren, können im Vergleich zu Propagandisten wirkungsvollere oder überzeugendere Botschaften erzeugen, insbesondere diejenigen, denen die erforderlichen sprachlichen oder kulturellen Kenntnisse ihres Ziels fehlen. Sie können Einflussoperationen auch weniger auffindbar machen, da sie wiederholt neue Inhalte erstellen, ohne auf Copy-Paste und andere spürbare zeitsparende Verhaltensweisen zurückgreifen zu müssen.

    Unser Fazit ist, dass Sprachmodelle für Propagandisten nützlich sein und wahrscheinlich Online-Einflussoperationen verändern werden. Selbst wenn die fortschrittlichsten Modelle privat bleiben oder durch den Zugriff auf Anwendungsprogrammierschnittstellen (API) kontrolliert werden, werden Propagandisten wahrscheinlich zu Open-Source-Alternativen tendieren, und Nationalstaaten könnten selbst in die Technologie investieren.

Kritische Unbekannte

Viele Faktoren haben Einfluss darauf, ob und in welchem ​​Umfang Sprachmodelle in Beeinflussungsoperationen verwendet werden. Unser Bericht geht auf viele dieser überlegungen ein. Zum Beispiel:

  • Welche neuen Einflussmöglichkeiten werden als Nebeneffekt gut gemeinter Forschung oder kommerzieller Investitionen entstehen? Welche Akteure werden erhebliche Investitionen in Sprachmodelle tätigen?
  • Wann werden benutzerfreundliche Tools zur Textgenerierung öffentlich verfügbar sein? Wird es effektiver sein, spezifische Sprachmodelle für Beeinflussungsoperationen zu entwickeln, anstatt generische zu verwenden? Werden sich Normen entwickeln, die Akteure abschrecken, die KI-gestützte Beeinflussungsoperationen durchführen? Wie werden sich die Intentionen der Akteure entwickeln?
  • Während wir eine Verbreitung der Technologie sowie Verbesserungen in der Benutzerfreundlichkeit, Zuverlässigkeit und Effizienz von Sprachmodellen erwarten, bleiben viele Fragen über die Zukunft unbeantwortet. Da dies kritische Möglichkeiten sind, die ändern können, wie Sprachmodelle den Betrieb beeinflussen können, ist zusätzliche Forschung zur Verringerung der Unsicherheit sehr wertvoll.

    Ein Framework für Minderungen

    Um einen Weg nach vorne aufzuzeigen, beschreibt der Bericht die wichtigsten Phasen in der Pipeline vom Sprachmodell bis zur Beeinflussung des Betriebs. Jede dieser Phasen ist ein Punkt für potenzielle Minderungen. Um eine Beeinflussungsoperation erfolgreich durchzuführen, die ein Sprachmodell nutzt, würden Propagandisten Folgendes erfordern: (1) ein Modell existiert, (2) sie können zuverlässig darauf zugreifen, (3) sie können Inhalte verbreiten aus dem Modell und (4) ein Endbenutzer ist betroffen. Viele mögliche Minderungsstrategien fallen entlang dieser vier Schritte, wie unten gezeigt.



    OpenAI und Politik und Suchmaschinen

    CHAT.OPENAI.COM