HIDA Lecture: Exploits and Misuse of AI

Inhalt

Generative KI wird immer mehr in unser tägliches Leben integriert, was Fragen über potenzielle Bedrohungen innerhalb von genAI-Systemen und deren Ergebnissen aufwirft. In diesem Vortrag werden die daraus resultierenden Herausforderungen und Sicherheitsbedrohungen im Zusammenhang mit generativer KI näher betrachtet.
Diese beziehen sich auf zwei mögliche Kategorien: zum einen auf manipulierte Inputs und zum anderen auf die missbräuchliche Verwendung von computergenerierten Ergebnissen.
Im ersten Fall werden speziell entwickelte Eingaben verwendet, um Modelle wie LLMs zu missbrauchen, um die Ausrichtung zu stören oder sensible Informationen zu stehlen. Bestehende Angriffe zeigen, dass Inhaltsfilter von LLMs mit bestimmten Eingaben leicht umgangen und private Informationen offengelegt werden können. Außerdem können etablierte Methoden des maschinellen Lernens nicht einfach auf generative Modelle übertragen werden.

Im zweiten Bedrohungsszenario werden generative Modelle verwendet, um gefälschte Inhalte zu erzeugen, die von menschlich erstellten Inhalten nicht zu unterscheiden sind. Diese gefälschten Inhalte werden häufig für betrügerische und manipulative Zwecke verwendet, und Identitätswechsel und realistische gefälschte Nachrichten sind bereits mit einer Vielzahl von Techniken möglich. Da sich diese Muster weiterentwickeln, wird es immer schwieriger, diese betrügerischen Aktivitäten zu erkennen, während die Angriffe selbst einfacher zu automatisieren sind und weniger Fachwissen erfordern. Dieser Vortrag gibt einen Überblick über die aktuellen Herausforderungen bei der Erkennung gefälschter Medien in der Mensch-Maschine-Interaktion.

Hier anmelden!