FORSCHUNG
September 2024: manipulierbare Web-Agenten, KI-Vishing, Post-Quanten unter Beschuss
Der September 2024 markiert den Wechsel der KI-Sicherheit von Modellen zu Agenten: Webseiten, die Agenten persönliche Daten entlocken, und eine Abwehr über Informationsflusskontrolle. Social Engineering wird mit LLM-gesteuerten Anrufen automatisiert, eine Feldstudie dämpft die Erwartungen an Phishing-Trainings. Bei Post-Quanten treffen Fehlerinjektionen ML-KEM und ML-DSA auf Mikrocontrollern.
Archiv: Rekonstruktion, verfasst im November 2026
1. EIA: Environmental Injection Attack on Generalist Web Agents for Privacy Leakage
arXiv · Zeyi Liao, Lingbo Mo, Chejian Xu, Mintong Kang et al. · KI- und LLM-Sicherheit
Kurz gesagt: Versteckte Inhalte auf einer Website verleiten Web-Agenten dazu, persönliche Daten preiszugeben.
Das Paper untersucht Datenschutzrisiken generalistischer Web-Agenten auf kompromittierten Websites. Der Angriff EIA fügt Inhalte ein, die an die Umgebung des Agenten angepasst sind. Bei 177 realen Schritten mit persönlichen Daten erbeutet er gezielte Daten in bis zu 70% der Fälle und die gesamte Nutzeranfrage in 16%. Er ist schwer zu erkennen, ein defensiver System-Prompt reicht nicht.
Warum es wichtig ist. Ein Agent, der für Nutzer bucht oder Formulare ausfüllt, wird zum Datenleck: Es genügt der Besuch einer manipulierten Seite.
2. System-Level Defense against Indirect Prompt Injection Attacks: An Information Flow Control Perspective
arXiv · Fangzhou Wu, Ethan Cecchetti, Chaowei Xiao · Formale Methoden
Kurz gesagt: Eine Abwehr indirekter Prompt Injection auf Systemebene, gestützt auf Informationsflusskontrolle.
In LLM-Systemen speist jeder Schritt den nächsten, sodass bösartige Eingaben aus jeder Quelle die Ausführung kapern können. Das "f-secure"-System erzeugt strukturierte, ausführbare Pläne, ein Monitor hält nicht vertrauenswürdige Eingaben von der Planung fern. Formale Modelle und Benchmarks zeigen robusten Schutz bei erhaltener Funktion und Effizienz. Der Code ist öffentlich.
Warum es wichtig ist. Die Abwehr wandert vom Prompt-Filter in die Architektur: genau diese Kontrolle ist bei Agenten mit Zugriff auf Daten oder Zahlungen zu prüfen.
3. The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems
IEEE Transactions on Information Forensics and Security · Linke Song, Zixuan Pang, Wenhao Wang, Zihao Wang et al. · System- und Softwaresicherheit
Kurz gesagt: Caches geteilter LLM-Dienste verraten über Antwortzeiten System-Prompts und Prompts anderer Nutzer.
Die Autoren finden neue Timing-Seitenkanäle in LLM-Diensten für viele Nutzer, verursacht durch geteilte Caches und GPU-Speicher. Über Zeitmessungen und die Klassifikation von Cache-Treffern im KV- und semantischen Cache leitet ein Angreifer private Prompts mit hoher Genauigkeit ab. Eine Token-für-Token-Suche rekonstruiert geteilte Präfixe. Black-Box-Tests an Diensten bestätigen das Risiko.
Warum es wichtig ist. Leistungsoptimierungen der LLM-Anbieter werden zum Vertraulichkeitsrisiko für Kunden auf gemeinsamer Infrastruktur.
4. Models Are Codes: Towards Measuring Malicious Code Poisoning Attacks on Pre-trained Model Hubs
arXiv · Jian Zhao, Shenao Wang, Yanjie Zhao, Xinyi Hou et al. · Software-Lieferkette
Kurz gesagt: Erste systematische Studie zu bösartigem Code in Modellen und Datensätzen auf Hugging Face.
Vortrainierte Modelle sind auch Code: Manche Formate führen beim Laden Anweisungen aus. Das Paper ordnet die verwundbaren Formate und stellt MalHug vor, das Deserialisierung, Taint-Analyse und heuristische Muster kombiniert. In drei Monaten auf einem internen Spiegel eines großen Fintechs prüfte es über 705.000 Modelle und 176.000 Datensätze und fand 91 bösartige Modelle und 9 Ladeskripte.
Warum es wichtig ist. Ein Modell aus einem öffentlichen Hub zu laden heißt, fremden Code auszuführen: ein neues Glied der Software-Lieferkette.
5. DarkGram: A Large-Scale Analysis of Cybercriminal Activity Channels on Telegram
USENIX Security Symposium · Sayak Saha Roy, Elham Pourabbas Vafa, Kobra Khanmohammadi, Shirin Nilizadeh · System- und Softwaresicherheit
Kurz gesagt: 339 Telegram-Kanäle der Cyberkriminalität mit 23,8 Millionen Followern im großen Maßstab analysiert.
DarkGram, ein BERT-basierter Klassifikator mit 96% Genauigkeit, analysiert 53.605 Beiträge von Februar bis Mai 2024. Es kursieren kompromittierte Zugangsdaten, Malware, Exploit-Kits und Betrugsmaschen, oft gratis, um zahlende Käufer zu gewinnen. Die Kanäle greifen auch eigene Abonnenten an: 28,1% der Links sind Phishing, 38% der ausführbaren Dateien enthalten Malware. Nach Sperren ziehen sie um.
Warum es wichtig ist. Es zeigt, wie einfach und lukrativ der Markt für Zugangsdaten und Angriffswerkzeuge ist und wie wenig Kanalsperren bewirken.
6. On the Feasibility of Fully AI-automated Vishing Attacks
arXiv · João Figueiredo, Afonso Carvalho, Daniel Castro, Daniel Gonçalves et al. · System- und Softwaresicherheit
Kurz gesagt: Ein vollautomatisches, LLM-gesteuertes Vishing-System bringt viele Menschen dazu, sensible Daten preiszugeben.
ViKing verbindet ein LLM mit Sprachsynthese und Spracherkennung, alles aus öffentlicher Technik, für betrügerische Anrufe. In einem kontrollierten Experiment mit 240 Teilnehmenden überredete es viele zur Preisgabe sensibler Informationen, auch ausdrücklich Gewarnte. Die Gespräche wurden überwiegend als realistisch bewertet.
Warum es wichtig ist. Die Kosten einer Telefonbetrugskampagne brechen ein: mehr Versuche von Zugangsdaten-Diebstahl und Zahlungsbetrug bei gleicher Zahl von Angreifern.
7. Content, Nudges and Incentives: A Study on the Effectiveness and Perception of Embedded Phishing Training
ACM Conference on Computer and Communications Security · Daniele Lain, Tarek Jost, Siniša Matetić, Kari Kostiainen et al.
Kurz gesagt: Eingebettetes Phishing-Training wirkt als Erinnerung, nicht über Inhalte, die kaum jemand liest.
Eine groß angelegte Studie mit gemischten Methoden unter den Beschäftigten eines Partnerunternehmens zerlegt das Training für alle, die auf eine Phishing-Simulation hereinfallen. Die Wirkung kommt von der regelmäßigen Erinnerung an die Bedrohung, nicht vom Schulungsmaterial, das aus Zeitmangel und geringem Nutzen kaum genutzt wird. Späteres Training wirkt gleich gut, Belohnungen verbessern nichts.
Warum es wichtig ist. Die bloße Existenz eines Schulungsprogramms sagt wenig: entscheidend sind Häufigkeit der Simulationen und gemessene Ergebnisse.
8. Mind the Faulty Keccak: A Practical Fault Injection Attack Scheme Apply to All Phases of ML-KEM and ML-DSA
IACR Cryptology ePrint Archive · Yuxuan Wang, Jintong Yu, Shipei Qu, Xiaolin Zhang et al. · Post-Quanten-Kryptographie
Kurz gesagt: In Keccak induzierte Fehler ermöglichen Schlüsselrückgewinnung und Signaturfälschung bei ML-KEM und ML-DSA.
Keccak ist der Hash, mit dem ML-KEM und ML-DSA sensible Werte ableiten. Durch Abbruch seiner Schleifen per Fehlerinjektion bauen die Autoren sechs Angriffe auf ML-KEM und fünf auf ML-DSA: Schlüsselrückgewinnung, Signaturfälschung und Umgehung der Prüfung, in allen Phasen. Auf Cortex-M0+, M3, M4 und M33 gelingt der Fehler mit günstiger elektromagnetischer Ausrüstung in 89,5% der Fälle.
Warum es wichtig ist. Die Post-Quanten-Migration auf eingebetteten Geräten braucht physische Gegenmaßnahmen, nicht nur die NIST-Standards.
9. The Impact of SBOM Generators on Vulnerability Assessment in Python: A Comparison and a Novel Approach
arXiv · Giacomo Benedetti, Serena Cofano, Alessandro Brighente, Mauro Conti · Software-Lieferkette
Kurz gesagt: SBOMs aktueller Werkzeuge sind oft unvollständig und lassen bekannte Schwachstellen in Python-Projekten durch.
Die SBOM, die Komponentenliste einer Software, soll die Lieferkette transparent machen. Erstmals wird analysiert,, wie Fehler der SBOM-Generatoren die Fähigkeit nachgelagerter Werkzeuge mindern, Schwachstellen zu finden. Es benennt die Ursachen, vor allem bei der Erkennung von Komponenten und der Auflösung von Abhängigkeiten, und stellt PIP-sbom vor, genauer als die besten bestehenden Werkzeuge.
Warum es wichtig ist. Eine SBOM ist für sich keine Garantie: Ihre Qualität entscheidet, ob Schwachstellen der Komponenten tatsächlich sichtbar werden.
10. You Might Have Known It Earlier: Analyzing the Role of Underground Forums in Threat Intelligence
Research in Attacks, Intrusions and Defenses · Tommaso Paladini, Lara Ferro, Mario Polino, Stefano Zanero et al. · Malware und Bedrohungen
Kurz gesagt: Über zwanzig Jahre kündigten Untergrundforen mehr als 60% der Bedrohungen vor den Sicherheitsberichten an, doch der Vorsprung schrumpft.
Die Autoren analysieren 88 Millionen Beiträge aus Hackerforen und 75.000 Artikel über zwanzig Jahre, und vergleichen die Daten extrahierter Entitäten. Forendiskussionen gehen offiziellen Berichten bei über 60% der Entitäten voraus. Seit 2012 sinkt der Vorsprung jedoch, vielleicht durch stärkere Überwachung oder den Wechsel zu anderen Kanälen, während in den Foren weiter neue Malware kursiert.
Warum es wichtig ist. Threat Intelligence muss den Akteuren dorthin folgen, wohin sie ziehen, etwa in Messaging-Kanäle, um rechtzeitig zu warnen.
Die Trends des Monats
KI- und LLM-Sicherheit
134 Paper des Monats zu diesem Thema
KI-Sicherheit gehört bereits zu den häufigsten Themen des Monats. Der Schwerpunkt verlagert sich von isolierten Modellen zu den Systemen darum: Web-Agenten, die auf Websites handeln, Pipelines, die Schritte verketten, Infrastruktur, die sich Kunden teilen. Angriffe nutzen die Umgebung, also manipulierte Seiten und gemeinsame Caches, mehr als das Modell selbst. Für Versicherer lautet die nützliche Frage, wie ein Unternehmen Agenten einsetzt und mit welchen Rechten, nicht nur welches Modell.
Zitierte Paper:
- EIA: Environmental Injection Attack on Generalist Web Agents for Privacy Leakage
- System-Level Defense against Indirect Prompt Injection Attacks: An Information Flow Control Perspective
- The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems
Faktor Mensch
27 Paper des Monats zu diesem Thema
Zwei Arbeiten betrachten den Faktor Mensch von entgegengesetzten Seiten. Beim Angriff überzeugen LLM-gesteuerte Betrugsanrufe selbst gewarnte Personen. Bei der Abwehr wirkt eingebettetes Phishing-Training eher als regelmäßige Erinnerung denn als Lehre. Zusammen zeigen sie: Social Engineering wird billiger und skalierbarer, während auf Bewusstsein gestützte Kontrollen messbare Grenzen haben. Entscheidend bleiben Prozesskontrollen wie die doppelte Freigabe von Zahlungen.
Zitierte Paper:
- On the Feasibility of Fully AI-automated Vishing Attacks
- Content, Nudges and Incentives: A Study on the Effectiveness and Perception of Embedded Phishing Training
Post-Quanten-Kryptographie
27 Paper des Monats zu diesem Thema
Im August 2024 veröffentlichte das NIST die Standards ML-KEM und ML-DSA, im September richtet sich die Forschung bereits auf ihre Implementierungen. Fehlerinjektionen in Keccak, den Hash beider Verfahren, zeigen, dass auf günstigen Mikrocontrollern Schlüssel zurückgewonnen und Signaturen gefälscht werden können. Die Lehre für die Migration: Die Wahl des Algorithmus ist nur der erste Schritt, der physische Schutz der Geräte zählt so viel wie der Standard.
Zitierte Paper:
Wie dieser Digest entsteht
Diese Ausgabe gehört zum Archiv des Digests und wurde nachträglich rekonstruiert. Die Paper des Monats stammen aus arXiv, dem IACR-ePrint-Archiv und den wichtigsten Sicherheitskonferenzen und -zeitschriften; bei der Auswahl zählen auch die seit der Veröffentlichung erhaltenen Zitierungen. Ein KI-Modell hat die Kandidaten bewertet und die Zusammenfassungen verfasst, die auf den Abstracts beruhen: Für Details gilt das Original-Paper.
Bewertete Paper des Monats: 1213.