Wie oft erfinden die fünf untersuchten Sprachmodelle Paketnamen?

Churilov ließ Claude Sonnet 4.6 und Claude Haiku 4.5 (Anthropic), GPT-5.4-mini (OpenAI), Gemini 2.5 Pro (Google) und DeepSeek V3.2 zwischen dem 22. und 28. April 2026 je rund 40.000 Programmierfragen beantworten, zusammen 199.845 Antworten. Jeden Paketnamen im erzeugten Code glich er mit Namenslisten der Register PyPI für Python und npm für JavaScript vom Januar 2024 ab. Später angemeldete Pakete zählten dadurch als erfunden, eine Nachprüfung kündigt der Autor an. Die niedrigste Halluzinationsrate erreichte laut der Vorabveröffentlichung Claude Haiku 4.5 mit 4,62 Prozent, die höchste das Modell von OpenAI mit 6,10 Prozent. Python-Code enthielt bei allen fünf Modellen häufiger erfundene Namen als JavaScript-Code.

Die Vergleichsstudie des Teams um Joseph Spracklen von der University of Texas at San Antonio erschien im August 2025 im begutachteten Tagungsband der USENIX Security. Dort erhielt sie den Distinguished Paper Award. Laut dieser Studie erfanden 16 Sprachmodelle in 576.000 Codebeispielen im Schnitt 5,2 Prozent der Pakete bei kommerziellen und 21,7 Prozent bei quelloffenen Modellen; das beste Modell kam auf 3,59 Prozent. Bei 16 meist quelloffenen Modellen waren 19,7 Prozent der 2,23 Millionen Pakete erfunden. Den Abstand zwischen den besten und schwächsten Modellen sieht Churilov stark verringert, allerdings nur für die fünf untersuchten Spitzenmodelle. Keines davon unterbot den Bestwert der USENIX-Studie.

Warum wird ein erfundener Paketname zum Lieferkettenrisiko?

Slopsquatting heißt die Angriffsform, bei der jemand ein bösartiges Paket unter einem Namen anmeldet, den Sprachmodelle erfinden. Planbar wird sie durch Wiederholung: Laut einer Teilauswertung der USENIX-Studie an vier Modellen mit 500 Python-Anfragen tauchten 43 Prozent der erfundenen Pakete in allen zehn Wiederholungen derselben Anfrage wieder auf, 58 Prozent mehr als einmal. Churilov beschreibt die Angriffskette, angelehnt an Spracklen, in sechs Schritten:

• Der Angreifer befragt Sprachmodelle systematisch und sammelt erfundene Paketnamen.
• Unter jedem dieser Namen meldet er ein bösartiges Paket bei PyPI oder npm an.
• Später stellt ein Entwickler demselben oder einem verwandten Modell eine Programmierfrage.
• Das Modell erzeugt Code, der den erfundenen Namen verwendet.
• Der Paketmanager vertraut dem Register und installiert das Paket des Angreifers.
• Der fremde Code läuft in der Umgebung des Entwicklers.

Nach Angabe des Autors neu ist eine Schnittmenge: 127 Paketnamen, davon 109 für PyPI und 18 für npm, erfanden alle fünf Modelle identisch. Nach einer abgestimmten Meldung an PyPI Security und den Sicherheitsanbieter Socket.dev blieben laut Churilov 53 dieser Namen für Angreifer anmeldbar, 41 bei PyPI und zwölf bei npm. Eine einzige Anmeldung kann damit Nutzer aller fünf untersuchten Modelle zugleich treffen. Der Autor wertet die 53 als Momentaufnahme vom April 2026, weil sich Sperrlisten und vergebene Namen ändern.

Welche Grenzen nennt die Vorabveröffentlichung selbst?

Churilov arbeitet als Einzelautor, und die Arbeit hat bis zur Fassung vom 9. August 2026 keine Begutachtung durchlaufen. Die Fragensammlung aus der Studie von 2025 ist seit Januar 2025 öffentlich und könnte nach Angabe des Autors in die Trainingsdaten der neuen Modelle eingeflossen sein, was die gemessenen Raten senken würde. Laut der Arbeit verweigerte das Modell von OpenAI 32,14 Prozent der Anfragen; sein Wert beruht damit auf einer kleineren, möglicherweise nicht zufälligen Auswahl von Antworten. Agenten mit Werkzeugzugriff, etwa Claude Code, hat die Messung ausdrücklich nicht untersucht.

„Ein erfundener Paketname ist kein Tippfehler, den man einmal korrigiert, sondern eine Vorhersage, auf die sich ein Angreifer einstellen kann. Dass ein Paket existiert, sagt deshalb wenig darüber, ob man ihm trauen sollte. Diese Frage gehört vor die Installation, nicht in die Nachbereitung“, sagt Alexander Weipprecht, Geschäftsführer der Provimedia GmbH.

Was prüfen Teams, bevor ein KI-Agent ein neues Paket installiert?

Eine Prüfung, ob ein Paket im Register existiert, greift beim Slopsquatting ins Leere: Nach der Anmeldung durch den Angreifer existiert es. Code Guardian sieht laut Produktseite vor jeder neuen Abhängigkeit eine Prüfung vor. Sie achtet auf Reputation statt Existenz: Alter, Download-Verlauf, ein echtes Repository mit mehr als einem Beitragenden und die Namensnähe zu einem bekannten Paket. Diese Prüfung ist eine Anweisung im Skill, keine Sperre, die eine Installation technisch anhält. Welche Befehle Code Guardian vor der Ausführung anhält, etwa zum Löschen, zur Auslieferung und zur Datenbankmigration, beschreibt die Anleitung zur Einrichtung der Befehlsprüfungen.