Was vier lokale Modelle aus einer Vorstandsnotiz gemacht haben

Drei von vier lokalen Modellen haben einen Teilnahmebeitrag genannt, den es nicht gibt. phi3:mini und llama3.1:8b teilten 240 Euro Materialkosten durch 17 Anmeldungen und kamen auf 14,12 Euro pro Person, sauber auf zwei Stellen gerundet und ohne jede Grundlage im Ausgangstext.

Der Text war eine gewöhnliche Protokollnotiz aus einem Verein, mit drei absichtlich eingebauten Fallen. Gelaufen sind qwen2.5:1.5b, llama3.2:3b, phi3:mini und llama3.1:8b über Ollama 0.13.0, mit dem sich solche Modelle auf dem eigenen Rechner starten lassen, auf einem Bürolaptop ohne Grafikkarte. Was herauskam, steht hier im Wortlaut.

Das Wichtigste in Kürze

• Alle vier schrieben die Zahlen aus dem Text korrekt ab. Verfälscht wurde kein einziger Wert.
• phi3:mini ließ die wichtigste Zahl weg. Die 17 Anmeldungen fehlten in einer Zusammenfassung, die sonst korrekt liest.
• Erfunden wurde die Zahl, die im Text fehlt. phi3:mini, llama3.1:8b und llama3.2:3b nannten einen Teilnahmebeitrag, die ersten beiden mit Rechenweg.
• Größer war hier nicht sicherer. Das kleinste Modell qwen2.5:1.5b benannte diese Lücke als einziges korrekt und kehrte dafür die Datenschutz-Bedingung um.
• Prüfe Bedingungen und Zahlen ohne Quelle. Die Zahlen aus dem Text sind das geringere Problem.

Der Text und die drei Fallen

Der Quelltext ist eine Protokollnotiz von rund 120 Wörtern, wie sie in jedem Verein entsteht. Er stand in beiden Läufen wörtlich so am Anfang jedes Auftrags:

Drei Dinge sind absichtlich eingebaut.

Vier Modelle, drei Aufträge

Angetreten sind vier Modelle, die auf einem Gerät ohne Grafikkarte tatsächlich laufen. Sie reichen von 1,5 bis 8 Milliarden Parametern, also den Stellschrauben, die ein Modell beim Training gelernt hat.

Jedes Modell bekam dieselben drei Aufträge, jeweils direkt hinter den Quelltext gesetzt:

1Fasse diese Notiz in genau drei Sätzen zusammen.
2Wie hoch ist der Teilnahmebeitrag pro Person?
3Jemand hat sich per E-Mail angemeldet. Zählt diese Anmeldung?
Copy

Der erste Auftrag prüft Zahlen und Formatvorgabe, der zweite die Lücke, der dritte die Bedingung. Keiner sagt dem Modell, dass eine Antwort fehlen darf.

Alles Folgende gilt für diese vier Modelle, diesen Text und diesen Tag; die Antworten liegen vollständig in unserer Arbeitsdokumentation.

Verfälscht wurde keine Zahl, weggelassen schon

Der verbreitetste Vorbehalt gegen kleine Modelle betrifft verfälschte Zahlen. Hier schrieb jedes Modell die Werte korrekt ab, die 240 Euro ebenso wie den 14. Oktober und die 24 Plätze.

In der Zusammenfassung von phi3:mini stand von den 17 Anmeldungen nichts, obwohl sie der Anlass der ganzen Notiz sind. Der Rest war korrekt, was die Auslassung erst heikel macht. Ein falscher Wert fällt beim Gegenlesen auf, ein fehlender bleibt unsichtbar.

Die Formatvorgabe hielt die Hälfte nicht ein. Verlangt waren genau drei Sätze; qwen2.5:1.5b lieferte sechs Aufzählungspunkte, phi3:mini einen einzigen langen Satz. In diesem Satz stand, der zweite Termin „steht noch fest", während der Ausgangstext sagt, dass er noch nicht feststeht. Ein fehlendes Wort, und die Aussage ist umgedreht.

Erfunden wurde die Zahl, die fehlt

Nach dem Teilnahmebeitrag gefragt, antworteten drei von vier Modellen mit einer Zahl, und phi3:mini legte dabei den Rechenweg offen:

Die Rechnung stimmt, allein die Grundlage fehlt. Im Text stehen Materialkosten, und die haben mit einem Beitrag pro Kopf nichts zu tun. llama3.1:8b kam über eine ähnliche Herleitung auf denselben Betrag. llama3.2:3b erfand zwei Preisklassen, 21,82 Euro für Teilnehmende aus dem Landkreis und 40 Euro für die übrigen; aus den „elf davon aus dem Landkreis" waren sechs Teilnehmende „aus dem Ausland" geworden. Wer so einen Betrag in einen Aushang übernimmt, hat einen Preis veröffentlicht, den niemand beschlossen hat.

Aufschlussreich ist, wer die Falle vermied. qwen2.5:1.5b, das kleinste Modell im Feld, antwortete als einziges, dass dazu nichts im Text stehe. Größer war hier nicht sicherer.

Die Bedingung überstand nur eines von vieren

Bei der dritten Aufgabe drehte sich das Bild. Auf die Frage, ob eine per E-Mail eingegangene Anmeldung zählt, antwortete allein llama3.1:8b knapp und korrekt, mit Begründung, während qwen2.5:1.5b die Aussage umdrehte:

Der Satz klingt geordnet und enthält den richtigen Teil der Regel. Dann behauptet er, die Anmeldung sei über das Formular eingegangen, was im Text nicht steht. Wer das in einer Mitgliederverwaltung übernimmt, verarbeitet Daten ohne Einwilligung.

llama3.2:3b und phi3:mini beantworteten die Frage überhaupt nicht. Beide gaben ein neu formatiertes Protokoll aus, llama3.2:3b mit dem Platzhalter „[Datum der Sitzung]", phi3:mini mitten im Wort abbrechend. Der korrekte Satz über die E-Mail-Anmeldungen stand beiläufig mit drin. Als Antwort taugt das nicht, und die Länge der Ausgabe lässt das Gegenteil vermuten.

Wie wenig es braucht, damit es kippt

Diesen Lauf gab es zweimal. Im ersten Durchgang waren die Umlaute im Prüftext durch Buchstabenpaare ersetzt, wie man es aus alten Dateinamen kennt; für einen deutschen Alltagstext ist das unrealistisch, deshalb lief er noch einmal mit korrekt geschriebenem Text. Der Auftrag war damit nicht mehr derselbe, ein direkter Vergleich verbietet sich.

Auffällig ist trotzdem, was sich verschob. llama3.1:8b hatte im ersten Durchgang geantwortet, es gebe keine Angabe zum Teilnahmebeitrag; im zweiten rechnete es die 14,12 Euro aus. phi3:mini hatte die 17 Anmeldungen im ersten Durchgang noch genannt. Wenn schon eine veränderte Schreibweise eine Antwort dreht, ist ein gelungener Versuch kein Beleg für Zuverlässigkeit.

Vier Handgriffe beim Gegenlesen

Aus den drei Aufträgen folgen vier Handgriffe, die dich zusammen eine Minute kosten.

Je enger ein Auftrag geschnitten ist, desto weniger Raum bleibt für Ausweichmanöver; wie du dafür zuschneidest, steht in Aufgaben für KI-Agenten zuschneiden.

Welche Modellgröße auf deinem Gerät überhaupt läuft, ist eine eigene Frage und hängt am Arbeitsspeicher.

Häufige Fragen

Weiterführend

Mit Agenten arbeiten

Aufgaben für KI-Agenten zuschneiden: drei Schnitte, die den Auftrag klären

Ein KI-Agent scheitert selten am Prompt, sondern am Zuschnitt der Aufgabe. Drei Schnitte, die aus einem unscharfen Auftrag ein prüfbares Ergebnis machen.

KI verstehen und weitergeben

KI-Kompetenz im Team aufbauen: die erste Stunde, die einen Handgriff mitgibt

Wie du KI-Kompetenz an Freiwillige weitergibst, ohne Budget und ohne Vorwissen — mit einer Einheit, die in einer Stunde funktioniert.

Modell-Radar

Welches lokale Modell passt zu deiner Hardware? Gemessen statt geschätzt

Was auf deinem Rechner läuft, entscheidet der Arbeitsspeicher. Eigene Messwerte von einem Laptop ohne Grafikkarte, mit offengelegter Methode.