Dieser Text entstand auf einem Bürolaptop ohne Grafikkarte. Auf demselben Gerät hat ein Modell mit 1,5 Milliarden Parametern 27 Token pro Sekunde ausgegeben, ein Modell mit 8 Milliarden nur noch 4,6. Beide Zahlen sind gemessen, nicht geschätzt, und die Methode steht weiter unten.
Damit ist die Frage beantwortbar, die vor jeder Installation steht. Was läuft auf dem Gerät, das du schon hast? Die Antwort hängt am Arbeitsspeicher und an der Aufgabe, für die du das Modell brauchst.
Das Wichtigste in Kürze
- Der Arbeitsspeicher entscheidet über Machbarkeit. Als Faustregel braucht eine Milliarde Parameter etwa ein Gigabyte, wenn das Modell auf 4 Bit verkleinert vorliegt.
- Die Grafikkarte entscheidet über Tempo. Ohne sie läuft es langsamer, aber es läuft.
- Verdoppelte Größe halbiert das Tempo. Gemessen 27, 14, 12 und 4,6 Token pro Sekunde bei 1,5 bis 8 Milliarden Parametern.
- Ob es reicht, hängt an der Aufgabe. Zusammenfassen und Umformulieren gehen bei zwölf Token pro Sekunde gut, ein Gespräch in Echtzeit wird zäh.
- Bei Engpass hast du drei Stellschrauben. Eine kleinere Quantisierung, ein kleineres Modell oder eine geteilte Aufgabe.
Was auf diesem Laptop läuft
Das Testgerät ist ein Notebook mit einem Intel Core i5-13500H, 16 Threads und 15 Gigabyte Arbeitsspeicher. Eine dedizierte Grafikkarte ist nicht verbaut, gerechnet hat also die CPU. Alle Modelle liefen über Ollama in der 4-Bit-Variante Q4_K_M, mit identischem Auftrag und festem Startwert, bei einer Ausgabelänge von 160 Token.
| Modell | Größe | Parameter | Ausgabe | Ladezeit | Antwortdauer |
|---|---|---|---|---|---|
qwen2.5:1.5b | 0,99 GB | 1,5 Mrd. | 27,0 Token/s | 1,1 s | 8 s |
llama3.2:3b | 2,02 GB | 3,2 Mrd. | 14,4 Token/s | 2,0 s | 13 s |
phi3:mini | 2,18 GB | 3,8 Mrd. | 11,6 Token/s | 1,8 s | 18 s |
llama3.1:8b | 4,90 GB | 8,0 Mrd. | 4,6 Token/s | 6,1 s | 45 s |
Die Kurve ist regelmäßig. Wer die Parameterzahl verdoppelt, halbiert etwa das Tempo. Bei acht Milliarden Parametern dauert eine kurze Antwort auf diesem Gerät fast eine Minute, und das ist die Grenze, an der Arbeiten unangenehm wird.
Der Arbeitsspeicher setzt die Grenze
Ein Modell muss vollständig in den Speicher passen, sonst startet es nicht oder wird über die Festplatte ausgelagert und damit unbrauchbar langsam. Für die verbreitete 4-Bit-Quantisierung gilt als Faustregel etwa ein Gigabyte je Milliarde Parameter.[1] Ein Modell mit acht Milliarden Parametern belegt also rund fünf Gigabyte.
Dazu kommt Platz für den Kontext, also für den Auftrag und die bisherige Unterhaltung. Rechne mit einem bis zwei Gigabyte Reserve, und bedenke, dass Browser und Editor ebenfalls Speicher brauchen. Auf einem Gerät mit 16 Gigabyte bleibt damit realistisch Raum für Modelle bis etwa acht Milliarden Parameter.
Eine Grafikkarte verschiebt das Tempo deutlich nach oben, weil sie Daten schneller zum Rechenwerk bringt. Fachmedien beziffern den Abstand zur CPU auf ein Vielfaches; die dort genannten Werte stammen allerdings meist nicht aus eigenen Tests.[2] Für die Frage, ob etwas läuft, bleibt der Arbeitsspeicher entscheidend.
Prüfe, was du hast
Bevor du Empfehlungen liest, sieh dir dein Gerät an. Drei Befehle genügen. Unter Linux zeigt free -h den Arbeitsspeicher, nproc die Anzahl der Rechenkerne und nvidia-smi eine dedizierte Grafikkarte, sofern eine vorhanden ist. Auf einem Mac liefert die Systeminformation dieselben Angaben, unter Windows der Task-Manager im Reiter Leistung.
Interessant ist die Zeile mit dem verfügbaren Speicher, nicht die mit dem gesamten. Auf dem Testgerät waren von 15 Gigabyte etwa acht frei, während Editor und Browser liefen. Danach richtet sich die Modellgröße.
Montags im Camp
Wenn du das auf deinem Gerät ausprobieren willst
Im Social Impact Camp richten wir solche Setups gemeinsam ein, mit der Hardware, die jemand mitbringt. Du kannst dazukommen, ohne Vorerfahrung und ohne Kosten.
Beim Camp mitmachenWas reicht für welche Aufgabe
Eine Schwelle, ab der ein Modell brauchbar ist, gibt es nicht. Es kommt darauf an, was du damit tun willst.
Ab etwa zehn Token pro Sekunde arbeitest du gut mit Texten, die du ohnehin prüfst. Zusammenfassen, umformulieren oder Stichpunkte ordnen. Du liest das Ergebnis am Ende, nicht beim Entstehen.
Ab etwa zwanzig Token pro Sekunde wird es angenehm, wenn du zwischen Auftrag und Ergebnis hin und her springst und mehrere Versuche machst.
Unter fünf Token pro Sekunde taugt es für Aufgaben, die im Hintergrund laufen dürfen. Eine Antwort in fünfundvierzig Sekunden ist brauchbar, solange du in der Zeit etwas anderes tust.
Die Ladezeit zählt bei kurzen Aufgaben mehr als der Durchsatz. Auf dem Testgerät braucht das 1,5-Milliarden-Modell 1,1 Sekunden bis zur Bereitschaft, das mit acht Milliarden 6,1 Sekunden. Wer zwanzig kurze Aufträge hintereinander schickt, verliert bei der oberen Klasse allein durch das Laden mehr Zeit als durch das Rechnen.
Aus dem Tempo folgt nichts über die Qualität. Ein schnelles kleines Modell fasst kurze Texte solide zusammen und erfindet bei komplizierten Fragen mehr als ein größeres. Diese Einschätzung braucht eigene Versuche mit deinen Texten.
Wenn es nicht reicht
Bleibt das Ergebnis zu langsam, hast du drei Stellschrauben, und alle drei kosten nichts.
Nimm eine stärkere Quantisierung. Q4 ist der verbreitete Kompromiss. Für viele Aufgaben genügt auch eine kleinere Variante, die weniger Speicher belegt und schneller läuft.
Nimm ein kleineres Modell. Der Sprung von acht auf drei Milliarden Parameter hat auf dem Testgerät das Tempo verdreifacht. Für Zusammenfassungen und Umformulierungen reicht die kleinere Klasse häufig.
Teile die Aufgabe. Ein langer Text in Abschnitten kostet insgesamt ähnlich viel Rechenzeit, liefert aber früher erste Ergebnisse und lässt sich zwischendurch prüfen. Wie du dafür sinnvoll schneidest, steht in Aufgaben für KI-Agenten zuschneiden.
Die Rohwerte dieser Messreihe liegen mit Gerät, Quantisierung, Auftrag, Startwert und Ollama-Version in unserer Arbeitsdokumentation. Wer nachmessen will, kommt mit demselben Auftrag und derselben Ausgabelänge auf vergleichbare Zahlen.
Quandes Projects e. V.
Wenn du wissen willst, woran wir gerade arbeiten
Das Social Impact Camp ist ein offenes, kostenloses Format von Quandes Projects e. V. Auf der Camp-Seite steht, was montags passiert und wie ein Abend abläuft.
Das Camp ansehenHäufige Fragen
Häufige Fragen zu lokalen Modellen und Hardware
Brauche ich eine Grafikkarte für lokale KI?
Nein. Auf dem Testgerät ohne Grafikkarte liefen Modelle bis acht Milliarden Parameter. Die Grafikkarte beschleunigt die Ausgabe erheblich, entscheidet aber nicht darüber, ob ein Modell startet. Das tut der Arbeitsspeicher.
Wie viel Arbeitsspeicher sollte mein Rechner haben?
Für den Einstieg genügen acht Gigabyte, damit läuft die Klasse um drei Milliarden Parameter. Mit 16 Gigabyte kommst du bis etwa acht Milliarden, wenn nebenher wenig läuft. Rechne immer ein bis zwei Gigabyte Reserve für den Kontext ein.
Was bedeutet Q4 bei einem Modellnamen?
Es beschreibt, wie stark die Modellgewichte verkleinert wurden. Q4 heißt vier Bit je Gewicht statt der ursprünglichen 16, wodurch das Modell etwa ein Viertel des Speichers belegt. Die Ergebnisse werden dadurch etwas ungenauer, für Alltagsaufgaben meist unmerklich.
Warum ist mein Modell langsamer als in deiner Tabelle?
Meist liegt es am freien Arbeitsspeicher. Wenn das Modell nicht vollständig hineinpasst, lagert das System aus, und das Tempo bricht ein. Prüfe außerdem, ob dieselbe Quantisierungsstufe läuft und ob im Hintergrund andere Programme rechnen.
Weiterführend
Mit Agenten arbeiten
Aufgaben für KI-Agenten zuschneiden: drei Schnitte, die den Auftrag klären
Ein KI-Agent scheitert selten am Prompt, sondern am Zuschnitt der Aufgabe. Drei Schnitte, die aus einem unscharfen Auftrag ein prüfbares Ergebnis machen.
KI verstehen und weitergeben
KI-Kompetenz im Team aufbauen: die erste Stunde, die einen Handgriff mitgibt
Wie du KI-Kompetenz an Freiwillige weitergibst, ohne Budget und ohne Vorwissen — mit einer Einheit, die in einer Stunde funktioniert.