LLM auf ESP32-S3 — andblack Check

← andblack Check · Übersicht

Kurzbefund — deine Frage „Ist das Quatsch?“: Nein, es ist echt und gut dokumentiert. Ein Entwickler (slvDev) hat ein 28,9M-Parameter-Sprachmodell (TinyStories) komplett offline auf einem ESP32-S3 laufen lassen — ~9,5–9,9 Tokens/s, kein Cloud, kein GPU. Verifiziert via GitHub (slvDev/esp32-ai), HuggingFace, CNX-Software und Hackster. Aber: Es ist ein Engineering-Beweis, kein nützlicher Assistent — das Modell schreibt nur kurze, simple Kindergeschichten, beantwortet keine Fragen und halluziniert stark.

1 · Worum geht es?

Ein Mikrocontroller ESP32-S3 (Kosten ca. 8 USD, 512 KB SRAM, 8 MB PSRAM, 16 MB Flash) generiert Texte mit einem 28,9M-Parameter-Sprachmodell. Alles läuft auf dem Chip, nichts wird an einen Server gesendet; der Text erscheint auf einem kleinen angeschlossenen Display.

Parametergröße: 28,9M gespeichert, davon 25M als Flash-Lookup-Tabelle (Per-Layer-Embeddings)
Modellgröße: 14,9 MB in 4-Bit-Quantisierung
Geschwindigkeit: 9,88 tok/s end-to-end, 94,9 ms/token Compute
Kontext: keiner (keine Netzwerkverbindung, alles on-device)
Trainingsdaten: TinyStories (Microsoft Research) — kurze, synthetische Kindergeschichten

2 · Wie passt das in den Chip? (der Trick)

Normalerweise liegen die Parameter eines Modells im schnellen RAM. Bei 28,9M Parametern passt das nicht in 512 KB SRAM. Der Kniff (Per-Layer-Embeddings, Idee aus Googles Gemma 3n): Der Großteil des Modells ist eine Embedding-Tabelle mit ~25M Zeilen, die aus dem langsamen Flash gelesen wird. Pro Token braucht das Modell nur ~450 Byte — nur die wenigen benötigten Zeilen werden in den schnellen SRAM geladen und dort verarbeitet. So überlebt ein großes Modell auf einem winzigen Chip.

Einordnung: Nur 556K der 28,9M Parameter sind der eigentliche dichte Transformer-Kern; der Rest ist die Embedding-Tabelle. Das ist der Grund, warum es überhaupt hineinpasst.

3 · Was kann es — und was nicht?

Kann	Kann NICHT
Kurze, simple, meist kohärente Geschichten schreiben	Fragen beantworten
Als Architektur-Demo / Lernprojekt dienen	Anweisungen befolgen
Edge-KI-Grundlage für IoT/Roboter/Sensoren zeigen	Code schreiben oder Fakten kennen
Lokal, privat, ohne Cloud laufen	Mit ChatGPT/GPT verglichen werden

Ehrliche Community-Realität: Kommentare bestätigen die Grenze — „The tiny stories model hallucinates so bad that it might as well output a hardcoded result“ (ridhantadeka) und „25M is a nothingburger“ (jewsdni). Die Leistung ist eine Architektur-Demo, keine Produkt-Qualität.

4 · Verifikation (nicht nur die IG-Behauptung)

GitHub slvDev/esp32-ai: vollständige Doku + Demo-GIF, erwachsen aus Karpathys llama2.c + Googles Per-Layer-Embeddings
HuggingFace slvDev/esp32-ai-tinystories: Modellkarten mit exakten Zahlen (Compute 94,9 ms/tok, 9,88 tok/s)
CNX-Software (03.08.2026): unabhängiger Tech-Bericht, bestätigt die Werte
Hackster.io: „Running a 28.9M Parameter LLM on an $8 Microcontroller“ — Kontext: vorheriger ESP32-LLM (Dave Bennett) hatte nur 260K Parameter, hier ~100× mehr

5 · Bewertung & Nutzen für andblack

Kriterium	Bewertung	Begründung
Ist es echt?	JA	Mehrfach unabhängig verifiziert (GitHub/HF/CNX/Hackster).
Ist es „KI auf dem Chip“ wie ChatGPT?	NEIN	Nur kurze Geschichten, starke Halluzination, keine Fähigkeiten.
Technisch lehrreich?	SEHR	Per-Layer-Embeddings, Flash-Mapping, 4-Bit-Quantisierung, Edge-Inference — ausgezeichnetes Lernbeispiel.
Relevanz für uns?	MITTEL	Als Lern-Content (Edge-KI, Modellkompression) relevant; als einsatzfähiges Produkt nein. Unsere lokale KI-Box/Mac sind um Größenordnungen leistungsfähiger.

Fazit: Kein Quatsch, aber keine Sensation im Nutzwert. Es ist ein beeindruckender Engineering-/Lern-Beweis dafür, wie Memory-Techniken (Flash-Embeddings) große Modelle auf winzige Chips bringen — eine wichtige Richtung für Edge-KI in IoT/Embedded. Für echte KI-Aufgaben bleibt es irrelevant; als Lernfall für Modellkompression und Edge-Inference ist es Gold wert. Einordnung: Kategorie ki-grundlagen (Edge-KI/Embedded).