Llama-Mobile · Quantisierung
Llama-Mobile: 11B Vision-Language-Modelle mit 2,7-Bit auf dem Smartphone
Graphcore und Arm präsentieren Llama-Mobile: Ein revolutionäres Framework, das das Llama 3.2 11B VLM auf unter 4 GB komprimiert – direkt lauffähig auf Smartphone-CPUs dank neuem S3D8-Format und synthetischem QAT.
Llama-Mobile: 11B Vision-Language-Modelle mit 2,7-Bit auf dem Smartphone
Vision-Language-Modelle (VLMs) wie Llama 3.2 Vision bieten beeindruckende Fähigkeiten: Sie können Bilder analysieren, Diagramme auswerten, Text in Dokumenten lesen und komplexe Fragen zu visuellen Inhalten beantworten. Doch die Ausführung dieser gigantischen Modelle auf mobilen Endgeräten scheiterte bisher an zwei massiven Hürden: dem enormen Speicherbedarf (ein 11B-Modell benötigt in FP16 über 22 GB RAM) und der begrenzten Rechenleistung mobiler Prozessoren.
Forscher von Graphcore Research und Arm haben nun mit Llama-Mobile einen Durchbruch erzielt. Sie zeigen, wie sich das Llama 3.2 11B Vision Instruct-Modell auf gerade einmal 3,7 GB komprimieren lässt und dabei seine herausragende Leistung auf Standard-Smartphone-Prozessoren beibehält.
Die Kerninnovationen von Llama-Mobile
Um VLMs ohne signifikanten Qualitätsverlust auf Smartphones lauffähig zu machen, kombiniert das Forscherteam zwei innovative Ansätze: ein neuartiges Datenformat für die Hardware-Co-Design-Ebene und eine clevere Trainingsmethode, die ohne die originalen (und meist proprietären) Trainingsdaten auskommt.
1. Das S3D8-Format: 2,7 Bits pro Parameter
Klassische Quantisierungsmethoden (wie INT4 oder INT3) runden Gewichte starr auf ganzzahlige Werte ab. Bei einer Kompression auf unter 3 Bits bricht die Genauigkeit von KI-Modellen jedoch meist dramatisch ein.
Das neu eingeführte S3D8-Format (Signed 3D 8-bit) geht einen anderen Weg:
- Effizientes Packing: Es packt drei Gewichte in ein einziges Byte (8 Bits).
- Shared Centroids: Die 8 Bits teilen sich auf in einen gemeinsamen 5-Bit-Centroid-Index (für eine 32-elementige Lookup-Tabelle der Absolutwerte) und 3 einzelne Vorzeichen-Bits (ein Bit pro Gewicht).
- Hardware-Optimierung: S3D8 wurde speziell für Arm-CPUs entwickelt. Die Dequantisierung zu INT8 erfolgt direkt im Prozessor-Register mit nur 5 logischen Operationen und extrem kleinen Lookup-Tabellen. Dadurch wird der Flaschenhals beim Speicherzugriff drastisch reduziert.
Abbildung 2: Links: Der S3D8-Kodierungs-Workflow, der bfloat16-Daten zu S3D8 komprimiert. Rechts: Die 32 trainierten Centroids (blau) spiegeln sich durch die 3 Vorzeichen-Bits in alle Quadranten wider.
2. Synthetisches Quantization-Aware Training (QAT)
Eine so aggressive Kompression auf unter 3 Bits zerstört bei direktem Mapping (Direct Casting) die Modellintelligenz fast vollständig. Abhilfe schafft normalerweise Quantization-Aware Training (QAT), bei dem das Modell während des Trainings lernt, mit den Rundungsfehlern umzugehen.
Das Problem: QAT erfordert in der Regel Zugriff auf das originale, gigantische Trainings-Setup und die dazugehörigen Datensätze – beides ist für die Öffentlichkeit und Drittentwickler meist unzugänglich.
Llama-Mobile löst dieses Problem durch eine selbstgenerierte Datensynthese:
- Das unquantisierte VLM (bfloat16) erhält allgemeine Bilder und stellt sich selbst Bildverständnis-Fragen.
- Das Modell generiert eigene Antworten in hoher Qualität.
- Diese synthetischen Bild-Frage-Antwort-Paare dienen als Trainingsdaten für das QAT.
- Das quantisierte Modell lernt so, die Ausgaben seines "großen Bruders" exakt zu imitieren, ohne jemals die echten Trainingsdaten gesehen zu haben.
Beeindruckende Benchmark-Ergebnisse
Das Team evaluierte Llama-Mobile auf Standard-VQA-Benchmarks (Visual Question Answering) wie DocVQA, ChartQA und InfoVQA.
Dabei zeigte sich, dass S3D8 dank des synthetischen QAT herkömmliche Post-Training-Quantisierungsmethoden (PTQ) wie GPTQ bei niedrigen Bitbreiten weit hinter sich lässt:
- 22% zusätzliche Kompression: Bei gleicher Task-Performance komprimiert S3D8 das Modell um fast ein Viertel stärker als Standard-INT-Formate.
- Unter 4 GB: Das Llama 3.2 11B-Modell schrumpft von 21,3 GB (bfloat16) auf 3,7 GB und passt damit problemlos in den Arbeitsspeicher moderner Smartphones.
- Geringer Qualitätsverlust: Die Genauigkeit bleibt im Vergleich zum unkomprimierten Modell nahezu vollständig erhalten, während das Modell auf herkömmlichen Arm-CPUs flüssig ausgeführt werden kann.
Abbildung 1: Trade-off zwischen Task-Performance und Modellgröße. S3D8 mit QAT (rote Raute) übertrifft alle anderen Quantisierungsverfahren bei aggressivem Kompressions-Niveau deutlich.
Edge AI wird Realität
Mit Llama-Mobile zeigen Graphcore und Arm, dass die Ära von leistungsstarken, vollständig lokal laufenden multimodalen Assistenten auf dem Smartphone greifbar nah ist. Indem sie Hardware-Co-Design (S3D8) mit innovativen Software-Trainingsmethoden (synthetisches QAT) verknüpfen, ebnen sie den Weg für datenschutzfreundliche, latenzfreie und vom Internet unabhängige KI-Anwendungen direkt in unserer Hosentasche.
Die Entwickler haben die vollständige Implementierung und Inferenz-Kernels für Linux- und Android-Systeme als Open Source bereitgestellt: graphcore-research/llama-mobile-vlm.
Quelle: Ribar et al. (2026): "Llama-Mobile: Efficient 2.7-Bit Quantization of VLMs", Graphcore Research & Arm. arXiv:2608.21134v1