TurboFieldfare: Gemma 4 26B-A4B auf einem 8-GB-MacBook
Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook
Auf einen Blick
- Was ist das?
- Ein modellspezifischer Swift-und-Metal-Runtime, der die Expertengewichte eines 26B-A4B-Modells von der SSD streamt statt sie zu laden. Interessant für Besitzer knapper Apple-Hardware, nicht für alle anderen.
- Für wen ist es gedacht?
- Wer einen 8-GB-Mac besitzt und Gemma 4 26B-A4B lokal betreiben will, findet hier den einzigen im Material dokumentierten Weg dorthin. Wer 24 GB oder mehr hat, sollte zuerst pruefen, ob nicht eine Standardruntime mit vollem Gewichtsspeicher schneller ist, denn die gemessenen 31 bis 35 tok/s auf einem M5 Pro mit 24 GB zeigen, dass die Streaming-Architektur dort nicht mehr der Engpass sein muss.
- Darf ich es kommerziell nutzen?
- Ja. Apache-2.0 ist eine freizügige Lizenz: Sie dürfen darauf aufbauende Software nutzen, verändern und verkaufen, solange Sie die Urheberrechts- und Lizenzhinweise beibehalten.
- Wird es noch gepflegt?
- Ja. Die letzten Commits kamen vor 8 Tagen.
- In welcher Sprache ist es geschrieben?
- Hauptsächlich Swift, laut der Sprachstatistik von GitHub.
Die Antworten beruhen auf den GitHub-Daten des Projekts (zuletzt abgeglichen am 15. September 2026) und auf unserer Analyse. Sie sind keine Rechtsberatung.
TIEFGEHENDE OPEN-SOURCE-ANALYSE
Warum 14,3 GB Gewichte nicht in 8 GB RAM passen
Das Modell hat 26 Milliarden Parameter, aktiviert pro Token aber nur etwa 3,88 Milliarden. Genau diese Luecke nutzt das Projekt aus. Nach Angaben des README bleiben der geteilte Kern mit 1,35 GB und der FP16-KV-Cache im Speicher, waehrend nur die fuer den jeweiligen Token benoetigten Experten von der SSD nachgeladen werden. Die Speicherzusage liegt bei rund 2 GB fuer Gewichte plus 4K-KV-Cache. Zielgruppe sind ausdruecklich Besitzer von Macs mit 8 GB RAM, also Geraete, auf denen ein vollstaendig geladenes Modell dieser Groesse nicht laeuft. Das ist keine Beschleunigungsbibliothek und kein Wrapper um MLX oder llama.cpp, sondern ein auf ein einziges Modell zugeschnittener Runtime. Wer ein anderes Modell fahren will, ist hier falsch.
Expertenstreaming statt Vollauslastung des Unified Memory
Die Quantisierung ist im README konkret benannt: MLX affine 4-bit mit Gruppe 64, ein 8-bit-Router sowie 4-bit shared und routed experts. Der Router entscheidet pro Token, welche Experten aktiv werden, und nur diese werden aus dem .gturbo-Verzeichnis auf der SSD geholt. Der Rest des Modells bleibt resident. Daraus folgt ein Datenfluss, der staerker von der Speicherbandbreite und der Page-Cache-Situation abhaengt als von der reinen Rechenleistung der GPU. Das README sagt das indirekt selbst: Prompt-Laenge, generierte Laenge, Page-Cache-Zustand und Hardware beeinflussen den Durchsatz. Fuer die Praxis heisst das, dass zwei Laeufe auf derselben Maschine unterschiedlich schnell sein koennen, je nachdem, ob die zuletzt benoetigten Experten noch im Dateisystem-Cache liegen.
Sechs Produkte, ein Modellverzeichnis
Das Swift-Paket liefert sechs Produkte: die Bibliothek TurboFieldfare mit Runtime und Metal-Kernels, die Mac-App TurboFieldfareMac, den Decode-Service TurboFieldfareDecodeService, das CLI TurboFieldfareCLI, den Loopback-Server TurboFieldfareServer und das Installationswerkzeug TurboFieldfareRepack. App, CLI und Server teilen sich dasselbe .gturbo-Verzeichnis, und laut README darf immer nur ein modellbesitzender Prozess gleichzeitig laufen. Diese Einschraenkung ist keine Fussnote. Wer den OpenAI-kompatiblen Server neben der App startet, verletzt sie. Der Server ist ausdruecklich als experimentell bezeichnet und lauscht nur auf dem Loopback-Interface. Er nimmt Funktions-Tool-Deklarationen entgegen und gibt vom Modell erzeugte Tool-Aufrufe zurueck, die der Client autorisieren und ausfuehren muss. Die App und das CLI fuehren keine Tools aus. Audio und Video werden nicht unterstuetzt.
Erster Start: Klonen, bauen, 15 GB repacken
Die Kurzanleitung im README ist vollstaendig: git clone https://github.com/drumih/turbo-fieldfare.git, dann cd turbo-fieldfare, dann swift build -c release, schliesslich .build/release/TurboFieldfareMac. Beim ersten Build laedt Swift Package Manager die Tokenizer-Abhaengigkeiten. Der vollstaendige Release-Build ist noetig, damit die App und der zugehoerige Decode-Service beide vorhanden sind. In der App folgen Download (rund 15 GB fuer das gepackte Modell), danach Load Model, Prompt eingeben, Generate. Voraussetzungen laut README: Apple Silicon, macOS 26 mit Metal 4, Xcode 26 und Swift 6.2 oder neuer, freier Speicher fuer die etwa 14,3 GB Installation, Internetzugang fuer die Erstinstallation. Das Paket ist arm64-only. Aeltere macOS- und Metal-Versionen werden nicht unterstuetzt. Fuer Bilder kommt ein separater Vision-Tower als Companion-Pack dazu, rund 1,1 GB, und er verlangt einen M2 oder neuer. Auf einem M1 bleibt nur Text.
5,1 bis 6,3 tok/s sind der Preis fuer 8 GB
Die im README verlinkten Benchmarks nennen 5,1 bis 6,3 tok/s Decode auf einem 8-GB-M2-MacBook-Air und 31 bis 35 tok/s auf einem 24-GB-M5-Pro. Das sind gemessene Referenzpunkte aus der Projektdokumentation, keine Obergrenze, und die Spanne zwischen beiden Geraeten ist der eigentliche Befund. Auf dem 8-GB-Geraet ist der Durchsatz niedrig genug, dass interaktives Chatten muehsam wird. Wer laengere Texte generieren will, sollte das vor dem 15-GB-Download einkalkulieren. Ein zweiter Vorbehalt steht ebenfalls im README: Das Modell kann sich wiederholen oder falsche Antworten geben, wichtige Ergebnisse seien zu pruefen. Die Standardwerte sind Temperatur 0,2, Top-K 64 und Top-P 0,95; Temperatur 0 erzwingt deterministisches Greedy-Decoding. Ein dritter Punkt, den das Material offenlaesst: Es gibt keine Angabe dazu, wie sich konkurrierende SSD-Zugriffe anderer Prozesse auf die Latenz auswirken. Wer auf derselben Maschine parallel grosse Dateien schreibt, testet diese Grenze selbst.
Wann llama.cpp oder MLX die bessere Wahl bleibt
Der Unterschied liegt nicht in der Geschwindigkeit, sondern im Zuschnitt. llama.cpp und MLX sind modellagnostisch: Sie laden Gewichte in den Unified Memory und funktionieren mit einer breiten Modellpalette. TurboFieldfare tut das Gegenteil. Es ist auf Gemma 4 26B-A4B festgelegt, kennt dessen Router-Struktur und baut darauf die Streaming-Entscheidung auf. Der Gewinn ist der Speicherbedarf, der Preis ist die Bindung an ein Modell und an ein Installationsformat. Auf einem Mac mit 24 GB oder mehr RAM ist der Speichervorteil irrelevant, und eine Runtime, die alles resident haelt, vermeidet die SSD-Zugriffe pro Token. Die 31 bis 35 tok/s auf dem M5 Pro deuten darauf hin, dass die Architektur auch auf grossen Maschinen skaliert, aber das Material belegt keinen direkten Vergleich gegen eine Vollspeicher-Runtime auf identischer Hardware. Wer diesen Vergleich braucht, muss ihn selbst fahren.
Pflegeaufwand, Lizenz und was das Material offenlaesst
Die Lizenz ist Apache-2.0, was kommerzielle Nutzung und Modifikation erlaubt, solange Lizenz- und Urheberrechtshinweise erhalten bleiben. Das ist eine Einordnung, keine Rechtsberatung. Zur Wartung: Die letzten drei Releases 0.8.0, 0.7.2 und 0.7.1 liegen laut Repository-Angaben zwischen dem 28. August und dem 8. September 2026, also in einem Fenster von knapp zwei Wochen. Das deutet auf aktive Entwicklung hin, aber die Abstaende sagen nichts ueber die Stabilitaet der Schnittstellen. Das README dokumentiert ein Experimentverzeichnis mit 103 gemessenen Ergebnissen zu Kernels, Caching, I/O, Prefill und Decode, ohne diese Zahlen im Auszug wiederzugeben. Wer die tatsaechlichen Messwerte braucht, muss docs/BENCHMARKS.md und docs/COMMUNITY_BENCHMARKS.md selbst oeffnen. Der Modell-Download von rund 15 GB ist ein einmaliger, aber erheblicher Aufwand, und die Bindung an macOS 26 mit Metal 4 schliesst aeltere Geraete aus. Ein Upgrade-Pfad fuer das .gturbo-Format wird im vorliegenden Material nicht beschrieben.
Redaktionelles Fazit
Wer einen 8-GB-Mac besitzt und Gemma 4 26B-A4B lokal betreiben will, findet hier den einzigen im Material dokumentierten Weg dorthin. Wer 24 GB oder mehr hat, sollte zuerst pruefen, ob nicht eine Standardruntime mit vollem Gewichtsspeicher schneller ist, denn die gemessenen 31 bis 35 tok/s auf einem M5 Pro mit 24 GB zeigen, dass die Streaming-Architektur dort nicht mehr der Engpass sein muss. Vor dem ersten Klonen: macOS-26- und Metal-4-Voraussetzung, 14,3 GB freier Speicher und die arm64-Beschraenkung des Pakets pruefen.
Community-Notizen