Llama 4 70B op één RTX 6000 Pro

Meta's Llama 4 Scout telt 109 miljard parameters maar heeft er slechts 17 miljard actief per token dankzij een mixture-of-experts-architectuur. Dat maakt het model verrassend bescheiden qua geheugengebruik — en opent de deur voor iets dat een jaar geleden ondenkbaar was: een volwaardige frontier-class LLM op één enkele workstation-GPU, stil genoeg om naast je monitor te zetten.

Wat die 96 GB oplevert

De NVIDIA RTX PRO 6000 Blackwell — de Max-Q Workstation Edition specifiek — brengt 96 GB GDDR7 ECC-geheugen mee op een enkel dual-slot kaartje. Ter vergelijking: de vorige generatie RTX 6000 Ada stopte bij 48 GB GDDR6. Die verdubbeling is het verschil tussen een model dat niet past en een model dat met ruimte over past.

Llama 4 Scout Q4_K_M weegt 60,86 GiB in kwantisatie — een getal dat op de Ada-kaart al knap is met twee exemplaren, maar op de Blackwell op één GPU volledig in VRAM verdwijnt. Wat overblijft zijn 35 GB speling voor KV-cache, wat betekent dat je een contextvenster van meerdere honderdduizenden tokens kunt openhouden zonder dat het model ook maar één laag naar CPU-RAM offloadt. En offloaden naar RAM is precies wat je wilt vermijden: de sprong van hybride CPU/GPU-inferentie naar volledig-in-VRAM is geen kleine optimalisatie, maar het verschil tussen 5–8 tokens per seconde en 55+ tokens per seconde.

Die 96 GB is ook toekomstbestendig. Llama 4 Maverick — het grotere broertje met 400 miljard parameters en 128 experts — past in FP8-kwantisatie op een enkel H100 DGX-host. Op de RTX PRO 6000 Blackwell kom je met Q4-kwantisatie net tekort, maar Scout met zijn 10 miljoen token contextvenster is voor het overgrote deel van zakelijke workloads de relevantere keuze.

Performance onder load

De referentiemeting komt van Fixstars Corporation, die in april 2025 Llama 4 Scout Q4_K_M benchmarkten op twee RTX 6000 Ada-kaarten via llama.cpp. Met volledige GPU-offloading (--n-gpu-layers 49) haalde één Ada-kaart 56 tokens per seconde; vLLM bereikte op dezelfde setup circa 70 tok/s. Dat zijn metingen op een 48 GB-kaart waarop het model net past — op de Blackwell met 96 GB en 1.792 GB/s geheugenbandbreedte (versus 960 GB/s op de Ada) zijn hogere cijfers realistisch.

Ter context: 56 tok/s is sneller dan een doorsnee lezer Engels tekst kan verwerken. Voor een kantoorassistent die e-mails samenvat, documenten doorzoekt of code suggereert, is dat ruim voldoende voor enkelvoudig gebruik. Bij meerdere gelijktijdige gebruikers — een team van vijf op dezelfde machine via een gedeelde vLLM-instantie — daal je richting 10–15 tok/s per gebruiker, wat nog steeds vlot aanvoelt in een chat-interface.

Belangrijk detail dat vaak over het hoofd wordt gezien: Llama 4 Scout is een natively multimodale MoE. Per token zijn slechts 17 van de 109 miljard parameters actief. Dat betekent niet alleen minder VRAM-nodig, maar ook minder rekenkracht per token dan een dense 70B-model. De effectieve rekendruk lijkt meer op een 17B-model dan op een 109B — wat de throughput-cijfers verklaart die anders verrassend hoog zouden lijken voor zo'n parametercount.

"De effectieve rekendruk van Llama 4 Scout lijkt meer op een 17B-model dan op een 109B — dankzij de MoE-architectuur zijn slechts 17 miljard parameters actief per token."

Bandbreedte is de bottleneck

Bij LLM-inferentie is geheugenbandbreedte doorgaans de bepalende factor — niet rekenkracht. Elke token die gegenereerd wordt, vereist dat alle modelgewichten één keer worden uitgelezen uit VRAM. Met 60,86 GiB aan gewichten en een bandbreedte van 1.792 GB/s op de Blackwell duurt dat uitsluitend theoretisch 34 milliseconden per token — wat correspondeert met een plafond van circa 29 tok/s op bandbreedte alleen. In de praktijk haalt llama.cpp hogere waarden doordat Q4-kwantisatie effectief 4× minder data leest dan FP16.

De vergelijking met de Ada-generatie is hier veelzeggend. De RTX 6000 Ada haalt 960 GB/s op 48 GB GDDR6. De Blackwell Max-Q bijna verdubbelt dat naar 1.792 GB/s op 96 GB GDDR7. Meer VRAM én hogere bandbreedte tegelijk — dat is zeldzaam in één kaartgeneratie. Voor LLM-workloads is dit de meest directe vertaling naar betere performance: meer gewichten per seconde doorgepompt betekent meer tokens per seconde gegenereerd.

Wie naar een A100 80GB kijkt als alternatief: de A100 haalt 2.000 GB/s op HBM2e, maar vraagt een apart server-chassis, zes PCIe-slots en een voeding die kantoorpanden doorgaans niet hebben. De RTX PRO 6000 Blackwell Max-Q past in elke standaard ATX-tower met een 650W voeding en trekt maximaal 300 W — precies het plafond van de doorsneevoeding op een hedendaags werkstation.

Stille kantoor-werkplek

De Max-Q Workstation Edition verschilt op één cruciaal punt van de gewone Workstation Edition: de TDP. Waar de standaardkaart 600 W verbruikt en een agressief koelsysteem vereist, is de Max-Q begrensd op 300 W. Dat is hetzelfde verbruik als de vorige generatie Ada-kaart, maar met 96 GB VRAM en Blackwell-architectuur. De prestatieprijs? Puget Systems mat 5–14% lagere resultaten op content-creatie-workloads — verwaarloosbaar voor inferentietaken waarbij de kaart toch nooit op zijn thermisch plafond zit.

De blower-koeler op de Max-Q blaast warme lucht naar buiten via de achterkant van het chassis. Dat heeft een dubbel voordeel: het voorkomt dat warmte circuleert binnen de behuizing, en het maakt de GPU aanzienlijk stiller bij lagere belasting dan een open-fan-design dat warme lucht in de behuizing blaast. Tijdens inferentie op lage toonhoogte — gesprekken, samenvatten, codebeoordeling — blijft de GPU ver onder maximale kloksnelheid en koelcapaciteit. In een kantooromgeving van 40–45 dB achtergrondgeluid zul je de workstation nauwelijks horen.

Dat is een bewuste keuze van NVIDIA: de Max-Q-variant is expliciet bedoeld voor werkplekken waar geluid telt. Een server-edition van dezelfde kaart — ook beschikbaar — is stiller op papier maar vereist een 1U/2U rack-chassis. De workstation-variant past in elke Miditower of Full Tower met een standaard 650–750 W Bronze/Gold-voeding. PSU-advies: reken 300 W voor de GPU, 125 W voor een moderne Zen 4 of Raptor Lake workstation-CPU, plus buffer — een 650 W Platinum-voeding volstaat ruimschoots en houdt het energieverbruik efficiënt.

FAQ

Kan Llama 4 Scout ook op de RTX 6000 Ada (48 GB)?

Ja, maar het is krap. Het Q4_K_M-model weegt 60,86 GiB — dat past niet op 48 GB. Je moet terugvallen op een agressievere kwantisatie zoals Q2_K (~30 GiB) of een deel naar CPU-RAM offloaden. Dat laatste kost snelheid: van 56 tok/s naar typisch 10–20 tok/s afhankelijk van de split. Voor kleine contextvensters is Q2_K acceptabel; voor langere documenten merk je kwaliteitsverlies.

Welk inferentie-framework werkt het best?

Voor enkelvoudig gebruik is llama.cpp via Ollama de eenvoudigste ingang en haalt 56+ tok/s. Voor meerdere gelijktijdige gebruikers of productie-serving kies je vLLM, dat met tensor-parallellisme en continuous batching aanzienlijk hogere totale throughput haalt — gemeten circa 70 tok/s per verzoek bij lage concurrency, beter schaalbaar bij hogere belasting.

Past de kaart in een gewone workstation-PSU?

Ja. De Max-Q-variant vraagt maximaal 300 W. Combineer dat met een moderne workstation-CPU (125 W TDP) en overige componenten, dan kom je op circa 500–550 W systeemverbruik onder volledige load. Een 650 W 80Plus Gold-voeding volstaat; een 750 W geeft comfortabele marge.

Hoe verhoudt dit zich tot een cloudoplossing?

Bij intensief gebruik van 8 uur per dag kost een dedicated GPU-instantie bij grote cloudproviders al snel €500–900 per maand. Een RTX PRO 6000 Blackwell kost eenmalig rond de €8.000–10.000 — terugverdiend in 12–18 maanden bij dagelijks gebruik, inclusief privacy-voordeel: alle data blijft op je eigen hardware.

Ondersteunt Llama 4 Scout ook beeldverwerking?

Ja — Scout is natively multimodaal en accepteert afbeeldingen als invoer. Dat werkt volledig in dezelfde inferentie-sessie, zonder aparte vision-encoder. De 10 miljoen token contextlengte geldt voor tekst; voor multimodale sessies met veel afbeeldingen is de effectieve contextlengte kleiner afhankelijk van afbeeldingsresolutie en het gebruikte framework.