Je hebt een model gedownload. LM Studio start op. En dan: "Not enough VRAM." Of erger nog, het laadt wél — maar ploegt op 2 tokens per seconde door je prompt terwijl de helft via de CPU gaat. Dat is geen gebruikservaring, dat is straf.

Dit artikel geeft je één overzicht: welk VRAM-budget je nodig hebt per modelklasse, wat quantisatie doet met die getallen, en welke concrete kaarten vandaag zinvol zijn. Geen marketingpraat, geen aannames over wat je "misschien wel kunt gebruiken". Harde getallen.

De formule: gewicht + KV-cache + overhead

De VRAM-behoefte van een LLM bestaat uit drie componenten die je apart moet berekenen voordat je ze optelt.

Modelgewichten zijn het grootst en het makkelijkst te schatten. Een vuistregel: neem het aantal parameters in miljarden en vermenigvuldig met het aantal bytes per gewicht. FP16 (half precision) gebruikt 2 bytes per parameter — een 7B model weegt dus 7 × 2 = 14 GB. Q4_K_M gebruikt gemiddeld 0,55 bytes per parameter, wat op een 7B model neerkomt op iets onder 4 GB aan pure weights.

KV-cache is het geheugen dat gebruikt wordt om context bij te houden tijdens generatie. Bij een context van 4K tokens en FP16 voegt dit voor een 7B model zo'n 0,5–1 GB toe. Bij 32K context loopt dat op naar 4–6 GB extra — voor een 70B model kan een lange context de KV-cache even groot maken als de modelgewichten zelf.

Runtime overhead — CUDA-allocaties, activaties, aandachtslagen tijdens forward pass — rekent je best op 10–15% extra boven de som van de twee vorige posten.

Praktisch: VRAM_nodig = (params_GB × bytes_per_param) × 1,15 + KV_cache. Alles eronder en je begint te offloaden naar de CPU, wat de snelheid decimale breuk per seconde maakt.

"Bandbreedte wint van klokcycles. Een RTX 4090 met 1.008 GB/s genereert tokens twee keer sneller dan een 4060 Ti met 288 GB/s — bij exact hetzelfde model."

Quantisatie: wat Q4_K_M, Q5_K_M en Q8 concreet doen

GGUF-kwantisatie comprimeert modelgewichten van 16-bit floats naar lagere precisie. Het getal in de naam geeft het aantal bits per gewicht: Q4_K_M kwantiseert de meeste lagen naar 4 bits maar behoudt aandachtslagen op hogere precisie — een goed compromis voor chat en samenvatten. Q8_0 is nagenoeg verliesvrij maar vraagt dubbel zoveel VRAM. Voor code en redeneren is Q5_K_M een betere middenweg: 10–15% meer VRAM dan Q4_K_M, merkbaar minder kwaliteitsverlies.

Klasse 8–12 GB: 7B comfortabel, meer niet

Kaarten in deze klasse — RTX 3060 12 GB, RTX 4060 8 GB, RTX 4070 12 GB — zijn de instapdrempel voor serieuze lokale inferentie. Een 7B Q4_K_M laadt met 5–6 GB gewicht plus overhead ruim in 12 GB. Bij een standaard 4K context houd je 4–5 GB over voor KV-cache, wat meer dan genoeg is voor normale gesprekken.

De RTX 4060 met 8 GB is de absolute bodemgrens: een 7B Q4_K_M past er nét in, maar zodra je de context verhoogt naar 8K of meer, gaat een deel via de CPU. De RTX 3060 12 GB geeft meer ademruimte bij dezelfde prijs op de tweedehands markt.

Wat je niet doet met 8–12 GB: 13B of groter laden zonder gedeeltelijke CPU-offload. Dat geeft werkbare maar trage resultaten (5–15 t/s in plaats van 50–100 t/s). Bandbreedte is ook hier de bottleneck: de RTX 4070 met 504 GB/s genereert tokens dubbel zo snel als een 4060 met 272 GB/s bij identiek model.

Klasse 16–24 GB: 13B tot 32B, de echte sweet spot

Dit is de meest interessante klasse voor de serieuze hobbyist of kleine productie-omgeving. Twee kaarten domineren het debat: de RTX 4060 Ti 16 GB en de RTX 3090 24 GB.

De RTX 4060 Ti 16 GB kost nieuw rond de €450–500. Met 288 GB/s bandbreedte is hij trager dan een 3090, maar 16 GB VRAM is voldoende voor een 13B Q5_K_M (≈12 GB) of een 13B Q8 (≈16 GB, kraak op). Tokenssnelheid ligt op zo'n 60–80 t/s voor 13B Q4 — comfortabel voor interactief gebruik. Een 32B model past er niet in zonder CPU-offload.

De RTX 3090 24 GB haal je tweedehands voor €600–800. De 936 GB/s bandbreedte is ruwweg 3× zo hoog als de 4060 Ti — wat zich direct vertaalt naar snellere tokengeneratie. Cruciaaal: 24 GB opent de deur naar 32B modellen op Q4_K_M (≈22 GB), en die sprong in modelkwaliteit is significant. Redeneren, code schrijven, instructies opvolgen — een Qwen3 32B of Llama 3 33B pakt dat merkbaar beter aan dan de beste 13B.

De RTX 5080 16 GB heeft met GDDR7 een bandbreedte van 960 GB/s — vergelijkbaar met de 3090 en ruim boven de 4060 Ti. Maar de 16 GB zet een harde grens: voor 32B ben je aangewezen op Q3 of zware CPU-offload. Tenzij je ook aan andere taken besteedt (rendering, gaming), is een gebruikte 3090 VRAM-efficiënter.

De AMD RX 7900 XTX met 24 GB GDDR6 haalt ~80% van een RTX 4090 voor LLM-inferentie en kost tweedehands minder dan een 3090. Voorbehoud: ROCm is minder rijp dan CUDA. llama.cpp via Vulkan werkt uitstekend; PyTorch en vLLM vragen soms extra setup.

Klasse 48 GB+: 70B zonder tranen

Een 70B model op Q4_K_M vraagt 42–46 GB VRAM puur voor de gewichten, plus KV-cache en overhead. Dat betekent dat je aan één consumentenkaart niet genoeg hebt — tenzij je de juiste hardware koopt of combineert.

Twee RTX 3090's (2× 24 GB = 48 GB) is de klassieke goedkope optie. llama.cpp en Ollama ondersteunen NVLink niet voor inferentie, maar tensor parallelism via meerdere CUDA-apparaten werkt. De bandbreedte halveer je niet: beide kaarten dragen hun deel van de modellagen. Op 48 GB past een 70B Q4_K_M net (≈46 GB totaal met overhead). Twee 3090's tweedehands kost €1.200–1.600 — vergelijkbaar met één RTX 4090.

De RTX 4090 met 24 GB is te klein voor een volledig 70B model op Q4 (dat vraagt ≈46 GB). Je kunt met agressieve kwantisatie (Q3_K_S, ≈30 GB) net proppen, maar dat gaat ten koste van kwaliteit. De 4090 is wél de snelste single-GPU keuze voor alles tot 32B — 1.008 GB/s bandbreedte, 120–135 t/s op 8B Q4.

De verrassing is de AMD Ryzen AI Max+ 395 — een laptop- en mini-PC chip met tot 128 GB LPDDR5X als unified memory, waarvan 112 GB alloceerbaar door de iGPU. Een 70B Q4_K_M past er comfortabel in. De bandbreedte (204 GB/s) haalt geen discrete GPU, maar een 70B model draaien op een mini-PC van €1.200–1.800 is een andere categorie dan een multi-GPU workstation.

Veelgestelde vragen

Kan ik een 70B model draaien op één RTX 4090?

Niet volledig in VRAM. Een 70B Q4_K_M vraagt ≈46 GB — 22 GB te veel voor een 4090. Gedeeltelijk offloaden naar RAM via --n-gpu-layers kan, maar decimaleert de snelheid. Comfortabele opties: 2× RTX 3090, of een Ryzen AI Max+ 395 mini-PC.

Is een RTX 5080 beter dan een RTX 3090 voor LLM-inferentie?

In snelheid zijn ze vergelijkbaar (beide ≈960 GB/s bandbreedte). Het verschil zit in VRAM: de 5080 heeft 16 GB, de 3090 heeft 24 GB. Voor modellen tot 13B wint de 5080 op energie-efficiëntie en snelheid. Voor 32B modellen is de 3090 de enige die het zonder offload aankan.

Wat is de beste kwantisatie als je VRAM krap is?

Q4_K_M is de standaard keuze: goede kwaliteit, laagste VRAM-voetafdruk. Als je VRAM net tekortkomt, probeer Q3_K_M — dat bespaart nog eens 15–20% VRAM ten koste van meer kwaliteitsverlies. Q2 is voor de meeste toepassingen te agressief en levert merkbaar slechtere output.

Telt systeemgeheugen (RAM) mee?

Ja, maar langzaam. DDR5 haalt 50–80 GB/s — factor 10–15 trager dan GPU-VRAM. Als de helft van je lagen via RAM gaat, zakt je snelheid van 60 naar 5–10 t/s. CPU-offload is een noodoplossing, geen dagelijkse werkomgeving.

Werkt AMD even goed als NVIDIA voor lokale LLM's?

Voor llama.cpp via Vulkan: ja, het verschil is klein. AMD-kaarten presteren bij LLM-inferentie op 80–95% van vergelijkbare NVIDIA-hardware. De ROCm-stack voor PyTorch en vLLM is minder rijp en vraagt meer setup. Als je enkel llama.cpp, Ollama of LM Studio gebruikt, is een AMD-kaart een volledig valide keuze.

Hoeveel VRAM kost een langere context?

De KV-cache groeit lineair mee. Bij een 7B model: ≈0,5 GB op 4K context, ≈4 GB op 32K. Bij 70B bij 32K kan de KV-cache 15–20 GB bedragen. Check dus altijd het contextoverschot, niet alleen de modelgrootte.