Vision-LLMs: Qwen3-VL vs InternVL3 voor screenshots en OCR

Vision-LLMs zijn taalmodellen die ook kunnen kijken. Je stuurt een afbeelding mee — een screenshot, een gescande factuur, een foto van een bord — en het model beschrijft, analyseert of transcribeert wat het ziet. Twee open modellen trekken op dit moment de aandacht: Qwen3-VL van Alibaba en InternVL3 van Shanghai AI Laboratory. Allebei lokaal te draaien, allebei open source, en allebei fundamenteel anders sterk.

Wat vision-LLMs eigenlijk doen

Een klassiek taalmodel krijgt tekst als invoer en geeft tekst terug. Een vision-LLM doet hetzelfde, maar verwerkt eerst een afbeelding via een visual encoder — een apart neuraal netwerk dat de pixels omzet in tokens die het taalmodel begrijpt. Die visuele tokens worden samengevoegd met de tekstinvoer en als één reeks door het taalmodel verwerkt.

Dat klinkt eenvoudig, maar de praktijk is grilliger. Waar het misgaat is resolutie en tokenisatie. Een screenshot van 1920×1080 pixels bevat veel meer informatie dan een foto van een kat op een kussen, maar de meeste encoders "tilen" de afbeelding in stukken van vaste grootte. Hoeveel tiles een model maakt, bepaalt direct hoeveel context-tokens de afbeelding inneemt — en daarmee hoeveel VRAM je nodig hebt voor een enkele inferentie.

Qwen3-VL en InternVL3 gebruiken beide dynamische tiling: het aantal tiles past zich aan de resolutie van de invoer aan. Bij een hoge-resolutie documentscreen kan dat al snel 256 tot 1024 visuele tokens per afbeelding worden. Dat is de reden dat vision-modellen aanzienlijk meer VRAM verbruiken dan hun puur tekst-gebaseerde equivalenten van dezelfde parametergrootte.

De toepassingen zijn concreet: OCR op historische documenten, formulierenherkenning, UI-navigatie voor agentische taken, tabel-extractie uit PDF-exports, of simpelweg begrijpen wat er in een screenshot staat. Dat laatste klinkt triviaal totdat je een model vraagt "wat staat er in dit foutvenster" en het model antwoordt met de exacte foutcode, de knop die je moet klikken en de reden waarom dit probleem optreedt.

Benchmarks versus de praktijk

Benchmarks zijn een bruikbaar startpunt, maar ze vertellen nooit het hele verhaal. De meestgebruikte standaarden voor vision-LLMs zijn MMMU (Massive Multi-discipline Multimodal Understanding), OCRBench, DocVQA en het nieuwere TextVQA.

InternVL3-78B scoort 72,2 op MMMU — een van de hoogste scores ooit voor een open model op dat moment van publicatie in april 2025. Op OCRBench haalt datzelfde model 906/1000, en op de VCR-benchmark (visuele content recognition) bereikt het 96,0 bij het lagere niveau en 98,6 bij het hogere. Voor documenten, tabellen en gescande tekst is dat indrukwekkend solide.

Qwen3-VL verscheen in november 2025 als technisch rapport, met modellen in 4B, 8B en (later) grotere varianten. De 8B Instruct-variant haalt 96,1 op DocVQA en 89,6 op OCRBench — voor een model van die omvang opvallend sterk. Zijn voorloper Qwen2.5-VL-72B scoorde 70,2 op MMMU en 96,4 op DocVQA, en fungeerde als benchmarkreferentie voor de 72B-klasse.

Wat de benchmarks niet zeggen: InternVL3 is getraind op grotere en gevarieerder documentdatasets, wat het model een voorsprong geeft op OCR-taken met uitdagende opmaak — handschrift, vervaagde tekst, niet-westers schrift. Qwen3-VL ondersteunt OCR in 32 talen (tegenover 19 bij zijn voorganger) en presteert sterker in UI-redenering en agentische taken waarbij het model een scherm moet begrijpen en erop moet reageren.

"InternVL3 is de juiste keuze voor documenten; Qwen3-VL wint op schermen en interfaces — en die twee use cases zijn minder verwisselbaar dan ze lijken."

OCR: de eerlijke test

OCR is de meest concrete toets voor een vision-LLM. Waar traditionele OCR-software zoals Tesseract werkt via vaste fonts en heuristische segmentatie, werkt een vision-LLM contextueel: het begrijpt dat een getal naast een euroteken een bedrag is, dat een gescand formulier een tabelstructuur heeft, en dat een uitgeflitst tekstvak waarschijnlijk een datum bevat.

In praktijktests van Qwen2.5-VL en InternVL3 op een diverse set gescande documenten — historische kranten, handgeschreven notities, formulieren, schermafdrukken van CLI-output — liggen nauwkeurigheidspercentages doorgaans in het bereik van 88–96% voor gedrukte tekst op moderne documenten. Bij historische documenten met slijtage of bij handschrift zakt dat naar 60–75%, afhankelijk van de kwaliteit van de scan.

Qwen3-VL-8B haalt op OCRBench een score van 896/1000, wat neerkomt op een accuraatheid van circa 89,6% over de testset. Ter referentie: GPT-4o scoort op vergelijkbare testsets rond 75% OCR-accuraatheid in de standaardconfiguratie — wat de open modellen in dat opzicht verrassend serieus maakt.

Eén nuance die benchmarks wegpoetsen: structuurbehoud. Een model kan een tekst correct transcriberen maar de tabelstructuur verkeerd reconstrueren. InternVL3 doet het beter op structuurbehoud bij tabellen en formulieren; Qwen3-VL is sterker in het herkennen van UI-elementen zoals knoppen, labels en dropdowns op screenshots — nuttig voor automatisering en accessibility-tools.

Een concrete test: neem een screenshot van een WordPress-dashboard met meerdere menu-items, een statustabel en een notificatie-balk. Qwen3-VL-8B benoemt correct de menupositie, leest de paginatitel, extraheert het aantal gepubliceerde posts uit de tabel en koppelt de notificatie aan de juiste plugin. InternVL3-8B doet hetzelfde maar is iets trager — deels omdat zijn tiling-strategie meer visuele tokens genereert voor dezelfde invoer.

Hardware om te draaien

Vision-LLMs vragen meer VRAM dan tekst-only modellen van dezelfde parametergrootte. De visual encoder voegt vaste gewichtsgeheugen toe, en elke afbeelding injecteert honderd tot meer dan duizend visuele tokens in de KV-cache. Bij een hoge-resolutie screenshot van 1920×1080 kan de KV-cache voor de afbeelding alleen al 1,5–3 GB extra VRAM innemen.

Praktisch voor de kleinere varianten:

• Qwen3-VL-4B (Q4_K_M) — past in 8 GB VRAM, werkbaar op een RTX 4060 of RX 7600
• Qwen3-VL-8B (Q4_K_M) — vraagt 10–12 GB VRAM, comfortabel op een RTX 4070
• InternVL3-8B (Q4_K_M) — 12 GB VRAM aanbevolen vanwege hogere tile-overhead
• InternVL3-38B / Qwen2.5-VL-72B — 24–40 GB VRAM, meerdere GPU's of server-hardware

Qwen3-VL heeft een voordeel op installatiegemak: het model staat in de Ollama-bibliotheek als qwen3-vl en is met één commando op te starten. InternVL3 vraagt iets meer technische setup via vLLM of llama.cpp met een aangepaste GGUF-build — werkbaar, maar niet voor beginners in twee minuten klaar.

Een praktische overweging: vision-inferentie is ook CPU-intensiever dan tekst-only. De visual encoder draait normaal op de GPU, maar als je VRAM niet toereikend is en het model deels naar systeemgeheugen valt (offloading), daalt de snelheid dramatisch. Bij het verwerken van een enkele hoge-resolutie screenshot kan een gedeeltelijk geoffload 8B-model 10–20 seconden nodig hebben waar een volledig GPU-gebonden model onder de twee seconden blijft.

Welk model voor welke taak?

De keuze tussen Qwen3-VL en InternVL3 hangt sterk af van je primaire use case. InternVL3 heeft een documentfocus: zijn trainingsdata omvat grote documentcorpora die andere modellen niet evenaren, wat het model een voorsprong geeft op gescande tekst, tabelextractie en PDF-parsing. Als je een pipeline bouwt rondom facturenverwerking, contractanalyse of historisch archiefonderzoek, is InternVL3 het vertrekpunt.

Qwen3-VL heeft de sterkere UI-redenering en is sneller in te zetten via Ollama. Voor gebruik als visuele assistent — schermen beschrijven, foutmeldingen uitlezen, agentische automatisering — biedt het meer directe schaalbaarheid. Bovendien ondersteunt het met 32 talen een breder OCR-spectrum, inclusief Arabisch, Japans en Koreaans, waar InternVL3 sterkere dekking heeft op westerse schriften.

Geen van beide modellen vervangt een gespecialiseerde OCR-engine voor productievolumes. Voor batch-verwerking van duizenden documenten per dag blijven tools als PaddleOCR of Tesseract 5 efficiënter. Maar voor het begrijpen van context — "wat betekent dit getal in deze tabel" of "welke actie moet ik ondernemen op basis van dit formulier" — zijn vision-LLMs inmiddels de betere keuze.

Veelgestelde vragen

Kan Qwen3-VL-8B draaien op een RTX 4070 met 12 GB VRAM?

Ja. In Q4_K_M-kwantisatie vraagt het model circa 10–12 GB VRAM. Bij een enkele afbeelding van gemiddelde resolutie blijft het comfortabel. Bij meerdere afbeeldingen tegelijk of hoge-resolutie invoer (1920×1080 of meer) kom je aan de grens; reduceer dan de maximale tilegrootte in de modelconfiguratie.

Is InternVL3 beter voor OCR dan Qwen3-VL?

Op documentgerichte OCR-benchmarks wel: InternVL3-78B haalt 906/1000 op OCRBench, wat hoger is dan vergelijkbare Qwen-modellen. Maar Qwen3-VL-8B scoort 896/1000 — het verschil is klein. In de praktijk wint InternVL3 op complexe opmaak (tabellen, formulieren), Qwen3-VL op UI-elementen en meertalige tekst.

Hoe installeer ik Qwen3-VL lokaal?

Via Ollama: ollama run qwen3-vl:8b. Je kunt daarna een afbeelding meesturen via de CLI (ollama run qwen3-vl:8b -- "beschrijf dit" /pad/naar/afbeelding.png) of via de OpenAI-compatibele REST API die Ollama aanbiedt op poort 11434.

Wat is het verschil tussen InternVL3 en InternVL3.5?

InternVL3.5 is een doorontwikkeling die in augustus 2025 verscheen. Het verbetert efficiëntie bij hogere concurrency en voegt betere redeneer- en wiskundige capaciteiten toe, met name voor de kleinere modelgroottes (2B en 4B). De OCR-scores liggen vergelijkbaar met InternVL3, maar de algehele veelzijdigheid is verbeterd.

Kun je deze modellen inzetten voor automatische UI-navigatie?

Dat kan, maar het vereist een framework als AutoGUI of een custom agentische pipeline. Qwen3-VL is hier iets sterker in dankzij zijn training op scherm-interactiedata. De model begrijpt knoppen, menu's en invoervelden, maar nauwkeurigheid bij het doorklikken van complexe interfaces blijft een uitdaging — foutpercentages van 10–20% op multi-stap taken zijn realistisch.