In-Context Learning (ICL) is het emergente vermogen van Large Language Models om nieuwe taken te leren uit voorbeelden die direct in de prompt worden gegeven, zonder enige wijziging aan de gewichten van het model. In plaats van dure fine-tuning of hertraining, stelt ICL gebruikers in staat een taak te demonstreren via een handvol invoer-uitvoerparen — waarna het model het patroon afleidt en toepast op nieuwe invoer binnen dezelfde forward pass. Dit vermogen ontstond op schaal: modellen onder ongeveer 10 miljard parameters tonen minimale ICL-capaciteit, terwijl grotere modellen steeds robuustere taakadaptatie vertonen vanuit context alleen. ICL is de theoretische basis onder few-shot en zero-shot prompting en vertegenwoordigt een van de meest verrassende capaciteiten van moderne LLM's.
Waarom het belangrijk is
In-context learning veranderde fundamenteel hoe organisaties AI inzetten. Vóór ICL vereiste het aanpassen van een taalmodel aan een nieuwe taak het verzamelen van gelabelde trainingsdata, het draaien van fine-tuningjobs die duizenden euro's kosten, en het onderhouden van aparte modelversies per taak. Met ICL handelt één generiek model classificatie, extractie, vertaling, samenvatting en tientallen andere taken af — schakelen gebeurt door de voorbeelden in de prompt te wijzigen. Dit reduceert de kosten van taakadaptatie van weken en duizenden euro's naar minuten en enkele centen aan API-tokens. Voor bedrijven betekent ICL dat productteams en domeinexperts — niet alleen ML-engineers — AI-functies kunnen bouwen en verfijnen door prompts op te stellen in plaats van modellen te trainen. De afweging is dat ICL-prestaties sterk afhangen van voorbeeldkwaliteit en -selectie, en het kan niet tippen aan gefinetuned modellen voor taken die diepe domeinspecialisatie vereisen.
Hoe het werkt
Het exacte mechanisme achter in-context learning is nog een actief onderzoeksgebied, maar de leidende theorie is dat grote transformers een impliciet vermogen ontwikkelen om gradiëntdaling-achtige updates uit te voeren binnen hun forward pass. Wanneer het model voorbeelden in de prompt verwerkt, identificeert het attentiemechanisme gedeelde patronen over invoer-uitvoerparen — invoerformaat, outputstructuur, transformatielogica — en activeert interne representaties die de afgeleide taak coderen. Recent onderzoek suggereert dat specifieke attentiehoofden zich specialiseren in "inductie" — het kopiëren van patronen van eerder in de context naar latere posities. Het model bouwt feitelijk een tijdelijke taakrepresentatie in zijn activaties (niet gewichten) die alleen voor de huidige context bestaat. Factoren die ICL-prestaties beïnvloeden omvatten: het aantal en de diversiteit van voorbeelden, de gelijkenis tussen voorbeelden en de doelvoer, de volgorde van voorbeelden in de prompt, en of het model vergelijkbare taakstructuren tegenkwam tijdens pre-training.
Voorbeeld
Een logistiek bedrijf moet klantvragen classificeren in acht categorieën (verzendstatus, retouren, facturering, schadeclaims, adreswijzigingen, leveringsplanning, internationale douane en algemene vragen). In plaats van een model te fine-tunen — waarvoor 10.000+ gelabelde voorbeelden en €5.000 aan compute nodig zouden zijn — geven ze acht voorbeelden in de prompt, één per categorie, elk met een echt klantbericht en het correcte label. Het model behaalt direct 82% nauwkeurigheid. Ze itereren drie keer in twee uur, verbeteren voorbeeldselectie door berichten te kiezen die veelvoorkomende randgevallen vertegenwoordigen — wanneer een klant in één bericht vraagt over zowel verzendstatus als een retour, demonstreert het voorbeeld de primaire-categorieregel. De nauwkeurigheid bereikt 91%, voldoende voor geautomatiseerde routering met menselijke review op de 9% met het laagste vertrouwen. Wanneer maanden later een negende categorie wordt toegevoegd (abonnementsbeheer), voegen ze simpelweg één voorbeeld toe aan de prompt en het systeem handelt het direct af — geen hertraining, geen deployment, geen downtime.