Claude:
2:
De architect van de chaos: Claude Shannon en de ruis in moderne AI
Wie vandaag een verbluffend realistische afbeelding van een AI-generator ziet, of een vloeiend gesprek voert met een taalmodel, ervaart dat bijna als magie. Toch zijn veel van de onderliggende ideeën ouder dan we denken. In 1948 publiceerde de Amerikaanse wiskundige en ingenieur Claude Shannon A Mathematical Theory of Communication en gaf ons daarmee een wiskundige taal voor informatie, entropie en ruis. In de twintigste eeuw gold ruis als de vijand van zuivere communicatie. In de eenentwintigste is het ook een grondstof geworden.
Ruis en entropie bij Shannon
Shannon worstelde met een praktisch probleem: hoe stuur je een bericht van zender naar ontvanger via een kanaal, zoals een telefoonlijn of radiogolf, zonder dat de betekenis onderweg verloren gaat? Elk kanaal kent ruis, willekeurige verstoringen die het signaal vervormen.
Hij introduceerde informatie-entropie als maat voor de onzekerheid of verrassing in een bron. Ruis in het kanaal beperkt hoeveel informatie betrouwbaar kan worden overgebracht: het verlaagt de kanaalcapaciteit. Shannons grote doorbraak was het bewijs dat je, ondanks ruis, data met een willekeurig kleine foutkans kunt overbrengen, mits je slim codeert en onder die capaciteit blijft.
Ruis als creatieve kracht: diffusiemodellen
De meest tot de verbeelding sprekende toepassing van ruis zien we in diffusiemodellen, de technologie achter systemen als Stable Diffusion. Zij gebruiken ruis niet als obstakel maar als beginpunt.
Tijdens de training voegt het model in vele kleine stappen willekeurige (gaussische) ruis toe aan heldere afbeeldingen, totdat alleen betekenisloze "televisiesneeuw" overblijft. Vervolgens leert het model dit proces om te keren: het voorspelt bij elke stap welke ruis is toegevoegd en haalt die weg. Bij het genereren begint het model met pure ruis en filtert het, geleid door een prompt zoals "een kat op een fiets", stap voor stap een nieuw beeld tevoorschijn.
Een nuance is hier op zijn plaats. Diffusiemodellen komen voort uit ideeën uit de thermodynamica en de statistiek, met als mijlpalen het werk van Sohl-Dickstein (2015) en Ho en collega's (2020). Ze zijn dus geen directe afgeleide van Shannons formules. Wat ze wel delen met zijn denken is de kernvraag: hoeveel structuur blijft er over als je willekeur toevoegt, en kun je die terugwinnen? Ruis is hier niet de vernietiger van het signaal, maar de marmeren rots waaruit een beeld wordt gehouwen.
Taal, voorspelling en compressie
Ook bij grote taalmodellen is Shannons invloed zichtbaar. In zijn werk over de statistische structuur van de Engelse taal liet hij proefpersonen letters raden om te meten hoeveel redundantie taal bevat. Daaruit blijkt dat voorspelling en compressie nauw verwant zijn: wie het volgende element in een reeks goed kan voorspellen, kan data compacter coderen. Technisch is de verliesfunctie waarmee taalmodellen worden getraind zelfs een maat voor de benodigde codelengte.
Een taalmodel wordt getraind op de enorme, rommelige tekstverzameling van het internet door steeds het volgende token te voorspellen. Daarbij leert het statistische patronen vast te leggen in zijn neurale netwerk. Bij het genereren van tekst regelt de "temperatuur" hoeveel willekeur er in de keuze van het volgende token zit: laag voor voorspelbare antwoorden, hoog voor meer variatie.
Een waarschuwing: model collapse
De informatietheorie bevat ook een nuchtere les. Volgens de Data Processing Inequality kan bewerking van data de informatie over de oorspronkelijke bron nooit vergroten, alleen behouden of verminderen.
Een verwant probleem zien onderzoekers bij model collapse. Wanneer modellen herhaaldelijk worden getraind op data die door eerdere modellen is gegenereerd, verdwijnen eerst de zeldzame patronen uit de verdeling. De output wordt dan steeds eenvormiger en minder getrouw aan de werkelijkheid (Shumailov et al., 2024). Dit is overigens geen voorspelling van Shannon, maar een hedendaags onderzoeksresultaat dat op vergelijkbare ideeën leunt.
Het beeld is ook minder zwart-wit dan het klinkt. Later onderzoek suggereert dat het risico aanzienlijk kleiner is als synthetische data wordt toegevoegd aan menselijke data in plaats van die te vervangen. Authentieke, door mensen gemaakte data blijft daarmee een waardevol ankerpunt.
Conclusie
Shannon bekeek communicatie door een lens van bits, signalen en waarschijnlijkheden, en begreep dat elk kanaal te maken heeft met ruis. De ironie van moderne AI is dat zij ruis niet buiten de deur houdt maar benut: door betekenis te destilleren uit de chaos van het internet, en door beelden te scheppen uit een canvas van pure ruis. Shannons ideeën zitten niet in elke regel code, maar ze geven ons wel de taal om te begrijpen wat zulke systemen doen. En zijn les blijft staan: zonder een betrouwbare bron aan het begin van het kanaal is er aan het eind niets zuivers te ontvangen.
Googleai:
1:
Hoe Claude Shannons Ruis de Basis Vormt voor Moderne AI
Wanneer we vandaag de dag naar een verbluffend realistische afbeelding van een AI-beeldgenerator kijken, of een vloeiend gesprek voeren met een groot taalmodel, voelt dat als pure magie. Toch rust de fundering van deze geavanceerde kunstmatige intelligentie (AI) op een wiskundig fundament dat al in 1948 werd gelegd. In dat jaar publiceerde de Amerikaanse wiskundige en ingenieur Claude Shannon zijn baanbrekende paper A Mathematical Theory of Communication. Shannon introduceerde daarin de informatietheorie en gaf ons een wiskundige taal om concepten als informatie, entropie en – cruciaal voor AI – ruis (noise) te begrijpen. Waar ruis in de twintigste eeuw nog werd gezien als de grote vijand van zuivere communicatie, is het in de eenentwintigste eeuw getransformeerd tot de brandstof én de filter van kunstmatige intelligentie.
Het Klassieke Concept van Ruis en Entropie
Om de rol van ruis in AI te begrijpen, moeten we terug naar Shannons oorspronkelijke definitie. Shannon hield zich bezig met een praktisch probleem: hoe stuur je een bericht van zender naar ontvanger via een kanaal (zoals een telefoonlijn of radiogolf) zonder dat de betekenis onderweg verloren gaat? Elk kanaal heeft te maken met ruis: willekeurige verstoringen die het signaal vervormen.
Shannon introduceerde het concept informatie-entropie, een maatstaf voor de onzekerheid of verrassing in een signaal. Ruis verhoogt de entropie; het voegt willekeur toe en vernietigt bruikbare informatie. Shannons grote doorbraak was het bewijs dat je, ondanks de onvermijdelijke aanwezigheid van ruis, data toch foutloos kunt overbrengen, mits je de informatie slim codeert en binnen de maximale capaciteit van het kanaal blijft.
Ruis als Creatieve Kracht: Diffusiemodellen
In de moderne AI zien we de meest spectaculaire toepassing van Shannons theorieën terug in generatieve AI, met name in diffusiemodellen (de technologie achter systemen als Midjourney en Stable Diffusion). Deze modellen hebben Shannons relatie met ruis letterlijk omgedraaid: ze gebruiken ruis niet als een obstakel, maar als een creatieve geboorteplaats.
Het trainingsproces van een diffusiemodel begint met een heldere afbeelding. De AI voegt hier in honderden kleine stapjes willekeurige ruis (Gaussian noise) aan toe, totdat er niets meer over is dan een scherm vol betekenisloze 'televisiesneeuw'. Dit is de maximale staat van entropie: alle structuur en informatie zijn vernietigd. De cruciale taak van de AI is vervolgens om te leren hoe dit proces omgekeerd moet worden. Het model traint zichzelf om bij elke stap de toegevoegde ruis te voorspellen en subtiel te verwijderen (denoising).
Wanneer een gebruiker nu een prompt invoert (bijvoorbeeld: "een kat op een fiets"), begint de AI met pure, willekeurige ruis. Geleid door de wiskundige wetten van kansberekening en informatie-entropie – direct afgeleid van Shannons formules – filtert de AI de ruis stap voor stap weg totdat er een gloednieuw beeld verschijnt. Ruis is hierin niet langer de vernietiger van het signaal, maar de marmeren rots waaruit de AI een nieuw kunstwerk beeldhouwt.
Taal, Voorspelling en Compressie
Ook binnen de Grote Taalmodellen (LLM's), zoals de GPT-modellen en de veelzeggend naar Claude Shannon vernoemde chatbot Claude, speelt Shannons erfenis een hoofdrol. Shannon hield zich in zijn vroege werk al bezig met de statistische structuur van de Engelse taal. Hij liet proefpersonen letters en woorden voorspellen om te berekenen hoeveel redundantie (overtolligheid) er in menselijke taal zit.
Shannon bewees dat voorspelling en compressie wiskundig identiek zijn. Als je accuraat kunt voorspellen wat het volgende element in een reeks is, begrijp je de onderliggende structuur en kun je de data efficiënter opslaan. Dit is exact wat een LLM doet. Een taalmodel wordt blootgesteld aan de enorme, chaotische 'ruis' van het internet: miljarden pagina's aan imperfecte, menselijke tekst. Door te trainen op het voorspellen van het volgende token (woorddeel), leert de AI de taalkundige ruis te filteren en de pure statistische patronen te comprimeren in zijn neurale netwerk. Wanneer we een LLM een vraag stellen, genereert het een antwoord door stap voor stap de meest logische opeenvolging van woorden te selecteren, waarbij het de willekeur (de 'temperatuur' of ruis in de output) wiskundig reguleert.
De Waarschuwing van Shannon: Model Collapse
Hoewel AI meesterlijk is geworden in het beheersen van ruis, herbergt Shannons theorie ook een fundamentele waarschuwing voor de toekomst van de technologie. In de informatietheorie stelt de Data Processing Inequality dat wanneer informatie door een reeks systemen stroomt, de kwaliteit of de hoeveelheid informatie alleen maar kan afnemen, nooit toenemen. Er sijpelt altijd onherstelbare statistische ruis in het kanaal.
Dit fenomeen vormt vandaag de dag een acute bedreiging voor AI, bekend als model collapse. Wanneer toekomstige AI-modellen worden getraind op data die is gegenereerd door huidige AI-modellen (in plaats van authentieke, door mensen gemaakte data), treedt er een wiskundige degeneratie op. Bij elke generatie stapelt de microscopische ruis en de statistische vertekening zich op. Het model verliest het contact met de werkelijkheid, versimpelt zijn output en produceert uiteindelijk onbruikbare wartaal. Zonder een zuivere, externe informatiebron (de mens) overwint de ruis uiteindelijk het systeem, exact zoals Shannon in 1948 voorspelde.
Conclusie
Claude Shannon bekeek de wereld door een lens van bits, signalen en waarschijnlijkheden. Hij begreep dat het universum inherent chaotisch is en dat communicatie een voortdurend gevecht is tegen de ruis. De ironie en genialiteit van de moderne kunstmatige intelligentie is dat zij dit gevecht niet heeft gewonnen door ruis buiten de deur te houden, maar door de wetmatigheden ervan te omarmen. Of het nu gaat om het destilleren van betekenis uit de ruwe chaos van het internet, of het scheppen van orde uit een canvas van pure ruis: de geest van Claude Shannon fluistert door elke regel code van de hedendaagse AI.
