Er is een belangrijke stap gezet naar kunstmatige intelligentie die kan worden gebruikt in lokale apparaten zoals smartphones en in VR-achtige toepassingen, terwijl de privacy wordt beschermd. CWI-onderzoekers laten in hun studie zien hoe hersenachtige neuronen in combinatie met nieuwe leermethoden het mogelijk maken om snelle en energie-efficiënte spiking neurale netwerken op grote schaal te trainen. Dit opent de deur naar toepassingen variërend van draagbare AI tot alomtegenwoordige spraakherkenning en augmented reality.
Kunstmatige neurale netwerken vormen de ruggengraat van de huidige AI-revolutie, maar ze zijn slechts losjes gebaseerd op netwerken van echte, biologische neuronen zoals onze hersenen. Het menselijk brein omvat een veel groter netwerk, is veel energie-efficiënter en kan ultrasnel reageren wanneer het door externe gebeurtenissen wordt geactiveerd. Spiking neurale netwerken zijn een speciaal soort kunstmatige neurale netwerken die de werking van ons brein al wat dichter benaderen. Ze zijn in staat om de werking van biologische neuronen beter na te bootsen. Net als hun biologische counterpart communiceren spiking neurale netwerken door elektrische pulsen uit te wisselen, zonder daarbij een grote hoeveelheid energie te gebruiken.
Als het lukt om spiking neurale netwerken in een chip te integreren (neuromorfe hardware genoemd), kun je AI-programma’s dichter bij de gebruikers brengen op hun eigen apparaten, zoals smartphones. Deze lokale oplossingen zijn gunstig voor de privacy, de robuustheid en het reactievermogen van deze programma’s. Toepassingen variëren van spraakherkenning in speelgoed en apparaten, bewaking van de gezondheidszorg en dronenavigatie tot lokale surveillance.
Omgaan met veranderende informatie
Net als ‘gewone’ kunstmatige neurale netwerken moeten spiking neurale netwerken worden getraind om hun taken goed uit te voeren. De manier waarop dergelijke netwerken communiceren, vormt echter een serieuze uitdaging. ‘De algoritmes die hiervoor nodig zijn, vergen veel computergeheugen, waardoor we meestal alleen kleine netwerkmodellen kunnen trainen voor kleinere taken. Dit houdt tot nu toe veel praktische AI-toepassingen tegen’, zegt Sander Bohté van CWI’s Machine Learning-groep.
Deze algoritmes kunnen het leervermogen van ons brein niet evenaren. Zo leren de hersenen onmiddellijk van nieuwe ervaringen – door verbindingen te veranderen of zelfs door nieuwe verbindingen aan te maken. Ze hebben hiervoor veel minder voorbeelden nodig en werken energie-efficiënter. ‘We wilden iets ontwikkelen dat dichter ligt bij de manier waarop onze hersenen leren’, zegt onderzoeker Bojian Yin.
Yin legt uit hoe dit werkt: als je tijdens een rijles een fout maakt, leer je daar meteen van. Je corrigeert je gedrag terwijl je aan het rijden bent, en niet een uur later. ‘Je leert als het ware terwijl je de nieuwe informatie in je opneemt. Wij wilden dat nabootsen door elke neuron van het neurale netwerk een stukje informatie te geven dat voortdurend wordt bijgewerkt. Op die manier leert het netwerk hoe de informatie verandert en hoeft het niet alle eerdere informatie te onthouden. Dit is het grote verschil met de huidige netwerken, die met alle voorgaande veranderingen moeten werken. De huidige manier van leren vergt enorme rekenkracht, en dus veel geheugen en energie.’
Zes miljoen neuronen
Het nieuwe leeralgoritme maakt het mogelijk om direct van de data te leren, waardoor veel grotere spiking neurale netwerken mogelijk worden. Samen met onderzoekers van de TU Eindhoven en onderzoekspartner Holst Centre demonstreerden Bohté en Yin dit in een systeem dat is ontworpen voor het herkennen en lokaliseren van objecten. Voor hun studie gebruikten ze real-time beelden van een drukke straat in Amsterdam: het onderliggende spiking neurale netwerk, SPYv4, is zodanig getraind dat het fietsers, voetgangers en auto’s kan onderscheiden en precies kan aangeven waar ze zich bevinden. ‘Voorheen konden we neurale netwerken trainen met maximaal 10.000 neuronen, met het huidige algoritme kan dat vrij eenvoudig bij netwerken met meer dan zes miljoen neuronen’, zegt Bohté. ‘Daardoor kunnen we geavanceerde spiking neurale netwerken trainen, zoals onze SPYv4.’
Toekomst
En waartoe leidt dit alles? ‘Nu we zulke krachtige AI-oplossingen hebben op basis van spiking neurale netwerken, worden er chips ontwikkeld die deze AI-programma’s kunnen draaien en daarbij zeer weinig energie verbruiken.’ Uiteindelijk zullen ze opduiken in tal van slimme apparaten, zoals gehoorapparaten en AR- of VR-brillen.
De resultaten van de studie zijn verschenen in Nature Machine Intelligence: Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time. Auteurs: Bojian Yin, Sander Bohté, Federico Corradi (TU Eindhoven, Stichting IMEC).