Een uitdaging voor natuurkundigen en wiskundigen
De uitdaging bij het ontwerpen van ONN's is dat de ontwerpbeperkingen aanzienlijk verschillen van die van hun digitale tegenhangers. In tegenstelling tot digitale neurale netwerken kunnen optische netwerken niet veel lagen van verwerkingsstappen stapelen.
“Een optische ‘laag’ is een fysiek object”, legt ARCNL-groepsleider Lyuba Amitonova uit, “en aangezien licht zich meestal lineair gedraagt, voegt het stapelen van meer optische lagen zonder sterke niet-lineaire elementen ertussen geen extra intelligentie toe.” En omdat een ONN dat op een computer is ontworpen uiteindelijk in de echte wereld moet worden gebouwd, kunnen zelfs kleine onvolkomenheden de theoretische prestaties ervan verminderen. Een aantrekkelijk alternatief is om het ONN fysiek te trainen, met echt licht in plaats van simulaties. Maar dit is moeilijk. Optische systemen kunnen niet gemakkelijk het ‘backpropagation-algoritme’ implementeren, de methode die digitale netwerken gebruiken om van hun fouten te leren en daarmee de hoeksteen van machine learning. En het toevoegen van schakelende optische elementen om stapsgewijze verwerking te creëren, leidt tot nog meer verlies en complexiteit. Daarom moest het antwoord worden gevonden in veel eenvoudigere neurale netwerken, met slechts één enkele laag.
Een proefproject?
Dit brengt ons bij het gezamenlijke project van CWI, ARCNL en Photosynthetic. Het proefproject bracht de wiskundige en computationele kennis van Tristan van Leeuwen en Vladyslav Andriiashen van CWI samen met de expertise op het gebied van optische fysica van Lyuba Amitonova, Jacob Kraciuk en Maximillian Lipp van ARCNL en de microfabricagemogelijkheden van Alexander Kostenko van Photosynthetic. Zoals CWI-postdoctoraal onderzoeker Vlad zei, terwijl hij naar het scherm wees: “Soms heb je alleen maar vier punten nodig.” Het resultaat van dit drie maanden durende rollercoasterproject was een fysieke proof-of-principle ONN. Het team trainde eerst een CNN met één laag digitaal in een simulatie van de optische opstelling en bouwde vervolgens de optische tegenhanger met behulp van een ruimtelijke lichtmodulator (SLM). Na zorgvuldige afstemming kon de opstelling cijfers classificeren. De vier stippen op het scherm gaven aan dat de optische ‘lens’ het cijfer 3 betrouwbaar kon onderscheiden van andere cijfers. Er werden stippen boven en onder weergegeven als de invoer een ‘3’ was en stippen links en rechts als het een ander cijfer was.
Veel waardevoller dan de 4 stippen was echter dat het project een glimp liet zien van de toekomst, waarin de grenzen tussen hardware en berekeningen, en natuurkunde en wiskunde vervagen... zoals 4 stippen die één samenhangend beeld vormen. Stel je voor wat grootschalige ONN's in de toekomst zouden kunnen betekenen: datacenters die AI sneller en met een fractie van de elektriciteit draaien, slimme apparaten die taken uitvoeren zonder energieverslindende chips en autonome voertuigen en drones die onmiddellijke beslissingen nemen met behulp van razendsnelle berekeningen. Om deze visie te realiseren is echter meer onderzoek nodig. En daarvoor is een team van experts uit alle vier de vakgebieden nodig: wiskunde, natuurkunde, informatica en productie.