Sterrenkijken in de cloud met MonetDB

Publicatiedatum
10 augustus 2015

Het Nederlandse databasetechnologiebedrijf MonetDB Solutions en het CWI gaan nieuwe technieken ontwikkelen voor opslag en analyse van data uit de Square Kilometre Array (SKA) telescoop. Het project wordt gefinancierd via het AstroCompute in the Cloud-programma van de SKA Organization en Amazon Web Services (AWS).

De Square Kilometre Array is een internationaal project dat tot doel heeft de grootste radiotelescoop ter wereld te bouwen. De telescoop moet een uiteindelijk meer dan een vierkante kilometer aan meetoppervlakte bestrijken, verspreid over Australië en Zuid-Afrika. Deze telescoop genereert onvoorstelbare hoeveelheden data in de orde van honderden gigabits per seconde, dat vrijwel real-time geanalyseerd moet worden. Om dit te kunnen realiseren gaan MonetDB Solutions en CWI samen een systeem ontwikkelen dat moet garanderen dat het dataverwerkingsproces correct en efficiënt blijft werken, ook bij een groeiend datavolume en de complexe query’s die daaruit voortkomen. Daarnaast moet het systeem ervoor zorgen dat de software en algoritmes in het dataverwerkingsproces veilig uitgebreid en verbeterd kunnen worden.

Het databasemanagementsysteem is een kritische component in het verwerken van deze sterrenkundige data. Het team zal hiervoor MonetDB gebruiken. Dit kolomgebaseerde databasemanagementsysteem is open source en geoptimaliseerd voor de analyse van big data. Voor dit project wordt gebruik gemaakt van de geïntegreerde functionaliteit voor R en Python voor snelle statistische data-analyse, en de MonetDB Data Vaults-extensie voor het beheren van externe bestanden.

Het AstroCompute in the Cloud-programma is opgezet door de SKA Organization en Amazon Web Services om de ontwikkeling van gereedschappen en technieken voor grote datavolumes uit moderne telescopen te versnellen. Het totale systeem moet uiteindelijk gaan draaien in de cloud bij Amazon Web Services. Amazon stelt hiervoor 1 petabyte aan opslagruimte beschikbaar. Het project zal naar verwachting eind 2016 gereed zijn.

 

Afbeelding: skatelescope.org