Meta Platforms bouwt aan een nieuwe artificiële intelligentie (AI)-supercomputer waarvan het denkt dat het de snelste ter wereld zal zijn wanneer die medio 2022 klaar is. De nieuwe AI Research SuperCluster (RSC) zal het bedrijf helpen betere AI-modellen te bouwen die kunnen leren van triljoenen voorbeelden, werken in honderden talen en moet tekst, afbeeldingen en video samen kunnen analyseren om te bepalen of inhoud schadelijk is. Met RSC wil Meta Platforms nog duidelijker zijn vlag planten in de metaverse-wereld, ziet financieel econoom Tom Simonts.

De metacomputer

Het socialmediabedrijf Facebook veranderde zijn naam in oktober in Meta Platforms, kortweg Meta, om zijn focus op de metaverse weer te geven, naar eigen zeggen “de opvolger van het mobiele internet”. Die metaverse is een brede verzameling, die verwijst naar het idee van gedeelde virtuele omgevingen, waartoe mensen via verschillende apparaten toegang hebben en waar ze kunnen werken, spelen en socialiseren. “De ervaringen die we bouwen voor de metaverse vereisen enorme rekenkracht (quintiljoenen bewerkingen/seconde!) en RSC zal nieuwe AI-modellen mogelijk maken die kunnen leren van triljoenen voorbeelden, honderden talen begrijpen, en meer", aldus Meta-CEO Zuckerberg.

Met de hulp van de nieuwe supercluster moeten stemvertalingen in realtime uitgevoerd en uitgeleverd kunnen worden aan een gevarieerd anderstalig publiek, dat naadloos moet kunnen samenwerken aan een onderzoeksproject of dat samen een AR-spel wil spelen. Meta is trouwens niet de enige die een AI supercomputer bouwt. Ook Microsoft en Nvidia hebben al hun eigen versie, al timmerde die laatste ook mee aan Meta’s RSC.

Hoe werkt zo’n metacomputer?

AI-supercomputers worden opgebouwd door de combinatie van meerdere GPU's (grafische processoren) tot compute nodes (netwerken), die vervolgens worden verbonden door een krachtige netwerkstructuur om snelle communicatie tussen die GPU's mogelijk te maken.

De metacomputer van Meta, RSC, bevat vandaag in totaal 760 NVIDIA DGX A100-systemen als compute nodes, met in totaal van 6.080 GPU's. Uit de eerste benchmarks op RSC, in vergelijking met de bestaande productie- en onderzoeksinfrastructuur van Meta, blijkt dat de uitvoering van computer vision-workflows tot twintig keer sneller verloopt, de NVIDIA Collective Communication Library (NCCL) draait meer dan negen keer sneller en grootschalige NLP-communicatiemodellen (Neuro-Linguïstisch Programmeren) worden drie keer sneller getraind.

Dat betekent dat een model met tientallen miljarden parameters in drie weken kan worden getraind, terwijl dat voorheen negen weken duurde. In de loop van 2022 wordt het aantal GPU’s opgevoerd tot 16.000, waarmee het de snelste AI-supercomputer ter wereld zal zijn.

Waarom een metacomputer?

De computer moet onder meer de veiligheid van de data garanderen. En dat is een domein waar Meta wel nog wat te bewijzen heeft, meent financieel econoom Tom Simonts. Om nieuwe AI-modellen te bouwen, ten dienste van de mensen die de Meta-diensten gebruiken, moeten de modellen volgens het bedrijf leren met behulp van “real world”-gegevens uit hun productiesystemen.

“RSC is vanaf het begin ontworpen met het oog op privacy en veiligheid, zodat Meta-onderzoekers veilig modellen kunnen trainen met versleutelde, door gebruikers gegenereerde gegevens, die pas vlak voor de training worden ontsleuteld”, aldus Meta. Zo is RSC geïsoleerd van het grotere internet, met geen directe inkomende of uitgaande verbindingen en verkeer kan alleen stromen vanuit de productiedatacentra van Meta.