do. 30 jan 2025
De afgelopen week haalde het DeepSeek-model de krantenkoppen in het financiële nieuws. De Amerikaanse techsector, en in het bijzonder de halfgeleiders en top-AI-speler Nvidia, daalde sterk op maandag 27/1, maar herstelde enigszins op dinsdag. De meeste andere tech- en magnifieke7 aandelen wonnen juist op het nieuws, omdat beleggers het beschouwen als een potentiële gamechanger voor AI-adoptie. Binnen de strategie van Asset Management is de overweging in halfgeleiderswereldwijd teruggebracht naar een neutrale positie, terwijl software en communicatiediensten op een overweging bleven. Joris Franck, fondsbeheerder van 'We Digitize', handhaaft zijn positieve visie op het thematische fonds We Digitize.
De DeepSeek-schokgolf
DeepSeek, een klein Chinees AI-lab, heeft zijn open-source redeneermodel R1 uitgebracht dat naar verluidt OpenAI's o1 redeneermodel op bepaalde benchmarks evenaart of overtreft. Een verbazingwekkende prestatie op zich voor dit 2 jaar oude bedrijf. Maar er waren nog 2 andere redenen waarom deze prestatie de schokgolf veroorzaakte die we hebben gezien:
- DeepSeek zou het R1-model hebben getraind op inferieure AI-infrastructuur, omdat China door de VS is afgesneden wat betreft toegang tot geavanceerde AI-chips.
- Het R1-model van DeepSeek is beschikbaar voor commercieel gebruik en kost aanzienlijk minder dan o1 (0,14 dollar versus 7,5 per miljoen euro invoertokens). Ook kost R1 slechts 5-10% van de API-prijs van o1 voor ontwikkelaars. Met andere woorden, de inferentiekosten (de kosten om het model te gebruiken) zijn aanzienlijk gedaald. Voor niet-commercieel gebruik wordt R1 gratis aangeboden (terwijl o1 bij OpenAi 300 dollar per maand kost). Bedankt DeepSeek.
Tot slot heeft DeepSeek zijn R1-model open-sourced (vergelijkbaar met de aanpak van Meta met hun Llama LLM's) zodat iedereen er toegang toe heeft en erop kan voortbouwen. R1 is inderdaad beschikbaar op het AI-ontwikkelaarsplatform Hugging Face en is een van de best gedownloade modellen van de laatste tijd.
Nvidia in de problemen met DeepSeek?
Sinds de lancering van ChatGPT in november 2022 zag Nvidia de vraag naar hun GPU-chips exploderen. De aandelenkoers van Nvidia steeg tot vandaag met meer dan 7x en het werd het meest (of een van de meest) waardevolle bedrijf ter wereld. Deze dramatische outperformance heeft geleid tot 'piekzorgen'. De vergelijking met de dot.com-zeepbel van 1999 wordt vaak genoemd.
Daarom zijn beleggers sinds de zomer van 2024 erg nerveus geworden over de beleggingsthese van Nvidia, omdat ze vrezen dat de vraag naar Nvidia's AI-chips niet duurzaam is. Er zijn verschillende redenen gevonden om deze bear thesis te bewijzen:
- Er is momenteel nog steeds geen ROI (return on investment) voor al deze peperdure AI-infrastructuren.
- Schaalbare LLM's zien afnemende opbrengsten, dus op een gegeven moment zal er een grens zijn aan het uitbreiden van AI-infrastructuren.
- Overgang van Hopper naar Blackwell chips zal resulteren in orderannuleringen voor de Hopper chip.
- De nieuwe Blackwell-chip wordt geplaagd door oververhittingsproblemen.
En nu kun je DeepSeek aan deze lijst toevoegen, want DeepSeek heeft aangetoond dat je helemaal geen dure AI-infrastructuur nodig hebt om geavanceerde AI-modellen te trainen.
De bezorgdheid over DeepSeek ging afgelopen weekend viraal op X (voorheen Twitter) en zorgde ervoor dat Nvidia-aandelen maandag 17% daalden, gevolgd door een bounce back van +9% op dinsdag. Deze daling van 17% is des te opmerkelijker gezien de context van (1) een enorme aankondiging van een Amerikaans Stargate-project van 500 miljard dollar aan investeringen in AI en (2) Meta's voorspelling van een versnelling van de investeringen naar 60-65 miljard dollar in 2025, slechts een paar dagen eerder.
OpenAI in de problemen met DeepSeek?
De perceptie dat DeepSeek met veel minder middelen kan wedijveren met de capaciteiten van OpenAI zou OpenAI onder druk kunnen zetten om zijn waardering van 157 miljard dollar en uitgavenstrategie te rechtvaardigen. De opkomst van een sterke concurrent zou OpenAI's marktdominantie kunnen vertragen, wat een belangrijke factor is voor de hoge waardering. Bovendien veroorzaakt DeepSeek prijsdruk, wat de omzetgroei van OpenAI zal vertragen.
Er is ook bewijs van een aanzienlijke braindrain bij OpenAI. Verschillende belangrijke hooggeplaatste werknemers hebben het bedrijf de afgelopen maanden verlaten. De braindrain lijkt te worden gedreven door de verschuiving in OpenAI van non-profit (gericht op onderzoek) naar profit (gericht op productontwikkeling). Bovendien heeft DeepSeek bewezen dat OpenAI niet de enige is die erg innovatief is, wat waarschijnlijk niet helpt om de braindrain bij Open AI te stoppen.
De VS in DeepSeek-problemen?
Het is duidelijk dat de AI-wapenwedloop tussen de VS en China is toegenomen met de publicatie van het R1-model. Het is een wapenwedloop van groot belang gezien de bezorgdheid over nationale veiligheid, economische concurrentie en potentiële militaire toepassingen. Wie voorop loopt in AI, zal de wereld domineren...
Tot voor kort werd aangenomen dat de VS enkele jaren voor lag op China op het gebied van AI-ontwikkeling. De VS beperkten de toegang van China tot geavanceerde AI-chips van Nvidia om deze technologische voorsprong te behouden. Maar nu, dankzij DeepSeek, lijkt het erop dat China op gelijke hoogte staat met de VS, wat vragen oproept over de effectiviteit van al dat Amerikaanse beleid. En of dat beleid China misschien onbedoeld heeft gedwongen om creatiever te worden. "Noodzaak is inderdaad de moeder van alle uitvindingen." China is niet langer een na-aper. Denk ook aan China's suprematie in batterijtechnologie. Wat is het volgende gebied waar China technologisch leider wordt?
Opmerkelijk genoeg gaf China nog een goed getimede por aan de VS (toeval of expres?). De timing van de release van DeepSeeks R1-redeneringsmodel kwam tijdens de Amerikaanse presidentiële inauguratie van Donald Trump, vergelijkbaar met de lancering van Huawei's Mate 60 Pro 5G tijdens het bezoek van minister Raimondo aan China in 2023. Huawei zou nooit meer een toonaangevende smartphone kunnen maken.
En op het gebied van Chinese AI is DeepSeek in feite niet de enige Chinese "hoogvlieger". TikTok-moeder ByteDance en de Chinese internetgigant Alibaba hebben zeer recent ook LLM's uitgebracht die zich kunnen meten met de besten uit het Westen. Wederom een bewijs dat het plan van de VS om China's AI-ontwikkeling af te remmen helemaal niet heeft gewerkt.
Op het gebied van privacy heeft de VS ook te maken met een andere Chinese app die gericht is op de Amerikaanse consument. DeepSeek staat al enkele dagen op nummer 1 in de Amerikaanse App Store.
De paradox van Jevon
De paradox van Jevons (ook bekend als het Jevons-effect) is een economisch concept dat stelt dat wanneer technologische vooruitgang de efficiëntie van het gebruik van een hulpbron verhoogt, de totale consumptie van die hulpbron vaak eerder toeneemt dan afneemt. Dit gebeurt omdat:
1. Verbeterde efficiëntie maakt de hulpbron goedkoper in gebruik
2. Lagere kosten leiden tot meer vraag en nieuwe toepassingen
3. De besparingen door efficiëntie worden vaak geherinvesteerd in extra verbruik
Waarschijnlijk is deze paradox van Jevon ook van toepassing op AI. DeepSeek heeft LLM's gecommercialiseerd, de inferentiekosten zijn gedaald. En dit zal resulteren in een grote rugwind voor AI-adoptie. Uiteindelijk zal DeepSeek de vraag naar Nvidia's AI-chips ondersteunen. Maar waarschijnlijk zal DeepSeek nog beter nieuws blijken te zijn voor de softwaresector, omdat lagere inferentiekosten echt de aanzet zullen geven tot massale overstap naar AI!
Dieper in DeepSeek duiken
DeepSeek is een Chinese AI-startup die zowel LLM's als redeneringsmodellen heeft ontwikkeld. Het bedrijf is voortgekomen uit High-Flyer, een Chinees kwantitatief hedgefonds dat in 2015 werd opgericht door Liang Wenfeng en AI gebruikte voor aandelenhandel. High-Flyer stootte zijn AI-onderzoekseenheid in 2023 af als DeepSeek, met de missie om AI te ontwikkelen voor het algemeen belang en de monopolisering van AI-technologie door een paar bedrijven te voorkomen. DeepSeek heeft 200 mensen in dienst: (vergeleken met 3500 mensen bij OpenAI), die voornamelijk zijn gerekruteerd van de universiteiten van Beijing en Tsinghua.
DeepSeek heeft al twee indrukwekkende AI-modellen uitgebracht:
- De LLM, v3, uitgebracht op 26 december 2024, is groter en geavanceerder dan veel westerse tegenhangers en heeft 685 miljard parameters.
- Het redeneermodel, R1, werd uitgebracht op 20 januari 2025. Het is opmerkelijk omdat OpenAI zijn eerste redeneermodel o1 in 5 december 2024 heeft gepionierd, terwijl het pre-released is (d.w.z. getoond, maar nog niet beschikbaar gemaakt) op 12 september 2024.
Volgens het technische rapport van DeepSeek verwerkte v3 14,8 biljoen tokens met behulp van 2,788 miljoen H800 GPU-uren, wat resulteerde in ongeveer 6 miljoen dollar aan trainingskosten (tegen 2 dollar per GPU-uur), met behulp van 2048 "Hopper" H800 GPU's. De H800 is het zwakke broertje van de H100. De prestaties ervan zijn met opzet beperkt door Nvidia om te voldoen aan de Amerikaanse exportbeperkingen naar China. Ter vergelijking:
- De trainingskosten van het GPT4-model van OpenAI worden geschat op 63 tot 78 miljoen dollar.
- Het Grok 2-model van xAI is getraind met ongeveer 20 miljoen H100 GPU-uren op 20.000 H100 GPU's.
- Het Grok-3 model (dat binnenkort wordt uitgebracht) wordt getraind op een cluster van 100.000 H100 GPU's.
Er heerst nogal wat scepsis rond de "opleidingskosten van 6 miljoen dollar". Het zijn zeker niet de all-in kosten. En sommige mensen beweren zelfs dat DeepSeek 50.000 H100 GPU's heeft waarover ze niet kunnen praten vanwege de Amerikaanse exportcontroles.
Het R1-model bevat 671 miljard parameters, maar er zijn ook kleinere "gedistilleerde" versies, met slechts 1,5 miljard parameters, die lokaal op een laptop kunnen draaien. Het R1-model wordt geprezen om zijn innovatieve aanpak, die aangepaste communicatieschema's tussen GPU-chips omvat door het gebruik van MLA-technieken (Multi-head Latent Attention) en Mixture-of-Experts. Als gevolg van deze technieken kon een minder krachtige AI-infrastructuur worden gebruikt om dit model te trainen.