Teknikindustrin spenderar miljarder dollar på grafikprocessorer för AI. 95 % är inaktiva

När covid-19-pandemin började flög toalettpapper och jäst ut från snabbköpet. Papper för att det är en basvara, men jäst för att alla skulle göra mycket bröd hemma. Det var prognosen, men vi skulle verkligen behöva se hur många av oss som slutade med att baka bröd.

Något liknande händer i datacenter för närvarande. Hyperscalers har spenderat miljarder och miljarder dollar på GPU:er för AI, och enligt en rapport är 95 % inaktiva för det mesta. Och allt på grund av rädslan för att bli utanför.

Kubernetes. Innan man går in i saken finns det ett koncept man måste landa på.

Det är kubernetes. Det är ett slags "operativsystem" i datacenter, arbetsledaren som organiserar och övervakar all mjukvara som används. Föreställ dig att ett datacenter är en stormarknad, hyllorna är servrarna och produkterna är apparna.

Exempel på kontrollpanel Det denna arbetsledare gör är att hitta den perfekta hyllan för att placera produkten på ett så optimalt sätt som möjligt. Dessutom övervakar han hela tiden alla hyllor i syfte att inte missa något och se till att dataflödet är perfekt. Det är kort och gott en mjukvara som hanterar många fysiska servrar på ett mycket optimerat sätt och dygnet runt.

I Xataka Det finns ingen energi för så många datacenter och konsekvensen är tydlig: hälften av de planerade till 2026 i USA är i fara.

Vad händer. Som sagt, 2026 State of Kubernetes Optimization Report som utarbetats av Cast AI har just avslöjat något: datacenters enorma ineffektivitet. De har analyserat cirka 23 000 kubernetes-kluster i jättar som AWS (Amazon), Azure (Microsoft) och GCP (Google) och har upptäckt att det genomsnittliga GPU-utnyttjandet av dessa datacenter bara är 5 %.

Detta översätts på ett annat sätt: 95 % är inaktiva för det mesta, vilket innebär att dessa företag betalar för att få 20 gånger mer datorkapacitet än de verkligen behöver. Just nu kanske du undrar om det var värt att förstöra RAM- och SSD-marknaden, göra datorer, mobiltelefoner, konsoler och praktiskt taget allt dyrare. Och det är en fråga som är vettig i världen, men det finns ett annat intressant faktum.

Till värre. Som vi ser i TechRadar påpekar de ansvariga för Cast AI att det är "tredje året som vi publicerade den här rapporten och siffrorna blir sämre." Specifikt talar vi om att CPU-användningen minskade från 10 % förra året till 8 % för närvarande, medan minnesanvändningen sjönk från 23 % till 20 %.

Överdimensionerade behov. Något som rapporten också påpekar är att även om användningen av utrustning minskar jämfört med föregående år, fortsätter hyperskalare att köpa som om världen skulle gå under.

CPU-överprovisionering, som de beskriver det, ökade från 40 % till 69 %. När det gäller minne gick det till 79%.

FOMO. För några veckor sedan påpekade en av ledarna för SMIC, Kinas stora gjuteri, redan att Big Tech köpte alla resurser de kommer att behöva, eller tror att de kommer att behöva, under det kommande decenniet... men inom bara ett par år. De investerar en förmögenhet på att skapa breda motorvägar när det inte finns några bilar eller verklig efterfrågan, och från Cast AI pekar de i samma riktning.

Hyperscalers köper bitvis på grund av rädsla för att bli utanför. Det är det som kallas FOMO eller rädsla för att missa, något som gäller många scenarier, men här har det att göra med att man inte vill komma sist i loppet som flyttar många miljoner från en plats till en annan. Denna hamstringsinstinkt underblåser en cykel av komponentbrist som påverkar konsumenterna, men också industrin själv.

Enligt rapporten är det meningsfullt att vilja köpa allt så snart som möjligt eftersom leveranstiderna är långa, men det är just så för att alla köper mer kapacitet än de behöver. I Xataka är datacentren riktiga "värmare". Och de bosätter sig i områden som är lika heta som Aragon.

Matematiken fungerar inte. I analysen påpekar de också att det finns kluster som inte har så dåliga prestanda och att det finns några som använder 49% av sin H200 eller 30% av sin H100, långt över de tidigare nämnda 5%, men det är inte normen. Och förutom att ha exploderat komponentmarknaden är konsekvensen av att ha så mycket utrustning inaktiv att de förlorar pengar på att de inte är lönsamma.

Enligt beräkningar kostar en oanvänd CPU några cent per timme, men en ledig GPU kostar flera dollar. Och däri ligger en annan nyckel till hela denna fråga. Amazon eller Azure datacenter tjänar till att tillfredsställa kraven från sina egna företag, men de hyr också ut datorkraft till den som behöver den.

Och eftersom det kostar pengar att stoppa GPU:erna, har det under de senaste månaderna rapporterats att priserna på dessa hyror mångdubblas. När ska allt ta slut? Cast AI är inte optimistiska, eftersom de hävdar att de flesta hyperscalers föredrar att stå för kostnaderna snarare än att ändra sina vanor av rädsla för att detta kommer att ta fart en dag och fånga dem på fel fot.

Översättningen är att... Jag kommer aldrig att ha min Steam Machine, eftersom alla är fokuserade på att göra AI-hårdvara. Bild | NVIDIA i Xataka | Det finns datacenter som övervakas och bevakas av robothundar eftersom framtiden tydligen redan är nuet