Dabartiniai AI duomenų centrai susiduria su dviem pagrindiniais mastelio keitimo taškais, o tradicinis mastas - aukštyn ir mastelio - Out modeliai stengiasi patenkinti giga - mastelio AI poreikius:
Mastelio - UPP apribojimai: Pasiekta atnaujinant pavienes sistemas ar stelažus (pvz., Padidinus GPU skaičiavimą arba patobulinant pavienį - įrenginio našumą), tačiau juos riboja galios lubos iš infrastruktūros, pavyzdžiui, vandens aušinimo. Esami duomenų centrai turi fizinius galios įvesties ir šilumos išsklaidymo slenksčius, užkertant kelią begaliniam skaičiavimo tankio padidėjimui viename stovo ar duomenų centre.
Mastelis - išeina apribojimai: Išplėstas pridedant stelažus ir serverius į klasterius, tačiau fizinę erdvę ribojama vienoje vietoje, nustatydami kietas dangtelius įrangos talpai.
Norėdami įveikti šią dilemą, NVIDIA siūlo naują „skalės - skersai“ dimensiją, optimizuojant tinklo ryšį tarp geografiškai išsklaidytų duomenų centrų, kad paskirstytos AI grupės bendradarbiauja. „NVIDIA“ įkūrėjas ir generalinis direktorius Jensenas Huangas apibūdina šį kryžių - regioninį AI super gamyklą kaip pagrindinė AI pramonės revoliucijos infrastruktūra, kai „Spectrum“ - xgs yra pagrindinė technologija.
Pagrindinės spektro technologijos - xgs
Spektras - xgs nėra visiškai nauja aparatinės įrangos platforma, o NVIDIA esamo spektro -} EThernet ekosistemos evoliucija. Nuo 2024 m. Paleidimo „Spectrum - X“ pateikė 1,6x aukštesnę generatyvinį AI tinklo našumą nei tradicinis Ethernet per spektrą - 4 architektūros SN5600 jungikliai ir „Bluefield“ {{11- 3 DPU, tapdamas pagrindiniu AI duomenų centrų pasirinkimu, naudojant NVIDIA GPU. „Spectrum-XG“ proveržis yra trijose algoritminėse naujovėse ir aparatinės įrangos sinergijoje, kurioje nagrinėjamos komunikacijos latencijos, spūstys ir sinchronizacijos iššūkiai tarp regioninių GPU grupių.
1.Core algoritmai: dinaminis pritaikymas prie ilgo - atstumo tinklo charakteristikų
Spektras - XGS šerdis yra „Atstumo - žinių tinklo optimizavimo algoritmų“ rinkinys, kuris analizuoja pagrindinius kryžminių - duomenų - centrinės komunikacijos parametrus realiais - laiko (atstumo, srauto modeliais, smukimo lygiais, efektyvumo metrika) ir dinamiškai pakoreguoti tinklą::
Atstumas - adaptyvioji spūsčių valdymas:Skirtingai nuo tradicinio Ethernet'o vienodo visų jungčių gydymo, spektras - XGS algoritmai automatiškai sureguliuoja spūsčių slenksčius, atsižvelgiant į faktinius atstumus tarp duomenų centrų (šiuo metu palaikantys dislokacijas iki šimtų kilometrų), vengiant paketų praradimo ar ilgo kaupimosi per ilgą {{1} atstumo transliaciją.
Tikslus vėlavimo valdymas:Per {- paketą fine - grūdintą adaptyvųjį maršrutą, jis pašalina latentinio virpesį iš paketų retransliacijų tradiciniuose tinkluose. „Jitter“ yra kritinis pavojus AI grupėse: jei vienas GPU atsilieka dėl vėlavimo, visi bendradarbiavimo GPU turi palaukti, tiesiogiai paveikdamas bendrą rezultatą.
Pabaiga - į - pabaigos telemetriją: Tikras - laiko rinkimas pilnai - susieti našumo duomenis iš GPUS į jungiklius ir kirsti - duomenis - centro nuorodos suteikia milisekundę - lygio atsiliepimų apie algoritminius reguliavimus, užtikrinant dinamišką tinklo statuso suderinimą su AI darbo krūvio reikalavimais.
2. Aparatūros sinergija: „Spectrum“ panaudojimas - X Ecosystem's High - pralaidumo pagrindas
Spektras - xgs pasiekia optimalų našumą, kai derinamas su konkrečia NVIDIA aparatine įranga:
Spectrum - x jungikliai: Kaip pagrindinis tinklo stuburas, užtikrinantis didelį prievadų tankį ir žemą - latentinį persiuntimą.
„Connectx-8“ supernic: 800 GB/S AI - Dedikuotas tinklo adapteris aukštai - greičio duomenų perdavimui tarp GPU ir jungiklių.
„Blackwell“ architektūros aparatūra: Pavyzdžiui, B200 GPU ir GB10 Superchips, giliai integruotas su spektru - xgs, kad būtų sumažintas galas - iki - pabaigos latentinis. NVIDIA validated through NCCL (collective communications library) benchmarks: Spectrum-XGS boosts communication performance between cross-data-center GPUs by 1.9x while controlling end-to-end latency at about 200 milliseconds-a level that Jaučiasi reaguojančiai ir atsilieka - nemokamai vartotojo sąveikai, tenkinant tikrąjį - laiko reikalavimus AI išvadai.
Visas - krūvos optimizavimas AI mokymui ir išvadų efektyvumui naudojant spektrą - xgs
Spektras - xgs yra ne atskira technologija, o pagrindinis „NVIDIA“ viso - stack AI ekosistemos priedas. Šiame leidime „NVIDIA“ taip pat atskleidė programinę įrangą - lygio našumo patobulinimai, kurie sinergizuoja su spektru - xgs, skirta aparatinei įrangai - algoritm - programinės įrangos bendradarbiavimui:
„Dynamo“ programinės įrangos atnaujinimas: Optimizuota „Blackwell“ architektūrai (pvz., B200 sistemoms), siekiant padidinti AI modelio išvadų našumą iki 4x, žymiai sumažinant skaičiavimo suvartojimą dideliam modelio išvadoms.
Spekuliacinė dekodavimo technologija: Naudoja nedidelį juodraščio modelį, kad iš anksto numatytų kitą pagrindinio AI modelio išvesties ženklą, sumažindamas pagrindinio modelio skaičiavimą ir padidindamas išvadų našumą dar 35%. Tai ypač tinka pokalbio išvadų scenarijams didelių kalbų modeliuose (LLM).
„NVIDIA“ pagreitinto skaičiavimo departamento direktorius Dave'as Salvatorius pareiškė, kad pagrindinis šių optimizavimo tikslas yra išplėsti ambicingas agentų AI programas. Nesvarbu, ar treniruočių trilijonas - parametrų dideli modeliai, ar palaikantys AI išvadų paslaugas milijonams vienalaikių vartotojų, „Spectrum -} XG“ derinys ir programinės įrangos ekosistema pateikia nuspėjamą našumą.
Ankstyvosios spektro programos ir pramonės poveikis - xgs
Pirmieji vartotojai: „CoreWeave Pioneers Cross“ - domeno AI super gamyklos„GPU Cloud“ paslaugų teikėjas „CoreWeave“ yra vienas iš pirmųjų „Spectrum -} xgs“ priėmėjų. Bendrovės bendras „CO -“ įkūrėjas ir CTO Peteris Salanki pažymėjo, kad ši technologija leis savo klientams pasiekti „Giga“ - mastelio AI galimybes, pagreitins proveržį įvairiose pramonės šakose. Pavyzdžiui, palaikant „Ultra -“ didelę - mastelio AI projektus, tokius kaip „Stargate“ iniciatyva iš „Oracle“, „SoftBank“ ir „Openai“.
Pramonės tendencijos: „Ethernet“ pakeičia „Infiniband“ kaip AI tinklo pagrindinė dalisNors 2023 m. „Infiniband“ surengė apie 80% AI „Backend“ tinklo rinkos, pramonė greitai keičiasi į „Ethernet“. NVIDIA pasirinkimas sukurti spektrą - xgs eterneto suderinimo su šia tendencija:
Suderinamumas ir išlaidos pranašumai:„Ethernet“ yra universalus pasaulinių duomenų centrų standartas, labiau žinomas tinklo inžinieriams ir pigiau dislokuoti nei „Infiniband“.
Rinkos skalės prognozės:„Dell'oro“ grupės duomenys rodo, kad „Ethernet Data Center Switch“ rinka per ateinančius penkerius metus pasieks beveik 80 milijardų JAV dolerių.
Nvidijos augimas: 650 grupės ataskaitos nurodo NVIDIA kaip „greičiausią - augantį pardavėją“ 2024 m. Duomenų centro jungiklių rinkoje, kai jos tinklų verslo pajamos siekia 5 milijardus dolerių Q 2 2024 (pabaiga balandžio 27 d.), Iki 56% metų -} per {}}} metus.
„Spectrum“ paleidimas - xgs praplečia „NVIDIA“ pilną - krūvos monopolijos strategiją AI infrastruktūroje, tuo pačiu sukeldamas naują konkurencinę dinamiką:
NVIDIA pilna - kamino išdėstymas: Nuo GPU (Blackwell), sujungtos jungtys (nvlink/nvlink jungikliai), tinklai (spektras - x/spektras - xgs, kvantinis - x infiniband) į programinę įrangą (cuda, tensorrt - llm, nim mikroservisas), nvidian Uždaryta kilpa, apimanti „Apskaičiuoti - connect - programinę įrangą“, skirtą AI infrastruktūrai. Spectrum-XGS synergizes with NVLink for three-level scaling: intra-rack (NVLink), intra-data-center (Spectrum-X), and cross-data-center (Spektras - xgs).
Konkurentų atsakymai: Ankstesnė „Broadcom“ „SUE“ technologija dalijasi panašiais tikslais su „Spectrum - XGS“, siekdama optimizuoti „Ethernet“ našumą, kad būtų panaikinta spraga su „Infiniband“. Be to, tokie pardavėjai, tokie kaip „Arista“, „Cisco“ ir „Marvell“, pagreitina AI - skirtus eterneto jungiklius, o konkurencijos sutelkia į našumą - kainą - ekosistemos suderinamumo.
Pagrindinė spektro vertė - xgs yra AI duomenų centro mastelio keitimas nuo „Single - svetainės apribojimų“ iki „Cross - regioninio bendradarbiavimo“. Kai galia ir žemė tampa sunkiais vieno duomenų centrų ribomis, kryžminkite - miestą ir kryžminę - šalis AI super gamyklos taps pagrindine forma, palaikančia kitą - AI programos (pvz.
Kadangi „Nvidia“ tinklų departamento vyresnysis viceprezidentas Giladas Shaineris peržiūrėjo „Hot Chips“ konferenciją: „Cross - duomenys - centro šviesolaidžio fiziniai tinklai jau seniai egzistavo, tačiau programinės įrangos algoritmai, tokie kaip spektras - XG, yra svarbiausia, kad būtų galima atremti tikrus šias fizines infrastruktūras“.
