Cablări de fibră pentru centrele de date AI: 400G/800G și clustere GPU

Răspuns rapid: Ce cablare cu fibră este cea mai bună pentru centrele de date AI?

Pentru majoritatea centrelor de date AI care rulează clustere GPU de 400G sau 800G, designul de strat fizic recomandat-este un sistem structurat de cablare din fibră construit în jurulFibră OM4, OM5 sau OS2, pierdere-scăzutăTrunchiuri MTP/MPO, panouri de corecție cu densitate mare-, polaritate documentată și testare completă de acceptare. Utilizați OM4 sau OM5 pentru legăturile scurte de la GPU-la-foarte și utilizați fibră mono-OS2 pentru coloana vertebrală, inter-clădire, DCI sau legături de acces-in viitor incert.

1. De ce cablul de fibră optică este baza potrivită pentru centrele de date AI

Centrele de date AI nu sunt pur și simplu versiuni mai mari ale centrelor de date tradiționale ale întreprinderilor. Pregătirea modelelor mari de limbă, sistemele de recomandare, încărcăturile de lucru pentru-viziunea computerizată și conductele de inferență distribuite depind toate de o lățime de bandă mare, de comunicare cu fluctuații reduse-pentru multe GPU-uri. Rețeaua trebuie să mute gradienți, fragmente de model, puncte de control, trafic de stocare și trafic de gestionare, fără a transforma cablarea într-un blocaj ascuns.

Cuprul încă mai are un rol foarte scurt în-legăturile de rack, în special DAC rulează sub câțiva metri. Dar, de îndată ce designul se întinde pe mai multe rafturi, mai multe rânduri sau mai multe straturi de comutare, fibra devine mediul mai scalabil. Fibra oferă o densitate mai mare a lățimii de bandă, o rază mai lungă de acțiune, greutate mai mică a cablului, un flux de aer mai bun și imunitate la interferențe electromagnetice în medii dense de 30-100 kW GPU.

1.1 Patru proprietăți care conduc la primul design optic-

2. Alegerea tipului de fibră potrivit: OM3, OM4, OM5 și OS2 în comparație

Decizia tipului de fibră stabilește plafonul pentru viitoarele actualizări de viteză. Transceivele și comutatoarele pot fi înlocuite la fiecare câțiva ani, dar sticla poate rămâne în clădire timp de 15-20 de ani dacă este instalată și documentată corect. Alegerea unei fabrici de fibră de calitate inferioară-pentru a economisi un procent mic din costul inițial de cablare poate crea un cost de re-retragere mult mai mare în timpul următoarei reîmprospătări hardware a GPU-ului.

Glory Optical'sGama de cabluri de fibră optică de interiorinclude opțiuni OM4, OM5 și OS2 pentru mediile controlate de centre de date-. Următoarele reguli de selecție se aplică indiferent dacă proiectul este un teren nou sau o actualizare de la 400G-la 800G.

2.1 Matricea de comparație completă

2.2 Regula de selecție a fibrelor în 30 de secunde

3. Conectori și polaritate: MPO-12, MPO-16, MTP și obținerea corectă a tipului B față de tipul C

Odată ce vitezele de legătură depășesc 400G, multe canale devin legături optice paralele. În loc de o fibră de transmisie și una de recepție, mai multe benzi transportă semnalul total. În acest moment, calitatea conectorului și disciplina polarității devin principalele cauze ale defecțiunilor de câmp. Un cablu de fibră perfect poate eșua dacă benzile de transmisie și recepție sunt inversate incorect.

3.1 MPO vs. MTP

MPO este interfața cu conector multi-push-fibră definită de standardele IEC/TIA. MTP este implementarea compatibilă cu MPO-proiectată de US Conec, cu toleranțe mecanice mai strânse, o virolă flotantă și, de obicei, pierderi de inserție mai mici. Pentru 400G și 800G, specificați ansamblurile MTP/MPO cu pierderi mici-în cazul în care marja canalului este îngustă.

Glory consumabile opticeAnsambluri și portbagaj MTP/MPOpentru cablarea centrului de date cu densitate mare-, inclusiv trunchiuri OS2, OM4, OM5, MPO-la-MPO, întreruperi de la MPO-la-LC, ansambluri etichetate cu polaritate-și documentația de testare din fabrică.

3.2 Numărul de fibre: MPO-8, MPO-12, MPO-16 și MPO-24

3.3 Managementul polarității

Nepotrivirile de polaritate sunt una dintre cele mai frecvente probleme de tip „link nu va apărea” în materialele AI cu densitate mare-. Problema este recuperabilă, dar depanarea producției poate pierde ore întregi dacă polaritatea nu a fost documentată înainte de instalare.

3.4 APC vs. UPC End-Face

Conectorii UPC sunt obișnuiți în multe legături scurte la centrele de date multimod și în multe{0}}moduri unice. Conectorii APC folosesc o față înclinată de 8-grade-pentru a reduce reflexia-din spate și sunt obișnuite în cazul în care pierderea de retur trebuie controlată. Nu conectați niciodată conectorii APC și UPC împreună; nepotrivirea geometriei poate deteriora suprafața de capăt și poate crea pierderi severe de inserție.

4. Arhitectură de rețea: Frontend, Backend, Leaf-Spine și GPU Rails

Fiecare centru de date AI operează mai multe rețele, dar cele două cele mai importante din punct de vedere al cablării sunt rețeaua frontală și structura AI backend. Acestea transportă trafic diferit, se comportă diferit sub sarcină și nu ar trebui tratate ca aceeași problemă de cablare.

4.1 Arhitectură cu șine-frunze optimizate-coloanei vertebrale

Într-o țesătură GPU optimizată pe șină-, fiecare GPU sau grup NIC este mapat la o anumită șină de comutator. Acest model reduce aglomerația pentru operațiunile colective și ajută la menținerea previzibilă a traficului fierbinte de antrenament. Pentru echipa de cablare, înseamnă că planul trunchiului trebuie să oglindească exact harta GPU-la-foarnă. O etichetă de cablare nu este doar o etichetă; devine parte din topologia clusterului.

4.2 Aspect fizic-layer recomandat

Pentru clusterele care depășesc câteva sute de GPU, corecția directă devine dificil de utilizat. O abordare structurată folosindpanouri de corecție cu fibră optică, modulele de casete, trunchiurile pre-terminate și etichetarea-pe șină oferă echipei de operațiuni o cale de a face upgrade, de a izola defecțiunile și de a adăuga capacitate fără recablare pe toată-noapte.

5. Matematică privind bugetul de pierdere: de ce 0,5 dB pot pune capăt unui antrenament

Fiecare legătură optică funcționează într-un buget de putere finit stabilit de specificația transceiver-ului. Atenuarea fibrelor, pierderea de inserare a conectorului, îmbinări, casete, panouri de corecție, contaminarea la capăt-față, variația de temperatură și uzura de manipulare toate consumă acest buget. Când pierderea depășește limita canalului, legătura poate să nu reușească să se antreneze sau să ruleze cu FEC puternic, crescând puterea și latența.

5.1 Bugetele de pierdere de referință pentru 400G și 800G

Perspectiva cheie este simplă: la 800G, o singură față-MPO murdară poate consuma o mare parte din marja disponibilă. Din acest motiv, inspecția și curățarea conectorului ar trebui să fie o poartă de punere în funcțiune, nu o sarcină de-cel mai bun efort după ce o legătură eșuează.

5.2 Șablon de calcul al bugetului de pierdere

6. Managementul cablurilor, implementarea și testarea

6.1 Pre-Terminat vs. Field-Terminat

6.2 Managementul cablurilor la densitate mare a fibrelor

• Menține raza de curbură:respectați limitele producătorului cablului în timpul tragerii și după instalare.
• Protejați fluxul de aer:fasciculele de deasupra și de sub podea nu trebuie să blocheze fluxul de aer de retur-fierbinte al culoarului.
• Etichetă înainte de instalare:ambele capete ale fiecărui portbagaj trebuie să fie etichetate înainte de a trage cablul.
• Cod-culoare după șină și pod:verificarea vizuală reduce erorile în timpul ferestrelor de întreținere.
• Rezervați calea de rezervă:clusterele AI se extind ne-liniar; saturația căii este adesea mai greu de fixat decât saturația portului.

6.3 Protocol de testare cu patru-niveluri

Curățarea conectorului este deosebit de importantă pentru 800G. Vedeți Glory Opticalghid de curățare a conectorului de fibră opticăpentru procedurile de inspect-curat-inspectare și greșeli obișnuite de curățare.

7. Manualul de migrare de la 400G la 800G

Majoritatea operatorilor nu construiesc dintr-o foaie goală. Ei operează astăzi 400G, se confruntă cu presiunea de a implementa generații de GPU 800G și au nevoie de un plan de migrare care să păstreze cât mai mult posibil din instalația de cablu existentă. Abordarea corectă este etapizată, documentată și testată înainte de întreruperea producției.

8. Pregătirea pentru 1.6T: Arhitectură, Fibră și Cronologie

Planificarea Ethernet 1.6T devine parte a foilor de parcurs ale centrelor de date AI. IEEE 802.3df-2024 acoperă 400G și 800G Ethernet, iar IEEE P802.3dj este activitatea în curs pentru operarea 200G, 400G, 800G și 1.6T. Deoarece standardele, formatele de module și implementările furnizorilor continuă să evolueze, cablarea 1.6T ar trebui scrisă ca un plan de pregătire, mai degrabă decât o presupunere fixă ​​a produsului.

8.1 Patru decizii privind infrastructura de luat astăzi

• Plant de fibre:alegeți OM5 sau OS2 pentru rutele noi unde incertitudinea de actualizare este mare.
• Calea conectorului:rezervați spațiu pentru formate MPO cu un număr mai mare de-fibre- și design-uri viitoare.
• Densitatea panoului de corecție:evitați umplerea primei instalații la 100%; densitatea de rezervă este un activ de upgrade.
• Rezervare cale CPO:ține cont de viitoarea rută a fibrei frontale a comutatorului-pentru optica co-ambalată.

8.2 1.6T Listă de verificare a pregătirii

9. ROI și TCO: Making the Fiber Investment Case

Infrastructura de fibră este uneori contestată în etapa de aprobare a CAPEX, deoarece linia de cablu este vizibilă, în timp ce costurile evitate sunt mai puțin evidente. Un model TCO mai complet include optică, forță de muncă, putere, răcire, reprelucrare, timpi de nefuncționare, MTTR și riscul de re-retragere în viitor.

10. Standarde de referință în cererile de propuneri și documentele de proiectare

Citarea standardelor potrivite în documentele de achiziție face propunerile furnizorilor comparabile și ajută testarea de acceptare să rămână obiectivă. Standardele de mai jos ar trebui folosite ca referințe, versiunea finală fiind verificată în timpul achiziției.

11. Lista de verificare pentru achiziții pentru cablarea prin fibră a centrului de date AI 400G/800G

Înainte de a plasa o comandă, lista de materiale trebuie verificată în raport cu arhitectura rețelei și condițiile de instalare. Acest lucru previne polaritatea greșită, numărul insuficient de fibre, nepotrivirea conectorilor, pierderea-bugetului și lipsa capacității de rezervă.

Informații de confirmat înainte de cotație

• Viteza tinta:Design gata-400G, 800G sau 1.6T.
• Tipul fibrei:OM4, OM5 sau OS2 bazat pe distanță și pe foaia de parcurs de upgrade.
• Tip conector:LC, MPO-12, MPO-16, MPO-24 sau planificare cu densitate mai mare.
• Metoda polarității:Tip A, Tip B sau Tip C, documentate înainte de producție.
• Sexul conectorului și orientarea cheii:deosebit de important pentru trunchiurile MTP/MPO și sistemele de casete.
• Cerință privind pierderea inserției:ansambluri standard-pierdere sau cu pierdere-scăzută/de elită-.
• Evaluare jachetă:Cerințe LSZH, OFNR, OFNP sau-specifice pentru ignifugare-proiectului.
• Program de lungime:lungimea traseului măsurată plus bucla de serviciu și planul de gestionare a slăbirii.
• Regula de etichetare:pod, rack, șină, port comutator, ID trunchi și portul destinație.
• Raport de testare din fabrică:pierderi de inserție, pierderi de retur, acolo unde este cazul, polaritate și înregistrări ale inspecției vizuale.

12. Întrebări frecvente

Î: Ce fibră este cea mai bună pentru centrele de date AI 400G și 800G?

R: Pentru conexiunile scurte de la GPU-la-foarte sub aproximativ 100 m, fibra multimod OM4 sau OM5 cu trunchiuri MTP/MPO cu pierderi reduse-este, de obicei, cea mai rentabilă alegere-. Pentru coloana vertebrală, inter-clădire, DCI sau legături-de acoperire în viitor incert, fibra OS2 cu un singur-mod este de obicei mai sigură. OM5 sau OS2 ar trebui luate în considerare atunci când proiectul are nevoie de o cale de migrare mai puternică de 1.6T.

Î: Care este diferența dintre conectorii MPO și MTP?

R: MPO este interfața cu conector multi-fibre push-on definită de standardele IEC/TIA. MTP este implementarea compatibilă cu MPO-proiectată de US Conec, cu toleranțe mecanice mai strânse, o virolă flotantă și, de obicei, pierderi de inserție mai mici. Pentru canalele 400G și 800G, MTP cu pierderi reduse-sau ansamblurile MPO echivalente ajută la păstrarea marjei optice.

Î: Ce polaritate ar trebui utilizată pentru optica paralelă 800G?

R: Tipul-B rămâne obișnuit în implementările 40G până la 400G. Pentru proiectele 800G SR8 sau DR8, polaritatea ar trebui să fie confirmată față de designul exact al transceiver-ului, casetei și portbagajului. Cheia este să nu presupuneți: documentați polaritatea în BOM, eticheta cablului, înregistrarea panoului de corecție și lista de verificare de acceptare înainte de producție.

Î: De ce cablarea 800G necesită curățare și inspecție mai strictă?

R: Link-urile de -scurtă acoperire 800G au adesea o marjă de pierdere-optică îngustă. Un capăt-MPO murdar poate consuma o mare parte din bugetul disponibil, determinând eșuarea conexiunii sau rularea cu FEC puternic. Procedurile de inspectare-curată-inspectare bazate pe IEC 61300-3-35 ar trebui să facă parte din punerea în funcțiune, nu o etapă opțională de teren.

Î: O fabrică existentă de fibră 400G poate fi actualizată la 800G?

R: De multe ori da, dar depinde de tipul de fibră, lungimea conexiunii, numărul de conectori, polaritatea, numărul de fibre trunchiului și pierderea de inserție. Canalele OM4 pot accepta 800G-SR8 numai pe distanțe scurte controlate cu conectori cu pierderi reduse-. Legăturile OS2 oferă, în mod normal, mai multă flexibilitate, dar necesită o economie optică diferită.

Î: Ce informații ar trebui să furnizez pentru o ofertă pentru cablarea unui centru de date AI?

R: Furnizați viteza țintă, numărul de rack, modelul comutatorului, harta portului GPU sau NIC, tipul de fibră, lungimea estimată a rutei, formatul conectorului, preferința de polaritate, planul de panouri de corecție-, evaluarea jacket-ului și documentația de testare necesară. O hartă portului sau un desen al cotei rack ajută la transformarea designului într-o BOM precisă.

Produse de cablare cu fibră înrudite pentru centrele de date AI

Proiectele de centre de date AI necesită în mod normal mai mult de un tip de componentă de fibră. Pentru a reduce problemele de compatibilitate, cablul trunchiului, panoul de corecție, caseta, conectorul și documentația de testare ar trebui să fie planificate ca un singur sistem în loc de elemente rând separate.