Kentino sro
K-AI 192 Turin2U RTXPro6000 4000TOPS — 2× RTX Pro 6000 Blackwell Server Edition — 2U Turin SP5
K-AI 192 Turin2U RTXPro6000 4000TOPS — 2× RTX Pro 6000 Blackwell Server Edition — 2U Turin SP5
受取状況を読み込めませんでした
K-AI 192 Turin2U RTXPro6000 4000TOPS
192 GB ECC Blackwelli lipulaevpaar
2x RTX Pro 6000 serveriväljaanne | EPYC Turin SP5 | 4000 TOPS INT8
Kaks passiivset RTX Pro 6000 Blackwell Server Edition kaarti – kumbki 96 GB ECC mäluga. Vähem tensorparalleelset üldkulu kui 4- või 8-kaardilistel mudelitel. Andmekeskuse lipulaevpaar Gen5/DDR5 2U platvormil ehtsa 1+1 redundantse toitega.
2U riiulile paigaldatav järeldusserver kahe passiivse RTX Pro 6000 Blackwell Server Edition kaardiga (96 GB ECC GDDR7 kaardi kohta), ühe AMD EPYC 9335 Turin protsessoriga (32C/64T, 3.0/4.4 GHz), 512 GB DDR5-4800 ECC, 5.76 TB andmekeskuse 5. põlvkonna NVMe ja 1+1 redundantse 2.7 kW 80+ Platinum CRPS toiteplokiga. Alates 56 600 eurost ilma käibemaksuta. 70B tihedusega bf16 ja keskmise suurusega MoE puhul on vähem suuri kaarte parem kui rohkem väikeseid kaarte – kahe kaardiga tensorparalleelsus on minimaalse kommunikatsioonikoormusega ja iga 96 GB kaart sisaldab enamiku mudelite täielikku koopiat.
Sama 192 GB Blackwelli paar nagu meie 4U Rome ehituses, 2U riiulitihedas ASRocki šassiis, millel on täielik Gen5 hostipoolne DDR5-4800 mälu ja ehtne 1+1 redundantne 2.7 kW Platinum CRPS toiteplokk. Valige see ehitus, kui riiulitihedus on oluline, kui teie toetuse või hanke spetsifikatsioon nõuab kaasaegset PCIe 5.0 / DDR5 platvormi või kui redundantne toide on pigem nõue kui lisamüük.
riistvara
| Komponent | detail |
|---|---|
| GPU | 2x NVIDIA RTX Pro 6000 Blackwell Server Edition 96 GB ECC GDDR7 (passiivne, 600 W, PCIe 5.0 x16, kahe pesaga) |
| VRAM-i bassein | 192 GB ECC (96 GB x 2) – iga kaart mahutab 70B bf16 mudeli eraldiseisva mälu |
| Protsessor | AMD EPYC 9335 Turin (32C/64T, 3.0/4.4 GHz, 210 W, SP5, 128x PCIe 5.0 rajad, Zen5c, 256 MB L3) |
| Emaplaat | ASRock Rack 2U4G-GENOA/M3 (SP5, 4x PCIe 5.0 x16 kahe pesaga graafikakaart, 8x DDR5 1DPC, OCP 3.0, IPMI AST2600) |
| Süsteemi RAM | 512 GB DDR5-4800 ECC RDIMM (8x 64 GB, 1DPC täielikult asustatud -- maksimaalse ribalaiusega konfiguratsioon) |
| Saapa/panipaik | Kioxia CD8-P 3.84 TB Gen5 U.3 (kuumtasand, 1 DWPD, ~12 GB/s lugemine) + Kioxia CD8-P 1.92 TB Gen5 U.3 (käivitusoperatsioonisüsteemi tasand) -- 5.76 TB andmekeskuse Gen5 NVMe kokku |
| Toiteallikas | 1+1 redundantne 2.7 kW 80+ Platinum CRPS (2x 1350 W pingel 230 V) – tõeline N+1 redundantsus; üks toiteplokk talub täielikku koormust |
| Šassii | 2U riiulile kinnitatav korpus eest taha suunatud õhuvooluga (80 mm kõrgsurveventilaatorid). Töötab ööpäevaringselt. |
| Jahutus | SP5 aktiivne protsessori jahutusradiaator + 3x 80x38 mm esivõtuava + 1x 80x80 mm tagumine väljalaskeava (mõeldud 4x passiivse GPU soojuskoormuse jaoks; 2-kaardiline paigutus pakub piisavalt jahutusruumi) |
| võrk | Intel X710-T2L PCIe kahekordne 10GBASE-T + OCP 3.0 pesa 25/100 GbE uuenduseks |
Võimsusümbris
- Graafikaprotsessori energiatarve: 2x 600 W = 1200 W
- Süsteemi koguvõimsus täiskoormusel: ~1825 W
- Toiteploki konfiguratsioon: 1+1 varutoiteline CRPS, 2x 1350 W pingel 230 V (kokku 2700 W)
- Kõrgusruum: 44.1% tüüpilise koormuse korral
- Tõeline N+1 redundantsus – üks toiteplokk talub täielikku järeldamiskoormust; ühe toiteploki rikkeohtu pole
Raja topoloogia
PCIe Gen5 x16 otsast-otsa – nii hosti kui ka kaardi natiivne Gen5. Otseühendus juurkompleksiga, PCIe kommutaatorit pole. Saadaval on üks PCIe 5.0 x16 ühe pesaga + üks PCIe 5.0 x8 pesa (võrgukaart hõivab x8 pesa). NVLinki pole – graafikakaartidevaheline peer-to-peer ühendus PCIe kaudu. Gen5 ribalaius välistab 4U Rome'i õe-kaardil oleva Gen4 hostipiirangu.
Mida sa joosta saad
192 GB ECC videomäluga vaid kahel Blackwelli kaardil, millel on natiivne fp8/fp4, on see kõige puhtam tee tiheda 70B edastuskiiruse saavutamiseks bf16 ja keskmise suurusega MoE juures. Kaks sõltumatut 70B voogu – üks kaardi kohta – või 200B MoE mõlema kaudu minimaalse kahesuunalise TP üldkuluga.
LLM-id -- tekst / arutluskäik / kodeerimine
Hiina piir
- Qwen3 / Qwen3.5 (Alibaba): Qwen3-235B-A22B Q4 (~132 GB) mugav pika ctx-iga (~15-25 tok/s ühe vooga kahe kaardi vahel); Qwen3-Coder-480B-A35B Q2 (~160 GB); Qwen3.5-122B-A10B fp8 (~75 GB); Qwen3-32B tihe bf16 tohutu KV-ga; QwQ-32B bf16
- DeepSeek: DeepSeek-V3/R1 Q2 (~215 GB väikese RAM-i hajumisega) -- Blackwell käitab natiivselt fp8-d; DeepSeek-R2 32B bf16-l kaks samaaegset voogu (üks kaardi kohta)
- GLM / Z.ai: GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) -- selle taseme kangelase konfiguratsioon; GLM-4.5-Air fp8 või bf16 tohutu KV-ga
- Tencent Hunyuan: Hunyuan-Large Q3 (~160 GB) -- 389B MoE 256k ctx-ga; Hunyuan-A13B fp8 natiivne (~80 GB tohutu KV-ga)
- Teised: Baidu ERNIE-4.5-424B Q3 (~180 GB); InternVL3.5-241B-A28B Q4 (~135 GB); MiniMax-M1 Q3 (~180 GB)
Läänepiir
- Metalaama: Llama 3.3 70B bf16 ühel kaardil -- kaks sõltumatut samaaegset 70B voogu (~20-30 tok/s voo kohta); Llama 4 Scout bf16 (~218 GB, piiratud); Llama 4 Maverick Q3 (~188 GB)
- Mistral: Mistral Large 2 / Pixtral Large / Devstral 2 123B Q6 (~88 GB) ühe või mõlemaga bf16; Mistral Small 3 mitme voogega
- OpenAI (avatud kaalud): gpt-oss-120b MXFP4 natiivne (80 GB) -- mahub ÜHELE kaardile, kaks sõltumatut samaaegset voogu
- NVIDIA Nemotron: Llama-3.1-Nemotron Ultra 253B Q4 (~147 GB); Super 49B bf16 ühel kaardil
- Teised: Cohere Command R+ 104B Q6 (~85 GB) ühel kaardil; Google Gemma 3 27B bf16 mitu samaaegset voogu
Nägemis-keele mudelid
InternVL3.5-241B-A28B Q4 (~135 GB); Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B bf16 ühekordne kaart; Pixtral Large 124B bf16 või Q6; Llama 3.2 90B Vision bf16 (~180 GB); Molmo 72B bf16 (~144 GB); GLM-4.6V 106B fp8; Gemma 3 27B multimodaalne x 2-3 samaaegset voogu.
Pildi genereerimine
FLUX.1 [dev] bf16 mitu samaaegset voogu; FLUX.1 Kontext [dev]; FLUX Tools; SD 3.5 suur bf16 samaaegne; HunyuanImage-2.1 bf16 (~34 GB) x 2-4 samaaegset; HunyuanImage-3.0 baas (80B MoE, 13B aktiivset) bf16 -- mahub ühele kaardile; HunyuanDiT; Kolors / Kolors 2.0; AuraFlow; OmniGen v1; PixArt-Sigma.
Video genereerimine
Wan 2.2 MoE kahe eksperdi bf16 täiskontekst -- mahub ühele kaardile, kaks samaaegset genereerimisvoogu; Wan 2.2 TI2V-5B; HunyuanVideo 13B bf16 mõlemad eksperdid; HunyuanVideo 1.5; CogVideoX-5B bf16; Open-Sora 2.0 11B bf16; Mochi-1 bf16 (~42 GB); LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Heli / kõne / TTS
- ASR: Whisper v3 suur / turbo (~50x reaalajas); Parakeet-TDT; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; XTTS v2; Stabiilne heli avatud; Step-Audio-EditX
- Reaalajas / S2S: Kyutai Moshi 7B; Step-Audio 2 mini/R1; Qwen2.5-Omni-7B
- Muusika / heliefektid: MusicGen / AudioGen / Bark; SeamlessM4T v2
Mitme mudeli / mitme üürniku teenindus
- Kaks sõltumatut 70B voogu – üks kaardi kohta, üürniku isoleerimise lihtsaim vorm
- Tihe 70B bf16 + tugivirn -- LLM kaardil 1, pilt/video/heli kaardil 2
- 200B MoE mõlemal kaardil -- minimaalne tensor-paralleelne üldkulu (kahesuunaline jaotus)
- fp8-native frontier -- DeepSeek V3 perekond, Hunyuan-Large fp8 Blackwelli natiivsete radadega
Sihtkoormused
- Tihe 70B bf16 järeldus -- kaks kaarti tensorparalleelselt minimaalse üldkuluga või üks mudel kaardi kohta voogesituse jaoks
- 100-150B MoE 4.-6. kvartalis (GLM-4.5-Air, Qwen3.5-122B-A10B, Hunyuan-A13B, Llama 4 Scout)
- FP8-natiivne piiriala järeldus (DeepSeek V3 perekond, Hunyuan, Llama 4) -- Blackwell käitab FP8-d natiivselt
- Teaduslikud arvutused, mis nõuavad andmekeskuse tasemel 5. põlvkonna NVMe läbilaskevõimet ja ECC-mälu
- Pildi- ja videogeneraator bf16-s (Wan 2.2 T2V-A14B, HunyuanVideo 13B, FLUX.1 [arendus])
- Riiulitihedusega piiratud juurutused – 2U vormitegur vs 4U Rome'i ekvivalent sama videomäluga
- Hankespetsifikatsioonid, mis nõuavad PCIe 5.0 / DDR5 platvormi või varutoiteplokki
Mõõdetud jõudlus
Avaldatud viited | NVIDIA RTX Pro 6000 Blackwell Server Editioni andmeleht + kogukonna võrdlusalused
| võrrelda | Tulemus |
|---|---|
| Kaardipõhine INT8 TOPS (NVIDIA andmeleht) | 2 000 TOPSi |
| Kogusumma INT8 TOPS (2 kaarti) | 4 000 TOPSi |
| Mälu ribalaius kaardi kohta | ~1800 GB/s, 96 GB ECC GDDR7 |
| Llama 3.3 70B bf16 kaardi kohta (kogukond) | 15–25 tok/s üksikvoog, 60–90 tok/s partiitöötlus – eeldatav paranemine 5. põlvkonna hostipoolse mälutee kaudu voogedastuspartiitöötluses võrreldes 4. põlvkonna hostiga |
| 5. põlvkonna hostipoolne eelis (üks kaart sama räni) | PCIe 5.0 x16 otsast lõpuni vähendab hostiseadme ja seadme vahelise edastuslatentsi voogedastuspakkide töökoormuste puhul; kaardil olevad arvutusega seotud ülesanded näevad identset läbilaskevõimet Gen4 hostitud järkudega. |
| Kahe kaardiga tensor-paralleel 70B (kogukond) | ~30-45 tok/s ühekordne voog eeldatavasti |
| Blackwelli fp8 natiivne | DeepSeek-V3 fp8, Hunyuan-A13B fp8 töötavad ilma bf16 üleslaadimiseta |
Avaldatud välised viited, mitte Kentino riistvaral mõõdetud. Kentino avaldab esimese osapoole numbrid pärast esimese kliendi tehtud ehitust.
Pole ideaalne
- Väga kõrge samaaegsus mitme üürniku teenindamine – 4x L40 või 6x L4 jaotub paremini rohkemate kaartide vahel
- Suur KV vahemälu väga pika konteksti korral -- suurendage kuni K-AI 576 Genoa RTXPro6000 12000TOPS-ni
- Koolitus -- Kentino ei müü H-klassi NVLinki kangaid
- Selle VRAM-i basseini eelarvejäreldus – 4U Rome K-AI 192 RTXPro6000 4000TOPS-i konstruktsioon on odavam, kui 4. põlvkonna hostipoolne konstruktsioon on vastuvõetav ja toiteploki redundantsust pole vaja.
Garantii ja tarneaeg
NVIDIA OEM 3-aastane garantii RTX Pro 6000 Server Editionile + 36-kuuline šassiigarantii + Kentino integratsioonigarantii. Komplekt sisaldab kokkupanekut, BIOS-i/püsivara konfigureerimist, IPMI seadistamist, draiveri installimist, sissepõlemistesti ja funktsionaalsuse kontrolli. Tarneaeg 14–21 tööpäeva kajastab edasimüüja tellimust Turin-klassi komponentide puhul; kinnitatakse tellimuse esitamisel.
Soovitatavad lisandmoodulid
- Laienda 4-kaardilise konfiguratsioonini – šassiil on sisseehitatud 4 GPU pesa (praegune versioon kasutab 2 4-st), uuendamise võimalus K-AI 384 Turin2U RTXPro6000 8000TOPS-ile
- Lisage 25 GbE või 100 GbE OCP 3.0 pesa kaudu (Mellanox ConnectX-5/6 OCP variant)
- Lisaks Kioxia CD8-P NVMe kahes ülejäänud U.2 sahtlis RAID-i või kriimustussalvestuse jaoks
- Suurema vastupidavuse saavutamiseks (3 tööpäeva) uuenda salvestustaset Samsung PM1743 või Kioxia CM7-V peale
- 24U rack-kapp + online UPS 5 kVA
Jaga
