Kentino sro
K-AI 576 Genoa RTXPro6000 12000TOPS — 6× RTX Pro 6000 Blackwell Server Editioni tehisintellektiga Frontier Server
K-AI 576 Genoa RTXPro6000 12000TOPS — 6× RTX Pro 6000 Blackwell Server Editioni tehisintellektiga Frontier Server
无法加载取货服务可用情况
K-AI 576 Genoa RTXPro6000 12000TOPS
576 GB ECC VRAM Frontier Research Server
6x RTX Pro 6000 serveriväljaanne | EPYC Genoa | 12 000 TOPS INT8
Avaldatud välised viited. Kentino riistvaral ei ole mõõdetud.
7U riiulile paigaldatav piiriala platvorm kuue NVIDIA RTX Pro 6000 Blackwell Server Edition passiivse videokaardiga, mis on ühendatud 576 GB ECC videomäluga, ühe AMD EPYC 9354 Genoa protsessoriga (32C/64T), 768 GB DDR5-4800 ECC-ga (kõik 12 kanalit asustatud), 4 TB NVMe alglaadimismäluga ja 5 × 1200 W serveri toiteplokiga. Sisseehitatud Broadcom PCIe Gen5 lüliti jaotub ühtlaselt kõigile 6 GPU pesale. DeepSeek V3 Q4 (~404 GB) sobib pika konteksti jaoks, Kimi-K2 Q2, Mistral Large 3 Q2-Q3 – täielik piiriala kohapeal.
riistvara
| Komponent | detail |
|---|---|
| GPU | 6x NVIDIA RTX Pro 6000 Blackwell Server Edition 96 GB ECC (passiivne, 600 W, PCIe 5.0 x16, 2000 INT8 TOPS kaardi kohta) |
| VRAM-i bassein | 576 GB kokku 6 kaardil (ilma NVLinkita — P2P PCIe Gen5 kaudu kiirusel ~55–60 GB/s suuna kohta) |
| Protsessor | AMD EPYC 9354 Genoa (32C/64T, 280 W, 128x PCIe 5.0 rajad, 12-kanaliline DDR5) |
| Emaplaat | ASRock Rack GENOAD8X-2T/BCM (SP5 Genoa, integreeritud Broadcom PEX PCIe Gen5 lüliti, 12x DDR5, 2x 10 GbE, IPMI) |
| Süsteemi RAM | 768 GB DDR5-4800 ECC RDIMM (12x 64 GB — kõik kanalid täis, kokku ~460 GB/s) |
| Saapa/panipaik | 4 TB NVMe M.2 (PCIe 4.0 x4) – piiripunktide jaoks mõeldud suurusega |
| Toiteallikas | 5x 1200 W serveri toiteploki komplekt (HP-ühilduv, kokku 6 kW) |
| Šassii | 7U 8-GPU rackmount, 10 PCIe pesa mahutavusega, aktiivsed Gen5 tõstjad |
| Jahutus | SP5 Genoa tornjahuti, 8x 120 mm korpuseventilaatorid, vajalik andmekeskuse õhuvool eest tahapoole. Passiivsed graafikakaardid. |
| võrk | Sisseehitatud kahekordne 10 GbE (Intel X550) |
Võimsusümbris
- Graafikaprotsessori energiatarve: 6 x 600 W = 2400 W
- Süsteemi koguvõimsus täiskoormusel: ~1825 W
- Toiteploki koguvõimsus: 6000 W (5x 1200 W) — 32% reservruumi
- Püsiseisundi järelduseks pole võimsuspiirangut vaja
Raja topoloogia
GENOAD8X-2T/BCM integreerib Broadcom PEX PCIe Gen5 kommutaatori. EPYC Genoa juurest on kommutaatorist ülesvoolu 128 Gen5 rada, mis jaotuvad aktiivsete tõusuteede kaudu ühtlaselt kõigile 6 GPU pesale Gen5 x16 ots-otsaga. Puhas ühe juure topoloogia – lihtsam NUMA häälestamine kui kahe pesaga. NVLink puudub; P2P kiirusel ~55–60 GB/s suuna kohta.
Mida sa joosta saad
576 GB koondatud ECC VRAM-iga Blackwelli fp8 natiivsel silikoonil töötab see server täielikult Hiina ja Lääne avatud kaaluga piiril uurimiskvaliteediga kvantidel: DeepSeek V3 Q4 (~404 GB pika kontekstiga), Kimi-K2 Q2, Mistral Large 3 Q2-Q3, GLM-5 Q2, Qwen3-Coder-480B Q4.
LLM-id — tekst / arutluskäik / kodeerimine
Hiina piir
- DeepSeek V3 / R1 / V3.1 / V3.2 Q4_K_M-is (~404 GB) on mugav pika kontekstiga (~5-8 tok/s üksik vLLM TP-6, avaldatud viide); fp8 natiivne (~670 GB RAM-i hajumisega)
- Kimi-K2 (Baas / Juhendamine / Mõtlemine) Q2_K-s (~375 GB) mugav (~5-8 tok/s üksik, avaldatud viide)
- GLM-5 / GLM-5.1 (~745B/44B) Q2_K-s (~260 GB) mugav; Q3 (~420 GB) RAM-i hajumisega
- Qwen3-Coder-480B-A35B Q4_K_M-is (~270 GB) pika kontekstiga
- Qwen3-235B-A22B bf16 (~470 GB) või fp8 (~240 GB) juures
- ERNIE-4.5-424B-A47B 4. kvartalis (~240 GB) täieliku 128k CTX-ga
- Intern-S1-Pro (1T/22B aktiivne, SAGE) Q2_K juures (~325 GB) mugav
- Hunyuan-Large A52B neljandas kvartalis (~220 GB); MiniMax-M1 4. kvartalis (~260 GB)
Läänepiir
- Mistral Suur 3 (675B/41B MoE, Apache 2.0) Q2-Q3-s (~243-317 GB) mugav (~20-30 tok/s üksik, avaldatud viide)
- Leek 4 Maverick (400B/17B) Q4_K_M-is (~232 GB) pika ctx-ga (~45-55 tok/s üksik, avaldatud viide)
- Llama-3.1-Nemotron Ultra 253B fp8-l (~253 GB) või bf16-l RAM-i hajumisega
- Grok-1 314B neljandas kvartalis (~182 GB); Lumehelbe Arktika 4. kvartalis (~278 GB)
- DBRX-i juhis 132B/36B bf16-s (~264 GB) või fp8-s mitme eksemplariline
- Kõik 70-120B klassi mudelid bf16-s, millel on ruumi ka varuosa jaoks
Nägemis-keele mudelid
Qwen3-VL-235B-A22B lipulaev VLM; InternVL3.5-241B-A28B Q4 (~135 GB); GLM-4.5V / 4.6V 106B bf16 (~210 GB); Llama 3.2 90B Vision bf16; Pixtral Large 124B fp8; Molmo 72B bf16.
Pildi genereerimine
HunyuanImage-3.0 käskude tasand (3x 80 GB) — sobib salvestusruumiga; FLUX.1 [dev] / [schnell] / Kontext mitme eksemplariline töö (~15-20 s 1024x1024 pildi kohta ühel RTX Pro 6000 fp8-l, avaldatud viide); SD 3.5 Large; SDXL; AuraFlow; OmniGen; HunyuanImage-2.1; Kolors 2.0.
Video genereerimine
Wan 2.2 T2V-A14B / I2V-A14B kahe eksperdiga MoE bf16 (~54 GB); HunyuanVideo 13B bf16 mugav; Open-Sora 2.0 (11B) bf16; Mochi-1 (10B) fp16; NVIDIA Cosmos Predict 2 kuni 14B; CogVideoX-5B; LTX-Video; Pyramid Flow.
Heli / kõne / TTS
Täispinu resident samaaegselt: Whisper v3 large, Parakeet-TDT 1.1B, Canary 1B, Moshi 7B realtime, Qwen3-Omni, Step-Audio R1, CosyVoice 3.0, Kokoro, Stable Audio Open.
Mitme mudeli / mitme üürniku teenindus
- DeepSeek V3 Q4 järeldus + FLUX pilt + HunyuanVideo + Whisper/Moshi reaalajas hääl, kõik resident samaaegselt
- Samaaegne 70B tensor-paralleel + 235B-MoE eraldi PCIe domeenidel Broadcomi kommutaatori kaudu
- Uuringu A/B hindamine: 3 samaaegselt kasutatavat avatud kaaluga piirimudelit
Sihtkoormused
- Avatud raskusega piirialade uurimislabor – kohapealne juurdepääs DeepSeek V3 / Kimi-K2 / Mistral Large 3 klassile ilma pilveväljumiseta
- Suveräänne tehisintellekti juurutamine — andmete residentsus ELis Apache 2.0 / MIT mudeli abil
- Ettevõtte mitme mudeli RAG + agentide platvorm — mitu 200–400 miljardit MoE mudelit residentplatvormil
- Mudeli hindamine / ohutusuuring, milles võrreldakse Hiina piirialade ja lääneriikide avatud kaalusid
- Mastaabipõhine järeldus reguleeritud tööstusharudele, mis vajavad õhupilu + ECC-d + PCIe Gen5-d
Avaldatud toimivuse viited
Välised viited | Kentino riistvaral ei ole mõõdetud
| võrrelda | Tulemus |
|---|---|
| RTX Pro 6000 kaardi kohta INT8 TOPS | 2 000 TOPSi |
| vLLM – DeepSeek V3 Q4 6x RTX Pro 6000-l (üksik) | ~25–40 tokki/s |
| vLLM – DeepSeek V3 Q4 6x RTX Pro 6000-l (partii-32) | 200–400 tok/s agregaat |
| FLUX.1 [arendaja] fp8 ühe RTX Pro 6000 peal | ~15–20 sekundit 1024x1024 pildi kohta |
Täpsed arvud kinnitatakse PoC etapis. Kentino avaldab esimese osapoole arvud pärast esialgset kliendikogemuse kogumist.
Pole ideaalne
- Kimi-K2 / DeepSeek V3 neljandas kvartalis reaalajas tootmisvõimsusel – samm edasi 768 GB Turin kahekordse mälumahuga
- Treenimine nullist tipptasemel mudelitel – NVLinki pole, ainult PCIe P2P
- Lihtne plug-and-play juurutamine – piiriülene moodulite teenindus vajab oskuslikku MLOps meeskonda
Garantii ja tarneaeg
Ehitus hõlmab kokkupanekut, BIOS-i konfigureerimist, draiveri installimist, sissekirjutamist, memtestimist, funktsionaalsuse kontrollimist ja LLM-keskkonna seadistamist (vLLM / SGLang / llama.cpp / CUDA 13 stack fp8 Blackwelli kernelidega). Tarneaeg sõltub komponentide saadavusest, mis kinnitatakse tellimuse esitamisel.
Soovitatavad lisandmoodulid
- NVIDIA ConnectX-5 MCX555A-ECAT 100 GbE võrgukaart mitmesõlmeliseks skaleerimiseks
- Teine 4 TB NVMe andmestiku/mudeli teegi jaoks
- Täismahus 24U rack-kapp perforeeritud esiuksega
- Võrgupõhine UPS 10 kVA
- Hallatud PDU
Jaga
