Kentino sro
K-AI 384 Rome RTXPro6000 — 4× RTX Pro 6000 Blackwell Server Edition (384 GB ECC VRAM)
K-AI 384 Rome RTXPro6000 — 4× RTX Pro 6000 Blackwell Server Edition (384 GB ECC VRAM)
受取状況を読み込めませんでした
K-AI 384 Rooma RTXPro6000 8000TOPS
384 GB ECC VRAM-mäluga andmekeskuse server
4x RTX Pro 6000 serveriväljaanne | EPYC Milan | 8 000 TOPS INT8
Avaldatud välised viited. Kentino riistvaral ei ole mõõdetud.
4U riiulile paigaldatav inferentsiaalserver nelja NVIDIA RTX Pro 6000 Blackwell Server Edition passiivse andmekeskuse kaardiga (igaüks 96 GB ECC), mis on ühendatud 384 GB ECC videomäluga, ühe AMD EPYC 7643 Milan protsessoriga (48C/96T), 384 GB DDR4-2666 ECC-ga, 2 TB NVMe alglaadimismäluga ja kahe sünkroniseeritud 2.5 kW ATX toiteplokiga. Blackwelli silikoon fp8 natiivse kiirendusega. Passiivne õhuvoolu suunatud jahutus andmekeskuse šassiile. Töötab DeepSeek V3 Q3, Mistral Large 3, Qwen3-Coder-480B ja kõigi peamiste Frontier avatud kaaluga mudelitega.
riistvara
| Komponent | detail |
|---|---|
| GPU | 4x NVIDIA RTX Pro 6000 Blackwell Server Edition 96 GB ECC (passiivne andmekeskuse jahuti, 600 W TGP, PCIe 5.0 x16, 2000 INT8 TOPS/kaart, natiivne fp8) |
| VRAM-i bassein | 384 GB koond-ECC neljal kaardil |
| Protsessor | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0 rajad) |
| Emaplaat | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Süsteemi RAM | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB — 2 DIMM-pesa saadaval laiendamiseks kuni 512 GB-ni) |
| Saapa/panipaik | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Toiteallikas | 2x 2.5 kW ATX kahe toiteploki sünkroniseerimiskaabliga (5 kW agregaat) |
| Šassii | 4U riiulile paigaldatav |
| Jahutus | SP3 tornjahuti (Arctic Freezer 4U-M klass) + eest taha suunatud õhuvool (3x 120 mm eesmine sisselaskeava + 1x 120 mm tagumine väljalaskeava). Passiivsed graafikakaardid – vajavad andmekeskuse šassii õhuvoolu. |
| võrk | Sisseehitatud kahekordne 10 GbE (Intel X550) |
Võimsusümbris
- Graafikaprotsessori energiatarve: 4 x 600 W = 2400 W
- Süsteemi koguvõimsus täiskoormusel: ~2775 W
- Toiteploki koguvõimsus: 5000 W (kaks 2.5 kW sünkroniseeritud) — 44.5% varu
- Kaks toiteplokki jagatud toiteallikaks — ühe toiteploki rike = kahe graafikaprotsessori või kahe graafikaprotsessori ja emaplaadi kaotus
Raja topoloogia
ROMED8-2T pakub 7x PCIe 4.0 x16 otse EPYC Milanilt. Neli pesa on asustatud – kolm on vabad võrgukaardi/salvestusruumi/telemeetria jaoks. RTX Pro 6000 on 5. põlvkonna tugi; sellel platvormil töötab 4. põlvkonna täisvõimsusel x16 – ribalaiuse kitsaskohta järeldamiseks pole. PCIe lülitit pole. NVLinki pole.
Mida sa joosta saad
384 GB koondatud ECC videomäluga Blackwelli fp8 kiibil töötab see server mugavalt ühel kaardil Q3-l DeepSeek V3 / R1 protsessoritega, lisaks Mistral Large 3 Q3, GLM-5 Q3, Qwen3-Coder-480B Q3 ja Llama 3.3 70B bf16 protsessoritega ühel kaardil (96 GB/kaart).
LLM-id — tekst / arutluskäik / kodeerimine
Hiina piir
- DeepSeek V3 / V3-0324 / V3.1 / V3.2 / R1 / R1-0528 Q3 (~290 GB) mugavalt kaardil (~30-40 tok/s üksikmälu, avaldatud viide); fp8 natiivne (~670 GB RAM-i hajumisega)
- Qwen3-Coder-480B-A35B Q3 (~350 GB RAM-i lekkega) — SOTA avatud kodeerimisagent (~18-25 tok/s üksik, avaldatud viide)
- Qwen3-235B-A22B Q6/Q8 (~200–280 GB) väga pika ctx-faili ja mitme kasutaja partiitöötlusega
- GLM-5 / GLM-5.1 3. kvartal (~317 GB) — Hiina piir, lähedal Claude Opus 4.6 kodeerimises
- Kimi-K2 1.58-bitine UD (~240 GB) – triljoni parameetriga agent reaalse läbilaskevõimega
- Hunyuan-Large 389B/52B Q4 (~220 GB), fp8 natiivne (~390 GB lisamälu)
- ERNIE-4.5-424B-A47B 4. kvartal (~240 GB); MiniMax-M1 4. kvartal (~260 GB) 1M-kaardipesa
- Laama 3.3 70B bf16 asub ühel kaardil (96 GB/kaart — tensorparalleel pole vajalik)
Läänepiir
- Mistral Suur 3 (675B/41B MoE, Apache 2.0) Q3 (~317 GB) — piiriala Western avatud raskused (~20-30 tok/s üksik, avaldatud viide)
- Leek 4 Maverick (400B/17B) Q4 (~232 GB) helde KV eelarvega (~45-55 tok/s üksikult, avaldatud viide)
- Llama-3.1-Nemotron Ultra 253B 4.–6. kvartal (~119–207 GB)
- gpt-oss-120b MXFP4 natiivne (80 GB) tohutu samaaegsete seadmete arvu suurendamise võimalusega
- Pixtral Suur / Mistral Suur 2 bf16 (~248 GB); Devstral 2 123B bf16 — 256k ülemine avatud kodeering
- Laama 3.3 70B bf16 ühel kaardil; võimalik on 4 samaaegset 70B juurutamist
Nägemis-keele mudelid
Qwen3-VL-235B-A22B bf16 (~240 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16; Pixtral Large 124B bf16 (~248 GB); Qwen3-Omni-30B-A3B; Molmo 72B; ERNIE-4.5-VL; GLM-4.6V 106B bf16 TP-l. Blackwell fp8 pakub visioonitorni järeldusel ~2x läbilaskevõimet võrreldes Adaga.
Pildi genereerimine
FLUX.1 [dev] / Kontext / Tööriistad natiivsel fp8-l (~15-20 s iga 1024x1024 pildi kohta ühel RTX Pro 6000-l, avaldatud viide); SD 3.5 Large; HunyuanImage-2.1 (17B natiivne 2K); HunyuanImage-3.0 80B/13B MoE; AuraFlow; OmniGen; 4x samaaegset ComfyUI töötajat.
Video genereerimine
Wan 2.2 T2V-A14B / I2V-A14B kahekordne ekspertkaart bf16; HunyuanVideo 13B bf16 mõlemad eksperdid; Open-Sora 2.0 (11B) bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.
Heli / kõne / TTS
- ASR: Whisper v3 suur / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro; Stabiilne heli avatud; XTTS v2; Step-Audio-EditX
- Reaalajas / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
- Muusika / heliefektid: MusicGen / AudioGen / Bark / SeamlessM4T
Mitme mudeli / mitme üürniku teenindus
- DeepSeek V3 Q3 + samaaegne 70B + FLUX.1 + Whisper kõigile elanikele
- 4-suunaline tensor-paralleel 350-400B klassil Q4-s
- Kaardipõhine üürniku isolatsioon — üks 96 GB Llama 3.3 70B bf16 kaardi kohta, 4 sõltumatut järeldussilod
- Mitme mudeli RAG: lugeja + ümberjärjestaja + nägemine + manustamine – kõik ühel hostil
Sihtkoormused
- Frontieri avatud kaaluga järelduste taustprogramm — DeepSeek V3 Q3, Qwen3-Coder-480B Q3, GLM-5 Q3
- Llama 4 Maverick Q4 multimodaalsete agentide produktsiooniteenus helde kontekstieelarvega
- 4 üürniku isolatsioon kaardi kohta — üks Llama 3.3 70B bf16 üürniku kohta, ristsaastumise puudumine
- fp8-natiivne DeepSeek / R1 / Hunyuan, mis töötab Blackwelli räniplaadil
- Mistral Large 3 Q3 kui Western Apache-2.0 piiriala avatud raskusega alternatiiv
Avaldatud toimivuse viited
Välised viited | Kentino riistvaral ei ole mõõdetud
| võrrelda | Tulemus |
|---|---|
| RTX Pro 6000 kaardi kohta INT8 TOPS | 2 000 TOPSi |
| RTX Pro 6000 mälu ribalaius | ~1 800 GB/s kaardi kohta |
| vLLM — DeepSeek V3 Q3 4x Blackwell PCIe-l (üksik) | ~30–40 tokki/s |
| vLLM — DeepSeek V3 Q3 4x Blackwell PCIe-l (partii 8) | ~200 tok/s agregaat |
| SGLang — Llama 4 Maverick Q4 4x Blackwellil (üksik) | ~45–55 tokki/s |
| llama.cpp — Qwen3-Coder-480B Q3 4x Blackwellil (üksik) | ~18–25 tokki/s |
| FLUX.1 [arendaja] fp8 ühe RTX Pro 6000 peal | ~1.8 sekundit 1024x1024 pildi kohta |
Kentino avaldab esimese osapoole numbrid pärast esialgset kliendikogemuse kogumist.
Pole ideaalne
- Ühe kasutaja töökoormus kuni 70B – 4x RTX 5090 on 128 GB mälumahuga oluliselt odavam, kui ECC ja passiivne töökindlus pole vajalikud.
- Vaikne labori/kontori lähedal asuv paigaldus – passiivne jahuti vajab andmekeskusest korralikku eest taha suunatud õhuvoolu. Akustiliselt tundlike kohtade jaoks valige Max-Q turboventilaatoriga variant (K-AI 384 Rome RTXPro6000MQ).
- Piirialade väljaõpe nullist (ilma NVLinkita)
- Täielik DeepSeek V3 Q4 sisseehitatud graafikakaart (~404 GB) — uuendada 6x RTX Pro 6000 / 576 GB-ni
Garantii ja tarneaeg
Komplekteerimine hõlmab kokkupanekut, BIOS-i seadistamist, draiveri installimist, sissekirjutamist, memtestimist ja funktsionaalsuse kontrolli. Tarneaeg sõltub komponentide saadavusest, mis kinnitatakse tellimuse esitamisel.
Soovitatavad lisandmoodulid
- Uuenda RAM-i 512 GB DDR4-ni (lisa 2x 64 GB — 2 DIMM-pesa vaba), et Q3 piiriüleste kvantarvutite puhul RAM-i hajumise reservruumi oleks rohkem.
- 4 TB NVMe Gen4 x4 piirimudeli teeki jaoks (ainuüksi DeepSeek V3 Q3 kettamaht on ~290 GB)
- Täielik 24U rack-kapp hallatava PDU ja võrguühendusega UPS-iga
- Alternatiivne siluett: Max-Q turboventilaatoriga variant (K-AI 384 Rome RTXPro6000MQ) – sama silikoon, vaiksem puhuri jahuti, laborikasutuseks
Jaga
