Kentino sro
K-AI 288 Rome L40 — 6× NVIDIA L40 Passive Enterprise (288 GB ECC VRAM)
K-AI 288 Rome L40 — 6× NVIDIA L40 Passive Enterprise (288 GB ECC VRAM)
Vastuvõtuteenuse saadavust ei saa laadida
K-AI 288 Rooma L40 2172TOPS
288 GB ECC VRAM-iga ettevõtte server
6x NVIDIA L40 passiiv | EPYC Milan | 2 172 TOPS INT8
Avaldatud välised viited. Kentino riistvaral ei ole mõõdetud.
4U riiulile paigaldatav ettevõtte serveri inferentsilahendus, millel on kuus NVIDIA L40 Ada Lovelace passiivset andmekeskuse kaarti (igaüks 48 GB ECC), mis on ühendatud 288 GB ECC videomäluga, ühe AMD EPYC 7643 Milan protsessoriga (48C/96T), 384 GB DDR4-2666 ECC-ga, 2 TB NVMe alglaadimismäluga ja kahe sünkroniseeritud 2.5 kW ATX toiteplokiga. ECC otsast lõpuni, spetsiaalselt loodud ööpäevaringseks ettevõtte tootmiseks, kus bititaseme terviklikkus ja hooldatavad rikkedomeenid on olulised.
riistvara
| Komponent | detail |
|---|---|
| GPU | 6x NVIDIA L40 48 GB ECC (Ada Lovelace, passiivne andmekeskus, 300 W, PCIe 4.0 x16, kahe pesaga, 362 INT8 TOPS/kaart) |
| VRAM-i bassein | 288 GB koond-ECC 6 kaardil (ilma NVLinkita L40 PCIe SKU-l) |
| Protsessor | AMD EPYC 7643 Milan (48C/96T, 225 W, 128x PCIe 4.0 rajad) |
| Emaplaat | ASRock Rack ROMED8-2T (SP3, 7x PCIe 4.0 x16, 8x DDR4 ECC, 2x 10 GbE, IPMI) |
| Süsteemi RAM | 384 GB DDR4-2666 ECC RDIMM (6x 64 GB — 2 DIMM-pesa saadaval laiendamiseks kuni 512 GB-ni) |
| Saapa/panipaik | 2 TB NVMe M.2 (PCIe 4.0 x4) |
| Toiteallikas | 2x 2.5 kW ATX kahe toiteploki sünkroniseerimiskaabliga (5 kW agregaat) |
| Šassii | 4U riiulile paigaldatav (6 pesaga paigutus) |
| Jahutus | SP3 tornjahuti (Arctic Freezer 4U-M klass) + eest taha suunatud õhuvool (tööstuslikud ventilaatorid) |
| võrk | Sisseehitatud kahekordne 10 GbE (Intel X550) |
Võimsusümbris
- Graafikaprotsessori energiatarve: 6 x 300 W = 2400 W
- Süsteemi koguvõimsus täiskoormusel: ~2775 W
- Toiteploki koguvõimsus: 5000 W (kaks 2.5 kW sünkroniseeritud) — 56.5% varu
- Kaks toiteplokki jagatud toiteallikaks — ühe toiteploki rike = kahe graafikaprotsessori või kahe graafikaprotsessori ja emaplaadi kaotus
Raja topoloogia
ROMED8-2T pakub 7x PCIe 4.0 x16 otse EPYC Milanilt. Kuus pesa on täidetud passiivsete Gen4 x16 tõsteseadmetega – üks vaba pesa võrgukaardi/salvestusruumi jaoks. PCIe lülitit pole vaja. L40 natiivne link on PCIe 4.0 x16 – ribalaiuse kadu pole. NVLinki pole vaja; GPU-devaheline liiklus toimub PCIe peer-to-peer režiimis.
Mida sa joosta saad
288 GB koondatud ECC VRAM-iga kuuel passiivsel L40 kaardil saab see server hakkama avatud kaaluga LLM-idega Q4-s, mitme mudeli samaaegse serveerimise, video-/meediakanalite ja ööpäevaringse ettevõttesisese tootmise järeldustega. Märkus: L40 on Ada Lovelace, mitte Blackwell – fp8 üleslaadimine bf16-le. VRAM-i maksimaalse efektiivsuse saavutamiseks kasutage GGUF Q4/Q5 või AWQ/GPTQ int4.
LLM-id — tekst / arutluskäik / kodeerimine
Hiina piir
- Qwen3-235B-A22B 4. kvartal (~132 GB) väga pika kontekstiga + helde KV eelarvega (~15-20 tok/s üksik, avaldatud viide)
- GLM-4.5 / 4.6 / 4.7 Q4 (~177 GB) mugav 6-suunalise TP-ga (~12-18 tok/s üksik, avaldatud viide)
- Hunyuan-Large 389B/52B Q3 (~160 GB); ERNIE-4.5-424B-A47B 3. kvartal (~180 GB)
- Qwen3-Coder-480B-A35B Q2 (~160 GB) lipulaev kodeerimisagent
- MiniMax-M1 / Tekst-01 Q3 (~180 GB) 1M-ctx Lightning Attention mälupulk
- Qwen3-30B-A3B / QwQ-32B / Qwen3-32B — üksikkaart 6 paralleelse vooga
- DeepSeek-R2 32B hõre MoE – üks kaart voo kohta, 6 samaaegset seanssi
Läänepiir
- Laama 3.3 70B bf16 (~142 GB) mitme üürnikuga teenus (~17 tok/s üksikult, avaldatud viide) või Q4 (~43 GB) 6 samaaegse koopiaga
- Leek 4 Scout 109B/17B bf16 (~218 GB tihedusega) või Q4 (~63 GB tihedusega) mugav
- Mistral Small 3 / Magistral / Devstral Small (24B) bf16 (~40-50 tok/s üksik, avaldatud viide)
- Pixtral Suur / Mistral Suur 2 6.–8. kvartal (~90–140 GB)
- Llama-3.1-Nemotron Ultra 253B 4. kvartal (~119 GB)
- gpt-oss-120b MXFP4 (~80 GB GGUF-i kaudu Ada peal – pange tähele Ada ülessaadetava andmevoo hoiatust)
- Cohere Command R+ 104B Q4 RAG-virn
Nägemis-keele mudelid
Qwen3-VL-235B-A22B Q4; Qwen3-VL-32B; InternVL3.5-78B / 241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16 (~180 GB); Pixtral 12B; Molmo 72B; Gemma 3 12B/27B multimodaalne; GLM-4.6V täisversioon (106B bf16); MiniCPM-o 2.6. L40 NVENC/NVDEC on eriti kasulik suure läbilaskevõimega VLM-i dokumendi-/videoedastuskanalite jaoks.
Pildi genereerimine
FLUX.1 [dev] / Kontext / Tööriistad mitme töötaja samaaegne kasutamine (~3.5 sekundit 1024x1024 pildi kohta ühel L40 fp8-l, avaldatud viide) — võimalik 6x ComfyUI töötajate farm; SD 3.5 suur; HunyuanImage-2.1 (17B) bf16; HunyuanDiT; Kolors 2.0; AuraFlow; OmniGen.
Video genereerimine
Wan 2.2 T2V-A14B / I2V-A14B kahe eksperditasemega bf16 (~54 GB, ~20-30 s iga 4 sekundilise klipi kohta 720p resolutsiooniga, avaldatud viide); HunyuanVideo 13B bf16 mõlemad eksperditasemega; Open-Sora 2.0 bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; NVIDIA Cosmos Predict 2. L40 riistvara NVENC/NVDEC tegeleb subtiitrite/modereerimise/transkodeerimisega skaalal koos genereerimisega.
Heli / kõne / TTS
- ASR: Whisper v3 suur / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
- TTS: CosyVoice 2/3; Kokoro 82M; Stabiilne heli avatud; XTTS v2; Step-Audio-EditX
- Reaalajas / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
Mitme mudeli / mitme üürniku teenindus
- Mitme mudeli residentuur — Qwen3-235B Q4 + FLUX.1 + HunyuanVideo + Whisper-turbo + Moshi + embedder, kõik residentid
- 6 samaaegset 48 GB klassi töökoormust (üks kaardi kohta): 6x Qwen3-VL-32B või 6x FLUX.1 töötajat või 6x ASR voogu
- 6-suunaline tensor-paralleel 200B+ MoE jaoks neljandas kvartalis reaalses kontekstis
- RAG-torustikud — Command R+ / Qwen3 + ümberjärjestaja + manustaja + pildianalüüs samal hostil
Sihtkoormused
- Ööpäevaringne LLM-järelduste taustsüsteem — 100+ samaaegset kasutajat enam kui 200B MoE-l 4. kvartalis, ECC-kaitsega
- Ettevõtte mastaabis meedia ja tehisintellekti vaheline suhtlus — pealdis + modereerimine + pisipilt + transkodeerimine 6 paralleelsel voogul NVENC/NVDEC kaudu
- Mitme üürnikuga SaaS, kus üürnikupõhine isolatsioon füüsiliste kaartide vahel on oluline
- RAG-i taustsüsteem koos Command R+ lugeja + ümberjärjestaja + manustaja + visiooniga, mis on täielikult resident
- Usaldusväärsusele orienteeritud paar, mis asendab 12 L40 Legacy serverit — kaks K-AI 288 serverit = kokku 576 GB sõltumatute rikkepiirkondadega
Avaldatud toimivuse viited
Välised viited | Kentino riistvaral ei ole mõõdetud
| võrrelda | Tulemus |
|---|---|
| L40 kaardi kohta INT8 TOPS | 362 TOPS |
| L40 mälu ribalaius | 864 GB/s kaardi kohta |
| vLLM – Llama 3.3 70B AWQ INT4 2x L40 TP-l (ühekordne) | ~25–35 tokki/s |
| vLLM – Llama 3.3 70B AWQ INT4 2x L40 TP-l (partii 16) | ~150-200 tok/s täitematerjal |
| llama.cpp — GLM-4.6 Q4 6x L40 peal (üksik) | ~12–18 tokki/s |
| FLUX.1 [arendaja] üksikul L40 kaadril 8 | ~3.5 sekundit 1024x1024 pildi kohta |
Kentino avaldab esimese osapoole numbrid pärast esialgse kliendi loomise lõppu.
Pole ideaalne
- fp8-natiivne järeldus täiskiirusel — Ada edastab üles bf16-le; kasutage selle asemel GGUF Q4/Q5 või AWQ/GPTQ int4. fp8 natiivse versiooni kohta vaata K-AI 384 Rome RTXPro6000 (Blackwell)
- Suurte mudelite nullist treenimine (ilma NVLinkita)
- Eelarve ühe kasutaja järeldus — 4x L4 või 4x 5080 on väikeste töökoormuste korral oluliselt odavam
- Frontier 600B+ tihe Q4+ juures (nõuab 576 GB+ salvestusruumi – vt 6x RTX Pro 6000)
Garantii ja tarneaeg
Komplekteerimine hõlmab kokkupanekut, BIOS-i seadistamist, draiveri installimist, sissekirjutamist, memtestimist ja funktsionaalsuse kontrolli. Tarneaeg sõltub komponentide saadavusest, mis kinnitatakse tellimuse esitamisel.
Soovitatavad lisandmoodulid
- Suurema KV eelarve korral suurendage RAM-i 512 GB DDR4-ni (lisage 2x 64 GB — 2 DIMM-pesa vaba)
- 4 TB NVMe Gen4 x4 mudeliteegi ettevalmistamiseks
- Täielik 24U rack-kapp hallatava PDU + võrguühendusega UPS-iga (oluline 24/7 ECC töökoormuste jaoks)
- Paaris teine K-AI 288 seade — asendab 12x L40 Legacy ümbriku kahe sõltumatu rikkepiirkonnaga
Jaga
