LLM Inference Benchmark Explorer

MiMo-V2.6-Pro-RL op DGX B300 — FP4, vLLM, TP4, speculatieve decodering k=7 inferentiebenchmark

Open deze configuratie in de LLM Inference Benchmark Explorer

ModelMiMo-V2.6-Pro-RL
Parameters1.02T
Intelligence Index46.3
Agentic Index—
ApparaatDGX B300
KwantisatieFP4
Max C64+
Chatcapaciteit256+
Agentische capaciteit96+
TP4
DP—
PP—
EnginevLLM
Speculatieve decoderingJa
CTTFT (ms)TPS (tok/s)Status
146376.04PASS
257306.16PASS
468255.75PASS
890194.42PASS
16117155.68PASS
32166127.41PASS
64168100.65PASS

In deze meting bereikte MiMo-V2.6-Pro-RL (1.02T parameters), aangeboden in FP4-formaat met vLLM en speculatieve decodering op DGX B300 (TP=4), met één verzoek een generatiesnelheid van 376 tok/s per verzoek en een time to first token (TTFT) van 46 ms.

Rekening houdend met de snelheidsdoelen en de beschikbare KV-cachecapaciteit, bedraagt de geschatte capaciteit ten minste 256 gebruikers voor chatgebruik en ten minste 96 voor agentisch gebruik. De realistische capaciteit ligt waarschijnlijk tussen deze twee waarden. In scenario's waarin programmeren, toolgebruik, lange workflows en multi-agentgebruik overheersen, benadert de capaciteit de agentische schatting; waar kortere interacties, standaardgesprekken en lichtere taken overheersen, benadert zij de chatschatting.

„Ten minste” betekent dat de configuratie zelfs bij de hoogste geteste belasting aan de snelheidsdoelen voldeed, zodat de werkelijke capaciteit hoger kan zijn.

Opmerkingen: DFlash speculative decoding k=7, 1M context. Model: XiaomiMiMo/MiMo-V2.6-Pro-RL

De waarden van Intelligence Index en Agentic Index worden gepubliceerd door Artificial Analysis en worden hier met bronvermelding overgenomen.