LLM Inference Benchmark Explorer

MiniMax-M3 op 4× DGX Spark — NVFP4, vLLM, TP4, speculatieve decodering k=8 inferentiebenchmark

Open deze configuratie in de LLM Inference Benchmark Explorer

ModelMiniMax-M3
Parameters427B
Intelligence Index29.2
Agentic Index29.5
Apparaat4× DGX Spark
KwantisatieNVFP4
Max C2
Chatcapaciteit8
Agentische capaciteit3
TP4
DP—
PP—
EnginevLLM
Speculatieve decoderingJa
CTTFT (ms)TPS (tok/s)Status
145337.45PASS
265328.17PASS
487416.96FAIL
8865016.99FAIL

In deze meting bereikte MiniMax-M3 (427B parameters), aangeboden in NVFP4-formaat met vLLM en speculatieve decodering op 4× DGX Spark (TP=4), met één verzoek een generatiesnelheid van 37.4 tok/s per verzoek en een time to first token (TTFT) van 453 ms.

Rekening houdend met de snelheidsdoelen en de beschikbare KV-cachecapaciteit, bedraagt de geschatte capaciteit 8 gebruikers voor chatgebruik en 3 voor agentisch gebruik. De realistische capaciteit ligt waarschijnlijk tussen deze twee waarden. In scenario's waarin programmeren, toolgebruik, lange workflows en multi-agentgebruik overheersen, benadert de capaciteit de agentische schatting; waar kortere interacties, standaardgesprekken en lichtere taken overheersen, benadert zij de chatschatting.

Opmerkingen: FLASHINFER_CUTLASS, DSpark k=8

De waarden van Intelligence Index en Agentic Index worden gepubliceerd door Artificial Analysis en worden hier met bronvermelding overgenomen.