LLM Inference Benchmark Explorer

Kimi K3 op DGX B300 — MXFP4, SGLang, TP8 inferentiebenchmark

Open deze configuratie in de LLM Inference Benchmark Explorer

ModelKimi K3
Parameters2.78T
Intelligence Index43.6
Agentic Index50
ApparaatDGX B300
KwantisatieMXFP4
Max C64+
Chatcapaciteit150
Agentische capaciteit50
TP8
DP—
PP—
EngineSGLang
Speculatieve decodering—
CTTFT (ms)TPS (tok/s)Status
1400111.87PASS
2772102.84PASS
481194.32PASS
878377.53PASS
1683460.30PASS
3291543.79PASS
6494836.83PASS

In deze meting bereikte Kimi K3 (2.78T parameters), aangeboden in MXFP4-formaat met SGLang op DGX B300 (TP=8), met één verzoek een generatiesnelheid van 111.9 tok/s per verzoek en een time to first token (TTFT) van 400 ms.

Rekening houdend met de snelheidsdoelen en de beschikbare KV-cachecapaciteit, bedraagt de geschatte capaciteit 150 gebruikers voor chatgebruik en 50 voor agentisch gebruik. De realistische capaciteit ligt waarschijnlijk tussen deze twee waarden. In scenario's waarin programmeren, toolgebruik, lange workflows en multi-agentgebruik overheersen, benadert de capaciteit de agentische schatting; waar kortere interacties, standaardgesprekken en lichtere taken overheersen, benadert zij de chatschatting.

Opmerkingen: GMU 0.85

De waarden van Intelligence Index en Agentic Index worden gepubliceerd door Artificial Analysis en worden hier met bronvermelding overgenomen.