LLM Inference Benchmark Explorer

Qwen3-Coder-30B-A3B-Instruct op 1× DGX Spark — FP16, vLLM, TP1 inferentiebenchmark

Open deze configuratie in de LLM Inference Benchmark Explorer

ModelQwen3-Coder-30B-A3B-Instruct
Parameters30B
Intelligence Index9.6
Agentic Index—
Apparaat1× DGX Spark
KwantisatieFP16
Max C2
Chatcapaciteit8
Agentische capaciteit3
TP—
DP—
PP—
EnginevLLM
Speculatieve decodering—
CTTFT (ms)TPS (tok/s)Status
117130.86PASS
210124.45PASS
412417.45FAIL
816012.89FAIL
1618010.06FAIL
321778.13FAIL

In deze meting bereikte Qwen3-Coder-30B-A3B-Instruct (30B parameters), aangeboden in FP16-formaat met vLLM op 1× DGX Spark, met één verzoek een generatiesnelheid van 30.9 tok/s per verzoek en een time to first token (TTFT) van 171 ms.

Rekening houdend met de snelheidsdoelen en de beschikbare KV-cachecapaciteit, bedraagt de geschatte capaciteit 8 gebruikers voor chatgebruik en 3 voor agentisch gebruik. De realistische capaciteit ligt waarschijnlijk tussen deze twee waarden. In scenario's waarin programmeren, toolgebruik, lange workflows en multi-agentgebruik overheersen, benadert de capaciteit de agentische schatting; waar kortere interacties, standaardgesprekken en lichtere taken overheersen, benadert zij de chatschatting.

De waarden van Intelligence Index en Agentic Index worden gepubliceerd door Artificial Analysis en worden hier met bronvermelding overgenomen.