LLM Inference Benchmark Explorer

Qwen3.6-27B op 1× DGX Spark — FP8, vLLM, TP1, speculatieve decodering inferentiebenchmark

Open deze configuratie in de LLM Inference Benchmark Explorer

ModelQwen3.6-27B
Parameters27B
Intelligence Index21.4
Agentic Index18.5
Apparaat1× DGX Spark
KwantisatieFP8
Max C2
Chatcapaciteit8
Agentische capaciteit3
TP—
DP—
PP—
EnginevLLM
Speculatieve decoderingJa
CTTFT (ms)TPS (tok/s)Status
132320.24PASS
251621.34PASS
453119.90FAIL
862117.87FAIL
1681315.00FAIL

In deze meting bereikte Qwen3.6-27B (27B parameters), aangeboden in FP8-formaat met vLLM en speculatieve decodering op 1× DGX Spark, met één verzoek een generatiesnelheid van 20.2 tok/s per verzoek en een time to first token (TTFT) van 323 ms.

Rekening houdend met de snelheidsdoelen en de beschikbare KV-cachecapaciteit, bedraagt de geschatte capaciteit 8 gebruikers voor chatgebruik en 3 voor agentisch gebruik. De realistische capaciteit ligt waarschijnlijk tussen deze twee waarden. In scenario's waarin programmeren, toolgebruik, lange workflows en multi-agentgebruik overheersen, benadert de capaciteit de agentische schatting; waar kortere interacties, standaardgesprekken en lichtere taken overheersen, benadert zij de chatschatting.

Opmerkingen: MTP gives 2.4x TPS improvement

De waarden van Intelligence Index en Agentic Index worden gepubliceerd door Artificial Analysis en worden hier met bronvermelding overgenomen.