LLM Inference Benchmark Explorer

Qwen3.8-27B op 4× DGX Spark — NVFP4, SGLang, TP4, speculatieve decodering k=8 inferentiebenchmark

Open deze configuratie in de LLM Inference Benchmark Explorer

ModelQwen3.8-27B
Parameters27B
Intelligence Index33.7
Agentic Index45.8
Apparaat4× DGX Spark
KwantisatieNVFP4
Max C8
Chatcapaciteit32
Agentische capaciteit12
TP4
DP—
PP—
EngineSGLang
Speculatieve decoderingJa
CTTFT (ms)TPS (tok/s)Status
122786.51PASS
224768.35PASS
426451.98PASS
837927.83PASS
1641118.85FAIL
3257911.09FAIL

In deze meting bereikte Qwen3.8-27B (27B parameters), aangeboden in NVFP4-formaat met SGLang en speculatieve decodering op 4× DGX Spark (TP=4), met één verzoek een generatiesnelheid van 86.5 tok/s per verzoek en een time to first token (TTFT) van 227 ms.

Rekening houdend met de snelheidsdoelen en de beschikbare KV-cachecapaciteit, bedraagt de geschatte capaciteit 32 gebruikers voor chatgebruik en 12 voor agentisch gebruik. De realistische capaciteit ligt waarschijnlijk tussen deze twee waarden. In scenario's waarin programmeren, toolgebruik, lange workflows en multi-agentgebruik overheersen, benadert de capaciteit de agentische schatting; waar kortere interacties, standaardgesprekken en lichtere taken overheersen, benadert zij de chatschatting.

Opmerkingen: DFlash2 TP=4. Best multi-spark config.

De waarden van Intelligence Index en Agentic Index worden gepubliceerd door Artificial Analysis en worden hier met bronvermelding overgenomen.