LLM Inference Benchmark Explorer

DeepSeek V4 Flash 0731 op 8× DGX Spark — NVFP4, vLLM, TP2, DP4 inferentiebenchmark

Open deze configuratie in de LLM Inference Benchmark Explorer

ModelDeepSeek V4 Flash 0731
Parameters304B
Intelligence Index34.3
Agentic Index41
Apparaat8× DGX Spark
KwantisatieNVFP4
Max C16
Chatcapaciteit64
Agentische capaciteit24
TP2
DP4
PP—
EnginevLLM
Speculatieve decodering—
CTTFT (ms)TPS (tok/s)Status
128953.59PASS
232646.17PASS
434641.22PASS
841130.80PASS
1652324.00PASS
3265316.64FAIL
6493911.00FAIL

In deze meting bereikte DeepSeek V4 Flash 0731 (304B parameters), aangeboden in NVFP4-formaat met vLLM op 8× DGX Spark (TP=2, DP=4), met één verzoek een generatiesnelheid van 53.6 tok/s per verzoek en een time to first token (TTFT) van 289 ms.

Rekening houdend met de snelheidsdoelen en de beschikbare KV-cachecapaciteit, bedraagt de geschatte capaciteit 64 gebruikers voor chatgebruik en 24 voor agentisch gebruik. De realistische capaciteit ligt waarschijnlijk tussen deze twee waarden. In scenario's waarin programmeren, toolgebruik, lange workflows en multi-agentgebruik overheersen, benadert de capaciteit de agentische schatting; waar kortere interacties, standaardgesprekken en lichtere taken overheersen, benadert zij de chatschatting.

Opmerkingen: TP=2, DP=4. Best for high concurrency.

De waarden van Intelligence Index en Agentic Index worden gepubliceerd door Artificial Analysis en worden hier met bronvermelding overgenomen.