LLM Inference Benchmark Explorer

Qwen3.5-35B-A3B op RTX PRO 6000 — FP8, vLLM, TP1 inferentiebenchmark

Open deze configuratie in de LLM Inference Benchmark Explorer

ModelQwen3.5-35B-A3B
Parameters35B
Intelligence Index19.3
Agentic Index—
ApparaatRTX PRO 6000
KwantisatieFP8
Max C64+
Chatcapaciteit150
Agentische capaciteit55
TP—
DP—
PP—
EnginevLLM
Speculatieve decodering—
CTTFT (ms)TPS (tok/s)Status
147117.92PASS
261102.77PASS
47386.81PASS
876566.93PASS
1613649.26PASS
3220734.76PASS
6431125.38PASS

In deze meting bereikte Qwen3.5-35B-A3B (35B parameters), aangeboden in FP8-formaat met vLLM op RTX PRO 6000, met één verzoek een generatiesnelheid van 117.9 tok/s per verzoek en een time to first token (TTFT) van 47 ms.

Rekening houdend met de snelheidsdoelen en de beschikbare KV-cachecapaciteit, bedraagt de geschatte capaciteit 150 gebruikers voor chatgebruik en 55 voor agentisch gebruik. De realistische capaciteit ligt waarschijnlijk tussen deze twee waarden. In scenario's waarin programmeren, toolgebruik, lange workflows en multi-agentgebruik overheersen, benadert de capaciteit de agentische schatting; waar kortere interacties, standaardgesprekken en lichtere taken overheersen, benadert zij de chatschatting.

De waarden van Intelligence Index en Agentic Index worden gepubliceerd door Artificial Analysis en worden hier met bronvermelding overgenomen.