LLM Inference Benchmark Explorer

GLM-4.7 op DGX B300 — FP8, vLLM, TP2 inferentiebenchmark

Open deze configuratie in de LLM Inference Benchmark Explorer

ModelGLM-4.7
Parameters358B
Intelligence Index22.2
Agentic Index—
ApparaatDGX B300
KwantisatieFP8
Max C32+
Chatcapaciteit42
Agentische capaciteit10
TP2
DP—
PP—
EnginevLLM
Speculatieve decodering—
CTTFT (ms)TPS (tok/s)Status
15382.44PASS
27688.42PASS
46874.74PASS
87959.92PASS
1657145.13PASS
3264238.31PASS

In deze meting bereikte GLM-4.7 (358B parameters), aangeboden in FP8-formaat met vLLM op DGX B300 (TP=2), met één verzoek een generatiesnelheid van 82.4 tok/s per verzoek en een time to first token (TTFT) van 53 ms.

Rekening houdend met de snelheidsdoelen en de beschikbare KV-cachecapaciteit, bedraagt de geschatte capaciteit 42 gebruikers voor chatgebruik en 10 voor agentisch gebruik. De realistische capaciteit ligt waarschijnlijk tussen deze twee waarden. In scenario's waarin programmeren, toolgebruik, lange workflows en multi-agentgebruik overheersen, benadert de capaciteit de agentische schatting; waar kortere interacties, standaardgesprekken en lichtere taken overheersen, benadert zij de chatschatting.

Opmerkingen: 2 GPU

De waarden van Intelligence Index en Agentic Index worden gepubliceerd door Artificial Analysis en worden hier met bronvermelding overgenomen.