LLM Inference Benchmark Explorer

Tencent-Hy4-preview op DGX B300 — BF16, vLLM, TP8, speculatieve decodering k=3 inferentiebenchmark

Open deze configuratie in de LLM Inference Benchmark Explorer

ModelTencent-Hy4-preview
Parameters780B
Intelligence Index—
Agentic Index—
ApparaatDGX B300
KwantisatieBF16
Max C64+
Chatcapaciteit65
Agentische capaciteit16
TP8
DP—
PP—
EnginevLLM
Speculatieve decoderingJa
CTTFT (ms)TPS (tok/s)Status
111069.06PASS
212364.52PASS
414659.07PASS
819049.88PASS
1626842.02PASS
3239833.62PASS
6447626.80PASS

In deze meting bereikte Tencent-Hy4-preview (780B parameters), aangeboden in BF16-formaat met vLLM en speculatieve decodering op DGX B300 (TP=8), met één verzoek een generatiesnelheid van 69.1 tok/s per verzoek en een time to first token (TTFT) van 110 ms.

Rekening houdend met de snelheidsdoelen en de beschikbare KV-cachecapaciteit, bedraagt de geschatte capaciteit 65 gebruikers voor chatgebruik en 16 voor agentisch gebruik. De realistische capaciteit ligt waarschijnlijk tussen deze twee waarden. In scenario's waarin programmeren, toolgebruik, lange workflows en multi-agentgebruik overheersen, benadert de capaciteit de agentische schatting; waar kortere interacties, standaardgesprekken en lichtere taken overheersen, benadert zij de chatschatting.

Opmerkingen: MTP k=3, 512K context. Model: tencent/Hy4-preview

De waarden van Intelligence Index en Agentic Index worden gepubliceerd door Artificial Analysis en worden hier met bronvermelding overgenomen.