GPU Benchmarks für LLM-Inference:
RTX PRO 6000 vs. H200
Leistungsvergleich von NVIDIA RTX PRO 6000 Blackwell und NVIDIA H200 für LLM-Inference
auf Basis real gemessener Workloads im MEGWARE Benchmark Center.
Was Sie in diesem GPU-Vergleich erfahren
Ein direkter Vergleich zweier GPU-Architekturen für moderne LLM-Inference-Workloads.,
durchgeführt unter kontrollierten und reproduzierbaren Bedingungen im MEGWARE Benchmark Center.
Performance unter Last
Wie verhalten sich Antwortzeit und Durchsatz bei steigender Anzahl gleichzeitig laufender Requests?
Speicher & Modellgröße
Welche Rolle spielen Speicherbandbreite und GPU-Speicher bei untersch. LLM-Größen?
Long-Context-Inference
Wie verhalten sich die GPUs bei langen Eingabekontexten und hohen Speicheranforderungen?
GPU-Architektur
Welche Unterschiede zwischen Blackwell und Hopper sind für den praktischen Inference-Betrieb relevant?
Getestete Konfigurationen
Verglichen wurden zwei-GPU-Server mit NVIDIA RTX PRO 6000 Blackwell bzw. NVIDIA H200.
NVIDIA RTX PRO 6000 Blackwell
| Architektur | Blackwell |
| Speicher | 96 GB GDDR7 |
| GPU-to-GPU | PCIe Gen5 |
NVIDIA H200
| Architektur | Hopper |
| Speicher | 141 GB HBM3e |
| GPU-to-GPU | PCIe Gen5 oder NVLink |
Welche Modelle wurden getestet?
Der Benchmark Report deckt unterschiedliche Anforderungen an LLM-Inference ab – von dichten Modellen bis hin zu einem großen Mixture-of-Experts-Modell.
Qwen3-32B
Ein Dense-Modell mit 32 Milliarden Parametern, getestet in BF16.
Llama-3.3-70B
Ein größeres Dense-Modell mit rund 70 Milliarden Parametern, ebenfalls in BF16.
Qwen3.5-122B-A10B
Ein MoE-Modell mit 125 Mrd. Parametern, davon rund 10 Mrd. aktiv, getestet in FP8.