4197 字
21 分钟
双路 EPYC 9575F + RTX 6000D 8 卡 BenchMark
2026-06-09
测评
GPU RTX 6000D EPYC BenchMark 服务器
前言
这次测的是一台 8 卡 GPU 服务器，核心配置是 8 × NVIDIA RTX 6000D、双路 AMD EPYC 9575F、1.5TiB DDR5-5600 ECC，系统是 Ubuntu 24.04.2 LTS，CUDA 12.9，驱动 595.71.05。
有需要的老板欢迎来月租，国内机房交付。
以下内容是虚拟化的测试结果，图一乐 GPU测试走的本机 PCIe P2P/共享内存通信，正式会以裸机交付。
硬件配置
| 项目 | 配置 |
|---|---|
| CPU | 2 × AMD EPYC 9575F |
| 本次环境暴露核心 | 112C / 224T |
| NUMA | 2 个 NUMA node |
| 内存 | 1.5TiB DDR5-5600 ECC |
| GPU | 8 × NVIDIA RTX 6000D |
| 单卡显存 | 85651 MiB，约 83.05 GiB |
| GPU Compute Capability | 12.0 |
| CUDA / Driver | CUDA 12.9 / NVIDIA Driver 595.71.05 |
| 本地数据盘 | 3.84*4 SAMSUNG MZQL23T8HCLS-00B7C |
| NFS | /data |
| 系统盘 | 480G *2 SAMSUNG MZ7L3480HCHQ-00B7C |
| Raid 卡 | 9540-8i*1 |
| 网卡 | 单口400G * 4 双口25G* |
硬件测试
完整测试
下面保留 gpubench 的完整终端输出，按模块拆分展示；每个代码块都开启行号，方便定位和引用。
GPU 基础性能
╭────────────────────────────╮│ Detailed Benchmark Results │╰────────────────────────────╯
╭───────────────────────────────┬────────────────────────────────────╮│ GPU Data Generation ▸ Field │ Value │├───────────────────────────────┼────────────────────────────────────┤│ Input Parameters │ Data Size: 5.0 GB, Precision: fp16 │├───────────────────────────────┼────────────────────────────────────┤│ Metrics │ Bandwidth: 962.17 GB/s │├───────────────────────────────┼────────────────────────────────────┤│ Execution Time (s) │ 0.02028 │├───────────────────────────────┼────────────────────────────────────┤│ Score │ 4,810.831136 │├───────────────────────────────┼────────────────────────────────────┤│ Bandwidth Gb Per Second │ 962.166227 │├───────────────────────────────┼────────────────────────────────────┤│ Data Size Gb │ 5 │├───────────────────────────────┼────────────────────────────────────┤│ Time Seconds │ 0.02028 │╰───────────────────────────────┴────────────────────────────────────╯
╭───────────────────────────────┬────────────────────────────────────╮│ GPU to CPU Transfer ▸ Field │ Value │├───────────────────────────────┼────────────────────────────────────┤│ Input Parameters │ Data Size: 5.0 GB, Precision: fp16 │├───────────────────────────────┼────────────────────────────────────┤│ Metrics │ Bandwidth: 30.80 GB/s │├───────────────────────────────┼────────────────────────────────────┤│ Execution Time (s) │ 0.162332 │├───────────────────────────────┼────────────────────────────────────┤│ Score │ 1,232.044343 │├───────────────────────────────┼────────────────────────────────────┤│ Bandwidth Gb Per Second │ 30.801109 │├───────────────────────────────┼────────────────────────────────────┤│ Data Size Gb │ 5 │├───────────────────────────────┼────────────────────────────────────┤│ Time Seconds │ 0.162332 │╰───────────────────────────────┴────────────────────────────────────╯
╭───────────────────────────────┬────────────────────────────────────╮│ GPU to GPU Transfer ▸ Field │ Value │├───────────────────────────────┼────────────────────────────────────┤│ Input Parameters │ Data Size: 5.0 GB, Precision: fp16 │├───────────────────────────────┼────────────────────────────────────┤│ Metrics │ Bandwidth: 51.49 GB/s │├───────────────────────────────┼────────────────────────────────────┤│ Execution Time (s) │ 0.97108 │├───────────────────────────────┼────────────────────────────────────┤│ Score │ 1,029.781711 │├───────────────────────────────┼────────────────────────────────────┤│ Bandwidth Gb Per Second │ 51.489086 │╰───────────────────────────────┴────────────────────────────────────╯
╭───────────────────────────────────────┬──────────────────────────────────────────────────────╮│ GPU Tensor Core Performance ▸ Field │ Value │├───────────────────────────────────────┼──────────────────────────────────────────────────────┤│ Input Parameters │ Matrix Size: 4096, Iterations: 1000, Precision: fp16 │├───────────────────────────────────────┼──────────────────────────────────────────────────────┤│ Metrics │ GFLOPS: 135078.76 │├───────────────────────────────────────┼──────────────────────────────────────────────────────┤│ GFLOPS │ 135,078.756934 │├───────────────────────────────────────┼──────────────────────────────────────────────────────┤│ Execution Time (s) │ 1.017473 │├───────────────────────────────────────┼──────────────────────────────────────────────────────┤│ Score │ 2,701.575139 │╰───────────────────────────────────────┴──────────────────────────────────────────────────────╯
╭──────────────────────────────────┬─────────────────────────────────────────────────────────────────────╮│ GPU Computational Task ▸ Field │ Value │├──────────────────────────────────┼─────────────────────────────────────────────────────────────────────┤│ Input Parameters │ Epochs: 200, Batch Size: 2048, Input Size: 4096, Hidden Size: 4096, ││ │ Output Size: 2000, Precision: fp16 │├──────────────────────────────────┼─────────────────────────────────────────────────────────────────────┤│ Metrics │ GFLOPS: 13360.37 across 8 GPU(s) │├──────────────────────────────────┼─────────────────────────────────────────────────────────────────────┤│ Execution Time (s) │ 1.531004 │├──────────────────────────────────┼─────────────────────────────────────────────────────────────────────┤│ Score │ 534.414781 │├──────────────────────────────────┼─────────────────────────────────────────────────────────────────────┤│ Num Gpus Used │ 8 │├──────────────────────────────────┼─────────────────────────────────────────────────────────────────────┤│ Per Gpu Batch Sizes │ { ││ │ "0": 256, ││ │ "1": 256, ││ │ "2": 256, ││ │ "3": 256, ││ │ "4": 256, ││ │ "5": 256, ││ │ "6": 256, ││ │ "7": 256 ││ │ } │├──────────────────────────────────┼─────────────────────────────────────────────────────────────────────┤│ Performance Gflops │ 13,360.369537 │╰──────────────────────────────────┴─────────────────────────────────────────────────────────────────────╯
╭─────────────────────────────────────┬────────────────────────────────────────────────────────────────────────╮│ GPU Inference Performance ▸ Field │ Value │├─────────────────────────────────────┼────────────────────────────────────────────────────────────────────────┤│ Input Parameters │ Model: custom, Model Size: 5, Batch Size: 256, Input Size: 224, Output ││ │ Size: 1000, Precision: fp16 │├─────────────────────────────────────┼────────────────────────────────────────────────────────────────────────┤│ Metrics │ Throughput: 675791.51 samples/s │├─────────────────────────────────────┼────────────────────────────────────────────────────────────────────────┤│ Execution Time (s) │ 0.03862 │├─────────────────────────────────────┼────────────────────────────────────────────────────────────────────────┤│ Score │ 16,894.787722 │├─────────────────────────────────────┼────────────────────────────────────────────────────────────────────────┤│ Average Latency Seconds │ 0.000386 │├─────────────────────────────────────┼────────────────────────────────────────────────────────────────────────┤│ Throughput Samples Per Second │ 675,791.508883 │╰─────────────────────────────────────┴────────────────────────────────────────────────────────────────────────╯
╭────────────────────────────────┬────────────────────────────────────╮│ GPU Memory Bandwidth ▸ Field │ Value │├────────────────────────────────┼────────────────────────────────────┤│ Input Parameters │ Data Size: 5.0 GB, Precision: fp16 │├────────────────────────────────┼────────────────────────────────────┤│ Metrics │ Bandwidth: 453.32 GB/s │├────────────────────────────────┼────────────────────────────────────┤│ Execution Time (s) │ 0.01103 │├────────────────────────────────┼────────────────────────────────────┤│ Score │ 1,133.30163 │├────────────────────────────────┼────────────────────────────────────┤│ Bandwidth Gb Per Second │ 453.320652 │╰────────────────────────────────┴────────────────────────────────────╯CPU、内存与硬盘性能
╭───────────────────────────────────────────┬────────────────────────────────────────────────────────────────────╮│ CPU Single-threaded Performance ▸ Field │ Value │├───────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤│ Input Parameters │ Single-threaded CPU Benchmark │├───────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤│ Metrics │ Comp Perf: 419756.13 fib/sec, Crypto Perf: 2349.78 MB/s, Data Proc ││ │ Perf: 66.22 MB/s │├───────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤│ Execution Time (s) │ 2.743949 │├───────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤│ Score │ 581.941892 │├───────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤│ Comp Perf │ 419,756.130757 │├───────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤│ Comp Time Seconds │ 1.191168 │├───────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤│ Crypto Data Size Mb │ 100 │├───────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤│ Crypto Perf Mb Per Sec │ 2,349.776468 │├───────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤│ Crypto Time Seconds │ 0.042557 │├───────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤│ Data Proc Perf Mb Per Sec │ 66.215359 │├───────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤│ Data Proc Time Seconds │ 1.510224 │├───────────────────────────────────────────┼────────────────────────────────────────────────────────────────────┤│ Fib Number │ 500,000 │╰───────────────────────────────────────────┴────────────────────────────────────────────────────────────────────╯
╭──────────────────────────────────────────┬───────────────────────────────────────────────────────────────────────╮│ CPU Multi-threaded Performance ▸ Field │ Value │├──────────────────────────────────────────┼───────────────────────────────────────────────────────────────────────┤│ Input Parameters │ Multi-threaded CPU Benchmark with 224 threads │├──────────────────────────────────────────┼───────────────────────────────────────────────────────────────────────┤│ Metrics │ Comp Perf: 12085252.00 fib/sec, Crypto Perf: 91412.87 MB/s, Data Proc ││ │ Perf: 498.63 MB/s │├──────────────────────────────────────────┼───────────────────────────────────────────────────────────────────────┤│ Execution Time (s) │ 54.435282 │├──────────────────────────────────────────┼───────────────────────────────────────────────────────────────────────┤│ Score │ 3,884.709783 │├──────────────────────────────────────────┼───────────────────────────────────────────────────────────────────────┤│ Comp Perf │ 12,085,252.004936 │├──────────────────────────────────────────┼───────────────────────────────────────────────────────────────────────┤│ Comp Time Seconds │ 9.267494 │├──────────────────────────────────────────┼───────────────────────────────────────────────────────────────────────┤│ Crypto Data Size Mb │ 22,400 │├──────────────────────────────────────────┼───────────────────────────────────────────────────────────────────────┤│ Crypto Perf Mb Per Sec │ 91,412.868695 │├──────────────────────────────────────────┼───────────────────────────────────────────────────────────────────────┤│ Crypto Time Seconds │ 0.245042 │├──────────────────────────────────────────┼───────────────────────────────────────────────────────────────────────┤│ Data Proc Perf Mb Per Sec │ 498.633811 │├──────────────────────────────────────────┼───────────────────────────────────────────────────────────────────────┤│ Data Proc Time Seconds │ 44.922746 │├──────────────────────────────────────────┼───────────────────────────────────────────────────────────────────────┤│ Fib Number │ 500,000 │╰──────────────────────────────────────────┴───────────────────────────────────────────────────────────────────────╯
╭────────────────────────────┬───────────────────────╮│ Memory Bandwidth ▸ Field │ Value │├────────────────────────────┼───────────────────────┤│ Input Parameters │ Memory Size: 1024 MB │├────────────────────────────┼───────────────────────┤│ Metrics │ Bandwidth: 13.15 GB/s │├────────────────────────────┼───────────────────────┤│ Execution Time (s) │ 0.081658 │├────────────────────────────┼───────────────────────┤│ Score │ 438.306533 │├────────────────────────────┼───────────────────────┤│ Bandwidth Gb Per Sec │ 13.149196 │├────────────────────────────┼───────────────────────┤│ Copy Time Seconds │ 0.081658 │├────────────────────────────┼───────────────────────┤│ Memory Size Mb │ 1,024 │╰────────────────────────────┴───────────────────────╯
╭─────────────────────────────┬──────────────────────╮│ CPU to Disk Write ▸ Field │ Value │├─────────────────────────────┼──────────────────────┤│ Input Parameters │ Data Size: 5.0 GB │├─────────────────────────────┼──────────────────────┤│ Metrics │ Bandwidth: 1.22 GB/s │├─────────────────────────────┼──────────────────────┤│ Execution Time (s) │ 4.112128 │├─────────────────────────────┼──────────────────────┤│ Score │ 486.366237 │├─────────────────────────────┼──────────────────────┤│ Bandwidth Gb Per Second │ 1.215916 │├─────────────────────────────┼──────────────────────┤│ Data Size Gb │ 5 │├─────────────────────────────┼──────────────────────┤│ Time Seconds │ 4.112128 │╰─────────────────────────────┴──────────────────────╯
╭────────────────────────────────────────┬──────────────────────────────────────────────────────────────────╮│ Disk I/O Performance ▸ Field │ Value │├────────────────────────────────────────┼──────────────────────────────────────────────────────────────────┤│ Input Parameters │ Data Size: 2.0 GB, Block Size: 4 KB, IO Depth: 16, Num Jobs: 8 │├────────────────────────────────────────┼──────────────────────────────────────────────────────────────────┤│ Metrics │ Seq Read: 3169.89 MB/s, Seq Write: 3206.67 MB/s, Rand Read IOPS: ││ │ 968208, Rand Write IOPS: 905486 │├────────────────────────────────────────┼──────────────────────────────────────────────────────────────────┤│ Execution Time (s) │ 122.717779 │├────────────────────────────────────────┼──────────────────────────────────────────────────────────────────┤│ Score │ 5,321.894221 │├────────────────────────────────────────┼──────────────────────────────────────────────────────────────────┤│ Random Read Iops │ 968,208.726376 │├────────────────────────────────────────┼──────────────────────────────────────────────────────────────────┤│ Random Read Throughput Mb Per Sec │ 3,782.064453 │├────────────────────────────────────────┼──────────────────────────────────────────────────────────────────┤│ Random Write Iops │ 905,486.383787 │├────────────────────────────────────────┼──────────────────────────────────────────────────────────────────┤│ Random Write Throughput Mb Per Sec │ 3,537.055664 │├────────────────────────────────────────┼──────────────────────────────────────────────────────────────────┤│ Sequential Read Iops │ 811,492.716909 │├────────────────────────────────────────┼──────────────────────────────────────────────────────────────────┤│ Sequential Read Throughput Mb Per Sec │ 3,169.892578 │├────────────────────────────────────────┼──────────────────────────────────────────────────────────────────┤│ Sequential Write Iops │ 820,908.136395 │├────────────────────────────────────────┼──────────────────────────────────────────────────────────────────┤│ Sequential Write Throughput Mb Per Sec │ 3,206.671875 │╰────────────────────────────────────────┴──────────────────────────────────────────────────────────────────╯汇总结果
╭─────────────────────┬──────────────────────┬──────────────────────┬──────────────────────┬─────────────────┬─────────╮│ Benchmark Results │ Task │ Input │ Metrics │ Exec Time (s) │ Score │├─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼─────────────────┼─────────┤│ GPU Benchmarks │ GPU Data Generation │ Data Size: 5.0 GB, │ Bandwidth: 962.17 │ 0.02 │ 4810.8 ││ │ │ Precision: fp16 │ GB/s │ │ │├─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼─────────────────┼─────────┤│ │ GPU to CPU Transfer │ Data Size: 5.0 GB, │ Bandwidth: 30.80 │ 0.16 │ 1232 ││ │ │ Precision: fp16 │ GB/s │ │ │├─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼─────────────────┼─────────┤│ │ GPU to GPU Transfer │ Data Size: 5.0 GB, │ Bandwidth: 51.49 │ 0.97 │ 1029.8 ││ │ │ Precision: fp16 │ GB/s │ │ │├─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼─────────────────┼─────────┤│ │ GPU Tensor Core │ Matrix Size: 4096, │ GFLOPS: 135078.76 │ 1.02 │ 2701.6 ││ │ Performance │ Iterations: 1000, │ │ │ ││ │ │ Precision: fp16 │ │ │ │├─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼─────────────────┼─────────┤│ │ GPU Computational │ Epochs: 200, Batch │ GFLOPS: 13360.37 │ 1.53 │ 534.4 ││ │ Task │ Size: │ across 8 GPU(s) │ │ ││ │ │ 2048, Input Size: │ │ │ ││ │ │ 4096, │ │ │ ││ │ │ Hidden Size: 4096, │ │ │ ││ │ │ Output Size: 2000, │ │ │ ││ │ │ Precision: fp16 │ │ │ │├─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼─────────────────┼─────────┤│ │ GPU Inference │ Model: custom, Model │ Throughput: │ 0.04 │ 16894.8 ││ │ Performance │ Size: 5, Batch Size: │ 675791.51 samples/s │ │ ││ │ │ 256, Input Size: │ │ │ ││ │ │ 224, │ │ │ ││ │ │ Output Size: 1000, │ │ │ ││ │ │ Precision: fp16 │ │ │ │├─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼─────────────────┼─────────┤│ │ GPU Memory Bandwidth │ Data Size: 5.0 GB, │ Bandwidth: 453.32 │ 0.01 │ 1133.3 ││ │ │ Precision: fp16 │ GB/s │ │ │├─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼─────────────────┼─────────┤│ System Benchmarks │ CPU Single-threaded │ Single-threaded CPU │ Comp Perf: 419756.13 │ 2.74 │ 581.9 ││ │ Performance │ Benchmark │ fib/sec, Crypto │ │ ││ │ │ │ Perf: 2349.78 MB/s, │ │ ││ │ │ │ Data Proc Perf: │ │ ││ │ │ │ 66.22 MB/s │ │ │├─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼─────────────────┼─────────┤│ │ CPU Multi-threaded │ Multi-threaded CPU │ Comp Perf: │ 54.44 │ 3884.7 ││ │ Performance │ Benchmark with 224 │ 12085252.00 fib/sec, │ │ ││ │ │ threads │ Crypto │ │ ││ │ │ │ Perf: 91412.87 MB/s, │ │ ││ │ │ │ Data Proc Perf: │ │ ││ │ │ │ 498.63 MB/s │ │ │├─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼─────────────────┼─────────┤│ │ Memory Bandwidth │ Memory Size: 1024 MB │ Bandwidth: 13.15 │ 0.08 │ 438.3 ││ │ │ │ GB/s │ │ │├─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼─────────────────┼─────────┤│ │ CPU to Disk Write │ Data Size: 5.0 GB │ Bandwidth: 1.22 GB/s │ 4.11 │ 486.4 │├─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼─────────────────┼─────────┤│ │ Disk I/O Performance │ Data Size: 2.0 GB, │ Seq Read: 3169.89 │ 122.72 │ 5321.9 ││ │ │ Block │ MB/s, Seq Write: │ │ ││ │ │ Size: 4 KB, IO │ 3206.67 MB/s, Rand │ │ ││ │ │ Depth: │ Read IOPS: 968208, │ │ ││ │ │ 16, Num Jobs: 8 │ Rand Write IOPS: │ │ ││ │ │ │ 905486 │ │ │├─────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼─────────────────┼─────────┤│ Summary │ Aggregate Totals │ │ │ 271.86 │ 39050 │╰─────────────────────┴──────────────────────┴──────────────────────┴──────────────────────┴─────────────────┴─────────╯系统概览与 GPU 状态
╭───────────────────┬────────────────────────────────────────────────────╮│ System Overview │ Details │├───────────────────┼────────────────────────────────────────────────────┤│ System │ Host: cr-a61ab8cf-workload-5b95896858-gb5bc ││ │ OS: Linux-5.15.0-179-generic-x86_64-with-glibc2.39 ││ │ Kernel: 5.15.0-179-generic │├───────────────────┼────────────────────────────────────────────────────┤│ Clock │ Uptime: 323989 s ││ │ Timestamp: 2026-06-09T04:51:09.920030+00:00 │├───────────────────┼────────────────────────────────────────────────────┤│ CPU │ Model: x86_64 ││ │ Cores: 112P / 224L ││ │ Freq: cur 1645 MHz, min 1500 MHz, max 3300 MHz ││ │ Load avg: 2.85, 12.60, 7.92 │├───────────────────┼────────────────────────────────────────────────────┤│ Memory │ RAM: 50.16 GB / 1511.23 GB ││ │ Available: 1461.07 GB ││ │ Usage: 3.3 % ││ │ Swap: 0.00 GB / 8.00 GB ││ │ Swap Usage: 0.0 % │├───────────────────┼────────────────────────────────────────────────────┤│ Storage │ Root usage: 14.7 % of 436.57 GB ││ │ Partitions: 60 │├───────────────────┼────────────────────────────────────────────────────┤│ GPU 0 │ Name: NVIDIA RTX 6000D ││ │ Driver: 595.71.05 ││ │ VBIOS: 98.02.8D.00.02 ││ │ Memory: 0.00 GB / 83.64 GB ││ │ Temp: 24.00 °C ││ │ Util: 0.0 % ││ │ Power: 29.6 W / 600.0 W ││ │ Clocks: SM 180 MHz | Mem 405 MHz │├───────────────────┼────────────────────────────────────────────────────┤│ GPU 1 │ Name: NVIDIA RTX 6000D ││ │ Driver: 595.71.05 ││ │ VBIOS: 98.02.8D.00.02 ││ │ Memory: 0.00 GB / 83.64 GB ││ │ Temp: 24.00 °C ││ │ Util: 0.0 % ││ │ Power: 29.7 W / 600.0 W ││ │ Clocks: SM 180 MHz | Mem 405 MHz │├───────────────────┼────────────────────────────────────────────────────┤│ GPU 2 │ Name: NVIDIA RTX 6000D ││ │ Driver: 595.71.05 ││ │ VBIOS: 98.02.8D.00.02 ││ │ Memory: 0.00 GB / 83.64 GB ││ │ Temp: 24.00 °C ││ │ Util: 0.0 % ││ │ Power: 30.0 W / 600.0 W ││ │ Clocks: SM 180 MHz | Mem 405 MHz │├───────────────────┼────────────────────────────────────────────────────┤│ GPU 3 │ Name: NVIDIA RTX 6000D ││ │ Driver: 595.71.05 ││ │ VBIOS: 98.02.8D.00.02 ││ │ Memory: 0.00 GB / 83.64 GB ││ │ Temp: 22.00 °C ││ │ Util: 0.0 % ││ │ Power: 28.4 W / 600.0 W ││ │ Clocks: SM 180 MHz | Mem 405 MHz │├───────────────────┼────────────────────────────────────────────────────┤│ GPU 4 │ Name: NVIDIA RTX 6000D ││ │ Driver: 595.71.05 ││ │ VBIOS: 98.02.8D.00.02 ││ │ Memory: 0.00 GB / 83.64 GB ││ │ Temp: 23.00 °C ││ │ Util: 0.0 % ││ │ Power: 29.6 W / 600.0 W ││ │ Clocks: SM 180 MHz | Mem 405 MHz │├───────────────────┼────────────────────────────────────────────────────┤│ GPU 5 │ Name: NVIDIA RTX 6000D ││ │ Driver: 595.71.05 ││ │ VBIOS: 98.02.8D.00.02 ││ │ Memory: 0.00 GB / 83.64 GB ││ │ Temp: 23.00 °C ││ │ Util: 0.0 % ││ │ Power: 29.1 W / 600.0 W ││ │ Clocks: SM 180 MHz | Mem 405 MHz │├───────────────────┼────────────────────────────────────────────────────┤│ GPU 6 │ Name: NVIDIA RTX 6000D ││ │ Driver: 595.71.05 ││ │ VBIOS: 98.02.8D.00.02 ││ │ Memory: 0.00 GB / 83.64 GB ││ │ Temp: 23.00 °C ││ │ Util: 0.0 % ││ │ Power: 28.2 W / 600.0 W ││ │ Clocks: SM 180 MHz | Mem 405 MHz │├───────────────────┼────────────────────────────────────────────────────┤│ GPU 7 │ Name: NVIDIA RTX 6000D ││ │ Driver: 595.71.05 ││ │ VBIOS: 98.02.8D.00.02 ││ │ Memory: 0.00 GB / 83.64 GB ││ │ Temp: 23.00 °C ││ │ Util: 0.0 % ││ │ Power: 28.8 W / 600.0 W ││ │ Clocks: SM 180 MHz | Mem 405 MHz │├───────────────────┼────────────────────────────────────────────────────┤│ PyTorch │ PyTorch: 2.12.0+cu130 ││ │ CUDA: 13.0 ││ │ cuDNN: 92000 ││ │ CUDA available: Yes ││ │ Devices detected: 8 │├───────────────────┼────────────────────────────────────────────────────┤│ Environment │ Python: 3.12.3 ││ │ Executable: /data/gpubench/.venv/bin/python ││ │ CUDA_VISIBLE_DEVICES: 0,1,2,3,4,5,6,7 │╰───────────────────┴────────────────────────────────────────────────────╯CPU 调度与 CUDA 设备属性
╭────────────────────────────────┬────────────╮│ CPU Scheduler Stats ▸ Metric │ Value │├────────────────────────────────┼────────────┤│ Context Switches │ 3712546871 │├────────────────────────────────┼────────────┤│ Interrupts │ 3033982371 │├────────────────────────────────┼────────────┤│ Soft Interrupts │ 1983673565 │├────────────────────────────────┼────────────┤│ System Calls │ 0 │╰────────────────────────────────┴────────────╯
╭──────────────────────────────────────────────────────┬────────────┬──────────────────┬──────────────────────┬───────┬─────────────────────╮│ CUDA Device Properties (PyTorch view) ▸ Logical ID │ Name │ Total Mem (GB) │ Compute Capability │ SMs │ Max Threads/Block │├──────────────────────────────────────────────────────┼────────────┼──────────────────┼──────────────────────┼───────┼─────────────────────┤│ 0 │ NVIDIA RTX │ 89.17 GB │ 12 │ 156 │ 1024 ││ │ 6000D │ │ │ │ │├──────────────────────────────────────────────────────┼────────────┼──────────────────┼──────────────────────┼───────┼─────────────────────┤│ 1 │ NVIDIA RTX │ 89.17 GB │ 12 │ 156 │ 1024 ││ │ 6000D │ │ │ │ │├──────────────────────────────────────────────────────┼────────────┼──────────────────┼──────────────────────┼───────┼─────────────────────┤│ 2 │ NVIDIA RTX │ 89.17 GB │ 12 │ 156 │ 1024 ││ │ 6000D │ │ │ │ │├──────────────────────────────────────────────────────┼────────────┼──────────────────┼──────────────────────┼───────┼─────────────────────┤│ 3 │ NVIDIA RTX │ 89.17 GB │ 12 │ 156 │ 1024 ││ │ 6000D │ │ │ │ │├──────────────────────────────────────────────────────┼────────────┼──────────────────┼──────────────────────┼───────┼─────────────────────┤│ 4 │ NVIDIA RTX │ 89.17 GB │ 12 │ 156 │ 1024 ││ │ 6000D │ │ │ │ │├──────────────────────────────────────────────────────┼────────────┼──────────────────┼──────────────────────┼───────┼─────────────────────┤│ 5 │ NVIDIA RTX │ 89.17 GB │ 12 │ 156 │ 1024 ││ │ 6000D │ │ │ │ │├──────────────────────────────────────────────────────┼────────────┼──────────────────┼──────────────────────┼───────┼─────────────────────┤│ 6 │ NVIDIA RTX │ 89.17 GB │ 12 │ 156 │ 1024 ││ │ 6000D │ │ │ │ │├──────────────────────────────────────────────────────┼────────────┼──────────────────┼──────────────────────┼───────┼─────────────────────┤│ 7 │ NVIDIA RTX │ 89.17 GB │ 12 │ 156 │ 1024 ││ │ 6000D │ │ │ │ │╰──────────────────────────────────────────────────────┴────────────┴──────────────────┴──────────────────────┴───────┴─────────────────────╯nvidia-smi 遥测与固件
╭────────────────────────────────────────┬────────────┬─────────────────────┬──────────────┬──────────────────────────┬─────────────┬─────────────╮│ GPU Telemetry (nvidia-smi view) ▸ ID │ Name │ Driver / Firmware │ Memory │ Thermals / Utilization │ Power │ Clocks │├────────────────────────────────────────┼────────────┼─────────────────────┼──────────────┼──────────────────────────┼─────────────┼─────────────┤│ 0 │ NVIDIA RTX │ Driver │ Used 0.00 GB │ Temp 24.00 │ Draw 29.6 W │ SM 180 MHz ││ │ 6000D │ 595.71.05 │ Total 83.64 │ °C │ Limit 600.0 │ Mem 405 MHz ││ │ │ VBIOS 98.02. │ GB │ Util 0.0 % │ W │ ││ │ │ 8D.00.02 │ │ │ │ │├────────────────────────────────────────┼────────────┼─────────────────────┼──────────────┼──────────────────────────┼─────────────┼─────────────┤│ 1 │ NVIDIA RTX │ Driver │ Used 0.00 GB │ Temp 24.00 │ Draw 29.7 W │ SM 180 MHz ││ │ 6000D │ 595.71.05 │ Total 83.64 │ °C │ Limit 600.0 │ Mem 405 MHz ││ │ │ VBIOS 98.02. │ GB │ Util 0.0 % │ W │ ││ │ │ 8D.00.02 │ │ │ │ │├────────────────────────────────────────┼────────────┼─────────────────────┼──────────────┼──────────────────────────┼─────────────┼─────────────┤│ 2 │ NVIDIA RTX │ Driver │ Used 0.00 GB │ Temp 24.00 │ Draw 30.0 W │ SM 180 MHz ││ │ 6000D │ 595.71.05 │ Total 83.64 │ °C │ Limit 600.0 │ Mem 405 MHz ││ │ │ VBIOS 98.02. │ GB │ Util 0.0 % │ W │ ││ │ │ 8D.00.02 │ │ │ │ │├────────────────────────────────────────┼────────────┼─────────────────────┼──────────────┼──────────────────────────┼─────────────┼─────────────┤│ 3 │ NVIDIA RTX │ Driver │ Used 0.00 GB │ Temp 22.00 │ Draw 28.4 W │ SM 180 MHz ││ │ 6000D │ 595.71.05 │ Total 83.64 │ °C │ Limit 600.0 │ Mem 405 MHz ││ │ │ VBIOS 98.02. │ GB │ Util 0.0 % │ W │ ││ │ │ 8D.00.02 │ │ │ │ │├────────────────────────────────────────┼────────────┼─────────────────────┼──────────────┼──────────────────────────┼─────────────┼─────────────┤│ 4 │ NVIDIA RTX │ Driver │ Used 0.00 GB │ Temp 23.00 │ Draw 29.6 W │ SM 180 MHz ││ │ 6000D │ 595.71.05 │ Total 83.64 │ °C │ Limit 600.0 │ Mem 405 MHz ││ │ │ VBIOS 98.02. │ GB │ Util 0.0 % │ W │ ││ │ │ 8D.00.02 │ │ │ │ │├────────────────────────────────────────┼────────────┼─────────────────────┼──────────────┼──────────────────────────┼─────────────┼─────────────┤│ 5 │ NVIDIA RTX │ Driver │ Used 0.00 GB │ Temp 23.00 │ Draw 29.1 W │ SM 180 MHz ││ │ 6000D │ 595.71.05 │ Total 83.64 │ °C │ Limit 600.0 │ Mem 405 MHz ││ │ │ VBIOS 98.02. │ GB │ Util 0.0 % │ W │ ││ │ │ 8D.00.02 │ │ │ │ │├────────────────────────────────────────┼────────────┼─────────────────────┼──────────────┼──────────────────────────┼─────────────┼─────────────┤│ 6 │ NVIDIA RTX │ Driver │ Used 0.00 GB │ Temp 23.00 │ Draw 28.2 W │ SM 180 MHz ││ │ 6000D │ 595.71.05 │ Total 83.64 │ °C │ Limit 600.0 │ Mem 405 MHz ││ │ │ VBIOS 98.02. │ GB │ Util 0.0 % │ W │ ││ │ │ 8D.00.02 │ │ │ │ │├────────────────────────────────────────┼────────────┼─────────────────────┼──────────────┼──────────────────────────┼─────────────┼─────────────┤│ 7 │ NVIDIA RTX │ Driver │ Used 0.00 GB │ Temp 23.00 │ Draw 28.8 W │ SM 180 MHz ││ │ 6000D │ 595.71.05 │ Total 83.64 │ °C │ Limit 600.0 │ Mem 405 MHz ││ │ │ VBIOS 98.02. │ GB │ Util 0.0 % │ W │ ││ │ │ 8D.00.02 │ │ │ │ │╰────────────────────────────────────────┴────────────┴─────────────────────┴──────────────┴──────────────────────────┴─────────────┴─────────────╯
╭─────────────────────────┬─────────────────╮│ GPU Firmware ▸ GPU ID │ VBIOS Version │├─────────────────────────┼─────────────────┤│ 0 │ 98.02.8D.00.02 │├─────────────────────────┼─────────────────┤│ 1 │ 98.02.8D.00.02 │├─────────────────────────┼─────────────────┤│ 2 │ 98.02.8D.00.02 │├─────────────────────────┼─────────────────┤│ 3 │ 98.02.8D.00.02 │├─────────────────────────┼─────────────────┤│ 4 │ 98.02.8D.00.02 │├─────────────────────────┼─────────────────┤│ 5 │ 98.02.8D.00.02 │├─────────────────────────┼─────────────────┤│ 6 │ 98.02.8D.00.02 │├─────────────────────────┼─────────────────┤│ 7 │ 98.02.8D.00.02 │╰─────────────────────────┴─────────────────╯网络、环境与退出状态
╭──────────────────────────────────┬──────┬────────────┬───────╮│ Network Interfaces ▸ Interface │ Up │ Speed │ MTU │├──────────────────────────────────┼──────┼────────────┼───────┤│ docker0 │ No │ 0 Mbps │ 1500 │├──────────────────────────────────┼──────┼────────────┼───────┤│ eth0 │ Yes │ 10000 Mbps │ 1450 │├──────────────────────────────────┼──────┼────────────┼───────┤│ lo │ Yes │ 0 Mbps │ 65536 │╰──────────────────────────────────┴──────┴────────────┴───────╯
╭──────────────────────────┬─────────────────────────────────╮│ Environment ▸ Variable │ Value │├──────────────────────────┼─────────────────────────────────┤│ Cuda Visible Devices │ 0,1,2,3,4,5,6,7 │├──────────────────────────┼─────────────────────────────────┤│ Python Executable │ /data/gpubench/.venv/bin/python │├──────────────────────────┼─────────────────────────────────┤│ Python Version │ 3.12.3 │╰──────────────────────────┴─────────────────────────────────╯
[SUMMARY] Total execution time 271.86 sNCCL version 2.29.7+cuda13.2
[2026-06-09 04:51:36] cr-a61ab8cf-workload-5b95896858-gb5bc:388442:404571 [6] misc/ibvwrap.cc:173 NCCL WARN lib wrapper not initialized.GPUBENCH_EXIT=0GPU 补充测试
NCCL 8 卡通信
测试命令使用 /opt/nccl-tests/build，8 卡单机，NCCL_IB_DISABLE=1。
| 项目 | 测试范围 | Avg bus bandwidth | 最大 bus bandwidth |
|---|---|---|---|
| all-reduce | 8M - 4G | 22.10 GB/s | 22.79 GB/s |
| all-gather | 8M - 1G | 24.85 GB/s | 25.38 GB/s |
| reduce-scatter | 8M - 1G | 18.74 GB/s | 19.11 GB/s |
| broadcast | 8M - 1G | 26.18 GB/s | 26.89 GB/s |
终端结果节选：
# Avg bus bandwidth : 22.0978 # all_reduce_perf# Avg bus bandwidth : 24.8499 # all_gather_perf# Avg bus bandwidth : 18.7409 # reduce_scatter_perf# Avg bus bandwidth : 26.1791 # broadcast_perfPyTorch 精度算力
| 精度 / 模式 | 单卡平均 | 单卡范围 | 8 卡聚合 |
|---|---|---|---|
| FP32 CUDA cores | 67.13 TFLOPS | 62.29 - 67.86 TFLOPS | 537.03 TFLOPS |
| TF32 Tensor Cores | 71.79 TFLOPS | 71.62 - 72.07 TFLOPS | 574.31 TFLOPS |
| FP16 Tensor Cores | 143.15 TFLOPS | 142.70 - 143.70 TFLOPS | 1145.17 TFLOPS |
| BF16 Tensor Cores | 143.09 TFLOPS | 142.65 - 143.63 TFLOPS | 1144.74 TFLOPS |
显存设备内拷贝：
| 项目 | 单卡平均 | 8 卡聚合 |
|---|---|---|
| Device-to-device copy | 639.65 GB/s | 5117.16 GB/s |
vLLM 吞吐
vllm bench throughput \ --model /models/Qwen/Qwen3___6-27B \ --trust-remote-code \ --tensor-parallel-size 8 \ --dtype bfloat16 \ --max-model-len 4096 \ --gpu-memory-utilization 0.90 \ --disable-custom-all-reduce \ --dataset-name random \ --random-input-len 1024 \ --random-output-len 256 \ --num-prompts 128 \ --num-warmups 8 \ --max-num-seqs 128 \ --max-num-batched-tokens 16384| 模型 | 精度 | TP | 输入 / 输出 | 请求数 | 吞吐 |
|---|---|---|---|---|---|
| Qwen3.6-27B | BF16 | 8 | 1024 / 256 | 128 | 5815.98 total tokens/s |
| Qwen3.6-27B | FP16 | 8 | 1024 / 256 | 128 | 5789.15 total tokens/s |
更直观的输出 token 吞吐：
| 精度 | requests/s | output tokens/s |
|---|---|---|
| BF16 | 4.54 | 1163.20 |
| FP16 | 4.52 | 1157.83 |
终端结果节选：
Throughput: 4.54 requests/s, 5815.98 total tokens/s, 1163.20 output tokens/sTotal num prompt tokens: 131072Total num output tokens: 32768
Throughput: 4.52 requests/s, 5789.15 total tokens/s, 1157.83 output tokens/sTotal num prompt tokens: 131072Total num output tokens: 32768Gemma4 E4B-it 单卡吞吐
source /data/vllm-bench/.venv/bin/activateexport CUDA_VISIBLE_DEVICES=0export NCCL_IB_DISABLE=1export NCCL_P2P_DISABLE=0export VLLM_WORKER_MULTIPROC_METHOD=spawn
vllm bench throughput \ --model /data1/models/gemma-4-e4b-it \ --trust-remote-code \ --tensor-parallel-size 1 \ --dtype bfloat16 \ --max-model-len 4096 \ --gpu-memory-utilization 0.90 \ --dataset-name random \ --random-input-len 1024 \ --random-output-len 256 \ --num-prompts 128 \ --num-warmups 8 \ --max-num-seqs 128 \ --max-num-batched-tokens 16384| 模型 | 精度 | TP | 输入 / 输出 | 请求数 | requests/s | total tokens/s | output tokens/s |
|---|---|---|---|---|---|---|---|
| Gemma4 E4B-it | BF16 | 1 | 1024 / 256 | 128 | 9.79 | 12526.73 | 2505.35 |
终端结果节选：
Resolved architecture: Gemma4ForConditionalGenerationUsing AttentionBackendEnum.TRITON_ATTN backend.Model loading took 15.47 GiB memoryGPU KV cache size: 1,059,913 tokens
Throughput: 9.79 requests/s, 12526.73 total tokens/s, 2505.35 output tokens/sTotal num prompt tokens: 131072Total num output tokens: 32768MJJ 最爱的测试
CPU 是双路 EPYC 9575F，但本次环境暴露为 112 核 224 线程，因为我做了虚拟化。
GeekBench 5 结果：
GeekBnech6 结果：
sysbench CPU 结果：
| 线程数 | events/s |
|---|---|
| 1 | 2363.56 |
| 112 | 206400.58 |
| 224 | 270779.11 |
stress-ng 使用 224 个 CPU worker，matrixprod 方法压 120 秒：
| 项目 | 结果 |
|---|---|
| bogo ops | 18442736 |
| bogo ops/s real time | 153685.58 |
| 压测结果 | 224 个 worker 全部 passed |
OpenSSL 补测：
| 项目 | 16K block 结果 |
|---|---|
| SHA256 | 379426122.21k |
| AES-256-GCM | 2291539267.21k |
YABS
Basic System Information:---------------------------------Uptime : 3 days, 18 hours, 51 minutesProcessor : AMD EPYC 9575F 64-Core ProcessorCPU cores : 224 @ 1500.000 MHzAES-NI : ✔ EnabledVM-x/AMD-V : ✔ EnabledRAM : 1.5 TiBSwap : 8.0 GiBDisk : 3.9 TiBDistro : Ubuntu 24.04.2 LTSKernel : 5.15.0-179-genericVM Type : DOCKERIPv4/IPv6 : ✔ Online / ❌ Offline
IPv4 Network Information:---------------------------------ISP : China Unicom Shanghai Province NetworkASN : AS138421 China UnicomLocation : Shanghai, Shanghai (SH)Country : China
fio Disk Speed Tests (Mixed R/W 50/50) (Partition /dev/nvme1n1p1):---------------------------------Block Size | 4k (IOPS) | 64k (IOPS) ------ | --- ---- | ---- ----Read | 1.39 GB/s (348.8k) | 1.51 GB/s (23.7k)Write | 1.39 GB/s (349.7k) | 1.52 GB/s (23.8k)Total | 2.79 GB/s (698.5k) | 3.04 GB/s (47.5k) | |Block Size | 512k (IOPS) | 1m (IOPS) ------ | --- ---- | ---- ----Read | 1.93 GB/s (3.7k) | 2.13 GB/s (2.0k)Write | 2.03 GB/s (3.9k) | 2.27 GB/s (2.2k)Total | 3.97 GB/s (7.7k) | 4.41 GB/s (4.3k) 双路 EPYC 9575F + RTX 6000D 8 卡 BenchMark
https://catcat.blog/2026/06/rtx-6000d-8gpu-epyc-9575f-server-benchmark.html