企業 AI 工廠的基礎建構模組

NVIDIA Blackwell HGX™ B200 8-GPU AI 伺服器

ASUS ESC-NB8-E11 搭載 NVIDIA Blackwell HGX™ B200 8-GPU,並配備兩顆第五代 Intel Xeon® 可擴展處理器,透過 NVIDIA NVLink™ 實現 GPU 間直接互連,提供 1,800GB/s 頻寬,實現優化擴展。其採用專用的單 GPU 對單 NIC 拓撲,最多支援 8 個 NIC,在運算密集型工作負載期間提供最高吞吐量。ESC-NB8-E11 專為作為企業 AI 工廠的基礎建構模組而設計,可加速運算、網路、儲存和軟體整合,實現更快、更可靠的 AI 工廠部署,同時降低風險並提高營運效率。

推動資料中心進入加速運算新時代

NVIDIA Blackwell HGX™ B200

NVIDIA HGX B200 專為最嚴苛的 AI、資料分析和高效能運算 (HPC) 工作負載而設計,以新一代的加速運算和生成式 AI 功能徹底改變資料中心。搭載強大的 NVIDIA Blackwell GPU 和超高速互連技術,可提供高達 1.4TB 的 HBM3E 記憶體,實現卓越的資料吞吐量,並透過 NVSwitch™ 提供 1800GB/s 的 NVLink 頻寬,實現無縫的 GPU 通訊。
在 GPT-MoE-1.8T 等大規模模型工作負載中,NVIDIA B200 NVL8 實現了重大的效能躍進:
長條圖比較每秒 token 數的訓練吞吐量。使用 32,000 個 GPU 進行訓練時,NVIDIA B200 NVL8 的效能比 NVIDIA H200 NVL8 快 1.8 倍。

大規模訓練

使用 32,000 個 GPU 進行訓練時,B200 NVL8 的效能比 H200 NVL8 快 1.8 倍。
長條圖比較每秒 token 數的推論吞吐量。使用 32 個 GPU 進行推論時,NVIDIA B200 NVL8 的效能比 NVIDIA H200 NVL8 大幅提升 5 倍。

大規模推論

使用 32 個 GPU 進行推論時,B200 NVL8 的效能比 H200 NVL8 大幅提升 5 倍。
NVIDIA HGX B200 8-GPU AI 伺服器的 3D 分解圖,顯示 GPU、CPU、NIC 和電源供應器等關鍵元件,並標示系統配置和氣流 NVIDIA HGX B200 8-GPU AI 伺服器的 3D 分解圖,顯示 GPU、CPU、NIC 和電源供應器等關鍵元件,並標示系統配置和氣流

1,800 GB/s 頻寬
透過 NVLink 進行 GPU 對 GPU 直接互連

PCIe 5.0 交換板 (switch board) 可更快
連接儲存裝置、顯示卡和 NIC

10 個 NVMe 儲存裝置
- 前面板 8 個
- 後面板 2 個

模組化和免工具設計
搭配滑軌式設計和手把

獨立氣流通道設計
搭配雙轉子風扇模組

NVIDIA Blackwell HGX B200 伺服器前視圖,顯示包含 8 個 GPU、NIC 插槽的系統配置,並標示氣流方向,說明硬體可維修性和散熱路徑。 NVIDIA Blackwell HGX B200 伺服器前視圖,顯示包含 8 個 GPU、NIC 插槽的系統配置,並標示氣流方向,說明硬體可維修性和散熱路徑。

GPU 滑架風扇 8080 x 15 個

NVMe x 8

雙節點伺服器系統後視圖,顯示已標示的元件,包括兩個伺服器節點 (節點 1 和節點 2)、OCP 3.0 插槽、USB 3.0 連接埠、1-Gigabit 乙太網路、10-Gigabit 乙太網路和電源供應器。左側的導覽選項包括系統配置、面板配置和方塊圖。 雙節點伺服器系統後視圖,顯示已標示的元件,包括兩個伺服器節點 (節點 1 和節點 2)、OCP 3.0 插槽、USB 3.0 連接埠、1-Gigabit 乙太網路、10-Gigabit 乙太網路和電源供應器。左側的導覽選項包括系統配置、面板配置和方塊圖。

NVMe x 2

1 x PCIE Gen4 x 8

8 x PCIe Gen5 x16 (LP)

2 x PCIE Gen5 x 16

PSU x 6

模組化設計,減少線材使用

輕鬆排除故障,並達到導熱最佳化

模組化設計大大減少了線材使用,可縮短系統組裝時間、減少整線需求,並藉由降低氣流阻塞風險,達到導熱最佳化。
伺服器模組化主機板設計的特寫影像,顯示透過 GPU 直接互連和優化的散熱佈線,將線材使用降至最低,從而提高可維護性和氣流效率。

先進的 NVIDIA 技術

充分使用 NVIDIA GPU、DPU、NVLink、NVSwitch 和網路技術

ESC NB8-E11 結合第四代 NVLink 和 NVSwitch 技術,以及 NVIDIA ConnectX-7 SmartNIC,加速 AI 和資料科學發展。此外還運用 GPUDirect® RDMA、NVIDIA Magnum IO™ 儲存空間以及 NVIDIA AI 平台軟體層的 NVIDIA AI Enterprise。
比較採用 PCIe 交換器和 NVSwitch 的伺服器設計的拓撲圖。HGX B200 架構使用 NVSwitch 實現完整的 GPU 對 GPU 頻寬,並減少延遲瓶頸,圖中以彩色編碼的連接線和箭頭顯示。

優化的散熱設計

雙層 GPU 和 CPU 滑架可提升導熱效率

ESC NB8-E11 採用流線設計,具有專屬的 CPU 和 GPU 氣流通道,可有效提升散熱功能。雙層 GPU 和 CPU 機殼設計可將熱量排放到周圍的環境空氣中,提升導熱效率、可擴充性和整體效能,改善能源效率,節省整體系統功耗。
顯示優化散熱設計的動畫。雙 GPU 和 CPU 伺服器模組的俯視圖,帶有紅色散熱器,突顯了從前到後的優化熱流的熱氣排出路徑。
顯示優化散熱設計的動畫。雙 GPU 和 CPU 伺服器模組的俯視圖,帶有藍色散熱器,顯示冷空氣進氣區以改善氣流和散熱效率。

5+1 電源供應器

高水準的電源效率

為降低運作成本,ESC NB8-E11 具備有效的散熱設計和創新元件。80 PLUS® 鈦金級電源供應器採 5+1 備援配置,可有效提供充足電力。
伺服器中的 5+1 備援電源供應器模組,確保高效率和故障轉移能力。

可維護性

提升 IT 營運效率

  • 符合人體工學的手把設計

    符合人體工學的手把設計

  • 免工具手旋螺絲

    免工具手旋螺絲

  • 轉接卡固定扣

    轉接卡固定扣

  • 免工具外蓋

    免工具外蓋

BMC

遠端伺服器管理

ASUS ASMB11-iKVM 是 ASUS 最新的伺服器管理解決方案,採用 ASPEED 2600 晶片組並執行於最新的 AMI MegaRAC SP-X。此模組提供多種介面,可透過 WebGUI、智慧平台管理介面 (IPMI) 及 Redfish® API 執行頻外伺服器管理。
進一步瞭解
ASUS BMC 開機時間比較圖

IT 基礎架構管理軟體

透過單一儀表板簡化 IT 營運

ASUS Control Center (ACC) 是一款遠端 IT 管理軟體應用程式,用於監控硬體和軟體 IT 資產和庫存狀態,實現無縫的遠端 BIOS 設定和更新、高效的 IT 診斷和故障排除,以及透過 Hotfix 更新強化安全性,讓任何人都能更輕鬆管理伺服器 IT 基礎架構。
進一步瞭解
顯示效能、警示和資源指標的 IT 基礎架構管理軟體儀表板。

硬體信任根解決方案

偵測、恢復、啟動和保護

ASUS 伺服器整合 PFR FPGA 做為平台信任根解決方案,可提供韌體彈性以防止駭客取得基礎設施的存取權。ASUS 安全解決方案完全符合 2018 年美國國家標準技術研究院 (NIST) SP 800 193 規範。

* 平台韌體彈性 (PFR) 模組必須在訂購時指定並在原廠安裝,並無單獨出售。

信任平台模組 2.0

ASUS 伺服器還支援信任平台模組 2.0 (TPM 2.0),可透過整合的加密金鑰確保硬體安全,並定期更新韌體以修補安全漏洞。
進一步瞭解產品支援清單

效能

第 5 代 Intel® Xeon® 可擴充處理器

第五代 Intel® Xeon® 處理器透過直接相容的 LGA-4677 插槽,將平均通用效能提升高達 21%,顯著改善 AI 推論和訓練。這款創新強大的處理器加速了 AI、HPC、分析、網路、儲存等領域的發展,並提供八個 DDR5-5600 記憶體通道,最高支援 2TB 容量、80 個支援 CXL 1.1 的 PCI Express® 5.0 通道,以及適用於 1P 和 2P 配置的 350W TDP,為未來的運算做好準備。
進一步瞭解 Intel Xeon 處理器周圍環繞著六個內建加速器,包括 AMX、DSA、QAT、IAA、DLB 和 DSA,可針對特定工作負載提升效能。

* 加速器的可用性因 SKU 而異。