新一代 8 GPU 伺服器,專為企業/雲端服務供應商的繁重 AI 工作負載而生

NVIDIA HGX B300 8 GPU 伺服器

ASUS XA NB3I-E12 搭載 NVIDIA Blackwell HGX B300 8 GPU 和雙 Intel® Xeon® 6 處理器,專為繁重的 AI 工作負載設計,GPU 內建 8 個 CX8 InfiniBand、5 個擴充 PCIe 插槽、32 個 DIMM、10 個 NVMe 和雙 10Gb LAN。它能將資料轉化為智慧,實現高效率的現實世界自動化,非常適合執行大型語言模型 (LLM) 的大型企業和雲端服務供應商、進行科學運算的研究機構和大學,以及專注於 AI 模型訓練和推論的金融和汽車產業。

無與倫比的端對端加速運算平台

NVIDIA HGX B300 整合 NVIDIA Blackwell Ultra GPU 與高速互連技術,將資料中心推向加速運算和生成式 AI 的新時代。作為頂尖的加速擴充平台,以 NVIDIA Blackwell 為基礎的 HGX 系統專為最嚴苛的生成式 AI、資料分析和 HPC 工作負載而設計。
NVIDIA GPU 平台模型訓練速度比較長條圖。HGX H100 為基準,HGX B200 較高,HGX B300 最高,顯示使用 HGX B300 的 AI 訓練速度最高可快 1.7 倍。
不同 NVIDIA GPU 平台即時處理量效能比較長條圖。HGX H100 為基準,HGX B200 較高,HGX B300 最高,顯示 AI 推論效能顯著提升。
HGX B300 提供新一代 AI 效能,在 Llama 3.1 405B 等模型上的推論效能比前一代 NVIDIA Hopper™ 提升高達 11 倍。它採用搭載自訂 Blackwell Tensor Core 技術的第二代 Transformer 引擎和 TensorRT™-LLM 最佳化技術,可加速大型語言模型的推論,同時透過 8 位元浮點 (FP8) 和新的精度,將訓練速度提升高達 4 倍。
第五代 NVLink 具備 1.8TB/s 的 GPU 對 GPU 互連、InfiniBand 網路和 NVIDIA Magnum IO™ 軟體,進一步強化了這項突破,確保企業和大規模 GPU 運算叢集的高效率擴充。
ASUS HGX B300 8 GPU 伺服器的 3D 系統配置圖。標籤標示了 NVIDIA Blackwell Ultra B200 GPU、雙 Intel Xeon 處理器、最高 4TB 的 DDR5 DIMM 記憶體、五個 PCIe Gen 5 x16 擴充插槽、最多九個 2.5 吋 NVMe/SATA 硬碟,以及備援 3200W 80 Plus Titanium 電源供應器。 ASUS HGX B300 8 GPU 伺服器的 3D 系統配置圖。標籤標示了 NVIDIA Blackwell Ultra B200 GPU、雙 Intel Xeon 處理器、最高 4TB 的 DDR5 DIMM 記憶體、五個 PCIe Gen 5 x16 擴充插槽、最多九個 2.5 吋 NVMe/SATA 硬碟,以及備援 3200W 80 Plus Titanium 電源供應器。

GPU
HGX BLACKWELL ULTRA B300

處理器
2 × 第 6 代 Intel® Xeon® 處理器 (SP) TDP 350W

記憶體
32 × 6400 DDR5 DIMM 插槽 (最高 4TB)

擴充
5 × Gen5 PCIe 插槽 (4 × 16 + 1 × 8)

儲存裝置
10 × 2.5" 硬碟槽 (10 × NVMe)

電源供應器
5+5 備援 3200W 80 PLUS Titanium PSU

伺服器後面板視圖,顯示 15 個 GPU 風扇 (54V, 8080) 和 10 個電源供應器 (54V, 3200W)。 伺服器後面板視圖,顯示 15 個 GPU 風扇 (54V, 8080) 和 10 個電源供應器 (54V, 3200W)。

GPU 風扇 x15 (54V, 8080)

PSU x10 (54V, 3200W)

伺服器系統的前面板配置圖,顯示標示的元件,包括 OCP 連接器、RAID 連接埠、多個 PCIe 插槽、儲存硬碟槽 (12 x 3.5 吋)、IPMI 和 BlueField-2 卡。 伺服器系統的前面板配置圖,顯示標示的元件,包括 OCP 連接器、RAID 連接埠、多個 PCIe 插槽、儲存硬碟槽 (12 x 3.5 吋)、IPMI 和 BlueField-2 卡。

HGX B300

OSFP 連接器 x8

RAID (X8)

PCIe 插槽 (x16)

BlueField-3

儲存裝置 U.2 x10

FPB

IO 面板

模組化設計,減少線材使用

輕鬆排除故障並達到導熱最佳化

模組化設計可將線材使用降到最低,加快系統組裝速度並簡化佈線,同時透過減少氣流阻塞來改善散熱效能。板對板連接進一步降低了線材損耗和延遲,使維護更容易並確保高可維護性。

先進的 NVIDIA 技術

充分發揮 NVIDIA GPU、DPU、NVLink、NVSwitch 和網路技術的完整功能

XA NB3I-E12 透過整合第四代 NVLink 和 NVSwitch 技術,以及 NVIDIA ConnectX-8 SmartNIC,加速 AI 和資料科學的發展。這也支援 GPUDirect® RDMA、NVIDIA Magnum IO 儲存空間,以及做為 NVIDIA AI 平台軟體層的 NVIDIA AI Enterprise。
比較採用 PCIe 交換器和 NVSwitch 的伺服器設計的拓撲圖。HGX B200 架構使用 NVSwitch 實現完整的 GPU 對 GPU 頻寬,並減少延遲瓶頸,圖中以彩色編碼的連接線和箭頭表示。

最佳化導熱設計

雙層 GPU 和 CPU 滑架可提升導熱效率

XA NB3I-E12 採用流線設計,具有專屬的 CPU 和 GPU 氣流通道,可有效提升散熱功能。雙層 GPU 和 CPU 滑架設計可將熱量排放到周圍的環境空氣中,提升導熱效率、可擴充性和整體效能,改善能源效率,節省整體系統功耗。
此為伺服器配置圖,說明 ASUS HGX B300 系統的最佳化導熱設計。左圖顯示一個雙層滑架,將 GPU 和 CPU 分開以利散熱。
此為伺服器配置圖,說明 ASUS HGX B300 系統的最佳化導熱設計。右圖顯示安裝了 GPU 的完整伺服器機殼,旨在提高能源效率和節省系統功耗。

5+5 電源供應器

卓越的電源效率

為將營運成本降到最低,XA NB3I-E12 提供有效的散熱和創新元件。透過 5+5 80 PLUS Titanium 電源供應器實現卓越的電源效率,提供可靠且充足的電力。
伺服器中的 5+5 備援電源供應器模組,確保高效率和故障轉移能力。

可維護性

提升 IT 營運效率

  • 符合人體工學的手把設計

  • 免工具手旋螺絲

  • 轉接卡固定扣

  • 免工具外蓋

BMC

遠端伺服器管理

ASUS ASMB11-iKVM 是 ASUS 最新的伺服器管理解決方案,採用 ASPEED 2600 晶片組並執行於最新的 AMI MegaRAC SP-X。此模組提供多種介面,可透過 WebGUI、智慧平台管理介面 (IPMI) 及 Redfish® API 執行頻外伺服器管理。
進一步瞭解
BMC 開機時間比較長條圖:AST2600 為 12.885 秒,AST2500 為 21.262 秒,顯示其速度差異

IT 基礎架構管理軟體

透過單一儀表板簡化 IT 營運

ASUS Control Center (ACC) 是一款遠端 IT 管理軟體應用程式,用於監控硬體和軟體 IT 資產和庫存狀態,實現無縫的遠端 BIOS 設定和更新、高效的 IT 診斷和故障排除,以及透過 Hotfix 更新強化安全性,讓任何人都能更輕鬆管理伺服器 IT 基礎架構。
進一步瞭解
IT 基礎架構管理軟體儀表板,顯示效能、警示和資源指標。

硬體信任根解決方案

偵測、恢復、啟動和保護

ASUS 伺服器整合 PFR FPGA 做為平台信任根解決方案,可提供韌體彈性以防止駭客取得基礎設施的存取權。ASUS 安全解決方案完全符合 2018 年美國國家標準技術研究院 (NIST) SP 800 193 規範。

* 平台韌體彈性 (PFR) 模組必須在訂購時指定並在原廠安裝,並無單獨出售。

信任平台模組 2.0

ASUS 伺服器還支援信任平台模組 2.0 (TPM 2.0),可透過整合的加密金鑰確保硬體安全,並定期更新韌體以修補安全漏洞。
進一步瞭解產品支援清單
Intel Xeon 處理器標誌

Intel Xeon 6 處理器

Intel Xeon 6 處理器在效能和效率方面實現了重大飛躍,專為滿足先進 AI、網路和資料中心工作負載的需求而設計。這些處理器採用全 P-core 架構,提供卓越的運算能力,使企業能夠輕鬆應對最嚴苛的應用程式。透過支援高速 DDR5 記憶體和 PCIe 5.0 I/O,Intel Xeon 6 處理器可確保無縫的擴充性和更高的資料處理量,使其成為現代高效能環境的理想選擇。此外,其最佳化的能源效率和穩固的設計,可滿足新一代資料中心不斷變化的需求,鞏固了 Intel 在 AI 和網路解決方案領域的領導地位。
  • XA NB3I-E12 適用於哪些 AI 工作負載?
    XA NB3I-E12 適用於哪些 AI 工作負載? XA NB3I-E12 搭載 NVIDIA Blackwell HGX B300 8 GPU 和雙 Intel Xeon 6 處理器,可處理 LLM、AI 訓練和科學運算,並內建 8 個 CX8 InfiniBand 以實現超低延遲。