什麼是 MLPerf？
Machine Learning Performance（簡稱 MLPerf）是一套基準測試套件，旨在衡量機器學習（ML）硬體、軟體和雲端平台的效能。它由 AI 產業領導者、研究人員和學者組成的聯盟所建立，提供了一套標準化的基準測試和指標，以便在不同的 ML 工作負載和系統之間進行公平比較。
MLPerf 基準測試旨在涵蓋一系列不同的 ML 任務和場景，包括但不限於：
- MLPerf Training：衡量系統在影像分類、物件偵測、翻譯等各種任務中，將模型訓練到目標品質水準的速度。
- MLPerf Inference：評估系統在執行已訓練模型以根據新數據進行預測或推論時的效能。它包含各種場景，如資料中心推論、邊緣推論和行動裝置推論。
MLPerf 中的每個基準測試都旨在代表特定類別的 ML 應用，提供關於系統在特定 ML 工作負載下表現如何的深入見解。基準測試也設有版本，其更新反映了快速發展的 ML 領域。
透過提供一組通用的基準測試，MLPerf 旨在藉由實現不同 ML 產品和技術之間的公平比較，推動 ML 領域的創新，並幫助客戶根據可靠的效能數據做出明智的決策。