前言：AI 伺服器規劃不只是買 GPU
許多企業在決定導入 AI 運算能力時，第一個念頭往往是「買幾張 GPU 就好」。然而，真正讓 AI 專案成功落地的關鍵，在於完整的基礎建設規劃——從電力供給、散熱設計、儲存架構到網路頻寬，每一個環節都環環相扣。
GPU 固然是核心元件，但一套沒有配套規劃的 AI 伺服器，不但無法發揮應有效能，更可能在上線後頻繁故障、造成計畫延誤。本文將以系統性視角，帶您逐步完成企業 AI 伺服器的規劃工作。
一、需求盤點
在選購任何硬體之前，首先必須清晰定義使用場景與規模需求。
模型類型與工作負載
不同的 AI 應用對硬體的要求差異極大。大型語言模型（LLM）的推論服務需要大量 GPU 記憶體；影像辨識訓練則需要高吞吐量的 GPU 計算核心；而強化學習任務對 CPU 也有相當要求。明確定義工作負載類型，是選型的第一步。
GPU 數量與記憶體需求估算
- 模型參數量（以 Billion 計）×2 ≈ 推論所需 GPU 記憶體（FP16）
- 訓練通常需要推論的 3～4 倍記憶體
- 建議預留 20% 的記憶體餘量作為緩衝
資料量與儲存規模
訓練資料集的大小決定了儲存容量需求。以影像資料集為例，每百萬張 1080p 圖片約需 500GB～1TB 的原始儲存空間。同時需考量訓練過程中的中間檔案（checkpoint）與模型版本管理所需的額外空間。
預算框架
建議將硬體預算拆分為：GPU 伺服器本體（40～50%）、儲存系統（20～25%）、網路設備（10～15%）、電力與散熱（10～15%）、其餘（維護合約、軟體授權）等類別進行分配。
二、GPU 架構規劃
單機多 GPU vs. 多節點叢集
單機多 GPU 配置（如 8×H100）適合中型訓練任務，具備低延遲的 GPU 間通訊優勢，部署與維運相對簡單。多節點叢集則適合超大規模模型訓練，可水平擴展，但需要 InfiniBand 或 100G RoCE 網路作為支撐。
PCIe vs. NVLink 互連
PCIe 5.0 的 GPU 間頻寬約為 64GB/s，適合推論工作負載。NVLink 4.0 則可達 900GB/s，是大型模型訓練的首選。若預算允許，建議選擇支援 NVSwitch 的伺服器平台，以充分發揮多 GPU 並行效能。
叢集網路規格
- 節點間通訊：建議 100G 乙太網路（RoCE）或 InfiniBand HDR（200Gbps）
- 儲存網路：獨立的 25G 或 100G 儲存網路，避免與訓練流量競爭頻寬
- 管理網路：獨立的 1G IPMI/BMC 管理網路
三、電力與散熱評估
耗電量計算
以 8×NVIDIA H100 SXM 伺服器為例：GPU 總功耗約 8×700W=5,600W，加上 CPU、記憶體、儲存與風扇，整機 TDP 約為 8,000～10,000W。建議以 TDP 的 1.2 倍作為電力規劃基準，確保餘量充足。
機櫃負載規劃
標準機櫃的電力供應上限通常為 10kW 或 20kW（需確認資料中心規格）。高密度 AI 伺服器可能需要液冷機櫃，其冷卻能力可達 60kW 以上。規劃時應確認機房的機櫃功率密度上限，避免超載。
空調容量
散熱需求（BTU/hr）= 電力消耗（W）× 3.412。一台 10kW 的 AI 伺服器需約 34,120 BTU/hr 的冷卻能力。建議與空調廠商確認機房的 PUE（電源使用效率）指標，理想值應低於 1.4。
四、儲存架構
NVMe 快取層
訓練過程中，資料讀取速度往往是效能瓶頸。本地 NVMe SSD 作為快取層，可將訓練資料預先載入，大幅減少等待時間。建議配置 8TB 以上的 NVMe 作為熱資料快取。
SAN/NAS 共享儲存
多節點叢集需要共享儲存系統，以便各節點存取同一份訓練資料集。全快閃 SAN 陣列可提供低延遲的 Block 存取；高效能 NAS（如 GPFS、Lustre）則提供 POSIX 相容的檔案系統介面，適合 AI 框架直接掛載使用。
備援與災難復原
- 訓練 checkpoint 應定期備份至異地或物件儲存
- 模型倉庫建議採 3-2-1 備份策略
- 考量 RPO/RTO 需求，規劃資料復原流程
五、結論：整合商 vs. 單純硬體採購
AI 伺服器導入涉及硬體選型、系統整合、驅動程式調校、網路設定與後續維運等複雜工作。選擇具備完整服務能力的整合商，相較於自行向多個廠商分別採購，能大幅降低整合風險與導入時間。
凱茂資訊具備 GPU 伺服器建置與 AI 運算環境整合經驗，提供從需求盤點、架構規劃、設備採購到安裝調校的一站式服務，協助企業以最短時間、最低風險完成 AI 基礎建設部署。
重點摘要
- 先做 POC（單 GPU，30-80 萬）驗證商業價值，再擴展叢集
- 算力需求由 AI 模型大小決定，不是買越大越好
- 機房電力與散熱是最常被忽略的瓶頸
- 多 GPU 訓練需要 InfiniBand 或 100GbE 高速互連
有任何問題，歡迎與我們討論。
預約免費架構盤點 →