日韩精品一区二区三区swag_一区二区三区在线高清_亚洲国内欧美_国产精品xnxxcom

　　當我們在云上部署 DeepSeek 系列大模型的時候,可以選擇多機或者單機 8 卡的 GPU 裸金屬實例運行滿血版,或者選擇單卡和雙卡 GPU 虛擬機運行蒸餾版。這些 GPU 云服務器實例能否發揮多機、多卡、單卡的性能,將直接影響部署的 DeepSeek 服務的吞吐能力。除此之外,在訓練場景中這些實例的相關能力能將直接影響訓練時長。本文將針對 GPU 云服務器的軟件系統設計和實現進行概述,并分享百度智能云的新實踐成果。
 
　　1.GPU 處理數據流程
 
　　在具體討論 GPU 云服務器的軟件設計工作之前,我們首先來看下 GPU 在服務器中是如何工作的。下圖是一個簡化的 GPU 處理數據的流程圖,以便梳理一下影響 GPU 云服務器性能的關鍵因素。從圖中我們可以看到,數據處理分為以下幾個步驟:
 
　　第 1 步,所有數據都需要從網絡或者存儲中讀取到內存。這里就涉及到網絡或者存儲的傳輸性能。
 
　　第 2 步,當讀取到內存之后,CPU 需要從內存中讀取相關數據進行預處理,然后將預處理后的數據再寫回到內存中。這個過程就涉及到內存自身的帶寬性能和 CPU 的處理性能。
 
　　第 3 步 ,數據需要從內存拷貝到 GPU 的顯存中。這就涉及到 GPU 和系統內存之間的數據傳輸性能,一般稱之為 H2D(Host To Device)。
 
　　第 4 步,GPU 從 GPU 顯存中讀取相關的數據進行運算。此時主要涉及 GPU 的顯存帶寬和 GPU 的計算性能。如果數據比較龐大,單個GPU無法處理,就涉及到多個 GPU 的處理,那么這里就涉及到多 GPU 之間的集合通信。
 
　　第 5 步,如果是單機多卡的情況,就涉及到 GPU 在機內之間數據傳輸的性能;如果是多機多卡的場景,那么就涉及到多節點之間的網絡傳輸性能。
 
　　第 6 步,當 GPU 運算完成后,數據需要從 GPU 的顯存再拷貝到內存中。這里也涉及到 GPU 和系統內存之間的數據傳輸性能。一般稱之為 D2H(Device To Host)。
 
　　我們在設計 GPU 云服務器時,需要綜合考慮上面 GPU 數據處理鏈路的每一個環節,然后結合業務特點和使用成本,進行 GPU 云服務器的設計。
 
　　2.GPU 云服務器設計的層次劃分
 
　　談到 GPU 云服務器的設計,我們一般分為了 4 個層次。下圖展現了這個層次結構,涉及到硬件和軟件的多個層面。
 
　　首先從下面來看,主要是 GPU 云服務器底層基礎技術組件,包括如硬件選型、拓撲結構、GPU 互聯和虛擬化技術。這些技術不僅決定了單卡運行的效率,也會影響上層多卡通信的效率。
 
　　向上一層是多卡通信方式。此時我們需要考慮硬件和軟件的支持程度,比如是采用共享內存、P2P 、NVLink 還是 GDR 結構,每一種結構都需要考慮到對應的硬件和軟件實現。比如有的軟件不支持 P2P,此時我們可能就需要退回到共享內存的方式。如果涉及到大模型就需要采用多機多卡,此時還涉及到 RDMA 網絡的通訊。
 
　　再上一層是集合通信庫,即在多卡通信的場景下,我們需要考慮如何提升集合通信的性能,一般會各種 CCL (Collective Communications Library )的通信庫,這些庫會基于 GPU 卡的互聯技術和軟件支持,來進行合理的選路。一般來說會先探測出當前的 GPU 能進行哪些通信(比如支持 P2P 或者支持共享內存),然后根據該結果進行合理的選路,并通過合適的通信算法,大化提升集合通信的性能。
 
　　再往上就是 AI 框架。AI 框架依賴于集合通信的性能以提高 AI 計算的能力。
 
　　下面我們將詳細敘述底部的 2 個層次如何影響到 GPU 云服務器設計。
 
　　2.1.GPU 云服務器基礎技術
 
　　首先來看下 GPU 云服務器的底層實現技術,這關系到 GPU 云服務器性能的基礎,通常包括如下幾方面:
 
　　硬件選型:選擇合適的硬件,包括 CPU,內存,GPU,網絡和存儲等。
 
　　拓撲結構,包括實際的硬件拓撲。如果 GPU 云服務器采用虛擬化技