CN117742959B 基于集群的訓練方法、裝置、電子設(shè)備及存儲介質(zhì) （北京百度網(wǎng)訊科技有限公司）

于訓練節(jié)點中模型訓練程序的容器鏡像和訓練標備用節(jié)點接替訓練節(jié)點繼續(xù)執(zhí)行模型訓練任2基于所述訓練節(jié)點中模型訓練程序的容器鏡像和所述訓練狀態(tài)數(shù)據(jù)，對其中，所述目標訓練快照是依據(jù)目標周期從所述訓練節(jié)獲取所述模型訓練任務(wù)的訓練快照的單次預(yù)估保根據(jù)設(shè)定時長和所述單次預(yù)估保存開銷，構(gòu)建以所述目標周期為2.根據(jù)權(quán)利要求1所述的方法，所述獲取所述訓練節(jié)點中模型訓練任務(wù)的目標訓練快獲取所述訓練節(jié)點中所述模型訓練任務(wù)的至少一個訓練快照；依據(jù)所述目標周期，控制所述訓練節(jié)點基于第一進程，將所述訓控制所述訓練節(jié)點基于第二進程，從所述內(nèi)存中讀取所述訓練快控制所述訓練節(jié)點基于第三進程，從所述固態(tài)硬盤中讀取所述訓選取對應(yīng)的獲取時間與所述故障時間間隔最短的訓練快照為所述目對所述目標備用節(jié)點進行通信帶寬驗證和/或靜默數(shù)據(jù)錯響應(yīng)于通信帶寬驗證通過和/或靜默數(shù)據(jù)錯誤校驗通過，對所述目標備用節(jié)點進行初3獲取所述集群的預(yù)估可用性和單位時間內(nèi)故10.一種基于集群的訓練裝置，所述集群中包括用于執(zhí)行模型訓練任務(wù)的訓練節(jié)點和第一響應(yīng)模塊，用于響應(yīng)于訓練節(jié)點存在硬件故障，從多個備用節(jié)初始化模塊，用于基于所述訓練節(jié)點中模型訓練程序的容器鏡像和所述訓練狀態(tài)數(shù)其中，所述目標訓練快照是依據(jù)目標周期從所述訓練節(jié)第一構(gòu)建模塊，用于根據(jù)設(shè)定時長和所述單次預(yù)估保存開銷獲取所述訓練節(jié)點中所述模型訓練任務(wù)的至少一個訓練快照；依據(jù)所述目標周期，控制所述訓練節(jié)點基于第一進程，將所述訓控制所述訓練節(jié)點基于第二進程，從所述內(nèi)存中讀取所述訓練快控制所述訓練節(jié)點基于第三進程，從所述固態(tài)硬盤中讀取所述訓4選取對應(yīng)的獲取時間與所述故障時間間隔最短的訓練快照為所述目對所述目標備用節(jié)點進行通信帶寬驗證和/或靜默數(shù)據(jù)錯響應(yīng)于通信帶寬驗證通過和/或靜默數(shù)據(jù)錯誤校驗通過，對所述目標備用節(jié)點進行初第二響應(yīng)模塊，用于響應(yīng)于所述訓練節(jié)點存在軟件故障，類型確定模塊，用于響應(yīng)于獲取到所述訓練節(jié)點的故障碼，基所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被5個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行如第一方面所述的基于集群的訓練方6機指令在被處理器執(zhí)行時實現(xiàn)如第一方面所述的基于集群的訓練方法節(jié)點中模型訓練任務(wù)的目標訓練快照；目標訓練快照中包括模型訓練任務(wù)的訓練狀態(tài)數(shù)[0018]應(yīng)當理解，本部分所描述的內(nèi)容并非旨在標識本公開的實施例的關(guān)鍵或重要特訓練裝置，基于集群的訓練裝置可以由軟件和/或硬件的方式實現(xiàn)，可以配置在電子設(shè)備7硬件可以是指圖形處理器(graphicsprocessingunit，GPU)、中央處理器(centralB的備用節(jié)點或者優(yōu)先級為B的備用節(jié)點不可用時，選取優(yōu)先級為A的備用節(jié)點為目標備用8[0049]目標訓練快照中所包括的模型訓練任務(wù)的訓練狀態(tài)數(shù)據(jù)，可以是指訓練數(shù)據(jù)狀[0053]對目標備用節(jié)點進行初始化的過程可以理解為搶占目標備用節(jié)點的資源以執(zhí)行[0061]若訓練節(jié)點僅通過一個進程依次將訓練快照保存至內(nèi)存、固態(tài)硬盤以及存儲節(jié)92[0084]對目標備用節(jié)點進行通信帶寬驗證和/或靜默數(shù)據(jù)錯誤校驗，可以對目標備用節(jié)訓練率可以用于指示在期望的模型訓練時間周期內(nèi)，真正貢獻給模型參數(shù)更新的時間占recoveryrecoveryC為預(yù)估的單次故障恢復(fù)時間占比，C可以理解為單recoveryrecovery[0111]圖4是根據(jù)本公開一實施例提供的基于集群的訓練裝置的結(jié)構(gòu)示意圖。集群中包[0136]響應(yīng)于通信帶寬驗證通過和/或靜默數(shù)據(jù)錯誤校驗通過，對目標備用節(jié)點進行初[0148]如圖5所示，電子設(shè)備500包括計算單元501，其可以根據(jù)存儲在ROM(Read_OnlyMemory，只讀存儲器)502中的計算機程序或者從存儲單元508加載到RAM(RandomAccess通過諸如因特網(wǎng)的計算機網(wǎng)絡(luò)和/或各種電信網(wǎng)絡(luò)與其他設(shè)備交換信息元501的一些示例包括但不限于CPU(CentralProcessingUnit，中央處理單元)、GPU人工智能)計算芯片、各種運行機器學習模型算法的計算單元、DSP(DigitalSignal509而被載入和/或安裝到電子設(shè)備500上。當計算機程序加載到RAM503并由計算單元501Product，專用標準產(chǎn)品)、SOC(SystemOnChip，芯片上系統(tǒng)的系統(tǒng))、CPLD(Complex者多個計算機程序可在包括至少一個可編程處理器的可編程系統(tǒng)上執(zhí)行和/或解釋，該可[0152]用于實施本公開的方法的程序代碼可以采用一個或多個編程語言的任何組合來理器或控制器，使得程序代碼當由處理器或控制器執(zhí)行時使流程圖和/或框圖中所規(guī)定的包部分地在機器上執(zhí)行且部分地在遠程機器上執(zhí)行或完全在遠程機器或服務(wù)器面或者該網(wǎng)絡(luò)瀏覽器來與此處描述的系統(tǒng)和技術(shù)的實施方式交互)、或者包括這種后臺部云主機，是云計算服務(wù)體系中的一項主機產(chǎn)品，以解決了傳統(tǒng)物理主機