CN117669700B 深度學(xué)習(xí)模型訓(xùn)練方法和深度學(xué)習(xí)模型訓(xùn)練系統(tǒng) （杭州阿里云飛天信息技術(shù)有限公司）

司深度學(xué)習(xí)模型訓(xùn)練方法和深度學(xué)習(xí)模型訓(xùn)本說明書實施例提供深度學(xué)習(xí)模型訓(xùn)練方模型的模型規(guī)格信息和預(yù)設(shè)分布式訓(xùn)練策略確在使得深度學(xué)習(xí)模型的訓(xùn)練具備高容錯能力的2按照預(yù)設(shè)分布式訓(xùn)練策略，基于所述樣本數(shù)據(jù)集對所述深度學(xué)習(xí)模型進行分布式訓(xùn)所述按照預(yù)設(shè)分布式訓(xùn)練策略，基于所述樣本數(shù)據(jù)集對所述深度學(xué)按照預(yù)設(shè)分布式訓(xùn)練策略，基于所述深度學(xué)習(xí)模型和樣本數(shù)據(jù)集，構(gòu)基于各分布式節(jié)點上的梯度權(quán)重，更新所述深度學(xué)習(xí)模型的模型在所述基于各分布式節(jié)點上的梯度權(quán)重，更新更新所述當(dāng)前批次的分布式數(shù)據(jù)，返回執(zhí)行所述在第一分布式針對各個批次的分布式數(shù)據(jù)，基于所述深度學(xué)習(xí)模型的模型規(guī)格6.根據(jù)權(quán)利要求5所述的方法，任一分布式節(jié)點包括連接存儲介質(zhì)的第一通信通道和按照目標存儲參數(shù)，通過所述第一通信通道，將所述深度學(xué)習(xí)模型的模3在所述分布式訓(xùn)練的計算過程中，按照目標存儲參數(shù)對所基于所述深度學(xué)習(xí)模型的模型規(guī)格信息和所述預(yù)設(shè)分布式算過程對應(yīng)的第一目標存儲參數(shù)和反向傳播計算過程對應(yīng)所述在所述分布式訓(xùn)練的計算過程中，按照目標存儲參數(shù)對所述深度在所述前向傳播計算過程中，按照所述第一目標存儲參數(shù)對在所述反向傳播計算過程中，按照所述第二目標存儲參數(shù)對9.一種深度學(xué)習(xí)模型訓(xùn)練方法，應(yīng)用于云側(cè)設(shè)備按照預(yù)設(shè)分布式訓(xùn)練策略，調(diào)用所述多個分布式節(jié)點，基于所述樣本數(shù)在識別到所述深度學(xué)習(xí)模型訓(xùn)練異常的情況下，觸發(fā)所述調(diào)用所述多個分布式節(jié)點，基于所述目標模型參數(shù)恢復(fù)對所述在所述分布式訓(xùn)練的計算過程中，按照目標存儲參數(shù)將所述深度按照目標存儲參數(shù)和多個存儲介質(zhì)的存儲性能優(yōu)先級，將所述深度學(xué)4按照預(yù)設(shè)分布式訓(xùn)練策略，調(diào)用所述多個分布式節(jié)點，基于所述樣本數(shù)按照預(yù)設(shè)分布式訓(xùn)練策略，通過所述第一通信通道調(diào)用所述多個分布式按照目標存儲參數(shù)，通過所述第二通信通道將所述深度學(xué)習(xí)模型的模型所述管控單元，用于獲取初始的深度學(xué)習(xí)模型和樣本數(shù)據(jù)集所述第一分布式節(jié)點，用于基于所述樣本數(shù)據(jù)集對所述深度學(xué)習(xí)模型進行分布式訓(xùn)所述第一分布式節(jié)點，還用于在所述分布式訓(xùn)練的調(diào)整參數(shù)計算過程習(xí)模型的模型參數(shù)從所述非持久性存儲介質(zhì)轉(zhuǎn)存至所述持所述第一分布式節(jié)點還包括與各分布式節(jié)點連接的第一通信通道、所述第一分布式節(jié)點，還用于通過所述第一通信通道，整合所述各分所述第一分布式節(jié)點，還用于通過所述第二通信通道，將所述深度數(shù)從所述非持久性存儲介質(zhì)發(fā)送至所述持久性存儲介所述存儲器用于存儲計算機可執(zhí)行指令，所述處理器用于執(zhí)行所述計算機可執(zhí)行指理器執(zhí)行時實現(xiàn)權(quán)利要求1至11任意一項所述方法56學(xué)習(xí)模型的模型規(guī)格信息和預(yù)設(shè)分布式訓(xùn)練型規(guī)格信息和預(yù)設(shè)分布式訓(xùn)練策略確定目標存儲參數(shù)，充分考慮了分布式訓(xùn)練的迭代規(guī)7[0042]在本說明書一個或多個實施例中使用的術(shù)語是僅僅出于述各種信息，但這些信息不應(yīng)限于這些術(shù)語。這些術(shù)語僅用來將同一類型的信息彼此區(qū)分示的數(shù)據(jù)等)，均為經(jīng)用戶授權(quán)或者經(jīng)過各方充分授權(quán)的信息和數(shù)據(jù)，并且相關(guān)數(shù)據(jù)的收[0045]本說明書一個或多個實施例中，大模型是指具有大規(guī)模模型參數(shù)的深度學(xué)習(xí)模8modalpre-trainingmodel9[0060]雙向編碼表征的深度自注意力模型(BidirectionalEncoderRepresentations[0068]外接元件互連總線拓撲(PeripheralComponentInterconnectExpress，簡稱樣本文本集包括10000000個樣本問答數(shù)更新)和擴散推導(dǎo)過程(利用擴散模型進行的時間開銷。數(shù)θiGPU對執(zhí)行16個小批次的迭代訓(xùn)練。在每個迭代訓(xùn)練的前向傳播計算過程和反向傳播計算于梯度權(quán)重對大語言模型中n個模型層的模型參數(shù)進向輸入大語言模型，執(zhí)行反向傳播計算，獲得梯度權(quán)重基于各分布式節(jié)點上的梯度權(quán)法，將大語言模型的模型參數(shù)從θi-1更新為θi，將當(dāng)?shù)趇+1批次，繼續(xù)執(zhí)行將第i+1批次的分布式數(shù)據(jù)中的樣本問題文本Xi+1輸入大語言模型的分布式數(shù)據(jù)對深度學(xué)習(xí)模型進行迭代訓(xùn)練，避免了全部分布式數(shù)據(jù)一次性參與分布式訓(xùn)[0130]步驟104中按照目標存儲參數(shù)對深度學(xué)習(xí)模型的模型參數(shù)進行存儲，包括如下具的模型參數(shù)θ存儲至分布式持久化存儲陣列。第二通信通道為64個分布式節(jié)點上的網(wǎng)卡之[0140]在步驟104中分布式訓(xùn)練的傳播計算過程中，按照目標存儲參數(shù)對深度學(xué)習(xí)模型程對應(yīng)的第一目標存儲參數(shù)和反向傳播計算過程對應(yīng)的第程對應(yīng)的第一目標存儲參數(shù)和反向傳播計算過程對應(yīng)的第二目標存儲參數(shù)，具體方式為：針對各個批次的分布式數(shù)據(jù)，基于深度學(xué)習(xí)模型的模型規(guī)格信息和預(yù)設(shè)分布式訓(xùn)練策略，模型的模型參數(shù)量為1013級別和數(shù)據(jù)并行策略，預(yù)測前向傳播計算的次數(shù)為16次和時間開過傳播計算過程的時間開銷T＝16*(t1+t2)為目標，確定前向傳播計算過程對應(yīng)的第一目[0153]在本說明書一種可選實施例中，步驟104中按照目標存儲參數(shù)對深度學(xué)習(xí)模型的[0166]目標模型參數(shù)為發(fā)生訓(xùn)練異常前存儲的模型參數(shù)，例如，在完成第i-1次迭代訓(xùn)[0170]圖2示出了本說明書一個實施例提供的一種深度學(xué)習(xí)模型訓(xùn)練方法中的系統(tǒng)架構(gòu)[0172]圖3示出了本說明書一個實施例提供的一種深度學(xué)習(xí)模型訓(xùn)練方法的流程示意[0176]圖4示出了本說明書一個實施例提供的一種深度學(xué)習(xí)模型訓(xùn)練方法的原理圖，如[0177]系統(tǒng)包括多個分布式節(jié)點(圖中為兩個分布式節(jié)點)和存儲介質(zhì)(圖中為分布式持[0189]步驟504中在分布式訓(xùn)練的調(diào)整參數(shù)計算過程中，按照目標存儲參數(shù)將深度學(xué)習(xí)[0201]對應(yīng)地，步驟504中按照目標存儲參數(shù)將深度學(xué)習(xí)模型的模型參數(shù)存儲至存儲介型參數(shù)θ存儲至分布式持久化存儲陣列。第一通信信道為64個分布式節(jié)點上的網(wǎng)卡之間的[0210]可選地，系統(tǒng)還包括持久性存儲介質(zhì)，第一分布式節(jié)點604包括非持久性存儲介參數(shù)從非持久性存儲介質(zhì)發(fā)送至持久性存儲介深度學(xué)習(xí)模型訓(xùn)練系統(tǒng)的技術(shù)方案與上述的深度學(xué)習(xí)模型訓(xùn)練方法的技術(shù)方案屬于同一深度學(xué)習(xí)模型訓(xùn)練裝置的技術(shù)方案與上述的深度學(xué)習(xí)模型訓(xùn)練方法的技術(shù)方案屬于同一示出了本說明書一個實施例提供的另一種深度學(xué)習(xí)模型訓(xùn)練裝置的結(jié)構(gòu)示意圖。如圖8所于樣本數(shù)據(jù)集對深度學(xué)習(xí)模型進行分布式訓(xùn)練，并在分布式訓(xùn)練的調(diào)整參數(shù)計算過程中，深度學(xué)習(xí)模型的模型規(guī)格信息和預(yù)設(shè)分布式訓(xùn)練策深度學(xué)習(xí)模型訓(xùn)練裝置的技術(shù)方案與上述的深度學(xué)習(xí)模型訓(xùn)練方法的技術(shù)方案屬于同一多個網(wǎng)絡(luò)960通信。這些網(wǎng)絡(luò)的示例包括公用交換電話網(wǎng)(PublicSwitchedTelephonecontroller，簡稱NIC))中的一個或多個，諸如IEEE802.11無線局域網(wǎng)(WirelessLocalAreaNetwork，簡稱WLAN)無線接口、全球微波互聯(lián)接入(Worldwide[0264]計算設(shè)備900可以是任何類型的靜止或移動計算設(shè)備，包括移動計算機或移動計動設(shè)備，或者諸如臺式計算機或個人計算機(PersonalComputer，簡稱PC)的靜止計算設(shè)[0267]本說明書一實施例還提供一種計算機可讀存儲介質(zhì)，其存儲有計算機可執(zhí)行指[0271]上述對本說明書特定實施例進行了描述。其它實施例在所附權(quán)利要求書的范圍[0272]所述計算機指令包括計算機程序代碼，所述計算機程