CN113962315B 模型預訓練方法、裝置、設備、存儲介質以及程序產品 （北京百度網訊科技有限公司）

A,2019.09.20A,2021.01.05A,2021.07.16A,2021.10.01A,2022.01.212從所述N種類型的提示詞中選取隨機采樣概率大于預設概率閾值的提示獲取所述目標任務類型關聯的連續提示詞詞表，其中，一種任從所述目標任務類型關聯的連續提示詞詞表中獲取隨機長度的連續將所述樣本自然語言文本輸入至預先訓練的主題分類模型，得到所將所述樣本自然語言文本輸入至預先訓練的關注點提取模型將所述樣本自然語言文本輸入至預先訓練的情感分析模型，得到所將所述樣本自然語言文本的長度作為所述樣本自然語言文本的生成長度類型的提示基于所述樣本偽自然語言文本與所述樣本自然語言文本的差異，調3預訓練語言模型是采用權利要求1-7中任一項所述的方訓練模塊，被配置成基于所述樣本輸入數據對初從所述N種類型的提示詞中選取隨機采樣概率大于預設概率閾值的提示獲取所述目標任務類型關聯的連續提示詞詞表，其中，一種任從所述目標任務類型關聯的連續提示詞詞表中獲取隨機長度的連續將所述樣本自然語言文本輸入至預先訓練的主題分類模型，得到所將所述樣本自然語言文本輸入至預先訓練的關注點提取模型將所述樣本自然語言文本輸入至預先訓練的情感分析模型，得到所4將所述樣本自然語言文本的長度作為所述樣本自然語言文本的生成長度類型的提示基于所述樣本偽自然語言文本與所述樣本自然語言文本的差異，調拼接模塊，被配置成將所述前綴文本片段與所述至少一種類型的提生成模塊，被配置成將所述輸入數據輸入至預先訓練的預訓所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被18.一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所5模型在自然語言處理中占有重要的地位，它的任務是預測一個句子在語言中出現的概率。6序在被處理器執行時實現如第一方面或第二方面中任[0012]應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特[0020]圖7是用來實現本公開實施例的模型預訓練方法或文本生成方法的電子設備的框throughKnowledgeIntegration，知識增強的語義表示模型)3.0百億參數大模型構建了[0028]在本實施例中，上述執行主體可以基于樣本自然語言文本，生成N種類型的提示7樂等提示詞。從主題類型提示詞表中可以選取出樣本自然語言文本的主題類型的提示詞。[0039]在本實施例中，上述執行主體可以基于樣本輸入數據對8布的預訓練語言模型。例如，可以采用BP(BackPropagation，反向傳播)算法或者SGD[0043]繼續參考圖2，其示出了根據本公開的模型預訓練方法的又一個實施例的流程詞?？梢詮耐ㄓ萌蝿疹愋完P聯的連續提示詞詞表中獲取<通用0>到<通用M>的連續提示詞，9[0068]步驟208，將樣本自然語言文本的長度作為樣本自然語言文本的生成長度類型的提示詞。[0075]在本實施例中，上述執行主體可以從5種類型的提示詞中選取隨機采樣概率大于[0082]在本實施例中，上述執行主體可以從樣本自然語言文本中截取樣本前綴文本片[0084]在本實施例中，上述執行主體可以將所選取的提示詞與接近于輸入的樣本自然語言文本。樣本偽自然語言文本的分布越接近于樣本自然語言文前對續約都不太感興趣?；跇颖緜巫匀徽Z言文本與樣本自然語言文本的分布差異，對[0093]進一步參考圖4，其示出了根據本公開的文本生成方法的一個實施例的流程40根據前綴文本片段和至少一種類型的提示詞生成相關的完整[0098]在本實施例中，上述執行主體可以將前綴文本片段與至少一種類型的提示詞拼[0100]在本實施例中，上述執行主體可以將輸入數據輸入至預先訓練的預訓練語言模訓練語言模型可以用于根據前綴文本片段和至少一種類型的提示詞生成相關的完整的偽模塊503和訓練模塊504的具體處理及其所帶來的技術效果可分別參考圖1對應實施例中的模塊502進一步被配置成：將樣本自然語言文本的長度作為樣本自然語言文本的生成長度成模塊603，被配置成將輸入數據輸入至預先訓練的預訓練語言模型，生成偽自然語言文具體處理及其所帶來的技術效果可分別參考圖4對應實施例中的步驟401-403的相關說明，的計算機程序或者從存儲單元708加載到隨機訪問存儲器(RAM)703中的計算機程序，來執因特網的計算機網絡和/或各種電信網絡與其他設一些實施例中，計算機程序的部分或者全部可以經由ROM702和/或通信單元709而被載入計算單元701可以通過其他任何適當的方式(例如，借助于固件)而被配置為執行模型預訓機程序可在包括至少一個可編程處理器的可編程系統上執行和/或解釋，該可編程處理器[0123]用于實施本公開的方法的程序代碼可以采用一個或多個編程語言的任何組合來理器或控制器，使得程序代碼當由處理器或控制器執行時使流程圖和/或框圖中所規定的包部分地在機器上執行且部分地在遠程機器上執行或完全在遠程機器或服務器[0126]可以將此處描述的系統和技術實施在包括后臺部件的計算系統(例如，作為數據面或者該網絡瀏覽器來與此處描述的系統和技術的實施方式交互)、或者包括這種后臺部字數據通信(例如，通信網絡)來將系統的部件相互連接。通信網絡的示例包括：局域網過通信網絡進行交互。通過在相應的計算機上運行并且彼此具有客戶端-服務器關系的計