CN116227485B 一種反應條件預測模型訓練方法及裝置 （杭州碳硅智慧科技發展有限公司）

街道福城路291號和達藥谷中心6幢本申請提供了一種反應條件預測模型訓練反應SMILES中各個詞所對應的帶有注意力權重條件解碼器中掩蔽多頭注意力網絡對反應條件序列進行注意力表征得到所對應的條件序列特2獲取基于反應中心掩蔽策略的語言表征網絡層的預訓練樣本，所述預訓練樣本包括：識別所述化學反應表達式的SMILES序列中的化學反應中心，并將所對應的詞匯取0.5獲取反應條件預測模型的模型訓練樣本，所述模型訓練樣本將所述模型訓練樣本輸入至待訓練反應條件預測模型，所述待訓練調用所述語言表征網絡層對所述化學反應表達式的SMIL學反應表達式的SMILES序列中各個詞所對應的帶有注意力權重信息的表征化學反應序列調用所述反應條件解碼器中掩蔽多頭注意力網絡對所述反應條件序列進行注意力表條件序列；基于所述反應條件序列和所述預測反應條件序列，計算得到所述在所述損失值處于預設范圍內的情況下，將訓練后的待訓練反在所述調用所述語言表征網絡層對所述化學反應表達式的SMILES序列所述化學反應表達式的SMILES序列中各個詞所對應的帶有注意力權重信息的表征化學反調用所述特征提取網絡層提取所述化學反應表達式的SMI調用所述向量轉換層對所述每個詞和所述位置特征分所述調用所述語言表征網絡層對所述化學反應表達式的SMILES序列進述化學反應表達式的SMILES序列中各個詞所對應的帶有注意力權重信息的表征化學反應調用所述多頭注意力機制層對所述詞向量和所述位置向量的加和歸一化結果進行處調用所述層歸一化和Dropout層依據所述關聯關系對所述詞向量和所述位置向量進行將所述帶有各個詞之間的權重的隱藏張量通過前饋神經網絡，得3調用所述語言表征輸出層對所述各個詞之間的權重和所述前向處理結果進行融合處在語言表征編碼器內部張量流動時，包含多個殘差連接，所述調用所述反應條件解碼器中掩蔽多頭注意力網絡對所述反應條件序列進行注意調用所述掩蔽多頭注意力網絡對所述反應條件序列進注調用所述多頭注意力機制層基于所述注意力權重對所述掩碼條件序列特征進行注意調用所述前饋神經網絡對所述初始預測條件序列特征應條件序列。基于所述反應條件序列和所述預測反應條件序列，計算得到在所述調用所述反應條件解碼器中掩蔽多頭注意力網絡對所述反應條件序列進行注調用所述溫度解碼器依據所述注意力權重對所述預基于所述交叉熵損失值、所述均方差損失值和平衡系數，計算預訓練樣本獲取模塊，用于獲取基于反應中心掩蔽策略的語言表語言表征網絡層優化模塊，用于識別所述化學反應表達式的SMILE4模型訓練樣本獲取模塊，用于獲取反應條件預測模型的模模型訓練樣本輸入模塊，用于將所述模型訓練樣本輸入至待訓練反應條件預測模型，隱藏張量獲取模塊，用于調用所述語言表征網絡層對所述化預測反應條件序列獲取模塊，用于調用所述反應條件解碼器中掩蔽損失值計算模塊，用于基于所述反應條件序列和所述預測反應反應條件預測模型獲取模塊，用于在所述損失值處于預設位置特征獲取模塊，用于調用所述特征提取網絡層提取所述化學反應位置向量獲取模塊，用于調用所述向量轉換層對所述每個關聯關系獲取單元，用于調用所述多頭注意力機制層對所述詞向隱藏張量獲取單元，用于調用所述層歸一化和Dropout層依據所述關聯關系對所述詞前饋網絡張量獲取單元，用于將所述帶有各個詞之編碼器張量獲取單元，用于調用所述語言表征在語言表征編碼器內部張量流動時，包含多個殘差連接，5[0004]本申請實施例所要解決的技術問題是提供一種反應條件預測模型訓練方法及裝述化學反應表達式的SMILES序列中各個詞所對應的帶有注意力權重信息的表征化學反應[0011]調用所述反應條件解碼器中掩蔽多頭注意力網絡對所述反應條件序列進行注意6[0015]在所述調用所述語言表征網絡層對所述化學反應表達式的SM得到所述化學反應表達式的SMILES序列中各個詞所對應的帶有注意力權重信息的表征化每個詞在所述化學反應表達式的SMILES序到所述化學反應表達式的SMILES序列中各個詞所對應的帶有注意力權重信息的表征化學[0020]調用所述多頭注意力機制層對所述詞向量和所述位置向量的加和歸一化結果進[0021]調用所述層歸一化和Dropout層依據所述關聯關系對所述詞向量和所述位置向量[0023]調用所述語言表征輸出層對所述各個詞之間的權重和所述前向處理結果進行融碼器自輸出層的殘差連接以及自輸出層到語言表征輸出[0026]所述調用所述反應條件解碼器中掩蔽多頭注意力網絡對所述反應條件序列進行[0028]調用所述多頭注意力機制層基于所述注意力權重對所述掩碼條件序列特征進行7所述交叉熵損失值作為所述待訓練反應條件預測模型[0033]在所述調用所述反應條件解碼器中掩蔽多頭注意力網絡對所述反應條件序列進所述化學反應表達式的SMILES序列對應的預測反[0044]隱藏張量獲取模塊，用于調用所述語言表征網絡層對所述化學反應表達式的練后的待訓練反應條件預測模型作為最終的[0050]位置特征獲取模塊，用于調用所述特征提取網絡層提取所述化學反應表達式的8[0055]隱藏張量獲取單元，用于調用所述層歸一化和Dropout層依據所述關聯關系對所碼器自輸出層的殘差連接以及自輸出層到語言表征輸出算得到交叉熵損失值，并將所述交叉熵損失值作為所述待訓練反應條件預測模型的損失[0070]交叉熵損失值計算單元，用于基于所述反應條件序列和[0074]處理器、存儲器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程9本，所述預訓練樣本包括：化學反應表達式的SMILES序列；識別所述化學反應表達式的式的SMILES序列中各個詞所對應的帶有注意力權重信息的表征化學反應序列的隱藏張量；調用所述反應條件解碼器中掩蔽多頭注意力網絡對所述反應條件序列進行注意力表征得測模型作為最終的反應條件預測模型。本申請實施以在大型反應條件預測數據集上明顯提升預測度較低的問題。本申請實施例提出了一個可解釋的基于預訓練的反應條件預測器一個回歸層(溫度解碼器)被用來計算溫度。本[0089]參照圖1，示出了本申請實施例提供的一種反應條件預測模型訓練方法的步驟流[0092]本申請實施例設計了兩種預訓練策略，掩蔽語言模擬(MaskedML)和包含化學反通過清理USPTO1976_2016sep獲得的約130萬個反應SMILES。這些數據已經清除了所有的學反應表達式的SMILES序列。[0099]模型訓練樣本是指用于對待訓練反應條件預測模型進行訓練的樣本，在本示例[0105]步驟105：調用所述語言表征網絡層對所述化學反應表達式的SMILES序列進行處詞對應的所對應的帶有注意力權重信息的表征化學圖2所示，化學反應表達式的SMILES序列可以輸入至左側部分的模型結構Input量和位置向量的加和歸一化結果進行處理，以得到每個詞之間的關聯關系。如圖2所示，[0118]在調用多頭注意力機制層對詞向量和位置向量的加和歸一化結果進行處理得到[0119]子步驟B2：調用所述層歸一化和Dropout層依據所述關聯關系對所述詞向量和所[0120]在調用多頭注意力機制層對詞向量和位置向量的加和歸一化結果進行處理得到每個詞之間的關聯關系之后，則可以調用層歸一化和Dropout層依據關聯關系對詞向量和位置向量進行處理，得到帶有各個詞之間的權重的隱藏張量。如圖2所示，BertSelf輸出的每個詞之間的關聯關系對InputEmbedding輸出的詞向量和位置向量進行處理，以通過BertSelfOutput可以得到帶有這10個詞之間的權重的隱藏[0122]在調用層歸一化和Dropout層依據關聯關系對詞向量和位置向量進行處理，得到[0124]在調用層歸一化和Dropout層依據關聯關系對詞向量和位置向量進行處理，得到為BertIntermediate的輸入，BertSelfOutput輸出帶有各個詞之間的權重的隱藏張量[0125]在將帶有各個詞之間的權重的隱藏張量通過前饋神經網絡得到前饋神經網絡隱[0127]在將帶有各個詞之間的權重的隱藏張量通過前饋神經網絡得到前饋神經網絡隱藏張量之后，可以調用語言表征輸出層對各個詞之間的權重和前向處理結果進行融合處SelfOutput的輸出可以作為BertOutput的輸入，調用BertOutput可以對BertSelfOutput輸出的各個詞的權重和BertIntermediate輸出的前向處理結果進行融合處理，從[0129]步驟106：調用所述反應條件解碼器中掩蔽多頭注意力網絡對所述反應條件序列進行注意力表征得到所對應的條件序列特征，并基于所述隱藏張量和條件序列特征張量，得到預測反應條件序列。[0130]預測反應條件序列是指待訓練反應條件預測模型預測得到的反應分子表達式對[0133]子步驟C1：調用所述掩蔽多頭注意力網絡對所述反應條件序列進注意力權重學層和前饋神經網絡，如圖2右側部分模型結構所示。掩蔽多頭注意力網絡即為ConditionMaskedMulti_HeadAttention對反應條件序列的進行注意力學習，從而可以得到掩碼條以根據BertLayer輸出的注意力權重對MaskedMulti_HeadAttention輸出的掩碼條件序量計算注意力權重。這些解碼器層都包含多個頭(head)，每個頭學習一個注意力矩陣元素Attentionij是連接Xi到Yj的注[0140]在多頭注意力層中的每個頭將首先使用以下操作將每個詞匯Xi或Y[0145]在調用多頭注意力機制層基于注意力權重對掩碼條件序列特征進行注意力學習[0146]子步驟C3：調用所述前饋神經網絡對所述初始預測條件得到所述預測反應條件序列。[0147]在調用多頭注意力機制層基于注意力權重對掩碼條件序列特征進行注意力學習Forward的輸入，FeedForward可以對Multi_HeadAttention輸出的初始預測條件序列特輸出和ConditionDecoder的輸出可以作為TemperatureDecoder的輸入，調用TemperatureDecoder可以依據注意力權重對預測應條件序列進行處理，得到化學反應表練反應條件預測模型的損失值。對于該實現過程可以結合下述具體實現方式進行詳細描(3)識別所述化學反應表達式的SMILES序列中的化學反應中心，并將所對應的詞匯取0.5的掩反應條件解碼器；調用所述語言表征網絡層對所述化學反應表達式的SMILES序列進行處[0171]參照圖4，示出了本申請實施例提供的一種反應條件預測模型訓練裝置的結構示[0172]預訓練樣本獲取模塊410，用于獲取基于反應中心掩蔽策略的語言表征網絡層的[0173]語言表征網絡層優化模塊420，用于識別所述化學反應表達式的SMILES序列中的[0175]模型訓練樣本輸入模塊440，用于將所述模型訓練樣本輸入至待訓練反應條件預[0176]隱藏張量獲取模塊450，用于調用所述語言表征網絡層對所述化學反應表達式的[0177]預測反應條件序列獲取模塊460，用于調用所述反應條件解碼器中掩蔽多頭注意[0182]位置特征獲取模塊，用于調用所述特征提取網絡層提取所述化學反應表達式的[0187]隱藏張量獲取單元，用于調用所述層歸一化和Dropout層依據所述關聯關系對所碼器自輸出層的殘差連接以及自輸出層到語言表征輸出算得到交叉熵損失值，并將所述交叉熵損失值作為所述待訓練反應條件預測模型的損失[0202]交叉熵損失值計算單元，用于基于所述反應條件序列和識別所述化學反應表達式的SMILES序列中的化學反應中心，并將所對應的詞匯取0.5的掩反應條件解碼器；調用所述語言表征網絡層對所述化學反應表達式的SMILES序列進行處500包括中央處理單元(CPU)501，其可以根據存儲在只讀存儲器(ROM)502中的計算機程序指令或者從存儲單元508加載到隨機訪問存儲器(RAM)503中的計算機程序指令，來執行各種適當的動作和處理。在RAM503中，還可存儲電子設備500操作所需的各種程序和數據。設備500通過諸如因特網的計算機網絡和/或各種電信網絡與其他設備交換信息