CN118332101B 一種基于分層迭代的長(zhǎng)文本抽取式摘要生成方法和裝置 （中國(guó)科學(xué)院信息工程研究所）

一種基于分層迭代的長(zhǎng)文本抽取式摘要生于分層迭代的長(zhǎng)文本抽取式摘要生成方法和裝合各個(gè)層級(jí)的隱層表示全面地對(duì)每個(gè)句子進(jìn)行2其中表示第j個(gè)段落中的第m個(gè)子段；獲取文本中字符的詞向量、位置向量以及結(jié)構(gòu)子標(biāo)題向量；計(jì)算得到位置向量PEL，對(duì)于處于中的字符均有相同的i層位置向量最后的位置向量PE由各個(gè)層級(jí)的位置向量加和得到；將詞向量、位置向量以及結(jié)構(gòu)子標(biāo)題向量相加作為語(yǔ)義編碼的輸入將語(yǔ)義編碼之后的向量送入各個(gè)層級(jí)編碼器中，將語(yǔ)義信息沿著文本所述長(zhǎng)文本預(yù)訓(xùn)練語(yǔ)言模型為L(zhǎng)ongformer模型，所述Longformer所述各個(gè)層級(jí)編碼器由BiLSTM搭建，針對(duì)第i層第j個(gè)段落中的隱層表示，使用Bi_所述從文檔層級(jí)至句子層級(jí)再次進(jìn)行分層傳遞，實(shí)現(xiàn)迭代更新，包Longformer中全局注意力的特殊字符，隨后將所有字符輸入Longformer中得到其隱層表34.一種采用權(quán)利要求1～3中任一項(xiàng)所述方法的基于分層迭代的長(zhǎng)文本抽取式摘要生文本語(yǔ)義編碼模塊，用于將詞向量、位置向量以及結(jié)構(gòu)子標(biāo)信息傳遞模塊，用于將語(yǔ)義編碼之后的向量送入各個(gè)層級(jí)編信息融合選擇模塊，用于通過(guò)融合各個(gè)層級(jí)的隱層表示全面地對(duì)每個(gè)句子進(jìn)行評(píng)價(jià)，4[0005]序列模型是建模自然語(yǔ)言文本最常使用的模型結(jié)構(gòu)，其中包括CNN、LSTM、單詞通過(guò)Word2Vec訓(xùn)練得到的詞向量轉(zhuǎn)化為隱層表示，隨后構(gòu)建了一個(gè)兩層的雙向GRU網(wǎng)[0006]隨著Transformer模型的火熱以及大規(guī)模預(yù)訓(xùn)練模型的襲來(lái)，句子語(yǔ)義編碼的效每一句話的開(kāi)頭和結(jié)尾分別插入[CLS]和[SEP]標(biāo)識(shí)符，將[CLS]的向量作為句子的向量表5型也開(kāi)始使用圖神經(jīng)網(wǎng)絡(luò)建模句間關(guān)系。HeterGraphSum將文檔中的單詞和句子分別作為息。隨后使用GAT迭代更新句子節(jié)點(diǎn)和單詞節(jié)點(diǎn)(先用句子節(jié)點(diǎn)先聚合鄰居單詞節(jié)點(diǎn)的信[0010]HAHSum同樣基于圖神經(jīng)網(wǎng)絡(luò)，但是更關(guān)注于建模句子間的冗余信息。其使用ALBERT對(duì)原始文檔進(jìn)行語(yǔ)義編碼，然后使用抽象層來(lái)學(xué)習(xí)不同句子間詞語(yǔ)級(jí)別的信息交過(guò)異構(gòu)圖的信息傳遞來(lái)更加精確地建模句子間的冗余。異質(zhì)圖中的節(jié)點(diǎn)更新均使用GAT完[0012]基于特征的惡意域名檢測(cè)方法由于需要抽取特征信息，因此需要相應(yīng)的領(lǐng)域知句子成為摘要的概率綜合作為強(qiáng)化學(xué)習(xí)的訓(xùn)練策略進(jìn)行梯度下機(jī)采樣的方式從原始文檔中抽取摘要候選集，將其與人工摘要的ROUGE值作為獎(jiǎng)勵(lì)函數(shù)訓(xùn)67合摘要句選擇任務(wù)和句子類別預(yù)測(cè)任務(wù)作為模型整[0045]1)本發(fā)明引入了長(zhǎng)文本中的層級(jí)結(jié)構(gòu)信息，在文本序列8[0050]本發(fā)明首先將抽取式摘要問(wèn)題建模為經(jīng)典的序列標(biāo)注問(wèn)題，給定一個(gè)包含N個(gè)句i先事先使用基于貪心策略的Oracle算法為其標(biāo)注一個(gè)二元標(biāo)簽yi摘要句數(shù)量決定最終的摘要句集合。本發(fā)明提出的HISum(HierarchicalModelingandIterativeRepresentationforExtractiveSummarization)模型將針對(duì)這一問(wèn)題定義對(duì)于第i層的文本段落有其中表示第j個(gè)段落中的第m個(gè)子處于中的字符均有相同的i層位置向量PEyio最后的位置向量PE將由以上各個(gè)層級(jí)的位置向量加和得到。這里使用在Transformer中使用的位置編碼計(jì)算方式對(duì)訓(xùn)練語(yǔ)言模型引入本發(fā)明的模型中。但是目前絕大多數(shù)預(yù)訓(xùn)練模型均基于Transformer模9訓(xùn)練語(yǔ)言模型Longformer來(lái)適應(yīng)任[0060]Longformer可以視為Roberta模型針對(duì)長(zhǎng)文本的改良版本，其與后者的主要區(qū)別種注意力機(jī)制的計(jì)算。首先每個(gè)單詞會(huì)對(duì)預(yù)設(shè)的窗口大小的單詞進(jìn)行完整的自注意力計(jì)而全局注意力的存在則可以使每個(gè)單詞了解到全文字符輸入Longformer中得到其隱[CLS]表示很難得到一個(gè)好的效果。因此這里引入了一種加權(quán)注意力平均機(jī)制來(lái)得到句子[0071]這里表示第i_1層中的第j個(gè)段落中的第k個(gè)子段編碼過(guò)后的隱層狀態(tài)，Ci表并通過(guò)一個(gè)前向神經(jīng)網(wǎng)絡(luò)(MLP)得到對(duì)應(yīng)的第i層第j個(gè)第i_1層對(duì)應(yīng)的隱層向量表示Hi_1(k_1)作為key(鍵值)，計(jì)算得到BiLSTM的初始狀態(tài)向量Cic以及Wd均為可學(xué)習(xí)參數(shù)，Nm為i層第m個(gè)子段對(duì)應(yīng)i_1層待聚合子段[0084]在經(jīng)過(guò)分層信息傳遞和迭代更新增強(qiáng)之后，能夠得到各設(shè)計(jì)了一個(gè)段落歸屬的輔助訓(xùn)練目標(biāo)：將文本中子結(jié)構(gòu)標(biāo)題名稱含義相似的標(biāo)題歸為一[0096]通過(guò)arXiv和PubMed這兩個(gè)被廣泛使用的數(shù)據(jù)集來(lái)評(píng)估模型在長(zhǎng)文本摘要中的效[0098]使用Longformer作為模型的語(yǔ)義編碼器，具體模型參數(shù)來(lái)自于huggingface/trainsformers中的longformer_base。對(duì)于句子層級(jí)編碼器和章節(jié)層級(jí)編碼器中使用的[0109]本發(fā)明使用自動(dòng)評(píng)價(jià)指標(biāo)ROUGE對(duì)摘要生成的結(jié)果進(jìn)行評(píng)判。使用開(kāi)源腳本能夠顯著提升摘要選擇的質(zhì)量。Xiao等和Nallapati等均為基于循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的抽取[0116]為了探究模型中眾多模塊所扮演的的角色，選擇在arXiv數(shù)據(jù)集上進(jìn)行了消融實(shí)45.2240.02HISumw/ohierarchicalpos45.1839.9944.5344.3739.8444.8639.8743.9239.75并引入輔助任務(wù)讓模型在ROUGE值上取得了