CN114926892B 一種基于深度學(xué)習(xí)的眼底圖像匹配方法、系統(tǒng)和可讀介質(zhì) （中國(guó)人民大學(xué)）

號(hào)行訓(xùn)練獲得同時(shí)實(shí)現(xiàn)關(guān)鍵點(diǎn)檢測(cè)和特征提取的配眼底圖像對(duì)應(yīng)的將關(guān)鍵點(diǎn)坐標(biāo)集合和關(guān)鍵點(diǎn)2將眼底圖像輸入深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練獲得同時(shí)實(shí)現(xiàn)關(guān)鍵點(diǎn)檢測(cè)和特征提取的所述編碼器網(wǎng)絡(luò)負(fù)責(zé)提取眼底圖像特征，所述兩個(gè)解碼器網(wǎng)絡(luò)包括關(guān)鍵點(diǎn)檢測(cè)解碼器采用漸進(jìn)式關(guān)鍵點(diǎn)擴(kuò)增技術(shù)進(jìn)行關(guān)鍵點(diǎn)的提取，其要求在眼底圖像中檢測(cè)到的關(guān)鍵點(diǎn)特征與變換圖中的關(guān)鍵點(diǎn)特征之間滿足最優(yōu)的KNN匹將待測(cè)眼底圖像輸入同時(shí)實(shí)現(xiàn)關(guān)鍵點(diǎn)檢測(cè)和特征提取的深度神經(jīng)網(wǎng)所述關(guān)鍵點(diǎn)概率圖的生成方法為：通過對(duì)所述關(guān)鍵點(diǎn)檢測(cè)解碼器中的根據(jù)所述關(guān)鍵點(diǎn)概率圖和描述特征圖獲得關(guān)鍵點(diǎn)坐標(biāo)集合和關(guān)將兩張待匹配眼底圖像對(duì)應(yīng)的所述關(guān)鍵點(diǎn)坐標(biāo)集合和關(guān)鍵點(diǎn)特征根據(jù)所述匹配集計(jì)算仿射變換的參數(shù)，實(shí)現(xiàn)圖像配準(zhǔn)，根據(jù)所3.如權(quán)利要求1或2所述的眼底圖像匹配方法4.如權(quán)利要求1或2所述的眼底圖像匹配方法，其特征在于，所5.一種基于深度學(xué)習(xí)的眼底圖像匹配系統(tǒng)，模型訓(xùn)練模塊，用于將眼底圖像輸入深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練獲3模型輸出模塊，用于將待測(cè)眼底圖像輸入同時(shí)實(shí)現(xiàn)關(guān)鍵點(diǎn)檢特征集合提取模塊，用于根據(jù)關(guān)鍵點(diǎn)概率圖和描述特征獲6.一種存儲(chǔ)一個(gè)或多個(gè)程序的計(jì)算機(jī)可讀存4[0002]眼底圖像匹配(retinalimagematching)技術(shù)旨在根據(jù)圖像內(nèi)容自動(dòng)判斷兩張而在基于眼底圖像的身份驗(yàn)證(retinalimagebasedidentityverification)任務(wù)中，[0004]針對(duì)上述問題，本發(fā)明的目的是提供了一種基于深度學(xué)習(xí)的眼底圖像匹配方法、征提取的深度神經(jīng)網(wǎng)絡(luò)模型，深度神經(jīng)網(wǎng)絡(luò)模型包括一個(gè)編碼器網(wǎng)絡(luò)和兩個(gè)解碼器網(wǎng)絡(luò)；5求在眼底圖像中檢測(cè)到的關(guān)鍵點(diǎn)特征與變換圖中的關(guān)鍵點(diǎn)特征之間滿足最優(yōu)的K[0012]進(jìn)一步，特征描述解碼器根據(jù)關(guān)鍵點(diǎn)檢測(cè)解碼器得到的關(guān)鍵6[0026]圖2是本發(fā)明一實(shí)施例中神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)圖，每個(gè)特征圖下的數(shù)字代表了這[0028]圖4是本發(fā)明一實(shí)施例中漸進(jìn)式關(guān)鍵點(diǎn)擴(kuò)增技術(shù)關(guān)鍵點(diǎn)篩選示意圖，空心點(diǎn)表示[0030]為了解決現(xiàn)有技術(shù)中很難同時(shí)在圖像配準(zhǔn)和身份驗(yàn)證等多個(gè)任務(wù)中取得高性能[0033]S1將眼底圖像輸入深度眼底圖像模型進(jìn)行訓(xùn)練獲得訓(xùn)練[0037]在關(guān)鍵點(diǎn)檢測(cè)解碼器網(wǎng)絡(luò)中，由于眼底圖像中很多關(guān)鍵的特征模式是比較低層7鍵點(diǎn)集合在描述特征圖對(duì)應(yīng)像素位置上采樣即得對(duì)應(yīng)的描述子[0043]本實(shí)施例中通過半監(jiān)督訓(xùn)練方式解決了眼底醫(yī)療圖像標(biāo)注少無法進(jìn)行深度模型[0044]關(guān)鍵點(diǎn)檢測(cè)解碼器采用漸進(jìn)式關(guān)鍵點(diǎn)擴(kuò)增技術(shù)(ProgressiveKeypoint示為I'=H(I),令I(lǐng)′與I經(jīng)過相同的編碼-關(guān)鍵點(diǎn)檢測(cè)解碼器得到與其對(duì)應(yīng)的概率映射圖geo為H-1(P')與P之間的DICE損失。但仍有利于匹配的關(guān)鍵點(diǎn)，PKE的目標(biāo)就是保留這些關(guān)鍵點(diǎn)并且使這些關(guān)鍵點(diǎn)進(jìn)一步指導(dǎo)的關(guān)鍵點(diǎn)也應(yīng)在變換圖中出現(xiàn)；第二階段是基于內(nèi)容的篩選，如圖4中倒數(shù)第二個(gè)叉號(hào)所示，要求在眼底圖像中檢測(cè)到的關(guān)鍵點(diǎn)特征與變換圖中的關(guān)鍵點(diǎn)特征之間滿足最優(yōu)的KNN8[0052]對(duì)關(guān)鍵點(diǎn)集合和子特征集合之間采用KNN匹配策略進(jìn)行匹配，執(zhí)行平方復(fù)雜度的[0055]本實(shí)施例中提出了用于訓(xùn)練關(guān)鍵點(diǎn)檢測(cè)模型的PKE技術(shù)，以半監(jiān)督方式漸進(jìn)擴(kuò)增圖像由PapageorgiouHospital醫(yī)院和AristotleUniversityofThessaloniki大學(xué)共同構(gòu)建)上進(jìn)行測(cè)試，測(cè)試方案遵循GLAMpoints(GreedilyLearnedAccurateMatchpoints)的測(cè)試方案以及FIRE的測(cè)試方案。前者是基于查詢關(guān)鍵點(diǎn)和關(guān)聯(lián)關(guān)鍵點(diǎn)之間的距[0058]身份識(shí)別任務(wù)采用了最常用的等錯(cuò)誤率(EER)指標(biāo)，即錯(cuò)誤接受率和錯(cuò)誤拒絕率1行與第2行的性能對(duì)比說明采用PKE技術(shù)可以大幅度提高本發(fā)明在配準(zhǔn)任務(wù)和識(shí)別任務(wù)上9[0062]與其他圖像匹配方法的性能對(duì)比如表2所示，實(shí)驗(yàn)結(jié)果表明實(shí)施例一中方法的各[0066]基于相同的發(fā)明構(gòu)思，本實(shí)施例公開了一種基于深度學(xué)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定[0076]這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖