CN113971628B 圖像匹配方法、裝置和計算機可讀存儲介質 （株式會社理光）

多個子空間構成時，各個子空間之間彼此不重個子空間的投影圖像和至少一個子空間的二維關系的子空間的全景圖像和子空間的二維圖像2獲取三維空間中至少一個子空間的全景圖像，以及所述三維空間對所述至少一個子空間的全景圖像進行三維重建，并將至少一個所述方法還包括：獲取所述至少一個子空間的全景圖像分別對應的第一對所述至少一個子空間的全景圖像進行三維重建，并獲取所述根據所述至少一個子空間中每個子空間的多張透視圖像，獲對所述三維空間的二維圖像的每個像素點進行語義識根據語義識別的結果，對所述三維空間的二維圖像進行分割，根據所述子空間的全景圖像，獲取形成所述子空間的至少一個對象根據所述子空間的全景圖像的三維重建結果，以及對全景圖像3根據所述至少一個子空間的投影圖像和所述至少一個子空間的二維圖像中對象和/或根據所述至少一個子空間的投影圖像和所述至少一個子空間的二維圖像的匹配關系，獲取相應的所述至少一個子空間的全景圖像和所述至少一個子空間的二維圖像的匹配關將所述至少一個子空間的投影圖像和所述至少一個子空間的二維圖像進行形狀匹配，根據匹配結果建立所述至少一個子空間的投影圖像和所述至少一個子空間的二維圖像的根據所述至少一個子空間的投影圖像和所述至少一個子空間的二維圖像的匹配關系，獲取相應的所述至少一個子空間的全景圖像和所述至少一個子空間的二維圖像的匹配關子空間獲取單元，配置為根據所述三維空間的二維圖像，獲取重建單元，配置為對所述至少一個子空間的全景圖像進行三維重空間的全景圖像的三維重建模型投影在三維空間的二維圖像所在的平面或平行的平面上，圖像，獲取所述至少一個子空間的全景圖像和所述至少一個子空間的二維圖像的匹配關獲取三維空間中至少一個子空間的全景圖像，以及所述三維空間4對所述至少一個子空間的全景圖像進行三維重建，并將至少一個根據所述至少一個子空間的投影圖像和所述至少一個子空間的二系的子空間的全景圖像和子空間的二維圖像之獲取三維空間中至少一個子空間的全景圖像，以及所述三維空間對所述至少一個子空間的全景圖像進行三維重建，并將至少一個根據所述至少一個子空間的投影圖像和所述至少一個子空間的二系的子空間的全景圖像和子空間的二維圖像之5二維圖像之間建立針對子空間的匹配關系，從而引導用戶自主控制希望漫游的子空間區現三維場景和二維圖像的子空間區域之間的相互匹配和彼匹配關系，并在產生匹配關系的子空間的全景圖像和子空間的二維圖像之間建立關聯關的子空間的全景圖像和子空間的二維圖像之間建立關聯關6關系的子空間的全景圖像和子空間的二維圖像之間建立關聯[0016]圖6示出將二維戶型圖進行分割所得到的各個房間的二維圖像，以及每個房間的7維空間中通過各種方式進行分隔而得到的空間，并且當所述三維空間由多個子空間構成為深度神經網絡模型。例如，當所述二維圖像為前述二維戶型圖時，可以利用DeepFloorplan深度神經網絡模型對二維戶型圖進行語義識別，如可以識別出二維戶型圖經網絡可以使用二維戶型圖的圖片集和戶型圖語8可以使用房間的全景圖片集和房間布局標簽來訓練此深度神經根據所述子空間的全景圖像的三維重建結果，以及對全景圖像中的目標的檢測和定位結圖像中對象和/或目標的布局，獲取所述至少一個子空間的投影圖像和所述至少一個子空幾何關系等來判斷子空間的全景圖像和二維圖像9絡模型對至少一個子空間的全景圖像進行分類，這里的深度神經網絡模型可以為VGG16深[0041]在針對至少一個子空間的全景圖像和所述至少一個子空間的二維圖像進行粗略針對該未能產生匹配關系的特定子空間的全景圖像進行三維重建，并獲取對應的投影圖例中，當特定子空間的全景圖像或其二維圖像分別對應的第一標簽信息和/或第二標簽信圖像/二維圖像時，也可能因子空間的全景圖像和子空間的二維圖像之間無法一一對應而在針對子空間的全景圖像和子空間的二維圖像無法一一對應時而執行后續步驟S104的操類似或屬于相同類別的能夠構建匹配關系的第一標簽信息和第二標簽信息分別對應的子取各個房間的全景圖像分別對應的第一標簽信息和各個房間的二維戶型圖分別對應的第為各個全景圖像所對應的第一標簽信息。圖4示出了具有不同的第一標簽信息的各房間的及目標檢測和定位。在一個示例中，圖7示出了未匹配成功的一個臥室的全景圖像的示意用YOLOv3深度神經網絡模型針對圖7中的臥室的全景圖像進行了門窗檢測，從而得到黑框[0054]圖11中的圖像匹配裝置1100的圖像獲取單元1110獲取三維空間中至少一個子空[0055]圖像獲取單元1110可以使用各種方式獲取三維空間中至少一個子空間的全景圖型可以為深度神經網絡模型。例如，當所述二維圖像為前述二維戶型圖時，可以利用DeepFloorplan深度神經網絡模型對二維戶型圖進行語義識別，如可以識別出二維戶型圖可以使用房間的全景圖片集和房間布局標簽來訓練此深度神經根據所述子空間的全景圖像的三維重建結果，以及對全景圖像中的目標的檢測和定位結[0062]匹配單元1140根據所述至少一個子空間的投影圖像和所述至少一個子空間的二子空間的二維圖像中對象和/或目標的布局，獲取所述至少一個子空間的投影圖像和所述[0065]在獲得子空間的全景圖像和子空間的二維圖像之間的匹配關系之后，匹配單元實現子空間的全景圖像和相應的子空間的二維[0067]可選地，粗略匹配單元可以對三維空間中至少一個子空同時，可以認為某個子空間的全景圖像和子空間的二維圖像相匹配(下面簡稱粗略匹配)。[0070]粗略匹配單元在針對至少一個子空間的全景圖像和所述至少一個子空間的二維景圖像的投影圖像和未能與至少一個子空間的全景圖像產生匹配關系的至少一個子空間全景圖像或其二維圖像分別對應的第一標簽信息和/或第二標簽信息檢測有誤時，可能會使得因標簽信息錯誤而無法匹配的子空間的全景圖像和子空間的二維圖像進入重建單元全景圖像/二維圖像時，也可能因子空間的全景圖像和子空間的二維圖像之間無法一一對對子空間的全景圖像和子空間的二維圖像無法一一對應時而進入重建單元和匹配單元進在粗略匹配中未產生匹配關系的子空間構建投影圖像和子空間的二維圖像的匹配關系以[0076]處理器1210可以是中央處理單元(CPU)或者具有數據處理能力和/或指令執行能可讀存儲介質上可以存儲一個或多個計算機程序指令，處理器1210可以運行所述程序指并且/或者可以執行根據本發明實施例的圖像匹配方法。在所述計算機可讀存儲介質中還間的全景圖像進行三維重建，并獲取所述至少一個子空間的全景圖像分別對應的投影圖系的子空間的全景圖像和子空間的二維圖像之間建立關的構思從上述分開描述的各個實施例中合并和組合一些步驟和裝置來實現本發明的效果，[0082]本發明中的步驟流程圖以及以上方法描述僅作為例示性的例子并且不意圖要求[0084]以上所述的方法的各個操作可以通過能夠進行相應的功能的任何適當的手段而[0087]在此發明的方法包括用于實現所述的方法的一個或多個動作。方法和/或動作可以是具有有形存儲(和/或編碼)在其上的指令的計算機可讀的有形介質，該指令可由一個[0091]此外，用于進行在此所述的方法和技術的模塊和/或其他適當的手段可以在適當[0093]可以不脫離由所附權利要求定義的教導的技術而進行對在此所述的技術的各種[0094]提供所發明的方面的以上描述以使本領域的任何技術人員能夠做