CN116250002B 具有軟分層和深度感知的修復的單幅圖像3d攝影的方法和系統 （谷歌有限責任公司）

2023.03.17PCT/US2021/0448282021.08.05WO2023/014368EN2023.02.09具有軟分層和深度感知的修復的單幅圖像景可見性映射包括與深度圖像的深度梯度成反定指示圖像的像素將通過視點調整而被去除遮成修復圖像和修復深度圖像。該方法進一步包像的第一三維(3D)表示和修復圖像的第二3D表與第二3D表示組合來生成具有經調整的視點的2基于所述單目圖像來確定包括多個像素的深度圖像，其中，所述針對所述深度圖像的每個相應像素，確定與所述深度圖像的所述確定前景可見性映射，所述前景可見性映射包括針對所述基于所述深度圖像來確定背景去除遮蔽掩模，所述背景去除遮蔽(i)通過使用修復模型根據所述背景去除遮蔽掩模修復部分的所述單目圖像來生成修(i)基于所述深度圖像來生成所述單目圖像的第一3D表示，以及(ii)基于所述修復深通過根據所述前景可見性映射將所述第一3D表示與所述第二3D表示進針對所述深度圖像的每個相應像素，通過將梯度算子應用于所針對所述深度圖像的每個相應像素，基于與所述相應像素相關聯針對所述深度圖像的每個相應像素確定第一多個差值，其中所述對應深度值中減去(i)位于所述相應像素的預定像素距離內的對應參考像素的所述對針對所述深度圖像的每個相應像素，通過將雙曲正切函數應3所述相應像素的右側和左側的所述預定數量的像素確定基于深度的前景可見性映射，所述基于深度的前景可見性基于所述單目圖像并且對應于所述單目圖像來確定前景阿基于在(i)所述前景阿爾法遮罩與(ii)所述前景阿爾法遮罩的膨脹之間的差，來確定基于以下各項的乘積來確定所述前景可見性映射：(i)所述基于深度的前景可見性映基于所述深度圖像來確定背景遮蔽掩模，所述背景遮蔽掩模包基于以下各項的乘積來確定所述前景可見性映射：(i)所述基于深度的前景可見性映針對所述深度圖像的每個相應像素確定第二多個差值，其中，通考像素的所述對應深度值中減去(i)所述相應像素的所述對應深度值以及將所述相應像素針對所述深度圖像的每個相應像素，通過將雙曲正切函數應修復圖像的所述去除遮蔽區域的所述強度值與所述修復深度圖像的所述對應去除遮蔽背4基于所述訓練深度圖像來確定訓練背景遮蔽掩模，所述訓練背景將通過所述訓練單目圖像的原始視點的改變而(i)通過使用所述修復模型、根據所述訓練背景遮蔽掩模修復部分的所述訓練單目圖及或多個：(i)基于通過鑒別器模型處理所述修復訓練圖像和所述修復訓練深度圖像而確定述修復訓練深度圖像與所述訓練深度圖像進行比較而確定的重基于所述深度圖像來生成與所述第一3D表示相對應的3D前景(i)通過基于所述經調整的視點將所述第一3D表示進行投影來生成前景圖像，(ii)通過基于所述經調整的視點將所述第二3D表示進行投影來生成背景圖像，以及(iii)通過基于所述經調整的視點將所述3D前景可見性映射進行投影來生成經修改的前景可見性映射；確定下述各項之總和：(i)所述前景圖像與所述經修改的前景可見性映射的第一乘積與(ii)所述背景圖像與在所述預定值和所述經修改的前景可見性映射之間的差的第二乘(i)通過基于所述深度圖像對所述單目圖像的像素進行去除投影來生成第一多個3D(i)通過將與所述單目圖像的鄰接像素相對應的所述第一多個3D點的相應子集互連來(i)基于所述單目圖像將一個或多個第一紋理應用于所述第一多邊形網格，以及(ii)基于所述修復圖像將一個或多個第二紋理應用于所述第二具有存儲的指令非暫時性計算機可讀介質，所述指令在由所理器執行根據權利要求1_18中任一項所述的520.一種具有存儲的指令的非暫時性計算機可讀介質，所述指令在由計算設備執行時使所述計算設備執行根據權利要求1_18中任一6[0001]機器學習模型可以用于處理包括圖像的各種類型的數據，以生成各種期望輸[0002]一種三維(3D)照片系統可以被配置成基于單目圖像來生成模擬由單目圖像表示單目圖像來確定包括多個像素的深度圖像。深度圖像的每個相應像素可以具有對應深度另外包括：(i)通過使用修復模型根據背景去除遮蔽掩模修復單目圖像的部分來生成修復景可見性映射將第一3D表示與第二3D表示組合來生成具有不同于初始視點的經調整的視[0005]在第三示例實施例中，一種非暫時性計算機可讀介質可以具有存儲在其上的指7[0027]表示來自初始視點的場景的單目圖像可以用于生成表示來自經調整的視點的場8[0028]用于生成具有經修改的視點的圖像的一些技術可以依賴于基于硬不連續性將場景分解成兩個或更多個層。硬不連續性可以定義兩遮蔽函數生成，該軟背景去除遮蔽函數至少沿著深度圖像的輸入值的范圍是連續且平滑[0032]修復模型可以使用軟背景去除遮蔽掩模來修復單目圖像和深度圖像的可能被去成通過借用來自其它背景區域的信息而不是借用來自前景區域的信息來修復去除遮蔽背9[0036]前置相機104可以被定位在主體102的在操作時通常面向用戶的一側(例如，與顯[0037]顯示器106能夠表示陰極射線管(CRT)顯示器、發光二極管(LED)顯示器、液晶機中的一個或多個相機捕獲的圖像、和/或這些圖像中的一個或多個圖像的修改版本。因夠調整計算設備100的一個或多個方面的設置和相機112中的一個或多個可以是一個或多個相機的陣列。[0039]前置相機104和/或后置相機112中的一個或多個可以包括提供光場以照明目標對[0040]計算設備100還可以包括環境光傳感器，其可以連續地或不時地確定相機104和/[0041]計算設備100能夠被配置成使用顯示器106和前置相機104和/或后置相機112來捕[0044]通信接口202可以允許計算系統200使用模擬或數字調制與其他設備、接入網絡然而，可以在通信接口202上使用其他形式的物理層接口和其他類型的標準或專有通信協程序指令在由計算系統200執行時使計算系統200執行本說明書和/或附圖中公開的方法、過程或操作中的任一個。由處理器206對程序指令218的執行可以導致處理器206使用數據作系統222訪問，并且應用數據214可以主要可由一個或多個應用程序220訪問。應用數據214可以被布置在對計算系統200的用戶可見或隱藏的文件[0050]應用程序220可以通過一個或多個應用編程接口(API)與操作系統222通信。這些API可以促進例如應用程序220讀取和/或寫入應用數據214、經由通信接口202傳輸或接收(諸如經由Web瀏覽器或通過計算系統200上的物理接口(例如，USB端口))安裝在計算系統于捕獲可見光譜(例如，具有380納米至700納米的被配置用于捕獲紅外光譜(例如，具有701納米至1毫米的波長的電磁輻射)中的圖像的組以被配置成基于圖像302來生成經修改的圖像370。3D照片系統300可以包括深度模型304、[0056]經修改的圖像370可以表示與來自不同于初始視點的經調整的視點的圖像302相藍色)相關聯。深度圖像306可以被表示為D=ΦD（I其中，D∈Rnx1并且ΦD表示深度模型n經被訓練成基于單目圖像來生成深度圖像的機器學習模型。例如，深度模型304可以表示MiDaS模型，如由Ranflt等創作并且公布為arXiv：1907.01341v3的標題為“TowardsRobustMonocularDepthEstimation:MixingDatasetsforZero_shotCross_dataset[0058]軟前景可見性模型308可以被配置成基于深度圖像306來生成前景可見性映射n[0060]軟前景可見性模型308可以被配置成基于深度圖像306的深度梯度并且可能還基于圖像302的前景阿爾法遮罩來生成前景可見性映射310。前景可見性映射310的可見性值可以在表示從圖像302的前景特征到圖像302的背景特征的過渡的像素位置處相對較低(并[0061]軟背景去除遮蔽函數312可以被配置成基于深度圖像306來生成背景去除遮蔽掩[0062]背景去除遮蔽掩模314的每個相應去除遮蔽值可以指示圖像302的對應像素將通關聯的深度值D(xi，yj)之間的深度差大于這些像素的相應位置之間的經縮放的距離則與像素位置(x，y)相關聯的給定像素可以由于初始視點的改變而被去除遮蔽。其中，γ是控制雙曲正切函數的陡生成修復圖像318和修復深度圖像320。修復圖像318可以被表示為并且修復深度圖像320可以被表示為修復圖像318和修復深度圖像320因此可以各自具有n個像素。修復模型316可以實現函數其中，1.DY表示修復圖深度圖像320可以表示根據背景去除遮蔽掩模314修復的深度圖像306。對初始視點的改變可以導致一個或多個前景區域的明顯移動，從而導致[0067]修復模型316可以被訓練成利用匹配圖像302中的其它背景區域的值而不是匹配修復圖像318的修復部分的像素值與修復深度圖像320的對應修復部分的深度值一致。即，修復模型316可以被配置成在生成去除遮蔽背景區域的值時考慮深度信息和顏色/強度信[0069]像素去除投影器322可以被配置成生成(i)基于前景可見性映射310和深度圖像FP)=D(P)M-'P,背景3D表示326的3D點可以被表示為其中，p表矩陣，D(p)表示與如深度圖像306中表示的相應像素相對應的深度值(而不是逆深度值)，b(p)表示與如由修復深度圖像320表示的相應像素相對應的深度值(而不是逆深度值)，并且相機參考系被假定為與世界參考系對準。由于V(p)＝F(p)，所以可以針對3D表示324和326確定并且通過3D表示324和326共享3D點的單個集合。[0070]基于被確定為表示前景可見性映射310、圖像302和修復圖像318的像素的相應3D[0071]像素去除投影器322還可以被配置成基于對應圖像或映像的像素值來對每個相應見性映射310的對應值而被紋理化，前景3D表示326的多邊形網格可以基于圖像302的對應和326還可以使用包括多個通道的單個多邊形網格來表示，其中一個或多個第一通道表示及(iii)投影背景3D表示328以生成背景圖像Ir,因此，經修改的前景可見性映射AT可以表示來自經修改的視點的前景可見性映射310，前景圖像IT可以表示來自經修改的視點的圖[0074]像素投影器330可以另外被配置成根據經修改的前景可見性映射AT將前景圖像IT其中前景可見性映射310的值相對較高的圖像302，并且可以主要是基于前景可見性映射310的值相對較低的修復深度圖像320。經修改的可見性映射AT的可見性值可以選自和/或n景的多個不同視圖并且因此表示去除遮蔽區域的地見性映射384(前景可見性映射310的示例)和背景去除遮蔽掩模386(背景去除遮蔽掩模314[0079]在經修改的圖像392的渲染期間，圖像380的內容(前景層)可以與修復圖像388的景可見性映射384之后被確定以生成相應3D表示和這些3D表示到經修改的視點中的投影。因此，經修改的圖像392表示來自與圖像380的初始視點不同的經修改的視點的圖像380的內容。如圖所示的經修改的圖像392不是精確的矩形，因為圖像380和388可能不包括圖像或多個圖像可以經歷進一步的修復，使得經修改的圖像392即使在視點修改之后也是矩形[0082]軟前景可見性函數340可以被配置成基于深度圖像306來生成基于深度的前景可用于給定像素p和一個或多個周圍像素而確定的深度梯度VD(p)的指數。[0083]在一些實施方式中，基于深度的前景可見性映射342可以等于前景可見性映射度圖像306可能不準確地表示諸如頭發或皮毛的一些細薄和/或高頻特征(例如，由于深度度的前景可見性映射342可以與逆背景遮蔽掩模338和基于遮罩的前景可見性映射364組合前景可見性映射342可以與基于遮蔽的前景分[0084]前景分割模型350可以被配置成基于圖像302來生成前景分割掩模352。前景分割掩模352可以將圖像302的前景特征(例如，使用二元像素值1表示)與圖像302的背景特征能不能準確地表示被表示在圖像302中的前景對象的細薄和/或高頻特征。前景分割模型350可以例如使用在由Qin等創作并且公布為arXiv：2005.09007的標題為“[0085]遮罩模型354可以被配置成基于圖像302和前景分割掩模352來生成前景阿爾法遮可以使用每像素一個二元值或每像素一個灰度級強度值來這樣做。與前景分割掩模352不同，前景阿爾法遮罩356可以準確地表示被表示在圖像302中的前景對象的細薄和/或高頻[0086]為了將前景阿爾法遮罩356并入到前景可見性映射310中，前景阿爾法遮罩356可阿爾法遮罩356來生成膨脹的前景阿爾法遮罩360，然后可以如差分算子362所指示的從前[0087]另外，軟背景遮蔽函數332可以被配置成基于深度圖像306來生成背景遮蔽掩模[0088]背景遮蔽掩模334的每個相應遮蔽值可以指示圖像302的對應像素將通過圖像302位置(x，y)處的給定像素可以被遮蔽。因此，軟背景遮蔽函數332可以被表示為i通過對應范圍以將給定像素(x，y)與預定數量的相鄰像素(xi，yj)進行比較，并且可以將ReLU或泄漏ReLU應用于雙曲正切函數的輸j)中減去(i)相應像素的對應深度值D(x，y)以及將相應像素與位于相應像素的預第二最大差值來確定去除遮蔽值su,,當se[0,1]"時，逆函數336可以被表示為$-1=1-$,[0091]前景可見性映射310可以基于(i)基于深度的前景可見性映射342、(ii)基于遮罩的前景可見性映射364和(iii)逆背景遮蔽掩模338的乘積來確定，如乘法算子344所指示的。以此方式確定前景可見性映射310可以允許對前景對象的細薄和/或高頻特征的表示，同時考慮到深度不連續性并且減少和/或避免基于遮罩的前景可見性映射364到太多背景對象邊界的細薄和/或高頻特征并入到基于深度的前景可見性映射3圖4C包括基于深度的前景可見性映射442(基于深度的前景可見性映射342的示例)和前景阿爾法遮罩456(前景阿爾法遮罩356的示例)，其中的每個對應于圖像402和深度圖像406。圖4D包括基于遮罩的前景可見性映射462(基于遮罩的前景可見性映射364的示例)和前景表示獅子的鬃毛中的一些頭發的深度。在基于深度的前景可見性映射442和前景可見性映小可通過控制膨脹函數358對前景阿爾法遮罩356進行膨脹的像素的數量來子周圍和獅子的鼻口部周圍的輪廓區域，并且以較淺灰度級示出輪廓區域之外的背景部遮罩的前景可見性映射462中。前景可見性映射410因此表示圖像402的基于深度的不連續分別類似于圖像302和深度圖像306，但是可以在訓練時間處而不是在推理時間處被確定。深度模型304和軟背景遮蔽函數332已經分別參考圖3[0098]修復模型316可以被訓練成修復圖像302的如由背景去除遮蔽掩模314所指示的可的區域的地面真實像素值在訓練圖像502中可用，所以該技術可以允許在不依賴于多視圖訓練圖像數據集的情況下訓練修復模型316。在去除遮蔽區域的地面真實數據可用的情況[0100]修復模型316修復圖像502和506的缺失區域的質量可以使用重構損失函數508和/或對抗性損失函數來量化。重構損失函數508可以被配置成通過分別將訓練圖像502和506成至少相對于已經被修復的區域(如由訓練背景遮指示的)確定(i)訓練圖像502和修復訓練圖像518之間的第一L_1距離以及(ii)訓練深度圖型316以生成(i)彼此一致并且(ii)基于訓練圖像502的背景特征(而不是前景特征)的修復[0101]鑒別器模型512可以被配置成基于修復訓練圖像518和修復訓練深度圖像520來生和修復訓練深度圖像520是由修復模型316生成還是作為尚未由修復模型316生成的地面真性損失值524。對抗性損失函數522可以因此激勵修復模型316以生成看起來逼真并且因此[0102]模型參數調整器526可以被配置成基于重構損失值510和對抗性損失值524(以及可以由訓練系統500確定的任何其他損失值)來確定經更新的模型參數528。模型參數調整括用于3D照片系統300的一個或多個其他組件(諸如深度模型304或軟前景可見性模型308等其他可能性)以及用于鑒別器模型512的一個或多個[0103]模型參數調整器526可以被配置成通過例如確定總損失函數的梯度來確定經更新[0104]圖5B包括背景遮蔽掩模544(背景遮蔽掩模334和訓練背景遮蔽掩模534的示例)，度級示出了長頸鹿周圍的區域，從而指示這些區域可能通過從其渲染圖像380的視點的改[0106]圖6圖示與基于單目圖像來生成3D效果相關的操作的流程圖。操作可以由各種計[0108]框602可以涉及基于單目圖像來確定包括多個像素的深度圖像。深度圖像的每個[0109]框604可以涉及針對深度圖像的每個相應像素確定與深度圖像的相應像素相關聯[0110]框606可以涉及確定前景可見性映射，該前景可見性映射包括針對深度圖像的每[0111]框608可以涉及基于深度圖像來確定背景去除遮蔽掩模，該背景去除遮蔽掩模包[0112]框610可以涉及(i)通過使用修復模型根據背景去除遮蔽掩模修復單目圖像的部[0114]框614可以涉及通過根據前景可見性映射將第一3D表示與第二3D表示組合來生成的每個相應像素基于與相應像素相關聯的對應深度梯度的指數來確中減去(i)位于相應像素的預定像素距離內的對應參考像素的對應深度值以及(ii)將相應像素與對應參考像素分開的經縮放的像素數量來確定。確定背景去除遮蔽掩模還可以包(i)基于深度的前景可見性映射和(ii)基于遮罩的前景可見性映射的乘積來確定值中減去(i)相應像素的對應深度值以及將相應像素與位于相應像素的預定像素距離內的訓練成修復(i)單目圖像的具有匹配背景特征且獨立于前景特征的強度值的去除遮蔽背景度值與修復深度圖像的對應去除遮蔽背景區域的對應深度值圖像與訓練單目圖像進行比較以及將修復訓練深度圖像與訓練深度圖像進行比較而確定像，以及(iii)通過基于經調整的視點投影3D前景可見性映射來生成經修改的前景可見性前景圖像與背景圖像組合可以包括確定(i)前景圖像與經修改的前景可見性映射的第一乘積與(ii)背景圖像與預定值和經修改的前景可見性映射之間的差的[0132]在一些實施例中，生成第一3D表示和第二3D表示可以包括(i)通過基于深度圖像圖像的像素去除投影來生成第二多個3D點，以及(i)通過將與單目圖像的鄰接像素相對應以及(ii)基于修復圖像將一個或多個第二紋理應用于第二多“arXiv：1912.08804”的標題為“SynSin:End_to_endViewSynthesisfromaSingle創作并且公布為arXiv：2004.11364的標題為“Single_ViewViewSynthesiswith由Shih等創作并且公布為arXiv：2004.04727的標題描述)和如本文描述的3D照片系統300的性能。[0135]性能通過學習的感知圖像補丁相似性(LPIPS)度量(較低值表示更好性能)、峰值信噪比(PSNR)(較高值表示更好性能)和結構相似性指數量度(SSIM)(較高值表示更好性能)來量化。圖7A、圖7B和圖7C中的結果分別對應于RealEvent10k圖像數據集(在由Zhou等創作并且公布為arXiv：1805.09817的標題為“StereoMagnification:LearningView中討論)、雙像素圖像數據集(在由Garg等創作并且公布為arXiv：1904.05822的標題為“LearningSingleCameraDepthEstimationusingDual_Pixels(利用雙像素學習單相機深度估計)”的文章中討論)和人體模型挑戰者圖像數據集(在由Li等創作并且公布為arXiv：1904.11111的標題為“Le