CN118590770B 圖像處理方法、電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì) （點(diǎn)昀技術(shù)(深圳)有限公司）

道高新區(qū)社區(qū)高新南九道53號(hào)航空航US2022414908A1,2022.12.29獲得目標(biāo)相機(jī)的彩色圖像和初始深度圖像，其述第一預(yù)測(cè)深度圖像對(duì)所述初始深度圖像進(jìn)行2獲得目標(biāo)相機(jī)的彩色圖像和初始深度圖像，其中，所述彩將所述第一預(yù)測(cè)深度圖像轉(zhuǎn)換成所述深度傳感器坐標(biāo)系下的第根據(jù)所述初始深度圖像與所述第二預(yù)測(cè)深度圖像的像素大小關(guān)系建所述初始深度圖像與所述第二預(yù)測(cè)深度圖像的像素大小將所述第一預(yù)測(cè)深度圖像轉(zhuǎn)換成所述色彩傳感器的坐標(biāo)系下的第將所述第一點(diǎn)云轉(zhuǎn)換成所述深度傳感器的坐標(biāo)系下的第將所述第二點(diǎn)云轉(zhuǎn)換成在所述深度傳感器的坐標(biāo)系下的第使用所述第一點(diǎn)集中的點(diǎn)的深度值與所述第二點(diǎn)集的點(diǎn)的深根據(jù)所述絕對(duì)預(yù)測(cè)深度圖像各點(diǎn)的深度值、所述初始深度圖像以針對(duì)目標(biāo)像素點(diǎn)，根據(jù)所述目標(biāo)像素點(diǎn)對(duì)應(yīng)的所述混疊參數(shù)與根據(jù)所述絕對(duì)預(yù)測(cè)深度圖像各點(diǎn)的深度值、所述初始深度圖像以針對(duì)第一目標(biāo)像素點(diǎn)，根據(jù)所述第一目標(biāo)像素點(diǎn)對(duì)應(yīng)的所述混疊針對(duì)第二目標(biāo)像素點(diǎn)，使用所述第二目標(biāo)像素點(diǎn)對(duì)應(yīng)的所述絕3其中，所述初始深度圖像中的所有像素點(diǎn)的第一目標(biāo)深度若所述第二目標(biāo)像素點(diǎn)對(duì)應(yīng)的所述絕對(duì)預(yù)測(cè)深度圖像中的深度若所述第二目標(biāo)像素點(diǎn)對(duì)應(yīng)的所述絕對(duì)預(yù)測(cè)深度圖像中的深度9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至74[0002]目前深度相機(jī)在測(cè)量深度圖像時(shí)會(huì)由于拍攝物體的反射率的不同導(dǎo)致其在同一5述線(xiàn)性函數(shù)的斜率與截距，以得到所述初始深度圖像與所述第二預(yù)測(cè)深度圖像的線(xiàn)性關(guān)始深度圖像中的所有像素點(diǎn)的目標(biāo)深度值構(gòu)目標(biāo)像素點(diǎn)，根據(jù)所述第一目標(biāo)像素點(diǎn)對(duì)應(yīng)的所述混疊參數(shù)與所述初始深度圖像的深度定所述第二目標(biāo)像素點(diǎn)對(duì)應(yīng)的所述絕對(duì)預(yù)測(cè)深度圖像中的深度值為第二目標(biāo)深度值，其6行時(shí)執(zhí)行如前述實(shí)施方式任意一項(xiàng)所述的方像可以是基于iToF(indirectTimeofFlight)或者dToF(directTimeofFlight)技術(shù)，7[0033]由于使用該iToF技術(shù)的相機(jī)是主動(dòng)成像設(shè)備，它會(huì)主動(dòng)稱(chēng)RAM)，只讀存儲(chǔ)器(ReadOnlyMemory，簡(jiǎn)稱(chēng)ROM)，可編程只讀存儲(chǔ)器(ProgrammableRead_OnlyMemory，簡(jiǎn)稱(chēng)PROM)，可擦除只讀存儲(chǔ)器(ErasableProgrammableRead_Only器(NetworkProcessor，簡(jiǎn)稱(chēng)NP)等；還可以是數(shù)字信號(hào)處理器(digitalsignal[0040](Applicatio[0041]本實(shí)施例中，該電子設(shè)備100可以是RGBD相機(jī)，該RGBD相機(jī)上設(shè)置存儲(chǔ)器和處理處理功能的計(jì)算機(jī)設(shè)備，該計(jì)算機(jī)設(shè)備可以獲得RGBD相機(jī)采集得到的彩色圖像和深度圖[0042]本實(shí)施例中的電子設(shè)備100可以用于執(zhí)行本申請(qǐng)實(shí)施例提供的各個(gè)方法中的各個(gè)8[0047]示例性地，該彩色圖像可以是該目標(biāo)相機(jī)在指定位置拍該初始深度圖像可以是該目標(biāo)相機(jī)在指定位置拍9[0064]步驟232，使用第二預(yù)測(cè)深度圖像對(duì)初始深度圖像進(jìn)行補(bǔ)償，以得到目標(biāo)深度圖此，上述的步驟231可以包括將第一預(yù)測(cè)深度圖像轉(zhuǎn)換成色彩傳感器的坐標(biāo)系下的第一點(diǎn)以將第二點(diǎn)云中的各個(gè)點(diǎn)的坐標(biāo)與該轉(zhuǎn)換矩陣相乘可以得到深度傳感器的坐標(biāo)系下的第[0073]示例性地，可以使用目標(biāo)相機(jī)的深度傳感器的ToF相機(jī)模型將第二點(diǎn)云轉(zhuǎn)換成在像中選出對(duì)應(yīng)位置的像素點(diǎn)，來(lái)確定出第二預(yù)測(cè)深度圖像與初始深度圖像的像素大小關(guān)[0084]在確定該線(xiàn)性關(guān)系后，可以將第二預(yù)測(cè)深度圖像的深度值代入該線(xiàn)性關(guān)系函數(shù)[0095]每個(gè)像素都可以計(jì)算出光源發(fā)出信號(hào)到接收信號(hào)之間的時(shí)間間隔Δt，其可以從270。[0105]考慮到初始深度圖像中可能會(huì)由于拍攝物體的反射率的問(wèn)題導(dǎo)致一些像素點(diǎn)為[0110]針對(duì)第二目標(biāo)像素點(diǎn)，使用第二目標(biāo)像素點(diǎn)對(duì)應(yīng)的絕對(duì)預(yù)測(cè)深度圖像中的深度[0112]初始深度圖像中的所有像素點(diǎn)的第一目標(biāo)深度值或第二深度值構(gòu)成目標(biāo)深度圖為初始深度圖像中深度值最大值與深度值最小值之初始深度圖像中的第一像素點(diǎn)的深度值之差不小于預(yù)設(shè)值，確定第二目標(biāo)深度值為指定值還可以是基于初始深度圖像在第二目標(biāo)像素點(diǎn)周?chē)挠行馵0122]可以將RGB圖像輸入當(dāng)前神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行前向傳播推理，得到初始預(yù)測(cè)深度[0123]然后通過(guò)反向梯度傳播算法更新當(dāng)前神經(jīng)網(wǎng)絡(luò)模型的參顯示了根據(jù)本申請(qǐng)的多個(gè)實(shí)施例的裝置、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、[0129]