CN117745944B 預訓練模型確定方法、裝置、設備以及存儲介質 （北京百度網訊科技有限公司）

點云重建目標和掩碼后點云數據上的未掩碼區幾何屬性特征進行重建，以生成點云預訓練模2對所述掩碼后點云數據中體素內的三維點云坐標進行平均值計算，基于預先確定的內外參矩陣，確定所述三維點云坐標平均值和根據所述對應關系，將所述掩碼后點云數據中的點云投影到所根據所述圖像坐標對應的圖像語義特征和所述掩碼后點云數據，確定根據所述點云重建目標和所述掩碼后點云數據上的未掩碼區域其中，確定所述掩碼后點云數據的掩碼區域的點云重根據所述下采樣倍率定義的最小掩碼單元內的點云，確定2.根據權利要求1所述的方法，其中，所述對多幀所述原始點云數據進行隨機掩碼運基于所述位置編碼信息，確定所述掩碼后點云數據的掩碼多幀所述時序圖像是采用圖像傳感器采集到的，多幀采用點云特征提取算法，對所述掩碼后點云數據中的未掩碼區域進行特征37.根據權利要求1至3中任意一項所述的方根據所述點云重建目標和所述掩碼后點云數據上的未掩碼區域掩碼處理單元，用于對多幀所述原始點云數據進行隨機掩碼運算，投影處理單元，用于將所述掩碼后點云數據中的點云投影到確定單元，用于根據所述圖像坐標對應的圖像語義特征，生成單元，用于根據所述點云重建目標和所述掩碼后點云數第五確定子單元，用于根據上述下采樣倍率定義的最小對所述掩碼后點云數據中體素內的三維點云坐標進行平均值計算，基于預先確定的內外參矩陣，確定所述三維點云坐標平均值和根據所述對應關系，將所述掩碼后點云數據中的點云投影到所第一處理子單元，用于對所述原始點云數據進行體素特征編碼第二處理子單元，用于對所述處理后點云數據進行隨機4第三確定子單元，用于基于所述位置編碼信息，確定所述掩碼對齊處理單元，用于采用語義損失函數，將所述未掩碼區域的未掩特征提取單元，用于采用點云特征提取算法，對所述掩碼后點重建子單元，用于根據所述點云重建目標和所述掩碼后點云數所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被5[0003]Transformer是一種基于自注意力機制的深度神經網絡結構，在自然語言處理領缺乏大規模的標注數據集，以及Transformer缺乏對點云的歸納偏置，導致直接應用6[0028]采用點云特征提取算法，對所述掩碼后點云數據中的未7[0046]計算模塊，用于對所述掩碼后點云數據中體素內的三維點云坐標進行平均值計8[0065]應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特[0073]圖7是根據本公開實施例所提供的一種可選的預訓練模型確定裝置的框架示意[0077]CLIP(ContrastiveLanguage_ImagePre_Training，以下簡稱CLIP)模型是[0078]體素化(Voxelization)是將物體的幾何形式表示轉換成最接近該物體的體素表9[0092]如圖2所示，獲取到的多幀時序圖像，以及多幀時序圖像對應的多幀原始點云數[0098]一種可選的示例中，圖3是根據本公開的實施例所提供的一種可選的預訓練模型的已經標定且進行過時鐘同步的圖像數據和點云數據作為輸入，對于輸入的離散點云數[0104]作為一種可選示例，圖4是根據本公開的實施例所提供的一種可選的預訓練模型確定方法的流程圖，如圖4所示，上述將上述掩碼后點云數據中的點云投影到上述特征圖[0107]本公開使用預訓練好的CLIP模型中的圖像分支進行特征提取，得到的特征圖Himg云和上述圖像語義特征之間的對應關系，可以將掩碼后點云數據中的點云投影到特征圖[0109]一種可選的示例中，圖5是根據本公開的實施例所提供的一種預訓練模型確定方個3D卷積神經網絡或者2D卷積神經網絡來對voxel或者pillar進行特征提取，得到重新編[0115]一種可選的實施例，圖6是根據本公開的實施例所提供的一種預訓練模型確定方以訓練模型從可見的點云局部結構預測被掩蓋的[0123]本公開示例中，將提取到的未掩碼特征以及位置編碼信息，作為一個基于Transformer結構的解碼器的輸入，來對掩碼區域的圖像語義特征和幾何屬性特征進行重[0125]本公開使用2D/3D特征提取網絡(點云特征提取器)實現特征提取，特征提取的同‘2經過一個MLP層處理之后得到維度為3的預測幾何中心點，并由線性層2預測幾何中心點與[0145]采用點云特征提取算法，對上述掩碼后點云數據中的未[0150]根據本公開的實施例，圖7是根據本公開實施例所提供的一種預訓練模型確定裝[0155]確定單元705，用于根據上述圖像坐標對應的圖像語義特征和上述掩碼后點云數[0156]生成單元706，用于根據上述點云重建目標和上述掩碼后點云數據上的未掩碼區[0164]計算模塊，用于對上述掩碼后點云數據中體素內的三維點云坐標進行平均值計[0173]根據本公開的一個或多個示例，多幀上述時序圖像是采公開的實施例的示例電子設備800的示意性框圖。電子設備旨在表示各種形式的數字計算的計算機程序或者從存儲單元808加載到隨機訪問存儲器(RAM)803中的計算機程序，來執因特網的計算機網絡和/或各種電信網絡與其他設備交換信序的部分或者全部可以經由ROM802和/或通信單元809而被載入和/或安裝到設備800上。機程序可在包括至少一個可編程處理器的可編程系統上執行和/或解釋，該可編程處理器[0187]用于實施本公開的方法的程序代碼可以采用一個或多個編程語言的任何組合來理器或控制器，使得程序代碼當由處理器或控制器執行時使流程圖和/或框圖中所規定的包部分地在機器上執行且部分地在遠程機器上執行或完全在遠程機器或服務器面或者該網絡瀏覽器來與此處描述的系統和技術的實施方式交互)、或者包括這種后臺部字數據通信(例如，通信網絡)來將系統的部件相互連接。通信網絡的示例包括：局域網過通信網絡進行交互。通過在相應的計算機上運行并且彼此具有客戶端_服務器關系的計云主機，是云計算服務體系中的一項主機產品，以解決了傳統物理主機與VPS服務("如，本發公開中記載的各步驟可以并行地執行也