CN116168171B 集群無人機實時稠密重建方法 （西北工業大學）

WO2021185322A1,2021.09本發明提出一種集群無人機實時稠密重建協同重建。相對定位方式通過動態分布式網絡布式網絡的結構，對于每個分布式結構的子模塊，利用精確的局部相對位姿信息完成稠密重子模塊虛擬中心節點之間的位姿，用以融合點塊中的無人機之間和整個分布式網絡的不同子且配準精度和恢復的無人機之間的相對位姿精2根據每架無人機的GNSS信息反推無人機之間的共視關系，無人機根據步驟4：利用單個無人機的VIO位姿估計信息以及經過步驟3處理后的無人機之間的相2.根據權利要求1所述一種集群無人機實時稠VIO的初始化并進行自主定位的過程為：首先利用機上的IMU信息將VIO的初始坐標系與重局部坐標系到全局坐標系之間的變換；將尺度恢復后的VIO估計位姿利用外參矩陣轉換到4.根據權利要求1所述一種集群無人機實時稠密重建方法36.根據權利要求1所述一種集群無人機實時稠密重建方法鄰幀和重疊率在設定范圍內的同一時刻幀使用稠密立體視覺匹配算法進行快速的立體匹對于第k架無人機重建出的稠密點云的任一點p,將其融合到中心無人機構建的點云缺失IMU和GNSS信息或者IMU與GNSS獲得的信息不可靠時，依靠點云信息進行重力方向計4建方法難以在單次飛行中對較大范圍的場景進行重建，并且由于是單個無人機執行任務，人機飛行航線的時間。目前能夠實現多個無人機協同三維稠密重建的方法大都依賴SfM[0004]基于SLAM(simultaneouslocalizationandmapping)技術的集群無人機大場景率。VIO(visual_inertialOdometry)是融合視覺傳感器和IMU(InertialMeasurement[0005]目前單個無人機實時三維稠密重建技術大多基于無人機的航線規劃與稠密重建滿足增量式增加設備進行多無人機三維稠密重[0007]在保證多無人機協同稠密重建實時性的同時保證稠密重建的精度是該問題的核5[0013]步驟4：利用單個無人機的VIO位姿估計信息以及經過步驟3處理后的無人機之間IMU信息將VIO的初始坐標系與重力對齊，利用初始靜止的IMU信息與重力向量之間的變換后求解優化問題并通過計算獲得局部坐標系到全局坐標系之間的變換；將尺度恢復后的VIO估計位姿利用外參矩陣轉換到相機位姿下，并將相機位姿與接收的圖片進行時間戳對[0019]進一步的，步驟3中計算同一時刻兩無人機采集圖像的重疊率的具體做法是通過6[0021]進一步的，步驟4中對相鄰幀和重疊率在設定范圍內的同一時刻幀使用稠密立體[0023]對于第k架無人機重建出的稠密點云的任一點將其融合到中心無人機構建的ICP算法結合圖像的對應特征點的三維點信息進一步進行稠密[0033]2.本發明使用的多無人機相對定位方法，依賴于局部精準的視覺慣性里程計、7[0037]本發明的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得[0040]圖3是本發明一個稠密重建子群中的集群無人機實時大尺度稠密重建的流程示意[0044]本發明針對如何保證多無人機協同稠密重建實時性的同時保證稠密重建精度的協同實時大尺度三維稠密重建，在保證精度的同時有效地提升大尺度場景稠密重建的效[0045]本發明中的集群無人機基于GNSS(GlobalNavigationSatelliteSystem)和VIO同時結合GNSS信號和共視圖信息的相對定位方式通過動態分布式網絡DDN(DynamicDistributedNetwork)實現。動態分布式網絡DDN利用先驗相對位置信息實時調整分布式圖和精確的無人機間相對位姿。這種點云配準方法相比于一般的點云配準方法更加魯棒，并且配準精度和恢復的無人機之間的相對位姿精8進行自主定位的過程為：利用相鄰圖像幀之間的特征點的匹配信息以及IMU積分信息構建靜止的IMU信息與重力向量之間的變換求解無人機此時的姿態，將初始坐標系設置為FLUX1n0d]9歸一化平面上，從而構建殘差函數。為了得到三維點坐標需要恢復[0066]IMU通過加速度計和陀螺儀能夠獲得加速度和角速度信息，可以通過積分獲得兩[0074]預積分項中使用了bias。若在優化的時候對b加入到后面的優化中可以在降低計算復雜度的情況下極大的抑制[0085]確定稠密重建子群的意義在于確定是否利用共視圖信息進一步優化相對位姿和根據GNSS信息初始化建圖子群中無人機的相對位姿，并利用相鄰關系投票選出中心無人af,at,ff分別表示在VIO局部坐標系下與GNSS時間戳對齊后相鄰兩坐標之間的位姿變換；s是待優化的尺度；",q",","分別表示在東北天坐標系下相鄰兩坐標之間的位姿置。此時中心無人機位姿表示為RR,表示中心無人機VIO局部坐標系到世界坐標人機到中心無人機的旋轉為位移為t0k，由利用GeographicLib計算而來。為了方便后面推導，用T0k表示第k架無人機初始坐標系到中心無人機初始坐標系的變多個無人機之間的相對定位其中在建圖部分可以根據的三對以上的三維點)求解Sim3變換，從而進一步優化各無人機之間的相對位姿和相對尺[0108]計算同一時刻兩無人機采集圖像的重疊率的具體做法是通過圖像的匹配點計算[0111]利用共視關系獲得的相對位姿和圖片也將作為下一步的一致性約束加入到稠密[0112]步驟4：利用單個無人機的VIO位姿估計信息以及經過步驟3處理后的無人機之間[0113]這里對相鄰幀和重疊率在一定范圍內的同一時刻幀使用稠密立體視覺匹配算法[0115]在前面步驟VIO_GNSS耦合協同定位(步驟1和步驟2)以及利用共視信息相對定位融合。對于第k架無人機重建出的稠密點云的任一點將其融合到中心無人機構建的點[0123]其中Px,Px是點云的坐標到在中心坐標系下的x,的對應特征點的三維點信息進一步進行稠密點云的精細配準。將子群中的點云融合之后，這個配準結果利用改進的ICP方法進行更[0131]在本發明改