移動機器人仿真：基于Webots軟件的分析 課件3-2-點特征地圖創建方法

第3講地圖創建點/路標地圖創建方法目錄基于非視覺類傳感器的點/路標的特征提取基于視覺類傳感器的點/路標的特征提取目錄基于非視覺類傳感器的點/路標的特征提取基于視覺類傳感器的點/路標的特征提取基于非視覺類傳感器的點/路標的特征提取傳感器GPS，北斗；室內無法使用測距儀：超聲波、激光傳感器數據格式GPS：經緯度坐標（x，y坐標）測距儀：距離+角度，2D坐標（x，y）基于非視覺類傳感器的點/路標的特征提取點/路標的參數以全局坐標系為基準進行存儲傳感器原始數據以傳感器坐標系為基準坐標變換：全局坐標系、機器人坐標系、傳感器坐標系為簡化問題復雜性，將機器人坐標系和傳感器坐標系合并基于非視覺類傳感器的點/路標的特征提取2D坐標（x，y）的變換基于非視覺類傳感器的點/路標的特征提取距離+角度的變換目錄基于非視覺類傳感器的點/路標的特征提取基于視覺類傳感器的點/路標的特征提取基于視覺類傳感器的點/路標的特征提取傳感器攝像頭傳感器數據格式：圖片彩色圖灰度圖深度圖基于視覺類傳感器的點/路標的特征提取圖像數據是以圖像坐標系為基準進行存儲坐標變換：機器人坐標系、攝像機坐標系、圖像坐標系為簡化問題復雜性，將機器人坐標系和傳感器坐標系合并攝像機傳感器已經完成了攝像機坐標系與圖像坐標系之間的變換什么是好的特征？一個好的特征在旋轉、縮放、光照、視角等條件改變的情況下，依然能被重復檢測到主要問題旋轉不變性，縮放不變性主要問題基于視覺類傳感器的點/路標的特征提取兩種點/路標特征：角點（corner）和斑塊（blob）角點（corner）：兩/多條邊的交點對定位任務而言，角點比斑塊具有更高的準確性角點看起來都很像，區分度不高基于視覺類傳感器的點/路標的特征提取兩種點/路標特征：角點（corner）和斑塊（blob）斑塊（blob）：依照”灰度、紋理突變”的特征所確定的一塊連通區域斑塊不適用于定位任務斑塊比角點具有更高的區分度角點（corner）檢測Harris角點檢測如何檢測角點？沿任一方向移動一個窗（window），至少在兩個方向上檢測出灰度值的顯著變化即檢測出角點“flat”

region:nointensity

change“corner”:significantchangein

atleast2

directions“edge”:nochangealongthe

edgedirectionHarris角點檢測如何用數學方法去刻畫角點特征？當窗口發生[u,v]移動時，那么滑動前與滑動后對應的窗口中的像素點灰度變化描述如下(x,y)是窗口內所對應的像素坐標位置，窗口有多大，就有多少個位置Harris角點檢測w(x,y)是窗口函數，最簡單情形就是窗口內的所有像素所對應的w權重系數均為1。有時候，會將w(x,y)函數設定為以窗口中心為原點的二元正態分布。Harris角點檢測為了減小計算量，利用泰勒級數進行簡化公式Harris角點檢測為了減小計算量，利用泰勒級數進行簡化公式Harris角點檢測矩陣M的關鍵性難道我們是直接求上述的E(u,v)值來判斷角點嗎？Harris角點檢測并沒有這樣做，而是通過對窗口內的每個像素的x方向上的梯度與y方向上的梯度進行統計分析。以Ix和Iy為坐標軸，因此每個像素的梯度坐標可以表示成(Ix,Iy)Harris角點檢測針對平坦區域，邊緣區域以及角點區域三種情形進行分析：Harris角點檢測對這三種情況窗口中的對應像素的梯度分布進行繪制：Harris角點檢測如果使用橢圓進行數據集表示，則繪制圖示如下：Harris角點檢測利用M特征值對圖像點進行分類：特征值都比較大時，

即窗口中含有角點特征值一個較大，一個較小

窗口中含有邊緣特征值都比較小，

窗口處在平坦區域Harris角點檢測如何度量角點響應？即評價角點的強度其中k是常量，一般取值為0.04-0.06，這個參數僅僅是這個函數的一個系數，它的存在只是調節函數的形狀而已。Harris角點檢測為什么用R來度量角點響應？繪制的R函數圖像如下：最后設定R的閾值，進行角點判斷Harris角點檢測旋轉不變性Image

1Image

2Harris角點特點Allpointswillbeclassifiedas

edgesCorner!Image

1Image

2Harris角點不具備縮放不變性縮放不變性？Harris角點特點應用最廣泛的角點檢測算法具有：旋轉不變性亮度變化不變性不具有：縮放不變性Harris角點特點小結縮放/尺度不變性（ScaleInvariant）檢測縮放/尺度不變性（ScaleInvariant）檢測設計一個函數對應與各個尺寸的圓縮放/尺度不變性（ScaleInvariant）檢測該函數對于各個尺度下的圓都能保持具有一個局部極值好的函數只有一個極值。這樣的函數稱為檢測算子（detector）Iregion

sizebadIregion

sizebadIregion

sizeGood

!縮放/尺度不變性（ScaleInvariant）檢測斑塊（blob）檢測常用的斑塊檢測算子有：LoG:LaplacianofGaussianoperatorDoG:DifferenceofGaussianSIFT(itusesDoGfeatures)SURF(it’sanfastimplementationofSIFT)CenSurEMSER斑塊特征斑塊檢測算子：LoG算子將圖像與核函數進行卷積，核函數稱為檢測算子LoG算子：高斯函數的拉普拉斯變換斑塊對應的是卷積后圖像的最大值或最小值斑塊檢測算子：LoG算子LoG斑塊看起來是什么樣子？用兩個高斯函數的差(DifferenceoftwoGaussianfunctions)來近似LoGDoG算子與LoG算子的特點幾乎一致，但DoG算子針對縮放/尺度變換具有更高的計算效率|斑塊檢測算子：DoG算子LoG和DoG算子非常適合縮放/尺度變換的不變性檢測斑塊檢測算子：LoG/DoG算子對縮放/尺度變換的不變性SIFT斑塊特征SIFT(ScaleInvariantFeatureTransform)是一種檢測斑塊的方法

由D.Lowe(Univ.ofBristishColumbia,Canada)教授于2004提出應用非常廣泛（場景識別，消費DC……）特點：SIFT采用的是DoG核

具有縮放/尺度變換不變性；具有方向、視角變換不變性(upto60度)描述子基于梯度的方向(gradientorientations)，比灰度值更具魯棒性SIFT特征SIFT主要步驟在不同尺度下提取關鍵點（Extractkeypoints+scale）賦予關鍵點方向（Assignkeypointorientation）生成關鍵點描述子（Generatekeypointdescriptor）SIFT特征生成尺度空間金字塔：不同尺度重采樣，利用高斯核模糊化原始圖像生成DoG金字塔：取相繼高斯模糊圖像差提取關鍵點：DoG金字塔中的局部極值SIFT特征Step1：keypointlocation+scaleSubsampleDoG:BlurredbyGaussiankernelSIFT特征Step2：assignkeypointorientation對關鍵點鄰域中每個像素計算灰度梯度值（幅值和方向）構建灰度梯度的方向直方圖直方圖中的尖峰對應該關鍵點的主方向對于每一個關鍵點，都擁有位置、尺度以及方向三個信息。為每個關鍵點建立一個描述符，用一組向量將這個關鍵點描述出來，使其不隨各種變化而改變，比如光照變化、視角變化等等。這個描述子不但包括關鍵點，也包含關鍵點周圍對其有貢獻的像素點，并且描述符應該有較高的獨特性，以便于提高特征點正確匹配的概率。SIFT特征Step3：SIFT描述子SIFT描述子:描述的是所有梯度方向相對關鍵點主方向的方向（Describeallgradientorientationsrelativetothekeypointorientation）在關鍵點周圍采用16×16的鄰域，將該16×16區域進一步劃分為4×4子塊在關鍵點尺度空間內4×4的窗口中計算梯度直方圖信息，然后用高斯窗口對其進行加權運算。SIFT特征Step3：SIFT描述子黃色圈代表高斯加權的范圍（越靠近關鍵點的像素梯度方向信息貢獻越大）SIFT描述子:描述的是所有梯度方向相對關鍵點主方向的方向（Describeallgradientorientationsrelativetothekeypointorientation）在每4×4