計算機基礎項目實戰5

計算機視覺項目開發實戰

(微課版)項目五圖像檢索—特征提取與相似度匹配思維導圖學習目標概覽能夠實現基礎Harris角點檢測、優化版Harris角點檢測以及Shi-Tomasi角點檢測算法知識目標學習目標素養目標技能目標培養安全意識與倫理素養培養文化傳承與保護意識培養創新應用思維能夠熟練應用FAST、SIFT、ORB等特征檢測算法對圖像進行特征提取能夠使用暴力匹配器和FLANN匹配器實現特征點的匹配理解Harris角點檢測、Shi-Tomasi角點檢測的基本原理及其在圖像處理中的應用，了解如何通過優化Harris角點檢測算法來提高角點檢測的準確性和效率掌握FAST、SIFT、ORB、LBP等特征檢測算法的基本原理、特點及適用場景理解暴力匹配器和FLANN匹配器的工作原理，能夠根據實際需求選擇合適的匹配方法目錄項目導入知識準備項目拓展項目實施項目鞏固5.1角點檢測5.2特征檢測5.3特征匹配PART01項目導入項目導入在數字時代，圖像不僅是信息的載體，更是文化傳承與產業創新的核心資產。商湯的“書生”、百度的文心大模型、華為的盤古視覺模型等，正在重新定義視覺特征的提取方式。掌握Harris角點檢測、SIFT特征檢測等經典算法，理解其在工業系統中的基石作用；積極擁抱基于深度學習的特征學習新范式，認識國產核心技術的突破。把握技術演進與時代使命的交匯點，書寫服務國家戰略的深刻自覺PART02知識準備知識準備—角點檢測角點檢測是計算機視覺中的一種基礎技術，專門用于識別圖像中那些方向變化顯著的特殊位置點。從視覺特征來看，角點代表了圖像中最具辨識度的結構信息，比如建筑物的拐角、門窗的邊角、物體的輪廓轉折點等。角點檢測的基本原理是基于圖像灰度值的變化進行分析。在平坦的圖像區域，任何方向的移動都不會引起灰度值的顯著變化；在邊緣區域，沿著水平邊緣移動，灰度值變化很小，而沿著垂直邊緣移動，灰度值變化很大；在角點區域，任何方向的移動都會導致灰度值劇烈變化。在計算機視覺領域，角點檢測是目標匹配、圖像拼接、三維重建、運動跟蹤等高級任務的基礎。知識準備—角點檢測5.1.1Harris角點檢測Harris角點檢測是最著名、最經典的角點檢測算法之一。它的核心思想是分析圖像中一個小的局部窗口在各個方向上移動時，其內部像素灰度值的變化程度，通過數學方法量化這種“灰度值變化”，從而找出那些在任何方向上移動窗口都會導致巨大變化的點，也就是角點。可以通過數學推導過程來理解該算法。①將彩色圖像轉為灰度圖像，減少計算量。②用Sobel或Scharr等算子計算每個像素在x軸方向和y軸方向的灰度梯度Ix和Iy。③對梯度Ix和Iy進行高斯加權，得到局部區域的協方差矩陣M。④計算角點響應值。⑤根據響應值R判斷角點：在實際應用中，設定一個閾值，當R大于該閾值時認為該點是角點。知識準備—角點檢測5.1.1Harris角點檢測OpenCV提供cv2.cornerHarris()函數檢測角點。其語法格式如下：其中各參數含義如下。src：輸入圖像，必須是8位或浮點型單通道圖像。blockSize：鄰域大小。ksize：Sobel算子的孔徑參數，即卷積核大小。k：Harris檢測器的自由參數，經驗值在0.04～0.06之間。borderType：邊界類型，像素外推方法，不支持BORDER_WRAP。dst：返回值。用于存儲Harris檢測器響應值的圖像，其類型為CV_32FC1，且尺寸與輸入圖像相同。dst=cv2.cornerHarris(src,blockSize,ksize,k[,dst[,borderType]])知識準備—角點檢測5.1.1Harris角點檢測—案例

【例5-1】對圖像進行Harris角點檢測并標記。根據題目要求，編寫代碼如下：源代碼地址文件

ex5-1.py見教材配套代碼，路徑如下：src/proj05/ex5-1.py知識準備—角點檢測5.1.1Harris角點檢測—案例

【例5-1】對圖像進行Harris角點檢測并標記。運行上述代碼，結果如圖5-1所示。圖5-1例5-1代碼運行結果知識準備—角點檢測5.1.2優化Harris角點檢測—案例基礎Harris角點檢測算法雖然經典，但在某些情況下存在對閾值敏感、邊緣響應較強時會導致誤檢、角點聚集、定位精度有限等問題。

【例5-2】針對基礎Harris角點檢測算法的缺陷進行改進，并對比優化前后的效果。根據題目要求，編寫程序的關鍵代碼如下：源代碼地址文件

ex5-2.py見教材配套代碼，路徑如下：src/proj05/ex5-2.py知識準備—角點檢測5.1.2優化Harris角點檢測—案例基礎Harris角點檢測算法雖然經典，但在某些情況下存在對閾值敏感、邊緣響應較強時會導致誤檢、角點聚集、定位精度有限等問題。

【例5-2】針對基礎Harris角點檢測算法的缺陷進行改進，并對比優化前后的效果。運行本例的代碼，優化前后的結果如圖5-2所示。圖5-2例5-2代碼運行結果知識準備—角點檢測5.1.2優化Harris角點檢測對基礎Harris角點檢測算法的主要優化點說明如下。梯度計算精度：使用Scharr算子提高梯度估計準確度。矩陣計算控制：顯式計算結構張量，便于精細控制。平滑策略改進：高斯濾波替代簡單平均，減少噪聲影響。角點篩選機制：引入局部非極大值抑制，避免角點聚集。知識準備—角點檢測5.1.3Shi-Tomasi角點檢測Shi-Tomasi角點檢測（也稱為GoodFeaturestoTrack）是Harris角點檢測的優化算法。它主要解決了Harris角點檢測算法對閾值敏感、需要手動調整參數的問題。該算法修改了角點響應函數的取值：R=min(λ1,λ2)，對應角點判斷準則如下。如果min(λ1,λ2)大于閾值，該點是角點。如果min(λ1,λ2)小于等于閾值，該點不是角點。知識準備—角點檢測5.1.3Shi-Tomasi角點檢測在OpenCV中，Shi-Tomasi角點檢測通過cv2.goodFeaturesToTrack()函數實現。其語法格式如下：其中各參數含義如下。image：輸入圖像，支持8位或32位浮點型單通道圖像。maxCorners：返回的最大角點數量。qualityLevel：角點的質量閾值，通常取0.01～0.1。minDistance：返回角點之間的最小歐幾里得距離。mask：用于指定感興趣區域，可選項。blockSize：計算協方差矩陣的窗口大小，通常取3、5、7等奇數值。useHarrisDetector：是否使用Harris角點檢測算法。默認值為False。k：Harris角點檢測算法中的參數，僅當useHarrisDetector為True時有效。corners：返回值，輸出格式為浮點型的坐標點向量。corners=cv2.goodFeaturesToTrack(image,maxCorners,qualityLevel,minDistance[,corners[,mask[,blockSize[,useHarrisDetector[,k]]]]])知識準備—角點檢測5.1.3Shi-Tomasi角點檢測—案例

【例5-3】使用Shi-Tomasi角點檢測算法對圖像進行角點檢測并標記。根據題目要求，編寫程序的關鍵代碼如下：源代碼地址文件

ex5-3.py見教材配套代碼，路徑如下：src/proj05/ex5-3.py知識準備—角點檢測5.1.3Shi-Tomasi角點檢測—案例

【例5-3】使用Shi-Tomasi角點檢測算法對圖像進行角點檢測并標記。運行本例的代碼，結果如圖5-3所示。圖5-3例5-3代碼運行結果知識準備—特征檢測5.2.1FAST特征檢測FAST（FeaturesfromAcceleratedSegmentTest）是一種基于機器學習的高速角點檢測算法。FAST的核心是通過“像素灰度值差異測試”快速判斷一個點是否為角點，只負責“檢測”特征點，而不生成描述子。步驟如下。①候選點選擇：遍歷圖像中的每個像素p，以p為中心，取半徑為3的圓形區域。②灰度值差異判斷：設I(p)為候選點p的灰度值，定義閾值t，通常取I(p)的10%～30%。若16個鄰域像素中，至少有N個連續像素滿足以下條件之一，則p是角點。

，說明像素比候選點暗很多。

，說明像素比候選點亮很多。③非極大值抑制：為避免角點聚集，對檢測到的候選點進行非極大值抑制。知識準備—特征檢測5.2.1FAST特征檢測在OpenCV中，可通過cv2.FastFeatureDetector_create()函數創建FAST檢測器對象。其語法格式如下：其中各參數含義如下。threshold：中心像素與鄰域像素的強度差異閾值。默認值為10，值越小檢測到的角點越多，但可能包含噪聲。nonmaxSuppression：是否啟用非極大值抑制，默認值為True。type：FAST檢測版本。默認值為cv2.FAST_FEATURE_DETECTOR_TYPE_9_16，即連續9個點滿足條件。retval=cv2.FastFeatureDetector_create([,threshold[,nonmaxSuppression[,type]]])知識準備—特征檢測5.2.1FAST特征檢測—案例

【例5-4】使用cv2.FastFeatureDetector_create()函數創建對象fast，配合調用fast.detect()和cv2.drawKeypoints()函數在圖像中檢測特征點并標記。根據題目要求，編寫程序的關鍵代碼如下：源代碼地址文件

ex5-4.py見教材配套代碼，路徑如下：src/proj05/ex5-4.py知識準備—特征檢測5.2.1FAST特征檢測—案例

【例5-4】使用cv2.FastFeatureDetector_create()函數創建對象fast，配合調用fast.detect()和cv2.drawKeypoints()函數在圖像中檢測特征點并標記。運行本例的代碼，結果如圖5-4所示。圖5-4例5-4代碼運行結果知識準備—特征檢測5.2.2SIFT特征檢測SIFT（Scale-InvariantFeatureTransform）由戴維·洛（DavidLowe）于1999年提出，是具有尺度不變性、旋轉不變性、光照魯棒性的全局特征檢測算法。SIFT的核心是在多尺度空間中尋找“穩定的關鍵點”，并生成具有辨識度的描述子，步驟如下。①尺度空間構建。②關鍵點檢測。③方向賦值。④描述子生成。知識準備—特征檢測5.2.2SIFT特征檢測在OpenCV中，通過cv2.SIFT_create()函數創建SIFT檢測器對象。其語法格式如下：其中各參數含義如下。nfeatures：要保留的最佳特征點數量。默認值為0，建議值為500～5000。nOctaveLayers：金字塔的層數，影響尺度空間的精細程度。默認值為3。contrastThreshold：對比度閾值，用于過濾低對比度的特征點。默認值為0.04，建議值為0.02～0.06。edgeThreshold：邊緣閾值，用于過濾邊緣響應點。默認值為10。sigma：高斯模糊的初始標準差，影響金字塔底層的圖像模糊程度。默認值為1.6。enable_precise_upscale：是否在尺度金字塔中啟用精確上采樣，有助于防止定位偏差，默認值為False。retval=cv2.SIFT_create([,nfeatures[,nOctaveLayers[,contrastThreshold[,edgeThreshold[,sigma[,enable_precise_upscale]]]]]])知識準備—特征檢測5.2.2SIFT特征檢測—案例

【例5-5】使用cv2.SIFT_create()函數創建對象sift，配合調用sift.detectAndCompute()和cv2.drawKeypoints()函數在圖像中檢測特征點、描述子并標記。根據題目要求，編寫程序的關鍵代碼如下：源代碼地址文件

ex5-5.py見教材配套代碼，路徑如下：src/proj05/ex5-5.py知識準備—特征檢測5.2.2SIFT特征檢測—案例

【例5-5】使用cv2.SIFT_create()函數創建對象sift，配合調用sift.detectAndCompute()和cv2.drawKeypoints()函數在圖像中檢測特征點、描述子并標記。運行本例的代碼，結果如圖5-5所示。圖5-5例5-5代碼運行結果知識準備—特征檢測5.2.3ORB特征檢測ORB（OrientedFASTandRotatedBRIEF）在2011年提出，綜合了FAST特征檢測和BRIEF描述子的優點，優化了旋轉不變性和尺度不變性，速度快、魯棒性強、無專利限制，適用于SLAM、實時目標跟蹤、AR/VR特征匹配、移動端視覺應用等場景。ORB的核心是“高效檢測+魯棒描述”，步驟如下。①關鍵點檢測（改進的FAST）。②描述子生成（改進的BRIEF）：BRIEF是一種二進制描述子，原BRIEF無旋轉不變性，ORB對其做了以下兩點改進。③匹配優化：采用漢明距離（HammingDistance）計算描述子相似度，即二進制描述子的異或運算，速度極快。知識準備—特征檢測5.2.3ORB特征檢測在OpenCV中，cv2.ORB_create()函數創建ORB檢測器對象。其語法格式如下：其中各參數含義如下。nfeatures：要保留的最佳特征點數量。默認值為0，建議值為500～5000。scaleFactor：金字塔縮放比例因子。默認值為1.2。典型值為1.1～1.5。nlevels：金字塔層級數。默認值為8。典型值為3～10。edgeThreshold：邊緣閾值。默認值為31。firstLevel：金字塔的初始層索引。默認值為0。WTA_K：生成BRIEF描述子時使用的“贏家通吃”（Winner-Takes-All）策略中的點對數量。默認值為2。scoreType：關鍵點評分類型。默認值為HARRIS_SCORE。patchSize：用于計算描述子的鄰域大小。默認值為31，應為奇數。fastThreshold：FAST特征檢測的閾值。默認值為20。retval=cv2.ORB_create([,nfeatures[,scaleFactor[,nlevels[,edgeThreshold[,firstLevel[,WTA_K[,scoreType[,patchSize[,fastThreshold]]]]]]]]])知識準備—特征檢測5.2.3ORB特征檢測—案例

【例5-6】使用cv2.ORB_create()函數創建對象orb，配合調用orb.detectAndCompute()和cv2.drawKeypoints()函數在圖像中檢測關鍵點、描述子并標記。根據題目要求，編寫程序的關鍵代碼如下：源代碼地址文件

ex5-6.py見教材配套代碼，路徑如下：src/proj05/ex5-6.py知識準備—特征檢測5.2.3ORB特征檢測—案例

【例5-6】使用cv2.ORB_create()函數創建對象orb，配合調用orb.detectAndCompute()和cv2.drawKeypoints()函數在圖像中檢測關鍵點、描述子并標記。運行本例的代碼，結果如圖5-6所示。圖5-6例5-6代碼運行結果知識準備—特征檢測5.2.4LBP特征檢測LBP（LocalBinaryPatterns）是一種有效的局部二值紋理特征描述子，計算簡單、對光線變化敏感，具有魯棒性，適合人臉識別、紋理分類、表面缺陷檢測和醫學影像分析等場景。LBP的核心是將每個像素的“局部鄰域灰度分布”編碼為二進制特征，步驟如下。①局部鄰域定義。②二進制編碼。若，編碼為1；若，編碼為0；③紋理特征提取。OpenCV中并沒有直接提供類似于cv2.SIFT_create()函數的LBP檢測器，需通過編程實現基礎的LBP算法來理解其工作原理。知識準備—特征檢測5.2.4LBP特征檢測—案例

【例5-7】實現LBP特征檢測基礎算法。根據題目要求，編寫程序的關鍵代碼如下：源代碼地址文件

ex5-7.py見教材配套代碼，路徑如下：src/proj05/ex5-7.py知識準備—特征檢測5.2.4LBP特征檢測—案例

【例5-7】實現LBP特征檢測基礎算法。運行本例的代碼，結果如圖5-7所示。圖5-7例5-7代碼運行結果知識準備—特征檢測5.2.4LBP特征檢測文中提到的各特征檢測算法的特性對比如表5-1所示。知識準備—特征匹配特征匹配是計算機視覺中的一個核心任務，它的目標是在兩幅或多幅圖像中找到對應的特征點。這個過程通常分為以下兩步。①特征提取。②特征匹配。關于描述子，通常是一個向量或一個二進制字符串。匹配的本質就是計算兩個描述子之間的“距離”或“相似度”。距離越小，表示兩個特征點越相似，越有可能是同一個場景點在不同圖像中的投影。常用的距離度量方法包括以下兩種。歐氏距離：適用于浮點型描述子（如SIFT、SURF）。漢明距離：適用于二進制描述子（如ORB、BRIEF）。它計算的是兩個二進制字符串中不同位的數量。知識準備—特征匹配5.3.1暴力匹配器暴力匹配器是一種既簡潔直觀又性能穩定的特征匹配算法。在OpenCV中，暴力匹配器由cv2.BFMatcher類實現。其語法格式如下：其中各參數含義如下。normType：指定距離度量方法。常用值如下。cv2.NORM_L2：歐氏距離，適用于SIFT、SURF等浮點型描述子，為默認值。cv2.NORM_L1：曼哈頓距離。cv2.NORM_HAMMING：漢明距離，適用于二進制描述子，如ORB、BRIEF。cv2.NORM_HAMMING2：改進的漢明距離，適用于ORB中WTA_K取3或4的情況。crossCheck：布爾型參數，控制是否啟用交叉檢查。默認值為False。<BFMatcherobject>=cv2.BFMatcher([,normType[,crossCheck]])知識準備—特征匹配5.3.1暴力匹配器該類提供以下兩種常用的匹配方法。1．一對一匹配：match()其中各參數含義如下。queryDescriptors：查詢圖像（第一幅圖像）的描述子。trainDescriptors：訓練圖像（第二幅圖像）的描述子。mask：指定允許匹配的特征點對，為可選項。match(queryDescriptors,trainDescriptors,mask=None)知識準備—特征匹配5.3.1暴力匹配器該類提供以下兩種常用的匹配方法。2．k近鄰匹配：knnMatch()其中，k為每個查詢點返回的最佳匹配結果數量。返回一個列表，其中每個元素都是一個包含k個DMatch對象的列表。通常結合Lowe'sRatioTest（Lowe比率測試）來過濾錯誤匹配結果，效果極佳。knnMatch(queryDescriptors,trainDescriptors,k,mask=None)知識準備—特征匹配5.3.2FLANN匹配器FLANN（FastLibraryforApproximateNearestNeighbors）匹配器是一種基于近似最近鄰搜索的高效匹配算法。其核心流程分為以下兩步。①構建索引：在匹配前，對訓練圖像的所有描述子進行預處理，構建一個專用的索引數據結構。該結構能夠幫助算法在搜索時快速排除大量不相關的候選點。②近似搜索：對于每個查詢描述子，算法利用已構建的索引快速找到一個或多個近似最近鄰，而非精確計算所有距離，從而在保證較高準確率的同時顯著提升匹配效率。知識準備—特征匹配5.3.2FLANN匹配器在OpenCV中，FLANN匹配器由cv2.FlannBasedMatcher類實現。其語法格式如下：其中各參數含義如下。indexParams：字典類型，用于指定構建索引的算法和相關參數。常見配置如下。對于SIFT、SURF等浮點型描述子，通常使用KD-Tree索引對于ORB等二進制描述子，可使用局部敏感哈希（Locality-sensitiveHashing，LSH）索引：

searchParams：字典類型，用于控制搜索過程中的參數。默認值為空。常用設置如下。<FlannBasedMatcherobject>=cv.FlannBasedMatcher([,indexParams[,searchParams]])index_params=dict(algorithm=cv2.FLANN_INDEX_KDTREE,trees=5)index_params=dict(algorithm=cv2.FLANN_INDEX_LSH,table_number=6, #哈希表數量

key_size=12, #鍵大小

multi_probe_level=1 #多探針級別)search_params=dict(checks=50) #指定搜索時檢查的節點數量知識準備—特征匹配5.3.2FLANN匹配器—案例

【例5-8】使用ORB檢測器，分別用暴力匹配器和FLANN匹配器對兩幅圖像進行匹配，并展示結果。根據題目要求，編寫程序的關鍵代碼如下：源代碼地址文件

ex5-8.py見教材配套代碼，路徑如下：src/proj05/ex5-8.py知識準備—特征匹配5.3.2FLANN匹配器—案例

【例5-8】使用ORB檢測器，分別用暴力匹配器和FLANN匹配器對兩幅圖像進行匹配，并展示結果。運行本例的代碼，輸出如下結果；代碼最終輸出如圖5-8所示。圖5-8例5-8代碼運行結果知識準備—特征匹配5.3.2FLANN匹配器在選擇特征匹配器時，需根據具體應用場景進行權衡。暴力匹配器和FLANN匹配器的主要特性對比如表5-2所示。PART03項目實施項目實施項目任務給定一幅藝術畫作，在畫廊數據庫中查找視覺風格與其最相似的畫作。任務實現步驟1：初始化與參數設置首先創建ImageSimilarityFinder類作為整個圖像檢索系統的核心處理器，然后配置顏色特征權重為60%，紋理特征權重為40%，基于藝術畫作的視覺特性賦予顏色特征更高的重要度，為后續的特征提取和相似度計算模塊提供基礎配置參數。關鍵代碼如下：項目實施步驟2：圖像預處理首先讀取源圖像文件，然后調整圖像尺寸至統一規格以保證特征提取的一致性，最后將圖像從BGR色彩空間轉換到HSV色彩空間以便更好地分離色相、飽和度和亮度通道。關鍵代碼如下：項目實施步驟3：特征提取首先在顏色特征提取中分別計算HSV圖像的色相、飽和度和亮度3個通道的直方圖分布并進行歸一化處理，然后將其合并成一個綜合的顏色特征向量；同時在紋理特征提取中先將源圖像轉換為灰度圖像，接著通過遍歷每個像素的8個鄰域像素計算LBP編碼以捕捉局部紋理模式，最后生成LBP直方圖并歸一化為紋理特征向量。關鍵代碼如下：項目實施步驟4：相似度計算首先使用直方圖交集方法計算兩幅圖像顏色特征的相似度，然后通過巴氏距離衡量紋理特征的差異并將其轉換為相似度值，最后根據預設的權重比例對顏色和紋理相似度進行加權融合得出綜合相似度評分。關鍵代碼如下：項目實施步驟5：相似圖像搜索首先對查詢圖像進行預處理并提取顏色和紋理特征作為匹配基準，然后遍歷圖庫中的每幅圖像并提取相同的特征集，接著逐一計算每幅圖庫圖像與查詢圖像之間的綜合相似度，最后將所有結果按相似度降序排列并返回前N個最相似的圖像。關鍵代碼如下：項目實施步驟6：結果可視化與保存首先創建多子圖的復合可視化布局來展示查詢圖像、特征直方圖以及最相似的圖像，然后分別顯示查詢圖像、HSV色彩空間的3個通道直方圖和