第4章 基于CNN的目標檢測

第4章

基于CNN的目標檢測1RetinaNet網絡原理介紹目錄目標檢測背景與算法概述2過程與步驟3小結4目標檢測是計算機視覺和人工智能研究領域的一個熱點問題，它不僅指出圖像中有無感興趣的目標，還需判斷目標所在的位置和大小。目標識別需要解決的問題主要有：分類問題，判斷圖像中是否有感興趣目標；定位問題，指出目標在圖像中的坐標；尺度問題，指出目標的大小；形狀問題，判斷目標的形狀。1.背景介紹隨著目標檢測技術的發展，在各領域有著廣泛的應用，如下圖所示。人臉檢測方面，使用目標檢測技術識別不同的人臉，判斷每個人的身份，在會議簽到、考勤打卡、支付、機場和車站的實名認證有廣泛的應用。行人檢測方面，在人流統計和移動偵測應用了目標檢測技術。車輛檢測方面，在自動駕駛、違章查詢、關鍵通道檢測、車流量檢測、交通控制等方面有廣泛的應用。遙感檢測方面，在大地遙感、河流監控、土地使用、農作物監控和軍事檢測等方面有廣泛的應用。工業制造領域，在工件檢測、自動焊接、視覺伺服、自動噴涂、自動組裝和產品瑕疵檢測等方面有廣泛的應用。在醫療領域，在細胞分析、腫瘤分析、超聲波圖像分析等方面有廣泛的應用。1.背景介紹圖1-1目標檢測應用領域由于存在拍攝角度的多樣性、光照條件變化、部分遮擋、運動模糊、多尺度、景深不統一、噪聲等問題，設計一個高效且魯棒的目標檢測算法有一定的難度。目標檢測還是一個具有挑戰且具有開放性的問題。目前，主流的深度學習目標檢測算法可以分類兩大類：雙步（Two-Stage）目標檢測算法和單步（One-Stage）目標檢測算法。雙步目標檢測算法主要有為兩個步驟，第一個步驟先對圖像進行掃描，找到可能有目標存在的候選區域（RegionProposals），包括目標大致的位置和尺度信息，第二個步驟對候選區域進行分類和精確定位，進而輸出檢測結果。這類檢測算法有著比較高的準確率，但訓練和檢測速度相對較慢，典型的算法有R-CNN、SPP-Net、FastR-CNN、FasterR-CNN和R-FCN等。單步目標檢測算法只需要一步直接確定目標的類別和準確位置，與雙步目標檢測相比，少了個候選區域確定的階段，整體網絡結果較為簡單，處理速度相對較快。典型的單步目標檢測算法有CornerNet、OverFeat、YOLOv1、YOLOv2、YOLOv3、SSD和RetinaNet等。2.目標檢測算法概述1RetinaNet網絡原理介紹目錄目標檢測背景與算法概述2過程與步驟3小結4在對某個特征層進行目標檢測時，樸素的思想是采用滑動窗口的方式用不同的坐標、尺度和寬高比進行掃描，從而判斷每個掃描窗口是否有目標存在。錨點的作用就是在特征層預先設定好需要判斷的窗口用于判斷是否有目標存在進而判斷目標的準確位置。錨點示例如圖2-1所示，假設將一張圖片經過特征提取后獲得一個的特征圖，以特征圖上坐標為（3，3）的點上的坐標為例，采集了2個不同尺度和3個不同長寬比共6個窗口，對整個特征圖進行掃描可以獲得個錨點。2.1相關理論介紹1.錨點圖2-1錨點示例由于錨點無法窮舉目標所有的狀態，需在錨點的基礎上對目標的真實狀態進行修正。邊框回歸的原理如圖2-2所示，紅色框為目標真實的狀態，為目標的中點坐標，為目標的寬和高，藍色框為錨點的狀態，為錨點的中點坐標，為錨點的寬和高。錨點框與真實框的修正值可以由下列式（1-1）獲得，2.1相關理論介紹2.邊框回歸式（1-1）圖2-2邊框回歸交并比（IOU）是目標檢測中判斷預測框與真實目標框重合度的一種度量方法，指的是預測框與真實目標框相交面積與相并面積之比，即，如左圖所示。在訓練過程中，通過交并比來計算錨點框屬于真實目標框的概率。在測試過程中，通過交并比來計算測試結果的準確率2.1相關理論介紹3.交并比（IOU）圖2-3交并比在目標檢測過程中，通常會設定一個分類閾值，當候選框的分類得分超過這個閾值時就會判定有目標存在。但在實際應用中，同一個目標往往會有多個候選目標超過這個閾值，從而獲得多個分類結果。這種情況下算法往往會選擇分類得分最高的候選框作為最終結果。當圖片出現多個目標的時候，如果單純選擇分類得分最高的錨點作為結果，這樣會將其他目標丟失。非極大值抑制不僅考慮候選框的分類得分，還考慮到了候選框之間的交并比，從而刪除重疊較大的邊界框。非極大值抑制流程如圖2-4所示，2.1相關理論介紹4.非極大值抑制（NMS）圖2-4

非最大化抑制流程RetinaNet網絡結構如圖2-5所示，主要由ResNet網絡和特征金字塔網絡（FPN）構成的主干網絡與分類回歸子網絡構成。主干網絡負責提取圖像的特征，可以構建不同尺度和語義深度的特征金字塔。分類回歸子網絡由分類子網絡和回歸子網絡構成，其中，分類子網絡負責判別目標所屬的種類，回歸子網絡負責確定目標框的準確坐標。2.2RetinaNet網絡結構圖2-5RetinaNet網絡結構RetinaNet主干網絡由ResNet網絡和特征金字塔網絡構成。ResNet網絡是一款經典的CNN特征提取網絡，可以有效解決隨著網絡深度的增加而出現的網絡“退化”的問題，典型的網絡有Resnet50,Resnet101和Resnet152等。本章采用的是Resnet50網絡，Resnet50網絡共有50個卷積層，有5個不同尺度的輸出層，分別是C1、C2、C3、C4和C5層，上一層輸出的邊長是下一層輸出邊長的2倍。RetinaNet網絡使用了ResNet網絡的C3、C4和C5層（如圖2-5（a）藍色部分所示），而C6和C7層則采用卷積核為，步長為2的卷積獲得（如圖2-5（a）紅色部分所示）。特征金字塔網絡是在ResNet網絡的基礎上，通過自頂向下和側向連接的方式構成，它可以有效構建5個語義信息豐富的且多尺度的輸出層，P3-P7層。總之，通過主干網絡，可以使單一的輸入圖像獲得不同尺度和不同語義深度的多層特征輸出，從而提高目標檢測的準確率。2.2RetinaNet網絡結構1.主干網絡

2.2RetinaNet網絡結構1.主干網絡在RetinaNet獲得P3-P7特征后，將P3-P7作為輸入，通過分類子網絡和回歸子網絡獲得輸出。在特征經過分類子網絡處理后，輸出的維度為，其中，為特征的寬度，為特征的高度，為每個特征點錨點的個數，為目標種類的個數。中的每個值代表其對應坐標點、尺度和寬高比錨點的屬于某分類的概率值。如圖2-6（a）所示，假設有目標有3個種類，分別是‘人’、‘貓’和‘狗’，特征的長和寬均為8，每個特征點有9個錨點，故的維度為（為了展示方面左圖將9個錨點分開）。以最下層的右上角特征點為例，屬于‘人’的概率為98%，屬于‘狗’的概率為1%，屬于‘貓’概率為2%。在特征通過回歸子網絡處理后，輸出的維度為。如圖2-6（b）所示，中的每個值代表其對應坐標點、尺度和寬高比錨點對于真實目標框修正值。2.2RetinaNet網絡結構2.分類回歸子網絡圖2-6分類回歸子網絡輸出在目標檢測數據集中，會提供圖片數據（image）、目標框數據（bbox）和目標種類數據（label），在模型訓練過程中，需要將數據集中的目標框數據和目標種類數據編碼成回歸子網絡和分類子網絡對應的輸出形式。在目標檢測過程中，需要將回歸子網絡和分類子網絡的輸出解碼成目標框和目標種類。2.3數據處理在模型訓練過程中，需要將數據集數據的image、bbox和label數據編碼成符合RetinaNet網絡輸出要求的數據格式。編碼過程中，將錨點框分為3個種類，分別是正樣本、負樣本和忽略樣本。正樣本為與目標交并比大于50%的樣本，負樣本為與目標交并比小于40%的樣本，忽略樣本為與目標交并比在40%到50%之間的樣本。1.數據編碼圖2-7演示了數據集數據到網絡輸出數據格式的編碼過程。紅色方框為數據集提供的真實目標、藍色框正樣本（與真實目標框的IOU大于50%的錨點）、橙色框為忽略樣本（與真實目標框的IOU在40%與50%之間的錨點）、黃色框為負樣本（與真實目標框的IOU在小于40%的錨點）。在編碼過程中，使用式（1-1）將每個錨點框編碼成一個5維向量。如果是正樣本，前4維為錨點框與真實框的修正值，第5維為目標所屬的種類（圖中，狗的種類為1）；如果是負樣本，前4維為0，第5維為-1；如果是忽略樣本，前4維為0，第5維為-2。2-3數據處理1.數據編碼圖2-7數據編碼

2-3數據處理2.數據解碼損失函數的設計是深度神經網絡的訓練過程中的關鍵環節，合理的損失函數可以有效提高網絡的性能。在RetinaNet網絡的構造過程中，需要設計分類子網絡和回歸子網絡的損失函數。2.4

損失函數2.4

損失函數

1.分類子網絡損失函數2.4

損失函數

2.回歸子網絡損失函數1RetinaNet網絡原理介紹目錄目標檢測背景與算法概述2過程與步驟3小結43過程與步驟介紹RetinaNet網絡目標檢測的具體實現過程，包括數據集的下載和處理、網絡搭建、損失函數、測試過程和測試與結果。源代碼下載地址為：https://keras.io/examples/vision/retinanet/。數據集下載地址為：/srihari-humbarwadi/datasets/releases/download