人臉識別概述1

人臉識別概述《人臉識別技術》課程介紹介紹了人臉識別技術的相關原理及其公安應用，通過圖像處理、代碼編程和軟件操作等實驗實訓培養學生利用人臉識別技術進行實戰應用的能力。學時分配：理論：8學時實驗：8學時*考核方式本課程為考查課，成績分為以下幾部分：期末考核——50%實訓報告——45%人臉圖像處理及比對——10%人臉識別算法編程——20%人臉識別實戰應用——15%課堂表現——5%期末考試擬采用上機的形式考核。*形成性評價課程內容*第一章人臉識別概述生物特征識別技術人臉識別特點人臉識別技術發展第二章人臉識別相關技術人臉識別技術原理深度學習人臉識別人臉識別關鍵指標第三章機器學習基礎機器學習基本概念監督學習無監督學習第四章人臉識別實戰應用人像系統建設靜態人臉識別動態人臉識別1生物特征識別技術生物特征識別技術是一種利用人體生物特征進行身份認證的技術。具體來說，生物特征識別技術就是通過將計算機與光學、聲學、生物傳感器和生物統計學原理等技術手段相結合，利用人體固有的生理特性和行為特征來進行個人身份的鑒定。被選取的生物特征需具備以下性質：*普遍性所有的正常人都應該具有這項生物特征唯一性每個人的這種生物特征應各不相同不變性該生物特征不易隨著時間或者環境的變化而變化易測性該生物特征方便采集，不需要復雜的采集設備安全性這一生物特征不容易被竊取、仿制1.1虹膜識別什么是虹膜？

*虹膜

是指眼球中瞳孔和眼白之間的充滿了豐富紋理信息的環形區域每一個虹膜都包含一個獨一無二的基于像冠、水晶體、細絲、斑點、結構、凹點、射線、皺紋和條紋等特征的結構。

1.2筆跡識別筆跡特征屬于行為性的生物特征。對于每個書寫者而言，其筆跡總體上具有相對穩定性，而筆跡的局部變化則是每個書寫者筆跡的固有特性。而對于不同的書寫者而言，其筆跡的差別則比較大。*1.3步態識別步態識別是近年來越來越多的研究者所關注的一種較新的生物認證技術，它是通過人的走路方式來識別人的身份的方法。*1.4聲紋識別聲紋識別，也稱作說話人識別，是一種通過聲音判別說話人身份的技術。聲紋識別分為：說話人辨認和說話人確認。*1.5指靜脈識別*指靜脈識別技術是利用近紅外線穿透手指后所得的靜脈紋路影像來進行個人識別，是具有高精度、高速度的世界上最尖端的生物識別技術。指紋和指靜脈的區別*1生物特征識別技術類型是否接觸準確性隱蔽性采集速度接受程度應用性人臉否低高快高最廣泛虹膜否高低較快低較廣泛掌型是中等低快中等不廣泛指紋是高低快中等廣泛筆跡是低低慢高廣泛聲紋否低中等快高較廣泛步態否低高快高較廣泛*常見生物特征識別技術比較：2人臉識別特點2.1人臉的特點2.2人臉識別技術的特點2.3人臉識別技術存在問題*2.1人臉的特點人臉是一種高度非剛性的目標，個體與個體之間存在著很多細微的差異，并且這些細微差異并不像不同物品之間的差異那么大，因此人臉識別較一般物體識別更加復雜。人臉的特點包括：相似性、易變性。*2.2人臉識別技術的特點與虹膜、指紋等生物特征相比較，人臉識別技術易于用戶接受、便于采集、友好、方便直接，并且可以分析人臉的表情、光照、姿態等信息，還可以得到其他生物特征識別系統所得不到的信息，具體來說，主要有以下幾個特點：非接觸性非強制性并發性簡便性直觀性高效性*2.2人臉識別技術的特點*？==2.3人臉識別技術存在問題光照姿態表情年齡遮擋*2.3.1化妝影響*2.3.1化妝影響*眉毛眼睛鼻子臉型嘴巴特殊標記2.3.2遮擋影響*對于非配合情況下的人臉圖像采集，遮擋問題是一個非常嚴重的問題。特別是在監控環境下，往往被監控對象都會帶著眼鏡、帽子等飾物，使得被采集出來的人臉圖像有可能不完整，從而影響了后面的特征提取與識別，甚至會導致人臉檢測算法的失效。2.3.2遮擋影響*2.3.2遮擋影響*樣本名稱比中位次（位）變化前變化后女231女4無法比中1樣本名稱比中位次/位相似度/%男1190.99男2198.96男3198.02男4無法比中未識別出人臉男51未識別出人臉女1無法比中39.86女23未識別出人臉女3無法比中未識別出人臉女4無法比中未識別出人臉女5無法比中79.782.3.3年齡影響*隨著年齡的變化，一個人從少年變成青年，變成老年，他的容貌可能會發生比較大的變化，從而導致識別率的下降。對于不同的年齡段，人臉識別算法的識別率也不同。身份證有效期0-16：5年16-25：10年26-45：25年46以上：長期有效2.3.3年齡影響*1個月4周歲7周歲11周歲2.3.3年齡影響*約6~7歲以前，人臉特征穩定性較差；相似年齡、不同人臉的特征相似度高。不同階段人臉識別前十位命中率2.3.3年齡影響*人臉識別技術在一定年齡段內能夠跨年齡識別。潛逃22年命案逃犯潛逃15年命案逃犯歷史照片建庫的重要性2.3.4面部器官類型影響不同類型的面部器官對于人臉識別率的影響各不相同，實驗填補不同的眼型和嘴型對人臉識別率的影響。*眼睛類型圖片示例標準眼型圓眼型三角眼型細長眼型垂眼型嘴巴類型圖片示例理想嘴型厚嘴型薄嘴型口角下垂型2.3.4面部器官類型影響*03人臉識別技術發展歷史*浙江省人臉識別技術應用發展歷史*2016年4月，公安部建成了新全國人像比對系統（部科信局云鑒系統）2016年8月，我省利用公安部系統比中第1起命案逃犯2017年9月，我省開展人像比對技戰法比武2017年4月，我省建成了新人像比對系統2018年4月，我省組織《人臉識別技術與警務應用》教材編寫2016年8月G20期間，利用公安部下發的賬號，比中潛逃25年命案逃犯錢云富，成為我省第一起比中的命案逃犯。3人臉識別技術發展歷史3.1基于幾何特征的方法3.2基于子空間特征的方法3.3基于深度學習的方法*3.1基于幾何特征的方法

人臉由眼睛、鼻子、嘴巴、下巴等部件構成，正因為這些部件的形狀、大小和結構上的各種差異才使得世界上每個人臉都千差萬別，因此對這些部件的形狀和結構關系(如距離、邊緣曲率和角度)的幾何描述，可以作為人臉識別的重要特征。*需要對眼睛、鼻子等臉部特征點進行精確定位容易受到人臉形變和拍攝姿態的影響，缺乏穩定性忽略了人臉的紋理等大量對識別有用的信息存在問題3.2基于子空間特征的方法人臉圖像屬于高維數據，其維數等于該圖像像素點的總數，而同一人的人臉圖像在高維空間中應具有較短的距離。通過降維的方式提取出每個高維人臉數據中主要特征的方法被稱為子空間特征法。*3.2基于子空間特征的方法特征臉方法突破了傳統的幾何特征方法，利用圖像整體的信息來進行人臉識別。特征臉所采用的整體法比傳統的基于幾何特征的分析法要好，因此之后的人臉識別方法就主要以圖像整體為基礎進行識別。傳統人臉識別方法存在問題：*產生并且使用的特征可以被認為屬于淺層特征往往需要結合人為設置的特征進行計算在輸入海量數據的情況下識別效果不盡如人意存在問題3.3基于深度學習的方法深度學習理念的提出始于2006年，人工神經網絡之父GeoffreyHinton教授在著名學術刊物《Science》中指出，多層神經網絡模型具有很強的特征分層和描述能力。*人腦神經網絡vs人工神經網絡3.3基于深度學習的方法相較于傳統的基于幾何結構和子空間特征的人臉識別方法，深度學習在訓練過程中整合了特征提取和分類兩個功能，并且識別精度隨著數據量的增加而持續提高，尤其是在海量人臉數據集的支撐下。深度學習的優勢包括：通用性強識別率高*4視頻偵查領域的熱點技術計算機視覺是一個跨領域的交叉學科，包括計算機科學（圖形、算法、理論、系統、體系結構），數學（信息檢索、機器學習），工程學（機器人、語音、自然語言處理、圖像處理），物理學（光學），生物學（神經科學）和心理學（認知科學）等等。定義：對圖像中的客觀對象構建明確而有意義的描述（Ballard＆Brown,1982）從一個或多個數字圖像中計算三維世界的特性（Trucco＆Verri,1998）基于感知圖像做出對客觀對象和場景有用的決策（Sockman＆Shapiro,2001）*CVPRCVPR是IEEEConferenceonComputerVisionandPatternRecognition的縮寫，即IEEE國際計算機視覺與模式識別會議。該會議是由IEEE舉辦的計算機視覺和模式識別領域的頂級會議。*年份人臉識別超分辨率行人重識別行為/動作識別2018718324201912241913202018213113202132102625CVPR相關主題論文數量計算機視覺概念*圖像分類目標跟蹤目標檢測語義分割實例分割4.1行人重識別技術行人重識別(Personre-identification)也稱行人再識別,被廣泛認為是一個圖像檢索的子問題,是利用計算機視覺技術判斷圖像或者視頻中是否存在特定行人的技術,即給定一個監控行人圖像檢索跨設備下的該行人圖像。*4.1行人重識別技術一個完整的行人重識別系統包括以下幾個部分：原始視頻幀待檢索行人圖像行人重識別系統**行人重識別概念第一次在CVPR上提出

第一個行人重識別研討會在ECCV會議上召開

19962006200720122014開始關注行人重識別問題

提出一個對行人重識別研究具有重大意義的數據集VIPeR

隨著深度學習的發展，大量行人重識別的工作涌現

行人重識別技術的發展歷程*基于圖片的行人重識別

特征表達方法

分類

personRe-ID

方法

基于視頻序列的行人重識別

度量學習方法

行人重識別技術的分類與方法行人重識別技術發展歷程*作者年份圖像特征時間信息表征D.Gray等2008顏色、紋理無ELF(RGB,YCbCr,HSV,Gaborfilters)A.Krizhevsky等2012顏色、形狀無CNNZhaoR等2013顏色無dColorSIFT(DenseColor,DenseSIFT)XiangLi等2015顏色、形狀、紋理無Color,LBP,HOGMcLaughlin等2016顏色、軌跡有卷積神經網（CNN）循環神經網絡（RNN）LiuJ等2018局部有CNN,RNNYuBZ等2019局部、姿態、軌跡有CNN,RNNZhang等2020顏色、姿態無CNN,RNNChen等2021顏色、姿態無CNN,RNN行人重識別技術特點*支持衣物、形體檢索。能推送出部分換裝，排名靠后。能處理部分夜間場景。不支持戴帽、挎包、衣服顏色等組合的語義檢索。現有分辨率和檢測功能不足，容易遺漏。不支持步態、遮擋嚴重。夜間場景遺漏；夜間增強困難。行人重識別技術特點相較于人臉識別技術：*無需人臉，只看穿著、體態、發型就能識別某個人非配合環境，距離攝像頭較遠（>10m）亦可跨攝像頭追蹤，與人臉識別技術相互補充行人重識別技術特點**步態識別是指通過身體體型和行走姿態分析人的身份，其識別依據是：1.生理結構：身高、頭型、腿骨、臂展、肌肉、重心等。2.習慣動作：抬腿、擺臂、晃頭、聳肩、神經靈敏度等。人的步態是周期性運動一個步態周期：同一只腳兩次相鄰觸地時刻之間行走過程步態識別的最低要求：兩個以上完整的步態周期4.2步態識別技術公安部科信局將步態納入《公安視頻圖像智能化建設應用指南》2019年7月全國公安機關社會治安防控體系建設指南步態識別納入公安刑事技術發展“十四五”規劃（2021-2025）2019年7月，公安部辦公廳下發的《全國公安機關社會治安防控體系建設指南》指出要建設包含步態識別的防控感知體系。全國公安刑事技術發展“十四五”規劃（2021-2025）（征求意見稿）中提到“深入推進DNA、指（掌）紋、足跡、人像、虹膜、聲紋、步態等人體生物特征數據融合”2022年6月公安部五局制定《步態信息采集通用技術規范》并征求意見步態識別技術發展歷史正常行走（%）背包（%）跨著裝（%）銀河水滴98.295.891.4大華股份97.494.087.0騰訊優圖95.990.181.7復旦大學95.087.270.4密歇根州立大學93.982.663.2*20世紀90年代以前僅僅處于好奇和摸索階段1944年MIT媒體實驗室的Niyogi與Adelson最早對人進行步態識別2000年美國DARPA（美國國防部高級研究計劃署）資助了HID（遠距離身份識別）計劃2001年中科院自動化研究所開始研究步態識別并創建了步態評估數據庫CASIA-B數據庫算法精度對比步態識別技術流程*②步態分割①步態檢測③步態追蹤④特征提取⑤步態比對&識別步態識別技術關鍵問題*關鍵點2：在數據解析時，如何從視頻提取出高精度人形輪廓？關鍵點3：在數據理解時，如何解決跨視角步態識別的魯棒性？關鍵點1：在數據獲取時，如何搭建與真實場景相符的大規模數據平臺？創新點2：復雜場景下步態視頻預處理視頻超分