智能攝影測量學導論

AnIntroductiontoIntelleg學科。智能攝影測量學是傳統攝影測量在信息和智能時代器，它是航空、航天、低空和地面攝影測量的綜合體時代：智能攝影測量時代。第七章的深度學習和語義專題圖提取。 8 8 8 8 10 11 11 15 16 18 18 23 25 27 27 29 32 32 32 33 35 35 35 37 37 37 38 38 38 38 39 41 44 44 45 46 47 48 48 49 50 51 54 54 56 57 59 59 60 61 62 62 63 66 66 66 67 68 68 71 73 75 76 76 78 80 80 81 82 84 84 84 89 89 89 90 91 93 95 95 96 98 99 99 100 103 105 105 105 106 106 109 109 109 110 111 111 112 113 113 114 115 115 116 117 117 117 118 118 120 120 121 123 124 124 125 127 128 128 130 131 133 133 134 136 137 138 140 140 141率高10倍。不過，根據摩爾定律，人眼接推動了醫學、天文學的發展，攝影測量學自然毫不例“CCD是否將取代膠片”的爭論。如今，膠片已成電量低、數據傳輸快，統治著中低端數碼相光子流之比，和感光材質有關。整個公式就表示，在感光材料δA面積上，δt時間內，所激然而，再現的只是二維的場景。通過CCD成像，三面，就可獲知黑洞的內部構造——后者可能永遠無法直根據立體視覺原理恢復三維世界；相關內容將在2.5、4.3和5.3等小節詳細介紹。的距離觀測值，而非輻射信息。故一般將它歸結為測距傳感器，就像聲吶（sonar）和雷達可確定平臺的運行軌跡以及相機曝光時刻的位置。如果用GPmeasurementunit,IMU）或慣性導航系統（InertialNavigationSystem,INS）直接測得，IMU如車輛就獲得了平臺的姿態。如果事先獲得曝光時刻像片的位置和姿態（通常稱之為像（MagneticResonanceImaging,MRI）是當代醫學更強大攝影測量的一次飛躍發生在70年代Lan深空平臺和水下平臺正走進我們的視野。中國嫦娥系列飛船（2007年至今）及登陸器其再擴充一維，寫作(x,y,1)，兩者表達同一個點。接著，我們假定(2x,的方便。與二維點坐標類似，三維點的齊次坐標表示為x=(x線用矢量l表示。方程ax+by+c=0表達二維空間的一條直線。即：點(x·l=0x=l1×l2l=x1×x2略作變換，可以得到二維直線的另外一種常見形式：l=(n我們的直覺應該是一個無窮大半徑的圓。在數學上個參數來表達。設(x1,x2)為直線上已知兩點的普通坐標，該直線上任意一點表達為：x=(1-λ)x1+λx2λ為任意實數。無限的球面等價于無窮遠平面，并且所有的無窮遠點和無窮遠線都在pitch，heading反映當前時刻傳即便如此，歐拉角依然在攝影測量中應用最廣。以繞y-x-z軸連續旋如何繞一個任意的空間矢量n=(nx,ny,nz)（而不是坐標軸旋轉某個角度θ?這里不加推R(n,θ)=I+sinθ[n]×+(1?cosθ)[n]×21.21進行叉積運算的矢量b與反對稱矩陣[b]×之間的一個同構。這是處理叉積時一個非常有用的=(qx,qy,qz,qw)，或者仿復數的形式：q=qxi+qyj+qzk+qw，且ij=jk=ik=-1；而單位四元數指位于||q||=1單位球面上四元數。四元數乘法的逆元定義為：技巧，我們將這個三維矢量擴充一維，得到一個對應的四元數：新四元數qv′=QqvQ-1正對應著旋轉后的三維矢量v′=Rv（通過舍棄四元數中那個新增的要從單位四元數恢復我們熟悉的歐拉角也很方便，以y-x-z三軸連續旋轉為例：給定兩個單位四元數q0=(v0,w0)和q1=(v1,w1)，他們之間的乘法定義為：q=q0q1=(v0×v1+w0v1+w1v0,w0w1-v0v1)1.27同時新四元數對應的旋轉矩陣為R(q)=R(q四元數，即旋轉自身。因此，20世紀的數學家嘉當替四元數起了一個更加確切的名x2=λ[R|T]x11.28寫成1.28這樣的簡潔形式。而若采用普通坐標，則必須寫作x2=λRx1+T，注意在數旋轉。兩者間旋轉矩陣不變，平移量存在關系：T=-RC。12個參數，而最一般的3D射影變換有15個參數[6]。這些幾何變換在攝影測量中都有用武之地。如3D相實的世界坐標系中；平面射影變換用于求解相對定向參數；平面仿射變換用于內定向[I|T]2×3/3×4[R|T]2×3/3×4λ[R|T]2×3/3×4[A]2×3/3×4[H]3×3/4×4何，過渡到攝影測量學所面對的特例：透視投影變換（per仿射投影仿射投影是一種特殊的透視投影，由兩步構成：物體首先平行地（可平觀測值位于同一套坐標系下。通常，這樣一個坐標系叫做相機坐標系（cameracentered像點坐標x的幾何變換參數稱作為內方位元素，x=Kxc共包含5個參數。s代表兩個本應垂直的x與y坐標軸之間存在剪形畸變，通常可取s=0。若再假設焦距fx=fy=f，這時相機參數簡化為最常見的3個：坐標原點(x0,y0)和焦距f。相機內參數的精確獲取非常重要，因為“精度”Xc=[R|T]Xw在同一坐標系中，Xc與xc只相差一個未知比例因子λ,聯合1.35和1.37，得到：x=λK[R|T]Xw=λX1.38 礎，本書第2章的內容將圍繞該方程展開。注意焦距f是一個大于0的物理量，前面加上負像間的幾何關系；換句話說，中心投影的幾何關系由相機矩陣實而產生的整體性偏差。我們將在最后兩個小節簡線性時不變系統如果只用一個數學概念概括攝影測之為線性系統，即L(ax1+bx2)=aL(x1)+bL(x2)在一個系統中，若輸入與輸出之間的作用不受時間起始點的影響，稱作時不變系統：T(x(t))=y(t)=>T(x(t-t0))=y(t-t0)在信號處理中，有個非常重要的函數，即單位脈沖響應函數δ(k)，只有k=0時，δ(k)=y，則：h*(g*f)=(h*g)*f1.46名的梭貝爾算子。梯度是與邊緣密切相關的概Jσ(x)=▽(Gσ*I(x))1.52Jσ(x)=(▽Gσ)(x)*I(x)1.53▽Jσ(x)=▽((▽Gσ)(x)*I(x))=(▽2Gσ)(x)*I(x)1.55注意第二個等式同樣需要用到線性時不變系統的結合律。卷積核▽2Gσ稱作LaplacianofGaussian(LoG)：算子都不滿足各向同性的條件，容易受到方向性和噪聲的除了按照1.56計算LoG，還可用另外一種DoG(I,σ1,σ2)=Gσ1(I)_Gσ2(I)=(Gσ1_Gσ2)I1.57域，看上去都非常相似。如果事先已經得到了不同分辨率的次只要讀很小一塊圖像就夠了，這為金字塔技術的發揮留下廣闊的空建立金字塔首先需要一個低通卷積核h，作用于當前圖像N線性二項式012340.500.37500.5000012340.250.25000.31250.06250.00000.0000找立體像對中的同名特征點。上世紀的攝影測量教材有時將匹配也稱作“相關I?I,=IiIi,1.58窗口的相似程度。在匹配中最常用的是歸一化相關（normaliz其中I表示向量均值，||·||為歐式距離。顯而易見，NC事實上就是兩個向量的余弦，值域自然在-1~1之間。若兩個向量之間完全線性相關，即I=λI′+u，則相關值NC（也稱為相相關，在匹配中很少考慮這種情況，故NC值域通常在0~理某類像片時，匹配算法自動從數據庫中找NC是一種簡單實用的匹配方法，但缺陷同樣相當明顯。它難以處理非線性亮度變化，度、航偏不超過3°,旋偏不超過6°。針對當時的情形，規范無疑是合理的。不過隨著研究）？0.5設x為n維未知變量，F(x)=[f1(x),,fm(x)]T是它的函數，我們需要找到一組最佳的ATAx=_ATb1.62我們假定觀測值是同精度的，函數fi(x)也是等精度的。但在某些情況下，最優化問著兩類精度不等的觀測值，我們就需要更普遍的目標P代表權矩陣，是一個對角線矩陣（注意通常假定觀測值之間是相互獨ATPAx=_ATPb1.64≈F(x)+J(x)Δx。這里的J(x)是F(x)取值。m、n分別代表方程個數和未知數個數。此時最小二乘再次成為J(x)TJ(x)Δx=_J(x)TF(x)1.66要數個步驟的迭代：用解得的Δx不斷修正x，即用xk+1=xk+Δxk計算新的J(x)和F(x)，并再i ik這種非線性的最小二乘迭代解法，在數學上叫做高斯-牛頓法。H(x)=J(x)TJ對Hessian矩陣的對角線作進一步約束，則最優(J(x)TJ(x)+μD(x)TD(x))Δx=_J(x)TF(x)1.69 這里正則化項中的D(x)通常取J(x)TJ(x)對角線元素的根方差，而μ控制著Δx的步長，μ越小，步長越大，μ=0即傳統高斯最小二乘。這種方法被稱作Levenber如衛星平臺，就會出現基高比(相鄰幀之間的連線與高度之比)極小的問題。這時我們可在算法的原理是相通的。凸函數甚至L0.x下的最優化問題了！另一方面，非線性方程并不一定就必須用非線性最問題很復雜，那么這種映射將會深受歡迎；否則，兩類解法通常都是合適或grosserror）是明顯偏離數學模型的觀測。最小二乘假定觀測值符合（xl≠0）而被檢測出來。這種探測粗差，并同時計算出正確模型參數的方法稱之為隨機采令觀測值個數為n，n>>m；并假定內點的比例是w。若我們每次隨機抽取m個點，在抽取k次的情況下，得到m個點恰好都是內點的概率p：為保證結果的可靠性，p取0.99（或更大若此時w=0.25（即粗差高達75%m=代入直線方程，若其值等于0（或非常接近于0）判后，內點數最多的，作為最佳集合。最后，用所有內點再次計算最終的直線參RANSAC原理簡單、易嵌于入，在攝影測量和計算機視覺中應用廣泛。但它的缺點也相當明顯。由于采樣步驟，RANSAC只能處理低維參數空間中的粗差，也不能處列等動態模型中的粗差。另外一種常用的誤差處理方法叫做變權法（varyingweightmethodstrace()是求矩陣的跡，IT為迭代次數。矩陣QvvP在測量正數v與觀測誤差F(x)-J(x)Δx（有關F(x)和J(x)的定義請查看式1.65）之間的關系：vvP(F(x)_J(x)Δx)1.72=P_1_J(x)T(J(x)TPJ(x))_1J(x)1.73通常在像方坐標中加入一個仿射變換，以修正RFM模argmaxp(x|θ)1.74概率函數與似然函數的區別。如果x是已知觀測，θ是參量，這個函數就稱為似然函數另外一個常見的術語：最大后驗概率估計（maximumaposterioriestimat對最大似然估計在貝葉斯定理下的一種推廣和修正。它是指根據觀測x，求解一個最優參數argmaxp(x|θ)p(θ)1.78測，因此p(x)=1。所以式1.79實際上求的是后驗概率p(θ|x)，即：argmaxp(θ|x)種特殊的MAP。MAP是貝葉斯推理的關鍵部分。貝葉斯推理蘊含了時序和連車輛在筆直的公路上近乎勻速行駛，你可以根據起始點x0和速度v估算汽車的大致位置belief=p(x|x0,v,t)，可認為模型x=x0+vt符合高斯分布，這是先驗知識。隨著行駛距離的增實例。這里的F依賴于未知函數f及其導數f'。假定函數f的兩個端點已經固定并取值為：f(x1)=f1和f(x2)=f2。我們的目標是解求使泛函I取得極值的函數f(x)。基本技巧是：首先假定找到了一個極值解f(x)，那么我們希望f(x)的微小變化，不會導致I發生很大的變化。具體地，設η(x)為一個連續光滑的測試函數。如果f(x)使得I得到個微小量e，當f(x)變換為f(x)+eη(x)后，I將與e2成正比。顯然，如果是與e成正比，就可并滿足邊界條件：η(x1)=η(x2)=0。將測試函數代入表達式，得到：其中，ω為高次冪。簡便起見，令Ff=?F/?f，Ff'=?F/?f'，將式1.7Tdt1.90根據式1.81，f'即為y'，且代入歐拉方程1.89，并考慮到不含y項（即對y的導數為0得到：該二階微分的一般形式就是y=ax+b！這是一條直線，若繼續代入邊界條件：就可立即獲得滿足最小光程原理的最優曲線：一根通過A(x0,y0)、B(x1,y1)兩點的直線。但本專業更感興趣的，是對函數f獨立變量的推廣。考慮f含有兩個獨立變量x和y的式1.100中fx和fy分別是f對變量x和y的導數。這時未知數是函數f(x,y)，使得I最小。基本解題思想與一維變量的表達式一致：引入測試函數η(x,y)，令eη(x,y)與f(x,y)對應用泰勒級數展開F： F(x,y,f+eη,fx+eηx,fy+eηy)=F(x,y,fx,fy)+eηF(x,y,fx, 看作連續的表面，將能量函數看作泛函表達式，那么，密集匹配問題變成：求取一個含有2如矩陣的乘法和求逆、函數的微分，完整的光束法平差和后期的誤差統計等等，均可通過代碼庫，而非上述的軟件系統。一些著名的代數運算庫包括：BLAS(BasicLinearAlgebra攝影測量除了幾何處理和誤差分析（一般可歸結為代數運算問題）外，就是視覺圖像像處理入門的最佳平臺。開源的OpenCV可以運行在Linux、Windows和MacOS操作系統提取、圖像匹配、濾波和平滑、機器視覺、圖像分割、運動跟蹤，【課后習題】也必須滿足射影變換。請思考為什么滿足射2.在傳統攝影測量中，從3D到2D的透視變換由共線方程表元素矩陣）的乘積表達。你更喜歡那種形式？談談你的換的矩陣形式。并考慮：這些變換導致的（圖像上的）幾何變形對圖像處理有2單像解析何關系；并在統一的坐標系下建立代數方程。“單代數關系式，即成像幾何方程。最后，根據三類參數（物點、像點、傳感器內外坐標系下的坐標為(x0,y0)。當然，(x,y)以及(x0,y0,f)也可取像素為單位，此時d=1。如果不考慮鏡頭畸變，兩套坐標系之間的轉換關系或不過，在推掃過程中，CCD掃描線隨著攝影平臺的運動連續成像，因此拍攝的依焦距，光線lk成像于pk。對于推掃式二維圖像，x坐標值不再為0，該值用于表達各掃描行xk=x0+at2.3式中，x0為x坐標原點，a表示單位時間內掃過的距離。反之，從x坐標t=t0+b(xk-x0)式中b表示每行影像采樣時間。t0是坐標x焦距fx=fy=f，面陣相機的傳感器坐標簡化為(x-x0,y-y0,-f)，線陣相機的傳感器坐標是(0,y爾坐標系下的z坐標。例如，球面相機的等效焦距（球半徑）為f，但它的z坐標卻在-f~f之臺坐標系或本體坐標系xb。此時傳感器坐標到平臺坐標的轉換即兩個直角坐標系間的相似xb=[R|T]xc2.6例如，在車載移動測圖系統中，可選定GPS相位中心為原點，車頭正前方為X軸，正面坐標系在航空攝影測量中廣泛使用，有時也稱為地面攝影測量坐實際運算時需要轉換為地心直角坐標系。常用的參考橢球系包括1984年全球大地系統知，僅考慮兩個坐標系：相機坐標系和世界坐標系。R和T=[到相機中心旋轉矩陣和平移，像點的傳感器坐標為x=(x,y,z)，可從x=K-1x'得到，x'為像素坐標；對應的世界坐標為X=(X,Y,Z,1)，將世界坐標平移、旋轉到相機坐標系后，兩套x=λ[R|T]Xw描述，若其定義為：相機在世界坐標系中的參量，則x=λ[R-1|-T]Xw。EQ\*jc3\*hps14\o\al(\s\up6(b),g)EQ\*jc3\*hps13\o\al(\s\up5(c),b)EQ\*jc3\*hps14\o\al(\s\up5(c),b)EQ\*jc3\*hps14\o\al(\s\up5(b),g)EQ\*jc3\*hps14\o\al(\s\up5(c),b)EQ\*jc3\*hps14\o\al(\s\up5(b),g)EQ\*jc3\*hps14\o\al(\s\up5(c),b)對于線陣相機，式2.7和2.11完全適用描圖像，則受到大氣擾動、發動機震顫而產生不同程度的目視扭Ys(t),Zs(t),φ(t),ωs(t),κs(t)}，6維向量A、B是對應的仿射系數。包含t=0時刻初始狀態X0Xt=X0+At+Bt22.12Xt=Xt-1+VΔt2.13間。相對于連續軌道模型2.12，馬爾科車中，速度時刻變化且可由原始加速度計和陀螺儀觀測值積分得到，情形正好相反。如光線進入水中；入射角α不再等于折射角β,如2.3(b)。α與β間的幾何關系，反映了魚（a）等距投影。特點是入射角與半徑呈線性關系，若量測了像點坐標x=(x,y)算半徑r=(x2+y2)0.5后，可線性地恢復真實光線的入r=f.α2.14（b）等積投影。顧名思義，該投影保證了立體入射角（可想象成錐點位于投影中心的r=2f?sin0.5α2.15（c）正交投影。入射角的正弦與半徑成比例，反映了從球面到投影平面的投影是正交r=f?sinα2.16（d）球極平面投影（球面立體投影）。選定球面的南極或北極為投影中心，將球面上r=2f?tan0.5α2.器坐標X=[X,Y,Z]=λ[R|T]Xw，代入2.14：注意到入射光、折射光在或像平面上的投影共線，投影角相等（或相差180°),即。繼續展開得到：數去擬合物像間的對應。最簡單的RFM是一階分式，本質上等價于直坐標進行規則化操作（regularization通常會提高解算（1）重心化。將像點坐標的原點平移到坐x=(x_ux);y=(y_uy)x,=λ(x_ux)y,=λ(y_uy)2.24或x,=λ(E|-u)x2.25類似直接線性變換，這里(rn,cn)、(Xn,Yn,Zn)分別是圖像坐標和地面點坐標的歸一化形n接近奇異，導致求解結果可能不穩定。為應形式取格網點為控制點。根據軌道模型參數模型求解。高分辨率衛星遙感圖像的供應機構(J(x)TJ(x)+μD(x)為單位陣，而μ控制Δx的步長。在不知道最優步長的前提下，可以取一系列的離散點，分η(μ)=lg||J(x)Δx_F(x)||222使得曲率最大的μ值即為待求最優嶺參數（回顧求任意光滑曲線的曲率公式并注意到μ才每次迭代時，運用L曲線法得到一個最優參顯然這是一個關于78個參數的線性方程些系統誤差往往通過一個額外的像方仿射變換{e0,e1,e2,f0,f1,f2}修正：三階RFM模型已經在衛星線陣相機的定位用復雜的擬合模型去取代簡潔的嚴格物理模型，實為以繁代簡之舉，故并不值或者水平方向360°的圖像。不過，在制造工藝上，完美的球面鏡或柱面鏡仍存在一定的困致分為三大類：折反射（catadioptric）系統、多鏡頭組合系統（multi-camerarig）和旋轉式首先，計算圖像上任一點所對應的傳感器坐標。根據式2.35得到像素(x,y)對應的球面W和H分別是圖像的寬和高，φh是水平角，在π~0.5π之間。然后，伸出右手，以右手系“右前上（依次為X-坐標轉化為笛卡爾坐標x′=(x′,y′,z′)：這里r為球半徑，即等效焦距。此時，像點u（對應傳感器坐標x′），物點p（對應世界坐標Xw），以及球心三點共線：x′=λ[R|T]Xw2.37x,222單相機像點uc（其坐標用x表示）計算全景球面像點u（其坐標依然用x′表示）。式中，Ki面半徑r所確定的比例系數，聯合球面方程2.38可同時解得m和x′。+λ(x,_Ti)=[R|T]Xw試驗型的自制全景相機，Tr可能較大，此時采用嚴格的多鏡頭組合成像模型將是較好的選給定線陣列CCD，繞著豎直固定轉軸做圓周如圖2.7所示。在圖2.7（a）中，指定某時刻線陣成像為第一列，并按照成像時刻展開，獲成像于線陣列x=(0,y,-f)，f為圓柱半徑；且與圓柱中心（即投影中心）三點共線。設Z為傳感器（圓柱）坐標系，則可建立像素坐標和傳感器坐標x′=(x′,y′,z′)之間的關系：現成像。圖2.8示意了拋物鏡（parabolicmirror）與鏡頭(ξ,ψ) (d2+4p2, dd-2p(d2+4p2, dd-2p折反射成像機理可用三步表達。首先，依然將世界點Xw通過旋轉和平移，轉換為鏡子坐標x=[R|T]Xw。第二步，將鏡面上的一點x，投影至平面P1：根據共線條件方程一一對應地投影至相機平面P其中，Kc為相機內檢校矩陣，Rc為鏡面到相機的旋轉矩陣。這三個步驟建立了某個世界點Xw，由特定形狀的鏡面反射，再經鏡頭成像的幾何流程。公式的推導從略，讀者可參x=λK[R|T]X=λPX2.46AL2.49影方式x=λR(X-C)，相機在世界坐標中的坐標然，相機中心的投影為0，即PC=0。將PP第二步，假定內參矩陣K為上三角陣的形式且對角線元素M=KR。如此則從相機矩陣P中恢復了內外方位元素。注意分解出內外參數矩陣，因為P可以有無窮多種分解方法：P=(KR1)(R1T[R|-RC])，其中R1為x'=K-1x=λ[R|T]X=λDX2.51相機的位置和姿態可從GPS/IMU組合導航系統直接獲得。這種法，可大大減少諸如井蓋數據庫管理和維護等工作中的人該無窮遠點可表達為X∞=(d,0)。代入到透視變換方程1.38v=K[R|T]X∞=KRd若K未知，也能用類似2.4.1小節的RQ分解得到K和R。l=K-TRn2.53線依然存在。但由于線段被投影成了曲線，需要在平行線的提取方面做更多的前表明，其精度也能接近物理檢校場，因而逐漸成為非高精度檢校的主一般用上三角內參矩陣K或三元組(x0,y0,f)來表達內參數。在2.4.1小節中，已經介紹了在K未知時，如何根據一定數量的控制點，先計算相機矩陣P，然后再恢復K。事實上，K或(x0,y0,f)并不能完全表達鏡頭的變形。目前，常用的相機檢校方法是附加參數法，在(x0,y0,f)基礎上，附加一組額外參數，進一步擬合鏡頭畸變，主要是徑向畸變和切向畸變：dx=x(k1r2+k2r4+k3r6)+p1(r2+2x2)+p2xydy=y(k1r2+k2r4+k3r6)+p2(r2+2y2)+p1xyx=x,_x0;y=y,_y0r22其中(x′,y′)為像片坐標的原始量測值，ki為徑向畸變參數，pi為切向畸變參數一張像片，并不引入新的內參數和畸變參數，而【課后習題】2.檢校你智能手機上的相機。在屏幕上顯示規則格網棋盤，作為控4.RFM模型一般被用于擬合衛星推掃式影像的成像幾何。如果衛3立體幾何根據這種幾何關系，計算場景的3D模型坐標。然而，模型坐標并不能告訴我們橙子究竟在于像片間的相對位置和相機內方位元素。參考圖3.1，世界點X發出的兩條光線，分別通過首先從像素坐標x'算得相機坐標x=K-1x'。x也稱為歸一化坐標，因為此時內參矩陣K(x1,R_1x2,_R_1T)=(Rx1,x2,_T)=03.1=Rλ式中P2是該物點在右片坐標系下的坐標。借助叉積λ1x2T([T]xR)x1=λ2x2T[T]xx2=0光線上任意選擇一個物點出發，并將其投影至右像因此，核線幾何本質上是像點與對應核線之間的映射，1l=ET反映點與線之間的幾何關系，即本質矩陣由右片相對于左片的平移T與旋轉R所決定，共有6個獨立參數。事實上，就要將K看作未知數，并推導出更普遍的核線幾何方程。將x=K-1x'K2_1x2EK1_1x1=x2(K2_1EK1_1)x1=x2Fx1=03.8F是fundamental的縮寫，稱作基礎矩分，相對幾何關系就由F決定。不過，基礎矩中恢復偏移量T和旋轉矩陣R是可行的，但數學上比較復雜，并而第二章中介紹的DLT是2D與3D之間的變換。質矩陣，就可以直接寫出核線表達式，將二維的搜索區間約束到一第三，它能夠恢復場景的3D模型。可以在這x2([Tj]×Rj)x1=x2Ejx1=03.10下標j示意像點x2所在的掃描行。此時，我們無法直接將3.10寫成3.6的直線方程形義不大；為得到更具幾何意義的關系式，可選擇一條形如a1x2+a2x2y2+a3y2+a4=0的雙曲線。對于航空平臺，受氣流影響較大，線陣列圖法以及RFM參數，可得到左右像片的同注意，將當前（虛假或真實的）同名點的外方位元素取為其所在掃描行的方位元素。R為立體像對的相對旋轉矩陣，光線Su為x1=[x1y1z1]T、光線S′u′為x2=[x2y2z2]T，根據三理想全景相機的本質矩陣與3.2完全相同，唯一的區別是像點坐標位于球面上。在平面相機中，x1=[x1y1f]T意味著l代表一維直線；而這里x=[xyz]T多了一個可變的Z維度，22y1-Tyx1，一條通過球心的大圓，故仍然稱其為核線而非核面。左像片光線上任一點可表達為：P1=t1+λ1(x1-t1)=t1+λ1x1′，在右片坐標系中的坐標為RP1+T；同樣，右片同名光線上的任意一點為：P2=t2+λ2(x2-t2)=t2+λ2x2′。真實的基線CC′t2+λ2x2′=RP1+T=λ1Rx1′+T+Rt13.17[T]×(t2+λ2x2′)≈[T]×(λ1Rx1′+T)=[T]×λ1x2′([T]×R)x1′=x2′[T]×t23.19但三視幾何卻要求三條同名光線必然交于同一點，因此是唯一對于雙目視覺或雙像解析，其基本的代數元素是矩陣（基礎矩陣或本質矩陣而目視覺是線到線的映射。我們從線的成像出發，理解三視幾何TlTlπ根據矩陣最后一行，有0=αt2l2+βt3l3；改寫為α=kt3l3，β度。代入前兩行，并忽略k，得到：=αREQ\*jc3\*hps13\o\al(\s\up5(T),2)l2+βREQ\*jc3\*hps13\o\al(\s\up5(T),3)l3=(tEQ\*jc3\*hps13\o\al(\s\up5(T),3)l3)REQ\*jc3\*hps13\o\al(\s\up5(T),2)l2_(tEQ\*jc3\*hps13\o\al(\s\up5(T),2)l2)REQ\*jc3\*hps13\o\al(\s\up5(T),3)l3=(lEQ\*jc3\*hps13\o\al(\s\up5(T),3)t3)REQ\*jc3\*hps13\o\al(\s\up5(T),2)l2_(lEQ\*jc3\*hps13\o\al(\s\up5(T),2)t2)REQ\*jc3\*hps13\o\al(\s\up5(T),3)l33.23EQ\*jc3\*hps14\o\al(\s\up6(T),2i)EQ\*jc3\*hps14\o\al(\s\up6(T),3i)EQ\*jc3\*hps14\o\al(\s\up6(T),3)EQ\*jc3\*hps14\o\al(\s\up6(T),3i)其中Rji表示j張圖像旋轉矩陣的第i行。引入新的記號：EQ\*jc3\*hps15\o\al(\s\up6(T),3)EQ\*jc3\*hps15\o\al(\s\up6(T),3i)l]l3方可以看作3×3×3的單元立方體。為表達立方體內的27個元素，具有2個指標的矩陣M=通過變換矩陣H得到了一組新的基向量ei′。容易驗證，同名點坐標的變換公式為：x2=H-1x1；而同名線的變換公式為：l2=Hl1。按H變換的變換的指標稱為“逆變”并寫作上標。三焦點張量是一個混合協變與逆變的張量tijk，它在EQ\*jc3\*hps13\o\al(\s\up5(i),j)EQ\*jc3\*hps13\o\al(\s\up5(i),j)3代表矩陣的行，協變指標j=1,2,3,4代表列。第一臺相機仍然是P0=[I|0]。同時，點和線（分別對應逆變和協變）都用齊次坐標表示為x=tijk=aEQ\*jc3\*hps14\o\al(\s\up5(j),i)bEQ\*jc3\*hps14\o\al(\s\up5(k),4)_aEQ\*jc3\*hps14\o\al(\s\up5(j),4)bik3.28根據三焦點張量改寫3.26，,二、三張像片的同這里lij表示第i張像片上的第j個線分量，i=1,2據愛因斯坦約定，省略指標j、k的求和符號，但實際計算時不能遺漏。從3.28看出，三張事實上，除了同名線之間的對應，我們可能更加關心點之間的同名映射。雙目視是點到線的映射，三目視覺也可以是點+點到點的關系，即一對同名點映射點上。和同名線間的幾何關系推導類似，借助點、線、面之間的幾何關系EQ\*jc3\*hps15\o\al(\s\up6(i),1)進行最小二乘迭代解算。在同名點、線的數程序語言支持m×n×k等多維數據的定義，Matlab等數學軟件也支持直接的張OO′垂直）在空間的角度。該參數反映你需要一幅“正視角新的圖像上。此時，同名點p1和p2被投影至p1'和p2'。設它們的坐標分別是(x1,y1)與(x2,y2)，則該同名點的左右視差為d=x2-x1。設基線長度為B，那XP=-(B/d)x13.32其中x1=(x1,y1,1)是左片的齊次坐標。顯然，若獲得視差圖d，3.32就是針對核線立體之間的一一對應關系。確定這一關系的過程叫做絕對定向（absold直接計算物點P的模型坐標。而在普通立體像對上的3D模型坐標計算，即三角測量中的第一種情形是相機已經經過檢校，即K矩陣已知。將三維相似變換寫作：相機矩陣分別為P1，P2，且P1=K1[R1|T1]，將模型點X進行一次三維相似變換，即HSX，1)(HSX)。這表明三維相似變換后依然滿足核線幾何。繼續將P1HS-1展開得到：PH1]H1件下，三維相似變換就是立體模型坐標到絕對地理坐標之間的變換模相機矩陣中區分開，此時物點的真實坐標與模過程依然需要最普通的3D透視變換模型。另外一種理解方式是：一對真實的平行線，在未普通的透視變換上場才行。制點和方向角的功能由相機矩陣取代。設左右像片=λ2P2x2a.透視立體重建。將相機矩陣展開寫成P=K[R|T]。c.絕對立體重建。如果R、T是真實的外方位元素【課后習題】4運動成像平臺的定位方法流算法從19世紀初高斯等數學家的發明和性最小二乘的光束法平差甚至是解析攝影測量時代最具代表性的名詞。光束法平差指將式束法平差中，平差單元fi(x)是相互獨立的光線束，平臺間的相對運動和時間次序通常忽略。與聯系，將有助于消除和彌補兩者自身固有的p(Lt|St,Gt)4.1p(Lt|St,Gt)4.2ηp(St|Lt,Gt,St__1)p(Lt|St__1,Gt)4.3t)p(Lt|St_1,Gt)4.4ηp(St|Lt,Gt)p(Lt|Lt__1,St__1,Gt)p(Lt__1|St__1,Gt)4.5ηΠp(St|Lt,Gt)p(Lt|Lt__1,St_1,Gt)t局定位通用的、嚴格的統計模型，且并不要求觀測值符合高斯分布。我們將p(St|Lt,Gt)稱時，運動約束可以忽略，則傳感器模型簡化為p(St|Lt)。將p(Lt|Lt__1,St__1,Gt)稱法平差”。它保證在L2上，其解（即像片內外方位元素和連接其中，exp是指數符號，gi(Lt)這里代表第i個像點的共線條件動方程和方差：u(Lt-1,Gt)和Dt。對略，和時間t無關，故可以省略t指標。令像點坐標觀測值殘差vi=Stv2,min(VTPV+CTEQ\*jc3\*hps23\o\al(\s\up2147483647(P),c)C)4.11成了基本平差單元fi(y)。假定有p個相機、q個像點，變量y含有兩類參數，分別是p個相其中，B是塊狀對角矩陣，對角線上共有p塊，每塊大小為c×c，其余元素為0（因為5個像點。像片之間、像點與像片之間的關聯色x其中常數項-g=[vw]。運用高斯消元法消去未知數Δm，得到：[B_EC_1ET]Δx=v_EC_1w4.14x1x2x3x4x5種消去一類未知數的方法在攝影測量中叫做法方程的改化，在計算機視覺中叫做Schurx1x2x3x4x5xxxxxxxxx12345x1x2x3x5x4改化法方程4.14的系數陣結構如圖4.3所示。與Hess基本單位。現在以c=6、s=3為例，上的光束fi(y)：2.1計算偏導數Jij(x)=D：理容量更大的像片，比如，地面移動測量系統可能一改化法方程的系數陣S=B-EC-1ET通常是一個非常稀疏的矩陣。如前所述，如果j像點不在i像片上，那么對應的非對角線元素為0；而對于某張像片，它所能看到的范圍是非（1）構建條帶自由網。回顧第二章，立體像對之間滿足核線幾何，核線幾何關系可以Ri_1|(Ti_1T在圖4.4中，實心的橢圓表達方位元素的不確定個條帶間存在足夠的重疊（一般為30~60%如圖4.5所示。可根據條帶像片外方位元素和模型坐標為基準，其他航帶都轉換到第一條帶的坐標系去。i_1,i]Xi_1Ri_1|(Ti_1T外方位元素（相對于第一條航帶Xi為全局模型坐標。注合（loopclosure那么根據誤差傳播規律，外方位元素和度。我們更關注：如何將這些控制條件，寫成方程的形式并與光束法平差方程聯立。3，此時未知數個數為k均次數。設量測了l個3D點，進行平差需要滿足關系式：2×k×l>3×n+6×m+3×l。穩定收斂、并有助于粗差的探測。不過，更多的像點對提升解算精度并無明顯提再考慮GPS觀測值。有關攝影平臺的GPS方程的一般形式是：其中XGPS代表GPS觀測值；d指相機中心與GPS天線相位中心的偏移矢量，通常事先通過檢校獲得；PGCP是GPS觀測值的權；R、T依然是外方位元素。若將d看作并加入到圖4.3對應的6×6子塊中。將gi填充至邊框第i行對應的位置，將di填充至D。x2x1x1x1x2x3x3x2x3攝站再次相遇，并通過同名點計算了兩者之間的相對定向元素R1,5和T1,5，則有：Tm1m3m2m5x2x3x5x4x1x1在2.4.4小節我們探討了相機檢校，以處理鏡頭x+dx=λK[R|T]X4.20影平臺、地面移動測圖平臺所采用的陀螺導航系統以及GPS/IMU組合導航系統，都已將卡波將4.8中的兩個后驗概率獨立、交替使用。先根據運動模型p(Lt|Lt__1,G)計算下一時刻運動平臺的狀態，這個步驟叫做預測（prediction然后，根據觀測模型p(St|Lt)，對預測的光束法平差相同，卡爾曼濾波同樣要求觀測值服從xt=Axt–1+But–1+wt–14.24zt=Hxt+vt4.25而m×n的H矩陣關聯狀態參數與觀測值；wt和vt表示狀態轉移噪聲和觀測噪聲，并假定其符合均值為0的獨立高斯分布，即w~N(0,Q)，v~N(0,R)。通常可認為A、B、H以及Q、在絕大多數情況下，狀態參量的真值x是不可知的，但它有助于定義我們所需的估計EQ\*jc3\*hps25\o\al(\s\up0(?),x)P=E(xt_xt,(xt_xt)T)=E(vt,vtT)4.26P=E(xt_EQ\*jc3\*hps23\o\al(\s\up0(?),x)t,(xt_EQ\*jc3\*hps23\o\al(\s\up0(?),x)t)T)=E(EQ\*jc3\*hps23\o\al(\s\up0(?),v)t,EQ\*jc3\*hps23\o\al(\s\up0(?),v)tT)4.27起來，它們之間差值是加權后的觀測殘差，殘差即zt-Hxt。EQ\*jc3\*hps25\o\al(\s\up1(?),x)t_Hxt)4.28_1EQ\*jc3\*hps14\o\al(\s\up6(_),t)式4.29符合我們的直觀：當觀測方程越來越精確，H-1，這表明觀測值zt得到最大程度的重視，量測殘差亦獲得完全的修正；反之，當預測越xtEQ\*jc3\*hps25\o\al(\s\up1(?),x)_1t_1P在更新過程中，首先計算增益K，然后更新系統的狀態參數和方差：_1EQ\*jc3\*hps14\o\al(\s\up6(_),t)1EQ\*jc3\*hps25\o\al(\s\up0(?),x)=xt+K(zt_Hxt)P=(I_KtH)Pt注意式4.32、4.33與4.28、429完全相同，這里重復是為了描述卡爾曼濾波立流程的完整性。式4.34用來估計系統的驗后方差。事實上，EQ\*jc3\*hps25\o\al(\s\up0(?),x)t與Pt就是預得了相對位置關系，即狀態轉移矩陣——在機器人學中常稱為視覺測程（vis廣至能夠處理一般的非線性優化問題。這種方法稱為擴展卡爾曼濾波，以下簡設狀態轉移方程由非線性的映射f控制：xt=f(xt–1,ut–1,wt–1)4.35zt=h(xt,vt)4.36變量往往并非精確已知。但我們估算初值時，xtEQ\*jc3\*hps24\o\al(\s\up1(?),x)zt這里符號定義依然和4.3.1節相同，xt代表先驗預測值，EQ\*jc3\*hps25\o\al(\s\up0(?),x)t代表后驗估計值。然后，仿照最小二乘算法，將非線性狀態轉移方程和觀測方程線性化，用泰勒級數展開至一次EQ\*jc3\*hps25\o\al(\s\up1(?),x)_1_EQ\*jc3\*hps25\o\al(\s\up1(?),x)t__1)zt+H(xt_xt)+Vvt們需要找到一個表達觀測殘差與估計值之間的線性關EQ\*jc3\*hps25\o\al(\s\up1(?),x)t_zt)4.41這里的xt和zt由4.37計算得到。將4.41代入4.27，求得K（同4.32使得4.27表達EQ\*jc3\*hps25\o\al(\s\up1(?),x)P=APt_1AT+WQWTTEQ\*jc3\*hps14\o\al(\s\up5(_),t)1EQ\*jc3\*hps25\o\al(\s\up1(?),x)t_zt)4.45P=(I_KtHt)Pt4.46有影響到EKF在定位、導航領域極其廣泛的應用——考慮到最小二乘平粒子濾波在抗差方面的特性，使其在攝影測量中的應用潛力被逐漸挖掘出來。某個電子的位置X呢？或者說，電子究竟在哪兒？量子物理進一步揭示：“該電子會以某個特定的概率p(x)出現在某個固定的（或指定的）位置上”，概率p(x)由狄拉克波函數的振值；我們所謂的光束法平差或EKF的“最優解”，本質上也只是高斯分布中那個“鐘頂”卡洛的方法可用于解決任何具有概率含義的數學問題——總可以用無限多個離散狀態去逼建立了對應關系。將蒙特卡洛和馬爾科夫隨機鏈結合，我們就得到了馬爾科夫鏈蒙特卡洛度矩陣（QXX）的對角線元素，對應高斯分布的方差。采用蒙特卡洛的方法，用一系列離散分布，s(U)為其概率密度函數；從S(U)中獨立、隨機抽取了N個點ui，即ui~S(U)，個關于f的概率密度函數：顯然∑pf(X)=1。容易驗證：g可以由一系列離散的帶權粒子表達：的、非線性的函數g對應的復雜的概率分布，可以采用一系列離散點g(ui)和其對應的權重專業術語：Survivalofthefittest，Condensation，MCMCparticlef畢竟MonteCarlo是一個更寬我們依然從4.1這個概率意義下的通用定位模型出發。首先用蒙特卡洛方法來粒子化復EQ\*jc3\*hps13\o\al(\s\up5(i),t)li表示第i個粒子，這里是傳感器狀態，對應于上一小節中的g(ui)波相似，在狀態初始化后，通過不斷預測、更新的迭代流程來獲得粒子度，按照高斯分布對Bel(L0)進行粒子化。粒子化就是要從某個概率分布中隨機抽樣。具體地，這里給出一種從已知高斯分布提取樣本（粒子生x1與x2，就可實現高斯分布的隨機抽樣。若平臺位置未粒子集合，顯然符合均勻分布，即權重相等。通常，在粒子濾波EQ\*jc3\*hps12\o\al(\s\up5(i),t)EQ\*jc3\*hps12\o\al(\s\up5(i),t)pltEQ\*jc3\*hps12\o\al(\s\up5(i),t)t（2）更新。事實上4.53等式右邊就是觀測模型，我們用觀測來修正兩個分布之間的不EQ\*jc3\*hps14\o\al(\s\up6(i),t)EQ\*jc3\*hps12\o\al(\s\up4(i),t)（4）迭代。按照時間序列不斷推進，重復步陣或本質矩陣，再計算三張圖像的三焦點張量（攝影測量中常用帶連接條件的相對定向本相同。當然，在計算機視覺中有時也采用直不過這種方法限制較多，如無法處理多張像片、精度不高等等。SLAM是同時定位與地圖構建（SimultaneousLocalizationAndMap上世紀90年代開始，SLAM一般是用激光雷達輛，在完成自身定位的同時，也獲取了周圍場景的三維點云。到了2000年后，基于視覺成動態濾波，包括卡爾曼濾波和粒子濾波。畢竟，作為機器人學（Robotics）的子學科，自然D三種模式。RGB-D相機是一體化的裝備，用相機獲取線程負責對每幅新圖像提取ORB特征點，并與最近的關鍵幀征點更精確的3D坐標與相機的位置和姿態。最后再對所有的關鍵幀進行篩選，刪除多余的關鍵幀。前兩個線程共同完成了視覺里程計的所以這個線程只對外方位元素節點所構成的圖進行優化，并采用圖優化（graph-basedLSD-SLAM(Large-ScaleDirect半稠密場景重建，而其他的單目/雙目SLAM圖更新較多，則將當前幀替換為關鍵幀。替最終的圖優化會非常緩慢，一般只進行外方【課后習題】視形變，像片間的幾何形變包括：旋轉、縮放、仿射。我們將依次介I?I，其中I代表圖像（或像素塊）的亮度向量。理想情況下的自相關性應當是100%。而素塊在此微小偏移下的自相關表現，以判斷哪種類型的像素塊更適合作為一個好特其中，▽I(xi)表示在xi處的梯度，而自相關的性質，下一步的工作就是分析矩陣A的特性。根據5.將A分解成對角陣的形式，并得到兩個特征根：其中較小的p1，反映這個像素塊I能達到的自相關精度（下界）。這是回答“什么是好det(A)_αtrace(A)=λ1λ2_α(λ1+λ2)25.5一個Harris特征。為保證特征間的均勻性和分散性，通常將整幅圖像劃分為200×200該區域最大的指標就對應著這個區域的Harris特征，并忽略其他的峰值。我們這里將Harris算子歸結為旋轉不變算子，正是因為它是從自相關矩陣的特征根出SIFT（ScaleInvariantFeatureTransform是當n×n個像素；而在上一層金字塔上，只需搜索0.變的思想很簡單，但實現起來還是要由一系列的復雜的圖像處理操作來何處理？與圖像處理中的插值算法類似，SIFT采用二次多項式依次對所有的金字塔圖像進行以上操作。經驗表明建立3層金字塔是顧及效果與時間SIFT特征提取是采用二階差分，而特征描述采用一階差分。由于像素中心的權理應塊均分成16個4×4像素子塊；每4×4像素子塊內加權后的梯度分別累加，得到8個方向的其中，?為圖像自旋角，θ=arccos(1/t)為值也稱為相關系數（NomalizedCorrelationCoef 將導致大量的相關峰值，而最大的那個不一定正最近鄰次近鄰距離比（nearestneighbordistanceratio,NNDR）像素窗口本身并不獨特，并易受噪聲干擾；這時候NCC效