智能終端應用開發基礎 課件 第10、11章 機器人平臺技術與應用、SLAM建圖與自主導航

第10章

機器人平臺技術與應用Contents01.機器人定義與組成02.激光雷達03.深度相機04.機器人教學平臺介紹05.運行機器人01機器人定義與組成機器人定義機器人是自動執行工作的機器裝置，可受人類指揮、運行預設程序或遵循AI原則行動，協助或取代人類工作，如生產、建筑及危險作業。機器人協會定義機器人為可編程序操作器，用于搬運材料、零件、工具，或通過改變程序動作完成各種作業的特殊機械裝置。科學家定義機器人為自動化機器，具有與人或生物相似的智能能力，如感知、規劃、動作和協同，是一種具有高級靈活性的自動化機器。國際標準組織描述機器人為動作機構似人或其他生物體，通用性強，工作多樣，動作程序靈活，具智能性如記憶、感知等，可獨立工作。數字化、云計算和AI技術進展推動機器人應用擴展，下一代機器人將涵蓋更廣泛概念，如無人駕駛汽車、智能家電等，都將會機器人化。機器人協會定義國際標準定義機器人定義展望科學家定義機器人定義控制系統控制系統基于處理器（如ARM、x86）實現任務處理、輸出控制命令，相當于人的大腦，完成算法、關節控制、人機交互等功能。傳感系統傳感系統包括內外兩部分，相當于人體感官和神經，內部包括里程計、陀螺儀等，外部包括攝像頭、紅外等環境檢測傳感器。驅動系統驅動系統驅動執行機構，轉換控制命令為執行機構信號，如直流電機用PWM驅動板，伺服需專業驅動器，工業常用氣壓液壓。執行機構執行機構是直接面向工作對象的機械裝置，相當于人體的手和腳。根據不同的工作對象，適用的執行機構也各不相同。機器人組成02激光雷達測距原理01激光雷達通過發射激光束并接收目標回波，對比發射與回波信號，經處理后獲取目標距離、方位、高度、速度、姿態及形狀等參數，實現探測、跟蹤和識別。三角測距法02三角測距法通過激光器和CCD接收器的配合，利用光學路徑和三角公式計算被測物體距離。隨著目標距離的變化，反射光在CCD上成像位置也不同。TOF飛行時間測距03TOF測距法通過記錄激光脈沖的發射和回返時間差，結合光速計算距離。該方法無需復雜運算，實時性高，適用于長距離測量，對環境光影響小。激光雷達簡介角度分辨率決定激光雷達一次完整掃描能返回多少個樣本點，直接影響其空間感知能力。樣本點越多，對環境的描繪越細致，能提供更多的空間信息。可視范圍是激光雷達完整掃描的廣角，定義了其有效探測和感知的范圍。范圍外為盲區，超出此區域的目標可能無法被雷達探測到，影響感知性能。掃描頻率反映激光雷達完成一次完整掃描的速度，通常在10Hz及以上。頻率越高，意味著雷達能更快獲取周圍環境信息，適用于需要實時響應的應用場景。測距分辨率衡量激光雷達在特定距離下的測距精確程度，通常與真實值相差5-20mm。該指標越高，表示雷達對距離變化的感知越敏感，定位能力越強。可視范圍掃描頻率角度分辨率測距分辨率激光雷達參數03深度相機深度相機應用：通過三維坐標還原真實場景，實現精準的場景建模和識別。在機器視覺、自動駕駛等前沿技術應用中發揮著不可或缺的作用，推動技術的持續發展。深度相機功能：普通彩色相機捕捉視角內物體，但不測量距離；深度相機則提供每個點到攝像頭的距離，結合2D坐標，可確定圖像中每點的三維空間坐標。深度相機簡介通過近紅外激光器投射結構光到物體上，紅外攝像頭采集反射光信息，運算單元處理結構變化得深度信息，構建三維結構，光源為不可見紅外激光。結構光深度相機雙目立體視覺通過左右相機捕捉圖像，計算視差獲取三維信息，成本低，室內外適用，但對環境光、紋理、計算復雜度高，且基線限制測量范圍。雙目立體視覺通過發射激光脈沖并檢測反射光相位偏移，計算目標物距離，檢測距離遠、受環境光干擾小，但對設備要求高、資源消耗大、邊緣精度低。TOF深度相機深度相機分類04機器人教學平臺介紹供電系統機器人采用專用電源板，支持多電壓輸出，為底盤、機械臂及傳感器模塊穩定供電，確保機器人高效、持續工作。接口擴展性通過USB接口連接激光雷達、高清相機等模塊，Nano主控配備USB3.0HUB，實現接口擴展，滿足多樣化傳感需求。控制器配置配備NvidiaJetsonNano作為ROS主控制器，底盤與機械臂擁有獨立控制器，實現高效協同作業，確保機器人運行流暢。模塊化設計Abot機器人采用模塊化設計理念，底盤與機械臂實現相對獨立，便于單獨控制與維護，提升了機器人的靈活性與擴展性。硬件框架

ROS控制器采用JetsonNano作為ROS節點控制器，運行Ubuntu18.04withJetPack系統，并安裝Melodic版本的ROS機器人操作系統。底盤控制器OpenCRP機器人運動控制器以STM32F103為核心，集成IMU傳感器，支持4路直流電機閉環控制，便于USB軟件升級。激光雷達塔克T1激光雷達經過優化，專為ROS機器人設計，具備高測量頻率和精度，適用于家庭、實驗室等環境，光磁融合供電通信。核心組件說明專用電源板提供12V、7.2V和5V電源輸出，滿足機器人不同模塊需求，方便用戶進行功能擴展與升級。電源接口機器人對激光雷達和機械臂的USB通訊與控制端口進行了綁定，確保數據通信的準確性和穩定性，提升整體運行效率。USB端口核心組件說明集成1080PRGB相機與深度感知功能，配備雙立體聲麥克風及高端ISP芯片，支持環境光調節，優化圖像質量，適合機器人視覺處理。深度相機機械臂末端配備1080P高清攝像頭，具備120°廣角與UVC免驅功能，支持語音識別，并配備云臺實現手動調節視角。攝像頭配備6自由度機械臂，采用高精度舵機與金屬齒輪傳動，結合進口雙滾珠軸承和CNC鋁合金中殼，確保長久穩定運行。機械臂核心組件說明05運行機器人ROS分布式協同01由于ROS具有分布式的特性，所以我們可以在多臺計算機上進行協同工作，前提是已經在計算機上配置好了環境變量ROS_MASTER_URI。ROS_MASTER_URI配置02ROS_MASTER_URI的值為運行ROSMASTER計算機的IP地址，必須將所有要協同工作的計算機的ROS_MASTER_URI設為相同的值。ROS_IP配置03除ROS_MASTER_URI外，還要配置環境變量ROS_IP為本機的IP地址，機器人的配置機器人上的環境變量默認已經配置完畢，配置都已寫入~/.bashrc文件中。配置環境變量ROS_IP自動檢測：此處ROS_IP的配置為自動檢測IP地址，并且將ROS_IP作為ROS_MASTER_URI，當用戶打開終端時，終端中會顯示配置好的環境變量。建議手動設置IP：建議將機器人的IP地址配置為手動（本例設置為192.168.31.101），這樣我們機器人的IP地址就不會每次都變化，我們的其他電腦也不需要再重新配置環境變量了。PC虛擬機配置：修改PC虛擬機的環境變量，修改的內容與機器人類似，我們需要做的就是把ROS_MASTER_URI修改為機器人的IP地址，~/.bashrc文件中的ROBOT_IP環境變量即為機器人IP。更新環境變量配置：執行下面的命令來更新我們的配置，，更新并應用環境變量更改，確保系統配置的一致性。配置環境變量Ssh遠程連接ssh遠程連接可以讓我們在終端中直接登陸上遠程機器的系統，輸入以下命令來連接到機器人（將IP地址替換為自己的地址），<table><tr><td>sshxtark@192.168.31.101</td></tr></table>。Ssh命令別名如果上一節的ROBOT_IP已經配置好，我們也可以使用一個ssh命令的別名來連接到機器人，此別名設置如下圖，首次連接會有如下提示，我們輸入yes并按回車繼續進行。Ssh登錄遠程機接下來ssh提示我們需要輸入遠程機器人的用戶密碼，我們輸入密碼（此機器人用戶名和密碼默認都是xtark）按下回車即可登錄到遠程機器，登錄后終端等同直接在機器人上執行。遠程連接機器人Ssh斷開連接想要從此終端斷開與遠程機器的連接，則只需要在終端中按下Ctrl+D即可斷開，Sssh遠程連接是控制遠程機器人系統的直接方式，允許在終端中直接輸入命令，這些命令會在機器人上執行。Vnc遠程桌面對于大多數應用場景來說是不方便的，如果我們需要用到ROS機器人的圖形界面時怎么辦呢？可以采用遠程桌面連接的方式進行遠程連接機器人的圖形界面。Vnc連接遠程機在Linux下內置的VNC服務是較為方便的，所以我們采用VNC協議進行連接，VNC遠程軟件，在Linux下我們采用Ubuntu內置的Remmina，在Windows下我們采用免費的VNCViewer。遠程連接機器人Vnc連接實例以VNCViewer為例，連接步驟如下圖，確保機器人與我們PC在同一局域網下且已經配置好IP即可開始連接，機器人VNC服務器登錄賬號為xtark，密碼為xtark。Vnc新建連接新建連接，輸入IP地址和VNC主機名稱(用戶自定義)，單擊OK按鈕，輸入機器人VNC密碼，點擊確定即可連接到機器人遠程桌面。遠程連接機器人ROS節點列表：在PC虛擬機上執行rosnodelist-a命令后，成功看到rosout節點以及運行此節點的主機地址為機器人的主機地址，證明我們已經配置好了ROS的環境變量。Ssh連機器人：首先我們用ssh連接到機器人，然后打開一個終端并運行roscore，如圖10-28所示roscore是ROS的根節點，它初始化并管理整個ROS系統。驗證配置要點三控制節點原理運行原理非常簡單，機器人內置了底盤驅動節點，存放在xtark_driver功能包中，節點名稱也叫xtark_driver，此節點通過訂閱話題，cmd_vel來獲取控制底盤移動的命令。要點一要點二控制底盤移動話題的消息類型為geometry/Twist，此消息類型為兩個三維向量，分別控制底盤的線速度和角速度，詳細內容如圖10-30所示。想要控制機器人移動，只需要向此話題發布Twist類型的消息即可。鍵盤控制節點robot內置了通過鍵盤來發布消息的節點，存放在xtark_ctl包中，名稱為xtark_twist_keyboard.py，此外這個功能包中還有一個launch文件，xtark_bringup_keyboard.launch。要點三鍵盤控制機器人移動鍵盤控制機器人移動Launch文件內容：可以幫我們集成啟動底盤驅動節點和鍵盤控制節點，此文件內容如圖10-31所示，我們只需要運行此launch文件即可用鍵盤來控制底盤移動。遠程控制機器人：因為機器人會到處亂跑，所以我們最好是以遠程的方式控制它，首先回到自己的虛擬機上執行ssh命令連接到機器人例如。連接機器人：輸入正確的密碼后，輸出內容提示我們已經連接上了機器人系統，可以開始通過鍵盤控制節點的運行來遠程操控機器人移動了。鍵盤控制機器人：運行launch文件后看到提示按下對應鍵即可控制機器人運動如圖10-33所示robot運動鍵盤控制鍵是方便用戶通過鍵盤上的特定按鍵來直接控制機器人的運動方向。感謝您的觀看與聆聽第11章

SLAM建圖與自主導航Contents01.引言02.基礎理論04.SLAM建圖03.準備工作05.amcl功能包與代價地圖的配置06.機器人導航實踐07.多點連續導航01引言室內機器人定位導航挑戰服務型室內移動機器人面臨地圖構建、定位和路徑規劃等挑戰，需解決精度、穩定性和實時性問題。機器人技術瓶頸室內機器人需實現實時地圖更新、準確定位和實時路徑規劃，以滿足快速響應和高效導航的需求。實時性與準確性室內環境復雜多變，光照、障礙物等影響機器人感知和決策，需提升機器人環境適應性和魯棒性。室內環境復雜性123SLAM通過實時感知環境并構建地圖，實現機器人在無GPS信號或先驗信息缺失環境中的自主定位與導航。SLAM技術優勢SLAM技術從軍事領域拓展至掃地機器人、無人機等民用領域，成為智能系統實現自主導航的關鍵技術。技術應用廣泛科研人員持續優化SLAM算法，提升其精度、魯棒性和實時性，推動相關應用向更廣泛領域滲透。算法不斷優化SLAM技術崛起及應用03未來展望隨著技術不斷發展，基于ROS的機器人SLAM與導航技術將更加成熟，為機器人技術的廣泛應用奠定基礎。01ROS功能包ROS提供了如gmapping、hector_slam、cartographer等功能包，簡化了機器人的SLAM和導航開發。02實踐項目通過具體項目實踐，如使用ROS實現機器人的實時地圖構建與自主導航，可深化對理論知識的理解與應用。ROS機器人SLAM與導航實踐02基礎理論0102SLAM核心概念SLAM，即時定位與地圖構建，驅動機器人未知環境自主探索。機器人邊移動邊構建地圖，持續定位自身，實現智能導航與路徑規劃。盲人比喻借盲人探索比喻SLAM，盲人伸手探測障礙，移動校正地圖與位置，體現SLAM核心，機器人亦如此，不斷感知、定位、建圖，實現自主導航。盲人感知局限盲人探索環境，感知有限，會存在誤差，他根據確定程度為障礙物設置概率值，概率越大，障礙物可能性越高，體現SLAM探索的局限性。應用場景家庭、商場、車站等室內場所是室內機器人的主要應用場景，在這些應用中，用戶需要機器人通過移動完成某些任務，這就需要機器人具備自主移動、定位的功能。自主導航自主導航與SLAM緊密相連，SLAM生成的地圖是機器人移動的藍圖，引導機器人精準定位，規劃最優路徑，避開障礙物，實現高效、智能的自主移動。030405SLAM簡介深度信息獲取01機器人SLAM與自主導航的關鍵在于感知周圍環境，特別是深度信息，用于探測障礙物距離。激光雷達、攝像頭和RGB-D攝像頭是獲取深度信息的三種主要傳感器。激光雷達02激光雷達是研究最多、使用最成熟的深度傳感器，提供精確的距離信息，用于掃地機器人等。其優點是精度高、響應快、數據量小，適合實時SLAM；缺點是成本高。RGB-D攝像頭03RGB-D攝像頭融合了RGB圖像和深度信息，適用于SLAM、圖像處理和物體識別。其成本較低，但存在測量視野窄、盲區大和噪聲大等缺點，是室內服務機器人的主流方案。傳感器簡介激光雷達通過發射接收激光束，實現3D掃描，獲取周圍環境深度信息。機器人利用這些數據實現精準避障，確保在復雜環境中穩定運行。3D掃描與避障在室內定位與建圖方面，激光雷達具有顯著優勢；它為機器人提供精確的環境數據，支持實時地圖構建與定位，是實現智能導航的關鍵技術。室內定位與建圖盡管激光雷達具有高精度和穩定性，但成本較高；因此，在選用時需綜合考慮性能與成本，選擇性價比優的產品，以滿足不同應用場景的需求。性能與成本考量激光雷達單目攝像頭：單目攝像頭以一個攝像頭完成SLAM任務，具有傳感器簡單、適用性強的特點；但實現過程復雜，且在靜止狀態下無法測量距離，需依賴運動狀態下的三角測量原理。雙目攝像頭：雙目攝像頭通過兩個攝像頭協同工作，實現距離信息的感知，無論在運動或靜止狀態下均能進行有效測量；然而，兩個攝像頭的精確標定較為復雜，且圖像數據量大導致運算量大。攝像頭室內應用主流：RGB-D攝像頭因其成本低廉且性能穩定，成為室內服務機器人的首選傳感器方案；然而，其測量視野相對較窄，且存在盲區和噪聲問題，需在實際應用中加以注意。融合感知技術：RGB-D攝像頭通過融合RGB圖像與深度信息，實現環境的三維重建與深度感知。其獨特優勢在于能夠精準識別物體位置與姿態，為SLAM提供強有力的支持。RGB-D攝像頭03準備工作環境深度信息無論是SLAM還是自主導航，獲取周圍環境的深度信息都是至關重要的。要獲取深度信息，首先要清楚ROS中的深度信息是如何表示的。激光雷達掃描數據針對激光雷達，ROS在sensor_msgs包中定義了專用數據結構——LaserScan，用于存儲激光消息。LaserScan消息的具體定義如下圖所示。雷達驅動與launch文件機器人教學平臺的激光雷達節點，可視化機器人的激光雷達發布的數據，機器人的雷達驅動launch文件存放在xtark_driver功能包中。傳感器信息啟動雷達驅動節點遠程連接機器人，啟動此launch文件，將雷達驅動起來，然后在PC端（注意，非機器人端）啟動RViz，按照添加雷達數據的話題。固定幀修改與顯示添加完成后，按將GlobalOptions里的FixedFrame修改為laser，即可在三維界面中看到我們的雷達掃描出的環境深度信息數據。里程計信息里程計根據傳感器獲取的數據來估計機器人隨時間發生的位置變化，在機器人平臺中，較為常見的里程計是編碼器，例如，機器人驅動輪配備的旋轉編碼器。傳感器信息機器人當前的運動狀態，包括x、y、z三軸的線速度與角速度，以及用于校正誤差的協方差矩陣。上述數據結構中，除速度與位置的關鍵信息外。在精度要求不高的機器人系統中，可以使用默認的協方差矩陣；而在精度要求較高的系統中，需要先對機器人精確建模后，再通過仿真。機器人能夠發布里程計nav_msgs/Odometry消息，如圖11-11所示，包含機器人在自由空間中的位置和速度估算值，pose為機器人當前位置坐標。機器人移動時，編碼器測量輪子旋轉圈數；知周長，可算速度與距離。里程計通過速度積分求位置，對誤差敏感，需精確采集、標定、濾波等措施。精度需求與協方差矩陣導航功能包要求twist編碼器測量輪距傳感器信息里程計數據估計里程計根據傳感器數據估計機器人位置變化，常見里程計為編碼器；通過測量輪子旋轉圈數和周長，可計算機器人速度和移動距離。深度信息獲取無論是SLAM還是自主導航，獲取周圍環境的深度信息都是至關重要的；要獲取深度信息，首先要清楚ROS中的深度信息是如何表示的。LaserScan消息定義LaserScan消息定義包含角度、時間、距離等信息，用于存儲激光雷達掃描數據；angle_min和angle_max定義可檢測范圍。激光雷達數據采集運行機器人教學平臺的激光雷達節點，并啟動相應的launch文件，可在RViz中可視化激光雷達掃描的環境深度信息數據。環境深度信息數據采集與標定01里程計根據傳感器獲取的數據來估計機器人隨時間發生的位置變化，在機器人平臺中，較為常見的里程計是編碼器，例如，機器人驅動輪配備的旋轉編碼器。發布Odometry消息02導航功能包要求機器人能夠發布nav_msgs/Odometry消息，包含機器人在自由空間中的位置和速度估算值，以及用于校正誤差的協方差矩陣。精度需求與矩陣設定03在精度要求不高的機器人系統中，可以使用默認的協方差矩陣；而在精度要求較高的系統中，需要先對機器人精確建模后，再通過仿真、實驗等方法確定。里程計信息04SLAM建圖gmapping優缺點gmapping實時構建室內地圖，適用于小場景，對激光雷達頻率要求低且魯棒性強。相比Cartographer，gmapping計算量小、精度相當且能利用里程計信息，但構建大地圖時受內存和計算量限制，且無回環檢測可能導致地圖錯位。gmapping功能包gmapping功能包采用Rao-Blackwellized粒子濾波算法，訂閱深度信息、IMU和里程計，配置參數后輸出二維柵格地圖。支持的話題和服務包括地圖數據發布、坐標變換及動態地圖獲取，同時提供豐富的配置參數以滿足不同應用需求。gmapping建圖流程在機器人中啟動gmapping建圖，需發送SSH命令以遠程連接機器人并執行建圖文件。該過程包括啟動鍵盤控制節點以手動控制機器人移動，同時在PC上啟動RViz并加載配置文件以實時查看地圖。建圖完成后，使用map_saver節點保存地圖。gmappinghector-slam的優點在于無需里程計，適應空中無人機及地面小車在不平坦區域建圖，通過高斯牛頓方法優化激光點陣，實現精準映射。但依賴于高頻率、低噪聲雷達，且建圖效果受速度影響，無法有效利用精確里程計信息，存在局限性。hector_slam的核心是hector_mapping節點，訂閱激光數據/scan并發布構建的地圖及機器人位姿話題。支持的話題包括激光掃描數據、系統命令等，發布的話題有地圖Meta數據、柵格地圖、機器人位姿等，同時提供服務動態獲取地圖數據。在機器人中啟動hector建圖需發送SSH命令以遠程連接機器人并執行建圖文件，同時啟動鍵盤控制節點以低速控制機器人移動。在虛擬機上啟動RViz并加載配置文件以查看建圖過程，建圖完成后使用map_saver保存地圖，并關閉相關節點。hector優缺點hector功能包hector建圖流程hector-slamcartographer的優缺點采用基于圖網絡的優化方法，占用計算資源少，能有效避免建圖中移動物體的干擾，并支持大環境。但相較于其他SLAM算法，它占用內存較大，需要考慮到資源消耗問題，在資源受限的環境下需謹慎使用。cartographer功能包需要源碼編譯安裝，將創建一個工作空間catkin_google_ws并下載源碼編譯。為避免沖突，已安裝人員可跳過。安裝涉及更新、初始化、合并ROS安裝、編譯及設置環境變量等步驟，確保所有依賴正確安裝。在機器人中使用cartographer在機器人教學平臺中，啟動cartographer建圖算法需發送SSH命令連接機器人并執行集成啟動文件。該文件啟動了必要的底層驅動和cartographer算法節點。通過虛擬機中的鍵盤控制節點和RViz進行建圖操作。cartographer05amcl功能包與代價地圖的配置amcl支持靈活配置，通過調整粒子數、誤差界限、更新間隔等參數，可以根據具體應用場景優化定位性能，同時提供初始化姿態、激光模型和里程計模型等高級配置選項。amcl與里程計同為機器人定位工具，里程計依賴連續運動數據定位，而amcl通過匹配激光掃描實現定位，兩者結合使用，可以互補優缺點，提升機器人定位的穩定性和準確性。訂閱激光雷達、TF變換和地圖數據，發布機器人在地圖中的位姿估計及粒子云，提供全局定位服務，并通過服務調用實現地圖獲取和恢復操作，靈活應對不同定位需求。amcl功能包提供自適應蒙特卡羅定位方法，通過粒子濾波器在地圖中跟蹤機器人姿態，實現自主定位。這種方法基于概率統計，能處理機器人任意狀態下的定位問題。里程計與amclamcl話題服務amcl配置參數amcl定位方法amcl功能包本地規劃配置文件為本地代價地圖提供寬度、高度、分辨率等參數，這些參數適用于局部路徑規劃和實時避障，確保機器人在復雜環境中能夠靈活導航。代價地圖配置導航功能包使用代價地圖來存儲環境障礙信息，通過配置文件設置地圖參數，如更新頻率、發布頻率、靜態地圖等，以適應不同的導航需求。通用配置文件定義共用的代價地圖參數，如障礙物范圍、射線追蹤范圍、機器人足跡、膨脹半徑等，這些參數確保了代價地圖能夠準確地反映環境障礙信息。全局規劃配置文件針對全局代價地圖，設置參考系、更新頻率、是否靜態地圖等參數，這些參數有助于規劃全局路徑，實現高效、準確的全局導航。代價地圖的配置06機器人導航實踐遠程連接：通過安全的SSH協議遠程連接至機器人，確保實時操作與監控的無界限，為導航任務奠定堅實基礎。地圖準備：啟動機器人激光雷達節點，利用RViz三維可視化工具實時查看并確認雷達掃描到的環境深度信息，為后續導航任務提供精準地圖支持。遠程鏈接與地圖準備遠程連接到機器人，啟動gmapping建圖文件的集成文件，該文件包含所有gmapping建圖所需的節點和配置，用于生成室內地圖。啟動gmapping啟動hector_mapping建圖算法的集成文件，該文件包含必要的節點和配置，用于構建地圖，適用于空中無人機及地面小車等特殊平臺。啟動hector啟動cartographer建圖算法的集成文件，該文件包含所有cartographer建圖所需的節點和配置，實現實