智能終端應用開發基礎 課件 第13、14章 語音功能介紹、多機器人系統綜合應用

第13章

語音功能介紹Contents01.語音識別框架02.TTS文字轉語音03.配置語音識別功能包04.語音識別功能包05.總結與展望01語音識別框架麥克風陣列麥克風陣列是聲場采樣系統，關鍵組件為多個聲學傳感器。作用包括聲源定位、噪聲抑制、信號提取與分離，提升語音交互體驗。聲源定位利用麥克風陣列計算聲源距離陣列的角度，基于TDOA實現對目標聲源的跟蹤。精準定位，助力高效語音交互與識別。信號提取與分離在期望方向上形成一個波束，僅拾取波束內的信號，從而達到同時提取聲源和抑制噪聲的目的。清晰拾音，降噪無憂。硬件介紹燈光控制平臺支持設置主麥編號，并具備燈光點亮和關閉功能。操作簡便，提升教室氛圍與教學質量。智能管理，讓教學更輕松。音頻獲取機器人教學平臺通過麥克風陣列獲取原始和降噪音頻，并獲取喚醒角度和主麥編號。設置靈活，滿足多樣化教學場景。教學平臺麥克風教學平臺采用平面式麥克風陣列，含6個麥克風，實現360度等效拾音，喚醒分辨率達1度。配置豐富，滿足教學需求。混響去除麥克風陣列配合深度神經網絡，有效去除混響，提升語音交互真實感與清晰度。技術革新，讓聲音更加自然悅耳。硬件介紹語音識別流程根據識別系統的類型選擇能夠滿足要求的一種識別方法，并分析出這種識別所需的語音特征參數，作為標準模式存儲起來。語音特征參數在專家知識庫中進行判決，最佳匹配的參考模板即為識別結果。智能高效，精準識別，讓語音交互更加順暢。專家知識庫判決選擇要語音特征參數，將這些特征參數的時間序列構成測試模板，再將其與已存在的參考模板逐一比較，并進行測度估計。特征參數識別02TTS文字轉語音03授權信息創建應用成功后，點擊語音合成界面，記錄下所創建應用的APPID、APISecret以及APIKey三個信息。01注冊訊飛賬號打開訊飛官網，注冊并登錄訊飛開放平臺賬號，進入語音合成界面。02創建應用在語音合成界面上，輸入自定義應用信息，完成應用創建，并記錄APPID、APISecret和APIKey。獲取訊飛授權ID在xtark_audio.yaml文件中，根據實際需求調整音頻相關參數，如采樣率、比特深度等，確保與語音合成API兼容。配置完成后，保存對xtark_audio.yaml文件的修改，并確保文件路徑和參數設置無誤，隨后退出VIM編輯器。將APPID，APIKey與APISecret參數引號中的值替換為用戶所創建的語音合成應用的APPID，APIKey與APISecret值。通過SSH遠程連接到機器人，切換到xtark_audio/config/路徑下，利用VIM編輯器打開xtark_audio.yaml文件。保存并退出替換授權信息配置音頻參數配置APPID配置xtark_audio功能包語音合成功能語音合成功能支持中文與英文，可以直接發布中文語句，機器人即可朗讀中文語句，實現多種語言的語音合成與播放。啟動語音合成通過SSH連接到機器人，啟動語音合成launch啟動文件，即輸入命令$roslaunchxtark_audioxtark_tts.launch。查看話題列表新建一個終端，輸入命令查看當前話題列表與話題消息類型，找到/speak話題及其消息類型std_msgs/String。發布語音數據在/speak話題上發布字符串類型數據，機器人即可合成相應語音并播放。例如直接用命令行發布‘Hello,world’字符串。運行xtark_audio功能包03配置語音識別功能包替換為離線資源：刪除機器人默認離線語音資源，將訊飛SDK中的離線語音資源拷貝至機器人。確保語音資源與APPID匹配，提升識別準確性。下載離線SDK：在訊飛開放平臺，找到已創建的應用，下載離線命令詞識別的linuxSDK。下載完成后，得到一個壓縮包，解壓得到資源文件。下載SDK替換資源替換APPID：用VIM編輯器打開機器人存放APPID的文件，將APPID修改為自己在訊飛開放平臺創建的應用APPID，確保語音識別的準確性。替換為自定義資源：將機器人中的離線語音資源和ID替換為自定義資源。這涉及刪除默認資源，并拷貝下載的語音資源至指定路徑。配置語音參數語音參數說明：語音參數包括喚醒詞、錄音時長、置信度閾值等，這些參數可以在config文件夾中的yaml文件中進行調整，以滿足不同需求。用戶參數配置：用戶參數文件位于語音功能包的config文件夾中，可以根據備注說明修改參數，修改后無需編輯即可直接運行launch文件啟動。04語音識別功能包主麥方向刷新結合里程計記錄小車偏航值，以5Hz速度檢測小車相對喚醒聲源的方向，自動刷新主麥方向。雷達檢測障礙語音控制小車的同時雷達檢測小車周圍的障礙物，當小車距離最近障礙物小于0.5m，并且小車運動是逐漸靠近障礙物的時候，小車自動停下。被動休眠連續15次語音指令識別失敗或者輸入空指令后，自動進入休眠狀態，當累計5次和10次語音指令識別失敗或者輸入空指令時，用戶界面會分別發出提醒。功能介紹LED燈01通過LED燈指示主麥方向以及錄音/識別狀態，燈亮代表在當前方向的主麥被設定，并且正在錄音，此時可以大聲說出指令;循環識別狀態下，燈滅代表正在處理音頻識別中。語音喚醒02默認喚醒詞為“你好小克”，在使用過程中，隨時可以喚醒或再次喚醒小車，喚醒小車后自動完成喚醒聲源定位，后續可以依賴該定位尋找聲源。語音識別的兩種模式03固定錄音時間和邊錄音邊識別。固定錄音時間將音頻保存為文件后識別，邊錄音邊識別則實時送入識別引擎。機器人教學平臺采用邊錄音邊識別方式。功能介紹程序具有音頻端點檢測功能（VAD），能識別靜音0.8秒作為音頻后端點。用戶可開發vad參數，參考訊飛官網文檔。若持續有音頻輸入。音頻端點檢測與錄音時長置信度反映降噪音頻與聲學模型的匹配程度，范圍0-100，數值大則匹配高、結果可信。設定閾值18，大于18認為結果可信并發布，小于18顯示識別失敗。置信度與識別結果處理語音功能包提供了主動休眠和被動休眠兩個休眠功能，主動休眠說出指令進入休眠，被動休眠是連續識別失敗15次后自動進入，累計5次和10次時終端提醒。休眠模式功能介紹040506確保網絡配置在運行語音控制功能包之前，需確保機器人網絡配置正確，并按照上節所述配置語音控制功能包，所有命令均在機器人端運行，需通過SSH連接到機器人。通過命令啟動機器人底盤導航功能包，并加載自己構建好的地圖。在啟動導航功能包之前，確保已按照建圖導航教程完成對環境地圖的建立。導航節點啟動后，打開一個新終端，使用命令啟動麥克風模塊驅動節點。啟動成功后，麥克風模塊驅動會進行聯網鑒權，可能會出現卡在“開機中。重新打開一個新的終端，通過命令啟動語音控制節點。啟動成功后，終端會提示各個語音命令詞。在語音喚醒機器人后，即可使用命令詞控制機器人運動。按照前文所述的TTS配置將其配置完畢，啟動語音播報功能。啟動成功后，當機器人收到語音命令時，將會通過語音合成進行交互提示。啟動底盤導航功能包啟動語音控制節點啟動語音播報功能啟動麥克風模塊驅動使用語音識別功能包喚醒機器人在距離小車2米以內，用“你好小克”喚醒機器人。若喚醒成功會同時完成捕獲喚醒聲源角度并發布ROS話題信息、根據角度設定主麥并點亮LED、啟動循環錄音識別。循環錄音識別用戶不講指令即靜音狀態下，LED燈會點亮約3.5秒、接著熄滅約0.3秒，循環執行。燈亮代表在LED燈方向的主麥被設定，并且正在錄音，燈滅代表正在處理識別信息并輸出到終端。檢測不到前端點全程靜音(用戶不講指令)，算法在3.5秒內檢測不到語音的前端點，會自動判斷本次錄音結束，輸出空結果，重新啟動一次錄音識別。語音識別功能包使用技巧燈滅的0.3秒內會完成識別結果的處理，包括ROS端的通信等。有效語音信息被識別后且結果置信度大于預設的閾值(18)，則會被視為有效結果。若未進入休眠狀態。語音輸入方向需要在主麥方向、增強有效信號、衰減噪聲、確保識別準確。啟動導航節點保證運動與避障、LED指示狀態、多線程隨時喚醒、麥克風陣列識別聲源方向。用戶在燈亮的情況下開始講話，程序檢測到前端點，待用戶說完指令，程序檢測到0.8秒靜音后判斷語音指令已說完，接著燈滅輸出識別結果。錄音時間根據后端點自適應調整。用戶在燈亮的情況下，開始講話輸入語音信號，并且一直滔滔不絕中間沒有超過0.8秒的停頓，這樣程序會一直錄音，LED燈一直亮，直到錄音時間達到最大值(15秒)。注意事項檢測結果輸出結果檢測到前端點語音識別功能包使用技巧05總結與展望用戶反饋與建議：收集用戶反饋，持續優化功能包。歡迎提出建議，助力智能升級。您的滿意，我們的動力。攜手共創，讓智能生活更加美好，期待你的寶貴意見。語音功能包總結：語音功能包總結全面，識別準確率高，支持多指令，靈活控制，提升用戶體驗。集成便捷，兼容性強，廣泛應用前景廣，引領未來智能新風尚。語音識別功能包總結語音識別技術展望定制化服務：未來語音識別將更加個性化與智能化，依據用戶習慣與偏好，提供定制化識別服務。企業可根據自身需求，定制專屬識別模型，提升識別效率與準確性。技術進步與創新：隨著算法優化與硬件升級，語音識別技術將實現更高識別率與更低錯誤率。創新應用如跨語言識別、方言識別等將不斷拓展其應用領域。語音助手發展趨勢用戶體驗與服務：語音助手將更加注重用戶體驗與服務質量。通過持續優化交互方式、提高識別準確率、增強響應速度，為用戶帶來更加便捷、舒適、個性化的智能服務。語音助手發展趨勢：語音助手從單一功能向多功能、場景化方向發展。未來，它將更深入理解用戶意圖，提供定制化、情感化服務，成為智能時代的重要入口。感謝您的觀看與聆聽第14章

多機器人系統綜合應用Contents01.引言02.網絡配置04.多機器人通信示例03.軟件包部署與應用05.06.多機器人獨立控制或同時控制多機器人導航框架總結與展望07.01引言多機器人系統挑戰多機器人系統面臨復雜環境適應、高效協作與精確控制等挑戰。學習基礎將奠定理解、設計、優化及運用多機器人系統的基石。ROS網絡配置指南ROS網絡配置是部署多機器人系統的關鍵。通過配置，機器人可相互通信、協作，實現復雜任務。指南將詳細介紹配置流程與要點。多機器人通信框架通信框架是多機器人系統的血脈，促進數據交換與協同作業。章節將深入探討通信機制、關鍵技術及實現方法，助力高效協作。多機器人學習基礎虛擬機網絡配置設置ROS_MASTER_URI環境變量，指向虛擬機或PC的IP地址，確保ROS網絡中的Master節點運行于虛擬機端，便于多機器人管理。多機器人配置配置多臺機器人時，每臺機器人的~/.bashrc文件均需獨立修改，確保各機器人端的環境變量正確指向虛擬機端的ROS_MASTER_URI。驗證網絡配置完成配置后，通過運行source~/.bashrc命令使配置生效，并在虛擬機端啟動roscore以確保Master節點運行，隨后在機器人端運行任意ROS功能。機器人網絡配置修改機器人端的~/.bashrc文件，加入環境變量以指向虛擬機端的ROS_MASTER_URI，確保機器人能夠與虛擬機端的Master節點通信。ROS網絡配置指南一主多從通信01多機器人系統采用一主機多從機通信模式，主機為PC或虛擬機，從機為各機器人。此模式確保系統高效、有序地運行，實現復雜的任務分配與管理。ROS通信機制02基于ROS（RobotOperatingSystem）的通信框架，多機器人系統實現高效的數據交換與協同作業。ROS提供了多種通信方式，包括TCP/IP、UDP等。話題與消息傳遞03多機器人系統中，話題（Topic）作為消息傳遞的橋梁，連接各個機器人與主機。通過發布/訂閱機制，信息在系統中自由流通，支持復雜的數據交換模式。多機器人通信框架02網絡配置Sourcebashrcfile：修改完~/.bashrc文件后，需要運行source~/.bashrc命令使配置生效。這步確保虛擬機的環境變量設置正確。設置ros_master_uri：在虛擬機的~/.bashrc文件中，將ROS_MASTER_URI環境變量設置為uri://localhost:11311，確保虛擬機作為ROS主機運行。虛擬機網絡配置機器人網絡配置Restartrobot：在配置完成后，需要重新啟動機器人，使新的環境變量設置生效。這步確保機器人能夠正確連接到虛擬機端的ROS網絡。Connecttorobot：使用終端連接到機器人，并修改機器人端的~/.bashrc文件，添加或修改ROS_MASTER_URI環境變量，確保與虛擬機端的設置一致。多機器人通信網絡拓撲簡圖Networktopologydiag：網絡拓撲簡圖展示了多機器人系統的基本架構，主機位于中心，從機圍繞，清晰呈現主從關系。H-masters-slaves：在通信框架中，一主機多從機，PC主機或虛擬機為ROS主機，多機器人為從機，掛載到ROS網絡。03軟件包部署與應用機器人端軟件包部署生效軟件包：拷貝完成后，運行rospackprofile命令即可生效軟件包。機器人端的軟件包主要運行了軟件包中的算法及驅動部分，導航算法以及機器人驅動算法。機器人端部署：將xtark_multirobot擴展包解壓后，選擇對應機器人型號的多機器人文件夾，將文件夾拷貝到每臺機器人的~/ros_ws/src/文件夾下。xtark_multirobot軟件包功能協同工作：在完成多機器人網絡配置后，通過利用xtark_multirobot軟件包的四大核心功能，用戶可以輕松地實現多機器人的協同工作，以提高工作效率和增強任務執行能力。多機器人通信：xtark_multirobot軟件包提供了多機器人通信的四大核心功能，包括多機器人通信示例、多機器人獨立/同時控制、多機器人導航框架以及多機器人協同工作。VS多機器人驅動：xtark_driver_multirobot軟件包實現了多機器人驅動在同一ROS網絡中運行，各傳感器及控制話題互不影響，并且可互相通信，為多機器人控制奠定了基礎。機器人話題說明：機器人啟動成功后，其發布以及接收的話題，均以設置的命名空間為前綴。里程計及IMU傳感器的坐標系名稱也均帶有所設置的機器人命名。多機器人驅動支持04多機器人通信示例節點管理：roscore作為ROS網絡中的主機節點，負責注冊、管理和通信等核心功能。確保多機器人系統高效運行，實現各機器人節點間的無縫協同與交互。主機啟動：在虛擬機/PC端，執行roscore命令，啟動ROS核心服務。此步驟是設置ROS網絡環境的基石，確保多機器人系統通信順暢，實現分布式節點管理。啟動roscore啟動多機器人啟動文件命名區分：每個機器人都應設置不同的命名空間，如robot0、robot1等，以確保多機器人系統中各機器人之間的通信和操作互不干擾，實現獨立控制與協同作業。多機啟動：在機器人端，使用roslaunch命令啟動多機器人驅動啟動文件，如xtark_bringup_multirobot.launch，并指定唯一的命名空間以區分不同機器人。機器人話題說明坐標標識：機器人發布的里程計和IMU傳感器數據也包含其命名空間前綴，用于標識不同機器人的數據，便于在多機器人系統中進行精確的數據處理和坐標變換。話題命名：機器人發布和接收的話題均以其命名空間為前綴。例如，robot0發布的話題為/robot0/chatter，robot1則為/robot1/chatter，實現話題隔離與區分。啟動talk節點消息發布：talk節點是多機器人通信的發布者Demo，用于測試多機器人網絡配置及通信是否正常。通過發布“helloworld”消息，確保各機器人間通信順暢。發布者：在任一機器人端，啟動talk節點。該節點將開始在/chatter話題上發布帶有時間戳的“helloworld”消息，頻率為1Hz，持續進行。啟動listener節點消息接收：listener節點是多機器人通信的訂閱者Demo，用于驗證多機器人網絡配置及通信狀態。通過接收并顯示“helloworld”消息，確保各機器人間通信正常。訂閱者：在任一機器人端，啟動listener節點。該節點將實時監聽/chatter話題，接收并顯示來自其他機器人的“helloworld”消息，實現多機器人間的通信監聽。05多機器人獨立控制或同時控制機器人控制基礎01單獨控制機器人是多機器人系統控制的基礎，通過確保每個機器人基本操作和功能得到實現，為開發多機器人控制算法提供前提。協同工作實現02單獨控制每個機器人的能力，包括對其運動、感知、決策等方面的精確控制，是構建多機器人系統的基礎，為實現多機器人協同工作提供可能。任務分配與協同03通過編程和算法設計，實現多個機器人之間的協同工作，可以更有效地完成復雜任務。例如，在救援行動中，多個機器人可以協同工作，提高救援效率。單獨控制鍵盤遙控實現：利用鍵盤遙控節點，用戶可以通過鍵盤輸入控制多臺機器人的運動。該技術基于ROS（RobotOperatingSystem）框架，實現多機器人的同步控制。同步控制應用：同時控制多臺機器人進行同步運動，提高多機器人系統的整體效能。例如，在智能倉儲中，多臺機器人可協同工作，提高物資搬運效率。同時控制06多機器人導航框架根據SLAM章節使用機器人完成地圖構建，將地圖放在虛擬機端指定路徑下。并修改xtark_map_server.launch文件中的map_file參數，指向用戶所需的地圖文件。地圖構建與配置確保地圖服務正在運行，以便為機器人提供導航所需的地圖信息。可以通過在虛擬機端啟動xtark_map_server.launch文件來啟動地圖服務，為機器人導航提供地圖支持。導航框架準備修改launch文件啟動地圖服務為了啟動地圖服務，用戶需要在終端中運行roslaunch命令，并指定xtark_nav_multirobot/xtark_map_server.launch作