任務2.2 測試Hadoop平臺

測試Hadoop平臺任務描述在部署好Hadoop分布式平臺后，小數還需要對其進行測試，以確保部署的完整性。MapReduce作為Hadoop的核心組件，可用于測試Hadoop平臺的運行狀況。本任務將通過向Hadoop集群提交MapReduce任務并觀察其結果，以此來驗證Hadoop的功能是否正常。任務環境已部署完全分布式Hadoop集群的3臺CentOS7操作系統的虛擬機。任務描述與任務環境目錄1運行MapReduce任務上傳日志文件至HDFS2查看集群狀態3現有一份某社交網站在2024年某一天的原始日志文件email_log.txt，共800萬行記錄，部分數據如下。上傳日志文件至HDFSMan_Cl@org.lyjo_rosa@BoarderMailerotica.husha.dono@com.twrobisloa@PeopleWebpro.aem_em@Carl_Hen@HotepMailweb.lkAxelHubbard@LoadMaillevanger.noda_foster@co.jp上傳日志文件email_log.txt至HDFS的流程如下。上傳日志文件至HDFS使用Xftp8遠程傳輸工具將本地計算機中的用戶日志文件email_log.txt上傳至master虛擬機的/opt/data目錄。注意：若master虛擬機不存在/opt/data/目錄，則需先通過“mkdir-p/opt/data/”命令創建。上傳日志文件至Linux在master虛擬機啟動Hadoop集群。執行HDFS命令，創建/dfstest目錄，用于存放日志文件。創建/dfstest目錄在master虛擬機上傳日志文件至HDFS的/dfstest目錄。上傳日志文件至HDFS通過瀏覽器登錄“http://master:9870”查看HDFS的監控界面，單擊網頁中的“Utilities”，在下拉菜單中選擇“Browsethefilesystem”。查看HDFS上的數據在跳轉后的“BrowseDirectory”頁面中，依次選擇“dfstest”→“email_log.txt”→“Headthefile(first32K)”，查看HDFS的/dfstest目錄下email_log.txt文件的內容。查看HDFS上的數據目錄1運行MapReduce任務上傳日志文件至HDFS2查看集群狀態3使用“hadoopjar”命令對email_log.txt日志文件中的數據進行登錄次數的統計。運行MapReduce任務使用的“hadoopjar”命令的常用參數說明如下表。運行MapReduce任務參數參數說明$HADOOP_HOME指/etc/profile文件中設置的環境變量，此處為/opt/module/hadoop-3.1.3目錄hadoop-mapreduce-examples-3.1.3.jarHadoop官方提供的示例程序包，其中包括詞頻統計模塊（wordcount）wordcount程序包中的主類名稱/dfstest/email_log.txtHDFS上的輸入文件名稱/dfstest/outputHDFS上的輸出文件目錄目錄1運行MapReduce任務上傳日志文件至HDFS2查看集群狀態3在集群運行MapReduce任務的過程中時，可通過瀏覽器登錄“http://master:8088”查看YARN的監控界面。MapReduce任務的狀態是“RUNNING”，表示該任務正在執行中。查看集群狀態任務執行完成后，可以通過HDFSShell命令查看統計結果。在HDFS的/dfstest/output/目錄，可看到生成兩個新文件。_SUCCESS文件：表示任務執行完成。part-r-00000文件：任務執行完成后產生的結果文件。查看集群狀態在瀏覽器上登錄“http://master:9870”，查看HDF