《大數據技術導論》課程標準

《大數據技術導論》課程標準一、課程基本信息項目內容課程名稱大數據技術導論（項目式）課程代碼課程類型□公共基礎課□專業基礎課?專業核心課□專業拓展課適用專業數據科學與大數據技術、計算機科學與技術、人工智能、軟件工程及相關專業學分/學時2學分/32學時（理論16學時+實踐16學時）開設學期第1學期或第2學期（建議具備計算機基礎后開設）先修課程計算機導論、程序設計基礎后續課程Hadoop應用開發、Spark大數據處理、數據挖掘與機器學習、大數據綜合實訓參考教材《大數據技術導論（項目式）》制定依據高等職業教育專科/本科專業教學標準、"大數據運維師"職業技能等級標準（1+X初級）二、課程性質與任務（一）課程性質本課程是數據科學與大數據技術專業的專業核心課程，是連接計算機基礎與大數據專業技術的橋梁課程。課程秉持"項目導向、思維引領"理念，以九大真實項目為載體，覆蓋大數據全流程技術棧，培養學生的大數據思維、基礎技術能力與職業素養。（二）課程任務1.知識傳授：建立大數據技術體系認知，理解Hadoop生態核心組件原理；2.技能培養：具備Linux環境配置、Hadoop集群部署、數據采集存儲與分析的實操能力；3.思維塑造：培養數據敏感性、數據治理意識與數據倫理素養；4.課證融通：對接"大數據運維師"（1+X初級）證書標準，提升就業競爭力。三、課程目標與要求（一）總體目標通過本課程學習，學生能夠完成從"數據素養認知"到"大數據安全體系"的完整知識建構，具備搭建偽分布式Hadoop集群、使用Flume采集數據、利用HBase存儲數據、運用MapReduce/Spark處理數據的基礎能力，形成數據思維與工程實踐素養，為后續專業課程學習與職業發展奠定基礎。（二）具體目標目標維度具體要求知識目標1.闡述大數據4V/5V特征、數據要素概念及產業生態；

2.說明Linux操作系統基礎命令與國產操作系統發展現狀；

3.描述Hadoop架構（HDFS、MapReduce、YARN）及集群部署流程；

4.解釋Flume、HBase、Spark、Hive等組件的工作原理與適用場景；

5.概述大數據安全挑戰、技術體系及區塊鏈技術應用。能力目標1.能獨立完成VMware虛擬機部署與Linux基礎環境配置；

2.能規劃并部署3節點Hadoop全分布式集群（含Zookeeper）；

3.能配置Flume實現日志數據采集并寫入HDFS；

4.能使用HBaseShell完成數據定義與操作；

5.能編寫MapReduce程序或SparkRDD程序完成基礎數據處理；

6.能使用HiveSQL完成數據查詢與分析；

7.能設計簡單的大數據應用解決方案。素質目標1.具備數據敏感性，能從生活場景中識別數據價值；

2.具備數據倫理意識，理解數據隱私保護與社會責任；

3.具備團隊協作精神，能在項目中承擔角色并配合完成目標；

4.具備自主學習能力，能追蹤大數據技術前沿動態；

5.具備家國情懷，認同國產大數據平臺發展戰略。四、課程內容與學時安排（一）課程內容結構本課程采用項目化課程設計，圍繞9大項目展開，每個項目包含"目標-描述-分析-準備-實施-總結-考核-評價"完整閉環。序號項目名稱學時對應1+X證書能力模塊項目1數據素養認知2職業素養與法律法規項目2準備Linux環境2操作系統基礎項目3Hadoop集群部署6Hadoop集群規劃與部署項目4數據采集組件Flume部署及應用4數據采集與傳輸項目5數據存儲組件HDFS/HBase部署及應用4分布式存儲管理項目6數據預處理組件MapReduce部署及應用4批處理計算項目7大數據分析組件Spark/Hive部署及應用4內存計算與數據倉庫項目8大數據應用創意方案設計4綜合應用與方案設計項目9大數據安全體系2數據安全與治理合計-32-（二）詳細教學內容與學時分配項目1：數據素養認知（4學時）模塊教學內容學時教學要求理論1.1無處不在的大數據（生活、商業、政務場景）

1.2大數據產生的歷史必然（技術驅動、數據爆炸）

1.3大數據概念與4V/5V特征

1.4大數據與小數據的區別與聯系

1.5大數據時代帶來的變革（思維變革、商業模式創新）

1.6大數據處理目標（Volume、Velocity、Variety、Value）

1.7大數據產業生態與崗位體系（開發、運維、分析、治理）

1.8大數據、物聯網、人工智能的關系

1.9數據要素市場化配置與數據倫理1能闡述大數據特征；能區分大數據與小數據；能列舉3個以上大數據崗位；理解數據作為生產要素的意義實踐任務1.1數據價值認知（案例分析：啤酒與尿布、谷歌流感預測）

任務1.2數據敏感認知（校園場景數據識別）

任務1.3數據分析師基本技能與素養研討1能分析案例中的數據思維；能識別身邊的數據資源；能制定個人大數據學習規劃思政融入點：結合國家大數據戰略、國產數據庫發展歷程（如華為GaussDB、阿里OceanBase），培養科技自信與家國情懷。項目2：準備Linux環境（4學時）模塊教學內容學時教學要求理論2.1Linux操作系統概述（發展史、發行版、開源精神）

2.2國產操作系統（麒麟、統信UOS、歐拉、龍蜥）1了解Linux內核與發行版關系；知曉國產操作系統發展現狀實踐任務2.1Linux基本操作（文件系統、目錄結構、vi/vim、用戶權限）

任務2.2VMware虛擬機部署（創建、克隆、快照、網絡配置）1能熟練使用20個以上Linux命令；能獨立完成虛擬機安裝與網絡配置（靜態IP、hostname、防火墻）教學條件：機房需安裝VMwareWorkstation16+，建議配置CentOS7.9鏡像。項目3：Hadoop集群部署（12學時）模塊教學內容學時教學要求理論3.1大數據平臺架構（Lambda、Kappa架構）

3.2Hadoop概述（發展史、版本演進、核心組件）

3.3Hadoop生態（Hive、HBase、Spark、Flume等）

3.4Hadoop應用場景

3.5集群概念與類型（單機、偽分布、全分布、高可用）

3.6分布式計算原理（分而治之、CAP理論）

3.7Hadoop集群架構（NameNode、DataNode、ResourceManager、NodeManager）

3.8Zookeeper集群（選舉機制、監聽機制、應用場景）2能繪制Hadoop生態圖譜；能解釋HDFS讀寫流程；能理解Zookeeper在HA中的作用實踐任務3.1集群規劃（3節點：master/slave1/slave2角色分配）

任務3.2網絡配置與時鐘同步（靜態IP、hosts映射、NTP服務）

任務3.3通信免密（SSH密鑰生成與分發）

任務3.4JDK部署（安裝、環境變量配置）

任務3.5Hadoop安裝與部署（解壓、配置文件編寫、格式化、啟動）

任務3.6部署Zookeeper（zoo.cfg配置、myid設置、集群啟動）

任務3.7集群處理大數據（運行PI計算或WordCount驗證）4能獨立完成3節點全分布式集群部署；能排查常見啟動故障；能使用WebUI監控集群狀態重難點：配置文件參數（core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）的理解與調優；集群啟動順序與日志排查。項目4：數據采集組件Flume部署及應用（6學時）模塊教學內容學時教學要求理論4.1數據分類（結構化、半結構化、非結構化）

4.2數據采集技術（Sqoop、Flume、Kafka、Logstash、Scribe）

4.3Flume架構（Agent、Source、Channel、Sink、Interceptor、ChannelSelector、SinkProcessor）

4.4Flume可靠性機制（事務、復制/多路復用）2能區分不同采集工具適用場景；能繪制FlumeAgent內部數據流圖實踐任務4.1采集文件數據保存到日志（ExecSource+FileRollSink）

任務4.2采集文件數據保存到HDFS（SpoolingDirSource+HDFSSink）

任務4.3對采集數據添加時間戳攔截器

任務4.4采集端口數據保存到日志（NetCatSource+LoggerSink）2能編寫Flume配置文件；能啟動Agent并監控采集過程；能驗證HDFS中數據寫入結果教學條件：需提前啟動Hadoop集群，確保HDFS可正常寫入。項目5：數據存儲組件HDFS/HBase部署及應用（8學時）模塊教學內容學時教學要求理論5.1數據管理技術演進（關系型→NoSQL→NewSQL）

5.2HDFS架構（NameNode、DataNode、SecondaryNameNode、Block、副本機制、機架感知）

5.3非關系型數據庫（KV型、列式、文檔型、圖型數據庫對比）

5.4HBase架構（RegionServer、Region、Store、MemStore、StoreFile、HLog、Zookeeper協調）

5.5HBase數據模型（Namespace、Table、RowKey、ColumnFamily、ColumnQualifier、Cell、Timestamp）2能解釋HDFS副本放置策略；能對比行式存儲與列式存儲優劣；能設計合理的HBase表結構實踐任務5.1HDFS基本操作（Shell命令：ls、mkdir、put、get、rm、cat、tail）

任務5.2HBase部署（解壓、配置hbase-site.xml、與Zookeeper/HDFS整合）

任務5.3HBaseShell基本操作（create、list、describe、put、get、scan、delete、drop）

任務5.4HBaseShell應用案例（學生信息表、電商訂單表設計）2能熟練使用HDFSShell管理文件；能獨立完成HBase部署；能使用Shell完成CRUD操作；能設計合理的RowKey重難點：HBaseRowKey設計原則（散列性、唯一性、長度短、查詢模式匹配）；HDFS小文件問題與解決方案。項目6：數據預處理組件MapReduce部署及應用（6學時）模塊教學內容學時教學要求理論6.1MapReduce邏輯結構（InputFormat、Mapper、Partitioner、Shuffle、Sort、Reducer、OutputFormat）

6.2數據治理（DAMA-DMBOK框架、數據標準、數據質量、元數據管理）

6.3數據清洗（缺失值處理、異常值檢測、重復值刪除、格式標準化）

6.4數據變換（歸一化、標準化、離散化、特征編碼、主成分分析）2能描述MapReduce完整執行流程；能列舉5種以上數據清洗方法；能理解數據治理體系框架實踐任務6.1統計詞頻（WordCount：Map階段分割+Reduce階段匯總）

任務6.2數據清洗（使用MapReduce或Excel完成日志數據清洗）2能理解WordCount程序邏輯；能使用HadoopStreaming或Python完成簡單MapReduce任務；能完成實際數據集清洗教學建議：鑒于學生編程基礎差異，可提供Python版MapReduce程序或Excel模擬實現，降低編程門檻。項目7：大數據分析組件Spark/Hive部署及應用（10學時）模塊教學內容學時教學要求理論7.1數據分析概述（類型：描述性、診斷性、預測性、規范性；流程：業務理解→數據認知→數據準備→建模→評估→部署）

7.2業務理解方法（5W2H、思維導圖、利益相關者分析）

7.3數據認知（數據探索、統計量計算、可視化）

7.4分析指標設計（絕對數、相對數、平均數、變異指標、指數）

7.5數據建模（回歸、分類、聚類、關聯規則簡介）

7.6Spark內存計算引擎（RDD概念、Transformation/Action操作、DAG調度、Lineage容錯、Shuffle機制、SparkSQL）

7.7數據倉庫Hive（架構、Metastore、HQL語法、分區/分桶、優化策略）2能描述數據分析完整流程；能設計業務分析指標體系；能解釋Spark與MapReduce性能差異原因；能區分Hive與傳統數據庫實踐任務7.1Spark部署（Local模式、Standalone模式、配置Spark環境變量）

任務7.2Spark實戰（SparkShell使用、RDD編程：wordcount、filter、map、reduceByKey；SparkSQL操作）

任務7.3Hive部署（內嵌模式、本地模式、遠程模式Metastore配置）

任務7.4Hive實戰（DDL：創建數據庫/表/分區；DML：加載數據/查詢/多表JOIN；視圖與索引）2能獨立完成SparkStandalone部署；能編寫RDD程序完成基礎數據處理；能使用SparkSQL進行數據分析；能部署Hive并編寫HQL完成復雜查詢重難點：SparkRDD惰性求值與緩存機制；Hive分區與分桶策略選擇；HQL執行計劃優化。項目8：大數據應用創意方案設計（4學時）模塊教學內容學時教學要求理論8.1零售大數據（用戶畫像、精準營銷、供應鏈優化、推薦系統）

8.2交通大數據（智能調度、擁堵預測、路徑規劃、自動駕駛）

8.3醫療大數據（輔助診斷、藥物研發、疫情監測、醫保控費）

8.4農業大數據（精準種植、產量預測、病蟲害預警、溯源體系）

8.5環保大數據（污染監測、碳排放管理、生態修復）

8.6教育大數據（個性化學習、學業預警、就業預測）

8.7政府大數據（智慧城市、政務公開、應急指揮）2能分析至少2個行業的大數據應用場景；能識別場景中的數據來源與價值點實踐任務8.1智慧生活360°創意方案設計（分組完成：智慧校園/智慧農業/智慧文旅/智慧社區等方案）2能完成包含數據源、技術架構、組件選型、預期效益的完整方案；能進行PPT匯報與答辯成果要求：方案需包含數據流程圖（采集→存儲→處理→分析→展示）、技術選型說明、可行性分析。項目9：大數據安全體系（4學時）模塊教學內容學時教學要求理論9.1大數據應用面臨的六大挑戰（隱私泄露、數據孤島、算法偏見、安全漏洞、倫理風險、人才短缺）

9.2大數據帶來的機遇（產業升級、治理現代化、科學研究范式變革）

9.3大數據安全（安全體系框架：物理層、網絡層、系統層、數據層、應用層、管理層）

9.4大數據安全技術（身份認證、訪問控制、數據加密、數據脫敏、安全審計、隱私計算）

9.5區塊鏈技術（分布式賬本、哈希鏈、共識機制、智能合約、在大數據溯源中的應用）1能列舉大數據安全威脅；能描述數據脫敏與加密原理；能理解區塊鏈不可篡改特性實踐任務9.1建設大數據安全體系方案設計（針對某行業場景設計安全策略）1能識別場景安全風險；能設計包含技術與管理措施的安全方案思政融入點：結合《數據安全法》《個人信息保護法》，強調數據安全法律責任與職業道德。（三）學時分配匯總表項目理論學時實踐學時小計占比項目1數據素養認知2026.25%項目2準備Linux環境1126.25%項目3Hadoop集群部署24618.75%項目4數據采集Flume2249.4%項目5數據存儲HDFS/HBase22412.5%項目6數據預處理MapReduce22412.5%項目7大數據分析Spark/Hive22412.5%項目8應用創意方案設計22412.5%項目9大數據安全體系1126.25%合計161632100.0%*注：機動學時用于國慶/中秋等假期調休、階段性復習或1+X考證輔導。*五、教學實施建議（一）教學條件項目具體要求師資要求主講教師應具備大數據相關領域企業工作經歷或1+X證書培訓講師資格；熟悉Hadoop生態組件部署與調優；具備數據治理或數據分析項目經驗實訓環境1.硬件：機房PC配置Inteli5以上CPU、16GB以上內存、100GB以上硬盤（支持同時運行3臺虛擬機）

2.軟件：VMwareWorkstation16+、CentOS7.9、Hadoop3.3.x、Zookeeper3.7.x、Flume1.11.x、HBase2.4.x、Spark3.3.x、Hive3.1.x

3.替代方案：章魚大數據云平臺（教材配套，支持瀏覽器訪問，降低硬件要求）教學資源教材配套資源：微課視頻、PPT課件、實驗指導書、數據集、配置文件模板、1+X考證樣卷（二）教學方法與手段1.項目驅動教學法：每個項目按"目標-描述-分析-準備-實施-總結-考核-評價"七環節組織實施，強化"做中學"；2.案例教學法：引入"啤酒與尿布"、谷歌流感預測、Netflix推薦系統等經典案例闡釋數據思維；3.可視化教學：使用動畫演示HDFS寫流程、MapReduceShuffle過程、SparkDAG調度等抽象機制；4.分層教學：基礎薄弱學生先用Excel完成數據分析任務，再過渡到HiveSQL；編程能力強學生可嘗試Java/Python編寫MapReduce/Spark程序；5.線上線下混合：利用教材配套微課視頻支持課前預習與課后復習，課堂聚焦實操指導與問題排查；6.企業專家講座：邀請大數據平臺運維工程師或數據分析師開展1-2次行業前沿講座。（三）教材與參考資料1.主教材：大數據技術導論（項目式）2.參考教材：3.在線資源：六、課程考核與評價（一）考核方式采用過程性評價與終結性評價相結合的方式，注重實踐能力考核與1+X證書融通。課程考核信息表考核項目權重考核內容評價標準平時成績20.0%出勤、課堂表現、課后作業全勤10分，課堂互動5分，作業質量5分項目實訓40.0%Linux/Hadoop實驗報告（10%）

Flume+HBase綜合實驗（15%）

Spark/Hive綜合實驗（15%）按實驗完成度、報告規范性、故障排查能力評分項目設計20.0%大數據應用創意方案（項目8）方案完整性（40%）、技術可行性（30%）、匯報表現（30%）期末考核20.0%1+X考證樣卷筆試或綜合項目答辯按1+X初級標準或答辯評分表評定（二）1+X課證融通實施-融通內容：課程項目3-7直接覆蓋"大數據運維師"（初級）80%以上考點；-融通方式：學生完成課程學習后，可直接參加1+X證書考試；-成績認定：獲得1+X證