人工智能基礎與AIGC應用（電子活頁式）課件 模塊2 初涉AI大模型

模塊2

初涉AI大模型知識探析關于AI大模型/AI預訓練模型當前，通用大模型、行業大模型、端側大模型如雨后春筍般涌現，AI大模型產業的應用落地將進一步提速。作為新一代人工智能產業的核心驅動力，AI大模型廣泛賦能我國經濟社會的多個領域，為人們打開通往AGI的大門，推動新一輪的科技革命與產業變革。當前，我國AI大模型產業呈現蓬勃發展的態勢。伴隨著多家科技廠商推出的AI大模型落地商用，各類通用、行業及端側大模型已在多個領域，如金融、醫療、政務等領域取得了顯著成果，AI大模型已成為提升服務質量和效率的重要手段。AI大模型是一種機器學習模型，它可以學習和處理大量的信息（如圖像、文本、音頻等），也可以通過訓練完成各種復雜的任務，例如，智能語音助手識別語音指令和圖像識別軟件識別圖像都會用到AI大模型。AI預訓練模型可以通過對不同領域數據的大量訓練，掌握知識和技能。這里的“預訓練”，可以理解為像學生學習知識一樣，機器也需要通過學習和訓練來獲取相關的知識和技能，以完成各種任務。由OpenAI開發的模型ChatGPT就是一種大型語言模型（LargeLanguageModel，LLM），也是一種預訓練模型，它可以自動生成各類文本（如新聞報道、小說）。也可以回答問題、與用戶進行對話。伴隨著人工智能技術的加速演進，AI大模型已成為全球科技競爭的新高地、未來產業的新賽道、經濟發展的新引擎，AI大模型發展潛力大、應用前景廣。知識探析AI大模型的主要特征AI大模型具有泛化性（將知識遷移到新領域）、通用性（不局限于特定領域），以及涌現性（產生預料之外的結果）特征。以ChatGPT為代表的AI大模型因具有大量參數和深度網絡結構，能學習并理解更多的特征和模式，從而在處理復雜任務時展現出強大的自然語言理解、意圖識別、推理、內容生成等能力，同時具有通用問題求解能力，被視作通往AGI的重要路徑。知識探析AI大模型的主要類型按照部署方式，AI大模型主要分為云側大模型和端側大模型兩類。云側大模型部署在云端，其擁有參數規模更大、算力資源更多及滿足海量數據存儲需求等特點；端側大模型通常部署在手機、個人計算機等終端上，具有參數規模小、本地化運行、隱私保護性強等特點。AI大模型的類型AI大模型的功能AI大模型的典型案例通用大模型文本生成、語言理解、知識問答、邏輯推理、數學運算、代碼生成、多模態等百度——文心大模型科大訊飛——星火認知大模型阿里云——通義大模型行業大模型w

金融：文檔處理、知識問答、內容生成、輔助決策。w

醫療：醫學影像生成、知識問答、輔助決策。w

政務：政策檢索、知識問答、輔助決策。w

電商：經營分析、商品推廣、商品銷售。w

傳媒：錄音轉寫、新聞寫作、視頻剪輯用友——YonGPT大模型蜜度——文修大模型容聯云——赤兔大模型人民網——“寫易”智能創作引擎端側大模型物體識別、語言理解等蔚來——NOMIGPT大模型端云結合大模型語義搜索、知識問答、文本創作、圖像生成、智慧交互等vivo——藍心大模型知識探析AI大模型的應用場景我國AI大模型產業發展源于多領域的廣泛需求，例如，來自辦公、制造、金融、醫療、政務等領域中的自動化生產、降低風險、提高診斷準確率、提高政務服務效率等需求。相關領域的創新和發展共同推動著我國AI大模型產業的蓬勃發展，預示著該產業擁有廣闊的市場前景。Transformer架構Transformer架構是目前大語言模型采用的主流架構，其主要思想是通過自注意力機制獲取輸入序列的全局信息，并將這些信息通過網絡層進行傳遞。Transformer架構的優勢在于其具有較好的特征提取能力和并行計算效率。Transformer架構主要由輸入部分、多層編碼器部分、多層解碼器部分和輸出部分組成。自注意力機制作為Transformer架構的核心組件，允許架構在處理序列數據時，對每個詞位置的輸入進行加權求和，得到一個全局的上下文表示。為了提高表達能力，Transformer架構采用了多頭自注意力機制多頭自注意力的實現方法是將輸入序列分成多個組，每個組使用一個獨立的權重矩陣進行線性變換，并計算自注意力。最終，自注意力的輸出被拼接起來，并通過一個線性層得到最終的輸出表示。在計算自注意力和多頭自注意力之后，Transformer架構使用前饋神經網絡（即圖2-1中前饋層）對輸入序列進行非線性變換。前饋神經網絡由多個全連接層組成，每個全連接層都使用ReLU激活函數。知識探析AI大模型的核心技術圖2-1

Transformer架構基于人類反饋的強化學習基于人類反饋的強化學習是指將人類標記者引入大模型的學習過程中，訓練與人類偏好對齊的獎勵模型，進而有效指導大語言模型的訓練，使得模型能夠更好地遵循用戶意圖，生成符合用戶偏好的內容。基于人類反饋的強化學習具體包括以下幾個步驟。①

訓練監督策略模型：使用監督學習策略，對一個預訓練的語言模型進行訓練，通過給予特定獎勵或懲罰引導AI大語言模型的輸出或行為，使其能夠根據給定的輸入預測輸出或行為。②

訓練獎勵模型：讓數據標記工程師參與提供有關模型輸出結果的反饋，對模型生成的多個輸出或行為的質量或正確性進行排名或評分，這些反饋被轉換為獎勵信號，用于后續的強化學習過程。③

采用近端策略優化進行強化學習：先通過監督學習策略生成近端策略優化模型，經過獎勵機制反饋最優結果后，再將結果用于優化和迭代PPO模型參數。具體而言，在PPO模型訓練過程中，智能系統通過嘗試不同的行為，并根據每個行為獲得的獎勵來評估其質量，以逐步改進行為策略。基于人類反饋的強化學習示意如圖2-2所示。知識探析AI大模型的核心技術圖2-2

基于人類反饋的強化學習示意指令微調指令微調（InstructionFine-Tuning）是一種幫助大語言模型實現遵循人類語言指令，在零樣本設置上將模型對語言指令的理解和執行能力泛化到未知任務上的學習方法。指令微調可以讓大語言模型理解人類語言指令并按照指令要求完成任務，即在給定指令提示的情況下給出特定的回應。指令微調可被視為有監督微調的一種特殊形式，但兩者的目標有所差別。SFT是一種使用標記數據對預訓練模型進行微調的過程，以便模型能夠更好地執行特定任務，而指令微調是一種在包含(指令，輸出)的數據集上進

一步訓練大語言模型的過程，以便增強大語言模型的預測能力和可控性。指令微調的特殊之處在于其數據集的結構，即由人類語言指令和期望的輸出組成的數據對，這種結構使得指令微調專注于讓模型理解和遵循人類語言指令。知識探析AI大模型的核心技術模型提示通過大規模文本數據預訓練之后的大語言模型具備作為通用任務求解器的潛在能力，這些能力在模型執行特定任務時可能不會顯式地展示出來，在模型輸入中設計合適的人類語言指令作為提示有助于激發這些能力，這種技術稱為模型提示。典型的模型提示包括指令提示和思維鏈提示。①指令提示：OpenAI在GPT-3中首次提出指令提示（InstructionPrompt），并發現GPT-3在特定領域少樣本提示下的能力水平能夠達到人類水平，證明指令提示在少資源場景下非常有效。指令提示的核心思想是避免強制大語言模型適應下游任務，而通過提供“提示”（Prompt）來給數據嵌入額外的上下文以重新組織下游任務，使其看起來更像是在大語言模型預訓練過程中解決的問題。②思維鏈提示：推理的過程通常涉及多個推理步驟，通過多步推理產生可驗證的輸出，可以提高黑盒模型的可解釋性。思維鏈（ChainofThought，CoT）提示是一種模型提示，已被廣泛用于激發大語言模型的多步推理能力，鼓勵大語言模型生成思維鏈來解決問題，這類似于人類通過深思熟慮來執行復雜的任務。知識探析我國Al大模型產業發展趨勢展望近年來，我國始終高度重視人工智能的發展和頂層設計，將其上升為國家戰略，出臺一系列人工智能支持政策和規劃，國務院于2017年發布《新一代人工智能發展規劃》。科技部等6部門也于2022年印發《關于加快場景創新以人工智能高水平應用促進經濟高質量發展的指導意見》對《新一代人工智能發展規劃》進行落實，為AI大模型產業發展創造了良好的環境。2024年發布的《政府工作報告》中提出開展“人工智能+”行動。伴隨著人工智能領域中大模型技術的快速發展，我國各地方政府出臺相關支持政策，推動大模型產業的持續發展。我國AI大模型產業發展受政策、技術和市場等多方面驅動。在政策方面，各地方政府出臺相關支持政策，推動大模型產業發展；在技術方面，Transformer架構、基于人類反饋的強化學習等關鍵技術帶動了產業發展；在市場方面，辦公、制造、金融、醫療、政務等多領域的需求推動了產業發展。知識探析Al大模型將加快新質生產力發展AI大模型可以創造新價值、適應新產業、重塑新動能，是加快新質生產力發展的關鍵要素。AI大模型作為當前人工智能領域的重要技術，是孕育新質生產力的沃土。據新華網描述，新質生產力是創新起主導作用，擺脫傳統經濟增長方式、生產力發展路徑，具有高科技、高效能、高質量特征，符合新發展理念的先進生產力質態，其由技術革命性突破、生產要素創新性配置、產業深度轉型升級而催生。新質生產力以勞動者、勞動資料、勞動對象及其優化組合的躍升為基本內涵，以全要素生產率大幅提升為核心標志。AI大模型作為加快新質生產力發展的重要手段，可以推動多個領域的智能化升級，提高生產效率、降低生產成本、提升產業競爭力。隨著我國經濟進入高質量發展階段，AI大模型在催生新產業、新模式、新動能方面展現出巨大潛力，不僅支撐了經濟社會的高質量發展，也符合《國家創新驅動發展戰略綱要》所強調的創新驅動和產業升級要求。我國眾多產業對于高質量發展的需求，將為AI大模型的落地應用提供場景支撐。隨著人工智能技術的不斷升級，AI大模型產業化應用也成為可能。面對未來，我國需進一步加強對資源與研發力量的統籌，強化AI大模型在發展中的場景牽引作用，促進經濟社會的高質量發展，以實現基于AI大模型技術的高質量應用突破，驅動實體經濟的迅速發展和產業變革。OpenAI是一家致力于推動人工智能技術發展的公司，成立于2015年。OpenAI在多個AI領域取得了顯著成就，尤其是其開發的GPT系列語言模型，這些模型通過深度學習和海量數據訓練，能夠理解并生成自然語言，廣泛應用于文本生成、自動翻譯、情感分析等領域。此外，OpenAI還在計算機視覺和強化學習等領域推出了DALL·E等創新產品。百度的文心大模型科大訊飛的星火認知大模型阿里云的通義大模型深度求索的混合專家語言模型智譜的智譜清言大模型百川智能的百川大模型字節跳動的云雀大模型昆侖萬維的天工大模型騰訊的騰訊混元大模型其他AI大模型OpenAI的ChatGPT谷歌公司的Gemini微軟的CopilotAnthropic的ClaudeAI知識探析AI大模型開發公司及其開發的AI大模型各盡所能、各有所長國內的AI大模型開發公司及其大模型國外主流的AI大模型開發公司及其大模型OpenAI公司開發的GPT系列模型知識探析常用的國產綜合型AI工具或平臺簡介序號名稱1文心一言2豆包3DeepSeek4Kimi5訊飛星火6通義7智譜清言8天工AI9騰訊元寶10海螺AI綜合型AI工具或平臺提供文本聊天、繪畫、文檔閱讀、代碼生成、智能搜索等綜合性的功能。目前，常用的國產綜合型AI工具或平臺如表2-2所示。表2-2

常用的國產綜合型AI工具或平臺知識探析文心一言的基本功能與頁面布局1．文心一言的基本功能（1）知識增強、檢索增強和對話增強文心一言基于百度在人工智能領域的深厚積累，持續從海量數據和大規模知識中融合學習，具備知識增強、檢索增強和對話增強的技術特色，能高效、便捷地幫助用戶獲取信息、知識和靈感。（2）多樣化使用功能文心一言提供PC端、App端以及API接入等多種使用方式，滿足不同用戶在不同場景下的需求，App端增加了社區和發現功能，API接入則適用于企業級場景。（3）文本處理功能文心一言可對用戶輸入的文本內容自動進行分類，如新聞、小說、評論等；可對文本進行情感傾向性分析，有助于用戶更好地理解文本所傳達的情緒和態度；可比較兩個文本的相似度，判斷它們是否具有較高的相關性，有助于用戶在大量文本中快速找到與查詢文本相似的文章或句子。知識探析文心一言的基本功能與頁面布局文心一言的頁面主要包括3個部分。（1）側邊欄側邊欄主要包括新對話、創意寫作、閱讀分析、智慧繪圖、近期對話和智能體廣場等。（2）內容區域

內容區域會推薦一些今日熱點、主要功能等，為新手提供指引，幫助其快速進行體驗。（3）搜索區域搜索區域除了文字互動外，用戶還可以上傳文檔、圖像、音頻、視頻等。圖2-5

文心一言的首頁知識探析文心一言的基本功能與頁面布局3．文心一言的特色功能（1）百度網盤聯動百度網盤是基于云端的文件存儲空間，用戶可以通過網絡將文件上傳到百度網盤，也可以從百度網盤下載文件到本地設備。它相當于一個虛擬的“網絡硬盤”，用戶可以隨時隨地通過互聯網訪問和管理存儲在其中的文件。（2）閱讀分析閱讀分析可以分為論文閱讀、報告閱讀、工作文檔閱讀3個類別，面對較長的文章或報告，用戶往往難以快速把握其核心內容，文心一言閱讀分析功能能夠自動提取文章或報告的關鍵信息，生成簡潔明了的摘要，幫助用戶快速了解文章或報告的主旨。（3）智慧繪圖文心一言的AI繪畫技術升級后，支持一鍵生成多比例圖像，用戶只需在提示詞中加入所需的畫面比例詞，如“3∶4”或“16∶9”，系統便能生成相應比例的圖像，極大地簡化了新媒體配圖的流程。文心一言同時涵蓋圖像重繪、局部編輯功能，能夠提高圖像繪制的準確率及加強對用戶需求的視覺支持。（4）雙端協同通過企業用戶端（B端）和個人消費者端（C端）的協同，文心一言不僅能夠為企業用戶提供強大的技術支持，還能為個人消費者提供便捷的智能服務，實現技術與市場的雙重拓展。此外，文心一言通過B端、C端協同，實現消息互通與體驗一致，使用戶能夠在PC端跟進在移動端的使用過程，極大地方便了辦公人群。知識探析豆包的主要功能圖2-6

豆包的首頁應用實踐剖析我國通用大模型的典型案例【任務描述】對文心大模型、星火認知大模型、通義大模型等典型的通用大模型的優勢與應用進行較為全面與客觀的剖析。【任務實施】1．案例1：百度——文心大模型文心大模型是百度自主研發的產業級知識增強大模型，它通過融合海量數據與大規模知識圖譜，具備跨模態、多任務的深度語義理解與生成能力，既能像人類一樣理解文本、圖像和語音信息，又能基于知識推理完成復雜邏輯任務。文心大模型現已在智能創作、智能客服、產業智能升級等場景中實現規模化應用，成為推動人工智能與實體經濟深度融合的關鍵技術底座。2．案例2：科大訊飛——星火認知大模型星火認知大模型是科大訊飛推出的新一代認知大模型，可實現基于自然對話方式的用戶需求理解與任務執行。星火認知大模型從賦能人機交互、賦能知識學習與內容創作、提升數智化生產力3個方面展現其應用能力。星火認知大模型具備七大核心能力：文本生成、語言理解、知識問答、邏輯推理、數學題解答、代碼理解與編寫和多模態交互。3．案例3：阿里云——通義大模型通義大模型是阿里云推出的多模態人工智能大模型，它基于統一技術底座與層次化架構，能夠實現對文本、圖像、音頻、視頻等多模態數據的智能處理。通義大模型在醫療、司法等領域實現病歷處理、法律文書生成等場景落地。此外，通義大模型提供開源模型與開發者生態支持，正探索長期記憶與多智能體協作能力以推動通用人工智能發展。應用實踐剖析我國行業大模型的典型案例【任務描述】對YonGPT大模型、文修大模型、赤兔大模型、“寫易”智能創作引擎等典型的行業大模型的優勢與應用進行較為全面與客觀的剖析。【任務實施】1．案例1：用友——YonGPT大模型YonGPT大模型是用友基于數字和智能技術服務企業和公共組織數智化的企業服務大模型。YonGPT大模型在企業服務領域的應用主要集中在4個方向：智能化的業務運營、自然化的人機交互、智慧化的知識生成、語義化的應用生成。2．案例2：蜜度——文修大模型文修大模型是蜜度推出的一款聚焦于智能校對領域的大語言模型，其基于蜜度在校對領域的知識和經驗積累，為政務單位、新聞媒體、企業單位、學校機構、出版機構等專業用戶提供更貼合使用場景的校對服務。3．案例3：容聯云——赤兔大模型赤兔大模型是容聯云開發的面向企業應用的垂直行業多層次大語言模型，其能夠賦能企業搭建專屬智能客服和實現數智化營銷，完成從“降本增效”到“價值創造”的進化。其能力包括會話洞察、業務話術、問答知識庫、數據分析、智能對話框架、流程管理等。4．案例4：人民網——“寫易”智能創作引擎“寫易”智能創作引擎是人民網推出的垂直類寫作大模型，依托自主研發的主流價值觀大模型針對寫作場景訓練而成。“寫易”智能創作引擎適用于黨政黨媒、央企國企、學校醫院等有日常閱讀需求和寫作需求的群體，可以為他們提供專業、系統、持續更新的數智服務。應用實踐剖析我國端云結合大模型的典型案例【任務描述】對vivo的藍心大模型的優勢與應用進行較為全面與客觀的剖析。【任務實施】藍心大模型是行業內首個在手機端運行的開源自研大模型，也是更適合中文用戶的中文開源大模型，其參數規模龐大。隨著參數量的提升，藍心大模型逐漸具備內容創作、知識問答、邏輯推理、代碼生成、信息提取等能力。基于藍心大模型的能力，vivo開發出藍心小V和藍心千詢等智能產品。應用實踐體驗文心一言的多種應用場景【任務描述】文心一言憑借其全面的指令集，不僅實現了對自然語言的高效理解和處理，還能夠為用戶提供多元化的智能服務，極大地拓寬了應用場景和提高了用戶體驗。在文心一言中完成以下任務。①

查詢天氣。②

設置提醒。③

文本生成。④

詩歌創作。⑤

邏輯推理。⑥

情感分析。⑦

文章語氣和語調調整。⑧

撰寫詩句。應用實踐體驗文心一言的多種應用場景【任務實施】1．查詢天氣2．設置提醒3．文本生成4．詩歌創作5．邏輯推理6．情感分析7．文章語氣和語調調整8．撰寫詩句AI的創造性與其訓練數據和模型息息相關，不同的AI工具生成的內容可能不同。以AI目前的發展水平，AI工具生成