機(jī)器學(xué)習(xí)基礎(chǔ)與應(yīng)用 課件 第十二章 智慧風(fēng)控：基于多模型融合實(shí)現(xiàn)電信客戶流失預(yù)警

第十二章智慧風(fēng)控：基于多模型融合實(shí)現(xiàn)電信客戶流失預(yù)警目

錄XGBoost算法概述XGBoost算法原理XGBoost算法的優(yōu)缺點(diǎn)010203XGBoost算法概述01XGBoost算法概述XGBoost（extremegradientboosting，XGBoost）算法又叫極度梯度提升樹，是集成學(xué)習(xí)中Boosting算法中的一種實(shí)現(xiàn)方式。該算法是基于GBDT算法的一種高效實(shí)現(xiàn)，能夠在大規(guī)模數(shù)據(jù)集上運(yùn)行，并具有很強(qiáng)的泛化能力。XGBoost算法被廣泛應(yīng)用于數(shù)據(jù)挖掘、自然語言處理、計(jì)算機(jī)視覺和推薦系統(tǒng)等領(lǐng)域，成為許多數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師的首選算法之一。01XGBoost算法概述XGBoost算法由華盛頓大學(xué)的陳天奇博士提出，最開始是分布式機(jī)器學(xué)習(xí)研究社區(qū)小組的研究項(xiàng)目之一，后來在希格斯機(jī)器學(xué)習(xí)挑戰(zhàn)賽（HiggsBosonMachineLearningChallenge，一個(gè)由Kaggle組織舉辦的機(jī)器學(xué)習(xí)競(jìng)賽）中大放異彩，被業(yè)界所熟知并廣泛使用。在工業(yè)界，目前，一些主流的互聯(lián)網(wǎng)公司如騰訊、阿里巴巴等都已將XGBoost算法應(yīng)用到其業(yè)務(wù)中；在各種數(shù)據(jù)科學(xué)競(jìng)賽中，XGBoost算法也成為參賽選手的首選模型之一，幫助了許多競(jìng)賽者在賽場(chǎng)上取得優(yōu)異的成績(jī)。01XGBoost算法原理02XGBoost算法原理XGBoost算法是一個(gè)開源框架，是在GBDT算法的基礎(chǔ)上對(duì)Boosting算法進(jìn)行的改進(jìn)。在GBDT算法中，模型學(xué)習(xí)的是損失函數(shù)的梯度；在XGBoost算法中，模型學(xué)習(xí)的則是損失函數(shù)的二階泰勒展開的差值；XGBoost算法在代價(jià)函數(shù)里加入了正則項(xiàng)，用于控制模型的復(fù)雜度，這樣在保證高精度的同時(shí)又保證了極快的速度。02XGBoost算法原理XGBoost算法的核心思想：02通過不斷添加決策樹，不斷進(jìn)行特征分裂來生長(zhǎng)一棵樹，每次添加一棵決策樹，其實(shí)是學(xué)習(xí)一個(gè)新函數(shù)，去擬合上次預(yù)測(cè)的殘差。當(dāng)訓(xùn)練完成得到k棵決策樹后，要預(yù)測(cè)一個(gè)樣本的分?jǐn)?shù)，就是根據(jù)該樣本的特征，在每棵樹中會(huì)落到對(duì)應(yīng)的一個(gè)葉子節(jié)點(diǎn)，每個(gè)葉子節(jié)點(diǎn)就對(duì)應(yīng)一個(gè)分?jǐn)?shù)。最后將每棵樹對(duì)應(yīng)的分?jǐn)?shù)進(jìn)行相加，從而得到該樣本的預(yù)測(cè)值。123XGBoost算法原理XGBoost模型訓(xùn)練的主要流程：確定模型形式、設(shè)定目標(biāo)函數(shù)、模型優(yōu)化。02（1）首先是確定模型形式。假設(shè)有一個(gè)n條樣本、m個(gè)特征的原始數(shù)據(jù)集D={(x1,y1),(x2,

y2),…,(xi,yi)}，其中，xi為第i個(gè)特征向量，yi為第i個(gè)樣本的真實(shí)值；而XGBoost模型是由多個(gè)基模型組成的一個(gè)加法模型，如果該模型進(jìn)行了t次迭代后建立了t顆決策樹，則最終的模型可以表現(xiàn)為t為決策樹的數(shù)量；ft(xi)表示第t顆決策樹對(duì)樣本xi的預(yù)測(cè)值；?i(t)為XGBoost模型迭代i次后輸出的預(yù)測(cè)值。XGBoost算法原理XGBoost模型訓(xùn)練的主要流程：確定模型形式、設(shè)定目標(biāo)函數(shù)、模型優(yōu)化。02（2）接著是設(shè)定目標(biāo)函數(shù)。XGBoost模型的目標(biāo)函數(shù)是由損失函數(shù)和正則化項(xiàng)兩部分組成：損失函數(shù)是用于衡量模型預(yù)測(cè)值和真實(shí)值差異的一種指標(biāo)，常用的損失函數(shù)有均方誤差、均方根誤差、對(duì)數(shù)損失誤差等。其中均方誤差的式子如下。n為樣本的總數(shù)；yi為真實(shí)值；?i為預(yù)測(cè)值XGBoost算法原理XGBoost模型訓(xùn)練的主要流程：確定模型形式、設(shè)定目標(biāo)函數(shù)、模型優(yōu)化。02正則化項(xiàng)是為了控制模型的復(fù)雜度，防止過擬合。常見的正則化有L1、L2正則化。其中L2正則化的式子如下。γT項(xiàng)用于控制決策樹的復(fù)雜度，γ越大表示懲罰葉子節(jié)點(diǎn)數(shù)量的力度越大，T越大代表決策樹越復(fù)雜；1/2λ‖w‖2項(xiàng)則用于控制葉子節(jié)點(diǎn)的分?jǐn)?shù)大小，λ越大表示懲罰葉子節(jié)點(diǎn)分?jǐn)?shù)的大小。所以目標(biāo)函數(shù)可以表示為：XGBoost算法原理XGBoost模型訓(xùn)練的主要流程：確定模型形式、設(shè)定目標(biāo)函數(shù)、模型優(yōu)化。02XGBoost模型在訓(xùn)練過程中根據(jù)當(dāng)前模型損失函數(shù)的負(fù)梯度信息來訓(xùn)練新加入的弱分類器，然后將訓(xùn)練好的弱分類器以累加的形式結(jié)合到現(xiàn)有模型中，迭代過程可以表示為：?i(t)為第t輪迭代訓(xùn)練后模型對(duì)樣本i的預(yù)測(cè)值；f(xi)為建立的第t棵樹即第t個(gè)基模型，是以擬合前t-1棵樹的殘差為目標(biāo)而生成的，且在訓(xùn)練第t棵樹時(shí)，前t-1棵樹的結(jié)構(gòu)復(fù)雜度均已知。則目標(biāo)函數(shù)可以表示為XGBoost算法原理XGBoost模型訓(xùn)練的主要流程：確定模型形式、設(shè)定目標(biāo)函數(shù)、模型優(yōu)化。02（3）最后則是模型優(yōu)化，需要最小化目標(biāo)函數(shù)，從而實(shí)現(xiàn)每一次對(duì)新加入模型的最優(yōu)設(shè)定，使總體模型達(dá)到最優(yōu)效果。XGBoost模型在優(yōu)化時(shí)對(duì)損失函數(shù)進(jìn)行了二階泰勒展開，同時(shí)用到了損失函數(shù)的一階導(dǎo)以及二階導(dǎo)。XGBoost算法的優(yōu)缺點(diǎn)03XGBoost算法的優(yōu)缺點(diǎn)XGBoost算法目前已經(jīng)在行為預(yù)測(cè)、搜索排序、數(shù)據(jù)預(yù)測(cè)、分類、回歸等問題上得了良好結(jié)果，應(yīng)用前景廣闊。03XGBoost算法的優(yōu)點(diǎn)XGBoost算法的缺點(diǎn)（1）加入正則化項(xiàng)，降低了模型的方差，使學(xué)習(xí)出來的模型更加簡(jiǎn)單，有助于防止過擬合；（2）支持列抽樣，不僅能降低過擬合，還能減少計(jì)算；（3）適合處理結(jié)構(gòu)化數(shù)據(jù)；（4）對(duì)于中低維