機(jī)器學(xué)習(xí)基礎(chǔ)與應(yīng)用 課件 第六章 基于k均值聚類算法的信用卡客戶劃分

第六章基于k均值聚類算法的信用卡客戶劃分目

錄聚類的概念k均值聚類算法實(shí)現(xiàn)流程聚類數(shù)量選擇方法：手肘法聚類任務(wù)評估指標(biāo)01020304聚類的概念01聚類的概念聚類是一種無監(jiān)督學(xué)習(xí)方法，將數(shù)據(jù)集中相似的數(shù)據(jù)點(diǎn)分組，并將分組后的數(shù)據(jù)點(diǎn)形成簇（cluster），簇代表一組相似的數(shù)據(jù)點(diǎn)，不同的簇之間的數(shù)據(jù)點(diǎn)差異較大。聚類可以幫助我們發(fā)現(xiàn)數(shù)據(jù)集中的隱藏規(guī)律和結(jié)構(gòu)，進(jìn)而進(jìn)行數(shù)據(jù)的分類、降維和異常檢測等任務(wù)。聚類是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域中的一種重要技術(shù)，被廣泛應(yīng)用于商業(yè)、醫(yī)療、社交網(wǎng)絡(luò)等領(lǐng)域。01聚類的概念01聚類分類學(xué)習(xí)類型無監(jiān)督學(xué)習(xí)有監(jiān)督學(xué)習(xí)標(biāo)簽依賴不需要已知的標(biāo)簽或類別信息來進(jìn)行學(xué)習(xí)和預(yù)測需要已知的標(biāo)簽或類別信息來進(jìn)行學(xué)習(xí)和預(yù)測學(xué)習(xí)目標(biāo)將相似的數(shù)據(jù)聚到一起，成為一個(gè)類對現(xiàn)有的數(shù)據(jù)集以及所屬標(biāo)簽進(jìn)行學(xué)習(xí)，然后對未知數(shù)據(jù)進(jìn)行預(yù)測，確認(rèn)其所屬分類核心邏輯不關(guān)注標(biāo)簽，只做相似性分組先學(xué)標(biāo)簽規(guī)律，再做未知數(shù)據(jù)分類預(yù)測k均值聚類算法實(shí)現(xiàn)流程02k均值聚類算法實(shí)現(xiàn)流程聚類算法：K-Means、層次聚類、密度聚類等；這些算法的原理和實(shí)現(xiàn)方法都不同，但它們的目標(biāo)都是將數(shù)據(jù)點(diǎn)分組，形成簇。02k均值聚類算法也被稱為K-Means算法，核心思想：假設(shè)把數(shù)據(jù)聚成K個(gè)簇（類別），每個(gè)簇都會有一個(gè)中心（也叫質(zhì)心）。在開始進(jìn)行聚類時(shí)，會隨機(jī)從數(shù)據(jù)中選擇K個(gè)數(shù)據(jù)點(diǎn)作為初始聚類中心，某個(gè)樣本如果離第i個(gè)質(zhì)心是距離最近的，那么這個(gè)樣本就劃分到第i個(gè)簇。k均值聚類算法實(shí)現(xiàn)流程02在隨機(jī)初始化K個(gè)聚類中心時(shí)，需要從數(shù)據(jù)集中隨機(jī)選擇K個(gè)數(shù)據(jù)點(diǎn)并以此作為初始聚類中心。聚類中心不一定是數(shù)據(jù)集中的點(diǎn)，也可以是虛擬的點(diǎn)。第一步：隨機(jī)初始化K個(gè)聚類中心對于每個(gè)數(shù)據(jù)點(diǎn)，需要計(jì)算它與每個(gè)聚類中心之間的距離（歐幾里得距離或曼哈頓距離等距離度量方法），然后將數(shù)據(jù)點(diǎn)劃分到距離最近的聚類中心所在的簇中。第二步：計(jì)算每個(gè)數(shù)據(jù)點(diǎn)到每個(gè)聚類中心的距離，并根據(jù)距離劃分?jǐn)?shù)據(jù)點(diǎn)k均值聚類算法實(shí)現(xiàn)流程02在重新計(jì)算每個(gè)簇的聚類中心時(shí)，可以采用兩種方法：一種是將簇內(nèi)所有數(shù)據(jù)點(diǎn)的均值作為新的聚類中心；另一種是將簇內(nèi)距離聚類中心最近的數(shù)據(jù)點(diǎn)作為新的聚類中心。這個(gè)過程將會重復(fù)執(zhí)行，直到聚類結(jié)束。第三步：重新計(jì)算每個(gè)簇的聚類中心在迭代優(yōu)化的過程中，需要重復(fù)執(zhí)行第二步～第三步，直到聚類中心不再改變，即達(dá)到穩(wěn)定狀態(tài)。最終，就可以得到K個(gè)簇，每個(gè)簇包含一些距離較近的數(shù)據(jù)點(diǎn)。第四步：確定最終聚類結(jié)果聚類數(shù)量選擇方法：手肘法03聚類數(shù)量選擇方法：手肘法手肘法（elbowmethod）：在聚類數(shù)量不斷增加的過程中，隨著聚類數(shù)量的增加，SSE（誤差平方和，即每個(gè)數(shù)據(jù)點(diǎn)與其所屬簇的聚類中心之間的距離平方和）或WCSS（簇內(nèi)平方和，即每個(gè)簇內(nèi)數(shù)據(jù)點(diǎn)與該簇聚類中心之間距離平方和的總和）會逐漸減小，但隨著聚類數(shù)量繼續(xù)增加，SSE或WCSS下降的速度會減緩。使用手肘法選擇聚類數(shù)量的關(guān)鍵是找到SSE或WCSS下降速度變緩的拐點(diǎn)，即手肘點(diǎn)。03聚類數(shù)量選擇方法：手肘法例：圖中在聚類個(gè)數(shù)為3時(shí)的拐點(diǎn)即為比較合適的聚類數(shù)量。03聚類任務(wù)評估指標(biāo)04聚類任務(wù)評估指標(biāo)聚類評估指標(biāo)是用來衡量聚類算法性能和效果的工具。其中，輪廓系數(shù)和蘭德系數(shù)是兩個(gè)常用的評估指標(biāo)。04輪廓系數(shù)衡量維度：輪廓系數(shù)是一種度量聚類結(jié)果緊密度和分離度的指標(biāo)。計(jì)算邏輯：對于每個(gè)數(shù)據(jù)點(diǎn)，輪廓系數(shù)計(jì)算該點(diǎn)到所屬簇內(nèi)其他數(shù)據(jù)點(diǎn)的平均距離（即簇內(nèi)距離）和該點(diǎn)到最近簇內(nèi)其他簇的平均距離（即簇間距離），并將兩者的差值除以兩者中的最大值。評估標(biāo)準(zhǔn)：輪廓系數(shù)越接近1表示聚類效果越好，越接近0表示聚類效果越差。聚類任務(wù)評估指標(biāo)聚類評估指標(biāo)是用來衡量聚類算法性能和效果的工具。其中，輪廓系數(shù)和蘭德系數(shù)是兩個(gè)常用的評估指標(biāo)。04蘭德系數(shù)衡量維度：蘭德系數(shù)是一種度量聚類結(jié)果與真實(shí)標(biāo)簽吻合程度的指標(biāo)。計(jì)算邏輯：蘭德系數(shù)基于數(shù)據(jù)點(diǎn)之間的相似性（或距離），將數(shù)據(jù)點(diǎn)分為不同的簇，并與真實(shí)標(biāo)簽進(jìn)行比較。蘭德系數(shù)計(jì)算所有數(shù)據(jù)點(diǎn)之間相同簇分配的比例和不同簇分配的比例，將其相加得到一個(gè)總體分?jǐn)?shù)。評估標(biāo)準(zhǔn)：分?jǐn)?shù)越高表示聚類結(jié)果與真實(shí)標(biāo)簽越吻合，分?jǐn)?shù)越低表示聚類結(jié)果與真實(shí)標(biāo)簽越不吻