互聯網數據分析@騰訊

互聯網數據分析@騰訊提綱數據架構互聯網特點構建高性能數據分析架構數據倉庫（養數據）數據應用（用數據）指標搭建業務分析模型用戶挖掘模型輔助決策特點：增長快、體量大、業務多、敏捷業務形態增長快體量大業務多敏捷分析能力TB級增量數據PB級計算實時計算需求小時級報表實施天級挖掘應用數據分析–工作內容業務分析指標體系計算模型提取業務數據解讀、分析報表輸出數據提取流程建設數據應用橫向數據報表分析報告外掛、安全打擊推薦考核指標數據倉庫身份體系Profile用戶行為機能庫工具平臺計算平臺展示平臺數據提取工具高性能數據分析架構細節一：SDK部分技術架構SDK策略server上報接收server策略配置探測資源池LB中間層展示庫終端移動網絡APN管道實時入庫基礎服務移動IP庫身份庫機能庫數據存儲計算云展示平臺TDW集群HQL計算聚類模型應用展現kafka消息serverstorm流式計算實時計算數據共享分發Hive集群細節二：零代碼開發，自動化運維可視化拖拽+邏輯SQL=零代碼細節三，以數據流為中心數據任務=規范+配置項數據倉庫—養數據MIG身份庫機能庫數平QQ畫像IP庫LBS庫QQ畫像內容豐富；公司內都可用；業務群也會有自己的一些數據；數據質量非常重要，用和養互相推動；……今天的綱要數據架構互聯網特點分析構建高性能數據分析架構數據倉庫（養數據）數據應用（用數據）指標體系業務分析模型用戶挖掘模型輔助決策從干系人角度來看指標體系產品經理的疑惑哪些是我們的潛在用戶？用戶流失原因是功能問題嗎？如何挽留？廣告需要精細化，避免用戶騷擾用戶只能按arpu分類？用戶對分類推薦不感興趣，點擊率低用戶產品分析目標業務分析模型和用戶挖掘模型在線模型流動模型漏斗模型路徑模型拉新模型流失模型關聯模型病毒模型業務分析模型概覽模型分析目標在線模型業務活躍曲線及用戶形態流動模型業務健康度漏斗模型營銷類路徑模型用戶行為分析在線模型，平臺類業務的關鍵流動模型，體現業務整體健康度歷史用戶（1年內開通過，上月末非開通）回流率5.12%A業務用戶（上月末用戶數）留存率76.34%版本流失率23.66%流失用戶本月B業務新注冊用戶A業務用戶（本月）新注冊拉新占0.47%本月B業務活躍用戶拉新占17.31%非B業務用戶非B業務新開占1.15%漏斗模型，渠道分析的利器曝光點擊下載激活路徑模型，功能行為分析數據挖掘的例子年齡在20~23之間、最近一個月通過PC側A平臺大于5次并且最近一個月關閉了B業務C功能的白領用戶，屬于高流失概率用戶，流失概率27%年齡在14~17之間、最近一個月在A平臺B頻道訪問超過3次的男性用戶，喜歡C類游戲的概率較高，對其推薦成功概率為33%年齡在17~20之間、流失前未使用任何F功能、存活周期小于30天并且最近一個月使用B業務超過3天的女性用戶，通過C功能提醒關懷，回流概率較高，回流概率25%用戶挖掘模型概覽模型分析目標常用算法拉新模型尋找對產品有興趣的潛在用戶進行推廣拉新分類：決策樹、Logistic回歸、神經網絡流失模型提前預測用戶流失概率，做好挽留關聯模型內容推送（音樂、商品、書籍等）關聯規則、協同過濾病毒模型關系鏈推薦傳播關聯規則、協同過濾拉新模型，用于潛在渠道挖掘流失模型，目的在于挽留數據模型策略基礎屬性興趣屬性行為屬性渠道屬性預測：流失概率預測：挽留成功概率挽留價值=客戶價值×流失概率×挽留成功概率優先對挽留價值大的客戶實施挽留挽留分析-算法建模1智能標簽特征識別3用戶分群細化運營2關懷營銷減少騷擾挽留分析-模型命中優化四倍提升挽留實施效果2011.2月1、關懷通知2、老用戶分級特權挽留關聯模型在推薦上的廣泛應用算法復雜度音樂推薦Lift值越高，相關性越強，推薦效果高基于關系鏈的病毒模型又稱雪崩模型，口碑模型來源于社交網絡關系鏈幾何級蔓延