骨干網大數據采集與精準推廣技術分析

骨干網大數據采集

技術白皮書

王智民

2014年7月

目錄

概要......................................................................4

二、本解決方案................................................................4

1系統組成..................................................................4

2部署方式..................................................................5

3子系統詳述................................................................6

3.1采集系統.............................................................6

3.1.1功能............................................................6

3.1.2規格...........................................................13

3.1.3部署...........................................................13

3.1.4優勢...........................................................14

3.2挖掘系統............................................................14

3.2.1功能...........................................................14

3.2.2規格...........................................................15

3.2.3優勢...........................................................15

3.3推送系統............................................................16

3.3.1功能...........................................................16

3.3.2規格...........................................................16

3.3.3優勢...........................................................17

4數據流說明...............................................................17

41DCP數據輸入輸出說明.................................................17

4.2DMP數據輸入輸出說明...............................................17

4.3DSP數據輸入輸出說明................................................18

三、安全性說明...............................................................19

1概述.....................................................................19

2通信安全.................................................................19

3數據安全.................................................................19

3.1帳號加密處理........................................................20

3.2URL隱私過濾處理....................................................20

3.3Cookie隱私過濾史理..................................................20

3.4定制化內容輸出......................................................20

4管理安全.................................................................21

5常見Q&A：............................................................................................................................21

四、業務介紹.................................................................21

1全搜索投放...............................................................22

2關聯投放.................................................................22

3線性投放.................................................................22

4人群精準投放.............................................................22

5內容推薦.................................................................22

6門戶導航.................................................................22

7信息推送................................................................23

五、優勢

23

供的用戶特征為數據依據。

三大子系統均采用標準的開放接口，既可以協同運作，又可以分開銷售，獨立運作。

2部署方式

本采用旁路部署，可以部署在城域網、省干出口、互聯互通口等位置，如卜.圖所示:

數據采集設備可以直接分光接入或者通過分流平臺接入。出于.安全和性能考慮，數據挖

掘子系統分別部署在本地和云中心，本地保存明細數據，云中心只保存計算結果、合作媒體

數據及匯總數據。內容調度由云中心的調度服務器統一完成，云數據挖掘系統為調度提供數

據支持。

3子系統詳述

3.1采集系統

3.1.1功能

本DCP系列網絡行為采奐系統，在充分保護用戶隱私的前提下，對現網用戶點擊流進

行實時過漉和采集，向第三方應用提供信息安全共享，實現運營商數據業務的增值。本DCP

系列設備為電信級大容量產品，具有優異的處理能力。

本DCP設備單臺處理能力40G,支持4*10GE、4*10GPOS和18*1GE接口，產品占用

2U空間，其外型、板卡、所用多核CPU如下圖所示：

Banked8MBLevel-3Cache

一

Q2

W

CC

HO

aO

a①

6

p◎

wo

y=CaclCaclJeachCach(Caclw

Me

am

ct

aonromiiuiBrferraiFmm

o/o

a-c

F

pd

uz

sielESJZJj

oz

sbQ

cACore0Core1CorelCor?3Core4CorefiCor?e

so-c

soO

Ur

J

a

wFastMessageNetwork

s5

<3

s^

8

0I/。DistributedInterconnect(IODI)

EJTAG

KeyO

NetworkAccelEngineSecurity/12c

POFPExdi-l

EnginesEoFlash

EnginesOs

RAIICo

3)pawOdORO

0j

UJMlnUART

d

OSSP!

Debug

MiX

硬件采用多核CPU芯片，內置32個CPU,這些CPU可以并發地執行多個指令，各個

CPU有自己獨立的指令單元，相互之間沒有依賴：提供高速包轉發引擎和SSL加解密引擎。

上圖是該CPU的物理架構圖，圖中共8個核(Core),每核有4個硬線程，共計32個CPU。

本DCP主要研究并解決了多核CPU的關鍵技術，包括

采用多核多進程調度，協調多個CPU之間負載均衡

采用內核自旋鎖解決多個CPU之間資源競爭，比如會話表的讀寫操作

采用可更用易編程的IPC通訊機制實現多個CPU之間的實時通信機制

采用基于MIPSTLBS塊內存分配機制、快速緩存處理機制進行高效內存管理

采用基于會話和ACL的高效安全規則匹配算法

獨立自主研發的熱備份功能保證多個業務板之間交換和負載均衡

多個業務板之間相關表項的同步與更新，比如ARP表、MAC轉發表、Session會話表等

利用高擴展和高性能的軟件平臺快速開發和擴展傳輸層復雜多變的DCP特性

通用操作系統，一是無法滿足高實時性要求，二是沒有充分考慮并行處理，必須從整體

架構上重新進行軟件開發平臺的設計。

1)平臺化設計

所謂平臺化，包括下面幾個方面的含義：

?所有產品必須以此平臺為開發基礎：

?所有產品必須共享知識給此平臺：

?產品和平臺相互發展；

-包括硬件平臺化和軟件平臺化。

2）強化數據并行處理

我們的平臺作為網絡設備的通用開發平臺，不但能夠實很好的實現系統控制部分與數據

處理邏輯分離，還很好的實現數據處理在多個CPU上并行處理，提升系統整體性能。

3）模塊化設計

此平臺秉承模塊化思想，對所有模塊要求相互之間盡量減少耦合，模塊與模塊之間的接

口定義要求清晰，并具有一定的擴展性。

此平臺所有模塊設計采用核心層和外圍適配層方式。當某個模塊的外部接口變化，不必

要改動模塊的核心代碼，只是需要簡單的更改外圍適配層即可，盡可能的減少對模塊的影響，

提高系統的適應能力和穩定性。

4）穩定與效率并重

作為產品開發平臺，穩定性要求很高，但同時，效率特別是數據報文處理效率從系統架

構上得到了保證。

軟件系統抽象成四大平而：控制平面（ControlPlane,CP）s數據平面（DataPlane,DP）、

OSAL操作系統和底層板載驅動（BSP）。OSAL是統?的上層接口，屏蔽了硬件差異帶來的研

發工作量，使得產品可快速適應更多硬件平臺。數據平面和控制平面根據業務需求劃分為不

同模塊，DCP模塊是其中關鍵的業務處理模塊。

軟件各子系統關系圖如下圖所示，圖中以子系統的方式描述了各功能。

報文發送

軟件子系統組成

子系統名稱功能

子系統1連接維護子系統根據報文的5元組建立連

接，記錄方向、狀態等信息。

對于連接異常，根據協議類

型,進行安全防護

子系統2數據采集子系統根據系統中配置的數據

采集策略，結合子系統1,對

報文進行采集和過濾

子系統3路由子系統實現IPv4和IPv6的路由

轉發功能。旁路情況下無需發

揮作用

子系統4配置管理子系統實現從web界面對設備

的配置功能。

子系統5用戶管理和認證實現用戶管理和認證的

子系統相關功能。

子系統6日志了?系統實現日志的存儲，分類，

分級檢索和發送功能。

連接維護子系統實現原理

以源IP、源端口、目的IP、目的端口、協議這5個元素作為會話五元組，來標示一

個連接信息。連接同時記錄了傳輸層的狀態、報文的方向等信息。對收到的網絡報文,

如果系統中沒有匹配的連接信息，這時會新建一個連接，并更新連接狀態。對報文的處

理都會記錄在連接信息中，后續屬于該連接的報文都會遵循相同的處理，提高了安全性

和檢測效率。進行會話管理的同時，可以實現會話限制功能。同時對于連接異常的報文，

進入抗網絡攻擊模塊的流程進行處理。

數據采集子系統實現原理

訪問控制流程:

本系統根據連接狀態及安全策略對當前數據報文執行采集或者過濾動作。流量通過設備

時，會匹配上相應的包過濾規則，就可對流量進行分流，執行相關的采集控制功能。

本系統調用連接維護子系統的狀態檢測接口，對數據報文進行狀態合法性檢測。對執行

采集的報文，調用日志子系統接口進行日志發送。

路由子系統實現原理

本子系統包括路由信息維護和路由轉發兩部分。

路由信息維護：

由OSPF和RIP協議實現動態路由信息的維護：靜態路由信息由用戶直接手工配置。

路由信息都匯總到路由信息表中。

路由轉發：

根據報文的目的IP地址進行路由查找,根據路由信息確定下一條地址。

原理圖如卜.：

配置管理子系統通過WEB界而可以直接修改靜態路由信息：配置管理子系統通過WEB

界面可以啟動或關閉動態路由協議；

用戶管理與認證子系統實現原理

該部分完成用戶管理，審計和用戶認證的功能。

用戶分為管理員和認證用戶兩類。

具有用戶管理權限的管理員可以通過web界而來增加、刪除管理員、認證用戶，修改用戶

屬性，調整組權限。用戶的認證信息，組權限等都記錄在用戶雙限數據庫中。

防火墻對用戶的認證通過用戶名+口令的方式實現。

用戶接口：使用配置管理子系統接口，供用戶進行用戶管理和審計設置及審計信息查看工

內部接口：用戶權限動態庫通過API的方式向其它子系統提供用戶認證和審計收集的接口。

配置管理子系統實現原理

該子系統為用戶提供基于WEB的界面，供用戶對設備進行管理?？蓪崿F配置、修改設

備的工作模式、接口的IP地址，增加、刪除、修改策略、靜態路由信息，顯示設備的連接

狀態，CPU信息，版本號等。其功能包括：

系統配置：配置系統的常規信息，如設備名稱、接口IP地址、接口訪問控制、系統時鐘、

用戶配置、透明或路由模式、安全策略、路由信息等、日志過濾等。

升級管理：防火墻支持軟件版本的升級功能,通過Mh界面可以方便得進行升級操作。

系統重啟：具備遠程重啟系統的權限。

狀態查看：查看設備的連接狀態、CPU信息、版本號、系統資源、重大告警事件等。

用戶接口：向用戶提供web方式的配置界而，用戶可以方便地通過IE瀏覽器進行配置

管理操作。

內部接口：本子系統通過HTTPS協議連接設備，內部通過http/javascript描述語言進行

配置信息的交互。

該子系統實現了所有安全功能的管理配置需求，因此覆蓋所有的功能。

日志子系統功能說明

DCP支持日忐信息的分級，可以按級別和模塊進行日志過濾顯示，并支持關鍵字查找。

用戶接口：用戶可以通過web配置界面打開相應模塊的日志報警功能，設置日志的級

別、日志報警的方式：對不同的日志發送方式，可以分別進行查看、刪除等操作。

內部接口：連接維護子系統、DCP子系統、路由子系統、用戶管理和認證子系統、配置

管理子系統通過調用本子系統的內部API接口實現日志信息的報警功能。

該子系統實現了安全審計功能。

DCP是本整體解決方案的數據采集子系統，是數據獲取的源頭。它的工作是采集用戶

原始上網流量，提取其中的HTTP上行流量，并按照預先定義的規則以日志文件的形式輸出

HTTP上行流量中的指定字段，如URL、Cookie.Host等。通過將用戶原始上網流量過濾為

以指定字段輸出的日志文件，DCP能實現超高帶寬壓縮比（一般可達到0.5%）,在完成了本

地流量采集和過濾后以較小帶寬將日志數據輸出到遠程IDC中，供挖掘系統進行進一步數據

挖掘工作。

網絡傳輸的數據流中，包含各種各樣的涉及到用戶隱私的信息，如：上網帳號、郵件地

址、銀行帳號、身份證號碼、數據庫用戶名密碼、網上銀行交易信息、網購交易信息等；為

了確保用戶隱私信息不被泄露，系統只提取HTTP的Get報文：對用戶上網賬號等用于區分

用戶的信息進行不可逆MD5加密：同時提供豐富的可編程接匚，利用ACL、正則表達式和

黑白名單過濾技術，對可能涉及到敏感信息的字段過濾，最大程度保護網民隱私。另外系統

還提供第三方審計的接口，確保所有分享的用戶信息都是可管理可控制的。

3.1.2規格

本DCP系統采用專有的硬件設計，利用RISC多核處理架構結合FPGA加速，將傳統的

分流與處理能力合二為一，支持40Gbps的輸入流量和2Gbps的日志輸出流量，可與目前主

流的分光平臺直接對接；在沒有建設分流平臺的局點，也可直接與分光鏈路進行對接，極大

減少分流平臺的建設量和核心機房的占用，實現低成本全網流量覆蓋。

規格項規格描述

處理帶寬L無分流平臺4CG

2.有分流平臺1C0G

支持的接口4*10GE、4*10GPOS>18*1GE

占用空間2U

支持用戶數500萬

輸出能力2M

功耗150W

可靠性雙路供電

支持的二層協議Ethernet.POS、VLAN

支持的三層協議IPV4、IPV6

支持的四層協議TCP、UDP

支持的隧道協議GRE、MPLS>QinQ、L2TP、GTP-U

支持的應用層協議HTTP1.0,HTTP1.1.RTSP、VoIP

支持的信令新鞋Radius.GTP-C

3.1.3部署

本DCP可以以并行的方式部署在運營商城域網出口和AAA服務器的前面，用于采集

用戶上網信令和上網數據，進行用戶數據匿名關聯和安全過濾后（過灌掉可能泄露用戶隱私

的信息），分享給IDC機房的第三方系統。

在無線網絡中，本DCP一般部署在Gn接口處，支持GTP-C協議，系統將用戶IMSI、

MSISDN.IMEI經MD5不可逆加密后轉換為UID,作為用戶相關信息檢索的唯一標識符。

3.1.4優勢

優勢說明

業界獨有相對于現有的分流平臺+x86服務器模式，開發出獨有的電信級設備，不依

賴任何第三方設備廠家，獨立進行現網部署，市場唯一

擴展性強平滑支持40GPOS、100GE接口，可滿足運營商未來5年擴容需求；沒行

任何其他設備廠家能夠提供類似的方案

安全性高突破性實現采集，挖掘，投放相互分離，用戶數據本地IDC保存，將接觸

到用戶隱私的設備所有權歸運營商管理，不涉及任何隱私問題

可控性輸出內容和輸出方向完全可控

密度大每G設備占用空間減少80%以上，達到業界最新高度20G/U

功耗低每G功耗減少90%以上，達到世界領先水平4W/G

成本低每G設備成本是其他廠商的1/3：

兼容性兼容固網和移動，實現數據的全面貫通；

一個設備，多種用途支持現有廣告業務的基礎匕可增加經分數據維度，支撐溯源建設：未來

能在此基礎上開發輿情監控系統

3.2挖掘系統

3.2.1功能

DMP是本整體解決方案的數據挖掘子系統。DMP以DCP輸出的用戶上網日志文件為基

礎數據，通過用戶行為分析模型進行用戶特征分析，能夠實現用戶畫像還原、用戶聚類、關

聯分析等功能，能夠提供媒體、用戶、運營商等多種分析維度的報表。其中，用戶畫像還原

包括分析用戶的基礎信息如性別、年齡、收入、有無子女等：用戶聚類功能提供將具備相同

行為特征的用戶劃分為一類，特征比對的基礎包括興趣愛好、品類偏好、消費能力、觸媒習

慣等;關聯分析能夠基于用戶當前數據推斷出用戶的關聯數據。系統提供多維度的報表輸出，

針對媒體的統計數據包括在合作媒體的哪些廣告位上投放了哪些廣告及數量：針對用戶的統

計數據包括該用戶訪問過哪些網站、點擊過哪些廣告；針對運營商的統計數據包括覆蓋的實

際用戶數及廣告投放的結果統計：系統支持開放接口，耒來可根據新的應用需求增加更多維

度的數據統計報表。

DMP分為本地數據挖掘系統和云數據挖掘系統，本地數據挖掘系統部署在運營商IDC

機房，存放用戶日志明細數據：云數據挖掘系統部署在云中心，只保存計算結果、合作媒體

數據及匯總數據。DMR支持以豐富的形式，將多維分析結果數據提供給廣告土、運營商和

其它合作伙伴。同時，DMP中的分析結果也是DSP投放調度子系統的數據依據。

3.2.2規格

規格項規格描述

日志處理能力200MByte/s

系統存儲能力300T

日志保存時間15天

分布式部署能力支持

存儲水平擴展能力支持

計算水平擴展能力支持

用戶畫像還原能力支持

用戶屬性分類100個

用戶興趣分類200個

用戶消費分類1000個

網站分析能力支持

網站分類200個

可靠性3:1數據冗余備份

3.2.3優勢

1、系統硬件動態水平擴展，在不中斷業務的情況下擴大存儲和計嵬能力。

2、數據高可靠性，數據備份二份，保證數據不會因硬件故障去失。

3、本地、云中心兩級部署，原始數據保存到運營商本地，既保證數據安全，又有效的降低

了網絡流量。

4、業務定制能力，DMP具有獨立的業務調度和發布能力，可以隨時發布新的運算任務，響

應用戶各種分析需求。

3.3推送系統

3.3.1功能

DSP是本整體解決方案的投放調度子系統，能夠進行信息推送策略的配置，按照配置的

策略實時調度需要推送的信息內容。DSP的實時調度以DMP生成的用戶數據為基礎?；?/p>

用戶行為特征數據，可衍生出豐富的應用，如基于用戶興趣愛好的廣告投放、基于用戶品類

偏好的產品推薦、基于用戶消費能力的新套餐推薦、基于用戶搜索關鍵字的導購信息等：同

時也可對多維數據進行加權統計及相關度排名，為業務應用提供更豐富的數據支撐。

系統支持按CPM、CPC、CPA、CPS等方式進行結算，并支持第三方審核，確保結算數據

準確、公正。

3.3.2規格

規格項規格描述

調度能力10萬次/杪

單次調度響應時間小于10ms

負載均衡支持

災難恢復支持

分布式部署支持

并行擴展能力支持

調度類型1.按關鍵字調度

2.按網站調度

3.按區域調度

4.按用戶屬性調度

5.按興趣調度

6.按消贄調度

7.線性調度

8.綜合調度

結算方式CPM、CPD、CPS、CPA

廣告投放結果分析支持

防作弊支持

3.3.3優勢

1、實時調度，DSP能夠在用戶行為發生的時候進行實時調度，比如用戶在搜索引擎搜索了

一個關鍵字，調度系統既可以在搜索的同時就推送關鍵字關聯的廣告，也可以等待一段時間

再投放。

2、線性調度，DSP能夠記錄用戶會話，可以根據用戶前一次投放的結果進行下一次推送，

比如第一次推送一個廣告主的品牌廣告，第二次推送同一個廣告主的產品廣告，第三次推送

促銷信息。

3、本地、云中心兩級調度，可以減少運營商網間結算流量，也可以確保廣告投放到最合適

的人群。

4數據流說明

4.1DCP數據輸入輸出說明

輸入：原始鏈路流量或經過分流平臺過濾后的流量

輸出：點擊流，內容如下(輸出內容可通過DCP配置):

a)UserID

b)URL

C)Host

d)Cookie

e)UserAgent

f)搜索關鍵字

4.2DMP數據輸入輸出說明

輸入：DCP輸出的點擊流、DSP收集的投放結果

輸出：各種維度的分析

數據一級分類數據二級分類數據內容

1.性別

2.年齡

用戶基本屬性數據用戶屆性3.職業

4.收入

5.子女情況

6.所在區域

用戶興趣屈性財經、金融、體育、娛樂…

用戶購物傾向數碼、家電、奢飾品、汽車…

每個用戶訪問的URL、cookie>user-agents

訪問行為數據

referrer

用戶行為數據每個用戶上網時長數據，不同時長段用戶的

上網時長數據

分布情況

上網時間段數據每個用戶上網活躍時間段

網站PV按不同區域、不同人群統計網站PV

網站IV按不同區域、不同人群統計網站UV

統計每個

媒體數據獨立IP數

i個媒體的用戶都從哪些網站過來，離開的

用戶來源和去向

用戶乂去了哪鹿網站

媒體推薦根據廣告主的目標受眾，推薦合適的媒體

廣告的展示數和點擊數顯示每個投放過的展示和點擊

廣告數據廣告在不同媒體的效果顯示每個媒體的覆蓋率和點擊率

廣告在不同人群的效果顯示每個人群的覆蓋率和點擊率

廣告在不同展現形式的效

對比每個廣告不同展現形式的點擊率

果

用戶搜索的關鍵字每個用戶搜索過的關鍵字

按地域、用戶屬性、興趣分析不同人群喜歡

關鍵字推薦

搜索數據搜索哪些關鍵字

每個關鍵字搜索的人群分

分析一個關鍵字不同人群的搜索情況

布情況

4.3DSP數據輸入輸出說明

輸入：DMP挖掘結果，投放策略

輸出：根據策略調度相應的廣告到瀏覽器

三、安全性說明

1概述

本解決方案可提供通信安全、數據安全、管理安全等多維度的安全控制手段，全面保

障用戶數據的隱私安全、訪問安全、使用受控。

2通信安全

本解決方案的主要工作部件都部署在運營商內網，數據的采集、存儲、分析嚴格受控，

與外網（互聯網）無通信接口，從系統架構的角度良好地確保了用戶數據的安全性。

采用“分光”的數據采集方式不會對主網絡的正常運行造成任何影響，屬于物理層的數

據復制。用戶原始數據的終結點在DCP設備上，而DCP與外網無直接通信接口，外部人員

無法獲取用戶原始數據。過濾（去隱私化）后的用戶行為數據保存在數據挖掘系統，此類數

據已不包含用戶敏感信息（如銀行帳號、密碼、郵箱等），僅包含用戶訪問了哪些網站的URL

信息。被挖掘的數據保存在運營商IDC機房中。

“云控制中心”負責將策略下發給挖掘系統，以及接收挖掘系統發送的用戶特征分析結

果，兩者之間的通信采用IPSec隧道實現，保證了跨網段通信的數據安全。

當管理員需要遠程登錄“云中心”和本地“挖掘系統”時，我們采用SSL隧道的方式實

現，確保安全性。

當用戶因上網行為觸發廣告請求時，“云中心”會根據該用戶的特征選擇一條最佳適配

的廣告并將該廣告ID發送給月戶。用戶攜帶“云中心”分配的廣告ID,向廣告服務器發起

請求，廣告服務器根據ID將對應的「告發送紿用戶瀏覽器進行展現。）,告服務器與數據發

掘系統之間無接口，無數據交互。廣告服務器中存儲的廣告素材是經過運營商審核后，由云

中心下發的?？紤]到廣告素材一般為圖片或視頻形式，占用帶寬較大，因此建議將廣告服務

器部署在省IDC機房，并通過防火墻與外部網絡相連。通過硬件防火塔相關特性，保護廣告

服務器不受外部惡意攻擊，廣告內容不被篡改。

3數據安全

數據采集設備DCP是整個系統中負責數據安全的核心部件。DCP從管理權到資產所有

權皆歸運營商所有，運營商具有登錄DCP的最高權限。

針對DCP所做的幾項數據處理詳細說明如下：

3.1帳號加密處理

為了獲得用戶實時上線IF與用戶帳號的對應關系，DCP需要接收Radius信令流?？紤]

到用戶真實上網帳號是用戶的隱私數據，DCP對用戶帳號進行不可逆的MD5加密后方才將

用戶Radius信息送出。也就是說，DCP輸出的并不是用戶的真實上網帳號（如“張三”或

“zhangsanOOl”等可識別的用戶信息），而是經MD5加密后的無語義的字符串（如

a10a9037ba033a4567a03329cd24e426eM字符串）=數據挖掘系統只用到這類字符串的唯一

性和穩定性，作為累積用戶行為數據及檢索用戶偏好信息的UID,并不使用Radius信息中的

真實用戶帳號。

推送廣告時，根據“10ag037ba033a4567a03329ad24e426e”對應的上線IP進行推送，

達到精準廣告營銷的目的。

3.2URL隱私過濾處理

用戶上網URL日志中有時會帶有銀行卡號、密碼、用戶名等敏感信息，URL隱私過濾處

理能自動識別這些內容，并把這些內容用“"'號昔代后輸出（非敏感信息的其它內容不變）。

這樣，DCP輸出的用戶URL信息中將不再攜帶涉及用戶敏感信息的卡號、密碼、用戶名等。

3.3Cookie隱私過濾處理

用戶上網的Cookie中有時會帶有?些敏感信息，Cookie隱私過濾處理能自動識別敏感

內容，并把這些內容用號替代后輸出（非敏感信息的其它內容不變）。

3.4定制化內容輸出

DCP的管理權和資產權皆歸運營商所有，運營商可設定對不同合作伙伴輸出的日志信息

具體包括哪些字段內容。系統能夠輸出HTTP、RTSP等主流代表用戶行為的協議字段。輸出

的字段可配置，包括但不限于：

a）帳號

b）IP

c）HOST

d）URL

e）Coo