CN118094423B 基于概念漂移自適應(yīng)的時(shí)空數(shù)據(jù)在線異常檢測方法及系統(tǒng) （北京科技大學(xué)順德創(chuàng)新學(xué)院）

基于概念漂移自適應(yīng)的時(shí)空數(shù)據(jù)在線異常本發(fā)明提供一種基于概念漂移自適應(yīng)的時(shí)空數(shù)據(jù)在線異常檢測方法及系統(tǒng)，所述方法包概念漂移自適應(yīng)算法調(diào)整異常檢測模型進(jìn)行更2設(shè)置檢驗(yàn)窗口和自適應(yīng)窗口；所述檢驗(yàn)窗口用于檢測實(shí)時(shí)接收的時(shí)空將特征提取后的歷史時(shí)空數(shù)據(jù)轉(zhuǎn)換成預(yù)設(shè)長度的窗口序列，輸入采用均值和方差獲取基本特征，采用相關(guān)向量和差分向量獲取空間語將特征提取后的歷史時(shí)空數(shù)據(jù)轉(zhuǎn)換成長度為w的窗口序列，輸入LSTM自編碼器，通過根據(jù)重構(gòu)序列和輸入的窗口序列之間的重構(gòu)誤差，對(duì)LSTM自編碼37.一種基于概念漂移自適應(yīng)的時(shí)空數(shù)據(jù)在線異常檢離線訓(xùn)練模塊，用于利用歷史時(shí)空數(shù)據(jù)對(duì)LSTM自編碼器檢測模塊，用于利用更新的異常檢測模型對(duì)時(shí)空數(shù)據(jù)進(jìn)行異常存儲(chǔ)器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算4正常模式的移動(dòng)對(duì)象，發(fā)現(xiàn)海量數(shù)據(jù)中隱藏的具有潛在危險(xiǎn)性的行為模式變得越來越重5[0019]可選地，所述將特征提取后的歷史時(shí)空數(shù)據(jù)轉(zhuǎn)換成預(yù)設(shè)長度的窗口序列，輸入[0025]之后，如果所述檢驗(yàn)窗口中數(shù)據(jù)的精度持續(xù)下降到漂移閾值β,表示發(fā)生概念漂6[0034]如果t時(shí)刻時(shí)空數(shù)據(jù)的異常分?jǐn)?shù)大于或等于t時(shí)刻的動(dòng)態(tài)閾值tht，則標(biāo)記為異常7[0047]圖1是本發(fā)明實(shí)施例提供的一種基于概念漂移自適應(yīng)的時(shí)空數(shù)據(jù)在線異常檢測方[0048]圖2是本發(fā)明實(shí)施例提供的一種基于概念漂移自適應(yīng)的時(shí)空數(shù)據(jù)在線異常檢測方[0051]圖5是本發(fā)明實(shí)施例提供的一種基于概念漂移自適應(yīng)的時(shí)空數(shù)據(jù)在線異常檢測系[0054]考慮到時(shí)空數(shù)據(jù)的分布情況會(huì)隨著時(shí)間和實(shí)際情況的變刻獲取的m維數(shù)據(jù)，其中l(wèi)ont、latt表示數(shù)據(jù)的空間位置，態(tài)變化和非平穩(wěn)的環(huán)境中學(xué)習(xí)和更新模型，使得模型可以捕獲時(shí)空數(shù)據(jù)的趨勢和潛在模[0057]如圖1所示，本發(fā)明所述基于概念漂移自適應(yīng)的時(shí)空數(shù)據(jù)在線異常檢測方法包括線異常檢測通常需要大量的時(shí)間和計(jì)算資源，而離線建模可以利用歷史數(shù)據(jù)和先驗(yàn)知識(shí)，8和差分向量來獲取其空間語義特征，其中corr,"表示數(shù)據(jù)點(diǎn)的第m維特征與其相鄰點(diǎn)的第m維特征的皮爾森相關(guān)系數(shù)，dif,"表示數(shù)據(jù)點(diǎn)的第m維[0067]數(shù)據(jù)的空間地理位置是時(shí)空數(shù)據(jù)的重要屬性，許多異常將空間地理位置的分類屬性轉(zhuǎn)換為低維實(shí)向量從而獲取空間地[0068]One-hot編碼是指使用N位的0或1對(duì)N個(gè)狀態(tài)進(jìn)行編碼，每個(gè)狀態(tài)都有獨(dú)立的表示[0069](3)將特征提取后的歷史時(shí)空數(shù)據(jù)轉(zhuǎn)換成預(yù)設(shè)長度的窗口序列，輸入LSTM自編碼[0071]具體地，完成特征提取之后將歷史時(shí)空數(shù)據(jù)序列轉(zhuǎn)換成長度為w的窗口序列S=w]+bf)]+bi)9]+bo)以本發(fā)明將離線訓(xùn)練的異常檢測模型用于在線異常檢測時(shí)，通過判斷是否發(fā)生概念漂移，[0087]之后，如果所述檢驗(yàn)窗口中數(shù)據(jù)的精度持續(xù)下降到漂移閾值β,表示發(fā)生概念漂[0091]2)所述自適應(yīng)窗口長度達(dá)到預(yù)設(shè)的最大值Lmax，從而保證異常檢測實(shí)時(shí)性和內(nèi)存[0095]如果t時(shí)刻時(shí)空數(shù)據(jù)的異常分?jǐn)?shù)大于或等于t時(shí)刻的動(dòng)態(tài)閾值tht，則標(biāo)記為異常t＝0。態(tài)的概念漂移現(xiàn)象，通過概念漂移自適應(yīng)算法調(diào)整模型進(jìn)行更新以適應(yīng)新的數(shù)據(jù)分布情[0106]為了更清晰的展示本發(fā)明所述基于概念漂移自適應(yīng)的時(shí)空數(shù)據(jù)在線異常檢測方[0115]AUC被定義為ROC曲線下與坐標(biāo)軸圍成的面積，由于ROC曲線一般都處于y＝x這條[0117]OAD-ACD方法進(jìn)行在線異常檢測的最主要目的是根據(jù)歷史時(shí)空數(shù)據(jù)訓(xùn)練獲得離線[0118]OAD-ACD方法進(jìn)行在線異常檢測前需要根據(jù)歷史時(shí)空數(shù)據(jù)進(jìn)行離線建模，獲得異[0124]從表2可以看出，相對(duì)比其他五種算法以及基于LSTM自編碼器的離線異常檢測模和/或用于處理數(shù)據(jù)(例如計(jì)算機(jī)程序指令)的處[0147]需要說明的是，圖6中示出的電子設(shè)備300的結(jié)構(gòu)并不構(gòu)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得