CN119006165B 一種基于大數據的數據資產評估方法及系統 （中國標準化研究院）

一種基于大數據的數據資產評估方法及系統本發明公開了一種基于大數據的數據資產收集多源數據存儲至中央數據庫并上傳到區塊多源數據構建數據資產的圖網絡并提取圖網絡2收集多源數據存儲至中央數據庫并上傳到區塊基于中央數據庫構建數據資產的圖網絡，捕捉圖網絡中基于提取的節點特征識別影響數據資產價值的因素，構建資產存儲數據資產評估過程中產生的數據并實施所述收集多源數據存儲至中央數據庫并上傳到區塊鏈中進行數據確權與記錄指從各數據源收集數據并進行預處理后存儲進中央數據庫中，使用Solidity語言編寫智能合約，所述基于中央數據庫構建數據資產的圖網絡指安裝Neo4j圖數據庫和Elasticsearch，構建圖數據模型，將兩個節點之間的交易關系作為邊連接相關的數據資產節點和用戶節在此基礎上增加數據資產的多維屬性并根據數據資產的交易頻率和金額設置邊的權基于數據資產間的交互強度和頻率使用數據資產影響力評分公式定義數據資產的中uv是節點u和v之間的交互頻次；計算每個數據資產節點的影響力評分并將影響力評分作建立實時數據監控系統實時監控數據資產的動態變化并將更新推送至Neo4j，使用指使用批量導入工具將數據資產和交易記錄導入Neo4j，基于市場波動和歷史數據資產圖網絡中數據關系的時間變化并從圖網絡中提取節點特征指為每個邊添加時間屬性并定通過反向傳播更新模型權重并定義損失函數，當在連續迭代過程中GraphSAGE模型的3提取的節點特征識別影響數據資產價值的因素指基于業務知識和從圖網絡中提取的節點使用回歸分析方法估計因素對數據資產初始價值的影響，進構建XGBoost模型量化每個因素對數據資產初始價值的貢獻，使用從圖網絡中提取的基于因果推斷結果調整XGBoost模型的參數，使用從因果推斷中篩選出的因素作為輸響因素和歷史數據資產價值數據作為訓練數據輸入進定義損失函數和Adam優化器進行模型參數迭代優化，當在連續迭將需要評估的數據輸入資產評估模型中得到數據資產的價值數據資產評估過程中產生的數據并實施訪問控制指在通過智能合約驗證數據資產價值評6.一種基于權利要求1_5任一所述的基于大數據的數據資產評估方法的基于大數據的數據采集模塊，用于確定并配置需要集成的數據源類型，收集資產評估模塊，用于基于最大影響因素構建資產評估模45集多源數據存儲至中央數據庫并上傳到區塊鏈中進行數據確權與記錄指從各數據源收集[0012]在基礎模型上增加數據資產的多維屬性并根據數據資產的交易頻率和金額設置[0013]基于數據資產間的交互強度和頻率使用數據資產影響力評分公式定義數據資產6[0016]計算每個數據資產節點的影響力評分并將影響力評分作為節點的影響力評分屬[0017]建立實時數據監控系統實時監控數據資產的動態變化并將更新推送至Neo4j，使[0018]使用批量導入工具將數據資產和交易記錄導入Neo4j，基于市場波動和歷史數據捉圖網絡中數據關系的時間變化并從圖網絡中提取節點特征指為每個邊添加時間屬性并[0022]通過反向傳播更新模型權重并定義損失函數，當在連續迭代過程中GraphSAGE模型的損失不再明顯下降則停止迭代輸出模型參數更新GraphSA于提取的節點特征識別影響數據資產價值的因素指基于業務知識和從圖網絡中提取的節斷閾值Q進行對比判斷因素對結果變量的影響，若因素的p值小于Q，則該因素在統計上顯[0026]構建XGBoost模型量化每個因素對數據資產初始價值的貢獻，使用從圖網絡中提[0027]基于因果推斷結果調整XGBoost模型的參數，使用從因果推斷中篩選出的因素作7影響因素和歷史數據資產價值數據作為訓練數據輸入進資產評估估模型的損失不再明顯下降則停止迭代輸出模型參數儲數據資產評估過程中產生的數據并實施訪問控制指在通過智能合約驗證數據資產價值理器執行所述計算機程序時實現基于大數據的數據資產評估[0040]本發明通過收集多源數據構建數據資產的圖網絡并提取圖網絡的節點特征識別[0041]此處所說明的附圖用來提供對本發明實施例的進一步理解，構成本申請的一部8處理邏輯并在NiFi中設置處理器，對于從各數據源收集的數據使用SQL_like查詢去除無的哈希值，可以為每個數據項生成一個唯一標識符，確保數據的完整性和一致性。使用[0052]具體的，基于中央數據庫構建數據資產的圖網絡指安裝Neo4j圖數據庫，啟動Elasticsearch，并設置集群配置和索引策略與Neo4j集成，設置Elasticsearch的節點名[0055]基于數據資產間的交互強度和頻率使用數據資產影響力評分公式定義數據資產9[0058]計算每個數據資產節點的影響力評分并將影響力評分作為節點的影響力評分屬[0059]建立實時數據監控系統實時監控數據資產的動態變化并將更新推送至Neo4j，使_δt，[0063]使用批量導入工具將數據資產和交易記錄導入Neo4j，基于市場波動和歷史數據增強了系統的數據管理能力和查詢性能，通過使用Cypher語言在Neo4j中創建數據資產節Neo4j中使用Cypher查詢來生成統計指標，并將統計指標作為屬性添加到相應的數據資產[0071]通過反向傳播更新模型權重并定義損失函數，當在連續迭代過程中GraphSAGE模型的損失不再明顯下降則停止迭代輸出模型參數更新GraphSA斷閾值Q進行對比判斷因素對結果變量的影響，若因素的p值小于Q，則該因素在統計上顯[0077]在統計學中，p值是一個概率值，表示在零假設為真的條件下觀察到的統計結果[0078]構建XGBoost模型量化每個因素對數據資產初始價值的貢獻，使用從圖網絡中提[0079]基于因果推斷結果調整XGBoost模型的參數，使用從因果推斷中篩選出的因素作[0080]判斷閾值Q通過