金融級混沌測試平臺建設能力研究

金融級混沌測試平臺建設能力研究報告202310編制委員會主任聶麗琴編委會成員王 璐 張海燕編寫組成員崔 杰 杜昆鵬 李博文 李 振 欒 琪 肖 王耀強 毋文濤 張 翔 葉強林編審黃本濤 張 蕾參編單位：北京金融科技產業聯盟中國建設銀行股份有限公司平凱星辰（北京）科技有限公司北京同創永益科技發展有限公司摘 要混沌工程是通過主動向系統中引入軟件或者硬件的異常狀態（擾動沌工程可以對系統抵抗擾動并保持正常運作的能力（穩定性本報告以混沌測試工具集為基礎，采用開源云原生模式構建自動化混沌工程平臺，針對分布式系統的復雜性特點，設計不同層次的故障進行模擬。平臺除提供應用層以及實際物理環境故障模擬外，還提供較為完善的故障編排功能，以便監控分布式系統狀態，找出項目潛在的風險。本報告所述的混沌工程平臺相對完整，可為國內金融行業構建混沌測試驗證平臺，提供實踐經驗和可行的參考方案。目 錄一、混沌測試平臺建設背景與目標 1（）建背景 1（二建目標 2二混測試臺建要求 3（一功要求 3（二適性要求 7（三集要求 7三混測試臺建情況 8（一系構成 8（二技架構 9（三功模塊 10（四故種類 12四混沌臺測方案測試踐 13（一測目標 13（二測內容 14（三測過程 15五混沌試平建設踐 27一、混沌測試平臺背景與目標（一）建設背景隨著數字化轉型，金融行業加快了新一代架構轉型的步伐，由傳統的SOA架構向分布式架構、去中心化發展，當前還進階到注重云化支持和異構化微服務支持的服務網格模式。（擾動82012ChaosMonkey在SimainArmySimianArmy2019混沌工程通過主動向系統中引入軟件或者硬件的異常狀態（擾動制造故障場景并根據系統在各種壓力下的行為表現確AZ（二）建設目標業務目標技術目標二、混沌測試平臺建設要求（一）功能要求5混沌實驗模塊CRDYAML故障注入組件。組件提供不同類型原子故障的注入和恢復功DaemonSet的Podtciptables、ipseteBPF提供了內核故障注入的能力。（虛擬機KubernetesCRDGolangCRDWatchcontroller插件系統。不同應用由于環境不同會產生完全不同的故障場RabbitMQChaosTiDBChaos故障模擬發壓模塊故障模擬發壓模塊以命令行工具方式提供服務，用戶可以Golang可觀測性模塊可觀測性模塊進一步降低簡化混沌實驗的步驟和提供對混可觀測性模塊同時還提供服務監控和健康檢查服務。在進行HTTP權限管理模塊專家庫模塊（二）適配性要求混沌測試平臺運行環境應該運行在開放的軟硬件平臺之上，X86C86ARMWindows（三）集成要求Kubernetes三、混沌測試平臺建設情況（一）系統構成混沌測試平臺各個模塊之間通過一定的調用關系來完成每通過打造混沌測試平臺，可以實現混沌實驗與壓測、監控的整體系統構成情況如下圖1所示：圖1：混沌測試平臺系統構成圖（二）技術架構Kubernetesk8s平臺技術架構如下圖2所示：圖2：混沌測試平臺技術架構圖（三）功能模塊權限管理發壓監控發壓提供了整個故障演練過程的背景壓力用以模擬真實生混沌實驗支持各種常見類型的故障，覆蓋物理機/虛擬機、容器不同/串行/workflow實驗報告為整個故障演練過程提供了可視化的聚合報告，包含了壓測的數據（TPS、響應時間、失敗數等），監控數據（CPU、內存、IO、網絡等），混沌實驗數據（實驗事件、執行事件、執行狀態等）。專家庫3（四）故障種類

圖3：混沌測試平臺功能模塊圖混沌工具支持虛擬機/K8sJVMIODNS、內核、HTTP、生命周期等多種故障類型。具體到每種故障類型，CPU4圖4：混沌測試平臺故障種類圖四、混沌平臺測試方案與測試實踐（一）測試目標的高可用測試，很難對各種情況進行同時或不同排列組合的模模擬分布式數據庫計算和存儲節點進程故障。模擬分布式數據庫數據盤讀寫負載故障。模擬分布式數據庫節點CPU模擬分布式數據庫系統負載高故障場景。模擬分布式數據庫混合故障場景。（二）測試內容測試內容如表1所示。表1：混沌測試平臺測試內容表序號測試分類用例1進程故障注入進程被殺故障注入2進程掛起故障注入3磁盤故障注入讀寫負載過高故障注入4多進程讀負載故障注入5寫負載過高故障注入6指定目錄寫負載過高故障注入7指定文件填充過多故障注入8IO壓力高故障注入9網絡故障注入網絡延遲故障注入10網絡包損壞故障注入11網絡丟包故障注入12網絡抖動故障注入13壓力故障注入CPU耗盡故障注入14內存耗盡故障注入15系統load高故障注入16混合場景故障注入混合容量測試17穩定性測試混合編排workload長穩測試（三）測試過程進程故障注入檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易業務過程中，數據庫計算進程被殺異常故障的自愈性以及對業務的QPS\TPS影響范圍和時長。檢測流程：啟動銀行模擬交易場景程序，模擬賬戶查詢、更新、插入操作；將編排好的進程被殺故障模板加載到故障測試平臺，執行測試；測試結束后，統計故障演練期間交易成功率，QPS，平均延遲等指標；生成測試報告。通過標準：各步驟執行成功，分布式數據庫能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明。進程被殺時QPS會有下降，延遲有所上升，但不會造成嚴重影響。在進程恢復后各項指標恢復正常。檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易業務過程中，數據庫存儲進程掛起異常故障的自愈性以及對業務的QPS\TPS得的影響范圍和時長。檢測流程：啟動銀行模擬交易程序，模擬賬戶查詢、更新、插入操作；將編排好的進程掛起故障模板加載到故障測試平臺，執行測試；測試結束后，統計故障演練期間交易成功率，QPS，平均延遲等指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明。進程被殺時QPS會有下降，延遲有所上升，但不會造成嚴重影響。在進程恢復后各項指標恢復正常。磁盤故障注入檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易業務過程中，讀寫負載故障的自愈性以及對業務的QPS\TPS的影響范圍和時長。檢測流程：啟動銀行交易程序，模擬賬戶轉賬操作；將編排好的主機故障模板加載到故障測試平臺，執行測試；QPS指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易業務過程中，多進程讀負載故障的自愈性以及對業務的QPS\TPS的影響范圍和時長。檢測流程：啟動銀行模擬交易場景程序，模擬賬戶查詢、更新、插入語操作；將編排好的主機故障模板加載到故障測試平臺，執行測試；QPS指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易業務過程中，寫負載故障的自愈性以及對業務的QPS\TPS的影響范圍和時長。檢測流程：啟動銀行模擬交易場景程序，模擬賬戶查詢、更新、插入語操作；將編排好的主機故障模板加載到故障測試平臺，執行測試；QPS指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易業務過程中，指定目錄寫負載故障的自愈性以及對業務的QPS\TPS的影響范圍和時長。檢測流程：啟動銀行模擬交易場景程序，模擬賬戶查詢、更新、插入語操作；將編排好的主機故障模板加載到故障測試平臺，執行測試；QPS指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易業務過程中，指定目錄文件填充過多導致寫負載故障的自愈性以及對業務的QPS\TPS的影響范圍和時長。檢測流程：啟動銀行交易程序，模擬賬戶轉賬操作；將編排好的主機故障模板加載到故障測試平臺，執行測試；QPS指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。IO檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易業務過程中，數據庫存儲節點IO壓力高故障的自愈性以及對業務的QPS\TPS的影響范圍和時長。檢測流程：啟動銀行交易程序，模擬賬戶轉賬操作；將編排好的主機故障模板加載到故障測試平臺，執行測試；QPS指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。網絡故障注入檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易業務過程中，數據庫集群存儲、計算、控制節點網絡延遲故障的自愈性以及對業務的QPS\TPS的影響范圍和時長。檢測流程：啟動銀行業務交易程序，模擬賬戶查詢、更新、插入操作；將編排好的主機故障模板加載到故障測試平臺，執行測試；QPS指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。網絡丟包故障注入檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易業務過程中，數據庫集群存儲、計算、控制節點網絡包丟失故障的自愈性以及業務的對QPS\TPS的影響范圍和時長。檢測流程：啟動銀行業務交易程序，模擬賬戶查詢、更新、插入操作；將編排好網絡丟包故障注入異常模板加載到故障測試平臺；持續測試10分鐘；測試結束后，統計故障演練期間交易成功率，QPS，平均延遲等指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易業務過程中，集群計算、存儲、控制節點網絡包損失對故障的自愈性以及業務的QPS\TPS的影響范圍和時長。檢測流程：啟動銀行業務交易程序，模擬賬戶查詢、更新、插入操作；將編排好的主機故障模板加載到故障測試平臺，執行測試；QPS指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。檢測內容：自愈性以及對業務的QPS\TPS的影響范圍和時長。檢測流程：啟動銀行業務交易程序，模擬賬戶查詢、更新、插入操作；將編排好網絡抖動故障異常模板加載到故障測試平臺；測試結束后，統計故障演練期間交易成功率，QPS，平均延遲等指標；生成測試報告；通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。壓力故障注入CPU檢測內容：業務過程中，集群計算、存儲節點出現CPU以及對業務的QPS\TPS的影響范圍和時長。檢測流程：啟動銀行模擬交易程序，模擬賬戶查詢更新操作；將編排好的主機故障模板加載到故障測試平臺，執行測試；QPS指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。檢測內容：以及對業務的QPS\TPS的影響范圍和時長。檢測流程：啟動銀行模擬交易程序，模擬賬戶查詢、更新操作；將編排好的主機故障模板加載到故障測試平臺，執行測試；QPS指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。系統load檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易業務過程中，集群計算、存儲節點出現系統load愈性以及對業務的QPS\TPS的影響范圍和時長。檢測流程：啟動銀行交易程序，模擬賬戶轉賬操作將編排好的主機故障模板加載到故障測試平臺，執行測試測試結束后，統計故障演練期間交易成功率，QPS，平均延遲等指標生成測試報告通過標準：合廠商聲明，未出現非預期結果。混合場景故障注入檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易的影響范圍和時長。檢測流程：啟動銀行交易程序，模擬賬戶轉賬操作；將編排好的主機故障模板加載到故障測試平臺，執行測試；QPS指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，且需保證在故障注入后各有效數據節點的數據分布是均勻的；在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。穩定性測試檢測內容：分布式數據庫在進行賬戶查詢、更新、插入、轉賬等聯機交易業務的QPS\TPS的影響范圍和時長。檢測流程：啟動銀行交易程序，模擬賬戶轉賬操作；將編排好的主機故障模板加載到故障測試平臺，執行測試；QPS指標；生成測試報告。通過標準：執行成功，分布式數據庫在所描述的故障注入下，能夠完成自動故障轉移，且需保證在故障注入后各有效數據節點的數據分布是均勻的；在故障解除后能夠恢復完整的服務能力，執行結果符合廠商聲明，未出現非預期結果。五、混沌測試平臺建設實踐總結銀行機構在IT對業務