數據中心風險評估預案

數據中心風險評估預案總述我從事數據中心運維相關工作快六年了，見過太多因為提前沒做風險排查，小隱患拖成大事故的例子：小到區域斷電導致業務停擺幾小時，大到核心服務器燒壞丟失用戶數據，最后賠了幾百萬還丟了客戶信任。說到底，數據中心是所有業務的“心臟”，一旦出問題牽一發動全身，做這份工作越久越明白，風險評估絕對不是應付檢查的紙面文件，是給數據中心上的一道安全鎖。這份數據中心風險評估預案，是我們結合多年一線運維經驗，從實際工作出發整理出來的，目的就是提前識別、分級評估、及時處置各類可能影響數據中心穩定運行的風險，把隱患消滅在萌芽狀態，最大程度降低事故發生的概率和損失，保障所有業務安全穩定運行。接下來我從各個環節具體說明預案內容。1總則1.1編制目的編制本預案核心就是三個目的：第一是建立常態化的風險識別機制，改變“出事才救火”的被動模式，把日常運維的重心從搶修轉到預防；第二是明確風險評估的標準和流程，讓所有人做評估的時候有章可循，不會因為新人經驗不足漏了風險點，也不會因為流程混亂導致責任不清；第三是規范不同等級風險的處置方法，真碰到問題能快速響應，不會手忙腳亂亂處置。我一直跟組里的新人說，我們多查一個小隱患，后面就少熬一個搶修的通宵，這份預案就是幫我們少熬夜、少出事的護身符，真不是擺著看的。1.2適用范圍本預案適用于我們負責運維的所有規模數據中心，涵蓋主機房、輔助配電房、制冷機房、監控中心、災備機房等所有功能區域，不管是自營的核心區域還是對外合作的托管區域，不管是自有運維團隊還是外包服務團隊，都必須嚴格按照本預案開展風險評估工作，沒有例外。1.3工作原則我們開展風險評估一直堅持四個原則：第一是預防為主，全員參與，風險評估不是只有運維部門的事，業務部門管數據安全，安防部門管消防門禁，行政管后勤保障，每個環節都要參與進來，每個人都是風險排查員；第二是全面覆蓋，不漏死角，不管是看得見的硬件設備，還是看不見的網絡權限、管理流程，甚至是周邊環境的外部風險，都要納入評估范圍；第三是動態評估，及時更新，不是一年做一次評估就一勞永逸，環境變了、設備變了、業務變了，都要重新評估；第四是分級處置，閉環管理，不同大小的風險用不同力度應對，所有排查出來的風險必須整改銷號，不能放著隱患不管。明確了總則要求，接下來要落實的就是組織保障，只有把責任分到每個人頭上，風險評估才不會變成沒人管的糊涂事。2風險評估的組織架構與職責分工2.1風險評估領導小組領導小組組長由數據中心總負責人擔任，副組長是運維主管和安全主管，成員包括各業務部門的對接負責人，主要職責是審批年度風險評估計劃和重大風險整改方案，統籌協調評估和整改需要的人員、物資、經費，發生重大風險的時候拍板決策應急處置方案，對整個風險評估工作負最終責任。2.2風險評估執行工作組執行工作組就是一線干活的具體團隊，由資深運維工程師、網絡安全工程師、消防專員、安防專員組成，要求每個成員都有三年以上一線經驗，熟悉數據中心所有環節的運行情況。主要職責就是開展日常排查和定期評估，逐個點位收集風險信息，對照標準做風險分析和定級，編寫風險評估報告，跟進整改進度，落實整改要求。說實話我們每次做全面評估，都是背著工具一個個機柜摸過去，一個個參數核對，絕不是坐在辦公室填表格走流程，這點是底線。2.3監督復核組監督復核組由單位質控部門和合規部門的人員組成，不參與具體評估，主要職責是檢查評估過程有沒有漏項，有沒有隱瞞風險不報，整改措施有沒有落實到位，定期抽查風險點的整改情況，避免因為一線人員嫌麻煩或者熟人關系放過隱患，給整個數據中心留下漏洞。有了明確的分工和責任，接下來就是整個預案最核心的部分，也就是風險識別和評估的具體實施流程，能不能找準隱患、定對等級，全看這一步做得扎不扎實。3風險識別與評估實施流程3.1常態化日常風險排查風險排查不是只有定期評估才做，要融入日常運維的每一天。日常值班人員每天上班第一件事，就是核對動力環境監控系統的所有參數：市電電壓是否穩定，UPS輸出是否正常，每個機柜的進風出風溫度有沒有超標，漏水檢測繩有沒有觸發報警，消防系統的煙感溫感是否在線，監控門禁是否運行正常，網絡帶寬有沒有異常波動。除了系統監控，每周還要做一次現場抽查，比如摸一摸主電纜的接頭溫度有沒有異常，看一看蓄電池有沒有鼓包漏液，試一下應急照明能不能正常點亮，檢查消防通道有沒有被雜物堵住。我剛參加工作的時候，就吃過日常排查不仔細的虧：一個電纜接頭比別的接頭溫度高兩度，我當時覺得差一點沒事，結果過了半個月絕緣層融化差點短路起火，還好夜班師傅巡檢及時發現，不然后果不堪設想，從那以后我就要求所有人，哪怕差一度也要記下來跟進，絕對不能放過任何小異常。3.2定期與專項全面風險評估除了日常排查，我們固定每季度做一次局部風險評估，每半年做一次全面風險評估，除此之外，只要出現以下幾種情況，必須立即開展專項風險評估：一是機房完成擴容、新增大量設備或者改動人電、制冷線路之后；二是數據中心周邊有大規模施工，可能挖斷外線或者影響建筑地基的時候；三是極端天氣來臨之前，比如夏季高溫期、冬季暴雪期之前；四是發生過局部小事故之后，都要重新做全面排查。具體的評估內容覆蓋四個大類：3.2.1基礎設施類風險基礎設施是數據中心運行的基礎，所有環節都不能出問題。供電方面要檢查市電輸入的穩定性，UPS蓄電池的容量衰減情況，備用發電機能不能正常啟動供油，電纜有沒有老化開裂，接頭有沒有松動，接地電阻是否合格；制冷方面要檢查空調機組的運行效率，冷通道的密閉性好不好，有沒有局部熱點，水冷管道有沒有腐蝕漏水的隱患，冷卻塔有沒有堵塞；建筑方面要檢查機房頂面墻面有沒有滲水痕跡，地面防水有沒有破損，周邊有沒有積水塌方的風險；消防方面要檢查所有煙感溫感能不能正常報警，氣體滅火系統的壓力是否達標，滅火器有沒有過期，疏散通道是否暢通，應急廣播能不能正常使用。3.2.2網絡與數據安全類風險現在數據價值越來越高，網絡和數據安全的風險絕對不能忽視。我們要檢查網絡架構有沒有單點故障，防火墻和入侵檢測系統的病毒庫有沒有定期更新，有沒有異常入侵留下的痕跡，用戶權限管理是不是合規，有沒有長期未清理的僵尸賬號，有沒有弱口令，第三方合作單位接入的權限是不是管控到位，數據備份是不是按要求做，備份數據能不能正常恢復，這些細節看起來小，出問題就是大問題。之前我們評估的時候就發現，一個合作方的外包運維人員用了好幾年的弱口令，已經被黑客掃描到了，還好我們及時發現要求更換，不然核心數據被盜就晚了。3.2.3管理與人為類風險很多事故其實不是設備壞了，是管理不到位出的錯。我們要評估操作流程是不是完善，有沒有明確的雙人復核制度，運維人員是不是持證上崗，有沒有定期參加安全培訓，應急演練是不是按時開展，人員離職之后有沒有及時收回所有系統權限，外包人員進場操作有沒有專人全程監管，這些都是容易出問題的地方。之前行業里就出過事，新手工程師操作的時候沒有復核，拔錯了核心業務的網線，導致整個業務斷了兩個多小時，損失很大，所以人為風險一定要提前評估，把流程漏洞補上。3.2.4外部環境類風險除了內部的問題，外部風險也不能漏。我們要評估數據中心周邊有沒有污染源、強電磁干擾，有沒有洪水、地震等地質災害的風險，外線電纜有沒有被施工破壞的可能，夏季極端高溫會不會超出制冷系統的承載能力，冬季低溫會不會導致室外管道凍裂，這些外部因素很多時候容易被忽略，真出問題同樣會導致整個數據中心停運。3.3風險分析與定級所有風險點排查出來之后，我們根據風險發生的可能性和發生后影響程度，分成四個等級：一般風險，就是影響很小，不涉及核心區域，隨時可以整改的，比如個別非核心監控攝像頭故障；較大風險，就是影響局部非核心業務，短期內整改不會影響整體運行的，比如個別非核心服務器硬件報警；重大風險，就是可能影響核心業務運行，會造成較大損失的，比如超過一半的UPS電池容量衰減不達標；特別重大風險，就是可能導致整個數據中心停運，造成重大安全事故的，比如主供電電纜老化開裂、消防系統整體失效。每個風險點都要登記造冊，寫清楚風險位置、風險類型、等級、責任人、整改期限，絕不允許含糊不清。把所有風險找出來定好級之后，接下來就是實打實的處置和保障，只有把風險改到位，評估才不算白做。4風險處置與預案保障4.1分級分類處置不同等級的風險用不同的處置方式，避免浪費資源也不放大風險。一般風險由責任部門在一周內完成整改，整改完成后報執行工作組復核，通過就可以銷號；較大風險要制定明確的整改方案，半個月內完成整改，整改過程中要安排專人實時監控風險點，防止整改過程中出意外；重大風險要立即上報領導小組，暫停相關區域的非必要操作，24小時安排專人盯守，一周內必須啟動專項整改，整改完成后經過三次復核驗收才能恢復正常運行；特別重大風險要立即啟動應急響應，疏散非必要工作人員，第一時間切斷風險源，上報單位主要負責人，如果可能影響核心業務，立刻把核心業務切換到災備中心，整改完成后經過全面檢測確認沒有問題，才能逐步恢復運行。4.2閉環管理所有排查出來的風險必須做到“發現一個、整改一個、銷號一個”，絕對不允許拖著不整改。如果因為客觀原因暫時不能整改，比如需要廠家定制配件，或者需要停核心業務才能施工，那必須制定嚴格的臨時管控措施，24小時監控風險點，每天上報風險情況，直到整改完成，絕不能讓隱患“帶病運行”，這是我們定下的鐵規矩。4.3基礎保障要讓預案能落地，必須做好四個保障：第一是人員保障，所有參與評估的人員定期培訓，熟悉評估標準和方法，每個崗位都有備用人員，避免沒人頂崗耽誤事；第二是物資保障，評估需要的測溫儀、電纜測試儀、電池內阻檢測儀這些工具，定期校準保證準確，常用的備用配件比如電池、電源模塊、空調配件都有合理備貨，不用等要用的時候到處找；第三是制度保障，把風險評估工作納入日常績效考核，認真排查發現隱患的給獎勵，漏查隱患導致出問題的追責，從制度上倒逼大家重視；第四是經費保障，每年年初都預留專門的風險評估和整改經費，不會出現“查到隱患沒錢改”的尷尬情況。風險不是一成不變的，數據中心的設備、業務、外部環境一直在變化，所以預案也不能一成不變，需要持續優化更新，才能適應新的情況。5預案的動態優化5.1定期更新預案我們每年年底都會對當年的風險評估工作做一次總結，把當年新出現的風險類型、處置經驗加進去，比如這兩年數據中心算力擴容越來越多，機柜密度比之前高了很多，制冷系統的負荷變大，我們就把高密度機柜的局部熱點評估加進了常規內容，還有現在網絡攻擊的方法越來越新，我們也及時更新了網絡安全風險的評估標準，保證預案永遠貼合實際情況。5.2結合演練優化預案我們每半年都會做一次風險處置演練，模擬評估出重大風險之后的處置流程，比如模擬主供電電纜出現隱患、模擬發現網絡入侵風險，通過演練檢驗我們的評估準不準、流程順不順，哪里有漏洞就及時改。上次演練我們就發現，原來重大風險要層層上報審批，耽誤了十幾分鐘，后來我們直接改了規則，重大風險可以直接跳過中間環節報領導小組，節省了大量時間，所以演練不是擺樣子，是真能幫我們優化預案的。總結總的來說，這份數據中心風險評估預案，從編制到執行，都是從