人工智能 管理體系 征求意見稿

1GB/TXXXXX—XXXX/ISO/IEC42001:XXXX人工智能管理體系本文件規定了在組織范圍內建立、實施、維護和持續改進人工智能管理系統的要求并提供了指導。本文件適用于提供或使用人工智能系統的產品或服務的組織。本文件旨在幫助組織負責任地開發、提供或使用人工智能系統，以實現其目標，并滿足與利益相關方相關的適用法規要求、義務和期望。本文件適用于任何提供或使用人工智能系統的產品或服務的組織，無論其規模、類型和性質如何。2規范性引用文件下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅注日期對應的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。ISO/IEC22989:2022信息技術人工智能人工智能概念和術語（Informationtechnology—Artificialintelligence—Artificialintelligenceconceptsandterminology）3術語和定義ISO/IEC22989:2022界定的及下列術語和定義適用于本文件。3.1組織organization為實現目標（3.6），由職責、權限和相互關系構成自身功能的一個人或一組人。注1：組織的概念包括，但不限于個體經營者、公司、集團公司、商行、企事業單位、權力機構、合伙企業、慈善機構或研究機構，或上述組織的部分或組合，無論是否具有法人資3.2相關方interestedparty能夠影響決策、被影響或認為自己受到決策或活動影響的人或組織(3.1)3.3最高管理者topmanagement在最高層指揮并控制組織(3.1)的一個人或一組人。2GB/TXXXXX—XXXX/ISO/IEC42001:XXXX3.4管理體系managementsystem組織(3.1)為確立方針(3.5)和目標(3.6)以及實現這些目標的過程(3.8)所形成的相互關聯或相互作用的一組要件。3.5方針policy由最高管理者(3.3)正式表述的組織(3.1)的意圖和方向。3.6目標objective要實現的結果。注2：目標可能涉及不同的主題(如財務、健康和安全、環境)3.7風險risk不確定性的影響。注2：不確定性是指對某一事件、其后果或可能性缺乏相關信息、3.8過程process使用或轉化輸入以實現結果的一組相互關聯或相互作用的活動。3.9能力competence3GB/TXXXXX—XXXX/ISO/IEC42001:XXXX應用知識和技能實現預期結果的本領。3.10文件化信息documentedinformation組織(3.1)需要控制和維護的信息及其載體。3.11績效performance可測量的結果。注2:績效可能與活動、過程（3.8）、產品、服注3:在本文件中，績效既指使用人工智能系統取得的結果，也指與人工智能管理體系相關的結果（3.4）。該術語3.12持續改進continualimprovement提高績效（3.11）的循環活動。3.13有效性effectiveness完成策劃的活動和實現策劃的結果的程度。3.14要求/需求requirement規定的、不言而喻的或有義務履行的需求或期望。注1：不言而喻的或有義務履行的需要或期望是指需求。其中，“不言而喻”是指組慣例或一般做法，不言而喻的需求或期望是3.15符合conformity滿足要求(3.14)。3.164GB/TXXXXX—XXXX/ISO/IEC42001:XXXX不符合nonconformity未滿足要求(3.14)。3.17糾正措施correctiveaction為消除不符合(3.16)的原因并防止再次發生而采取的措施。3.18審核audit獲取審核證據并對其進行客觀評價，以確定審核準則滿足程度所進行的系統的、獨立的過程（3.8）。注1：注1：審核可能為內部（第一方）審核或外部（第二方或第三方）審核，也可能為多體系審核（合并兩個或3.19測量measurement確定數值的過程（3.8）。3.20監視monitoring確定體系、過程(3.8)或活動的狀態。3.21控制control<風險>維持和/或修改風險（3.7）的措施。3.22治理機構governingbody對組織的績效和一致性負責的人或一組人。注2：治理機構可以包括但不限于董事會、董3.235GB/TXXXXX—XXXX/ISO/IEC42001:XXXX信息安全informationsecurity保持信息的保密性、完整性和可用性。[來源:ISO/IEC27000:23.24人工智能體系影響評估AIsystemimpactassessment由開發、提供或使用人工智能產品或服務的組織識別、評估和解決對個人(或個人群體)和社會的影響的正式的、文件化的過程。3.25數據質量dataquality符合組織在特定情況下數據需求的一種數據特征。[來源:ISO/IEC5259-1,3.4]3.26適用性聲明statementofapplicability所有必要控制（3.23），以及包括或排除控制的理由的文件化。注2：所有已識別的風險，組織應按本文件的要求形成文件。所有已識別的風險和為解決這些風險而制定的風險管4組織環境4.1理解組織及其環境組織應確定與其宗旨相關的，并影響其實現人工智能管理體系預期結果的能力的內部和外部事項。組織應考慮組織開發、提供或使用的人工智能系統的預期目的。組織應確定其在人工智能系統中的角色。為了了解組織及其環境，組織確定其相對于人工智能系統的角色可能會有所幫助。這些角色可以包括但不限于以下一種或多種:—人工智能提供商，包括人工智能平臺提供商、人工智能產品或服務提供商;—人工智能生產者，包括人工智能開發者、人工智能設計師、人工智能運營商、人工智能測試和評估人員、人工智能部署人員、人工智能人為因素專業人員、領域專家、人工智能影響評估人員、采購人員、人工智能治理和監督專業人員;—人工智能客戶，包括人工智能用戶;—人工智能合作伙伴，包括人工智能系統集成商和數據提供商;—人工智能主體，包括數據主體和其他主體;—相關監管機構，包括政策制定者和監管機構。6GB/TXXXXX—XXXX/ISO/IEC42001:XXXXISO/IEC22989提供了這些角色的詳細描述。此外，角色類型及其與人工智能系統生命周期的關系也在NIST人工智能風險管理框架中進行了描述[28]。組織的角色可以確定本文件中的要求和控制的適用性和適用性程度。注1：根據本條款要解決的外部和內部問題可能因組織的角色和管轄權及其對其實現人工智能管理體系預期結果的能力的影響而有所不同。這些可以包括但不限于:a)外部環境相關的考慮，如:1)適用的法律要求，包括禁止使用人工智能;2)監管機構的政策、指導方針和決定對人工智能系統開發和使用中法律要求的解釋或執行產生影響;3)與人工智能系統的預期目的和使用相關的激勵或后果;4)人工智能發展和使用方面的文化、傳統、價值觀、規范和倫理;5)使用人工智能系統的新產品和服務的競爭格局和趨勢。b)內部環境相關的考慮，如:1)組織環境、治理、目標(見6.2)、方針和程序;2)合同義務;3)擬開發或使用人工智能系統的預期目的。4.2理解相關方的需求和期望組織應確定：—與人工智能管理體系有關的相關方；—這些相關方的有關需求；—哪些需求將通過人工智能管理體系予以解決。4.3確定人工智能管理體系的范圍組織應確定人工智能管理體系的邊界和適用性，以確定其范圍。組織應根據以下內容確定人工智能管理體系的范圍：—4.1提及的內部和外部事項；—4.2提到的需求。范圍應作為文件化信息可獲取。人工智能管理體系的范圍應根據本文件對人工智能管理體系、領導、策劃、支持、運行、績效、評價、改進、控制和目標的要求確定組織的活動。4.4人工智能管理體系組織應按照本文件的要求，建立、實施、保持、持續改進人工智能管理體系，包括所需的過程及其相互作用，并形成文件。5領導作用5.1領導作用和承諾最高管理者應通過以下方式展示對人工智能管理體系的領導作用和承諾：7GB/TXXXXX—XXXX/ISO/IEC42001:XXXX—確保制定人工智能政策（見5.2）和人工智能目標（見6.2），并與組織的戰略方向保持一致；—確保將人工智能管理體系的要求納入組織的業務流程；—確保具備人工智能管理體系所需的資源；—傳達有效的人工智能管理和符合人工智能管理體系要求的重要性；—確保人工智能管理體系達到預期效果；—指導和支持有關人員促進人工智能管理體系的有效性；—促進持續改進；—支持其他相關人員在其職責范圍內發揮領導作用。注2：在組織內部建立、鼓勵和構建一種文化，以負責任的方式使用、開發和治理人工智能系統，這是最高管理層承諾和領導力的重要體現。確保意識到并遵守這種負責任的方法，并通過領導支持有助于人工智能管理系統5.2人工智能政策方針最高管理者應制定一項人工智能政策方針，該方針：a)適合于組織的宗旨；b)為制定人工智能目標提供一個框架（見6.2）；c)包括滿足適用要求的承諾；d)包括對持續改進人工智能管理體系的承諾。人工智能方針應：—作為文件資料提供；—參考其他相關的組織政策；—在組織內部傳達；—酌情提供給有關各方。A.2提供了制定人工智能政策的控制目標和控制。這些控制的實施指南見B.2。5.3崗位、職責和權限最高管理者應確保在組織內部分配并溝通相關崗位的職責和權限。最高管理者應分配職責和權限，以便：a)確保人工智能管理體系符合本文件的要求；b)向最高管理者報告人工智能管理體系的績效。附件A（A.3.2）提供了定義和分配角色與責任的控制。B.3.2提供了該控制的實施指南。6策劃6.1識別風險和機會的措施6.1.1通則在對人工智能管理體系進行策劃時，組織應考慮4.1中提及的問題和4.2中提及的要求，并確定需要應對的風險和機遇，以便：—確保人工智能管理體系能夠實現其預期結果；—防止或減少不利影響；8GB/TXXXXX—XXXX/ISO/IEC42001:XXXX—實現持續改進。組織應建立和維護人工智能風險標準，以支持以下工作：—區分可接受與不可接受的風險；—進行人工智能風險評估；—實施人工智能風險處理；—評估人工智能風險的影響。組織應根據以下因素確定風險和機遇：—人工智能系統的領域和應用背景；—預期用途；—4.1中描述的外部和內部環境。注2：在人工智能管理體系的范圍內可考慮不止一個人工智能系統。在這種情況下，應針對每個人工智能系統或人組織應計劃：a)應對這些風險和機遇的行動；b)如何做：1）將這些行動納入其人工智能管理體系流程并加以實施；2）評估這些行動的有效性。組織應保留為識別和應對人工智能風險和機會而采取的行動的記錄信息。注4：組織及其活動的背景會對組織的風險注5：注5不同部門和行業對風險的定義以及風險管理的設想可能有所不同。3.7中對風險的規范性定義允許對分，組織的職責是首先采用適合其環境的風險觀。這可以包括6.1.2人工智能風險評估組織應定義并建立人工智能風險評估流程，該流程應：a)參考并符合人工智能政策（見5.2）和人工智能目標（見6.2）;b)在設計上使重復的人工智能風險評估能夠產生一致、有效和可比較的結果；c)識別有助于或妨礙實現人工智能目標的風險；d)分析人工智能風險，以便：1）評估如果確定的風險成為現實，將對組織、個人和社會造成的潛在后果；2）酌情評估已識別風險的現實可能性；3）確定風險等級。e)評估人工智能風險，以便：1）將風險分析結果與風險準則（見6.1.1）進行比較；2）對評估的風險進行優先排序，以便進行風險處理。組織應保留有關人工智能風險評估過程的文件化信息。6.1.3人工智能風險處理9GB/TXXXXX—XXXX/ISO/IEC42001:XXXX考慮到風險評估結果，組織應確定人工智能風險處理流程，以便：a)選擇適當的人工智能風險處理方案；b)確定實施所選人工智能風險處理方案所必需的所有控制，并將這些控制與附件A中的控制進行比較，以核實沒有遺漏任何必要的控制。c)考慮附件A中與實施人工智能風險處理方案相關的控制；d)確定除了附件A中的控制外，是否還需要其他控制，以實施所有風險處理備選方案；控制目標隱含在所選擇的控制中。組織可根據需要選擇附件A中列出的控制目標和控制。附件A中的控制并非詳盡無遺，可能還需要額外的控制目標和控制。如果需要附件A以外的不同或額外控制，組織可設計此類控制或從現有來源獲取。如適用，人工智能風險管理可納入其他管理系統。e)編制一份適用性聲明，其中包含必要的控制[見b)、c)和d)]，并說明納入和排除控制的理由。排除的理由可包括風險評估認為不需要的控制，以及適用的外部要求不需要（或屬于例外情況）的控制。注3：組織可提供文件證明排除一般或特定人工智能系統控制目標的理由，不論是附件A中列出的還是組織自己f)制定人工智能風險處理辦法；獲得指定管理層對人工智能風險處理計劃和接受殘余人工智能風險的批準。必要的控制應：—與6.2中的目標相一致；—作為文件信息提供；—在組織內部傳達；—酌情提供給有關各方。組織應保留有關人工智能風險處理流程的文件化信息。6.1.4人工智能系統影響評估組織應確定一個程序，用于評估開發、提供或使用人工智能系統可能對個人和社會造成的潛在后果。人工智能系統影響評估應確定人工智能系統的部署、預期使用和可預見的濫用對個人和社會造成的潛在后果。影響評估應考慮到部署人工智能系統的具體技術和社會背景以及適用的管轄范圍。系統影響評估的結果應記錄在案。在適當情況下，可將系統影響評估的結果提供給組織規定的相關利益方。注1：組織應在風險評估中考慮人工智能系統影響評估結果（見6.1.2）。A.5提供了評估人工智能系統影響的控注2：在某些情況下（如對安全或隱私至關重要的人工智能系統），組織可要求進行特定學科的人工智能系統影響評估（如物理安全、隱私或信息安全影響），作6.2人工智能目標及其實現的策劃組織應在相關職能和層面制定人工智能目標。人工智能目標應：a)符合人工智能政策（見5.2）；b)可衡量（如可行）；c)考慮到適用的要求；d)受到監督；GB/TXXXXX—XXXX/ISO/IEC42001:XXXXe)進行溝通；f)酌情更新；g)作為文件信息提供。在規劃如何實現其人工智能目標時，組織應確定：—要做什么；—需要哪些資源；—由誰負責；—何時完成；—如何評估結果。注：附件C提供了與風險管理有關的人工智能目標的非排他性清單。附件A（A.6.1和A.9.3）提供了確定負責任地開發和使用人工智能系統的控制目標和控制。B.6.1和B.9.3提供了這些6.3變更的策劃當組織確定有必要更改人工智能管理體系時，應按計劃進行更改。7.1資源組織應確定并提供建立、實施、保持和持續改進人工智能管理體系所需的資源。人工智能資源的控制目標和控制方法見A.4。B.4提供了這些控制的實施指南。7.2能力組織應:—確定在其控制下從事影響其人工智能性能的工作的人員的必要能力;—確保這些人員在適當的教育、培訓或經驗的基礎上勝任;—適用時，采取措施以獲得必要的能力，并評價所采取措施的有效性。應有適當的文件信息作為勝任能力的證據。B.4.6提供了關于人力資源的實施指導，包括考慮必要的專門知識。7.3意識在組織控制下工作的人員應了解:—人工智能方針(見5.2)；—他們對人工智能管理體系有效性的貢獻，包括提高人工智能績效的好處；—不符合人工智能管理體系要求的影響。7.4溝通組織應確定與人工智能管理體系相關的內部和外部溝通，包括:—它將傳達什么;—何時溝通;—與誰交流;—如何溝通。GB/TXXXXX—XXXX/ISO/IEC42001:XXXX7.5文件化信息7.5.1通則組織的人工智能管理體系應包括:a)本文件要求的形成文件的信息;b)組織確定的人工智能管理體系有效性所必需的形成文件的信息。注：人工智能管理體系文件化信息的程度可能因組織而異，原因如下:—組織的規模及其活動、過程、產品和服務的類型;—過程及其相互作用的復雜性;—人的能力。7.5.2創建和更新文件化信息在創建和更新文件化信息時，組織應確保適當:—識別和描述(例如標題、日期、作者或參考編號);—格式(例如語言、軟件版本、圖形)和媒體(例如紙張、電子);—審查和批準適宜性和充分性。7.5.3文件化信息的控制應控制人工智能管理體系和本文件要求的文件化信息，以確保其：a)在需要的場所和時間均可獲得并適于使用；b)得到充分保護(例如，防止泄密、不當使用或完整性受損)。為了控制文件化信息，組織應開展以下適用的活動：—分發、訪問、檢索和使用；—存儲和防護，包括保持易讀性；—對變更的控制(例如，版本控制)；—保留和處置。對于組織確定的，策劃和運行人工智能管理體系必要的、來自外部的文件化信息，應視情況進行識別，并予以控制。8運行8.1運行的策劃和控制組織應策劃、實施和控制滿足要求和實施第6條確定的措施所需的過程，通過:—建立過程準則;—根據準則實施過程控制。組織應實施根據6.2.3確定的與人工智能管理體系運行相關的控制(如與人工智能系統開發和使用生命周期相關的控制)。應監視這些控制的有效性，如果未能達到預期結果，應考慮采取糾正措施。附件A列出了參考控制，附件B提供了實施指南。形成文件的信息應達到必要的程度，以確信過程按計劃得到了執行。組織應控制策劃的變更，評審非預期變更的后果，必要時采取措施減輕任何不利影響。GB/TXXXXX—XXXX/ISO/IEC42001:XXXX組織應確保與人工智能管理體系相關的外部提供的過程、產品或服務得到控制。8.2人工智能風險評估組織應按照6.1.2的規定計劃的時間間隔內或在提出重大變更時，進行人工智能風險評估。組織應保留所有人工智能風險評估結果的文件化信息。8.3人工智能風險處理組織應按6.1.3實施人工智能風險處理計劃，并驗證其有效性。當風險評估識別出需要處理的新風險時，應對這些風險執行6.1.3的風險處理過程。當風險處理計劃確定的風險處理方案無效時，應按照6.1.3的風險處理流程對這些風險處理方案進行評審和重新驗證，并更新風險處理計劃。組織應保留所有人工智能風險處理結果的文件化信息。8.4人工智能系統影響評估組織應根據6.1.4按照計劃的時間間隔或在提出重大變更時執行人工智能系統影響評估。組織應保留所有人工智能系統影響評估結果的文件化信息。9績效評價9.1監視、測量、分析和評價組織應確定:—需要監視和測量什么；—適用的監視、測量、分析和評價方法，以確保有效的結果；—何時實施監視和測量；—何時對監視和測量的結果進行分析和評價。文件化信息應作為結果證據可獲取。組織應評價人工智能管理體系的績效和有效性。9.2內部審計9.2.1通則組織應按計劃的時間間隔進行內部審計，以提供人工智能管理體系是否:a)符合:1)組織自身對人工智能管理體系的要求;2)本文件的要求;b)有效地實施和保持。9.2.2內部審計程序組織應策劃、建立、實施和保持審計方案，包括審計頻率、方法、職責、策劃要求和報告。在制定內部審計方案時，組織應考慮相關過程的重要性和以往審計的結果。組織應:a)確定每次審計的審計目標、準則和范圍;GB/TXXXXX—XXXX/ISO/IEC42001:XXXXb)選擇審計員并實施審計，確保審計過程的客觀性和公正性;c)確保將審計結果報告給相關管理者。應提供形成文件的信息，作為審計方案實施和審計結果的證據。9.3管理評審9.3.1通則最高管理者應在策劃的時間間隔內對組織的人工智能管理體系進行評審，以確保人工智能管理體系持續的適宜性、充分性和有效性。9.3.2管理評審輸入管理評審應包括:a)以往管理評審所采取措施的狀態;b)與人工智能管理體系相關的外部和內部問題的變化;c)與人工智能管理體系相關的相關方的需求和期望的變化;d)人工智能管理體系績效信息，包括以下方面的趨勢:1）不符合項及糾正措施；2）監視和測量結果；3）審計結果；e)持續改進的機會。9.3.3管理評審結果管理評審的結果應包括持續改進的機會，以及變更人工智能管理體系的任何需要的決定。文件化信息應作為管理評審結果證據可獲取。10.1持續改進組織應持續改進人工智能管理體系的適宜性、充分性和有效性。10.2不符合和糾正措施發生不符合時，組織應：a）對不符合做出反應，并且如適用：1）采取控制和糾正措施；2）處置后果；b）通過以下活動評價采取措施的需要，以消除產生不符合的原因，避免其再次發生或在其他地方發生；1）評審不符合；2）確定產生不符合的原因；3）確定是否存在或可能發生類似的不符合；GB/TXXXXX—XXXX/ISO/IEC42001:XXXXc）實施任何所需的措施；d）評審所采取的任何糾正措施的有效性；e）如必要，變更人工智能管理體系。糾正措施應與不符合產生的影響相適應。文件化信息應作為以下事項的證據可獲取：—不符合的性質和所采取的任何后續措施；—任何糾正措施的結果。GB/TXXXXX—XXXX/ISO/IEC42001:XXXX（規范性）參考控制目標與控制A.1概述表A.1詳細列出的控制為組織提供了一個參考，以實現組織目標和應對與人工智能系統的設計和運行有關的風險。并非表A.1中列出的所有控制目標和控制都必須使用，組織可以設計和實施自己的控制（見6.1.3）。附件B提供了表A.1所列所有控制的實施指南。表A.1-控制目標和控制A.2與人工智能相關的政策目標：根據業務需求，為人工智能系統提供管理指導和支持。人工智能方針應按計劃的時間間隔進行評審，或根據需要進行額外評審，以確保其持續的適宜性、充A.3內部組織應根據組織的需要確定和分配人工智能的崗位和職組織應制定并落實一套流程，以便組織中的員工報告與人工智能系統全生命周期有關的組織中的崗位A.4人工智能系統的資源GB/TXXXXX—XXXX/ISO/IEC42001:XXXX作為資源識別的一部分，該組織應記錄有關人工智作為資源識別的一部分，組織應記錄開發、部署、運行、變更管理、維護、轉讓和退役以及驗證和集成人工智能系統所使用的人力資源及其能力的相關A.5評估人工智能系統的影響組織應建立一個流程，以評估人工智能系統在其整組織應記錄人工智能系統影響評估的結果，并在規評估人工智能系統對個人和群組織應評估并記錄人工智能系統在整個系統生命周組織應評估并記錄其人工智能系統在整個生命周期A.6人工智能系統生命周期負責任地開發人工智能系統的組織應識別并記錄目標，以指導可信賴人工智能系統的開發，并在開發生命周期中考慮這些目標，并可信賴人工智能系統設計和開組織應定義并記錄負責任的人工智能系統設計和開組織應規定并記錄新的人工智能系統或對現有系統GB/TXXXXX—XXXX/ISO/IEC42001:XXXX人工智能系統的設計和開發記錄組織應定義并記錄人工智能系統的驗證和確認措組織應記錄部署計劃，并確保在部署前滿足適當的組織應確定并記錄人工智能系統持續運行的必要要素。至少應包括系統和性能監視、維修、更新和支組織應確定用戶、合作伙伴、監管機構等各類相關方需要的人工智能系統技術記錄，并以適當形式向組織應確定在人工智能系統生命周期的哪些階段應啟用事件日志記錄，但至少應在人工智能系統使用A.7人工智能系統的數據用于開發和增強人工智能系統組織應定義、記錄和實施與開發人工智能系統有關組織應確定并記錄人工智能系統所用數據的采集和組織應定義和記錄數據質量要求，并確保用于開發組織應定義并記錄一個流程，用于記錄人工智能系統中使用的數據在數據和人工智能系統生命周期中組織應定義并記錄其選擇數據準備及要使用的數據A.8人工智能系統相關方的信息GB/TXXXXX—XXXX/ISO/IEC42001:XXXX組織應確定并記錄向有關各方報告人工智能系統信A.9人工智能系統的使用負責任地使用人工智能系統的組織應定義并記錄負責任地使用人工智能系統的過負責任地使用人工智能系統的組織應識別并記錄指導可問責地使用人工智能系統組織應確保按照人工智能系統及其附帶文件的預期A.10第三方及客戶關系組織應確保在其人工智能系統生命周期內的責任被分配在組織、其合作伙伴、供應商、客戶和第三方產品或材料的使用符合組織負責任地開發和使用人組織應確保其開發和使用人工智能系統的負責任方GB/TXXXXX—XXXX/ISO/IEC42001:XXXX（規范性）人工智能控制的實施指南B.1概述本附件中記錄的實施指南與附件A中列出的控制有關。它提供了支持實施附件A中列出的控制和實現控制目標的信息，但組織不必在適用性聲明中記錄或證明納入或不納入附件B中的實施指南（見6.1.3）。實施指南并非在所有情況下都適用或充分，也并非總能滿足組織的具體控制要求。組織可根據其具體要求和風險處理需要，擴展或修改實施指南，或自行定義控制的實施。附件B可作為在本文件定義的人工智能管理體系中確定和實施人工智能風險應對控制的指南。除本附件所列控制外，還可確定其他組織上和技術上的控制（見6.1.3中的人工智能系統管理風險應對）。本附件可視為制定組織特定控制實施的起點。B.2與人工智能相關的方針根據業務需求，為人工智能系統提供管理指導和支持。B.2.2人工智能政策控制組織應制定開發或使用人工智能系統的方針。實施指南人工智能方針應參考以下內容：—組織的價值觀和文化，以及組織愿意承擔或保留的風險程度；—人工智能系統帶來的風險程度；—法律要求，包括合同；—組織的風險環境；—對相關利益方的影響（見6.1.4）。人工智能方針應包括（除5.2中的要求外）：—指導組織與人工智能有關的所有活動的原則；—處理偏離方針和例外情況的程序。必要時，人工智能方針應考慮特定主題方面，以提供更多指導或提供與涉及這些方面的其他方針的交叉參考。此類主題的例子包括：—人工智能資源和資產；—人工智能系統影響評估(見6.1.4)；—人工智能系統開發。相關方針應指導人工智能系統的開發、購買、運行和使用。B.2.3與其他組織方針保持一致GB/TXXXXX—XXXX/ISO/IEC42001:XXXX控制組織應確定其他方針的哪些方面受到組織在人工智能系統方面目標的影響或適用于該目標。實施指南許多領域都與人工智能有交叉，包括質量、信息安全、物理安全和隱私。組織應考慮進行全面分析，以確定當前方針是否以及在哪些方面存在必然交叉，并在需要更新時更新這些方針，或在人工智能方針中納入相關規定。其他信息治理機構代表組織制定的方針應為人工智能方針提供參考。ISO/IEC38507為治理管理機構的成員提供了指導，以便在人工智能系統的整個生命周期內啟用和治理人工智能系統。B.2.4人工智能方針的評審控制人工智能方針應按計劃的時間間隔進行評審，或根據需要進行額外評審，以確保其持續的適宜性、充分性和有效性。實施指南應由管理層批準的一個角色負責人工智能方針或其組成部分的制定、審查和評估。評審應包括根據組織環境、業務情況、法律條件或技術環境的變化，評估機會以改進組織的人工智能系統管理方針和方法的機會。人工智能方針的評審應考慮到管理評審的結果。B.3內部組織在組織內部建立問責制，堅持以負責任的方式實施、運行和管理人工智能系統。B.3.2人工智能的崗位和職責控制實施指南定義崗位和職責對于確保整個組織中與人工智能系統全生命周期有關的崗位可問責至關重要。在分配角色和責任時，組織應考慮人工智能政策、人工智能目標和已識別的風險，以確保涵蓋所有相關領域。組織可優先考慮如何分配崗位和職責。需要明確角色和職責的示例包括：—人工智能系統影響評估；—資產和資源管理；—供應商關系；—證明其有能力始終如一地滿足法律要求；GB/TXXXXX—XXXX/ISO/IEC42001:XXXX—數據質量管理（整個生命周期）。各種崗位的職責應界定到適合個人履行其職責的程度。B.3.3報告關切控制實施指南報告機制應具備以下功能：a)可選擇保密或匿名或兩者兼有；b)向受雇人員和合同人員提供并宣傳；c)配備合格的工作人員d)為b)中提到的人員規定適當的調查和解決權力；e)規定及時向管理層報告和上報的機制；f)為報告和調查相關人員提供有效保護，使其免遭報復（如允許匿名和保密報告）；g)根據4.4和（如適用）e)提供報告；同時保持a)中的保密性和匿名性，并尊重一般的商業機密考慮因素h)在適當的時限內提供回應機制。注組織可利用現有的報告機制作為該流程的一部分。其他信息除本條款提供的實施指南外，組織還應進一步考慮ISO37002。B.4人工智能系統的資源確保組織考慮人工智能系統的資源（包括人工智能系統組件和資產）進行核算，以充分了解和應對風險和影響。B.4.2資源記錄控制組織應確定并記錄特定人工智能系統生命周期階段活動所需的相關資源，以及與組織相關的其他人工智能相關活動。實施指南記錄人工智能系統的資源對于了解風險以及人工智能系統對個人和社會的潛在影響（包括正面和負面影響）至關重要。記錄此類資源（可利用數據流圖或系統架構圖等）可為人工智能系統影響評估提供信息（見B.5）。資源可包括但不限于：—人工智能系統組件；—數據資源，即在人工智能系統生命周期的任何階段使用的數據；—工具資源（如人工智能算法、模型或工具）；—系統和計算資源（如開發和運行人工智能模型的硬件、數據存儲和工具資源）；—人力資源，即與組織在整個人工智能系統生命周期中的作用有關的、具有必要專業知識的人員（如開發、銷售、培訓、運行和維護人工智能系統）。GB/TXXXXX—XXXX/ISO/IEC42001:XXXX資源可以由組織本身、客戶或第三方提供。其他信息記錄資源也有助于確定是否有可用資源，如果沒有可用資源，組織應修改人工智能系統的設計規范或其部署要求。B.4.3數據資源控制作為資源識別的一部分，組織應記錄有關人工智能系統所使用的數據資源的信息。實施指南數據文檔應包括但不限于以下內容：—數據的出處；—數據最后更新或修改的日期（如元數據中的日期標簽）；—對于機器學習，數據類別（如訓練、驗證、測試和生產數據）；—數據類別（如ISO/IEC19944-1中定義的類別）；—標注數據的過程；—數據的預期用途；—數據的質量（如ISO/IEC5259系列中的描述）；—適用的數據保留和處置政策；—數據中已知或潛在的偏差問題；B.4.4工具資源控制作為資源識別的一部分，組織應記錄有關人工智能系統所使用的工具資源的信息。實施指南人工智能系統特別是機器學習的工具資源可包括但不限于—算法類型和機器學習模型；—數據調節工具或流程—資源配置工具；—輔助模型開發的工具；—用于人工智能系統設計、開發和部署的軟件和硬件；其他信息ISO/IEC23053為機器學習各種工具資源的類型、方法和途徑提供了詳細指導。B.4.5系統和計算資源控制作為資源識別的一部分，該組織應記錄有關人工智能系統所使用的系統和計算資源的信息。實施指南人工智能系統的系統和計算資源信息可包括但不限于以下內容：—人工智能系統的資源要求（即幫助確保系統可在資源有限的設備上運行）；GB/TXXXXX—XXXX/ISO/IEC42001:XXXX—系統和計算資源的位置（如本地、云計算或邊緣計算）；—處理資源（包括網絡和存儲）；—用于運行人工智能系統工作負載的硬件的影響（例如，通過使用或制造硬件或使用硬件的成本對環境造成的影響）。組織應考慮可能需要不同的資源，以便不斷改進人工智能系統。系統的開發、部署和運行可能會有不同的系統需求和要求。注ISO/IEC22989描述了各種系統資源考慮因素。B.4.6人力資源控制作為資源識別的一部分，組織應記錄開發、部署、運行、變更管理、維護、轉讓和退役以及驗證和集成人工智能系統所使用的人力資源及其能力的相關信息。實施指南組織應考慮對不同專業知識的需求，并納入系統所需的角色類型。例如，如果與用于訓練機器學習模型的數據集相關的特定人口群體是系統設計的必要組成部分，則組織可將其納入其中。必要的人力資源包括但不限于：—數據科學家；—與人工智能系統人工監督相關的角色；—信息安全、物理安全和隱私等可信賴領域的專家；—人工智能研究人員和專家，以及與人工智能系統相關的領域專家。在人工智能系統生命周期的不同階段，可能需要不同的資源。B.5評估人工智能系統的影響評估人工智能系統在其整個生命周期內對受其影響的個人和社會的影響。B.5.2人工智能系統影響評估過程控制組織應建立一個流程，以評估人工智能系統在其整個生命周期內可能對個人和社會造成的潛在后實施指南由于人工智能系統可能對個人、個人群體和社會產生重大影響，提供和使用此類系統的組織應根據這些系統的預期目的和用途，評估這些系統對這些群體的潛在影響。組織應考慮人工智能系統是否會影響以下方面：—個人的法律地位或生活機會；—個人的身心健康；組織的流程應包括但不限于：a)應進行人工智能系統影響評估的情況，包括但不限于：1)使用人工智能系統的預期目的和背景的關鍵性，或這些方面的任何重大變化；GB/TXXXXX—XXXX/ISO/IEC42001:XXXX2)人工智能技術的復雜性和人工智能系統的自動化程度，或這方面的任何重大變化；3）人工智能系統處理的數據類型和來源的敏感性或任何重大變化。b)作為人工智能系統影響評估過程一部分的要素，可包括：1)識別（如來源、事件和結果）；2）分析（如后果和可能性）3）評估（如接受決定和優先級）；4）處理（如緩解措施）；5）記錄、報告和溝通（見7.4、7.5和B.3.3）；c)由誰進行人工智能系統影響評估；d)如何利用人工智能系統影響評估[例如，如何為系統的設計或使用提供信息（見B.6和B.9），是否可以觸發審查和批準]；e)根據系統的預期目的、用途和特點，可能受到影響的個人和社會（例如，針對個人、個人群體或社會的評估）。影響評估應考慮到人工智能系統的各個方面，包括用于開發人工智能系統的數據、使用的人工智能技術和整個系統的功能。根據組織的角色、人工智能應用領域以及影響評估的具體學科（如信息安全、隱私和物理安全流程可能會有所不同。其他信息對于某些學科或組織來說，詳細考慮對個人和社會的影響是風險管理的一部分，特別是在信息安全、物理安全和環境管理等學科。組織應確定，作為此類風險管理過程一部分的特定學科影響評估是否充分納入了對這些特定方面（如隱私）的人工智能考慮。注ISO/IEC23894描述了組織如何對組織本身以及個人和社會進行影響分析，作為整體風險管理流程的一部分。B.5.3人工智能系統影響評估記錄控制組織應記錄人工智能系統影響評估的結果，并在規定期限內保留結果。實施指南這些文件有助于確定應傳達給用戶和其他有關方面的信息。人工智能系統影響評估應按照B.5.2中記錄的人工智能系統影響評估要素保留并在需要時更新。保留期限可遵循組織保留時間表，或根據法律要求或其他要求確定。組織應考慮記錄的項目包括但不限于：—人工智能系統的預期用途和可合理預見的濫用；—人工智能系統對相關個人和社會的積極和消極影響；—可預測的故障、其潛在影響以及為減輕故障而采取的措施；—系統適用的相關人口群體；—系統的復雜性；—人在系統關系中的作用，包括人的監督能力、程序和工具，可用于避免負面影響；—就業和員工技能。B.5.4評估人工智能系統對個人和群體的影響控制GB/TXXXXX—XXXX/ISO/IEC42001:XXXX組織應評估并記錄人工智能系統在整個系統生命周期內對個人或群體的潛在影響。實施指南在評估對個人的影響時，組織應考慮其治理原則、人工智能政策和目標。使用人工智能系統的個人或其PII被人工智能系統處理的個人，可能對人工智能系統的可信度抱有期望。應考慮到兒童、殘疾人、老年人和工人等群體的特殊保護需求。作為系統影響評估的一部分，組織應評估這些期望，并考慮解決這些期望的方法。根據人工智能系統的目的和使用范圍，作為評估一部分需要考慮的影響領域可以包括但不限于以下方面：—透明度和可解釋性；其他信息必要時，組織應咨詢專家(如研究人員、主題專家和用戶)，以充分了解體系對個人的潛在影響。B.5.5評估人工智能系統的社會影響控制組織應評估并記錄其人工智能系統在整個生命周期中可能產生的社會影響。實施指南社會影響因組織背景和人工智能系統類型的不同而大相徑庭。人工智能系統的社會影響既可能是有益的，也可能是有害的。這些潛在社會影響的例子包括—環境可持續性（包括對自然資源和溫室氣體排放的影響）；—經濟（包括獲得金融服務、就業機會、稅收、貿易和商業）；—政府（包括立法程序、為政治利益提供錯誤信息、國家安全和刑事司法系統—健康與安全（包括獲得醫療保健、醫療診斷和治療，以及潛在的身心傷害）；—規范、傳統、文化和價值觀（包括導致偏見或對個人造成傷害的錯誤信息）。其他信息人工智能系統的開發和使用可能是計算密集型的，會對環境可持續性產生相關影響（例如，因用電量增加而產生的溫室氣體排放，對水、土地、動植物的影響）。同樣，人工智能系統也可用于改善其他系統的環境可持續性（如減少與建筑和運輸有關的溫室氣體排放）。組織應結合其總體環境可持續性目標和戰略，考慮其人工智能系統的影響。組織應考慮如何預防濫用人工智能系統造成社會危害，以及如何利用人工智能系統解決歷史遺留問題。例如，人工智能系統能否阻止人們獲得貸款、贈款、保險和投資等金融服務，同樣，人工智能系統能否改善人們獲得這些工具的途徑？人工智能系統已被用于影響選舉結果和制造錯誤信息（如數字媒體中的深度偽造從而導致政治和社會動蕩。政府將人工智能系統用于刑事司法目的，暴露了對個人和群體的偏見風險。本組織應分析不良行為者如何濫用人工智能系統，以及人工智能系統如何強化不受歡迎的歷史性社會偏見。GB/TXXXXX—XXXX/ISO/IEC42001:XXXX人工智能系統可用于診斷和治療疾病，并確定享受健康福利的資格。人工智能系統還可用于發生故障可能導致人員傷亡的場景（如自動駕駛汽車、人機協作）。組織在使用人工智能系統時，如在與健康和安全相關的場景中，應同時考慮積極和消極的結果。注ISO/IECTR24368提供了與人工智能系統和應用有關的倫理和社會問題的高級概述。B.6人工智能系統生命周期B.6.1人工智能系統開發管理指南B.6.1.1目標確保組織識別和記錄目標并實施負責任的人工智能系統設計和開發過程。B.6.1.2負責任地開發人工智能系統的目標控制組織應識別并記錄指導開發可信賴人工智能系統的目標，并在開發生命周期中考慮到這些目標，并納入實現這些目標的措施。實施指南組織應確定影響人工智能系統設計和開發過程的目標（見6.2）。這些目標應在設計和開發過程中加以考慮。例如，如果一個組織將"公平性"定義為目標之一，則應將其納入需求說明、數據采集、數據調節、模型訓練、驗證和確認等過程中。組織應提供必要的要求和指南，以確保在各個階段都有相應的措施（例如，要求使用特定的測試工具或方法來解決不公平或不必要的偏差），從而實現這些目標。其他信息人工智能技術正被用于增強安全措施，如威脅預測檢測和安全攻擊預防。這是人工智能技術的一種應用，可用于加強安全措施，保護人工智能系統和傳統的非人工智能軟件系統。附件C提供了管理風險的組織目標示例，有助于確定人工智能系統開發的目標。B.6.1.3可信賴人工智能系統設計和開發流程控制組織應定義并記錄負責任的人工智能系統設計和開發的具體流程。實施指南負責任的人工智能系統流程開發應包括但不限于考慮以下方面：—生命周期階段（ISO/IEC22989提供了通用的人工智能系統生命周期模型，但組織可指定自己的生命周期階段）；—測試要求和計劃測試手段；—人工監督要求，包括流程和工具，特別是當人工智能系統可能對自然人產生影響時；—應在哪些階段進行人工智能系統影響評估；—培訓數據預期和規則（如可使用哪些數據、經批準的數據供應商和標簽）；—人工智能系統開發人員所需的專業知識（主題領域或其他）或培訓，或兩者兼而有之；—各階段所需的批準和簽核；—可用性和可控性；—有關各方的參與。GB/TXXXXX—XXXX/ISO/IEC42001:XXXX具體的設計和開發流程取決于人工智能系統打算使用的功能和人工智能技術。B.6.2人工智能系統生命周期B.6.2.1目標定義人工智能系統生命周期各階段的標準和要求。B.6.2.2人工智能系統的要求和規范控制組織應規定并記錄新的人工智能系統或對現有系統的重大改進的要求。實施指南組織應記錄開發人工智能系統的理由及其目標。應考慮、記錄和理解的一些因素包括：a)為什么要開發人工智能系統，例如，是受業務案例、客戶要求還是政府政策的驅動；b)如何訓練模型以及如何實現數據要求。應明確人工智能系統的要求，并應貫穿整個人工智能系統的生命周期。如果所開發的人工智能系統無法按預期運行，或出現了可用于更改和改進要求的新信息，則應重新審視這些要求。例如，從財務角度看，開發人工智能系統可能變得不可行。其他信息ISO/IEC5338:-[正在編寫中。出版時的階段：ISO/IECDIS5338]提供了描述人工智能系統生命周期的流程。有關交互系統以人為本設計的更多信息，請參見ISO9241-210。B.6.2.3人工智能系統的設計和開發記錄控制組織應根據組織目標、文件化的要求和規范標準，記錄人工智能系統的設計和開發。實施指南人工智能系統有許多必要的設計選擇，包括但不限于—機器學習方法（如監督式與非監督式）；—所使用的機器學習模型的學習算法和類型；—模型的訓練方式和數據質量（見B.7）；—模型的評估和改進；—硬件和軟件組件；—在整個人工智能系統生命周期中考慮的安全威脅；人工智能系統特有的安全威脅包括數據中毒、模型竊取或模型反轉攻擊；—界面和輸出展示；—人類如何與系統互動；—互操作性和可移植性方面的考慮。在設計和開發之間可能會有多次迭代，但應保留各階段的文檔，并提供最終的系統架構文檔。其他信息有關交互系統以人為本設計的更多信息，請參閱ISO9241-210。B.6.2.4人工智能系統的驗證和確認控制組織應定義并記錄人工智能系統的驗證和確認措施，并規定其使用標準。GB/TXXXXX—XXXX/ISO/IEC42001:XXXX實施指南核查和驗證措施可包括但不限于：—測試方法和工具；—測試數據的選擇及其在預期使用領域的代表性；—發布標準要求。組織應定義和記錄評估標準，如但不限于：—評估人工智能系統組件和整個人工智能系統對個人和社會影響風險的計劃；—評估計劃可基于以下因素，例如：—人工智能系統的可靠性和安全性要求，包括人工智能系統性能的可接受誤差率；—負責任的人工智能系統開發和使用目標，如B.6.1.2和B.9.3中的目標；—操作因素，如數據質量、預期用途，包括每個操作因素的可接受范圍；—任何可能需要定義更嚴格操作要素的預期用途，包括不同的操作要素可接受范圍或較低的誤差率；—用于評估根據人工智能系統輸出結果作出決定或受制于決定的相關利益方是否能夠充分解釋人工智能系統輸出結果的方法、指導或衡量標準。應根據人工智能系統影響評估的結果確定評估頻—任何可接受的因素，這些因素可能導致無法達到目標的最低性能水平，特別是在評估人工智能系統對個人和社會的影響時（例如，計算機視覺系統圖像分辨率低或背景噪聲影響語音識別系統）。還應記錄處理這些因素導致的人工智能系統性能低下的機制。人工智能系統應根據記錄的評估標準進行評估。如果人工智能系統不能滿足記錄在案的評估標準，特別是不能滿足負責任的人工智能系統開發和使用目標（見B.6.1.2，B.9.3組織應重新考慮或管理人工智能系統預期用途的缺陷、其性能要求以及組織如何有效處理對個人和社會的影響。注：有關如何處理神經網絡穩健性的更多信息，請參閱ISO/IECTR24029-1。B.6.2.5人工智能系統的部署控制組織應記錄部署計劃，并確保在部署前滿足適當的要求。實施指南人工智能系統可以在不同的環境中開發，也可以在其他環境中部署（如在本地開發，使用云計算部署組織在制定部署計劃時應考慮到這些差異。他們還應考慮組件是否分開部署（例如，軟件和模型可以獨立部署）。此外，企業應制定一套發布和部署前必須滿足的要求（有時稱為“發布標準”）。這可能包括必須通過的驗證和確認措施、必須達到的性能指標、必須完成的用戶測試，以及必須獲得的管理審批和簽批。部署計劃應考慮到相關利益方的觀點和影響。B.6.2.6人工智能系統的運行和監視控制組織應確定并記錄人工智能系統持續運行的必要要素。至少應包括系統和性能監視、維修、更新和支持。實施指南運行和監測的每項最低活動都可以考慮各種因素。例如：GB/TXXXXX—XXXX/ISO/IEC42001:XXXX—系統和性能監控可包括對一般錯誤和故障的監控，以及對系統是否按預期運行生產數據的監控。技術性能標準可包括解決問題或完成任務的成功率或信任率。其他標準可能與滿足相關方的承諾或期望和需求有關，例如包括持續監控，以確保符合客戶要求或適用的法律要求。—一些已部署的人工智能系統的性能會隨著人工智能的發展而不斷提高，其中生產數據和輸出數據被用于進一步訓練人工智能模型。在使用持續學習的情況下，組織應監控人工智能系統的性能，以確保其持續滿足設計目標，并按照預期在生產數據上運行。—有些人工智能系統即使不使用持續學習，其性能也會發生變化，這通常是由于生產數據中的概念或數據漂移造成的。在這種情況下，監控可以確定是否需要重新訓練，以確保人工智能系統繼續實現其設計目標，并按預期在生產數據上運行。更多信息可參見ISO/IEC23053。—維修可包括對系統中的錯誤和故障做出響應。組織應制定應對和修復這些問題的流程。此外，隨著系統的發展，或隨著發現的關鍵問題減少，或由于外部發現的問題（如不符合客戶期望或法律要求可能有必要進行更新。應制定更新系統的流程，包括受影響的組件、更新時間表、向用戶提供的關于更新內容的信息。—系統更新還可包括系統操作的變更、新的或修改后的預期用途，或系統功能的其他變更。組織應制定程序來處理操作變更，包括與用戶溝通。—對系統的支持可以是內部的、外部的或兩者兼有，這取決于組織的需求和系統的獲取方式。支持流程應考慮用戶如何聯系適當的幫助、如何報告問題和事件、支持服務級別協議和衡量標準。—如果人工智能系統的使用目的與設計目的不同，或使用的方式未在預料之中，則應考慮此類使用的適當性。—應識別與組織應用和開發的人工智能系統相關的人工智能特有的安全威脅。人工智能特有的安全威脅包括但不限于數據中毒、模型竊取和模型反轉攻擊。其他信息組織應考慮可能影響相關方的運行性能，并在設計和確定性能標準時考慮這一點。運行中的人工智能系統的性能標準應根據所考慮的任務來確定，如分類、回歸、排序、聚類或降維。性能標準可包括錯誤率和處理持續時間等統計方面。對于每項標準，企業都應確定所有相關指標以及指標之間的相互依賴關系。對于每個指標，企業都應根據領域專家的建議和對相關方相對于現有非人工智能實踐的期望分析等，考慮可接受的值。例如，如ISO/IECTS4213所述，組織可根據其對假陽性和假陰性影響的評估，確定F1分數是一個合適的性能指標。然后，組織可以確定人工智能系統應達到的F1值。應評估這些問題是否可以通過現有措施來解決。如果不能，則應考慮更改現有措施，或定義其他措施來檢測和處理這些問題。組織應考慮運行中的非人工智能系統或流程的績效，并在制定績效標準時將其作為潛在的相關背此外，組織應確保用于評估人工智能系統的手段和程序，包括酌情選擇和管理評估數據，以提高根據規定標準評估其績效的完整性和可靠性。績效評估方法的制定可以標準、度量和價值為基礎。這些標準、指標和價值應能為評估中使用的數據量和程序類型以及評估人員的作用和專業技能提供依據。績效評估方法應盡可能地反映運行和使用的屬性和特點，以確保評估結果的有用性和相關性。性能評估的某些方面可能需要有控制地引入錯誤或虛假數據或流程，以評估對性能的影響。ISO/IEC25059:-[編寫中。出版時的階段：ISO/IECDIS25059。]中的質量模型可用于定義性能標B.6.2.7人工智能系統的技術記錄GB/TXXXXX—XXXX/ISO/IEC42001:XXXX控制組織應確定用戶、合作伙伴、監管機構等各類相關方需要的人工智能系統技術記錄，并以適當形式向他們提供技術文件。實施指南人工智能系統技術文件可包括但不限于以下內容：—人工智能系統的一般說明，包括其預期目的；—關于其部署和運行的技術假設（運行環境、相關軟件和硬件能力、對數據的假設等—技術限制（如可接受的錯誤率、準確性、可靠性、穩健性）；—允許用戶或操作員影響系統運行的監控能力和功能。與所有人工智能系統生命周期階段有關的文檔要素（如ISO/IEC22989所定義）可包括但不限于以下內容：—設計和系統架構說明；—在系統開發過程中做出的設計選擇和采取的質量措施；—系統開發過程中使用的數據信息；—對數據質量所作的假設和采取的質量措施（如假設的統計分布）；—人工智能系統開發或運行過程中開展的管理活動（如風險管理）；—核實和驗證記錄；—人工智能系統運行時所作的改動；—B.5所述的影響評估文件。組織應記錄與負責任地運行人工智能系統有關的技術信息。這可包括但不限于：—記錄管理先前未知故障的計劃。例如，這可能包括需要說明人工智能系統的回滾計劃、關閉人工智能系統的功能、更新流程或將人工智能系統的變更通知客戶、用戶等的計劃、系統故障的最新信息以及如何緩解這些故障；—記錄監測人工智能系統健康狀況的程序（即人工智能系統按預期并在正常運行范圍內運行，也稱為可觀察性）和處理人工智能系統故障的程序；—記錄人工智能系統的標準操作程序，包括應監控哪些事件以及如何優先處理和審查事件日志。還可包括如何調查故障和預防未來故障；—記錄負責人工智能系統操作的人員和負責系統使用的人員的職責，特別是在處理人工智能系統故障的影響或管理人工智能系統更新方面；—記錄系統更新，如系統操作的變化、新的或修改后的預期用途，或系統功能的其他變化。—組織應制定適當的程序來解決操作上的變更，包括與用戶的溝通和對變更類型的內部評估。文件應及時更新并準確無誤。文件應得到組織內相關管理層的批準。作為用戶文檔的一部分提供時，應考慮表A.1中提供的控制。B.6.2.8人工智能系統的事件記錄日志控制組織應確定在人工智能系統生命周期的哪些階段應啟用事件日志記錄，但至少應在人工智能系統使用時啟用。實施指南GB/TXXXXX—XXXX/ISO/IEC42001:XXXX組織應確保為其部署的人工智能系統記錄日志，以自動收集和記錄與操作期間發生的某些事件相關的事件日志。此類日志記錄可包括但不限于以下內容：—人工智能系統功能的可追溯性，以確保人工智能系統按預期運行；—通過監控人工智能系統的運行，檢測人工智能系統在預期運行條件之外的性能，這可能會導致生產數據的不良性能或對相關利益方造成影響。人工智能系統事件日志可包括一些信息，如每次使用人工智能系統的時間和日期、人工智能系統運行的生產數據、超出人工智能系統預期運行范圍的輸出等。事件日志的保存時間應根據人工智能系統的預期用途以及組織的數據保存政策和與數據保存相關的法律要求而定。其他信息某些人工智能系統（如生物識別系統）可能會根據管轄范圍而有額外的日志記錄要求。各組織應了解這些要求。B.7人工智能系統的數據確保組織了解人工智能系統中的數據在人工智能系統的整個生命周期中的應用、開發、提供或使用中的作用和影響。B.7.2用于開發和增強人工智能系統的數據控制組織應定義、記錄和實施與人工智能系統開發相關的數據管理流程。實施指南—數據管理可以包括各種控制，包括但不限于：—由于使用數據而影響到隱私和安全，其中一些數據在本質上可能是敏感的；—依賴于數據的人工智能系統開發可能產生的安全和安全威脅；—透明度和可解釋性方面，包括數據來源，以及如果系統需要透明度和可解釋性，則提供解釋數據如何用于確定人工智能系統的輸出的能力；—訓練數據與運行使用領域相比的代表性；—數據的準確性和完整性。注：人工智能系統生命周期和數據管理概念的詳細信息由ISO/IEC22989提供。B.7.3數據采集控制該組織應確定并記錄有關在人工智能系統中使用的數據的采集和選擇的細節。實施指南根據其人工智能系統的范圍和使用情況，該組織可能需要來自不同來源的不同類別的數據。關于數據采集的詳細信息可以包括：—人工智能系統所需的數據類別；—所需數據量；—數據源（例如：內部、購買、共享、開放數據、合成）；—數據源的特性（例如，靜態、流式、收集、機器生成）；GB/TXXXXX—XXXX/ISO/IEC42001:XXXX—數據主體的人口統計學特征（如已知或潛在的偏差或其他系統錯誤）；—事先處理數據（例如，以前的使用、符合隱私和安全要求）；—數據權利（如PII、版權）；—相關的元數據（例如，數據標簽和增強的細節）；—數據的來源。其他信息ISO/IEC19944-1中的數據類別和數據使用的結構可用于記錄有關數據采集和使用的細節。B.7.4人工智能系統的數據質量控制組織應定義和記錄數據質量要求，并確保用于開發和運行人工智能系統的數據符合這些要求。實施指南用于開發和操作人工智能系統的數據質量可能會對系統輸出的有效性產生重大影響。ISO/IEC25024將數據質量定義為在規定條件下使用時，數據特征滿足規定和隱含需求的程度。對于使用監督或半監督機器學習的人工智能系統，盡可能對訓練、驗證、測試和生產數據的質量進行定義、測量和改進是很重要的，組織宜確保數據能達到其預期目的。組織應考慮偏差對系統性能和系統公平性的影響，并對用于提高性能和公平性的模型和數據做出必要的調整，以便它們能夠被用例所接受。其他信息關于數據質量的其他信息可在ISO/IEC5259關于分析和ML數據質量的系列中獲得。關于在人工智能系統中使用的數據中不同形式的偏差的其他信息可參考ISO/IECTR24027。B.7.5數據來源控制該組織應該定義并記錄一個流程，以記錄其人工智能系統在數據和生命周期中使用的數據的來源。實施指南根據ISO8000-2，數據來源的記錄可以包括關于數據控制的創建、更新、轉錄、抽象、驗證和傳輸的信息。此外，還可以在數據來源下考慮數據共享（不轉移控制）和數據轉換。根據數據來源、數據內容和使用上下文等因素，組織應該考慮是否需要采取驗證數據來源的措施。B.7.6數據準備控制組織應定義并記錄其選擇數據準備及要使用的數據準備方法的準則。實施指南在人工智能系統中使用的數據通常需要做好準備，以使其可用于給定的人工智能任務。例如，機器學習算法有時不能容忍缺失或不正確的條目、非正態分布和廣泛變化的尺度。制備方法和變換可以用來提高數據的質量。如果未能正確準備好數據，可能會導致人工智能系統錯誤。在人工智能系統中使用的數據的常用準備方法和轉換包括：—對數據的統計探索（例如分布、平均值、中位數、標準差、范圍、分層、抽樣）和統計元數據（例如數據文檔計劃（DDI）規范[27])；—清理（即糾正條目，處理缺失的條目）；—估算（即用于填寫缺失條目的方法）；GB/TXXXXX—XXXX/ISO/IEC42001:XXXX—添加目標變量的標簽；—編碼（例如，將分類變量轉換為數字）。對于給定的人工智能任務，應該記錄其選擇特定數據準備方法和轉換的標準，以及在人工智能任務中使用的特定方法和轉換。注：關于機器學習特有的數據準備的更多信息，請參見ISO/IEC5259系列和ISO/IEC23053。B.8人工智能系統相關方的信息確保有關各方掌握必要的信息，以了解和評估風險及其影響（正面和負面）。B.8.2為用戶提供的系統文件和信息控制組織應確定并向系統的用戶提供必要的信息。實施指南關于人工智能系統的信息可以包括技術細節和說明，以及對用戶正在與人工智能系統交互的一般通知，這取決于環境。這還可以包括系統本身，以及系統的潛在輸出（例如，通知用戶一個圖像是由人工智能創建的）。雖然人工智能系統可能很復雜，但用戶能夠理解他們何時與人工智能系統交互，以及該系統的工作原理是至關重要的。用戶還需要了解其預期目的和預期用途，以及其對用戶造成傷害或受益的可能性。一些系統文檔必須用于更多的技術用途（例如系統管理員組織應該了解不同感興趣方的需求以及可理解性對他們意味著什么。這些信息也應該是可訪問的，無論是在查找它的易用性方面，還是對于那些可能需要額外的可訪問性功能的用戶方面。可提供給用戶的信息包括但不限于：—用戶正在與一個人工智能系統進行交互；—如何與系統進行交互；—如何以及何時覆蓋該系統；—系統運行的技術要求，包括所需的計算資源，以及系統的限制及其預期壽命；—對人類監督的需求；—關于準確性和性能的信息；—來自影響評估的相關信息，包括潛在的好處和危害，特別是如果它們適用于特定的情況或某些人口群體(見B.5.2和B.5.4);—對系統的好處的修正；—更新和更改系統的工作方式，以及任何必要的維護措施，包括其頻率；—供系統使用的教育材料。組織用來決定是否提供什么信息的標準應該被記錄下來。相關標準包括但不限于人工智能系統的預期用途和合理可預見的誤用、用戶的專業知識和人工智能系統的具體影響。GB/TXXXXX—XXXX/ISO/IEC42001:XXXX信息可以以多種方式提供給用戶，包括有記錄的使用說明、系統本身內置的警報和其他通知、網頁上的信息等。根據組織使用的提供信息的方法，它應該驗證用戶是否可以訪問這些信息，并且所提供的信息是否是完整的、最新的和準確的。B.8.3外部報告控制組織應為相關方提供報告系統負面影響的能力。實施指南雖然應監測系統運行是否存在報告的問題和故障，但組織還應為用戶或其他外部各方提供報告不利影響（例如，不公平）的能力。B.8.4事故通報控制組織應確定并記錄向系統用戶溝通事故的計劃。實施指南與人工智能系統有關的事件可以是人工智能系統本身的特定事件，也可以是與信息安全或隱私有關的事件（如數據泄露）。組織應根據系統運行的具體情況，了解其在通知用戶和其他相關方有關事件方面的義務。例如，作為影響安全的產品一部分的人工智能組件發生事故時，其通知要求可能與其他類型的系統不同。法律要求（如合同）和監管活動可以適用，它們可以明確規定以下要求：—必須通報的事件類型；—通知的時限—是否必須通知有關當局以及通知哪些當局；—必須通報的詳細信息。組織可將人工智能的事件響應和報告活動整合到更廣泛的組織事件管理活動中，但應注意與人工智能系統或人工智能系統單個組件相關的獨特要求（例如，系統訓練數據中的PII數據泄露可能會有與隱私相關的不同報告要求）。其他信息ISO/IEC27001和ISO/IEC27701分別提供了有關安全和隱私事件管理的更多詳細信息。B.8.5向有關各方提供信息控制該組織應確定并記錄其向相關各方報告有關人工智能系統的信息的義務。實施指南在某些情況下，一個司法管轄區可能會要求與監管機構等權威機構共享有關該系統的信息。信息可以在適當的時間框架內報告給相關方，如客戶或監管當局。共享的信息可以包括，例如：—技術系統文件，包括但不限于，用于訓練、驗證和測試的數據集，以及算法選擇的理由和驗證和驗證記錄；—與本系統相關的風險；—影響評估結果；—日志和其他系統記錄。本組織應了解其在這方面的義務，并確保與正確的當局分享適當的信息。此外，該組織知道與執法當局共享的信息有關的司法要求。GB/TXXXXX—XXXX/ISO/IEC42001:XXXXB.9人工智能系統的使用確保組織負責任地和按照組織的政策使用人工智能系統。B.9.2系統的文檔和信息控制該組織應該定義并記錄了負責任地使用人工智能系統的過程。實施指南根據其上下文，該組織在決定是否使用特定的人工智能系統時可以有許多考慮因素。無論人工智能系統是由組織本身開發的還是來自第三方，組織都應該清楚這些考慮是什么，并制定政策來解決這些問題。例如：—要求的批準；—成本（包括持續的監測和維護費用）；—批準的采購要求；—適用于本組織的法律要求。如果組織已經接受了使用其他系統、資產等的策略，那么如果需要，可以合并這些策略。B.9.3負責任地使用人工智能系統的目標控制該組織應確定并記錄目標，以指導負責任地使用人工智能系統。實施指南在不同的環境下運作的組織可能對人工智能系統的負責任的發展有不同的期望和目標。根據其上下文，組織應確定其與可信使用相關的目標。一些目標包括：—魯棒性和冗余性；一旦定義，組織應該實施機制來實現組織內的目標。這可以包括確定一個第三方解決方案是否滿足了組織的目標，或者一個內部開發的解決方案是否適用于預期的用途。該組織應確定在人工智能系統生命周期的哪個階段應納入有意義的人類監督目標。這可以包括：—讓人類審查員檢查人工智能系統的輸出，包括有權推翻人工智能系統做出的決策；—如果需要根據與預期部署人工智能系統相關的指示或其他文件使用人工智能系統，確保包括人工監督；GB/TXXXXX—XXXX/ISO/IEC42001:XXXX—監控人工智能系統的性能，包括人工智能系統輸出的準確性；—報告有關人工智能系統輸出的關切及其對相關利害關系方的影響；—報告人工智能系統正確輸出生產數據的性能或能力的變化；—考慮自動決策是否適合于一種負責任的方法來使用人工智能系統和人工智能系統的預期使用。通過影響評估可以得知人類監督的必要性（見B.5)。參與與人工智能系統相關的人工監督活動的人員應被告知、培訓和理解有關人工智能系統的指示和其他文件，以及它們為滿足人類監督目標所執行的職責。在報告性能問題時，人工監督可以增強自動監控。其他信息附件C提供了管理風險的組織目標的例子，這可能有助于確定