《AI治理指南 — 常见问题解答》

有效的 AI 治理由一系列实践、原则与框架构成，旨在确保 AI 系统在财务上可行、部署上负责任，并与组织整体业务战略保持一致。其核心特征通常包括：

• 资源的有效配置：驱动组织制定清晰的 AI 战略，通过严谨的商业论证流程筛选最具价值的应用场景，并夯实必要的数据基础以赋能业务发展，重点聚焦于实现预期的投资回报率（ROI）。
• 明确的伦理框架与指南：围绕偏见、公平性、问责与透明度等议题，清晰界定组织在部署和使用 AI 解决方案时的价值观与行为边界。
• 跨职能协同：整合技术、法律、伦理和业务等多维视角，共同应对 AI 带来的复合性影响（包括其对员工队伍/劳动力转型的影响）。
• 风险管理机制：聚焦 AI 相关风险的识别、排序与应对，通过监督和控制将风险维持在可接受范围内，并通过持续监控和评估不断应对新的挑战和发现。
• 透明度与可解释性：确保 AI 解决方案对决策者真正有用。相较于“黑箱”模型，可解释 AI 有助于决策者理解模型输出，从而在采纳其建议时更有信心。
• 问责机制：该机制至关重要，可督促个人与团队合规履职，保障 AI 系统规范运行。通过审计等流程，核查 AI 系统性能及内部治理政策的遵守情况。
• 数据治理的深度融合：建立面向 AI 场景的数据治理实践，重点关注 AI 模型训练与部署过程中的数据质量、隐私与安全。

总体而言，有效的 AI 治理能够在不牺牲质量与信任的前提下加快 AI 采用，同时建立可扩展、可创造业务价值的 AI 运营模式。AI 治理的核心，在于通过安全可靠的 AI 解决方案建立信任，应对已知及持续演进的监管要求，并弥补 AI 人才与技能方面的缺口。

AI 治理聚焦于 AI 技术本身的演进与风险，而传统 IT 治理则侧重于 IT 资源与基础设施的管理。尽管两者均涉及安全与隐私等监管合规要求，但 AI 治理具有以下显著差异：

• 更强调负责任部署：AI 治理高度重视“负责任的部署”。相较之下，传统 IT 治理通常不会像 AI 治理那样，将伦理考量置于如此核心的位置。
• 动态性更强：AI 治理框架必须具备较强的灵活性和适应性，而传统 IT 系统相对稳定，治理更多依赖既定流程和标准。
• 利益相关方范围不同：AI 治理往往需要更广泛的利益相关方参与，包括组织内外部视角（如伦理专家、社会科学家等）。传统IT 治理通常以满足业务需求的内部利益相关方为主。
• 监管环境不同：AI 相关法规仍在不断形成和变化，治理机制必须随之调整，以满足专门针对 AI 的新法律和标准。传统 IT 治理所依赖的监管框架和合规要求通常更成熟、变化节奏也较慢。
  因此，对伦理的深度考量、跨职能协作以及风险管理的动态性，是 AI 治理区别于传统 IT 治理的关键所在。

AI 治理与传统数据治理的相似之处在于：二者都关注数据质量、完整性、安全性、合规性以及合乎伦理的使用。但传统数据治理的覆盖面更广，主要通过政策、控制和最佳实践管理数据全生命周期。AI 治理则是在此基础上，进一步应对 AI 场景下的特殊挑战，具体包括：

• 训练数据治理：需采取有力措施识别并缓解偏见，确保 AI 数据集的准确性、代表性及来源的正当性。隐私与合规是首要要求，这通常意味着需要删除敏感信息或通过匿名化永久移除个人标识，防范数据被反向识别。
• 提示词（Prompt）管理：最佳实践包括对用户输入进行清洗以防止注入攻击（Injection Attacks），安全记录交互日志，并维持提示词使用与数据授权的透明度。
• 模型输出治理：需建立严格的验证流程，包括自动化核验和“人机协同（Human-in-the-loop）”机制，确保输出安全、公平、可解释，尤其是在高风险场景中。与此同时，还需持续监控偏见和伦理风险，并设立清晰的问责制以确保及时纠正错误或不安全内容。
• 数据保留政策：必须严格遵循适用的法律与业务要求，清晰界定各类数据的存储周期，确保安全销毁并实行严格的访问权限控制。
• 数据血缘追踪：通过全面的数据血缘（Data Lineage）追踪管理，实现 AI 全生命周期中的透明性和可追溯性，为审计支持、故障排查与监管报告提供底层支撑。

综上，传统数据治理面向整个组织的数据全生命周期管理，服务于 AI 之外的多种用途，而有效的 AI 治理，则依托这一基础来应对 AI 所带来的特定风险与复杂性。

欧盟《人工智能法案》（EU AI Act）从安全和基本权利出发，提出了强制性的法律要求，重点关注人工监督、隐私、透明度和公平性。与此同时，美国国家标准与技术研究院（NIST）以及电气与电子工程师协会（IEEE）的相关指南则强调促进人类福祉、透明度、问责、安全、数据隐私与信任。

典型的 AI 伦理框架通常涵盖以下维度：

• 公平性：确保 AI 系统不会基于种族、性别、年龄或其他受保护特征，对个人或群体实施歧视。
• 透明度：清晰说明 AI 系统的运行机制，包括训练数据来源、预期用途、决策过程以及系统局限性。
• 问责机制：明确 AI 系统所产出结果的责任归属，确保利益相关方能够为其行为负责。
• 隐私、安全与保障：保护个人身份信息及其他敏感数据，确保 AI 部署环境的安全可靠，并遵守相关的监管要求。
• 人工监督：在关键决策过程中保留人工介入节点（人机协同），确保组织价值观、伦理要求和监管义务得到充分考虑。
• 可持续性：推动支持组织“环境、社会和公司治理（ESG）”战略的 AI 技术，可参考碳信息披露项目（CDP）与国际可持续准则理事会（ISSB）等前沿框架。

上述指导原则必须有具体清晰的实施路径和有效的执行机制作为支撑。例如，伦理框架可能强制要求落实以下控制措施：

• 定期对 AI 算法进行偏见审计，使用多元化训练数据，并在发现偏见时采取纠正措施；
• 开发可解释 AI 模型，降低“黑箱”问题带来的困扰；
• 维护详尽的文档，说明 AI 系统的设计逻辑和用途；
• 明确组织内部 AI 治理相关角色与职责，并建立 AI 决策问题的报告与处置机制；
• 实施 “数据最小化”原则，保护个人数据，并在数据采集前获取用户的知情同意；
• 对 AI 系统进行测试，识别潜在风险，并验证既有的控制措施和流程是否有效运行；
• 对重大决策设置人工审批要求，特别是在医疗、刑事司法和金融等敏感领域；
• 评估 AI 系统的环境影响，并优先采用高能效的算法与算力基础设施；

AI 伦理框架本质上是组织负责任开发和部署 AI 技术的指导性文件。框架中的每一项原则，都应根据具体业务需求、监管要求和利益相关方预期进行适配。

AI 治理的有效运行，关键在于是否建立了清晰的权责架构，并在不同的部门和利益相关方之间落实明确问责机制。治理责任始于高层，并逐级下沉至第一、第二和第三道防线。

• 首先是 高级管理层 这通常包括 CEO、首席 AI 官（CAIO）或其他高级管理层发起人。高级管理层对 AI 治理决策承担最终责任，其职责在于确定战略方向、配置优先资源，并建立与战略一致、能够支持高效资源分配且确保负责任部署的 AI治理框架。
• 其次是 AI 治理委员会 该委员会负责制定政策、监督伦理合规、评估风险，并为 AI 项目提供指导。其组成通常应包括一名执行发起人（通常是直接向 CEO 汇报的高管，例如 CAIO 或管理层成员），以及来自直线业务管理层、风险、合规、法务、IT、伦理和内部审计等领域的代表。（详见问题53）
• 直线业务管理层（第一道防线）包括业务单元负责人、运营人员、产品负责人和技术团队，负责 AI 系统的开发与日常运营管理。作为模型所有者，他们应对其部署模型在其既定用途范围内及适用监管要求下的有效运行负责。他们还应识别并缓解 AI 相关风险，确保遵循治理政策，为风险管理配置资源，并保留完整的文档以支持 AI 决策透明度。
• 风险管理与伦理团队（第二道防线）负责制定并宣贯 AI 治理政策，开展风险评估，为管理层提供风险缓解策略的培训，并监督既定框架的执行情况。他们既要对管理层形成有效挑战，也要提供支持以推动治理实践落地。
• 合规团队（第二道防线）负责持续监督与 AI 相关法律法规的遵循情况并开展定期检查。其与风险管理和伦理团队协同，就 AI 部署中的伦理问题提供合规指导，确保治理实践符合监管标准。
• 内部审计（第三道防线）负责评估 AI 治理框架的运行效果，评估其对内部政策和外部法规的遵循情况，并提出改进建议。内审向高级管理层、AI 治理委员会以及董事会或指定董事会委员会报告发现事项，为 AI 治理有效运行提供独立保证。

该治理结构的有效性依赖于跨职能的协作机制。典型的机制包括：定期会议、清晰的汇报路径、明确各方权责的联合培训，以及来自第二、三道防线向治理委员会的持续反馈闭环，以推动 AI 治理持续改进。问题整改与审计发现的闭环管理是该协作流程的核心。只有在全组织范围内清晰界定所有权和问责制，并形成高效协同，组织才能建立真正稳健的 AI 治理框架，在促进合乎伦理的 AI 使用的同时，有效管理相关风险。

在制定 AI 战略、确定优先事项及设计 AI 应用场景时，管理层需在业务价值追求与数据隐私保护、知识产权保护及监管合规要求之间进行平衡。

这一平衡首先体现为：确保 AI 系统使用的数据符合隐私法律、伦理标准，且不违背组织在保护个人身份信息（PII）和其他敏感信息方面对外作出的品牌承诺。数据匿名化、加密等技术有助于保护敏感数据，但如果隐私保护措施过于严苛，也可能削弱数据的丰富性和可用性，进而影响 AI 性能。反过来，如果隐私保护不足，则可能使组织面临声誉损害和法律风险。因此，组织必须找到兼顾创新与数据保护的平衡点。

知识产权保护和监管合规同样重要。AI 解决方案通常依赖专有算法和机密数据，因此需要通过安全开发环境、保密协议等强有力的 IP 防御策略，防止创新成果和专有信息被模仿、窃取或未经授权披露。但限制过度又可能会抑制协作与创新，因此管理层需权衡数据共享带来的收益与知识产权暴露的风险。

欧盟《人工智能法案》或反歧视法律等 AI 监管框架，要求组织投入更多资源用于偏见缓解、透明度建设和合规管理。这些要求可能增加成本、放慢部署节奏，但有助于降低监管处罚并维护利益相关方信任。

此外，中国《生成式人工智能服务安全基本要求》、《生成式人工智能服务管理暂行办法》、《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《网络安全法》、《个人信息保护法》、《未成年人保护法》等中国人工智能及网络信息相关法规标准，要求组织投入更多资源用于数据安全与个人信息保护、算法透明与深度合成标识、模型安全评估与内容审核、未成年人网络保护以及合规审计等方面。这对避免监管处罚、防范安全风险并维护用户权益与社会信任至关重要。

总体来看，这些取舍都需要经过审慎评估。要做好平衡，组织需要采取综合方法，同时覆盖技术、法律和伦理维度。通过应用隐私保护技术、强化知识产权保护、遵守法律法规并推动跨职能协作，管理层可以设计出既能驱动创新和竞争优势、又能有效控制风险的 AI 应用场景。

是的。 AI 治理框架应强调 AI 举措与整体业务目标保持一致的重要性，而这将直接影响资源与资本的分配方式。正如在问题38中进一步讨论的那样，鉴于 AI 投资背后较高的机会成本，组织应基于三个关键因素对 AI 应用场景进行优先级排序：价值（Value）、可行性（Feasibility）和风险（Risk）。这样做的核心诉求是识别那些具有明确价值杠杆、能够在当前环境中现实落地、且风险在组织管控能力内的业务场景。这一筛选过程本身就是 AI 治理的核心要求。在这一前提下，治理结构通常要求组织明确所有权、制定政策并设定优先级，以确保 AI 投资服务于战略目标，并产生可衡量的业务价值。

董事会与高管层通过定调 AI 投资方向，监控资本配置效率，来实现 ROI 最大化并控制财务与声誉风险。ROI 跟踪、风险评估和战略一致性审查，都是这一过程的组成部分。之所以需要高度重视，是因为 AI 正在各行业释放大量业务转型机会，例如：

• 提升生产力与运营效率：无论在制造、物流还是服务行业，AI 智能体（Agentic AI）都可以基于实时数据和学习经验自主运行、作出决策并采取行动，适应新情境，并持续优化表现。
• 支持动态扩展：随着业务体量和数据量上升，AI 解决方案可支撑业务扩展，在无需大量人工干预的情况下适应不同的工作量和新任务，其部署灵活性有助于在不显著增加资源投入的情况下实现规模扩张。
• 提升客户服务响应速度：AI 智能体能够更快、更准确地处理海量客户查询，在To-C行业中规模化地交付千人千面的个性化体验，提升响应时效和问题解决率。（详见问题65）
• 增强决策能力：在金融、医疗和战略制定等领域，AI 智能体能够通过实时分析海量数据、识别隐藏规律并提炼关键洞察，帮助做出更高质量的决策。
• 推动产品与服务创新：例如在医疗领域，基于 AI 的个性化建议和远程治疗能力，可优化患者服务模式。
• 增加新的“劳动力维度”：生成式 AI 和 AI 智能体均可与员工和外包人员协同工作，从而提升效率、降低成本。

AI 赋能业务流程转型的机会几乎是无限的。例如：在网络安全领域，AI 智能体可以自主监控并应对安全风险事件；在 IT 支持方面，它们可以自主执行软件更新；在人力资源方面，它们可以优化招聘流程；供应链管理可以从 AI 驱动的物流中获益；营销策略也能通过 AI 对消费者行为的分析得到优化。

因此，AI 治理不仅涵盖 AI 部署中的安全防护与响应措施，也覆盖了 AI 所带来的转型机会，其对投资决策的治理重点在于确保资源流向最具影响力的 AI 项目，并在资本分配的过程中融入伦理、法律与声誉等方面的考量，从而实现负责任的 AI 部署。

能够支持创新的 AI 治理模式，需要在结构化与灵活性之间取得平衡，同时确保 AI 部署是负责任的。其典型结构特征包括：

• 集中化的卓越中心（Centralized Center of Excellence）：汇集业务、技术、风险、合规和伦理等职能的关键利益相关方，以实现平衡决策和快速解决问题。该团队负责对所有 AI 项目进行监督、透明化管理和统筹协调，并制定标准、政策和最佳实践，同时支持各业务线开展敏捷创新。
• 清晰界定角色与职责：通过 RACI 矩阵明确谁负责（Responsible）、谁承担最终责任（Accountable）、谁应被咨询（Consulted）、谁应被告知（Informed），从而让相关团队专注于各自的具体任务，避免职责重叠，提升决策和执行效率。
• 持续关注利益相关方的体验：在开发 AI 解决方案时，必须将利益相关方体验视为战略重点。比如像聊天机器人、虚拟客服、推荐引擎、AI 邮件应答、个性化营销平台和智能路由工具等 AI 部署的例子，往往直接构成了组织与客户、员工或其他用户之间的主要交互界面。如果这些解决方案不能满足利益相关方对响应速度、相关性和易用性的期待，就会迅速侵蚀其信任和满意度，并可能导致客户流失。反之，如果能够让交互更顺畅、更快速、更个性化，就会推动 AI 解决方案更广泛的使用并增强长期忠诚度。个性化能够提高参与度和留存率，例如 Netflix 等流媒体服务利用 AI 驱动的智能推荐系统，根据个人偏好推荐内容，同样的理念也适用于员工和其他用户。
• 跨职能协同：企业应组建一个涵盖技术、业务、法务、合规和伦理的跨职能团队。多元的视角有助于激发创新思维，并确保创新方案与监管要求保持一致。由数据专家、业务分析师和合规人员组成的跨职能团队共同参与 AI 项目，可兼顾创意、落地与合规。例如，一家医疗机构可以组建由临床医生、数据工程师和伦理专家组成的团队，开发一种 AI 驱动的诊断工具，使其既满足临床需求又符合道德标准。
• 灵活的监督机制：在 AI 开发生命周期中设置定期检查点和审计机制，同时保持足够的灵活性。对 AI 投资决策和预算进行灵活监督与问责，有助于团队快速测试新想法，实现快速迭代、快速试错和实验创新，避免官僚主义的拖延。这种敏捷治理模式可使团队根据用户反馈和市场变化及时调整方向。
• 创新渠道与创意管理机制：建立系统化的立项评估通道，即通过结构化流程提交 AI 创新想法，并基于业务价值、技术可行性和风险进行综合评估和优先级排序。透明的创意管理流程有助于鼓励员工提出创新构想，并清楚了解其评估和落地的路径。例如，一家金融机构可以使用内部平台，让员工提出用于欺诈检测的 AI 应用，由委员会评估其可行性和潜在影响。
• 将伦理与负责任 AI 原则内嵌于治理框架：把伦理与责任要求制度化，有助于赢得利益相关方和公众信任，从而形成有利于创新的环境。例如，一家开发面部识别系统的科技公司可以制定指导原则，确保该技术不存在偏见，从而增强公众接受度并鼓励 AI 应用的进一步创新。
• 持续学习与反馈闭环：基于项目结果、监管变化以及来自审计、用户和外部利益相关方的反馈，持续学习和调整。在明确边界内，通过鼓励团队去尝试和从失败中学习，组织可形成“快速试错”的负责任创新文化。

因此，能够在创新与监督之间实现平衡的 AI 治理运营模式，通常具备以下特征：角色职责明确、跨职能协同、监督机制灵活、结构化的创意管理机制、伦理原则内嵌以及持续学习。

如问题4所述，对负责任 AI 部署战略意义的意识，应始于构建一个与组织经营所在地法律法规相一致的 AI 伦理框架。在此基础上，组织还应从以下方面强化意识建设：

• 开展有针对性的培训与沟通：最佳实践为，针对开发人员、业务领导者和终端用户等不同群体设计定制化培训。形式可包括围绕数据隐私、偏见缓解、安全部署等主题的研讨会，也可通过情景化培训帮助员工理解不负责任使用 AI 的现实后果。组织还可通过内部沟通渠道，持续发布与负责任 AI 相关的动态和要求。
• 提升网络韧性：将网络安全措施嵌入 AI 治理框架，以应对对抗性攻击、数据泄露和模型操纵等威胁。对 AI 系统开展定期渗透测试，采用加密和访问控制等控制措施保护模型所使用的敏感数据，这是应对新型网络威胁并确保合规的最佳实践。
• 推动跨职能协作：由 AI 专家、法律顾问、伦理专家和网络安全专业人员共同参与 AI 项目的评审和批准，确保项目符合伦理与安全标准。AI 治理或指导委员会（详见问题5和53）可通过定期会议推动这种协作，讨论风险、机会以及 AI 部署中的经验教训。
• 加强外部利益相关方沟通：通过宣传与教育活动，提升客户、政策制定者和合作伙伴对负责任 AI 使用的认知。组织可在官网公开 AI 原则与伦理准则，并配套发布有助于简化复杂概念的相关材料。这有助于增强外界对组织在发挥 AI 价值与把握 AI 边界方面所持立场的信心。
• 衡量与改进认知提升工作：通过调查问卷和反馈渠道评估员工及利益相关方对负责任 AI 实践的理解程度。此外，培训完成率以及 AI 滥用相关的事件报告数量等指标，能够为后续需要重点关注的领域提供有价值的洞察。

综合来看，组织可通过健全的 AI 伦理框架、有针对性的培训、跨职能协作和外部沟通，系统提升对负责任 AI 使用的意识水平。

在形成和传达 AI 治理重点、战略和政策时，核心要求是：清晰、可获取、可理解，并能够促进利益相关方的参与。

组织应编制系统性的治理文件，清晰说明伦理准则、角色与职责、风险管理实践及合规措施。这些文件应通过面向员工开放、但具备访问控制的安全知识库或集中式数字平台进行统一管理，确保利益相关方能够便捷获取。

同时，应通过定期培训、研讨会以及结构化沟通渠道（如新闻简报和全员大会）向内部利益相关方进行宣导、同步最新进展并增强参与感。反馈机制则有助于推动 AI 治理实践持续改进。对于客户、生态合作伙伴和监管机构，组织可在官网发布 AI 治理政策摘要，以体现其在 AI 治理中对合规和伦理标准的承诺。

为了强调 AI 治理的重要性，高级管理层应积极参与沟通组织的优先事项与战略，以表示其对负责任 AI 使用的重视。定期披露治理工作、合规情况和实施结果，也有助于进一步提升透明度，并与内外部利益相关方建立信任。如果治理沟通能够与公认的监管标准和行业最佳实践保持一致，这也将更清晰地传递组织在伦理和合规部署方面的坚定立场。

通过这一结构化方法，AI 治理不仅能够被有效记录下来，也能被持续、一致地传达和理解，从而确保所有利益相关方都能充分知情、积极参与，并与组织对负责任 AI 使用的承诺保持一致。

C-level 高管需要确保团队具备必要的相关人才与专业能力，在推动“AI 驱动的创新”和“负责任的 AI 部署”之间实现平衡。新增岗位和角色应重点覆盖两个方向：一是侧重于将技术专长与战略监督相结合，二是应对 AI 治理、伦理和劳动力转型等新挑战。

在高管层面，可考虑设立如首席 AI 官（CAIO）、AI 伦理官（Ethics Officer）、驻场数据专家（Data scientist-in-residence）等专门岗位。同时，也应更新组织内多个岗位的职责描述，以强化对 AI 素养、数据驱动决策及变革管理能力的要求。

针对不同高管职能，可重点考虑如下角色配置：

• 首席财务官（CFO）及其财务团队：可考虑引入“AI 财务分析师”或“预测分析专家”等角色，此类角色可通过高级数据建模，显著提升财务规划、业绩预测与成本优化的能力。同时，这一做法还可拓宽财务人才池（不再局限于传统会计师，而是吸引数据分析师或兼具两者的复合型人才），使财务职能对现有及潜在员工更具职业吸引力。
• 首席信息官/首席技术官（CIO/CTO）：应考虑设立“AI 基础设施架构师”或“机器学习工程师”等角色，以支撑可扩展的 AI 系统建设，推动老旧系统升级改造，并确保 AI 技术在企业级的无缝集成。
• 首席信息安全官（CISO）：应设置“AI 风险专家”或“网络威胁情报分析师”等角色。此类角色需具备保护 AI 系统免受对抗性攻击（Adversarial Attacks）的专业能力，并确保数据处理链路符合隐私合规要求。
• 首席风险官/首席合规官（CRO/CCO）：应引入“AI模型风险经理”或“监管科技（RegTech）专家”等岗位，负责监督AI模型的验证、合规审查以及治理框架的落地实施。
• 首席人力资源官（CHRO）：应增设“劳动力转型负责人”或“AI 人才战略师”等角色，推动员工技能重塑（Reskilling）及劳动力规划，并保障 AI 在 HR 流程中的伦理化应用。
• 首席营销官（CMO）：应考虑引入“AI 营销战略师” 或“客户数据科学家”等角色，以驱动个性化营销战略，优化客户互动，并坚守营销伦理底线。
• 首席运营官（COO）：建议增配“流程自动化经理”或“AI 运营专家”等角色，重点关注业务工作流程优化、供应链网络效率提升，以及 AI 赋能运营能力的扩展。
• 首席审计执行官（CAE）：需招募具备数据和 AI 专长的复合型人才，设立“AI 审计分析师”或“持续监控专家”等岗位，以保障 AI 系统的透明度、合规性及风险缓解能力。
• 首席法务官/总法律顾问（CLO/GC）：应设置“AI 监管顾问” 或“知识产权（IP）专家”等岗位，以应对不断演变的法律环境，保护企业知识产权，并确保业务完全符合 AI 相关的法律法规。

C-level 高管应优先安排培训与发展项目，以提升其团队的人工智能素养与战略思维能力。组织需要加大对领导力发展的投资，使团队具备引领 AI 驱动转型的能力，并营造持续学习的文化，确保员工能够在理解相关风险的前提下，跨业务线有效利用 AI 工具及支持业务发展。

针对不同高管职能，培训重点方向如下：

• 首席财务官（CFO）：应重点关注 AI 驱动的财务预测、风险分析和数据可视化等培训，以提升决策质量和运营效率。此外，围绕特定 AI 模型和生态工具开展操作培训，这将推动财务团队从基础的“数据生产”向高价值的“数据分析”转型。
• 首席信息官/首席技术官（CIO/CTO）：必须优先推动“AI 技术管理”能力提升，确保其团队能在遵循业务战略与网络安全最佳实践的前提下，将 AI 整合进现有的 IT 架构中。
• 首席信息安全官（CISO）：应重点推进“AI 增强型”网络安全防护、威胁情报及数据隐私框架的培训，以防范由 AI 技术引入的新型安全风险。
• 首席风险官/首席合规官（CRO/CCO）：需致力于培养监管科技领域的专业能力，并学习如何利用 AI 优化合规监控、风险评估与治理框架。
• 首席人力资源官（CHRO）：应主导关于“AI 如何影响人才获取、留用及劳动力技能重塑”的专项培训，确保 HR 团队掌握人员分析和变革管理能力。
• 首席营销官（CMO）：应加强利用 AI 开展客户洞察、个性化营销和营销自动化的培训，同时也需要关注“数据使用伦理”和数字化互动策略。
• 首席运营官（COO）：需优先开展“通过 AI 提升运营效率”的培训，侧重于流程自动化、供应链优化和数据驱动决策，以提升整体生产率。
• 首席审计执行官（CAE）：应引入针对 AI 赋能高级审计分析和持续监控的培训，以增强审计工作的敏捷性和有效性。培训应实行双轨制：既包括“对 AI 应用进行审计（Auditing the use of AI）” ，也包括“利用 AI 工具进行审计（Auditing with AI）”。
• 首席法务官/总法律顾问（CLO/GC）：应优先关注 AI 相关法律趋势、知识产权保护和持续演进的数据监管要求等内容的培训，以更有效地应对合规挑战。 

衡量 AI 部署的 ROI 需要综合考虑多项因素，以帮助组织评估相关投资的有效性与业务价值。以下因素可直接影响 ROI 公式中的收益端：

• 降本增效：通过 AI 提升效率、推动流程自动化、减少人工干预，从而降低运营成本，包括劳动力成本下降、错误率降低（从而减少返工成本），以及资源优化带来的成本改善（例如通过优化运输路线降低燃油支出）。
• 营收增长：可通过 AI 提升个性化营销效果、优化客户体验，或推出 AI 赋能的新产品或服务以带动收入的增加。
• 员工生产力提升：AI 工具能够辅助决策、优化工作流程并减少重复性任务耗时，从而在相同甚至更少资源投入下实现更高产出。通过资源的重新分配，缓解财务及其他职能部门普遍存在的人员供需失衡问题。
• 质量改善：AI 可以提升产品或服务质量，减少客户投诉、退货率、产品缺陷以及返工率。
• 可扩展性：AI 解决方案使企业能够在无需同比例扩增基础设施的前提下，实现业务规模的扩张（处理更海量的数据、交易与用户需求），高扩展性的 AI 应用能支撑业务增长，同时维持或提升利润率。
• 成本因素同样直接影响对于 ROI 的衡量，它既是决定是否投资的门槛，也是衡量总成本的标尺，主要包括：
   
  • AI 基础设施成本：包括支撑 AI 应用所需的硬件（服务器、GPU）、软件许可、云服务和数据存储方案。
  • 开发与实施成本：聘请数据科学家、工程师及外部顾问的人力开销，以及设计、测试和部署 AI 模型的专项支出。
  • 数据获取与管理成本：用于训练 AI 模型的数据获取、清洗及管理费用。涵盖购买外部数据集、数据存储方案，以及数据预处理与治理工具的投入。
  • 技能重塑与培训成本：针对新 AI 技术与工具的员工培训投入。源于正式培训项目、工作坊及持续学习计划，旨在确保员工高效利用 AI 工具，从而彻底兑现 AI 的商业价值主张。
  • 能源成本：AI 模型（尤其是大规模或生成式模型）的开发、训练与运营需消耗庞大算力，导致高昂的能耗开销。随着企业规模化部署 AI，该成本将直接影响 AI 项目的整体盈利能力与可持续性。
  • 维护与支持成本： AI 系统生命周期内的维护开销，包括定期更新、系统监控、故障排查与技术支持。随着系统需要不断迭代与增强，这类成本会随时间推移而显著累积。
  • 监管与合规成本：为确保 AI 系统符合相关法规与行业标准，所投入的法律咨询、外部审计及合规措施落地费用。
  • 变革管理成本：用于内部宣导、利益相关者沟通协同以及化解变革阻力策略的专项投入。如同任何重大转型一样，AI 部署也面临“变革曲线”效应。

此外，还有一些可量化但影响较为间接的因素。在构建 AI 项目的商业论证时，将这些要素作为“隐性收益”纳入考量是十分必要的：

• 客户满意度与留存提升：服务质量、个性化和响应能力提升，有助于增强客户忠诚度并带来口碑传播。
• 品牌声誉改善：质量提升通常会进一步强化品牌形象。
• 上市速度加快：AI 提升新产品或服务的开发与推出速度，有助于形成竞争优势并扩大市场份额。
• 风险缓解效果增强：例如在欺诈识别、合规监控和预测性维护方面，AI 有助于减少高成本事件发生。
• 创新能力释放：AI 可促进新商业模式、新流程或新市场形成，从而支撑长期增长和可持续发展。
• 员工敬业度提升：AI 工具可改善工作体验、减轻倦怠，并使员工更多投入高价值工作。
• 机会成本：即组织将资源投入 AI 而非其他项目所放弃的潜在收益，关键问题在于 AI 投资是否是资源的最佳用途。

通过将上述直接与间接的可量化因素纳入 ROI 分析模型，组织能够更精准、全面地掌握 AI 部署的财务影响。在成本与收益之间取得平衡，将使决策层能对已启动的 AI 投资做出更明智的判断（必要时促使企业“快速试错并及时止损”），并为未来的 AI 战略投资指明方向。

CFO 及财务职能部门在评估 AI 投资商业论证时，倾向于采用严谨且结果导向的财务模型。他们已跨越了早期的技术狂热与“错失恐惧（FOMO）” ，转而聚焦于清晰、可量化的财务回报以及高度的战略一致性。

在评估 AI 投资提案时，必须将总拥有成本（TCO）与预期 ROI 进行捆绑考量。如问题13所述，硬件采购等直接成本，以及 AI 实施与运维中显性/隐性的人力成本，均是核算 TCO 的关键变量。真实的全要素成本远不止于对外部供应商的采购支出，更涵盖了系统实施、变革管理、人员培训与招募所消耗的时间与资源沉淀。

就预期 ROI 而言，企业对 AI 应用场景的资金倾斜，已从 “实验性投入” 全面转向设定更严苛的 ROI 阈值及更短的投资回报期（Payback Periods）。对于客户支持或销售自动化等高价值项目，目前通常要求在6至12个月内见效。回报期的吸引力取决于项目属性，对于低复杂度、高业务冲击力的简单自动化场景，应控制在半年以内。而复杂或具备战略意义的项目可放宽至12至18个月。若项目回报期超过18个月（例如具备长期潜力的复杂智能体 AI 项目），则必须提供极具说服力的战略级辩护。由于各组织的 AI 成熟度参差不齐，且 AI 技术本身的演进日新月异，制定一刀切的 ROI 阈值极具挑战。

高质量的 AI 投资提案，通常会提供扎实的 ROI 框架，不仅强调成本节约，还会突出生产率提升、收入扩张以及各类隐形收益。CFO 更倾向于批准那些能够量化当前绩效、预先设定基准指标，并基于证据提出部署、绩效管理与持续监控方案的商业论证。相反，那些只强调 AI 技术能力、却无法回应财务回报、风险和机会成本的提案，通常难以获得通过。在实践中，组织现有的 IT 投资商业论证流程，往往可以作为起点加以扩展。

此外，CFO 普遍清楚 AI 项目具有较高复杂性和较高失败率，因此他们会重点审视所有相关成本，包括数据准备、系统集成、培训、流程重构，以及集成费用和持续 SaaS 订阅成本。成功的 AI 投资通常强调赋能人、战略协同和可持续价值创造，关注的是岗位增强而非单纯替代。与此同时，还需建立持续评估机制，确保 AI 系统在整个生命周期内交付可追责的、考虑风险调整后（Risk-adjusted）的真实回报。

最后，还有一个常被低估但十分关键的问题，即组织记忆（Institutional Memory）的保留。一份完整商业论证只有在后续能够基于其预期目标对 AI 部署表现进行复盘，并向高级管理层和董事会报告时，才真正有意义。这种“事后复盘（Post-mortems）”有助于建立对那些持续兑现承诺的管理者的信任，而这种可信度又会使其未来提出新的 AI 投资申请时更容易获得支持。

关于避免 “为了 AI 而 AI”的应用场景优先级排序，详见问题38。关于如何向对“AI 画饼”产生疲劳感的高管汇报 ROI，详见问题41。

评估 AI 项目 ROI 的起点，在于严密规划、制定并记录可供比较的基线数据（Baseline Metrics），这是衡量一切变革收益的参考系。尽管许多组织正试图通过 AI 优化客户体验、赋能产品创新并加速销售周期来驱动营收增长（Top-line Growth），但目前仍有大量 AI 应用场景聚焦于削减成本（Bottom-line Savings）。

• 时间节省的量化：主要通过衡量 AI 在自动化与流程优化中所削减的人工介入量来实现。企业通常采用“每位员工节省的小时数”或“特定工作流缩短的周期时间”等指标来核算生产力增益。例如，AI 聊天机器人能显著缩短客服响应时间，这可通过对比部署前后的“平均处理时长（AHT）”来衡量。进而，这些时间收益可折算为直接的人力成本，并体现出将资源重新配置到高价值研究所产生的财务转换价值。
• 成本削减的核算：核心在于精准定位 AI 提升效率、减少损耗或消除冗余的业务触点。例如，基于 AI 的预测性维护可降低设备停机时间与维修费用，其量化方式是对标实施前后的历史维保开支。此外，组织还需对比部署前后的综合成本（材料、人工及间接费用），并将错误率的下降、返工成本的压缩以及欺诈损失的减少，直接确认为 AI 采用的财务收益。
• 其他相关效能的评估：AI 部署往往会催生诸多对 ROI 有直接贡献的 “隐性效能”，如决策质量提升、系统扩展性增强及客户体验优化（详见问题13）。这些效能可通过客户留存率/满意度、营收增长或市场份额扩张等指标进行量化。例如，AI 驱动的个性化推荐引擎能显著促进销售，其衡量依据是追踪实施前后的转化率与客单价变化。同理，评估可扩展性收益时，会分析系统在无需成本同比大幅增长的前提下，处理更高交易量或数据量的能力。

为了更全面地量化节约，组织通常会综合运用以下方法：

• 基线对比：在 AI 部署前确立核心关键绩效指标（KPI）的基准线，以精确度量实施后的改善幅度。
• 成本收益分析：将 AI 总投入（包括基础设施、培训和维护）与实际实现的节约和新增收入进行对比。
• 投资回收期分析：通过计算收回初始投资成本所需的时间，来评估项目的流动性与风险。
• 净现值（NPV）和内部收益率（IRR）：用于评估 AI 投资的长期财务回报水平。
• 情景建模：通过模拟不同使用条件或采用水平下的结果，估算潜在节约空间。

通过将这些分析方法与量化指标深度融合，组织能勾勒出 AI 部署 ROI 的全景图。这不仅确保了显性与隐性收益被完整捕获并与战略目标对齐，更为企业动态审视各项 AI 投资的持续有效性提供了决策依据。

美国发起人委员会（COSO）的企业风险管理（ERM）框架，为将 AI 特定风险纳入组织 ERM 流程提供了有价值的视角。简而言之，识别、评估、排序、溯源、计量、监控和缓解风险的结构化方法，既适用于 AI 相关风险，也适用于其他企业级风险。

识别 AI 相关风险的起点，是建立一份完整的 AI 系统清单，覆盖已投入使用和正在开发中的系统，并记录其用途、利益相关方和数据来源。IT、法务、合规、伦理和业务部门之间的跨职能协作，有助于识别特定 AI 系统所对应的风险。为此，建立一套包含 AI 特定风险的风险分类体系通常是有帮助的。NIST AI 风险管理框架等成熟框架，也可用于将 AI 风险划分为运营、伦理、技术、法律和声誉等类别。

风险评估的标准和方法，应包括对业务影响的判断，例如某项风险会如何影响战略执行、财务表现、运营效率、客户满意度或竞争地位；同时也应考虑声誉影响、违反适用法律法规可能带来的后果（如罚款、制裁或诉讼），以及基于历史数据、行业趋势和 AI 系统复杂度对风险发生概率的评估。

风险优先级排序通常采用评分或分级系统（高、中、低），综合考量风险的可能性与影响面。风险热力图（Risk Maps）是常见工具，AI 特定风险也应与其他企业级风险一并纳入其中。风险的优先级还可基于其对关键业务流程的破坏潜力或对关键利益相关者的伤害程度来确定。高影响、高可能性且破坏速度快的风险应立即获得关注。

AI 相关风险贯穿 AI 系统全生命周期，并可能来自不同来源。高优先级风险的溯源，有助于后续监控、计量和缓解。核心风险源包括：

• 劣质、缺失或带有偏见的训练数据
• AI 训练数据及提示词（Prompts）在使用 PII（个人身份信息）或其他敏感信息时引发的隐私风险
• 缺乏透明度的黑盒模型
• 模型漂移（Model Drift）
• 深度集成在关键业务流程中的 AI 系统发生故障
• 对外部供应商或第三方 AI 工具的过度依赖
• AI 生成有害、带有偏见或违背伦理的输出
• 未能符合不断演进的 AI 监管法规或行业标准

邀请适当利益相关方参加的情景推演式研讨，往往是识别 AI 部署潜在失败点或非预期后果的有效方式。

对 AI 风险进行计量，意味着不能停留在风险热力图层面，而应尽可能予以量化。组织可通过模拟最坏情景和压力测试，在不同条件下评估 AI 系统表现。例如，可以通过模拟网络攻击来检验 AI 驱动型网络安全工具的韧性。

将特定指标接入可视化看板是实现持续监控的基础。指标体系可涵盖数据质量与完整性、模型性能与可靠性、偏见与公平性、透明度与可解释性、隐私与数据保护、运营有效性等关键领域（具体指标示例见问题17）。AI 专属风险的容忍度应与企业的 AI 治理政策严格对齐。追踪 AI 性能指标的实时监控系统能够敏锐捕捉异常并对新兴风险发出预警，这是一种至关重要的早期预警能力。对于数据模式快速迭代的动态环境（如高风险 AI 部署场景），这一点尤为关键。

风险缓解策略则包括一系列前瞻性举措，用于将风险控制在可接受范围内，并确保 AI 得到负责任部署。关键做法包括：建立治理框架、采用偏见缓解技术、实施隐私保护措施、提升可解释性和透明度、强化安全控制、满足监管合规要求、建立反馈机制与持续改进，以及开展培训和认知建设。

总体而言，管理层如能在 ERM 框架下，系统地识别、评估、排序、溯源、计量、监控和缓解 AI 相关风险，就能够确保 AI 举措与 ERM 原则保持一致。在审计规划方面，内部审计部门的最佳实践是与 ERM 流程深度协同，将包含 AI 专属风险在内的高优先级风险正式纳入年度审计计划。

如上一问所述，指标、度量与监控是将 AI 特定风险纳入 ERM 流程的重要组成部分。以下列举若干与 AI 风险领域相关的示例性指标：

这些 KPI 和指标清单并非详尽无遗，也不是放之四海而皆准，但这些极具实操性的 KPI 与指标，为洞察 AI 系统的持续性能、治理水平及风险敞口提供了抓手。构建一套均衡的指标体系，是支撑持续监控与有效风险管理的基石。

要避免形成平行或重复的治理结构，组织应将 AI 特定风险直接嵌入现有治理、风险管理和控制流程，而不是另起炉灶。组织应利用权威框架（如 COSO 和 NIST），将 AI 风险与技术、安全、隐私及合规等标准控制域进行对齐。

这意味着：在现有风险评估周期中纳入 AI 风险评估，将 AI 控制措施映射到具体流程和活动，并继续利用现有审计与合规团队实施监督。通过这种一体化方式，组织不仅能兼容 AI 独特的风险轮廓，更能最大化利用已验证的成熟结构，消除冗余，从而在所有技术栈中确保风险视角的一致性与全局性。

很多组织仍处于 AI 采用早期，因此建立 AI 专项的准入、审查或治理流程以增强可视性和一致性，是很常见的做法。在 AI 使用仍较分散、尚未充分理解的阶段，这类聚焦机制是合理的。但应将其视为过渡安排，并明确目标是在 AI 应用成熟后，逐步将 AI 风险管理纳入现有 ERM 框架。

这里的基础原则是：AI 并非引入了完全独立的全新风险类别，它只是改变了现有风险的表现形式。 因此，从长期看，AI 风险应被纳入组织既有的风险与控制框架之中，例如 ERM、COSO、SOX、IT 一般控制、数据治理和第三方风险管理，而不是无限期地依赖孤立的结构进行管理。

下表展示了常见的 AI 风险主题如何对齐至现有框架。由于根据具体应用场景，AI 风险往往横跨多个框架，因此该表侧重于风险主题与控制域的映射，而非将其强行归入单一框架：

但需要强调的是，这种整合并不意味着“照旧运行”即可。虽然 AI 相关风险可映射到熟悉的控制领域，但许多现有控制原本是为确定性系统和传统决策模型设计的，因此，组织通常必须升级并改造现有控制措施（如管理层复核、变更管理、持续监控和第三方监督），以确保它们在 AI 赋能的环境下依然有效。真正长期有效的路径，不是将 AI 风险割裂出去，而是在熟悉框架内推动控制措施演进，以应对 AI 特定风险。

以下控制框架值得重点关注：

• NIST AI 风险管理框架（NIST AI Risk Management Framework）
  根据美国国家标准与技术研究院（NIST）官网说明，该框架旨在“为关键基础设施运营方在采用 AI 赋能能力时，提供应考虑的具体风险管理实践指引” 。组织可借此建立对 AI 风险的共同理解，并制定有针对性的风险管理策略。
• ISO/IEC 42001:2023 - 人工智能管理体系标准
  国际标准化组织将其定义为一项“适用于提供或使用基于 AI 产品或服务的组织，旨在确保 AI 系统得到负责任开发和使用” 的标准。组织可采用该标准建立正式的 AI 治理结构，以系统应对风险并促进负责任 AI 使用。
• NIST AI 系统安全控制增强指南（NIST Control Overlays for Securing AI Systems）
  该框架建立在现有安全控制之上，并叠加面向 AI 系统特殊脆弱性的专门指引。其内容覆盖不同 AI 应用场景，强调以实施为导向的控制设计，用以提升 AI 部署中的安全与隐私水平。组织可利用这一框架加强 AI 系统安全态势，并与既有联邦及行业标准保持一致。
• 云安全联盟 AI 控制矩阵（CSA AI Controls Matrix）
  该控制矩阵专门面向 AI 场景，作为传统网络安全控制的补充，重点应对云和混合环境中 AI 系统相关风险。组织可利用其对 AI 控制开展更系统的评估，确保部署于云环境中的 AI 系统符合安全与合规要求。

是的。 AI 技术的特殊性决定了其选型过程需要考虑传统系统选型流程之外的因素（尽管传统流程仍可作为起点）。部分 AI 工具或模型可通过迭代学习优化表现，且在部署后可能因数据、配置或模型更新而呈现行为变化，而非一成不变。正因为这种动态特征，组织在评估 AI 工具时不仅要关注其技术能力，还必须评估其伦理影响、可解释性、可扩展性，以及对数据模式变化的适应能力。此外，易于集成性和监管合规也同样是重要考量点。

传统系统通常依据固定的功能和性能指标进行评估，而 AI 工具则需要持续的监督（Continuous Oversight），以确保模型保持可靠、将偏见控制在可接受范围内、并与组织的战略目标一致。因此，在选型阶段就应重点关注模型再训练机制、数据质量管理以及全生命周期监控等能力。归根结底，AI 工具选型需要在 “技术创新” 与 “稳健的风险管理及伦理要求” 之间取得平衡，因此相较于传统系统选型，其复杂度更高，也更具迭代性。

要确保生成式 AI 系统能够大规模的安全部署，组织必须建立稳健的安全、架构与治理措施。关键的 “必备项” 包括：

• 身份与访问管理（IAM）：通过基于角色的访问控制（RBAC）和最小权限原则，确保用户及应用仅获取其角色所需的权限，从而防止对敏感 AI 系统和数据的未授权访问。此外，多因素认证（MFA）与集中式身份管理也能进一步提升安全性。
• 数据防泄漏机制（DLP）：用于保护知识产权、客户数据等敏感信息，防止其在训练、推理或存储过程中被泄露或滥用。最佳实践包括对静态与传输中的数据进行加密，以及配置策略来拦截未授权的数据传输。
• 模型访问控制：确保仅有经过身份验证与授权的用户或系统能调用生成式 AI 模型。必须建立严格的访问控制机制（包括模型本身以及其 API 接口），在允许不同软件应用交换数据的同时，防范未授权的调用或篡改。此外，基于令牌的认证（Token-based Authentication）也是另一种安全协议。同时，还应建立模型生命周期管理控制（涵盖版本控制、更新、再训练与退役），并确保所有变更及访问均可追溯、可审计；当突破风险阈值时，能够及时触发相应处置机制。
• 健全的日志记录与监控：支持实时监控和取证分析，以发现异常、滥用或违规行为。应实施全面的日志记录机制，记录与 AI 系统的全部交互（包括用户输入、模型响应及系统动作）。最佳实践可参考通过集中式日志平台对接 SIEM（安全信息和事件管理）工具开展持续监控，并建立 AI 专项事件响应机制（例如在发现滥用、幻觉或安全事件时，可及时停用模型、工具或数据源等）。
• 安全的集成模式：防止系统集成环节的漏洞将系统暴露于外部威胁或导致数据泄露。必须设计安全集成架构以连接生成式 AI 与企业应用/工作流。最佳实践包括使用 HTTPS 或 OAuth 等安全协议的 API、进行输入校验以防止注入攻击，并采纳零信任架构（Zero-trust Architecture）原则。
• 加密与密钥管理：确保 AI 系统在数据存储和处理过程中的安全性。对 AI 使用或生成的敏感数据应实施加密，并遵循安全的密钥管理实践，例如硬件安全模块（HSM）或云端密钥管理（KMS）服务。
• 偏见与输出校验：用于降低偏见内容或有害内容生成所带来的声誉和法律风险。组织应建立机制来识别并缓解模型输出中的偏见，并定期审查模型的输出，以及使用多样化、具代表性的数据集对模型进行微调。
• 对抗鲁棒性（Adversarial Robustness）：确保生成式 AI 系统在对抗环境下仍具可靠性与安全性。组织应部署防御机制，来应对输入操纵或训练数据投毒等对抗攻击。最佳实践包括对抗性训练技术，以及对针对 AI 模型的异常活动进行专项监控。
• 监管合规能力：避免法律处罚，并确保生成式 AI 系统的伦理化使用。组织必须满足其经营所在各司法管辖区的监管要求，因此，应保留关于数据使用、模型设计和决策过程的透明文档。
• 可扩展性与韧性：确保 AI 平台能高效、安全地应对激增的算力与数据访问需求，同时维持高可用性与性能。架构设计应支持模型层、检索层和编排服务的独立扩展，同时保持高可用和容错。最佳实践包括：采用容器化技术（确保系统在开发、测试、生产环境中的一致性），以及利用云原生架构实现资源的动态弹性伸缩。

要管理 AI 特有技术风险，关键在于采取主动式、集成化的方法，在稳健的风险管理与速度创新需求之间取得平衡。以下是在保持交付速度的同时应对核心风险的方式：

• 数据泄露风险
  指敏感训练数据或用户输入被意外的暴露、保留或输出。这通常是因为模型“记住”了机密信息，从而引发了知识产权泄露、隐私违规和监管处罚。组织评估该风险时，需要盘点 AI 系统使用的敏感数据，分析其可能在训练、推理或存储阶段暴露的节点推理或存储阶段暴露的节点位置，定期审查数据访问日志，并使用自动化工具监控异常数据传输。缓解该风险的方式包括数据加密、访问控制、零信任架构和隐私保护技术。若要兼顾效率，组织应将合规检查和数据治理流程自动化，并从一开始就把隐私保护技术嵌入 AI 研发流水线，避免后期返工。
• 提示词注入（Prompt Injection）风险
  指攻击者通过精心构造的恶意输入覆盖 AI 的原始系统指令，迫使其执行恶意行为或绕过安全护栏。组织评估该风险时，需要使用对抗性测试技术探测模型对恶意提示词的脆弱性，并监控日志中可能暗示注入企图的异常输入。缓解该风险的方式包括输入验证、上下文约束与人工监督。为了不影响开发效率，组织应将输入校验和监控工具直接集成进开发流水线，在不阻碍工作流的情况下尽早发现问题。
• 不安全插件/工具风险
  指 AI 系统自动调用的插件、浏览器工具或 API 连接器等第三方扩展应用存在安全缺陷，这是由于其往往无条件信任 AI 生成的输入，因此可能引起数据外发（Data Exfiltration）、远程代码执行（RCE）及越权访问等风险。组织评估该风险时，需要在接入前对第三方的插件、API 和工具开展安全审查，并持续监控其更新和漏洞情况。缓解该风险的方式包括安全集成、沙箱隔离和定期补丁管理。若要兼顾效率，组织可建立预先批准的可信插件/工具清单，并通过自动化漏洞扫描加快集成。
• 模型供应链风险
  指在使用第三方工具（例如预训练模型或数据集）时潜伏在 AI 模型全生命周期任何阶段的风险，例如数据投毒、模型篡改或植入恶意代码。这类风险可能会引发安全事件，导致输出偏差甚至系统失效。组织评估该风险时，应核查模型和数据集来源，识别潜在篡改或偏见问题，并审查第三方供应商是否遵守安全与伦理标准。缓解该风险的方式包括模型二次验证、血缘追踪和对抗性训练。若要兼顾效率，组织应利用自动化工具快速完成模型质量与合规性评估。
• 未经授权的 “影子AI” 风险
  指员工在未经 IT 批准情况下，私自使用外部 AI 工具（例如 ChatGPT 或其他垂域的 AI 工具）处理工作任务，进而带来安全、隐私和合规风险。这类系统可能泄露敏感知识产权、违反数据法规，并输出错误或带偏见的结果。组织评估该风险时，应定期扫描组织网络来识别未授权 AI 的使用情况，并通过访谈或问卷去发现业务部门中未审批的 AI 项目。缓解该风险的方式包括集中化 AI 治理、强制审批流程和终端检测工具。若要兼顾效率，组织就必须把审批流程设计得更清晰、更轻量，例如提供标准模板和明确指南，加快审查与决策。

在此基础上，要平衡风险管理与效率，通常还应采取以下策略：

• 利用自动化工具（例如异常检测、漏洞扫描、AI 生命周期管理平台）开展风险评估、合规检查和持续监控，减少人工负担并加速流程
• 采用基于风险的优先级排序，把资源集中到高影响、高概率的风险上，而非尝试平均分配资源处理所有风险
• 从设计阶段起，就将安全与治理要求嵌入 AI 开发生命周期（Security by Design）
• 促进技术团队、合规团队和业务团队的跨职能协作，鼓励在应对风险时采取更全面的视角，同时确保与交付目标保持一致
• 建立持续、实时的监控机制，动态发现和处置新风险，减少破坏性的中断干预
• 建立反馈循环机制，推动风险缓解措施的持续改进

从治理和风险管理角度看，一个“良好”的 AI 参考架构，应该是在系统设计阶段以及 AI 全生命周期中嵌入稳健控制、伦理边界和风险缓解机制的架构。该架构应确保满足监管的要求、实现决策的透明、明确结果的责任归属，并与组织目标保持一致。同时，该架构还必须支持可扩展性、韧性和持续监控能力，以便在推动创新的同时应对不断变化的风险。更关键的是，治理要求应通过架构设计本身得到落实（例如明确信任边界、内嵌监控机制等），而不能仅依赖政策文件或人工复核。

但需要指出的是，由于能力特征和运行场景不同，生成式 AI 与传统分析和机器学习模型在治理和风险管理的要求上存在显著的差异：

• 对于生成式 AI 系统（例如大语言模型 LLM），其治理与风险挑战不仅存在于模型本身，还扩展到了提示词侧、编排逻辑层（Orchestration logic）和下游动作执行端。其典型风险包括虚假信息、可解释性不足以及提示词注入攻击等。因此，这类系统的治理框架必须覆盖输出校验、偏见识别和透明度要求，同时纳入隐私保护、输入净化、持续监控和访问控制等措施。换言之，生成式 AI 更依赖运行时控制与持续监控，而不是只依靠上线前的单次验证。
• 对于传统分析和机器学习模型（如回归或决策树），其行为通常更具确定性，并在可预测的范围内运行，因此，治理强调的是预防和保障，而非持续的行为控制。尽管偏见仍然是重要的问题，但传统模型往往运行在垂直受限的场景内，因此偏见问题更容易通过受控的数据集与特征工程（Feature engineering）来解决。其治理重点通常是：确保训练数据结构化且高质量，通过定期再训练和监控缓解模型漂移，并维持与运营目标的一致性。回归模型、决策树等传统模型一般也更具可解释性，因此其合规工作更侧重于决策透明度和审计可追溯性，而这在确定性更强的模型中通常更容易实现。

想要有效的管理 AI 系统，必须清晰界定哪些控制是 AI 技术栈原生的，哪些可以复用组织现有的安全基建。具体能力矩阵如下：

此外，还必须将第三方风险管理纳入整体分析框架。此部分将在第五部分详细探讨。

管理层应采取一套覆盖识别、分类分级、控制映射与持续维护的系统化方法。

识别 (Identification)： 组织应联合业务部门、IT 和采购团队，对已在使用的全部 AI 系统进行全面的盘点。同时，可借助自动化发现工具扫描跨应用、数据库和云服务中的 AI 组件。组织还应将 AI 系统清单与供应商及分包商名单进行交叉核对，明确哪些外部服务方在托管、开发、运营或实质性影响相关 AI 功能。此外，组织还应审阅供应商合同及相关文档，以识别其中嵌入的 AI 功能与能力，并将所有识别出的 AI 系统记录于统一的中央库（Repository）中，具体包括系统名称、用途、负责人、数据来源、模型类型，以及系统是自研还是供应商提供等关键信息。

分类分级 (Classification)： 组织应建立一套风险分类分级框架，综合考虑数据敏感性、对运营的潜在影响、合规要求及伦理因素等维度。可采用适当的评分机制，对每一项 AI 系统及功能的相关风险进行评估（例如偏见、隐私影响和运营依赖性等因素）。该分类分级框架还应纳入第三方固有风险，例如对第四方/分包商的依赖、集中度风险、地域/数据驻留暴露，以及供应商接触敏感或机密数据的程度。组织应明确界定供应商尽调的触发条件（例如高风险 AI 使用场景、涉及敏感数据、面向客户的决策应用等），并将分类分级结果与相应的第三方风险管理（TPRM）活动对应起来。此外，还应推动跨职能团队根据既定标准对每个 AI 系统进行评估，以确保评估过程的一致性与严谨性。

控制映射 (Control Mapping)： 在完成风险分类后，组织应为每项 AI 系统分配相应控制要求，包括技术控制（如访问管理、数据加密）、运营控制（如监控和审计）以及治理控制（如遵守法规和伦理要求）。对于供应商提供或外部托管的 AI，需要映射特定的控制措施：例如合同保障条款（如数据处理约定、保密义务、知识产权使用限制、分包商要求）、审计与评估权利（如 SOC 报告提供频率）、模型或重要事项变更通知、事件通报时效，以及要求落实特定技术和运营控制的安全与隐私补充条款，以确保数据得到安全处理并符合监管要求。组织应建立控制矩阵，将每一项 AI 系统与其适用的特定控制要求对应起来，并确保该映射与现有的企业风险管理 (ERM)框架及行业最佳实践保持一致。

维护 (Maintenance)： 组织应建立定期审查和更新机制，以如实反映 AI 系统的变化、新部署项目或对现有系统的修改。定期审计有助于验证清单的准确性。同时，应与业务部门和 IT 团队保持沟通，以便了解最新的 AI 举措，并确保清单的完整和更新。对于供应商支持的 AI，组织应将清单的更新与第三方风险管理（TPRM）的生命周期衔接起来，包括定期重新评估风险、复核更新后的 SOC 报告及安全和隐私证明材料、监控供应商表现和突发事件，以及确认分包商的变化情况。组织还应建立反馈机制，持续优化清单管理流程。

管理层应通过实施严苛的供应商尽职调查、强有力的合同控制、持续监控以及明确的退出策略来治理第三方与开源 AI。

尽职调查的核心在于评估供应商的技术实力、安全实践、伦理标准、法规遵从性以及业界声誉。这包括评估模型与数据集的溯源能力 (Provenance)、理解提供商的风险缓解策略，并审查其历史履约表现及对安全事件的响应能力。对于开源 AI，管理层在采用前还应深入分析其社区活跃度、代码质量、开源许可条款及潜在的安全漏洞。

合同控制是界定责任边界、数据所有权、知识产权、安全要求及合规义务的基础。合同中应包含模型更新的透明度条款、审计权、事件报告机制，并清晰划定由于错误、违规或滥用而产生的责任归属。

此外，管理层应建立持续监控机制，例如定期绩效审查、合规性检查及安全审计，以确保第三方和开源 AI 系统持续符合组织设定的标准。

退出策略必须在合同中予以明文规定，包括明确终止条件、过渡期支持、数据取回权，以及在供应商条款改变或模型可靠性下降时，AI 资产的安全退役流程。

当供应商模型或使用条款发生变化时，持续风险通常仍由部署该 AI 的组织承担，因为组织必须对其持续合规、安全和伦理使用负最终责任。管理层必须主动跟踪监控供应商条款变化、模型行为变化以及监管要求变化，并及时评估其业务影响。如果因供应商的调整而引发了新风险，组织应做好准备行使合同保护条款、调整控制措施，甚至在必要时更换供应商。

归根结底，以强有力的治理和合同框架为支撑的清晰问责制，才能使组织在保持运营韧性和合规性的同时，有效管理第三方和开源 AI 模型、组件或框架风险。

组织必须在其 AI 治理框架中，同时建立架构控制与合同控制。

从架构角度看，系统设计时应秉持 “模块化”和 “互操作性”的原则，以确保在必要时能够无缝集成、替换或回滚模型。在部署模型前，版本控制、健全的变更管理流程以及自动化测试环境是评估模型更新影响的必要条件。此外，还应建立持续监控机制，以发现因模型以发现因模型或供应商变化引发的性能下降、偏见问题或合规风险。这些技术安全护栏能够帮助组织在不影响业务运营的前提下，对模型的更新或异常的供应商行为作出快速、有效响应。

从合同角度看，组织应就更新通知要求、模型变更的透明度，以及对变更进行审计或复核的权利，与供应商谈判并确立明确条款。合同还应规定供应商在变更使用条款、数据处理实践或模型功能时及时沟通的义务。对于下游风险归属，合同应通过责任、赔偿及整改安排等条款进行明确界定，以应对因供应商驱动的变更而引发的合规风险。此外，定义清晰的退出策略同样十分重要，包括数据可迁移性以及向替代方案切换时所需的支持，以更好保护组织利益。

组织应当清醒地认识到，AI 风险正越来越多地以间接方式渗入组织环境（例如通过第三方软件、SaaS 平台和供应商内嵌功能），而这些风险往往并不会在传统供应商风险管理或 IT 评估中被充分识别。要有效治理这类风险，关键不是只看 “供应商是谁” ，而是看 “这项 AI 能力在做什么，以及它如何影响业务结果” 。

一个务实的起点是提升可视性。很多情况下，问题不在于供应商本身，而在于传统第三方风险管理流程并不是为识别 AI 特定问题或发现内嵌 AI 风险而设计的。因此，组织应增强供应商准入和资产管理流程，精准定位 AI 被嵌入的环节，即便它并未作为独立的 AI 工具被宣传。组织需要弄清楚：该 AI 执行了什么具体的功能、使用了哪些数据、其输出是否被用于运营或合规决策，以及模型变更可能如何影响下游流程。很多时候，第三方 AI 风险最大的驱动因素不是恶意意图，而是缺乏可视性。

在此基础上，风险评估不能停留于静态的供应商问卷，而应进一步考察 AI 如何随着时间演变的动态行为。与传统软件不同，AI 输出往往具有概率性、适应性，并会受到数据、配置或供应商更新变化的影响。因此，组织应重点评估透明度不足、数据来源不清、偏见、模型漂移，以及对 AI 输出过度依赖等风险，尤其是在 AI 深度参与强监管活动、财务事项或高判断要求业务时的影响。

治理要求应整合进现有的第三方风险管理流程中，而不是单独设立一套 AI 审查流程。这通常包括：

• 明确供应商提供的 AI 能力的责任归属
• 要求供应商披露内嵌的 AI 功能，包括其预期用途、对决策的影响，以及是否依赖客户数据或第三方数据
• 在合同中纳入 AI 专项条款，例如：
   
  • 对重大 AI 或模型变更设定通知与批准门槛 
  • 明确限制数据使用、数据保存和模型训练方式
  • 约定针对 AI 赋能服务的审计权、鉴证权或独立评估权
     
• 使 AI 监督要求与现有安全、隐私和合规控制要求保持一致

如果由于技术保密限制或商业机密而无法实现完全公开透明，组织应寻求替代性的保障机制，如独立第三方评估、绩效指标及持续监控承诺。

对第三方 AI 而言，持续监控尤其关键，且监控强度应依据 AI 能力本身的风险和影响程度确定，而非仅依据供应商类别。供应商评估不应被视为一次性的检查活动，而应根据 AI 的实际用途及其影响范围，实施基于风险的动态监控。低影响 AI 功能可以采用轻量级的监督，但支撑受监管活动、财务报告、客户结果或高判断决策的 AI，则需要更严密、更高频的监控。监控机制应当能够敏锐捕捉 AI 行为、性能或风险画像的重大变化（例如供应商更新、数据来源变化、决策自动化程度提升，或对 AI 输出依赖扩大等），并应设置明确的升级路径和重新评估的触发条件，以确保治理强度与风险变化保持匹配。

最终，组织应坚持一个简单但极其重要的原则：风险的问责不能外包。即便 AI 能力由供应商提供，但这些能力对业务运营、合规和报告产生影响的责任，仍然由组织自身承担。只有将具备 AI 意识的治理要求嵌入第三方风险管理流程，组织才能像管理内部自研 AI 一样，以同等严谨程度识别、理解和管控供应商引入的 AI 风险。

持续监控应聚焦于几个核心领域：模型性能表现、偏见指标、安全事件、使用模式以及控制有效性。

• 就模型表现而言，应持续跟踪模型漂移（例如因数据模式变化导致的准确率或相关性下降），并结合准确率、精确率、召回率等性能指标进行监控。
• 就偏见风险而言，应使用公平性指标开展持续监控，例如人口统计均等性（Demographic Parity）或差异影响比率（Disparate Impact Ratio）。
• 就安全事件而言，例如未授权访问、对抗性攻击或数据泄露等事项，需要依靠日志和异常检测系统进行实时监控。
• 就使用模式而言，应分析是否存在偏离预期行为的情况，例如异常输入/输出趋势或过度使用，这些都可能反映滥用、失效或效率问题。
• 就控制有效性而言，应通过测试访问控制、审计轨迹以及对监管要求的遵循情况，验证治理机制是否真正有效运行。

基于上述监控活动形成的报告，应根据指标的重要性，由不同层级的利益相关方以不同的频率进行审阅：

• 一线运营团队应审阅实时预警和每日报告，以便及时应对突发问题（例如性能下降或安全事件等）。
• 风险与合规职能部门（第二道防线）应按周或按月审查，评估偏见、安全及整体风险是否仍处于设定的阈值范围内。
• 执行委员会或高级管理层应按季度接收关键指标和高优先级风险汇总，以确认 AI 运行状况与组织战略目标及风险偏好保持一致。
• 董事会层面则应对关键的 AI 系统进行监督，尤其是在阈值被突破或出现重大风险时。

阈值设置的意义，在于问题恶化前提供预警机制。例如，模型最大可接受错误率、最低公平性比率，都可作为性能和偏见监控的基准。安全阈值则可能包括可接受的事件响应时间，或对未经授权访问尝试的预设容忍上限。

“AI 事件”是指任何由 AI 或机器学习系统引发、或可能引发的事件，其结果可能产生有害输出、引发隐私泄露、造成运营失效或触发监管报告义务。典型情形包括：生成有毒或带偏见内容、泄露敏感个人数据、出现模型幻觉、因模型漂移或数据投毒导致准确性下降，以及发生对抗性攻击或法律/监管触发事项（例如涉及个人信息泄露时可能触发 PIPL/GDPR 项下的通知或报告义务，或在特定高风险/严重事件场景下触发《欧盟 AI 法案》项下义务）。此外，提示词注入、绕过安全规则使 AI 异常行为的“越狱”攻击（Jailbreaking），以及模型盗取等安全事件，也都应被视为 AI 事件，并需立即响应。

响应预案首先应从快速发现和遏制开始。管理层应立即启动遏制程序，包括停用受影响端点、隔离受损模型、更新安全护栏，并移除受污染数据集。对于严重事件，应触发“熔断/紧急停机机制（Kill Switch）”，中止相关 AI 运行，且通常应由 CISO 和 CTO 等关键负责人实施双重授权。回滚程序（Rollback）则包括恢复至最近一次确认正常的模型检查点、回退受损训练数据或部署版本，并保留取证日志，用于事后分析。恢复措施通常还应包括模型重新训练与重新验证，确保在控制措施加强后方可重新上线。

客户沟通与董事会报告则是透明度和监管合规的重要组成部分。受影响客户应及时收到预先批准的通知，说明事件性质、受影响系统或数据，以及组织已采取的补救措施，并满足相关法规要求，例如 GDPR 下72小时内的数据泄露通报义务。随着情况发展，组织还应持续提供更新和指引。发生重大事件或达到既定升级阈值时，应及时通知董事会或相关委员会及高管团队，并向其提供综合报告，概述事件经过、影响范围、遏制措施、面临的监管风险及恢复时间表。事件结束后，还应开展复盘，形成根因分析、已采取行动和经验教训，并将其反馈至 AI 事件响应预案和治理框架中，以推动持续改进。

一项关键的能力是建立上一问提到的熔断/紧急停机机制（Kill Switch），这能使组织立即停用 AI 模型相关功能。该能力应同时集成在应用层和基础设施层，以便授权人员能够在不影响其他系统组件的情况下，快速中止 AI 运行。为防止滥用，该机制应具备可快速访问性，但同时要求双重授权。

组织还必须在 AI 架构中具备健全的版本控制和回滚能力。这意味着需要维护模型和数据集的多个版本，并保留完整的变更日志。通过建设带回滚能力的自动化部署流水线，团队可以在发现问题或性能下降时，迅速恢复至上一个稳定版本。该能力还应与实时监控工具配套使用，使系统能够持续比对模型表现与预设风险阈值，并在发现异常时触发预警和自动响应。

最后，还需要具备动态资源分配与限流机制（Throttling Mechanisms），以便在事件发生期间对 AI 系统实施约束。这类机制可使组织在调查和恢复过程中，临时降低模型处理请求的能力，或限制对敏感功能的访问权限，从而在不中断整体业务的前提下控制风险扩散。

组织需要采取一种系统化方法将 AI 事件响应纳入现有网络安全、数据和运营韧性预案中：在现有的事件响应框架基础上进行扩展，例如沿用 NIST SP 800-61 等成熟方法论，但针对 AI 系统的独特风险和失效模式作出适配。对于上市公司而言，这还需要与其强制性的网络安全报告和披露流程衔接。

这种整合通常意味着：在传统的检测、遏制、调查和恢复四个阶段中，加入 AI 特有考虑因素，例如模型漂移、对抗性攻击、数据投毒和偏见事件。组织应建立 AI 资产清单，并确保事件响应团队具备处理 AI 相关事件所需的专业能力，包括数据科学家和机器学习工程师。同时，还应部署能够采集 AI 特有遥测数据（Telemetry）的监控工具，例如提示词日志和模型推理记录，并定期测试和更新面向具体场景的响应预案，以确保在 AI 事件中既能快速反应，又能准确处置。

但在某些情况下，AI 确实需要不同于传统的事件响应模式。例如，当威胁针对的是 AI 系统本身（如提示词注入、模型利用或“越狱”攻击），这些情形未必完全符合传统意义上的系统入侵或数据泄露的定义，因而传统响应预案往往不够用。由于 AI 系统具有概率性和自适应性，组织需要开展持续性能监控、提示词模式分析，并使用更专业的取证技术，例如模型探查 (Model Interrogation) 或特征归因分析（Feature Attribution，这是一种可解释 AI 技术，通过根据输入特征对模型特定输出的相对贡献度分配重要性分数，以此来解释模型为何做出特定决策，并突出显示影响输出的最关键输入因素）。

此外，AI 作出的决策还可能对业务运营、合规和公平性产生深远的下游影响。因此，组织的响应协议不能只盯着“系统是否被攻破”，还必须覆盖“输出是否有害”、“决策是否失真”、“结果是否构成监管或伦理后果”等问题。也就是说，AI 事件响应不是传统事件响应的简单延伸，而是在某些关键场景下，需要一套更适配 AI 复杂性的应对模型。

两者都要，但顺序必须正确。 首要任务应坚持“业务优先”，即先明确 AI 在哪些方面能够真正创造价值并形成战略影响，例如改善客户体验、带动收入增长、提升成本效率和增强韧性。在此基础上，再设置相应的约束边界，确保模型能力能够被负责任地规模化应用。

如果风险与合规作为第二道防线只是在决策桌上充当 “说不的部门” ，其结果往往是被业务绕开。未来真正有价值的角色定位，应是战略赋能者（Strategic Enablement），其可以帮助业务作出更优决策、提升运营效率，而不仅仅是在事后被动应对问题。

治理机制必须是分流机制 (Routing Mechanism)，而不是减速带。真正有效的做法，是建立一套能够区分低风险与高风险事项、并在恰当节点（例如准入、分级、审批、测试和监控）施加恰当治理强度的运营模式，从而使组织能够在该快的时候快，必须慢的时候慢。

这意味着组织需要具备：完整的应用场景清单、明确的风险分级方法，以及跨利益相关方清晰的决策权划分。治理做得好，实际上会加快创新，因为创新、风险和合规团队对“规则边界”形成了共同的理解，而不是彼此掣肘。（详见问题6和8）

应当要求的是可衡量的业务结果，而不是“我们上线了一个模型”。

如果 AI 只是让文稿写得更好、摘要生成得更快，或仅仅为某项手工任务节省一两个小时，这不应被误认为是转型。AI 真正的价值，体现在它是否帮助组织重塑底层流程：减少交接环节、减少例外情况、减少返工率、在前端嵌入更有效的控制，并形成更清晰的责任归属。

这正是三道防线协同一致的意义所在。当业务流程被有效改造后，往往会同时带来更好的业务绩效、更有效的监控与合规，以及更正向的审计测试结果——这些成果会对第一、第二和第三道防线都产生积极影响。

风险偏好不能停留在抽象层面。组织需要按 AI 类型和应用场景设定明确的边界，例如区分预测式 AI、生成式 AI 和 AI 智能体，并将这些边界转化为业务可执行的量化容忍度 (Quantitative Tolerances)。

这类量化标准通常包括：错误率、偏见阈值、人工介入的触发条件、事件定义、升级阈值以及触发“熔断/停机机制”的标准。更关键的是，这些阈值不能只写在政策里，而应嵌入资金审批关卡、架构设计关卡和上线部署关卡之中。只有做到这一点，董事会和高级管理层才能真正建立信心：组织是在既定边界内扩大 AI 应用，而不是寄希望于 AI 自己表现良好。

主要有两个方面：问责制和数据。

一方面，随着 AI 将决策机制从确定性逻辑转向概率性逻辑，责任归属会迅速变得模糊。业务负责人、模型开发人员、数据科学家和技术专家都参与其中，结果往往是谁都碰了流程，但谁都默认“别人会负责”。这种责任重叠，是很多 AI 治理失效的根源。

另一方面，AI 结果的可靠性取决于底层数据是否站得住脚——包括数据质量、数据血缘、授权同意、数据保留机制和合规使用。如果训练数据及相关的控制基础措施没有准备好，那么“打开AI  开关”不仅不会带来 ROI，反而会制造噪音、例外情况和声誉风险。

AI 应用场景的优先级排序，应围绕三个核心因素展开：价值、可行性和风险。

通过这一视角评估每一个应用场景，组织才能识别出那些具备清晰价值杠杆、能够在当前环境中现实落地（即不存在难以跨越的技术或运营障碍），且其风险水平处于组织可治理范围内的机会。

这一选择过程必须慎重考虑，因为大量的资金可能投入到人工智能监控代理和治理工具上。当构建稳健的业务流程以主动降低风险更为有效时，这些投资可能带来较高的机会成本。一个成熟的 AI 投资组合兼顾了治理工具和优化的业务流程。然而，出发点始终应当是那些能让业务部门切实感知并量化其成果的项目或举措。

第二道防线（风险与合规）的职责是设定标准、约束边界（合规红线）和决策框架，而不是亲自运行具体的应用场景。

第一道防线（业务部门）应负责业务结果和日常运营控制。第二道防线则负责定义政策与标准、风险分类、准入和分级机制、所需的测试与文档要求、监控指标、第三方管理要求以及问题升级机制。第三道防线（内部审计）则负责独立保障，确认整体项目是否按预期运行。

三道防线各归其位时，业务推进速度反而会更快，AI 也更有可能被负责任、有效地部署。

AI 并没有消除模型固有风险，相反，它改变的是模型失效的方式，并加快了问题扩散的速度。因此，模型风险管理需要围绕若干更具操作性的问题展开：

• 我们是否能够在模型上线前，在受控环境中对其进行充分测试？
• 我们是否能对模型进行持续监控，以及时发现漂移、滥用和新出现的失效模式？
• 我们是否能够在监管机构、审计人员和客户要求的层面上，对模型的输出结果进行解释？
• 当数据、提示词、供应商或模型版本发生变化时，我们是否设定了清晰的重新验证模型的触发条件？

这四个问题所对应的，分别是：上线前发现潜在问题、上线后持续监督模型的可靠性与安全性、以透明度支撑问责制并建立信任，以及在环境变化时维持模型的有效性与相关性。

最好的方式，往往是直入主题，说清现实。当前很多 AI 交付成果，本质上仍属于渐进式的改进，它们提升了某些任务效率，但离真正的重塑流程还有明显的距离。这也是为什么很多董事会和高管层会感到挫败，他们看到的更像是一个“科学实验项目”，而他们真正想要的是一个可控的增长引擎。

因此，AI ROI 的讨论必须落到具体、可衡量的要素上，例如：节省了多少时间、减少了多少错误、削减了多少手工控制、缩短了多少周期时间、减少了多少异常事项，以及问题解决速度提升了多少。这些硬核指标必须与一套旨在全面升级数据和流程基础设施的路线图紧密绑定。如果缺乏有效的衡量标准，讨论就会继续停留在概念和热度上，而无法转化为实质性的商业进展。

可以优先推进以下三项动作：

第一，建立基础的治理机制。
首要任务是搭建可扩展的基础治理要素。这包括明确 AI 治理或指导委员会的决策权，确保关键利益相关方具备对 AI 举措进行指导和监督的授权（详见问题5和53）。此外，组织必须实施稳健的 AI 准入与资产分级盘点流程，系统化地识别、注册和对新的 AI 模型及工具进行分类。最后，必须界定适用于所有 AI 系统的最低控制要求，以确保模型部署和运营中的治理与风险管理保持一致。

第二，选择高影响力的应用场景。
第二步是识别三到五个能够显著创造价值的 AI 场景，重点关注那些业务量大、手工性强、重复性高且当前痛点明显的环节。通过聚焦这些机会，AI 既能减少运营摩擦，也能同步改善控制效果，从而在效率和效能上带来可衡量的提升。

第三，定义评估与报告模型。
第三步是定义一个清晰的评估模型。这涉及明确每月需要定期报告哪些内容，如关键风险指标（KRI）和关键绩效指标（KPI），用于跟踪进度和结果。组织还应确立“安全事件”的界定标准，明确谁有权批准例外情况，并制定在突破风险容忍度阈值时停止或回滚 AI 系统的标准操作协议（SOP）。这些举措将为 AI 运营注入必要的透明度、问责制与安全性。

对 CISO 而言，“有效的 AI 治理”意味着组织已经建立并切实执行了一套完整的治理框架，该框架将确保 AI 系统安全、具备韧性，并与组织的风险偏好和监管义务保持一致。

这要求将 AI 特有的安全控制（如完善的访问控制管理、数据保护、对抗性威胁监控以及事件响应机制）嵌入了现有的网络安全体系之中，同时也能应对模型操纵、数据泄露和未授权“影子AI”等新型风险。对 CISO 来说，有效的 AI 治理还意味着：通过跨职能协同来确保AI使用的透明度、问责制以及合乎伦理，持续开展风险评估，并能够在事件发生或威胁演变时迅速响应，同时以可控且合规的方式支持创新。

CISO 的职责范围，主要集中在 AI 系统的安全性、隐私保护和运行韧性相关风险上。这包括：保护 AI 模型使用或生成的敏感数据免遭未经授权的访问或泄露，确保围绕 AI 工具和基础设施建立完善的身份和访问管理（IAM）控制，防御对抗性威胁（如提示词注入、模型投毒或对第三方 AI 组件漏洞的利用）。此外，CISO 还负责监控 AI 系统的活动以发现滥用或异常行为的迹象，实施数据防泄漏（DLP）措施，并保护训练数据和模型输出的完整性与机密性。

此外，CISO 还需对以下风险负责：插件或 API 的不安全集成、预训练模型或供应商提供模型中的供应链漏洞，以及组织内部未授权或“影子AI”应用的扩散。这意味着 CISO 必须确保所有的 AI 部署（无论是内部自研还是从外部采购）都严格遵守企业安全策略，接受定期审计，并具备有效的事件响应机制。

尽管 CISO 需要与其他利益相关方共同参与更广泛的治理、伦理和合规议题，但其核心问责仍在于维护 AI 系统全生命周期内的安全性和运营韧性。

在推动 AI 快速创新方面，CISO 的作用是实施严密的安全和数据治理措施，从而在最小化网络与数据风险的同时，使组织能够更快采用和扩展 AI 能力。

这要求将安全控制措施（例如身份与访问管理、数据防泄漏、持续监控和事件响应等）直接嵌入 AI 开发流水线和运营流程之中。通过与业务、IT 和数据团队密切协作，CISO 应确保创新活动建立在清晰的政策、自动化的安全护栏和基于风险的评估之上。目标很明确：在不牺牲安全性或合规性的前提下，高效推出新的 AI 项目。同时，CISO 还应推动形成安全意识和主动风险管理的文化，使团队能够在既定边界内更有信心地创新，而不是在事后为安全问题买单。

最常见的 AI 安全盲区，往往源于组织对 AI 系统独特脆弱性的关注不足。

其中一个显著盲区是数据相关风险，包括数据治理薄弱、敏感训练数据保护不足，以及数据投毒攻击导致模型完整性受损。很多组织低估了数据校验、加密和匿名化的必要性，结果使 AI 系统易受操纵或遭破坏。

第二类盲区是模型特有的威胁，例如恶意输入触发的对抗性攻击，或攻击者通过模型抽取手段逆向还原专有算法。如果 AI 生命周期中缺乏对抗鲁棒性测试和持续监控，这类风险会被进一步放大。

第三类盲区是不安全的集成和供应链风险。很多组织并未充分审查嵌入系统中的第三方 AI 工具、预训练的模型或 API，从而使自身暴露于供应商引入的漏洞之中。

类似地，提示词注入风险（恶意提示词操纵生成式 AI 的输出）在很多场景中也被低估，尤其是在面向用户的生成式 AI 应用中更为明显。

还有一个高频盲区是影子AI 的部署。业务部门在缺乏 IT 监督的情况下会自行引入 AI 工具，这会直接造成治理空缺，并提高了违规、数据泄露和安全事件发生的概率。

消除这些盲区需要采取主动措施，比如通过全面的风险评估、持续监控、安全的集成实践以及跨职能协作，来确保 AI 系统具备韧性并与组织的安全策略保持一致。

AI 风险应通过嵌入式整合的方式纳入现有的网络安全框架，而不是另建一套平行体系。也就是说，应将 AI 特有的考量直接纳入组织现有的治理、风险管理与合规 （GRC） 流程。

具体而言，组织需要把 AI 相关的风险（例如数据隐私、模型偏见、对抗性攻击和供应商风险等），与 NIST、ISO 或 COBIT 等框架下现有的风险评估方法相衔接。通过建立不同框架和标准之间的映射（Crosswalks）关系，AI 控制措施就能够与传统网络安全实践保持一致，并确保 AI 系统像其他技术资产一样，接受同等严格的安全标准和监控要求。

只有当 AI 团队与网络安全团队形成协作关系，组织才能建立统一的风险视角，在不制造重复治理结构的前提下，同时满足监管要求并推动负责任的 AI 部署。

无论是生成式 AI 平台还是 AI 智能体，CISO 都应采用一套基于风险、兼顾安全、合规和伦理要求的评估框架。

对于生成式 AI 平台，评估重点应覆盖整个 AI 生命周期（从数据获取、模型训练到部署和持续监控）中的数据安全能力。CISO 需要重点审查模型透明度，特别是其是否具备足够的可解释性，以便利益相关方理解输出是如何生成的。同时，CISO 还应依据 NIST、ISO 等既有安全标准评估其是否符合 GDPR、CCPA、PIPL 等监管要求。为降低有害输出或数据泄露带来的风险，数据隐私保护、偏见识别能力以及事件响应机制也都应作为关键的审查项。

对于 AI 智能体，评估重点应更多放在其运行环境以及其对业务流程的实际影响上。组织需要审查每个智能体与现有系统的集成方式、其对敏感数据的访问范围，以及为防止未授权访问或滥用而建立的安全措施。CISO 还应关注其是否能够在既定治理框架内运行，以及是否遵循组织政策和监管要求。持续监控与审计能力也必须纳入评估，以便跟踪其表现、识别异常并验证对控制要求的遵循情况。

在第三方和供应商 AI 风险管理中，CISO 的核心职责是确保所有接入组织环境的外部 AI 解决方案都满足严格的安全、隐私和合规标准。（详见第五部分关于第三方风险管理考量的讨论）

这意味着 CISO 需要牵头开展严格的供应商尽职调查，评估 AI 供应商的安全态势，并确保合同中明确规定数据保护、事件上报、审计权以及持续遵守监管和道德准则等条款。CISO 还应监督第三方 AI 系统的持续运行监控，管理由于模型的更新或供应商条款变化带来的风险，并确保对供应商解决方案引入的事件或漏洞都有明确的责任归属。

CISO 应建立一套稳健且具适应性的监控框架来监控不断演进的 AI 系统，该框架需持续追踪关键风险指标（KRI），例如模型性能、偏见、漂移、安全事件以及对治理政策的遵循情况。

该过程应涉及部署实时的监控工具以发现异常、对抗性攻击或意外输出，同时通过定期审查确认系统是否持续符合伦理和监管要求。随着 AI 系统和威胁环境的双重演进，持续的控制监控对于评估安全措施和治理框架的有效性变得至关重要。此外，CISO 应建立反馈闭环，将事件响应、审计以及利益相关者审查中获得的经验及时纳入系统更新和控制优化中。

为有效应对新兴风险，CISO 需要建设一组同时具备传统网络安全能力与 AI 特定知识的人才与角色配置。

核心技能包括：理解机器学习基本原理、数据治理、对抗性 AI 威胁以及 AI 系统所对应的监管要求。CISO 还应通过设立专门的岗位来促进跨职能协作，例如 AI 安全专家、数据隐私负责人和伦理 AI 顾问等，这些角色专注于保障 AI 系统安全、减轻偏见并确保合规。同时，CISO 自身及其核心团队还应提升其战略领导能力，使 AI 风险管理能够与组织目标保持一致，在支持业务增长和可持续发展所需创新的同时，把风险控制在可接受范围内。

CISO 应通过结合定量和定性指标来衡量 AI 治理的成功（有效 AI 治理的特征，详见问题1），综合判断 AI 部署中的风险管理、合规执行和伦理实践是否真正有效。

关键绩效指标（KPI）可包括：AI 相关安全事件数量的下降、被识别并解决的偏见或公平性问题的频率与严重程度的降低、以及监管合规基准测试中的达标率。此外，CISO 应通过问卷、审计反馈或其他机制评估利益相关方的信心和满意度，以了解组织内部外部对 AI 治理有效性的真实感受。

CISO 应定期将这些指标报告给高级管理层和董事会，这可以帮助了解目前 AI 治理框架的成熟度，从而推动持续改进，并在与组织目标保持一致的同时，增强对 AI 技术的信任度。（常见 AI 风险领域的相关指标示例，详见问题17）

关于 AI 治理委员会的组织形式与运作机制，详见问题5、9和42。总体而言，委员会应吸纳多元职能部门与关键管理岗位的参与，以确保对AI举措实施全面的监督与有效的治理。委员会的构成及各角色的标准职责如下：

对于 AI 驱动的人事决策，必须在强调公平性、透明度与伦理标准的框架内，清晰界定其标准与问责机制。

组织应为用于相关流程的 AI 工具设定明确的指标与基准，确保其与多元、平等和包容目标保持一致。例如，招聘算法的评价标准应纳入主动降低偏差、促进结果公平的参数；绩效评估系统则应能够对 AI 生成的判断提供清晰的解释，使员工理解评价结果的推导逻辑。此外，组织还应定期对 AI 系统进行审计，评估其对劳动力多元化和整体员工满意度的影响，确保技术与组织的价值观及监管要求保持一致。

在问责机制上，AI 驱动的人事决策不应由单一职能独立承担，而应由 HR 领导者、合规及数据科学等多方共同参与。清晰的职责划分有助于在识别出 AI 输出中的偏差或不准确之处时，及时、透明地进行纠正。组织还应建立反馈机制，使员工能够自由的就 AI 驱动的决策提出疑虑或担忧，营造一个无惧报复、建立在信任基础上的环境，从而实现持续优化。

组织需要建立一套将清晰的政策、针对性培训与持续监督相结合的治理机制。这包括：制定清晰的 AI 使用指引和伦理标准；针对不同岗位推出 AI 素养与数据素养提升计划；并通过情景化培训，帮助员工正确解读 AI 输出、识别潜在风险和偏差。

定期审查、人工参与的决策机制以及透明的沟通渠道能够进一步强化问责机制，并营造持续学习和伦理道德敏感度不断提升的组织文化。与此同时，跨职能治理机构（如 AI 治理委员会或 AI 卓越中心等）应负责统筹能力建设工作、监督制度的执行，并根据技术发展和监管变化动态更新培训内容，确保员工队伍在应用 AI 系统时既具备必要能力，也始终保持足够警觉。

AI 治理在将 AI 能力深度嵌入组织工作流的同时，也必须确保其使用符合伦理、监管要求并创造真实业务价值。运营模式需要朝着 “人机协同 (Human-AI collaboration)” 的方向演进：将可自动化实现效率提升的任务交由 AI 系统，而将战略性与创造性的高阶角色保留给员工。岗位重塑的重点并非简单裁撤重复性职位，而应放在推动员工从重复性劳动向更注重分析、监督与决策的岗位转型，例如管理 AI 输出或解读深度洞察结果等。

技能升级是其中的关键一环。组织需要投入资源推行技能提升 (upskilling) 计划，培养员工的 AI 素养、数据分析能力、提示词工程能力以及社会情感能力，实现人机协同的价值最大化。角色定义也应相应调整，突出“混合型职责” ，例如引导 AI 系统、运用其输出辅助决策等。

需要指出的是，为适应 AI 整合而更新的岗位描述，绝不仅仅是在现有的岗位职责上增加几项新任务。组织应系统审视各项岗位及职能，识别哪些核心职责可以被自动化、哪些可以由 AI 增强，以及哪些仍必须由人独立承担。关键问题在于：AI 究竟如何改变工作本身。岗位描述的修订，应真实反映这一变化，突出与 AI 系统的协同、对输出的监督把关、对数据驱动洞察的解读，以及对伦理边界的把控。为此，员工的参与至关重要，这既有助于提升岗位重塑的有效性，也有助于回应员工对岗位替代或技能缺口的顾虑。

HR 要确保 AI 推动的是可持续的劳动力转型，关键在于从 “自动化优先” 转向 “增强优先” ，将重点放在岗位重塑、推行基于技能的人才管理，以及以人为中心的前瞻性变革管理上。核心策略包括：在关键决策中保留人工介入节点，提升员工使用 AI 工具的能力，并以整体系统产出和员工敬业度（而非单纯裁减人数）作为衡量成效的主要标准。

以下是 HR 推动可持续 AI 转型的五个关键步骤：

1. 从岗位淘汰转向岗位重塑。 与其去替代现有的岗位，不如重塑岗位，将人的判断力（如创造力、同理心和批判性思维）与 AI 的速度优势（如数据处理与模式识别）结合起来。将管理颗粒度从 “角色 ”下沉到 “任务”，能清晰界定哪些任务应被自动化、哪些任务应被 AI 增强，以及哪些任务必须保留纯人工处理。对于招聘、晋升和绩效评价等关键决策，应保留人工介入，以避免偏见、捍卫伦理标准并保障结果质量。
2. 实施战略性的技能重塑与能力建设。 组织应将 AI 素养视为全体员工的核心能力。HR 应分析 AI 对具体岗位的影响，设计能力提升路径，使员工能够转向新角色而不是被淘汰。与此同时，随着 AI 带来的新岗位形态，HR 也应提前定义例如 AI 训练师、AI 解释人员和 AI 伦理专家等新角色。
3. 以整体系统产出替代局部效率优化。 HR 的指标体系不应继续局限于 “单次招聘成本” 或 “行政效率” ，而应转向评估整体的系统影响，例如全工作日吞吐能力（公司整体敏捷性和速度的提升）、决策的质量与速度、员工体验与敬业度，以及通过小范围跨职能试点验证 AI 工具对整体生产率的真实影响，再决定是否规模化推广。
4. 培育可持续、以人为本的组织文化。 HR 应清晰的传达 AI 路线图，包括岗位可能发生的变化，以缓解员工的焦虑并建立信任。应邀请员工参与新的 AI 赋能流程设计，确保工具有价值、真正可用，而不是额外制造混乱。组织应建立激励机制，鼓励员工在日常工作中大胆尝试和采用 AI 工具。
5. 建立稳健的 AI 治理机制。 组织应定期对招聘、绩效管理和晋升流程中使用的 AI 工具进行算法偏见审计，以确保其在部署过程中的持续公平与公正。问题5和53中提到的 AI 治理委员会或指导委员会，将在这一治理工作中发挥关键作用。

从根本上看，那些将 AI 视为劳动力延伸而非单纯替代工具的组织，更有可能在未来工作形态转型中取得成功。

HR and executive leadership should monitor a range of indicators that can be grouped into three key dimensions:

当 AI 从零散的试点走向企业范围内的全面部署时，与“人”相关的 AI 治理也必须从临时性、碎片化的监督，升级为结构化、前瞻性的治理框架，并将透明度、问责机制和员工参与置于核心位置。

组织应建立清晰的政策，明确 AI 监督中的角色与职责，推动 HR、合规、IT 及业务管理层之间的跨职能协同。这些治理主体需要确保伦理要求（如公平性、偏见缓解及隐私保护）贯穿 AI 全生命周期的每个阶段。与此同时，定期的培训与沟通计划也不可或缺，以此来帮助员工以负责任的方式使用 AI、理解其局限性，并在必要的时候提出疑虑。

鉴于许多组织在推进变革时普遍面临阻力，员工必须透彻理解负责任且合乎伦理地使用 AI 模型的基本规则。因此，管理层应清晰传达 AI 模型的优势与局限性、审慎部署的初衷、初步推进的应用场景，以及这些模型如何与更广泛的战略举措相衔接。对于工作内容受影响的员工，技能重塑与技能提升同样是必要的安排。AI 使用的相关政策与底线规则应与适用的法律法规保持一致，并满足保护企业知识产权、应对网络安全及隐私风险、强化监控协议与问责制的需求。

随着 AI 更深度地融入工作流和决策流程，治理重点还应转向持续监控与反馈闭环机制。这包括通过建立常态化的流程对 AI 结果进行审查和审计，广泛收集员工的反馈输入，并在技术迭代和监管收紧的动态环境中灵活调整控制措施。

组织必须建立稳健的治理框架，将伦理原则嵌入 AI 开发与部署的每一个阶段。这意味着：通过摄入多元化的训练数据和执行严苛的定期审计，主动降低算法偏差。强力推行可解释性 (Explainability) 要求，确保技术与非技术背景的利益相关方都能看懂决策背后的逻辑。组建跨职能团队（必须包含 HR、伦理与法务专家），对 AI 系统进行设计和审查，确保其符合公司的使命和价值观。

持续不断的监控、利益相关者的反馈循环以及毫无保留的透明沟通，将进一步夯实信任与问责制，从而确保 AI 驱动的结果真实反映了组织在公平性和社会责任上的高标准，而绝非仅是在合规清单上打个勾 。

从 CHRO 的视角来看，AI 应用带来的重大人力风险主要集中在三大领域：算法偏见、劳动力流失与岗位替代以及过度自动化带来的深层反噬。

AI 系统中的偏见通常由缺乏代表性或自带缺陷的训练数据引发，这会对特定群体产生极不公平的歧视结果。这不仅会粉碎员工信任，也会使组织面临声誉和法律风险。

劳动力流失与岗位替代是另一大核心隐患，因为自动化可能使特定的岗位瞬间失去必要性，从而引发员工的焦虑、抵触情绪以及士气问题。

过度自动化同样值得警惕，当人类的判断力被 AI 无底线地挤占，决策过程中的 “同理心” 彻底丧失，员工参与感下降，这将在那些极度需要人类微妙洞察力的复杂情境中造成不可预见的后果。

这些风险的缓解责任并不属于某一个单独职能，而是分布在多个组织角色之间。HR 需主导应对劳动力影响，例如推动员工转岗、再培训，并培育适应变化的组织文化；IT 和数据科学团队负责通过偏差审查和伦理设计原则，提升 AI 模型的公平性与可解释性；管理层，包括高管团队，则应通过将公司价值观嵌入 AI 治理框架，推动负责任的 AI 使用，并与组织目标保持一致。

缓解这些高危风险的重任，必须由组织内部的多个利益相关者共同分担。HR 必须主导应对劳动力冲击的负面影响，如为推动员工技能重塑以适应新的角色职责，并培养一种拥抱变化的强适应性文化。IT 和数据科学团队主要负责通过执行严格的偏见审查并落实伦理设计原则，提升 AI 模型的公平性与可解释性。管理层（尤其是 C -level 高管）必须积极倡导负责任的 AI 使用，将公司的核心价值观嵌入到 AI 治理框架中，并确保技术的发展与组织的长期战略目标保持一致。

归根结底，只有依靠跨职能协同和持续监控，组织才能确保 AI 应用是增强而不是削弱员工福祉与组织信任。

组织应将透明度置于优先位置，通过清晰的标识和明确的提示直接告知客户正在与 AI 系统互动。建立信任方面，企业需在交互初期就公开 AI 系统的介入状态，并适度披露该 AI 系统的能力边界与局限性。

当客户明确知道自己面对的是 AI 时，这种明确的认知能够帮助其建立合理预期，降低因误解 AI 的回答能力而产生的挫败感，从而维持整体的满意度。这种透明且可控的服务机制能够显著增强客户的安全感与参与意愿，进而推动预期交互行为的完成，最终转化为更好的商业表现。

组织应建立一个由清晰的品牌规范与人工监督结合的管控机制。品牌规范不应停留在一般原则的层面，而应进一步转化为面向 AI 的操作手册，明确语气风格、可使用术语、伦理边界（包括需要避免的话题、事实核查和偏见缓解的具体要求），并将其嵌入 AI 模型的训练数据和提示词设计中。同时，高风险内容应纳入人工内容治理机制，由人工审核者对输出进行把关，包括润色措辞、校验事实，并确认内容在面向客户发布前，符合品牌叙事风格和伦理承诺。

除此之外，组织还应建立健全的治理框架，包括对品牌一致性的自动检测机制、偏离预警工具以及监管合规和质量保障机制（尤其是在医疗、金融等敏感行业）。通过持续的监控、反馈闭环和定期审查，组织可以不断优化 AI 生成的内容，使其始终与品牌价值主张及不断变化的客户情绪保持一致。

最后，透明度也是关键控制点之一。品牌应公开说明其在内容创作中使用 AI 的方式，以强化客户信任，并在各类客户接触点上维持道德诚信。

组织应采取结构化的方法，首先识别可能出现的偏见类型，例如种族、性别或社会经济背景相关的偏见。这些偏见通常源于存在偏差的训练数据或模型设计。

在检测环节，应对训练数据集开展全面的审查，并通过算法分析对模型在不同人口群体中的输出结果进行比较，以识别是否存在差别影响。此外，组织可通过模拟多样化用户场景，并结合先进的偏差检测工具，对数据、算法和输出结果进行系统性的偏见测试。在风险缓解策略上，组织可采用数据去偏技术、引入公平感知算法，并在关键决策流程中保留必要的人工监督。

当满足预设的触发条件时，客户应能够顺畅地从 AI 转接至人工服务。例如，AI 在多次尝试后仍未解决问题，系统识别到客户的挫败感上升或负面情绪的增强，或遇到需要人工判断的复杂、高价值事项时，都应触发转接机制。

此外，客户的直接请求（例如“我要人工服务/转人工”）也应被视为明确的转接触发条件。为了明确管理这些节点并避免客户产生挫败感，组织应建立智能转接规则，并确保完整的交互历史和上下文能够同步传递给人工客服，避免客户重复描述问题。

配套相关的治理实践还应包括：持续监控转接数据、培训人工客服以同理心处理升级的个案，以及通过技术手段实现即时、准确的分流转接。上述措施有助于提升客户满意度，确保问题能够被高效解决，避免不必要的延迟和混乱。

AI 模型中的客户数据治理，应建立在一套确保数据采集、处理和使用均符合适用法律及伦理标准的治理框架之上。组织需要通过健全的数据管理机制，明确数据的来源、存储方式、共享边界和数据使用的透明度。 “隐私保护前置设计（Privacy by Design）”原则应贯穿 AI 系统从初步引入、上线部署到最终停用的全生命周期。同时，组织还应通过定期审查和持续监控机制，对数据保护法规中有关同意、数据访问和用户权利的要求予以落实。

在执行层面，要真正做到持续落实同意、隐私和数据最小化原则，组织不应仅依赖传统“勾选式同意”机制，而应建立更现代化的知情同意管理框架。这包括：以清晰易懂的语言解释收集了何种数据、出于何种目的收集、保留期限为何，并赋予用户对自身数据偏好更细颗粒度的控制权（这在许多司法管辖区已是法律要求）。数据最小化原则要求组织仅收集实现 AI 模型既定目标所必需的数据，并建立在数据不再必要时及时删除的机制。上述做法不仅有助于合规，也有助于增强客户信任。

要确保面向客户运营的 AI 系统（前端 AI 系统）具备韧性、可监控并能够 “安全熔断”，组织应建立自动化性能监控工具、实时异常检测看板，以及预定义的 “安全熔断” 机制，例如平稳降级或无缝切换至人工服务。这些机制还应由严格的全生命周期治理加以支撑，包括定期审查、红队演练和模型再验证，以便主动识别底层漏洞并维持运行稳定性。

清晰的升级路径、透明的事件管理流程（详见第六部分相关问答）以及持续的风险评估，也有助于在系统出现问题时快速响应，而不引发服务中断。当上述控制嵌入一个与监管要求和伦理标准一致的治理框架中时，组织才能在降低运营风险的同时，持续提供可靠且值得信赖的 AI 客户体验。

关于 AI 风险中的第三方风险管理考量，详见第五部分相关问答。鉴于上述风险极易向前端传导并冲击客户体验与品牌认知，组织必须对现有的第三方风险管理（TPRM）框架进行升级，使其能够覆盖模型偏见、缺乏透明度以及数据安全漏洞等 AI 特有的风险。这意味着，在供应商准入阶段就应开展严格的尽职调查，要求供应商遵守负责任的 AI 政策，并在合同中纳入 AI 特定条款，例如透明度义务、偏见缓解责任以及事件响应要求。

此外，组织还应实施结构化的风险评估，优先对高风险供应商进行更深入的审查，并将治理实践与 NIST AI 风险管理框架等国际标准对标。通过对供应商表现开展持续的监控、定期的审查并设置清晰的升级处置机制，组织能够更及时地缓解已识别的隐患，从而保护客户信任并维护品牌声誉。

从法律框架的一般逻辑来看，无论伤害源于 AI 系统本身还是人为失误，最终使用该 AI 系统的企业通常都要对结果承担责任。因此，当 AI 交互造成客户伤害或引发舆论危机时，首要责任通常在于部署该系统的组织。如果存在证据表明供应商或开发方在设计、训练或合同义务履行的方面存在疏忽，他们也可能承担相应的责任。但对外而言，客户关注的是品牌，而不是背后的生态体系。因此，部署方仍保留确保 AI 符合伦理、公平及合规要求的首要责任，不能因仅仅使用 AI 而免除其对客户和公众应尽的审慎义务。

在组织内部，问责应落实到模型所有者。作为对模型设计、开发和运行承担最终责任的主体，模型所有者应对模型的正常运行负责。

在应对流程上，组织应首先通过主动监控、客户投诉分析和内部复核快速的识别问题。随后立即采取控制措施，例如暂停相关的 AI 系统、将输出临时切换为人工复核，以防止损害继续扩大。之后应开展影响评估和根因分析，识别受影响的范围，并查明问题是否源于数据偏见、治理失效或其他底层原因。

在某些法律或监管要求适用的情况下，组织还应履行通知义务，向监管机构和受影响客户进行沟通，并采取补救措施，例如更正输出结果、提供补偿或建立申诉的机制。最后，组织应对 AI 系统进行再训练或再验证，更新治理规则，并将经验教训纳入后续的机制中，以防止类似的问题再次发生。

组织应自设计之初就嵌入 “包容性设计” 原则，并遵循公认的无障碍标准，例如《网页内容无障碍指南》（WCAG）、《美国残疾人法案》（ADA）、《欧洲无障碍法案》（EAA）及《中华人民共和国无障碍环境建设法》等要求。

这种对包容性的关注意味着，组织应利用语音识别、图像转语音、简化界面等 AI 能力，满足不同群体的使用需求，并通过面向相关群体的可用性测试，及早识别痛点。治理层面则应配套建立定期的审查机制，结合自动化无障碍测试工具、持续的用户反馈闭环以及政策更新，以确保 AI 服务的合规性和适应性。

此外，对团队开展无障碍基础能力的培训，并与相关倡导组织保持沟通与协作，这也有助于使 AI 服务的交付更加符合不断演进的最佳实践，从而实现更具伦理性和公平性的客户服务。

组织应建立健全的监控体系，利用实时分析和异常检测算法，尽早识别出不准确的输出、幻觉以及错误推荐等 AI 问题，并在其扩散前及时进行处置。此类系统应持续跟踪 AI 模型相对于既定性能基准的表现，一旦出现偏离或异常，即刻拉响警报并转入复核队列。与此同时，组织还应建立用户反馈机制，使用户能够直接报告错误或问题，从而补足自动化监控可能无法捕捉的风险信号。结合用户反馈和性能数据开展定期模型评估与更新，有助于持续提升 AI 输出的准确性和可靠性。

在纠错方面，组织应事先制定明确的响应预案，清晰地规定调查、遏制和补救步骤。当错误被识别时，应立即引入人工干预，由适当的专业人员快速评估情况并实施补救措施。随后还需开展根因分析，查明错误成因及其来源，并据此更新训练数据、调整算法或改进治理流程，以减少再次发生的可能性。

要使 AI 的决策和信息的传递与组织在 ESG（环境、社会和治理）、DEI（多元、公平与包容）以及企业责任方面的承诺保持一致，关键在于自一开始就将这些原则嵌入 AI 治理框架。

具体而言，组织应将 ESG 和 DEI 标准纳入应用场景的评估与审批、模型设计、训练数据选择以及输出验证等关键环节，并通过跨职能监督机制确保其得到落实。应定期进行审计以评估对这些承诺的遵守情况，并建立持续监测机制，以发现和解决偏差或意外影响。

此外，透明的报告、利益相关方的参与以及持续的员工培训，也有助于进一步加强 AI 产出的结果与组织更广泛的伦理和社会价值主张之间的一致性，确保技术真正成为组织使命和责任承诺的延伸，而非偏离。

管理层应通过建立灵活、可调整的治理框架，突出敏捷性以及对业务需求变化的响应能力，从而避免治理流程拖累或限制了业务推进。这要求组织明确角色分工与职责边界、并建立高效的决策机制，使团队能够在遵循必要合规与伦理要求的同时，快速采取行动。为此，治理政策本身也应定期进行复核，以识别提升敏捷性的空间，并与业务目标保持一致。

与此同时，组织还应推动治理团队与运营团队之间形成协作文化，通过开放的沟通和反馈闭环，并基于实际运行情况，对治理流程进行及时调整与持续优化。其核心不是让治理压倒业务，也不是让业务完全凌驾于控制之上，而是在 AI 治理中的控制要求与业务的创新及创业式推进之间取得平衡，避免任何一方过度主导。此外，组织可借助自动化的合规校验、数据分析等技术手段，将治理要求嵌入日常的运营流程，而不是额外叠加导致新的流程负担。通过这种前置、嵌入式的做法，组织既能在短期内释放运营价值，也能维护治理机制的完整性和有效性，从而支撑业务的持续推进。

关于这一问题，可结合问题6、8、22、33和34的相关内容一并理解。

这是运营视角下一个非常关键的问题。一个灵活的治理框架必须强调适应性与持续迭代的能力。所有参与 AI 部署的相关方都应达成深刻共识，即创新是组织持续发展的核心动力，任何参与治理的人都不应成为单纯的“否决部门”。

要使治理流程足以应对 AI 的快速变化，组织应设立跨职能的咨询或决策机制，例如问题5和53中提到的 AI 治理委员会。该委员会应定期评估新兴的 AI 趋势、技术的发展以及监管的变化，从而使组织能够根据新的认知、风险和机会，及时更新治理政策与治理实践。同时，该委员会还应推动创新文化和协作氛围，鼓励各利益相关方持续提供真实的业务反馈。

这一系列动作的最终目标，是打造出一种协同决策机制，使组织能够在该快的时候果断加速，在必须谨慎的时候稳妥减速。与此同时，组织还应持续开展员工培训和技能提升，使相关人员及时掌握最新的 AI 工具及其道德伦理要求以高效应对技术变革，从而确保治理体系不仅不脱节，还能持续支撑战略目标的实现。

从长期视角看，AI 治理的作用在于确保 AI 模型在整个生命周期内始终与业务目标保持一致，以及能够适应不断变化的监管要求、客户需求、运营风险和伦理标准。这一点的实现有赖于在组织内部深度嵌入结构化、跨职能的监督流程，包括持续监控模型表现、定期审查公平性和偏见问题，以及明确决策相关的问责安排。

必须明确的是，治理框架绝不能是静态僵化的，更不能沦为仅用于“勾选填表”的形式主义流程。相反，它应被设计为可随技术环境和监管环境变化而持续调整的机制，其中应包括政策的定期回顾、定期的影响评估，以及对模型更新、再训练等活动的完整记录。

长期治理还意味着建立专门的治理主体（例如问题5和53中提到的 AI 治理委员会或 AI 卓越中心）持续监督所有 AI 举措中的风险管理、法律合规与伦理要求。随着 AI 能力和技术环境的快速演变，这些治理主体必须持续参与，确保通过标准化的部署流程，落实数据隐私和安全要求，并在问题发生时提供及时补救机制，来切实保障运营层面的一致性。

最终，通过整合反馈闭环、提升决策透明度机制以及吸取过往安全事件的经验教训，组织能够逐步形成一种负责任使用 AI 的文化，为 AI 在未来实现可信、可扩展且可适应的应用奠定基础。

这一现象确实是很多组织面临的矛盾点。正如问题22、44和46所讨论的那样，当业务部门在缺乏 IT 监督的情况下自行采用 AI 工具时，就会出现“影子AI”，进而带来治理缺口，并引发合规风险、数据泄露和安全事件。

然而，市场变化的速度又要求组织必须为员工创新留出空间。那么，真正的问题不在于是否允许创新，而在于治理框架如何在灵活性与合规性之间取得平衡。首先，作为基础防线，组织应主动为员工提供经过官方审批、受公司支持，且功能丰富、交互友好的内部 AI 工具，从源头降低员工求助于未授权替代工具的内在动机。为进一步激发创新活力，组织还应持续开展培训与技能提升项目。这不仅能使员工深刻认知现有 AI 解决方案的能力边界与局限性，更能使其具备高效且合乎伦理地运用这些工具的专业技能。

尽管采取了上述措施，员工使用非企业支持工具的现象依然会客观存在。因此，除了建立清晰的政策和沟通机制，明确哪些技术已获批准之外，组织还可以通过受控沙盒环境或试点机制，为员工探索新工具提供一个安全的隔离空间。这种做法是合理的，因为任何前沿技术或工具的创新本质上都需要实验，例如小范围试用、边做边学、紧跟市场的创新趋势，并以灵活快速的方式抓住真正能创造价值的机会。

在此过程中，建立畅通的反馈闭环同样重要。组织应鼓励员工提出新的工具或方法，随后再对其进行严格的合规评估，并探讨将其规模化集成到公司业务生态系统中的潜在可能。问题在于，这类评估所需的时间往往会让一线运营团队感到受挫。因此，治理设计的重点不应是一味的限制，而是支持安全试错的开放态度。只有这样，组织才能在不牺牲安全、合规和组织价值观的前提下，让员工保持足够的创新和自由。

内部审计的核心定位，是向组织提供独立的保证与基于风险的洞察，以此确保各项 AI 治理架构、控制措施及监督机制在设计上足够严密、与企业整体的风险管理体系保持一致，并在真实的业务场景中如期有效地运转。想要最有效地支撑企业级的 AI 战略举措，内部审计团队就必须对 AI 底层技术及其伴生的风险、适用的标准以及不断演进的监管与治理预期建立充分的理解。只有具备这一基础，内部审计才能提出正确问题，形成有份量的专业质询，并将抽象的 AI 概念转化为组织熟悉的风险与控制语言，例如问责机制、数据管理、变更管理与持续监控。通过这一系列动作，内部审计可以在 AI 被深度嵌入核心业务或受监管的流程之前，提前评估治理架构的设计以及明确控制预期，推动形成“可供审计”的证据标准。在这一角色中，内部审计不仅充当着管理层可信的风险情报源，协助其预判治理实践需要在哪些方面演进，同时又恪守防线，绝不越俎代庖去承担业务的所有权或决策责任。

此外，内部审计还通过独立评估以及向高管层、董事会和审计委员会提供清晰且基于证据的报告，帮助展示有效的人工智能治理。具体而言，通过说明 AI 风险如何在既有企业治理框架内被识别、管理和监控，内部审计不仅有助于增强各方信心，更可以证明 AI 正以与其他企业级风险同等的严谨程度被治理。

所谓 “满足审计要求”的 AI，并不意味着 AI 系统已经完美、完全成熟或不存在风险。它意味着，组织能够清楚的说明 AI 是如何被使用、为何要使用、相关的风险如何被识别和管理，以及对 AI 输出结果的依赖如何受到有效治理。一个满足审计要求的环境强调的是透明度、问责制和控制措施，这将允许内部审计能够以与其他企业风险同等的严谨程度来评价 AI 的使用。

在落地实操层面，管理层必须时刻准备好提供能够证明以下维度的实质性证据：

• 清晰可见的 AI 使用情况：包括 AI 应用场景清单（涵盖第三方 AI 和嵌入式 AI），并明确界定其业务目的、风险分级和责任归属。
• 明确定义的治理与问责机制：已形成规范文档的角色与职责说明文件、升级路径及监督机制。
• 形成记录的风险评估体系：明确识别关键的 AI 风险（如数据质量缺陷、算法偏见、模型漂移、安全漏洞及监管合规敞口），并详尽阐明这些风险是如何在现有企业框架内被有效缓解的。
• 实现 AI 全生命周期控制：能够提供针对数据输入、开发或系统配置变更、访问权限管理、持续监控及异常处理的有效控制操作记录。
• 持续监控与验证机制：包括定义好的指标、阈值及流程，用于监控表现、识别问题，并在 AI 偏离预期时作出响应。
• 变更管理与可追溯性：保留模型、配置、数据源或供应商发生重大变化时的记录，以及相关审查和批准过程。

需要强调的是，“满足审计要求”的标准是高度依赖业务上下文的。其所需的正式程度和证据深度，应随 AI 应用场景的重要性、自动化和人员依赖程度，以及其可能带来的监管、财务和运营影响而相应提高。内部审计并不负责验证每一个 AI 输出是否正确，而是评估管理层是否建立了足够的治理、控制和证据体系，以支撑负责任且经得起推敲的 AI 使用。

内部审计必须在不削弱其独立性的前提下，动态调整咨询与独立保证之间的平衡。在 AI 落地的早期阶段，当 AI 应用场景刚开始出现、治理架构尚未成形时，内部审计可以发挥有价值的咨询作用，协助管理层识别关键的风险、设计基础控制并厘清问责边界。在这一阶段，审计团队的重点不是验证执行效果，而是确保从一开始就将风险与控制因素纳入考量。越早就治理框架、政策和行为边界提供意见，越能帮助企业避免后续代价更高、难度更大的整改。

随着 AI 应用规模的扩大并逐渐成为核心业务流程不可分割的一部分，内部审计的重点应逐步转向保证和独立评价。一旦治理框架、控制矩阵与监控机制搭建就绪，内部审计的角色便彻底翻转为严格评估这些要素是否如期运转，能否跟上环境的变化。这包括评价数据的完整性、模型的风险管理、对第三方的依赖度，以及管理层是否具备发现并应对模型漂移或非预期结果的能力。在成熟度较高的阶段，内部审计的公信力取决于其能否客观指出：AI 风险是否正在被可持续地管理，而不仅仅是 “看上去设计得不错” 。

纵观 AI 演进的各个成熟度阶段，CAE 面临的最具压迫感的挑战在于：在保持相关性的同时守住独立性。内部审计必须清楚区分：何时是在以咨询的身份对 “什么是好的做法” 提供建议，何时又是在以保证的身份对 “是否达到预期” 做出评价。优秀的 CAE 会为咨询参与设定清晰的边界，将角色的转换规则形成规范文档，并与审计委员会保持透明的沟通，清晰阐述内部审计的立场如何随着 AI 应用深化而变化。更重要的是，CAE 不能在咨询模式中停留过久，否则容易模糊职责边界，并削弱内部审计在 AI 风险变得实质化、运营化之后提供及时独立保证的能力。归根结底，核心逻辑绝非在“咨询”与“保证”之间做粗暴的二选一，而是要以一种能够同时支撑负责任的创新与有纪律的风险监督的方式，在恰当时点有意识地运用两者。

CAE 应将 AI 驱动的效率提升与自动化视为一种受控的转型，而不是速度与控制之间的简单取舍。行业领先实践高度强调 “控制内嵌设计（Controls by Design）”的理念 ，即在 AI 赋能流程的设计阶段就将控制嵌入工作流，而不是在部署之后再进行补丁式添加。与此同时，这一理念必须还需要明确责任归属、界定使用边界，并针对高风险活动设定人工介入复核的节点。

诸如 NIST AI RMF 和 ISO 42001 等框架都强调，组织必须建立明确的风险容忍度、问责机制和持续监控，以确保 AI 始终在可接受的风险参数内运行。这还要求组织建立清晰的异常处理流程：当输出超出预期的范围，或系统行为偏离既定的用途时，应有预先定义的升级路径、回退程序和人工干预节点。

在落地实操中，可以通过采用基于风险的方法达到这种平衡，例如以具体 AI 应用场景的风险等级为锚点，同时利用自动化来增强控制的有效性。对于影响财务决策或外部利益相关方的高风险 AI 应用场景，应配置更严格的验证、监控和治理要求，而风险较低的应用场景，则可以适用更轻量的控制。

尤其值得注意的是，尽管部署 AI 系统能够通过引入实时监控、自动校验与异常行为告警来大幅提升保证能力，但自动化控制本身存在“静默失效（Fail Silently）”的致命风险。与人工执行的控制不同，自动化控制失效时往往不会自然发出明显的信号。因此，组织必须持续监控底层流程本身以及控制机制是否正常运行，包括确认告警机制仍然有效、阈值设定仍然合理，以及异常处理流程在需要时确实被触发。

这一系列动作的目标不是拖慢创新，而是确保创新始终在明确的安全边界内运行，并且这些安全边界本身也将受到持续的监控和有效的异常管理作为兜底支撑。

AI 系统不同于传统系统，其行为会随时间变化，输出也具有概率性，给出的往往是 “最可能的答案” ，而不是唯一的 “正确答案” 。因此，内部审计需要从传统的 “静态时点测试（Point-in-time Testing）” ，转向 “基于全生命周期的动态审查（Lifecycle-based Approach）” 。该动态审查将贯穿系统的设计、开发、部署以及持续监控的全链路。

审计重点不应放在逐项验证 AI 的输出是否正确，而应更多的评估组织是否建立了有效的治理和控制机制，以管理这种不确定性和可变性。这意味着，内部审计需要关注组织是否具备监控模型表现、发现模型漂移、管理模型再训练以及处理算法偏见和非预期结果的治理与运营流程。同时也要评价可解释性，即组织是否能够对 AI 驱动的输出、决策和模型行为进行有意义的解释和说明，尤其是在高风险应用场景中，因为在这个地带，透明度是满足监管合规、支撑监督审查并维系利益相关者信任的关键点。

站在实操落地的视角，审计团队的转型动作必须涵盖以下三个维度：

• 审计 AI 的治理与监控框架：包括角色职责、决策权限、审批机制、AI 应用场景清单和定期复核机制
• 测试监控控制节点是否存在且有效：包括告警、阈值、升级路径和相关复核记录
• 验证变更触发机制：验证重大变化（例如模型更新、提示词变化、数据源变更或供应商版本升级）是否触发重新测试与风险重估

此外，审计程序还应明确评价 “可解释性控制”，包括相关文档是否完备、是否使用了模型可解释技术，以及利益相关方是否能够理解并质疑模型输出。最终目标，是判断 AI 系统能否在时间推移中持续保持可靠、受控，并与其既定用途保持一致。

为了有效开展这项工作，内部审计团队自身也必须提升能力，包括建立对 AI 概念、模型行为和常见风险的基础理解，并适当运用数据分析、模型监控和情景测试工具。随着 AI 越来越深度嵌入业务流程，审计团队必须具备足够的认知深度与评估一致性，同时评价 AI 系统的技术面和治理面。

随着组织加快对 AI 的使用，许多风险并非直接来自技术本身，而是来自其实施部署的方式、治理的方式以及组织对其输出的依赖方式。对 CAE 而言，风险盲区往往出现在 AI 能力演进速度快于监督框架的演进，或者组织尚未真正看清 AI 已在企业内部及扩展价值链中如何存在和发挥作用的时候。

以下是 CAE 必须保持警惕的常见 AI 风险盲区：

• “影子AI” 脱离正式监督运行：员工在未经批准、无文档记录、缺乏治理的情况下使用生成式 AI 工具、自行开发临时模型或启用软件内置的 AI 功能。这构成了致命的底层盲区，因为对于内部审计而言，不知道其存在，就无从评价其风险、控制和合规性。
• 对嵌入式 AI 和第三方 AI 缺乏可见性：供应商平台或业务工具中的 AI 能力游离于正式治理、应用场景盘点和风险评估流程之外。
• 所有权和问责机制模糊不清：数据、模型、监督和结果责任在多个职能之间被切割，或部分转移给供应商，导致责任模糊。
• 用传统控制应对非传统风险：静态、时点式控制框架无法有效的覆盖 AI 系统的适应性、学习性以及由此带来的非预期后果。
• 模型漂移、数据完整性和变更风险：AI 表现和行为随时间变化，但并未触发重新评估或强化监控。
• 用户对 AI 的输出过度依赖：特别是在可解释性、置信度提示和人工质疑机制不足或执行不一致的情况下。

这些盲区的存在共同说明，组织不能再停留在一次性评估的层面，而需要转向持续的可见性、严明的问责制和持续的监控。对 CAE 来说，目标不是放慢创新，而是确保治理、风险管理和保证实践能够跟上 AI 在组织内部及其生态系统中被实际使用的方式和范围。

所谓的 “最佳时点” 并不是指的某一个单独节点，而是 AI 战略举措的整个全生命周期，包括立项前、采纳实施阶段以及后续持续运行阶段，只不过 CAE 在不同阶段需要切换其扮演的角色。

内部审计能够通过咨询与保证两类服务，为治理主体提供独立保证支持。CAE 参与 AI 治理委员会，也有助于确保内部审计及时掌握组织内当前的 AI 流程和使用情况。在此基础上，CAE 还应作为业务的战略风险伙伴，帮助管理层理解新兴的 AI 风险、判断创新活动是否与风险偏好一致，并支持其作出更审慎的决策。更早参与，也就是我们通常所说的 “左移” ，可以使内部审计在开发和实施开始前，就针对风险识别、伦理要求、数据问题和监管对齐提供前瞻性的建议。这有助于避免在流程后期才附加控制措施，因为那样通常效果更差、成本也更高。

然而，内部审计的参与绝不应是一次性的动作。随着 AI 项目的推进，其角色也应随之转换。在 AI 项目的采纳和部署阶段，内部审计应针对控制是否被适当的设计和落实提供独立的保证。部署后，内审的重点则转向持续监控以及定期测试，验证在模型、供应商、业务环境和技术环境变化的情况下，相关的控制是否仍然适用、有效。

内部审计可以建立有节奏的定期审查，例如季度监控审查、年度治理有效性评估以及针对高风险 AI 应用场景的专项深入检查。同时，为保持独立性，内部审计必须明确区分自己何时是在提供咨询，何时是在出具保证。

国际内部审计师协会（IIA）指出，内部审计可以成为 AI 领域值得信赖的顾问，但其参与方式必须经过合理设计，以免损害其作为保证提供者的独立性。CAE 也正是在这一前提下，才能在不 “拥有/接管” 项目的情况下，作为战略风险顾问持续参与，并推动组织随着 AI 系统的演进而持续进行的监督工作。就此而言，COSO 近期发布的《实现对生成式 AI 的有效内部控制 Achieving Effective Internal Control Over Generative AI》也可作为有价值的参考，用2013版内部控制整合框架的核心原则，应对与生成式 AI 相关的独特风险和内部控制挑战。

是的，CAE 应参与任何新生成式 AI 工具采纳过程中的评估，但内部审计的职责并不是“替组织选工具”，而是确认组织是否对不同工具落实了一致的风险管理和控制要求。

对于第三方 AI 平台，内部审计应评估组织是否建立了适当的第三方风险管理流程，包括尽职调查、合同保护条款以及持续监控机制。这一评估还应与既有标准保持一致，例如 ISO/IEC 42001（AI管理体系）、ISO/IEC 27001（信息安全）、中国的《生成式人工智能服务安全基本要求》和《生成式人工智能服务管理暂行办法》，并关注供应商是否拥有相关的认证，以及这些认证是否真正覆盖组织所使用的服务范围。内部审计的参与有助于确保组织在大规模推广工具之前，提出了正确的问题。

至于具体工具本身，没有任何生成式 AI 平台会天然具备足够好的控制，以至于组织可以因此免除自身的责任。供应商可能会提供不同的功能和安全保护，但控制是否有效，最终取决于组织如何配置、治理以及监控其使用的方式。无论采用哪种平台，风险都可能由用户行为不当、数据处理不当或监督缺失而引发。NIST AI 风险管理框架强调，第三方组件会在供应商缺乏方法论、控制或文档透明度时，使风险衡量和问责变得更加复杂。因此，内部审计和第二道防线应重点评价供应商在可审计性、文档完备性、事件响应、安全与隐私保护以及合同权利（例如是否提供 SOC 报告、是否约定审计权条款）等方面的能力。IIA 同样强调，对于外部托管的数据，应获取其 SOC 报告，并确保服务水平协议中包含了审计权。这些才是比较不同供应商时比营销宣传更具有实质意义的依据。

同时也必须看到，不采用企业级生成式 AI 工具，本身也会带来风险。如果组织不提供经过批准和治理的解决方案，员工就可能转向公开可用或安全性较弱的工具，从而增加数据泄露、违规使用和可见性缺失的风险。从审计视角看，这意味着不仅要评估采用 AI 工具的风险 ，也要评估企业不采用 AI 工具以及影子 AI 的风险。

最终，首席审计执行官（CAE）在采用新兴人工智能工具过程中的角色是评估各项控制措施是否在工具之间得到一致应用，并有运营证据作为支撑。真正应关注的，不是哪个平台宣传得更安全，而是组织是否落实了适当控制（如访问管理、数据保护、用户培训和持续监控）并且这些控制在实践中是否有效运行。

内部审计应逐步演进为一种“以人为主导、以 AI 增强”的人才模型，让技术成为审计人员能力的放大器，而不是替代者。AI 正在根本性改变审计工作的开展方式：一方面，它可以自动化进行重复性强、数据密集型的工作，另一方面，它也使大规模深度分析成为可能。由此，审计人员可以将更多的精力转向更高价值的活动，例如专业的判断、与利益相关方的沟通以及洞察输出。这种转变要求人才战略与人工智能赋能之间进行有意识的协调，以便内部审计能够在保持适当监督和职业怀疑态度的同时，更高效地运作。

为支持这一转变，内部审计不应继续依赖僵化、以岗位为中心的人才结构，而应转向以技能为中心的模式，强调灵活性和持续发展，要求审计人员定期更新技能，以跟上技术的演进。这意味着人才模型本身也需要调整，以支持更具动态性和创新导向的组织文化。首席审计执行官（CAE）应将持续培训、试验以及人工智能的实际应用融入日常审计活动，并辅以符合企业标准和领先框架的治理机制。所有的审计人员都应具备基本的 AI 素养，包括理解 AI 工具是如何运作的、其局限性是什么以及如何在审计活动中有效地使用 AI。与此同时，团队中的一小部分成员应培养更高阶的能力（如配置 AI 工具或开发解决方案），而其他成员可担任数据分析或 AI 风险等领域的特定主题专家。与此同时，风险评估、控制评价和监管解读等传统核心审计能力并不会过时，反而会在与 AI 能力结合后变得更有价值。

随着 AI 承担越来越多的常规任务，内部审计的差异化价值将越来越多来自人的能力，尤其是质疑和解释输出结果的能力将变得更加重要。因此，CAE 需要将 AI 能力建设视为其整体人才组合的一部分，可以通过定向提升现有的员工能力、引入特定的主题专家，或有针对性地招聘具备数据和 AI 背景的人才来实现。换言之，AI 应被视为内部审计能力和洞察力的倍增器，而不是单一的工具。

对于仍处于 AI 应用早期阶段的组织，CAE 的职责是帮助管理层理解新兴的 AI 风险暴露面、建立共同的认知，并为内部审计未来提供保证做好准备。

第一，先弄清楚 AI 在组织内是如何被使用的。 在这一阶段，试图开展全面的 AI 风险评估往往并不现实，因为多数组织尚未建立正式的治理结构、明确的责任归属或形成完整的 AI 应用场景清单。与其追求全面，不如先围绕常见的 AI 风险主题开展基础的梳理，并识别 AI（无论是内部开发还是嵌入式的第三方工具）究竟出现在哪些业务场景中。在此基础上，CAE 可进一步识别 AI 可能引入重大风险的领域，尤其是涉及敏感数据、财务报告、监管决策或高度依赖自动化输出的场景。目标是暴露重大风险和关键盲点，而不是在治理和应用场景清单尚未建立之前，对每一个 AI 系统进行逐一打分或完整评价。

第二，将初步的风险视角带给高级管理层和审计委员会，建立共识。 CAE 应清楚传达当前已掌握的 AI 使用情况、当前可见性不足的领域，以及为什么现有风险评估和控制流程目前可能还不能充分覆盖 AI 的相关风险。讨论应围绕重大风险暴露、不确定性区域，以及 AI 应用可能快于现有监督机制演进这一本质问题展开。重点不是立即给出解决方案或建立正式的治理架构，而是帮助管理层和董事会对风险现状达成共识，明确为何某些风险暴露面值得优先关注，并强化这样一个认知：随着 AI 使用的扩大，组织需要更结构化的风险评估能力。

第三，为内部审计未来开展更稳健的风险评估和保证做好准备。 CAE 应考虑未来 AI 将如何影响审计范围，包括对 SOX 或合规层面的潜在影响、风险评估假设可能发生的变化，以及一旦 AI 治理和应用场景盘点机制建立后，内部审计将需要哪些类型的证据。前期准前期准备工作可包括：识别能力差距、更新审计方法论，并判断当前提供哪些咨询支持，能够为未来更有效、以风险为基础的保证打下基础。

CAE 可以通过采用直接明了的沟通策略，使用通俗、商业友好的语言将复杂的 AI 概念转化为董事会易于理解的业务术语。这有助于董事会理解组织的 AI 风险和治理成熟度，而不需要让董事们陷入技术的细节。

具体而言，CAE 可以从以下几个方面着手：

• 提升董事会的 AI 基础认知：将 AI 定位为既是业务赋能因素，也是风险领域，并通过简短的教育环节、类比和案例帮助董事建立判断框架。
• 提供高层摘要而非技术原文：无论来自管理层还是领域专家的相关材料都应提炼为关键结论，而不是堆砌技术术语。
• 使用结构化治理框架进行表达：例如采用成熟度评估模型，将组织状态划分为“初始、已定义、较成熟”等层级，并辅以具体的业务示例。
• 将 AI 风险映射到熟悉的风险类别：例如运营风险、财务风险、声誉风险和合规风险。
• 采用情景讨论和可视化工具：如仪表板、风险矩阵和场景推演，以帮助董事更直观地理解 AI 风险及治理成熟度。

这实际上是 CAE 在董事会层面创造价值的重要机会。董事并不希望被大量技术细节淹没，他们真正需要知道的是：哪些问题值得关注、哪些风险已经实质化、以及他们应基于什么信息采取行动。

用于训练 AI 工具的数据以及由 AI 生成的数据，均应存放在安全、合规的环境中，并严格遵守相关的数据保护法律法规和组织内部政策。例如，本地数据中心和云环境都是常见的存储方式，但无论采用何种架构，都应配套加密、访问控制和定期审查等机制，以确保敏感信息的安全。

就训练数据而言，其所有权通常归属于组织内部相关职能或业务使用方，或归属于收集、购买该数据的第三方供应商，具体取决于合同安排及相关的适用法律。若相关数据涉及个人身份信息，则伦理要求会进一步提高。组织必须取得数据主体的知情同意，并确保对数据用途保持透明，以维护数据主体的隐私权利。

相比之下，AI 生成数据的所有权界定则更为复杂。多数情况下，其权利可能归属于部署该 AI 系统的组织，但也可能涉及与数据提供方或对模型输出有贡献的用户之间共享权益。就伦理层面而言，组织还应关注 AI 生成的数据将如何被使用，并确保其使用方式与组并确保其使用方式与组织价值观保持一致，且不会产生偏见或造成实质性损害。因此，围绕 AI 数据治理，组织既要关注法律上的权利归属，也要重视伦理上的审慎管理。只有兼顾这两个维度，才能建立信任并落实问责机制。

组织应当制定 AI“可接受使用政策（Acceptable Use Policy, AUP）”。该政策的作用，是为员工及其他相关方如何适当使用 AI 工具提供明确指引，清楚界定可为与不可为，以防止误用、伦理风险和合规问题。它针对的是个体行为层面的约束与引导。

而 AI 治理政策覆盖的是组织层面的 AI 全局管理要求，包括监督、风险、合规与伦理。它规定组织如何开发、部署、监控和更新 AI，并处理偏见、可解释性、数据隐私和问责机制等议题，通常涉及 IT、法务、HR 和合规等多个职能协同参与。

两者关注的重点不同，但并非彼此割裂。AI 可接受使用政策应当运行在 AI 治理政策设定的整体框架之下，确保个体使用行为符合组织关于 AI 的总体原则和标准。

随着 AI 日益深入业务运营和决策流程，推行 AI 可接受使用政策已变得至关重要。若缺乏清晰的规则指引，员工误用 AI 就可能导致偏见、隐私问题、监管违规、声誉损害，或产生不准确、不合伦理的结果。可接受使用政策的价值厘清了正当与不当使用的边界，推动法律和伦理合规，同时为创新和试验提供边界清晰的安全空间。

在执行层面，组织应结合监控工具、定期审查和报告渠道，识别未授权的活动并确保合规。对违反政策的行为，应规定相应的处罚措施以强化问责机制，从重新培训到解除劳动关系均可纳入考虑。但也应看到，过度的监督可能会抑制创新，僵化的政策也很容易迅速过时。因此，最有效的执行方式，通常是建立在清晰的沟通、持续的教育、动态更新和公平的违规处罚之上的，使该政策始终保持有效性和业务相关性。

管理知识产权侵权风险，需要组织采取主动防范与被动响应相结合的策略，以降低风险、确保法律合规并保护组织的重要资产。

为防范内部侵权（即组织在无意中侵犯了他人的知识产权），组织应定期开展知识产权审计，并审查商业合同、授权许可及协议，以识别与第三方权利相关的潜在风险。同时，组织还应建立健全的内部政策，指导员工如何尊重第三方知识产权，并通过常态化培训提高员工对著作权、商标权和专利权规则的理解。借助自动化的知识产权监控工具等技术手段，组织也可以更早发现潜在侵权，从而避免代价高昂的争议。一旦出现侵权主张，组织应及时寻求法律顾问支持，评估风险暴露情况，并视情况通过谈判和解或寻求授权许可来妥善解决问题。

为防御被外部侵权（即他人侵犯了组织自身的知识产权），组织应在相关市场及时完成专利、商标、著作权和商业秘密等权利布局。与此同时，应借助监控服务和市场监控工具，识别竞争对手或其他主体对组织知识产权的未经授权使用。一旦发现侵权，组织应及时记录证据并发出正式停止侵权警告通知。在此类纠纷中，调解或仲裁也能提供高效的解决途径。但若有必要，组织也可能需要提起诉讼，以寻求禁令、侵权赔偿或专利使用费。此外，通过交叉许可协议等战略合作，组织不仅能进一步降低被侵权风险，还能促成新的合作机会。

从整体上看，组织应建立一体化的知识产权管理框架，将双向防护策略整合为一个统一的框架，重点关注风险评估、法律保护、员工教育与积极维权。组织还需要依靠跨职能团队（包括法务、合规和运营部门）的协同，来对知识产权风险进行全面的监督。

AI 治理在全球各司法管辖区之间存在显著差异，背后反映的是各国在制度优先事项、技术能力和政治体系上的不同取向。例如，欧盟侧重于全面且基于权利保护的监管（如《欧盟 AI 法案》），强调伦理标准与风险管理。美国则倾向于创新驱动的模式，主张特定行业的自我监管，并辅以自愿性框架和行业指南。中国采取了集中式的政府主导的治理模式，将国家战略规划与行业具体规则深度结合，并施加了强有力的监督。印度则采用混合模式，力求在政策引导、数字经济增长与新兴立法措施之间取得平衡，以兼顾创新与监督。

仅从这几个例子就足以说明，跨国企业在不同司法管辖区实现一致的合规本身就面临较大挑战。差异化的法律导致了监管的碎片化，而 AI 的快速发展又超越了法规的更新速度，这就要求跨国运营的组织不得不依赖更具适应性的框架来应对复杂的合规要求。同时，若缺乏足够细化的操作指引来支撑风险评估和实时合规监控，组织在落地时就容易出现执行脱节。随着 AI 部署愈发地自主化，确保 “有意义的人工介入” 也会变得更加困难。再加上基础设施和专业能力的差异，不同地区在保护水平和问责能力上也会表现得参差不齐。

面对这些挑战，组织必须采用分层且具备适应性的治理方法，以便在多样化的监管环境中管控风险、维持信任并大规模的推进负责任的 AI。具体而言，组织应建立一个集中化、以原则为导向的治理框架，在透明度、问责制、伦理使用及数据安全等核心领域保持一致性，同时允许各地区根据本地法律和监管要求作出必要调整。组织应对各经营区域开展监管要求对标（系统性地分析企业所在运营地的每个司法管辖区的法律与监管指南），这有助于识别规则的重叠、冲突和本地特殊义务。在此基础上，管理层应尽可能以最严格的适用标准协调内部政策，并针对特殊地区的要求实施模块化的控制措施。由法务、合规、IT及业务负责人组成的跨职能团队必须紧密协作，共同解读新规、落实合规操作，并确保日常的监控与审计轨迹完整无缺。

对 AI 系统进行盘点建档，首先意味着组织要对所有正在使用的 AI 系统进行系统性登记，包括自研系统和第三方解决方案。常见做法是建立集中化并定期更新的 AI 资产登记册，记录每个系统的用途、数据来源、模型版本、部署环境、责任人以及集成点等关键信息。最佳实践强调跨职能协同（包括 IT、合规、业务部门和采购）以确保全面的可见性并避免影子 AI 的部署。该阶段的常见挑战在于：在分散或遗留的环境中识别全部的 AI 资产、在快速创新的背景下持续维护清单的准确性，以及在模型持续演进或再训练过程中保持文档的同步更新。

对 AI 系统的审计则是一项持续性的工作，重点在于评价系统是否符合监管要求、伦理标准、安全要求和性能标准。审计工作通常包括：审查训练数据是否存在偏见、验证模型准确性、评估可解释性，并检查对内外部标准的遵守情况。自动化监控工具和周期性人工复核能够帮助组织发现模型漂移、非预期后果或新兴风险。最佳实践还要求独立审计、透明报告以及利益相关方参与（包括法务、技术和业务管理人员）以增强客观性与问责制。常见的挑战主要包括对“黑箱”模型开展审计的技术复杂度、频繁审计所带来的资源压力，以及跨司法管辖区不断演化的监管要求。

当 AI 模型过时或失去供应商支持并带来不可接受的风险，或基于 ROI 考虑被其他工具或方案取代时，AI 系统就应进入退役阶段。退役流程始于明确的下线标准（例如性能下降、监管变化、供应商终止支持等），并涉及规划数据迁移、归档或安全删除。最佳实践要求开展充分的影响评估并做好利益相关方沟通，同时保留审计的轨迹以确保可追溯性。组织在这一阶段常见的困难在于：将 AI 系统从关键业务流程中平稳的剥离、管理上下游的依赖关系，以及在切换过程中保障业务的连续性。一套结构化的退役协议有助于最大程度地减少运营中断、降低数据安全风险，并保持对数据保留与隐私义务方面的合规性。

组织可以将 AI 治理框架设计成一份具备生命力的动态文档，前提是将其定位为一个敏捷且持续更新的核心治理资源，并由一个常设的跨职能委员会负责管理，委员会成员应包括法务、合规、技术和业务部门代表。该委员会既应按固定的节奏召开会议，也应在出现重大监管、法律或技术变化时及时启动评审，对治理政策、控制要求和相关文档进行更新。

同时，该框架还应内置对新兴法律法规、司法判例及 AI 技术进展的持续追踪机制，以便尽快吸收新的要求和最佳实践。透明的版本管理、完整记录变更的审计轨迹，以及开放的利益相关方反馈渠道，对于维持问责制和响应能力至关重要。

通过上述做法，AI 治理框架便能在保持稳健的同时具备适应性，从而与不断演变的 AI 监管环境和快速的创新步伐保持同步。

当 AI 模型做出业务决策或影响业务决策时，组织应保存完整的日志、审计轨迹和模型工件，以记录 AI 模型的决策过程。日志应包括输入数据、推理步骤、使用的外部工具以及最终输出等详细信息。审计轨迹则应记录用户和管理员的交互行为，包括审批、编辑、查询，以及相应时间戳和文件编号、案件编号等上下文信息。需要保存的模型工件还包括训练数据快照、模型版本、评估结果以及已知失效模式等。这些记录共同构成了可追溯链条，使组织能够回溯决策形成的过程，并验证其是否符合伦理和法律要求。

管理层还应确保系统能够真实、完整地捕获并保存这些记录。这需要同时依靠治理机制和技术控制。例如，采用经加密签名且不可篡改的日志，有助于保护数据完整性。自动化报告和自动化存储则有助于减少人为错误并提升一致性。治理团队或相关委员会应负责监督政策执行、定期审查日志留存流程，并检查已保存数据的完整性和准确性。通过明确数据管理员、模型所有者等角色责任，也可以进一步强化问责和职责分离。结合定期系统检查、监控仪表板和合规核查，管理层才能更有把握地确认应保存的记录已被正确捕获并妥善留存。

所谓充分的“同期记录”，是指在 AI 模型作出决策时或紧随其后即形成的、带有时间戳的详细记录。这类记录应足以追踪、解释并验证决策的形成过程，通常包括输入数据、处理步骤、模型版本、参数设置、使用的外部工具或 API，以及最终输出或建议结果。同时，还应记录任何人工干预、人工覆盖或审批行为，并附带用户标识、时间戳、案件编号等上下文元数据。

同期记录的意义，在于为每一项受 AI 辅助的决策提供可保存、可解释、可辩护的操作基础。因此，记录保存政策应明确覆盖 AI 生成内容、模型输出、训练数据和提示词历史。通过同期记录，组织能够重建某项决策作出时的准确情境，这对监管合规、可审计性和透明度尤其关键，特别是在以下场景中更是如此：

• AI 被用于支持税务判断、转移定价或财务报告
• AI 参与了一项正在被调查的决策流程，组织需要说明输入、模型版本、输出结果，以及最终由谁依据该输出采取行动
• AI 生成的业务产物面临诉讼保全（Legal Hold）指令
• AI 在决策过程中生成了包含不确定性、随机性或统计推断的概率性输出（而非确定性输出），且受到电子取证（E-discovery）要求的约束
• AI 模型被更新、再训练或退役，而组织仍需保留曾支撑相关决策的历史版本以供解释
• AI 标记或遗漏了一项合规问题，因而需要通过端到端日志证明组织当时已建立了合理的控制

此外，还有两个很现实的问题需要同步考虑：

• 组织是否已在合同中要求 AI 供应商在触发法律保全时保存并提供系统日志、模型配置和审计轨迹？
• 当监管机构或对方律师足够理解 AI，以至于会在证据开示中要求提供模型卡、偏见审计和决策日志时，组织是否已做好准备？

上述部分要求目前仍在监管与司法实践中持续澄清，但“同期记录”的核心意图并不模糊：它支持事后复核，在发生错误或争议时帮助开展根因分析，并为伦理和法律问责提供证据。维持这类记录，能够帮助组织向利益相关方、监管机构或受影响个人解释相关决策，也有助于证明组织遵循了治理标准、公平原则和运营最佳实践。
 

在当今快速演进、由 AI 驱动的经营环境中，董事应确保自身对 AI 具备足够的认知，以便能够就 AI 战略与风险同 CEO 及高级管理层开展有效的对话。这一点尤为重要，因为利益相关方既要求 AI 项目创造足够且可衡量的回报，也要求相关技术部署保持审慎。基于此，董事会在 AI 监督过程中与管理层互动时，可重点关注以下方面：

理解“成功整合 AI”是如何定义和衡量的。 董事会应以建设性方式与管理层沟通，并在必要时提出质询：AI 究竟部署在哪些领域、成果如何衡量，以及 AI 举措是否真正的带来了持续、可扩展的价值，而非一次性、局部性的改善。具体可参考以下指标：

• 已在核心运营中实现大规模部署的 AI 应用场景占比
• AI 项目相对于原业务案例的 ROI 实现情况
• 管理层对 AI 整合成效的信心变化趋势

将伦理与负责任 AI 提升为企业治理的优先事项。 董事会应推动组织将明确的问责机制、风险监督及 AI 治理纳入整体治理框架。具体可参考以下指标：

• 符合伦理的 AI 治理框架的建立情况及其成熟度
• 管理层对负责任 AI 部署的信心水平
• 升级至董事会的 AI 相关风险事项的频率和严重程度

对于仍处于 AI 应用初期的组织，鼓励管理层转变关注重点。 不应仅停留在流程效率、成本节约和生产率提升上，而应逐步转向更具转型意义的目标，例如改善客户体验、产品和服务，从而推动收入增长和市场份额提升。具体可参考以下指标：

• AI 投资在效率型应用场景与战略增长型应用场景之间的分布
• 直接关联客户体验、收入增长或市场拓展的 AI 举措数量
• 管理层对 AI 在市场进入与产品战略中角色的阐述是否清晰

评估董事会对管理层 AI 治理框架进行监督的性质、范围和时机是否适当。 应结合公司的 AI 部署范围和复杂程度，判断现有监督模式是否真正适用。具体可参考以下指标：

• 有证据表明治理框架正在有效运行
• 有证据表明随着组织 AI 成熟度提升，该框架在被定期校准和更新

确保管理层已建立正式的 AI 风险治理机制，并将其整合至企业风险管理（ERM）流程中。 随着 AI 项目扩展，董事会层面应保持规律性的风险可见性。具体可参考以下指标：

• 重大 AI 举措中已完成书面化风险及治理审查的比例
• 已纳入 ERM 流程的 AI 相关风险类型
• 董事会或相关委员会就 AI 伦理、透明度和信任议题接收报告的频率
• 风险讨论是否与 AI 价值创造机会评估同步开展，而非事后补充

评估管理层的端到端 AI 路线图。 该路线图应将 AI 愿景与支撑性的持续投入（包括技术基础设施和员工能力建设）明确关联起来。具体可参考以下指标：

• 经批准 AI 路线图的推进情况，尤其是技术现代化和能力建设里程碑
• 与管理层目标相匹配的 AI 培训、技能提升和人才投入
• 因基础设施或技能约束而延期的 AI 项目占比
• 管理层是否已从试点导向转向可复制的企业级价值导向

处于 AI 应用初期的组织，往往面临更多战术层面的障碍，例如如何规划并识别具有影响力的应用场景。短期快速见效固然可以理解，但若要实现可持续的长期 ROI，仍需将伦理、透明度和信任贯穿 AI 全生命周期。

董事会有责任去强化这一导向：聚焦那些一旦解决，就能推动组织更有效推进 AI 转型、实现价值的战略性障碍。为此，董事可重点考虑以下三方面：

将 AI 设为董事会常设议题，并明确与企业战略、价值创造、创新重点和竞争定位挂钩。 可关注的指标包括：

• AI 作为全体董事会或指定委员会常设议题出现的频率
• 管理层是否能够通过稳定、一致的报告节奏，清晰说明 AI 举措如何支撑战略目标、创新重点和竞争定位
• AI 讨论是否从临时性、被动式的更新，转向面向未来的战略性对话
• 董事会对管理层 AI 叙事的信心，以及其与长期价值创造的关联度是否提升

根据组织的 AI 成熟度及 ROI 实现能力，董事会应动态调整监督重点。 甫瀚咨询2026年3月的研究显示，AI 成熟度较高的组织更倾向于将 AI 纳入战略、创新和竞争的定位；而成熟度较低的组织因为基础能力不足，更多聚焦于机会识别、应用场景筛选及治理框架搭建。可关注的指标包括：

• 管理层对组织 AI 成熟度及 ROI 实现能力的阐述是否清晰
• 董事会讨论时间在 AI 战略与竞争定位、AI 实施进展与成效衡量、治理框架与基础能力建设之间如何分配
• 随着成熟度提升，监督讨论是否逐步超越基础性问题，例如减少“AI 到底是什么”的讨论，转而更多聚焦规模化、优化和战略影响

董事会还应重点评估 AI 转型的高管问责机制以及与管理层的互动模式，并在必要时加以优化。 可关注的指标包括：

• AI 成果的责任归属是否清晰、一致，并直接向董事会报告
• 董事会监督模式（由全体董事会统筹或下放至各委员会）是否与 AI 的战略重要性相匹配
• 管理层对 AI 风险、机会与进展的汇报频率和质量，是否真正将 AI 视为企业级战略议题，而非单纯的技术议题
• 董事会及各委员会之间的 AI 监督职责划分是否清晰、无重叠
• 董事是否通过管理层汇报、独立学习和持续教育，不断提升自身的 AI 素养

为支撑稳健的 AI 治理监督流程，董事会应定期获取 AI 治理、风险和绩效等方面的更新。即使 AI 治理监督职责已委派给审计委员会、技术委员会或风险委员会，全体董事仍应定期收到与 AI 相关的更新，尤其是涉及战略层面的内容。

在治理层面，董事应清楚掌握组织的 AI 战略，包括：组织相较同业的 AI 成熟度、AI 举措与业务目标对齐程度、指导 AI 开发与负责任部署的伦理原则，以及为确保充分人工监督而建立的问责机制。

此外，董事还应了解以下内容：

• AI 治理框架的具体设计与运作情况
• AI 治理委员会或类似跨职能委员会的工作进展（详见问题5和53）
• 已明确的角色、职责和问责安排（详见问题5）
• AI 相关事项的升级汇报与处理机制
• AI 全生命周期管理流程，包括模型和系统的台账、版本控制、所有权和文档管理，以及模型开发、部署、监控、更新和退出流程
• 如何满足跨司法管辖区的法律合规要求
• 政策更新以及将企业责任承诺持续嵌入 AI 实践的进展

与此同时，董事会应及时获取重大 AI 风险的识别与评估更新。内部审计、外部审计以及监管通报中的相关发现，应为董事提供关于合规事件、安全事件数量，以及 AI 特定控制和事件响应机制有效性的判断依据。特别值得关注的内容还包括：供应商风险管理实践是否有效、高风险模型的持续监控情况、整改措施进展以及经验教训沉淀。

在绩效报告方面，董事会应看到覆盖运营与伦理两个维度的仪表板。相关指标应包括模型可靠性、公平性评估、合规事件以及财务表现，从而帮助董事会判断 AI 是否真正创造价值、保持合规，并符合组织战略和标准。问题17和95中已列示部分可参考指标。

向董事会或指定委员会汇报 AI 风险时，必须采取清晰、简洁、结构化的沟通方式，并确保该方式与组织整体的企业风险管理框架保持一致。

风险报告的目标不只是传递信息，更重要的是支持董事会开展有效监督，并助力前瞻性的商业决策。因此，管理层应使用通俗易懂的商业语言，重点说明 AI 风险对组织的战略目标、日常运营、声誉及合规状况的潜在影响。在实操层面，建议采用仪表板直观展示新兴风险、发展趋势及监管动态。问题17已提供若干与 AI 风险相关的指标示例，可作为仪表板设计参考。与此同时，管理层还应对关键风险进行优先级排序，例如算法偏差、监管不合规、数据隐私问题、网络安全脆弱性以及第三方风险暴露面，并围绕这些重点风险与董事会讨论控制措施、持续监控安排以及现有控制差距。

不一定。在 SOX 范围内的流程中使用 AI，并不自动意味着该 AI 本身应被视为 SOX 范围内的应用程序。SOX 的范围界定应主要基于其对财务报表和披露内容的影响及依赖程度为导向，而非仅仅因为使用了 AI。美国证券交易委员会（SEC）已明确强调，应避免在财务报表披露及其包含的申报文件中出现 “AI 包装” 或“AI 夸大表述” 。因此，准确评估 AI 在财务报告内部控制（ICFR）流程中的应用及其重要性至关重要。

具体而言，当 AI 的使用对财务报告或关键控制的运行产生重大影响时，该 AI 应被纳入 SOX 的范围内。这包括以下情况：AI 直接执行、自动化或实质性替代了某项控制，对控制的执行或相关判断产生了实质性影响，或者生成了管理层在未经充分人工审查的情况下直接依赖的输出结果。

在许多情况下，AI 通常作为辅助技术，而非核心的 SOX 应用程序。例如，它可能仅用于数据准备、分析或文稿起草。在此场景下，关注重点通常不在于将 AI 工具本身视为独立的 SOX 范围内系统，而应是现有 SOX 控制是否足以覆盖 AI 引入的新风险。相反，如果 AI 用于自动执行控制、进行计算、应用规则，或对财务报表中的估计判断产生实质性影响，则可能需要将其纳入 SOX 范围，或至少强或至少强化现有 SOX 控制。若既有 SOX 范围内应用新增 AI 功能，则应评估现有控制是否足以覆盖新增风险。此时，应用范围可能不变，但需调整控制流程。 

因此，在组织判断 SOX 范围时，关键不在于 “是否有 AI” ，而在于 “AI 是如何被使用的” 。需重点考虑的问题包括：对 AI 输出的依赖程度、自动化与人工监督的平衡、潜在错误或偏见对财务报告的影响，以及 AI 是否改变了现有控制的性质或风险特征。

一个有效的判断方法是：该 AI 具体做了什么？围绕其功能已经建立了哪些控制？

随着 AI 越来越多地嵌入财务流程，即便其本身未被界定为 SOX 范围内应用，组织也应预期需要在风险评估、文档留存和控制设计方面做出加强，以反映 AI 特有的风险。

当 AI 被用于支持财务流程或控制活动时，关键不在于“是否使用了 AI”，而在于 AI 如何改变了风险、判断机制和控制的执行方式。从内部审计和 SOX 角度看，AI 一方面带来效率和洞察提升的机会，另一方面也引入了需主动应对的新治理和控制要求。

主要风险领域包括：

• 模型行为与判断风险：AI 可能通过特定逻辑或学习特定模式，影响财务估计、分类或异常识别。如果其输出影响财务报告，则偏差、漂移（即性能随时间变化）以及结果不可解释的风险都会上升。
• 数据完整性与数据血缘：输入数据质量至关重要。不准确、不完整或治理不善的数据，可能直接将错误传导至财务结果。
• 变更与版本管理：AI 模型的变化频率往往高于传统应用；若缺乏控制，可能削弱控制可靠性。
• 透明度与可解释性：若难以解释 AI 输出生成逻辑（即“黑箱”行为），将对可审计性和管理层复核构成重大挑战。
• 对自动化的过度依赖：如果控制高度依赖 AI，而人工监督边界不清晰，则控制有效性可能逐步下降。
• 监管与合规风险：已部署的 AI 系统可能受到现有监管指引限制，而新修订的监管要求也可能导致原本合规的解决方案变得不合规。

随着越来越多支持 ICFR 流程的 AI 系统投入使用，组织应积极借鉴 NIST AI 风险管理框架（NIST AI RMF）或 ISO 42001 等最佳实践框架，将 AI 特有的风险系统化地纳入现有的风险与控制框架。这样做不仅有助于提升内部管理的一致性和结构性，也能在面对客户、监管机构和审计师等外部利益相关方时，更有力地说明其 AI 风险管理机制的充分性。

当 AI 被用于自动化或支持 SOX 相关控制时，维持监管可辩护性的关键在于调整现有控制框架，而非另起炉灶。核心目标仍然是确认财务报告相关的控制是否设计适当并有效运行。不同之处在于，当 AI 介入后，证据的生成、审查和监控方式发生了改变。

从控制框架角度看，AI 赋能控制仍应映射至 COSO 原则（风险评估、控制活动和持续监控），仅在问责制度、数据管理和变更管理方面需要更明确的规定。管理层应明确界定 AI 是辅助控制执行（决策支持）还是在直接执行控制（自动化），并确保相关职责、审批机制和升级路径形成正式书面记录。在不创建平行 SOX 框架的前提下，组织可将模型所有权、可接受使用范围及性能监控等治理要求与 NIST AI 风险管理框架等最佳实践对齐。

正式展示与 NIST AI RMF 等最佳实践框架的一致性，能够为组织提供有力的结构化支撑，从而从容应对监管机构针对其 AI 风险控制框架及测试方法充分性的问询。

在测试方法上，不应仅关注 AI 是否正常运行，而应重点考察 AI 系统本身的控制逻辑、输入数据质量以及监督机制的有效性。

在 AI 输出结果无法完全解释的情况下，更强有力的管理层复核控制，以及对 AI 结果提出质疑并形成书面记录的机制，将变得尤为重要。

就外部审计师对内部审计和管理层使用 AI 支持 SOX 测试的反应而言：

• 截至目前，外部审计师普遍持审慎态度，尤其是在 AI 用于生成审计证据、评估控制运行有效性或支持财务报表相关判断时更是如此。这种谨慎主要源于 AI 赋能测试仍属新兴事物，监管先例有限，同时外部审计师也普遍关注输出结果的可解释性、验证充分性与一致性。
• 但这种谨慎态度不太可能长期持续。随着 AI 日益深度嵌入 SOX 流程，以及监管机构和准则制定者的预期持续演进，外部审计师将逐步需要像评价其他自动化或技术赋能程序一样，来评价 AI 赋能测试，重点关注治理、胜任能力、客观性以及证据可靠性。
• 从长期看，设计良好的 AI 赋能测试有望增强外部审计的依赖意愿，尤其是在其能够提升一致性、扩大覆盖范围（包括全量测试）并强化持续监控时。决定性因素并非 AI 本身，而是管理层和内部审计能否清晰证明：AI 模型的运行机制、输出验证方式，以及异常的识别、评价与解决过程。尤其在 AI 赋能测试的早期阶段，证明已实施充分的人类监督（包括复核与签署证据）尤为关键。保留 AI 使用证据（例如截图、提示词参数以及人工复核记录），也有助于与外部审计师就依赖事宜进行有效沟通。

至于 AI 对外部审计依赖策略的影响：

• 随着 AI 应用加速，外部审计师可能调整整体审计策略，包括穿行测试的性质和时点、实质性测试的范围以及专家参与程度。那些能够将 AI 赋能测试与既有 SOX 原则保持一致，并尽早与外部审计师沟通的组织，将更容易在依赖预期成熟时占据主动。
• AI 并未改变 SOX 依赖的基本原理，但改变了治理、透明度和证据质量的呈现方式。若实施得当，AI 赋能测试可为管理层和外部审计师共同提供更有效、更具可扩展性的保证支持。
• 强有力的 AI 治理也有助于外部审计师维持或增加对内部审计工作的依赖，这与 IIA 三道防线模型是一致的，尤其是在内部审计能够证明其对 AI 工具具备独立性、胜任能力和有纪律的监督时。实务中，建议采取以下措施：记录 AI 如何支持测试目标、保留可审计证据，并就相关预期与外部审计师保持沟通。随着组织 AI 治理成熟度的提升，外部审计师未来更倾向于采纳 AI 赋能的测试结果，而非完全重复相关的工作。

当 AI 用于全量测试而非抽样测试时，外部审计师通常视其为对覆盖范围和风险洞察的潜在提升，而不会仅凭这一点就自动得出控制有效或无效的结论。决定性因素在于管理层和内部审计如何解释、治理并妥善应对所识别出的异常，以及 AI 赋能测试本身是否可靠且受到有效控制。虽然将控制测试扩展至全量总体有助于提升整体风险缓解能力，但也必须认识到，为确保数据的完整性、准确性以及对异常处理的适当性，组织通常需要投入更多资源。

从外部审计角度看，全量测试能够增强其对异常识别能力的信心，但也会相应提高其对测试精度和后续处置的要求。与抽样不同，抽样本就预期存在一定偏差；而全量测试往往会暴露更广泛的异常，例如数据问题、离群个案，或超出控制原始设计范围的事项。外部审计师会重点关注：这些异常是否得到妥善分流与处理、是否完成根因分析，以及是否已与相关 COSO 控制目标和财务报告认定建立清晰关联。

真正重要的，不是识别出多少异常，而是组织如何有效处理这些异常：

为维持监管可辩护性，管理层应确保基于AI的测试具备明确的阈值、完善的管理层复核控制，以及对异常提出质疑并完成解决的清晰书面证据。当AI逻辑或测试结果缺乏透明度时，更强有力的监督机制和更充分的文档记录将显得尤为重要。

组织应建立数据驱动的持续监督流程，对 AI 的技术性能与伦理风险进行长期跟踪，这是实现有效监控的重要基础。

在关键考核指标（KPIs）层面，建议重点关注模型准确率、精确率、召回率和错误率等指标，以衡量 AI 系统实现预期目标的可靠程度。除此之外，组织还应监控公平性与偏差指标（例如不同群体间的差别影响），以及可解释性评分和用户满意度。对于运行层面，应跟踪系统可用性、响应延时和资源消耗等数据，以评估 AI 系统的稳定性和效率。对于面向客户的系统，建立围绕投诉、升级率和异常输出的反馈闭环尤为重要，因为这类信号往往能较早揭示可能迅速扩散并影响信任或合规的问题。

在风险监控方面，组织应持续收集合规事件、审计发现和安全漏洞等信息，同时跟踪监管要求和业务目标的变化。以下情形通常应触发重新评估或整改：模型性能显著下滑、识别出显著偏差或不公平对待、客户投诉反复出现、发生监管不合规事件，或引入新的数据来源与应用场景。此外，外部环境的重大变化（例如新法律法规出台、市场格局变化或技术快速演进）也应触发对相关 AI 系统开展整体复核。

针对已识别的 AI 治理或控制问题，有效整改需要建立系统性方法。第一步是快速快识别并控制问题，防止影响进一步扩大；随后应开展彻底的根因分析，明确问题产生的根本原因。在此基础上，组织应采取立即纠正措施，例如暂停受影响的 AI 系统，或临时引入人工监督，以避免进一步损害。整改不应仅停留在表面，还应同步更新治理规则、政策要求和培训安排，以填补缺口并降低类似问题复发的可能性。

在整改跟踪方面，组织应设定明确的指标和时间表，并定期向利益相关方报告整改进展，包括已采取的纠正措施、取得的改进效果以及风险评估的变化情况。通过仪表板等可视化工具向管理层和董事展示整改进度与计划的一致性，有助于提升透明度和问责水平。