近日，atsec资深顾问、刘岩参与了支付卡产业安全标准委员会PCI SSC（Payment Card Industry Security Standards Council）组织的关于人工智能（AI：Artificial Intelligence）的专访，分享了atsec在AI应用领域的经验和心得，同时解读了这项飞速发展的技术如何重塑支付安全的未来。
本次话题题目为：人工智能交流会：支付安全领域的创新者——atsec（The AI Exchange: Innovators in Payment Security Featuring atsec）。
其内容原文参见PCI SSC官网（https://blog.pcisecuritystandards.org/the-ai-exchange-innovators-in-payment-security-featuring-atsec）。
以下为翻译稿。
在过去的12-18个月中，你们的AI战略经历了怎样的演变？
在atsec内部， 我们已制定了关于在组织内安全、负责地使用人工智能（AI：Artificial Intelligence）服务的指导方针。鉴于我们需要对来自客户和内部的敏感信息负责，同时还需满足利益相关方的高标准要求，因此，在使用AI工具时，我们必须确保将安全风险降至最低。
我们的原则包括：
- 内部AI服务：为了更好地控制数据安全，优先使用托管于公司基础设施的内部AI工具。但必须确保不同项目之间进行适当的数据隔离，并确保“最小权限”原则始终有效。
对于AI/自动化工具，我们的重点聚焦于商业管理、项目管理、通用测试方法以及报告工具（例如 PCI DSS ROC）。 - 外部AI服务：必须谨慎使用外部AI服务（尤其是由不可信第三方管理的服务）。atsec员工仅可使用知名机构的成熟服务，以确保安全性、可靠性及合规性。不得向这些服务共享任何机密或内部信息。另请参阅问题3的答复。
- 内置AI服务：近期出现了一种发展趋势，产品和软件往往默认包含各种AI功能。此类功能究竟属于内部（例如设备端）还是外部，界定可能存在模糊之处，且所处理的信息难以把控。因此，此类功能应视为类似遥测功能，必须予以禁用。
请举例说明一项已产生可量化影响的AI举措，并分析其成功原因。
在atsec全球各个分支机构，我们正在开发内部AI解决方案，这些方案运行于物理部署在办公室内的系统上，确保所有数据均保留在本地。atsec团队已成功采用开源模型（例如 Llama）实现了这一方案，并结合 OpenSSL 库代码应用。
通过当前的应用，我们提高了测试准备、项目管理和报告生成等方面的效率和质量。在漏洞发现方面，AI 提供了有价值的参考，并促进了辅助脚本的开发。
在密码学测试领域，我们目前正在整合特定的检索增强生成（RAG）技术，并根据标准要求（例如 FIPS 140）对模型进行微调，以提高准确性。
你们如何应对AI治理问题，尤其是数据隐私和安全方面？
atsec在信息安全方面的总体原则同样适用于AI。因此，AI服务（尤其是外部托管的AI服务）绝不能处理任何非公开数据或信息，无论是被归类为atsec内部还是atsec机密的信息。此原则同样适用于客户数据及所有个人身份信息。用于AI服务的任何数据都必须始终进行匿名化和/或掩码处理以降低风险，且需注意，即便是公开信息也可能构成风险。
对于内部和机密信息使用的规则和要求，AI工具须遵守本政策中的规则和要求，这与对其他工具和软件的规定一致。如今，许多软件应用程序和工具普遍都已内置AI功能，例如Adobe Acrobat中的AI助手、Microsoft 365 中的CoPilot功能、Webex中的AI功能、Feishu中的AI功能等。
通常情况下，这些AI工具涉及的模型和数据库由提供商和供应商负责维护，归其所有，不会存储在员工的本地设备中。 此外，这些工具的使用协议通常会赋予提供商使用和存储用户输入信息的权利，从而用于进一步训练其模型。因此，当提示词（prompt）中包含某些内部或机密信息时，该信息将被传输给工具提供商，进而违反了atsec与客户签订的保密协议（NDA）。
因此，严禁在涉及atsec内部及机密信息时使用AI工具，除非特定AI工具经明确批准许可用于特定项目或场景。自 2023 年起，atsec制定了《atsec 内部AI使用政策》，该政策在内部得到了良好维护。所有同事均需知晓并遵守相关要求。
随着AI能力的日益成熟，哪些挑战变得更加明显？
AI生成输出的质量与准确性
AI可用于提高效率，并简化重复性或耗时的任务。然而，其目的并非取代人类的批判性思维、决策或判断。所有 AI生成的内容都必须由员工仔细审阅和验证，以确保其准确性并符合公司标准。无论使用何种 AI 服务，内容作者始终对所产出的所有内容负责。
AI工具仅是工具，不得用于代笔，也不应代表人类进行创作。我们严禁使用公共AI工具处理任何客户机密数据，即便是atsec已购买商业许可的、来自可信AI供应商的产品也不例外。
即使可以使用 AI生成内容，也必须保持组织及其利益相关方所期望的高标准。为确保这一点，所有由 AI生成的内容，无论是代码、文档、报告还是任何其他交付物，都必须由责任员工进行核验和质量保证。因此，atsec 同事需做到：
- 手动审查 AI 生成的输出物：在使用任何 AI生成的材料之前，员工必须对其进行详细审查，以验证其准确性、完整性以及与当前任务的相关性。这包括修正 AI输出可能存在的任何错误、遗漏或不一致之处。同时需注意潜在的安全隐患——执行 AI生成的未知代码，其风险不亚于从网络上不可信来源复制代码。
- 遵循内部质量保证（QA）流程：AI生成的输出不得绕过组织既定的质量保证规程。除个人核查外，与非AI产出的作品相同，AI的输出物还应接受常规质量保证检查，以确保其符合内部标准。
- 敏感领域的准确性：当 AI工具用于处理或生成一定程度上会影响项目交付成果的内容时，应格外谨慎。员工必须确保 AI生成的内容不会损害此类数据的准确性或保密性。若缺乏全面了解，误报和漏报的风险将随之增加。
- 文档记录与责任归属：员工应记录在重要工作中使用 AI 的情况，以及为核查和验证 AI生成内容所采取的步骤，从而确保对任何整合到项目中或交付给客户的输出结果承担完全责任。
对于正从AI早期采用阶段向更广泛实施阶段过渡的组织，您有何建议？
AI最合适的用途是处理与客户和产品无关、不包含敏感信息的任务。例如，使用该服务生成描述或脚本，然后利用工具对其进行修改或优化，这种做法是可接受的。而另一方面，当该服务用于改进工作中相互独立的局部环节时，应选择限制更为严格的方案。
请注意，即使是公开可用的信息，使用时也应谨慎。务必考虑操作安全！输入AI服务的所有与项目相关的信息，不仅要单独审视，还应结合其他相关输入进行上下文评估。例如：若将某AI服务用于协助安装和配置特定产品，随后又用于开发执行特定攻击的脚本，那么无论所有信息是否均为公开信息，其潜在后果都可能导致数据泄露。
适当使用场景示例：
- 测试工具开发：AI可协助开发内部测试工具或脚本，包括生成代码片段和自动化测试流程。
- 技术研究：AI 可用于收集或总结技术信息、研究新技术发展，或探索技术问题的潜在解决方案。
- 指南或政策制定：AI工具可用于起草技术或流程指南。
- 培训材料的制作：AI可协助制作培训材料，包括为演示文稿、教学文档或视频脚本生成初稿。
- 措辞与语言辅助：AI工具可协助处理细微的措辞任务，但在正式沟通中应谨慎使用。
- 脚本编写：虽然AI不应用于处理大量信息（例如用于数据分析），但完全可以用于协助创建执行此类任务的脚本。AI工具可以高效地建议bash或正则表达式代码，以协助解决此类任务。
- 非敏感原型设计：对于不涉及敏感数据的探索性或概念验证项目，AI工具可用于加速原型设计过程，尤其是在设计或早期开发等领域。
您最期待的AI趋势是什么？
我最期待的趋势是便捷、以人为本的AI。首先，AI正从大型云端模型向轻量级本地应用转变，从而更好地保护用户的隐私和安全。
其次，AI正深度融入我们的行业，从支付功能到网络安全实施及测试/验证。最重要的是，它聚焦于人与AI的协作——AI接管重复性任务，而人类则专注于创造力、思考和决策。
