如果预测准确，AI 代理很快就能承担“真正”的工作——调整广告预算、更新产品列表、授权退款等。
但这是否存在安全风险？在将这种级别的控制权委托给代理之前，企业必须确保代理的行为可预测且安全。
这一需求有助于解释 OpenAI 宣布收购 Promptfoo 的原因——Promptfoo 是一家开发 AI 应用测试和安全工具的初创公司。
OpenAI 收购 Promptfoo 的计划，可能预示着企业 AI 系统未来将如何进行提示词漏洞测试。
测试 AI 系统
Promptfoo 最初是一个开源框架，用于评估提示词和 AI 响应质量。该平台现已演变为一个测试环境，使工程师能够在发布应用或代理之前运行数千次模拟 AI 交互。
这些测试可以暴露以下薄弱环节：
- 提示词注入攻击的漏洞
- 代理不安全地使用工具
- 意外的 API 调用
- 通过响应泄露数据
Promptfoo 类似于 AI 质量保证框架。传统软件测试用已知结果验证代码，但 AI 系统的行为有所不同。开发者需要能够探测大量可能输入和边缘情况的工具——Promptfoo 正是自动化了这一过程。
AI 代理
收购 Promptfoo 也暗示了企业部署 AI 代理和应用方式的转变。
到目前为止，企业部署主要集中在聊天机器人和知识助手。许多依赖检索增强生成（RAG），即模型通过从数据库检索信息来回答问题。
最近，开发者开始构建能够规划任务、调用外部工具、执行多步骤工作流的 AI 代理。例如：
- 分析广告效果并调整投放预算
- 管理客户服务工作流
- 更新产品列表或定价
- 运行营销或分析查询
代理直接与 CRM、库存数据库和电商平台交互。这种能力扩展了 AI 代理可以执行的操作，同时也带来了新的风险。
行业变化
OpenAI 的收购并非 AI 代理日益突出或企业需要关注 AI 安全的唯一信号。
Meta 最近收购了 Moltbook——一个面向自主 AI 代理的社交网络。该公司的技术使代理能够通过共享系统进行通信和协调。
Moltbook 让我们初步了解 AI 代理如何相互通信。
整体来看，OpenAI 和 Meta 的行动突出了新兴代理生态系统的不同层面。
Meta 的收购侧重于实现 AI 代理之间的交互，而 OpenAI 则关注代理的行为和安全性。
这表明大型科技公司预见到，未来软件代理将不仅与人类交互，还会与其他代理交互。
安全风险
一个给出错误答案的 AI 聊天机器人通常只是一种不便——产生幻觉。
而拥有系统访问权限的 AI 代理可能造成真正的问题。例如，通过提示词注入攻击，代理可以：
- 泄露敏感的客户信息
- 触发未经授权或欺诈性退款
- 修改定价或库存
- 将专有数据暴露给其他代理
因此，企业需要防止操控和不可预测性的防护机制。
Promptfoo 似乎提供了这一能力。通过将测试工具直接集成到其企业 AI 平台中，OpenAI 可以帮助开发者在将代理部署到生产环境之前识别漏洞。
欺诈
安全不仅限于内部系统，还包括欺诈防范。
Jeff Otto 是欺诈防范平台 Riskified 的首席营销官，他表示 AI 代理的兴起可能会创造相互交互的软件系统（类似于 Moltbook）。
"Meta 决定将 AI 代理的社交网络纳入超级智能实验室（Superintelligence Labs），这是一个强烈的信号，表明代理商务正从理论走向现实，" Otto 表示。"Moltbook 的代理基于 OpenClaw 框架构建，该框架使自主代理能够代表人类用户进行交互、协调和潜在交易。"
Otto 表示，如果这一愿景得以实现，电商欺诈检测也需要随之演进。
"这种转变为高风险机器对抗机器环境奠定了基础，" 他说。"对于零售商来说，传统的基于规则的欺诈防范方案已经不够了。当 bot 点击'购买'按钮时，商家需要一个防御层，能够在毫秒内区分合法的 AI 助手和恶意代理。"
代理商务
通过这些与代理相关的收购，OpenAI 和 Meta 显然在为下一步做准备。
如果未来包含代理商务，那么商家必须考虑一个软件代理——而不仅仅是人类——进行购物的环境。
