EN
Uncategorized

AI Agent 真正难的不是会不会调用工具,而是能否在边界内停下来

AI Agent 进入真实工作流后,权限、审批、回滚和审计比提示词更重要。

Jacky Wang 1 分钟阅读 9 阅读

一个 Agent 能调用十个工具,并不代表它适合进入生产环境。真正的可靠性测试是:权限不足、依赖缺失、网络失败或结果不确定时,它会不会停下来并留下证据。

把边界写成规则

读取资料、生成补丁、运行测试可以自动化;发送外部邮件、修改生产数据和支付资金则应设置人工批准点。每次操作还要记录输入版本、工具参数、返回结果和回滚路径。

一个实用的验收标准是故意制造失败:撤销权限、让接口超时、给出矛盾资料,然后观察 Agent 是否诚实报告不确定性。比成功演示更有价值的是失败时没有越权。

来源

OpenAI Agents API · OpenAI Workspace Agents

发表评论