AI 能否从“会回答”变成可靠生产系统？

长任务

能否持续执行数小时或数天，保持目标、状态和约束，不断档、不漂移。

记忆与遗忘

能否保留有用历史，在环境变化时清除过期状态，避免错误惯性。

工具执行

能否正确选择工具、处理失败、检查副作用，并基于结果修正下一步。

世界状态

是否理解行动对象、环境变化、时间连续性和因果后果，而不只是生成语言。

验证纠错

结果能否由测试、规则、外部传感器或人类复核；错误能否定位、回滚和重试。

权限审计

是否遵守最小权限，记录谁在何时基于什么证据做了什么动作。

人工接管

人工接管率是否下降；高风险节点是否知道必须停下来请求授权。

责任边界

结果、损失、异常和合同责任能否清楚归因，不用“模型生成”逃避责任。

METR 长任务时间跨度

以 50% 成功率对应的人类任务时长衡量可靠执行。论文报告 Claude 3.7 Sonnet 约为 50 分钟，并明确提醒软件任务结果不能直接外推到所有生产流程。 来源

OSWorld

369 个真实网页与桌面任务中，原始论文报告人类成功率超过 72.36%，当时最佳模型为 12.24%。真实 GUI、操作知识和跨应用状态会放大错误。 来源

GAIA

466 个需要推理、多模态、浏览和工具调用的问题中，原始论文报告人类为 92%，带插件的 GPT-4 为 15%。工具可用不等于工具链可靠。 来源

Anthropic Research 多智能体系统

厂商工程复盘显示，多智能体方案在内部研究评测上相对单代理提高 90.2%，但约使用普通聊天 15 倍 token。性能提升成立，不代表单位经济普遍成立。 来源

Klarna 客服助手

公司曾自报首月处理约三分之二客服对话。该案例支持边界清楚、可升级人工的高频流程，但“处理量”不是端到端解决率，且数据缺少独立审计。 来源

OpenAI Operator

产品把确认、接管和高风险动作限制内置于执行链，说明生产可靠性依赖权限边界，而不是默认完全自治。真实用户长期成功率、恢复时间和单位成功成本仍未公开。 来源

对象层

AI 必须知道组织里有什么、对象如何关联、状态如何变化，而不只是读取文本。

规则与权限层

谁能基于什么证据，对什么对象执行什么动作，必须可限制、可授权、可追责。

行动与回写层

输出要变成可执行 Action，并把结果回写真实状态，形成下一轮决策的输入。

部署与恢复层

生产价值还取决于版本控制、环境适配、监控、回滚和长期运营；不能部署和恢复的 Action 仍是演示。

产品化检验

客户越深不必然越好。若现场经验不能沉淀成模板、平台能力和客户自助，深度嵌入会退化为高成本定制。

它提供的路线信号

ScienceOne 把科学多模态模型、论文与专业数据库、科研工具和任务工作流组合在一起。这与本母题的核心判断一致：可靠能力更可能来自复合系统，而不只是更大的模型。

它尚未证明什么

发布材料没有公开完整 benchmark、测试集、样本量、原始输出、模型与工具权限、运行预算及外部复现。“第三方模型盲评”仍属于 LLM-as-judge，不能替代领域专家评审和真实实验验证。

当前证据处理

只登记为产品路线观察，不作为“性能领先”或“科研工作流已被重塑”的证据，也不改变本站当前判断。

升级为有效证据的条件

公开技术报告与测试集、独立团队复现、真实科研任务成功率、人工接管率、错误恢复记录、成本数据，以及实验或临床层面的结果验证。