
杂文 · 边知道
Devin 两年后:团队异步 coding agent 能清什么票
近两月把 Devin 读成可订阅团队异步 coding agent:AA×Fusion Index 62/59、SWE-2 贴近部分前沿分但 TB4 仅 27.3%,公开价 Pro $20 起;Cloud 清规格清楚的票,Desktop/CLI 与 Cloud 仍分裂。
核心观点
近两月核心结论: Devin 是可订阅的团队异步 coding agent,叠加自研 SWE-2 与 Fusion 降本。Cloud 清规格清楚的票、交 draft PR,有博客与社区支持;Desktop / CLI 与 Cloud 体验仍分裂。Artificial Analysis 对 Fusion 的独立 harness 测评(Index 62 / 59,任务均价低于对照)是近两月最硬的第三方数字,指向接近前沿单模分数、更低 $/task,不保证你的仓库成功率。近两月仍缺同规模公开独立长测。
相对值得试
- 云端异步 + 沙箱:适合并行清 backlog、开 draft PR,人审后合并
- 产品面齐全:Cloud / Desktop / CLI / Review / DeepWiki / Fusion / API
- 自助价门槛低:Pro $20/月起(公开价,定价页 2026-10-30 核验)
- Fusion 多模型 harness:AA 独立测显示可接近前沿单模 Index、更低任务均价
- 企业叙事完整:隔离 microVM、Review Autofix、工单/IM 集成
相对要调低预期
- Desktop / CLI 与 Cloud 体验分裂;个人结对多偏 Claude Code / Codex / Cursor
- SWE-2 公司自报 Terminal-Bench 2.1 92.8% vs 4.0 仅 27.3%,泛化遭质疑
- AA 分是 harness + 双模型配置,不是「纯 SWE-2 单模」独立排行
- 近两月无新的多人多仓可复现 n≈20 级独立长测
- 促销期(SWE-2 自助免费窗)会扭曲「quota 几乎不动」体感,勿当稳态成本
把 Devin 当「异步 junior + 沙箱 QA」,不要当「无人 senior」。有清晰验收、可测、高重复的工程票值得试;判断即交付物的任务不要委派。
产品与形态
Devin 是 Cognition 的自主 AI 软件工程师产品(devin.ai / cognition.com):在沙箱里规划、写代码、跑测、用浏览器/桌面验证、开 PR,并与人协作。下表以近两月官方产品面为准。
| 形态 | 做什么 | 近两月动态 |
|---|---|---|
| Devin Cloud / Web | 云端长时间跑任务、交 draft PR | 团队异步主战场;CLI 可 /cloud、/handoff |
| Devin Desktop | Agent Command Center(Windsurf 演进) | 2026-10 公司刷新;社区仍批与 Cloud 不对齐 |
| Devin CLI / Terminal | 本地终端交互 | Fusion / SWE-2 主推入口;稳定性评价两极 |
| Devin Review | diff/PR 审查 + Autofix 闭环 | 计入用量 |
| Ask Devin / DeepWiki | 代码库问答与自动文档 | deepwiki.com |
| Devin Fusion | Lead(前沿)+ Sidekick(如 SWE-2) | 2026-09-11 开放 Desktop / CLI |
| Devin API / Automations | 可编程触发、接 CI/工单 | 企业集成入口 |
公司主张:多数「大约三小时内能做完」的工程任务可委托;极难任务仍需人主导。模型策略不绑死单一厂商:自研 SWE 系列(含 SWE-2)+ Fusion 路由前沿主模型。
能力边界
近两月博客 / HN / X 共识:擅长高重复、规格清楚、可验证的机械工程;弱在模糊产品决策、内部特殊工具链、长链路开放终端探索,以及把 Desktop/CLI 体验外推到 Cloud。
相对擅长
- 迁移 / 重构 / 现代化(高重复文件级改动)
- 清 backlog:单测、依赖升级后修测、lint/CI、SDK 同步
- 异步并行 draft PR,强制人审后合并
- Fusion:Lead 判断与终审,Sidekick 实现与测试
- DeepWiki / Ask Devin 做代码库概览
常见失败模式
- 长链路、开放探索的终端任务(公司自报 TB4 仅 27.3%)
- 判断即交付物:产品权衡、架构选型、业务规则拍板
- Desktop / CLI 与 Cloud 能力不对齐导致错误外推
- 无验收标准时的「假成功」风险
- 促销窗结束后按稳态价重算才发现超额
After admitting TB4 at 27.3%, I do not hand long open-ended terminal tasks to SWE-2 alone. Spec-clear maintenance work is where it earns its keep.
— I Like Kill Nerds,2026-10-14(博客实测)
AA × Fusion 独立 harness
单位:Index 分或 $/task。来源:Artificial Analysis Coding Agent Index v1.5,经 DeepLearning.AI The Batch(2026-09-25)转述。独立 harness 跑 Fusion 组合,非纯 SWE-2。
| 配置 | Index | $/task | 对照 |
|---|---|---|---|
| Fusion:Fable 5.1 XHigh + SWE-2 Med | 62 | ~$7.90 | Claude Code 单跑 Fable Max ≈ 62 / ~$12.40(约 −36%) |
| Fusion:Astra XHigh + SWE-2 Med | 59 | ~$4.54 | Codex 单跑 Astra Max ≈ 62 / ~$7.47(约 −39%,分数低约 3 点) |
Fable+SWE-2 与 Claude Code 单跑 Fable 同为 Index 62,任务均价约低 36%;Astra+SWE-2 为 59,约低 39%。这回答「双模型 harness 能否接近前沿单模、成本更低」,不回答「你的 monorepo 成功率」。
Cognition local-fusion(2026-09-11,与 AA/Vals 合作)另显示 DeepSWE 等项上 Fusion 成本可降约 23%–46%。公司页 2026-10-19 更新图还列 Opus 5.5 + Luna 等换对配置:Lead/Sidekick 可换,SWE-2 不是唯一 Sidekick。
SWE-2 公司自报基准
Cognition 近两月主推自建/参与的 FrontierCode、DeepSWE 与自研 SWE-2(2026-09-10 博文)。下列数字全部为公司自报;方法论附录:有公开分用公开分,否则用各家主 harness 内部评——直接横比需谨慎。本栏不拼凑不可核验的竞品「产品级 SWE-bench Verified」拼盘。
| 基准 | SWE-2 | 主要对照(公司自报附表) |
|---|---|---|
| FrontierCode 1.1 Main | 50.0% | Fable 5.1 50.9%;GPT-6 Astra 53.3% |
| DeepSWE 1.1 | 73.0% | Astra 74.1%;Fable 67.4% |
| Terminal-Bench 2.1 | 92.8% | Fable 91.4%;Astra 89.9% |
| Terminal-Bench 4.0 | 27.3% | Fable 55.8%;Astra 57.9% |
Pareto 故事:SWE-2 在 FrontierCode 贴近 Fable,公司称同操作点约便宜 64%(基座 Kimi K3 后训)。必须同屏看 Terminal-Bench:2.1 饱和、4.0 大幅落后 Fable/Astra——HN(约 2026-09-10 SWE-2 帖)据此质疑 benchmaxxing / 泛化。这是近两月对「公司自报叙事」最集中的公开质疑点。
定价与成本
公开自助价,来源 https://devin.ai/pricing,核验 2026-10-30(Asia/Shanghai)。Teams 为最低门槛 + 席位另计。
| 档位 | 公开价 | 计费要点 |
|---|---|---|
| Free | $0 | 有限模型;无限 inline / Tab |
| Pro | $20/月 | 前沿模型 + Devin Cloud;超额按 API 价 |
| Max | $200/月 | 显著更高 quota |
| Teams | $80/月起 + $40/满席 | 协作、集中账单;满席含 Desktop |
| Enterprise | 协商 | ACU 计量;SSO/VPC/专属支持 |
自助:套餐内日/周刷新 quota + 超额美元计价。企业继续用 ACU(Agent Compute Unit),价格为企业协商(Billing 文档)。Fusion 无单独档位,走既有套餐用量。SWE-2 自助促销窗曾覆盖 2026-09 至 10 月中(Desktop/CLI 与 Cloud 截止日不完全相同);勿把促销体感当稳态成本,以定价页实时为准。
真实世界反馈
下表优先近两月信号,并标明来源类型。企业效率倍数几乎全部来自 Cognition 客户页/合作博文(vendor),不能当独立审计。
| 信号 | 要点 | 类型 |
|---|---|---|
| AA × The Batch 2026-09 | Fusion Index 62/59;Fable 配对比 Claude Code 约 −36% $/task | 独立 harness |
| HN 2026-09(SWE-2 帖) | Cloud 有「翻身」;Desktop 像 thinly-reskinned Windsurf;CLI 评价两极 | 社区轶事 |
| I Like Kill Nerds 2026-09/10 | SWE-2 daily driver;规格清楚维护票;明确不把长终端任务交给 SWE-2 独走(首篇 · 续篇) | 博客实测 |
| Catalin Pit 2026-09-22 | 约一周:CLI+SWE-2/Fusion 好;Desktop 忙乱且弱于 CLI(catalins.tech) | 博客实测 |
| X 2026-09–10 | 同模型 Desktop vs Cloud 体感可差一个数量级;Fusion「set and forget」轶事 | 社区轶事 |
常见用例形状:迁移与现代化、维护票、写测试、依赖升级后修测、PR Review、DeepWiki 导览。弱适配:模糊产品需求、业务权衡、架构判断、文档不足的内部工具链、需真机验证的移动端。
促销会扭曲体感。2026-09 至 10 月 SWE-2 自助免费或大幅折扣期间,「quota 几乎不动」的帖子偏多;促销结束后应按 list 价或当期折扣重算。
同类定位对比
| 维度 | Devin | Claude Code / Codex | Cursor |
|---|---|---|---|
| 主交互 | 异步会话 + 沙箱 | 终端结对 / 交互 agent | IDE 内联 + agent |
| 团队管理 | 强(席位、后台、API) | 偏个人/小队 | 席位与编辑器工作流 |
| 长任务 | Cloud 长时间跑 | 强但更会话驱动 | 中等,偏人在环 |
| 模型 | 多厂商 + 自研 SWE + Fusion | 自家前沿为主 | 多模型路由 |
| 公开价锚 | Pro $20 / Max $200 | 订阅/API 另计 | 编辑器订阅档 |
| 适合谁 | 清 backlog 的工程团队 | 个人深度结对 | 日常写改代码主力 |
多数近两月 HN 用户在个人交互工作流上更偏 Claude Code / Codex / Cursor;认可 Devin 的一方强调 team-managed async + sandbox QA + API,而非 raw harness 巅峰。
适用建议
什么时候不要用: 判断即交付物(产品权衡、架构选型)、无验收标准的开放探索、强依赖未文档化内部工具、以及不能接受「假成功」风险的生产热路径——不要全权托付。
值得试点的团队与任务:
- 有明确 issue 模板、测试或可复现验收的维护型团队
- 大规模机械迁移 / 依赖升级 / 测试补齐,人只做 review 与边界拍板
- 需要并行多个 draft PR、并用 Review/Autofix 关环的小队
- 想用 Fusion(Lead 判断 + Sidekick 执行)控成本,仍要人最终负责合并
落地姿势:小范围 Pro/Teams 试点 → 只丢规格清楚的票 → 优先 Cloud 或 Fusion → 强制人审 → 盯 quota/超额(促销与稳态分开算)→ 两周后看合并率、返工小时与超额。
任务形状上:单测/文档票与机械迁移更适合异步委派;模糊产品需求与热路径架构应人主导或强监督。矩阵式细坐标略去,以上定性足够选型讨论。
结论
把近两个月的 Devin 读成:可订阅的团队异步 coding agent,叠加自研 SWE-2 与 Fusion 降本。Cloud 清规格清楚的票、交 draft PR,有近期博客与社区支持;Desktop / CLI 与 Cloud 体验仍分裂。SWE-2 在公司自报榜上贴近部分前沿分且更便宜,但 Terminal-Bench 4.0 暴露泛化落差。Artificial Analysis 对 Fusion 的独立 harness 测评是近两月最硬的第三方数字,指向接近前沿单模分数、更低任务均价,不等于仓库成功率保证。
近两月公开独立长测仍稀缺。选型依据主要是公司自报、AA harness 组合分、小样本博客与社区轶事。
若只做一件事: 挑十张规格清楚的维护票,开 Pro,优先走 Cloud 或 Fusion,强制人审,两周后看合并率、返工小时与超额。促销期与稳态价分开算。
历史对照(非主证据)
Answer.AI 2025-01 对当时产品做过 20 题实测(成功 3 / 失败 14 / 不确定 3;原文)。近两月无同规模公开复现,不进入当前主结论。
参考来源(近两月优先)
- Cognition, Introducing SWE-2(2026-09-10,公司自报)
- Cognition, Fusion in Desktop & CLI(2026-09-11,公司自报 + AA/Vals 合作表)
- DeepLearning.AI The Batch, One Agent Works, Another Directs(2026-09-25;转述 AA 独立 harness)
- Artificial Analysis Coding Agents(第三方 harness)
- I Like Kill Nerds, SWE-2 首篇(2026-09-21)· 续篇(2026-10-14,博客实测)
- Catalin Pit, Devin AI & SWE-2 First Impressions(2026-09-22,博客实测)
- HN, SWE-2 讨论(约 2026-09-10,社区轶事)
- Devin Plans and Pricing(2026-10-30 核验)· Billing
- Cognition, Devin Fusion(2026-06-29,原理)· Introducing Devin Desktop(2026-06-02)
- 历史对照(非主证据):Answer.AI 2025-01-08(n=20,成功 3)