全部文章

杂文 · 边知道

Devin 两年后:团队异步 coding agent 能清什么票

近两月把 Devin 读成可订阅团队异步 coding agent:AA×Fusion Index 62/59、SWE-2 贴近部分前沿分但 TB4 仅 27.3%,公开价 Pro $20 起;Cloud 清规格清楚的票,Desktop/CLI 与 Cloud 仍分裂。

核心观点

近两月核心结论: Devin 是可订阅的团队异步 coding agent,叠加自研 SWE-2 与 Fusion 降本。Cloud 清规格清楚的票、交 draft PR,有博客与社区支持;Desktop / CLI 与 Cloud 体验仍分裂。Artificial Analysis 对 Fusion 的独立 harness 测评(Index 62 / 59,任务均价低于对照)是近两月最硬的第三方数字,指向接近前沿单模分数、更低 $/task,不保证你的仓库成功率。近两月仍缺同规模公开独立长测。

相对值得试

  • 云端异步 + 沙箱:适合并行清 backlog、开 draft PR,人审后合并
  • 产品面齐全:Cloud / Desktop / CLI / Review / DeepWiki / Fusion / API
  • 自助价门槛低:Pro $20/月起(公开价,定价页 2026-10-30 核验)
  • Fusion 多模型 harness:AA 独立测显示可接近前沿单模 Index、更低任务均价
  • 企业叙事完整:隔离 microVM、Review Autofix、工单/IM 集成

相对要调低预期

  • Desktop / CLI 与 Cloud 体验分裂;个人结对多偏 Claude Code / Codex / Cursor
  • SWE-2 公司自报 Terminal-Bench 2.1 92.8% vs 4.0 仅 27.3%,泛化遭质疑
  • AA 分是 harness + 双模型配置,不是「纯 SWE-2 单模」独立排行
  • 近两月无新的多人多仓可复现 n≈20 级独立长测
  • 促销期(SWE-2 自助免费窗)会扭曲「quota 几乎不动」体感,勿当稳态成本

把 Devin 当「异步 junior + 沙箱 QA」,不要当「无人 senior」。有清晰验收、可测、高重复的工程票值得试;判断即交付物的任务不要委派。


产品与形态

Devin 是 Cognition 的自主 AI 软件工程师产品(devin.ai / cognition.com):在沙箱里规划、写代码、跑测、用浏览器/桌面验证、开 PR,并与人协作。下表以近两月官方产品面为准。

形态做什么近两月动态
Devin Cloud / Web云端长时间跑任务、交 draft PR团队异步主战场;CLI 可 /cloud、/handoff
Devin DesktopAgent Command Center(Windsurf 演进)2026-10 公司刷新;社区仍批与 Cloud 不对齐
Devin CLI / Terminal本地终端交互Fusion / SWE-2 主推入口;稳定性评价两极
Devin Reviewdiff/PR 审查 + Autofix 闭环计入用量
Ask Devin / DeepWiki代码库问答与自动文档deepwiki.com
Devin FusionLead(前沿)+ Sidekick(如 SWE-2)2026-09-11 开放 Desktop / CLI
Devin API / Automations可编程触发、接 CI/工单企业集成入口

公司主张:多数「大约三小时内能做完」的工程任务可委托;极难任务仍需人主导。模型策略不绑死单一厂商:自研 SWE 系列(含 SWE-2)+ Fusion 路由前沿主模型。


能力边界

近两月博客 / HN / X 共识:擅长高重复、规格清楚、可验证的机械工程;弱在模糊产品决策、内部特殊工具链、长链路开放终端探索,以及把 Desktop/CLI 体验外推到 Cloud。

相对擅长

  • 迁移 / 重构 / 现代化(高重复文件级改动)
  • 清 backlog:单测、依赖升级后修测、lint/CI、SDK 同步
  • 异步并行 draft PR,强制人审后合并
  • Fusion:Lead 判断与终审,Sidekick 实现与测试
  • DeepWiki / Ask Devin 做代码库概览

常见失败模式

  • 长链路、开放探索的终端任务(公司自报 TB4 仅 27.3%)
  • 判断即交付物:产品权衡、架构选型、业务规则拍板
  • Desktop / CLI 与 Cloud 能力不对齐导致错误外推
  • 无验收标准时的「假成功」风险
  • 促销窗结束后按稳态价重算才发现超额

After admitting TB4 at 27.3%, I do not hand long open-ended terminal tasks to SWE-2 alone. Spec-clear maintenance work is where it earns its keep.

— I Like Kill Nerds,2026-10-14(博客实测)


AA × Fusion 独立 harness

单位:Index 分或 $/task。来源:Artificial Analysis Coding Agent Index v1.5,经 DeepLearning.AI The Batch(2026-09-25)转述。独立 harness 跑 Fusion 组合,非纯 SWE-2。

配置Index$/task对照
Fusion:Fable 5.1 XHigh + SWE-2 Med62~$7.90Claude Code 单跑 Fable Max ≈ 62 / ~$12.40(约 −36%)
Fusion:Astra XHigh + SWE-2 Med59~$4.54Codex 单跑 Astra Max ≈ 62 / ~$7.47(约 −39%,分数低约 3 点)

Fable+SWE-2 与 Claude Code 单跑 Fable 同为 Index 62,任务均价约低 36%;Astra+SWE-2 为 59,约低 39%。这回答「双模型 harness 能否接近前沿单模、成本更低」,不回答「你的 monorepo 成功率」。

Cognition local-fusion(2026-09-11,与 AA/Vals 合作)另显示 DeepSWE 等项上 Fusion 成本可降约 23%–46%。公司页 2026-10-19 更新图还列 Opus 5.5 + Luna 等换对配置:Lead/Sidekick 可换,SWE-2 不是唯一 Sidekick。


SWE-2 公司自报基准

Cognition 近两月主推自建/参与的 FrontierCode、DeepSWE 与自研 SWE-2(2026-09-10 博文)。下列数字全部为公司自报;方法论附录:有公开分用公开分,否则用各家主 harness 内部评——直接横比需谨慎。本栏不拼凑不可核验的竞品「产品级 SWE-bench Verified」拼盘。

基准SWE-2主要对照(公司自报附表)
FrontierCode 1.1 Main50.0%Fable 5.1 50.9%;GPT-6 Astra 53.3%
DeepSWE 1.173.0%Astra 74.1%;Fable 67.4%
Terminal-Bench 2.192.8%Fable 91.4%;Astra 89.9%
Terminal-Bench 4.027.3%Fable 55.8%;Astra 57.9%

Pareto 故事:SWE-2 在 FrontierCode 贴近 Fable,公司称同操作点约便宜 64%(基座 Kimi K3 后训)。必须同屏看 Terminal-Bench:2.1 饱和、4.0 大幅落后 Fable/Astra——HN(约 2026-09-10 SWE-2 帖)据此质疑 benchmaxxing / 泛化。这是近两月对「公司自报叙事」最集中的公开质疑点。


定价与成本

公开自助价,来源 https://devin.ai/pricing,核验 2026-10-30(Asia/Shanghai)。Teams 为最低门槛 + 席位另计。

档位公开价计费要点
Free$0有限模型;无限 inline / Tab
Pro$20/月前沿模型 + Devin Cloud;超额按 API 价
Max$200/月显著更高 quota
Teams$80/月起 + $40/满席协作、集中账单;满席含 Desktop
Enterprise协商ACU 计量;SSO/VPC/专属支持

自助:套餐内日/周刷新 quota + 超额美元计价。企业继续用 ACU(Agent Compute Unit),价格为企业协商(Billing 文档)。Fusion 无单独档位,走既有套餐用量。SWE-2 自助促销窗曾覆盖 2026-09 至 10 月中(Desktop/CLI 与 Cloud 截止日不完全相同);勿把促销体感当稳态成本,以定价页实时为准。


真实世界反馈

下表优先近两月信号,并标明来源类型。企业效率倍数几乎全部来自 Cognition 客户页/合作博文(vendor),不能当独立审计。

信号要点类型
AA × The Batch 2026-09Fusion Index 62/59;Fable 配对比 Claude Code 约 −36% $/task独立 harness
HN 2026-09(SWE-2 帖)Cloud 有「翻身」;Desktop 像 thinly-reskinned Windsurf;CLI 评价两极社区轶事
I Like Kill Nerds 2026-09/10SWE-2 daily driver;规格清楚维护票;明确不把长终端任务交给 SWE-2 独走(首篇 · 续篇)博客实测
Catalin Pit 2026-09-22约一周:CLI+SWE-2/Fusion 好;Desktop 忙乱且弱于 CLI(catalins.tech)博客实测
X 2026-09–10同模型 Desktop vs Cloud 体感可差一个数量级;Fusion「set and forget」轶事社区轶事

常见用例形状:迁移与现代化、维护票、写测试、依赖升级后修测、PR Review、DeepWiki 导览。弱适配:模糊产品需求、业务权衡、架构判断、文档不足的内部工具链、需真机验证的移动端。

促销会扭曲体感。2026-09 至 10 月 SWE-2 自助免费或大幅折扣期间,「quota 几乎不动」的帖子偏多;促销结束后应按 list 价或当期折扣重算。


同类定位对比

维度DevinClaude Code / CodexCursor
主交互异步会话 + 沙箱终端结对 / 交互 agentIDE 内联 + agent
团队管理强(席位、后台、API)偏个人/小队席位与编辑器工作流
长任务Cloud 长时间跑强但更会话驱动中等,偏人在环
模型多厂商 + 自研 SWE + Fusion自家前沿为主多模型路由
公开价锚Pro $20 / Max $200订阅/API 另计编辑器订阅档
适合谁清 backlog 的工程团队个人深度结对日常写改代码主力

多数近两月 HN 用户在个人交互工作流上更偏 Claude Code / Codex / Cursor;认可 Devin 的一方强调 team-managed async + sandbox QA + API,而非 raw harness 巅峰。


适用建议

什么时候不要用: 判断即交付物(产品权衡、架构选型)、无验收标准的开放探索、强依赖未文档化内部工具、以及不能接受「假成功」风险的生产热路径——不要全权托付。

值得试点的团队与任务:

  • 有明确 issue 模板、测试或可复现验收的维护型团队
  • 大规模机械迁移 / 依赖升级 / 测试补齐,人只做 review 与边界拍板
  • 需要并行多个 draft PR、并用 Review/Autofix 关环的小队
  • 想用 Fusion(Lead 判断 + Sidekick 执行)控成本,仍要人最终负责合并

落地姿势:小范围 Pro/Teams 试点 → 只丢规格清楚的票 → 优先 Cloud 或 Fusion → 强制人审 → 盯 quota/超额(促销与稳态分开算)→ 两周后看合并率、返工小时与超额。

任务形状上:单测/文档票与机械迁移更适合异步委派;模糊产品需求与热路径架构应人主导或强监督。矩阵式细坐标略去,以上定性足够选型讨论。


结论

把近两个月的 Devin 读成:可订阅的团队异步 coding agent,叠加自研 SWE-2 与 Fusion 降本。Cloud 清规格清楚的票、交 draft PR,有近期博客与社区支持;Desktop / CLI 与 Cloud 体验仍分裂。SWE-2 在公司自报榜上贴近部分前沿分且更便宜,但 Terminal-Bench 4.0 暴露泛化落差。Artificial Analysis 对 Fusion 的独立 harness 测评是近两月最硬的第三方数字,指向接近前沿单模分数、更低任务均价,不等于仓库成功率保证。

近两月公开独立长测仍稀缺。选型依据主要是公司自报、AA harness 组合分、小样本博客与社区轶事。

若只做一件事: 挑十张规格清楚的维护票,开 Pro,优先走 Cloud 或 Fusion,强制人审,两周后看合并率、返工小时与超额。促销期与稳态价分开算。


历史对照(非主证据)

Answer.AI 2025-01 对当时产品做过 20 题实测(成功 3 / 失败 14 / 不确定 3;原文)。近两月无同规模公开复现,不进入当前主结论。


参考来源(近两月优先)

  1. Cognition, Introducing SWE-2(2026-09-10,公司自报)
  2. Cognition, Fusion in Desktop & CLI(2026-09-11,公司自报 + AA/Vals 合作表)
  3. DeepLearning.AI The Batch, One Agent Works, Another Directs(2026-09-25;转述 AA 独立 harness)
  4. Artificial Analysis Coding Agents(第三方 harness)
  5. I Like Kill Nerds, SWE-2 首篇(2026-09-21)· 续篇(2026-10-14,博客实测)
  6. Catalin Pit, Devin AI & SWE-2 First Impressions(2026-09-22,博客实测)
  7. HN, SWE-2 讨论(约 2026-09-10,社区轶事)
  8. Devin Plans and Pricing(2026-10-30 核验)· Billing
  9. Cognition, Devin Fusion(2026-06-29,原理)· Introducing Devin Desktop(2026-06-02)
  10. 历史对照(非主证据):Answer.AI 2025-01-08(n=20,成功 3)