从 Vercel 的 Agent 教程开始:普通开发者怎么做一个能落地的 AI Agent(4):自建能力与平台选型
从 Vercel 的 Agent 教程开始:普通开发者怎么做一个能落地的 AI Agent
- 模型、工具与受控执行循环
- 用 AI SDK 跑通一个本地客服助手
- 从本地 demo 到可恢复的生产任务
- 自建能力与平台选型(当前)
选 Agent 平台之前,要先知道准备把哪些责任交给它。模型调用、工具授权、任务恢复、网关与部署宿主可以由不同部件承担。这里用一个订单退款助手,将相同任务拆成可比较的能力,再判断已有平台能替应用维护哪一部分。产品资料复核于 2026-11-02,实际接入仍要固定版本与服务区域。
先固定一个客服任务
这里用一个设计对照:用户询问订单能否退款,助手读取当前会话允许访问的订单、物流和售后规则,生成处理草稿;涉及退款的写操作等待客服确认,再由受控工具提交结果。比较的是这套任务的能力归属,没有对下列平台做同负载实测。
同步回答只需要请求内的模型与只读工具。等待人工确认或外部系统回调时,HTTP 请求可以先结束,run 仍应保留;恢复后需要知道已查过什么、批准的是哪个操作,以及提交是否已经成功。
对照能力,不把不同层的工具互换
| 能力 | 自建时保留什么 | 可评估的成熟入口 |
|---|---|---|
| 模型与结构化工具调用 | 参数 schema、实际工具与结果契约 | AI SDK、模型厂商 SDK |
| 多模型网关 | 供应商路由、凭据、预算与观测 | LiteLLM、托管 Gateway |
| 图中的状态与人工中断 | checkpoint、thread 与恢复位置 | LangGraph |
| 长时间可靠执行 | 事件历史、重试与外部操作边界 | Temporal、Workflow |
| 每个会话/对象的状态与连接 | 实例寻址、状态与实时连接 | Cloudflare Agents |
| 业务权限与退款提交 | 当前操作者、确认内容与幂等键 | 应用与支付/订单接口共同保证 |
AI SDK 的 workflow 模式用于组织顺序、路由和反馈步骤;OpenAI Agents SDK提供代码中的 Agent 与工具组织。框架能组织调用,也仍要接上业务工具、身份、存储和部署边界。
LangGraph persistence区分 thread 内 checkpoint 与跨 thread store。Temporal 执行模型则通过持久事件历史恢复工作流,外部动作由 Activity 等边界承接。LiteLLM 网关解决模型入口治理,不自动接管退款状态机。
失败后恢复,先看外部动作做到哪一步
退款提交发生超时时,可能是下游已完成、响应丢失。恢复器应使用相同业务幂等键查询或重试,不能让模型重新生成一次提交就算恢复完成。可以保留下面这组应用字段;它是数据模型示意,不是某个平台的统一格式。
{
"runId": "refund-run-42",
"state": "waiting_approval",
"orderId": "order-42",
"approvedActionHash": null,
"idempotencyKey": "refund-order-42-request-7",
"toolResultRef": null
}
确认时绑定草稿版本或动作摘要,提交前重新检查订单状态和当前权限。进程重启后恢复 run,并不意味着过期授权仍然有效;模型切换也不应改变工具权限。checkpoint、幂等和授权分别保护恢复位置、外部副作用与操作资格。
| 注入的故障 | 应观察到的结果 |
|---|---|
| 模型超时 | 有次数与总时长限制;不重复已完成写操作 |
| 等待审批时重启 | 能从持久状态恢复同一草稿和待确认动作 |
| 提交成功但响应丢失 | 用原幂等键确认结果,不新增一笔退款 |
| 角色权限在等待期间撤销 | 恢复后拒绝写操作 |
| 人工修改金额 | 重新绑定确认内容,旧批准不能套用新操作 |
这些是选型时可实际执行的验收场景,不是本文已经完成的平台测试结果。
同一退款任务怎样核算成本
下面按需要部署和维护的部件拆费用,用于工程估算,不是平台报价或同负载实测。
| 路线 | 模型调用以外需要计算什么 | 等待审批时由谁保存状态 |
|---|---|---|
| 应用服务器 + SDK | 服务器、数据库、日志、备份与运维 | 应用自己保存 run 与动作摘要 |
| 图编排或可靠工作流 | checkpoint / 事件历史、worker,以及自建或托管服务费用 | 编排系统保留恢复位置,业务系统保留批准内容 |
| 托管 Agent 运行时 | 会话、执行环境、沙箱、工具、存储与网络的具体计费项 | 按平台会话契约保存,应用仍核对退款权威结果 |
| 额外加入模型网关 | 自托管资源或托管增值能力、调用日志与出网 | 网关日志不能替代业务 run |
同一个退款任务如果从两轮对话变成十轮工具调用,还可能增加输入上下文、重试和工具费用。等待人工确认时,也要区分只保留持久状态,还是持续占用执行环境。以 Vercel AI Gateway 当前价格说明为例,模型 token 与可选报告、路由治理或 trace 等增值项分开说明;不能仅凭「token 无加价」推导整套 Agent 没有其他成本。
不用 Vercel 时怎么搭
不用 Vercel 时,可以按工程职责寻找对应能力:
- AI SDK 解决模型调用、stream、工具和结构化输出。可替代方案包括 OpenAI SDK、Anthropic SDK、LangChain、LlamaIndex,或者自写 provider adapter。
- AI Gateway 解决多模型路由、fallback、日志、成本和统一凭据。可替代方案包括 LiteLLM、OpenRouter 和自建 OpenAI-compatible proxy。
- Sandbox 解决不可信代码隔离执行。可评估 Docker、gVisor、Firecracker 等隔离机制,或托管代码执行服务;普通 Kubernetes Job 本身不构成不可信代码的完整安全边界。
- Chat SDK 解决 Slack / Teams / Discord 等平台接入。也可以使用各平台当前官方 SDK,应用自己处理消息、身份映射和事件重试。
- Connect 解决第三方 API 授权和短期 token。可替代方案包括自建 OAuth 2.0、WorkOS、Auth0 和自建 connector 服务。
- Workflow SDK 解决长任务持久化、重试和人工等待。Temporal、Cloudflare Workflows 可以作为可靠执行的候选;LangGraph checkpointer 或 BullMQ + 数据库则需要继续核对调度、恢复和外部副作用由谁保证。
如果团队想完全自建,一个可落地的架构可以是:
自建时可以按需要逐项加入,而不是把所有部件都当成起步条件:
- 一个 API Server。
- 一个模型供应商。
- 几个只读工具。
- 需要跨请求保存状态时,用 Postgres 记录会话和 run。
- 任务超出请求生命周期时,用队列运行。
- 需要执行不可信代码时,配置 Docker 等隔离环境。
- 需要运维和审计时,提供查看日志、工具调用与成本的后台入口。
平台怎么选
对使用 Next.js 的前端团队,沿 AI SDK、AI Gateway、Sandbox 和 Workflow 开发,可以减少模型入口、隔离执行和长任务等部件的自建工作。采用这些平台能力后,需要接受 Vercel 的定价与限制,尤其是 Sandbox、Connect、Workflow 这些运行时能力。
如果你主要用 OpenAI,并且想在 TypeScript 或 Python 里用 code-first 的方式组织 Agent,可以看 OpenAI Agents SDK。官方文档把它定位成在代码里构建 Agent,支持工具、其他 Agent、跨步骤上下文,以及 tracing、guardrails、handoffs 等能力。它适合应用服务器自己掌握工具实现、状态存储和审批逻辑的场景。
复杂状态机里同时存在确定步骤和模型判断时,LangGraph 更合适。它的强项是把 Agent 编排成图,把确定性逻辑和 LLM 步骤混在同一个可持久化流程里。
如果你已经在 Cloudflare 上,或者想让每个用户 / 会话有自己的有状态 Agent,可以评估 Cloudflare Agents。它以 Durable Object 承载实例,提供状态、WebSocket 与调度能力;选择时要核对实例寻址、生命周期与实际加入的能力。
如果你最关心自建模型网关、统一 key、预算和 provider 路由,LiteLLM 是很现实的选择。它可以作为库用,也可以跑成自托管 proxy。它不替你写完整 Agent,但能把多供应商调用这一层统一掉。
如果你的企业里已经有 Temporal,或者任务天然是多天、多步骤、审批、重试和审计,Temporal 可以做 Agent 背后的流程脊梁。Agent 也可以只是 workflow 里的一个 activity,由工作流系统负责整体控制。
国内平台也要按责任区分:模型 API、画布式应用和托管 Agent 运行时,能替应用承担的工作不同。区域、数据处理、工具出网和采购条件则按具体服务核对,不能仅凭厂商品牌推断:
- 阿里云百炼 Model Studio:提供智能体和工作流两类应用构建方式,能接知识库、外部工具和记忆。所链接的国际站文档对新加坡应用开发页有存量用户与预览限制,不能把它当成所有区域均可立即开通的承诺。
- 百度千帆·模型服务及 Agent 开发平台:已有百度智能云资源的团队可以从这个官方文档入口开始,按模型服务与 Agent 开发分别寻找能力,再核对业务工具、人工确认与恢复的具体接入方式。
- 火山方舟 Managed Agents:控制台可以配置模型、系统提示词、Skills 与工具,创建并测试 Agent 后再将其 ID 接入业务。适合希望把 Agent 配置与运行交给托管服务、由应用连接业务接口的团队。
- 腾讯云智能体开发平台 ADP:提供 LLM + RAG、Workflow、Multi-agent、知识库、插件广场、连接器与工具。适合企业知识库、业务流程、腾讯云生态和低代码智能体应用。
- 华为云 AI 原生应用引擎:用户指南分别说明自主规划与工作流模式、知识库和工具接入。已有华为云资源的项目可以先按这些应用入口评估,再核对所在区域的实际产品版本。
- 智谱 Z Managed Agents:提供云端会话、沙箱、工具执行与事件交互。业务自定义工具仍由应用执行并返回结果。原智能体开发平台文档已标注相关服务下线,选型应看新的托管入口;当前 Beta 的协议和计费需要单独核对。
- Kimi API 开放平台:提供文本生成、多轮对话、文件解析、联网搜索等能力,兼容 OpenAI API 格式。它首先是模型能力接入,应用仍需安排工具执行、任务状态和审批。
- MiniMax 开放平台:覆盖文本、多轮对话、语音、视频、图片、音乐、音色管理等能力。它更偏多模态能力平台,适合语音客服、内容生成、视频 Agent 和需要音视频能力的产品。
如果只能先学一条路线,我建议从「普通 HTTP route + AI SDK / OpenAI SDK + 两三个工具 + 数据库记录 run」开始。这个组合最容易看清 Agent 的核心机制:模型怎么选择工具,工具结果怎么回到模型,权限和人工确认怎么插进去。等你真的遇到长任务、复杂图编排或多模型治理,再引入 LangGraph、Temporal、LiteLLM 或 Vercel Gateway 这类基础设施,会比一开始就堆全家桶稳很多。
一个简单选型口径是:
- 个人 demo / 小产品:AI SDK 或 OpenAI SDK 直接起步。
- Next.js 产品快速上线:Vercel AI SDK + AI Gateway,按需加 Sandbox 和 Workflow。
- 多模型、多团队统一治理:LiteLLM 或 Vercel AI Gateway。
- 复杂 Agent 编排:LangGraph。
- 边缘、有状态、实时连接:Cloudflare Agents。
- 长流程和强审计:Temporal 或 Vercel Workflow。
- OpenAI 模型与代码中的工具编排:OpenAI Agents SDK。
先问你的任务最怕什么:模型供应商失败、工具越权、长任务丢状态、代码执行不安全、成本不可控,还是用户体验不实时。最怕的问题不同,平台选择就会不同。
从已有约束选择最小组合
已有工作流基础设施的团队,可以先复用恢复与调度;已有边缘状态模型的团队,先核对对象生命周期和连接;普通小产品则先保留模型、少量只读工具和可追踪的 run。只有新的失败场景或组织约束出现,再增加独立网关、沙箱或复杂编排。产品能力与价格需要按准备采用的版本重新验收,本文没有用产品清单代替实际接入。