跳到正文

从 Vercel 的 Agent 教程开始:普通开发者怎么做一个能落地的 AI Agent(4):自建能力与平台选型

从 Vercel 的 Agent 教程开始:普通开发者怎么做一个能落地的 AI Agent

  1. 模型、工具与受控执行循环
  2. 用 AI SDK 跑通一个本地客服助手
  3. 从本地 demo 到可恢复的生产任务
  4. 自建能力与平台选型(当前)

选 Agent 平台之前,要先知道准备把哪些责任交给它。模型调用、工具授权、任务恢复、网关与部署宿主可以由不同部件承担。这里用一个订单退款助手,将相同任务拆成可比较的能力,再判断已有平台能替应用维护哪一部分。产品资料复核于 2026-11-02,实际接入仍要固定版本与服务区域。

Agent 框架、网关与任务宿主不能互相代替

先固定一个客服任务

这里用一个设计对照:用户询问订单能否退款,助手读取当前会话允许访问的订单、物流和售后规则,生成处理草稿;涉及退款的写操作等待客服确认,再由受控工具提交结果。比较的是这套任务的能力归属,没有对下列平台做同负载实测。

同步回答只需要请求内的模型与只读工具。等待人工确认或外部系统回调时,HTTP 请求可以先结束,run 仍应保留;恢复后需要知道已查过什么、批准的是哪个操作,以及提交是否已经成功。

对照能力,不把不同层的工具互换

能力 自建时保留什么 可评估的成熟入口
模型与结构化工具调用 参数 schema、实际工具与结果契约 AI SDK、模型厂商 SDK
多模型网关 供应商路由、凭据、预算与观测 LiteLLM、托管 Gateway
图中的状态与人工中断 checkpoint、thread 与恢复位置 LangGraph
长时间可靠执行 事件历史、重试与外部操作边界 Temporal、Workflow
每个会话/对象的状态与连接 实例寻址、状态与实时连接 Cloudflare Agents
业务权限与退款提交 当前操作者、确认内容与幂等键 应用与支付/订单接口共同保证

AI SDK 的 workflow 模式用于组织顺序、路由和反馈步骤;OpenAI Agents SDK提供代码中的 Agent 与工具组织。框架能组织调用,也仍要接上业务工具、身份、存储和部署边界。

LangGraph persistence区分 thread 内 checkpoint 与跨 thread store。Temporal 执行模型则通过持久事件历史恢复工作流,外部动作由 Activity 等边界承接。LiteLLM 网关解决模型入口治理,不自动接管退款状态机。

恢复任务前,先确认外部动作是否已经完成

失败后恢复,先看外部动作做到哪一步

退款提交发生超时时,可能是下游已完成、响应丢失。恢复器应使用相同业务幂等键查询或重试,不能让模型重新生成一次提交就算恢复完成。可以保留下面这组应用字段;它是数据模型示意,不是某个平台的统一格式。

{
  "runId": "refund-run-42",
  "state": "waiting_approval",
  "orderId": "order-42",
  "approvedActionHash": null,
  "idempotencyKey": "refund-order-42-request-7",
  "toolResultRef": null
}

确认时绑定草稿版本或动作摘要,提交前重新检查订单状态和当前权限。进程重启后恢复 run,并不意味着过期授权仍然有效;模型切换也不应改变工具权限。checkpoint、幂等和授权分别保护恢复位置、外部副作用与操作资格。

注入的故障 应观察到的结果
模型超时 有次数与总时长限制;不重复已完成写操作
等待审批时重启 能从持久状态恢复同一草稿和待确认动作
提交成功但响应丢失 用原幂等键确认结果,不新增一笔退款
角色权限在等待期间撤销 恢复后拒绝写操作
人工修改金额 重新绑定确认内容,旧批准不能套用新操作

这些是选型时可实际执行的验收场景,不是本文已经完成的平台测试结果。

同一退款任务怎样核算成本

下面按需要部署和维护的部件拆费用,用于工程估算,不是平台报价或同负载实测。

路线 模型调用以外需要计算什么 等待审批时由谁保存状态
应用服务器 + SDK 服务器、数据库、日志、备份与运维 应用自己保存 run 与动作摘要
图编排或可靠工作流 checkpoint / 事件历史、worker,以及自建或托管服务费用 编排系统保留恢复位置,业务系统保留批准内容
托管 Agent 运行时 会话、执行环境、沙箱、工具、存储与网络的具体计费项 按平台会话契约保存,应用仍核对退款权威结果
额外加入模型网关 自托管资源或托管增值能力、调用日志与出网 网关日志不能替代业务 run

同一个退款任务如果从两轮对话变成十轮工具调用,还可能增加输入上下文、重试和工具费用。等待人工确认时,也要区分只保留持久状态,还是持续占用执行环境。以 Vercel AI Gateway 当前价格说明为例,模型 token 与可选报告、路由治理或 trace 等增值项分开说明;不能仅凭「token 无加价」推导整套 Agent 没有其他成本。

不用 Vercel 时怎么搭

不用 Vercel 时,可以按工程职责寻找对应能力:

  • AI SDK 解决模型调用、stream、工具和结构化输出。可替代方案包括 OpenAI SDK、Anthropic SDK、LangChain、LlamaIndex,或者自写 provider adapter。
  • AI Gateway 解决多模型路由、fallback、日志、成本和统一凭据。可替代方案包括 LiteLLM、OpenRouter 和自建 OpenAI-compatible proxy。
  • Sandbox 解决不可信代码隔离执行。可评估 Docker、gVisor、Firecracker 等隔离机制,或托管代码执行服务;普通 Kubernetes Job 本身不构成不可信代码的完整安全边界。
  • Chat SDK 解决 Slack / Teams / Discord 等平台接入。也可以使用各平台当前官方 SDK,应用自己处理消息、身份映射和事件重试。
  • Connect 解决第三方 API 授权和短期 token。可替代方案包括自建 OAuth 2.0、WorkOS、Auth0 和自建 connector 服务。
  • Workflow SDK 解决长任务持久化、重试和人工等待。Temporal、Cloudflare Workflows 可以作为可靠执行的候选;LangGraph checkpointer 或 BullMQ + 数据库则需要继续核对调度、恢复和外部副作用由谁保证。

如果团队想完全自建,一个可落地的架构可以是:

自建 Agent:请求入口、运行时与支撑能力

自建时可以按需要逐项加入,而不是把所有部件都当成起步条件:

  • 一个 API Server。
  • 一个模型供应商。
  • 几个只读工具。
  • 需要跨请求保存状态时,用 Postgres 记录会话和 run。
  • 任务超出请求生命周期时,用队列运行。
  • 需要执行不可信代码时,配置 Docker 等隔离环境。
  • 需要运维和审计时,提供查看日志、工具调用与成本的后台入口。

平台怎么选

Agent 平台和任务形态选型图

对使用 Next.js 的前端团队,沿 AI SDK、AI Gateway、Sandbox 和 Workflow 开发,可以减少模型入口、隔离执行和长任务等部件的自建工作。采用这些平台能力后,需要接受 Vercel 的定价与限制,尤其是 Sandbox、Connect、Workflow 这些运行时能力。

如果你主要用 OpenAI,并且想在 TypeScript 或 Python 里用 code-first 的方式组织 Agent,可以看 OpenAI Agents SDK。官方文档把它定位成在代码里构建 Agent,支持工具、其他 Agent、跨步骤上下文,以及 tracing、guardrails、handoffs 等能力。它适合应用服务器自己掌握工具实现、状态存储和审批逻辑的场景。

复杂状态机里同时存在确定步骤和模型判断时,LangGraph 更合适。它的强项是把 Agent 编排成图,把确定性逻辑和 LLM 步骤混在同一个可持久化流程里。

如果你已经在 Cloudflare 上,或者想让每个用户 / 会话有自己的有状态 Agent,可以评估 Cloudflare Agents。它以 Durable Object 承载实例,提供状态、WebSocket 与调度能力;选择时要核对实例寻址、生命周期与实际加入的能力。

如果你最关心自建模型网关、统一 key、预算和 provider 路由,LiteLLM 是很现实的选择。它可以作为库用,也可以跑成自托管 proxy。它不替你写完整 Agent,但能把多供应商调用这一层统一掉。

如果你的企业里已经有 Temporal,或者任务天然是多天、多步骤、审批、重试和审计,Temporal 可以做 Agent 背后的流程脊梁。Agent 也可以只是 workflow 里的一个 activity,由工作流系统负责整体控制。

国内平台也要按责任区分:模型 API、画布式应用和托管 Agent 运行时,能替应用承担的工作不同。区域、数据处理、工具出网和采购条件则按具体服务核对,不能仅凭厂商品牌推断:

  • 阿里云百炼 Model Studio:提供智能体和工作流两类应用构建方式,能接知识库、外部工具和记忆。所链接的国际站文档对新加坡应用开发页有存量用户与预览限制,不能把它当成所有区域均可立即开通的承诺。
  • 百度千帆·模型服务及 Agent 开发平台:已有百度智能云资源的团队可以从这个官方文档入口开始,按模型服务与 Agent 开发分别寻找能力,再核对业务工具、人工确认与恢复的具体接入方式。
  • 火山方舟 Managed Agents:控制台可以配置模型、系统提示词、Skills 与工具,创建并测试 Agent 后再将其 ID 接入业务。适合希望把 Agent 配置与运行交给托管服务、由应用连接业务接口的团队。
  • 腾讯云智能体开发平台 ADP:提供 LLM + RAG、Workflow、Multi-agent、知识库、插件广场、连接器与工具。适合企业知识库、业务流程、腾讯云生态和低代码智能体应用。
  • 华为云 AI 原生应用引擎:用户指南分别说明自主规划与工作流模式、知识库和工具接入。已有华为云资源的项目可以先按这些应用入口评估,再核对所在区域的实际产品版本。
  • 智谱 Z Managed Agents:提供云端会话、沙箱、工具执行与事件交互。业务自定义工具仍由应用执行并返回结果。原智能体开发平台文档已标注相关服务下线,选型应看新的托管入口;当前 Beta 的协议和计费需要单独核对。
  • Kimi API 开放平台:提供文本生成、多轮对话、文件解析、联网搜索等能力,兼容 OpenAI API 格式。它首先是模型能力接入,应用仍需安排工具执行、任务状态和审批。
  • MiniMax 开放平台:覆盖文本、多轮对话、语音、视频、图片、音乐、音色管理等能力。它更偏多模态能力平台,适合语音客服、内容生成、视频 Agent 和需要音视频能力的产品。

如果只能先学一条路线,我建议从「普通 HTTP route + AI SDK / OpenAI SDK + 两三个工具 + 数据库记录 run」开始。这个组合最容易看清 Agent 的核心机制:模型怎么选择工具,工具结果怎么回到模型,权限和人工确认怎么插进去。等你真的遇到长任务、复杂图编排或多模型治理,再引入 LangGraph、Temporal、LiteLLM 或 Vercel Gateway 这类基础设施,会比一开始就堆全家桶稳很多。

一个简单选型口径是:

  • 个人 demo / 小产品:AI SDK 或 OpenAI SDK 直接起步。
  • Next.js 产品快速上线:Vercel AI SDK + AI Gateway,按需加 Sandbox 和 Workflow。
  • 多模型、多团队统一治理:LiteLLM 或 Vercel AI Gateway。
  • 复杂 Agent 编排:LangGraph。
  • 边缘、有状态、实时连接:Cloudflare Agents。
  • 长流程和强审计:Temporal 或 Vercel Workflow。
  • OpenAI 模型与代码中的工具编排:OpenAI Agents SDK。

先问你的任务最怕什么:模型供应商失败、工具越权、长任务丢状态、代码执行不安全、成本不可控,还是用户体验不实时。最怕的问题不同,平台选择就会不同。

从已有约束选择最小组合

已有工作流基础设施的团队,可以先复用恢复与调度;已有边缘状态模型的团队,先核对对象生命周期和连接;普通小产品则先保留模型、少量只读工具和可追踪的 run。只有新的失败场景或组织约束出现,再增加独立网关、沙箱或复杂编排。产品能力与价格需要按准备采用的版本重新验收,本文没有用产品清单代替实际接入。