AlloyDB 推出代理模型，用数据库本地推理替代外部大模型调用

📌 一句话摘要

谷歌 AlloyDB 推出代理模型架构，通过查询时模型蒸馏将大模型判断逻辑本地化，实现数据库原生速度的 AI 推理，吞吐量最高提升 23000 倍。

📝 详细摘要

谷歌宣布 AlloyDB AI 函数正式可用，并推出智能批处理与代理模型两项加速技术。文章重点解析了代理模型的架构创新：数据库通过 PREPARE 语句将样本数据发送至大模型，训练一个轻量级本地代理模型，随后在本地以数据库原生速度执行 AI 推理查询，将大模型从运行时依赖转变为训练依据。内部测试数据显示，智能批处理吞吐量提升 2400 倍，代理模型提升 23000 倍，成本降至 1/6000。文章同时指出，这些数据基于特定场景的内部测试，从业者应基于自身业务负载进行基准测试。此外，AlloyDB 还推出了托管 MCP 服务器，结合向量搜索能力，旨在将结构化查询、语义搜索与 LLM 分析统一在同一 SQL 层中。

💡 主要观点

- 代理模型是架构层面的突破，将大模型从运行时依赖转变为训练依据。 AlloyDB 通过 PREPARE 语句用样本数据训练本地代理模型，执行查询时不再远程调用大模型，而是以数据库原生速度完成推理，从根本上改变了数据库与 LLM 的交互模式。

智能批处理通过合并请求显著提升吞吐量，但代理模型的提升更为巨大。 智能批处理将多行数据合并为单次模型调用，减少重复传输系统提示词的开销，吞吐量提升 2400 倍；代理模型则实现了 23000 倍的吞吐量提升和 1/6000 的成本降低。

官方公布的性能数据有严格限定条件，从业者需自行验证。 23000 倍提升和 1/6000 成本降低的数据仅来自内部测试，且仅适用于预览阶段的 ai.if 函数，不代表所有 AI 函数的通用性能，生产环境选型前必须进行基于真实负载的基准测试。

AlloyDB 正将自身打造为 AI 时代的统一数据平台。 通过集成 AI 函数、向量搜索和托管的 MCP 服务器，AlloyDB 试图在兼容 PostgreSQL 的单一 SQL 层中融合结构化查询、语义搜索和 LLM 驱动的分析能力。

💬 文章金句

- 应当把它们视作受治理的数据库扩展能力，而不是万能的 WHERE 子句。

📊 文章信息

AI 初评：87

来源：InfoQ 中文

作者：InfoQ 中文

分类：人工智能

语言：中文

阅读时间：8 分钟

字数：1974

标签： AI 产品与应用, LLM, 数据库, AI 工作流, 模型蒸馏

阅读完整文章