Apple 的 iOS 26.4 更新引入了新的 API 和策略，用于管理其端侧基础模型 4096 token 的上下文窗口。
📝 详细摘要
本文详细介绍了 iOS 26.4 中针对 Apple 基础模型的改进，重点关注端侧 AI 的限制。由于限制为 4096 token，开发者必须将上下文视为稀缺资源，类似于低资源系统中的内存。contextSize 等新属性和 tokenCount(for:) 等方法允许进行动态 token 记账，而无需硬编码限制。文章还强调了工具调用 (tool calling) 带来的隐藏 token 成本，并提供了针对上下文溢出错误的恢复策略，例如会话重新初始化、提示词修剪以及对旧版本操作系统的向后部署支持。
💡 主要观点
-
新的 API 支持动态上下文和 token 记账。
contextSize 和 tokenCount(for:) 的引入使应用程序能够动态适应上下文限制，而不是使用硬编码值，从而促进了更好的资源管理。
.exceededContextWindowSize 错误时，开发者必须重新初始化会话，并采用提示词修剪或摘要等策略来维护用户体验。
💬 文章金句
- 这鼓励将上下文窗口视为一种受限资源，需要像管理低资源系统中的内存一样主动管理它，以优化其使用。
- 当你使用工具时，它们的定义（名称、描述和参数模式）会被序列化并与你的指令一起发送。这会显著增加 token 数量。
- 为了从这个错误中恢复，开发者需要启动一个新的会话并重新初始化其状态，以便在不损害用户体验的情况下有效地继续现有的工作流程。
📊 文章信息
AI 评分：84
来源：InfoQ
作者：Sergio De Simone
分类：人工智能
语言：英文
阅读时间：2 分钟
字数：431
标签： Apple 基础模型, iOS 26.4, 上下文窗口, Token 管理, 端侧 AI