← 回總覽

Thinking Machines 发布 Inkling:主打定制微调的 MoE 开源大模型

📅 2026-07-16 06:02 AIGCLINK 人工智能 1 分鐘 1205 字 評分: 87
开源大模型 MoE架构 Inkling Thinking Machines 模型微调
📌 一句话摘要 美国 Thinking Machines 发布首个开源大模型 Inkling,采用 MoE 架构主打定制化微调,配套 Tinker 平台提出「模型不是终点,定制才是」的工程思维路线。 📝 详细摘要 本文深度分析了 Thinking Machines 发布的开源大模型 Inkling:MoE 架构(975B 总参/41B 激活)、1M 上下文、多模态能力,文本推理不屠榜(HLU 29.7%),但主打定制化微调作为差异化路线。技术亮点包括:effort 可调的高效思考、45 万亿 token 多语态预训练、异步 RL 后训练配合 abstention-aware 奖励、sigm

最近这半年多都是中国模型公司在主导开源界,美国开源模型圈相对静悄悄:今天美国公司Thinking Machines算是平地一声雷, 发布了它的首个开源大模型 Inkling让美国开源圈有点沸腾,虽然它不是最强霸榜的,但其主打定制化微调还挺有趣的。 Inkling :MoE 架构,总参 975B、每 token 激活 41B ,1M 上下文,多模态(文本/图像/音频/视频),权重已经上了 Hugging Face,另有一个 Inkling-Small(276B/12B激活)预览版。

官方承认:"Inkling 不是当今最强的模型,无论开源还是闭源,文本上相比于glm 5.2整体还有差距,在design area 排名第9。

跑分上它确实不领先——文本推理 HLE 只有 29.7%(顶级开源 GLM 5.2 是 40.1%,闭源 Claude Fable 5 是 53.3%),AIME 2026 拿了 97.1%,也没到 99% 那一档。

官方的论点是:再强的通用模型,也解决不好很多真实世界的问题,这道差距要靠"用你自己的专有知识去微调"来补,所以 Inkling 不是拿来屠榜的,是拿来当你自己微调的底座——配套的 Tinker 微调平台才是真正的产品。一个实验室罕见地把话说明白了:模型不是终点,定制才是,这倒是挺有工程思维。

技术上有几个值得记的点:

1、高效思考:effort 可调(0.2–0.99),性能随 token 预算 log-linear 上升;在 Terminal Bench 2.1 上,用大约 1/3 的 token 就打平了 Nemotron 3 Ultra。

2、训练:45 万亿 token 多模态预训练,Muon(大矩阵)+ Adam 混合优化,用相对位置编码而非 RoPE(外推更好);后训练是 3000 万+ rollout 的异步 RL,还专门加了 abstention-aware 奖励——教它"不确定就说不知道",校准是它的卖点之一。

3、架构:256 个路由专家 + 2 个共享专家、每 token 激活 6 个,sigmoid 路由 + 无辅助损失负载均衡(DeepSeekMoE 那套)。

最戏剧性的一个 demo:它在 Tinker 上端到端微调了"它自己"。 模型自己写微调目标(一个通篇不用字母 e 的 lipogram)、自己造训练数据、跑了 27 分钟训练、自己评估、自己更新权重,然后真的照做了,最终模型给自己定制——这个画面挺震的。

当所有人都在卷"谁的通用模型最强",Thinking Machines 押的是另一条路:模型只是底座,价值在你用它微调出的那个定制版本。这条路对不对,可能比又一个屠榜分数更值得盯着看。

#Inkling#ThinkingMachines#开放权重#Tinker#MiraMurati

查看原文 → 發佈: 2026-07-16 06:02:02 收錄: 2026-07-16 08:00:09

🤖 問 AI

針對這篇文章提問,AI 會根據文章內容回答。按 Ctrl+Enter 送出。