实验室

主要特点

• 混合专家：25.2B 参数中，每个词激活 3.8B
• 除文本外还能读取图像
• 可开关的推理模式
• Apache 2.0 许可证，因此可完全在本地部署环境中运行

企业可在哪里使用

• 把发票、表单和合同中的字段提取为结构化数据。在我的 24 份文档测试中，它每个字段都答对了，每份文档的中位耗时为 0.89 秒，是我运行的模型中最快的。
• 分层 AI 配置中的第一线分诊，较难的案例上交处理。它是我模型阶梯的第一级，因为它速度快，并通过了我的两项编程检查。
• 数据必须留在公司内部的大批量分类和摘要。它在本地运行，速度大约为每秒 87 至 115 个 token，没有按 token 计费的云端账单。

训练方式

Google DeepMind 把它做成混合专家模型：许多小的专家模块，每个词只用其中几个。我运行的是按这种压缩方式训练的 4 位版本，没有对它做微调。

部署后的学习

不会。权重一经发布就不再改变。

主要特点

• 稠密 27B 模型，采用 Apache 2.0 许可证
• 压缩到每个权重 3.5 位，但压缩模型卡报告在三项基准测试上没有分数损失
• 可选的草稿模型，可加快解码
• 四个版本在相同的测试上直接比较

企业可在哪里使用

• 答案必须每次都正确的数据提取。在我的标准答案集上，每个版本都答对了全部 120 个字段，每份文档耗时 11 至 18 秒。
• 在单台工作站上对内部长文档做推理。压缩版本在 12 GB 以内保持了稠密 27B 的质量。
• 测试模型在失去准确率之前最多能压缩到什么程度。同一模型的四个版本让团队可以在自己的任务上看到每一步的代价。

训练方式

Alibaba 把它训练成稠密模型，每个词都由全部 27B 参数处理。较小的版本是 ISTA-DASLab 随后压缩的，不是我。我并排运行了四个已发布的版本并做了比较。

主要特点

• 内置视觉编码器的 29.6B 稠密模型
• 从 Meta 的一个更大模型蒸馏而来
• 我运行过的所有本地模型中最好的 LiveCodeBench 子集得分
• 每秒约 27 至 29 个 token

企业可在哪里使用

• 需要留在公司内网的更难推理和多步骤规划。在我运行的所有本地模型中，它通过的编程题数量最多，30 题中通过 22 题。
• 需要同时阅读图像和文字的文档或截图审阅。内置图像输入。
• 质量比速度更重要的夜间或批量分析。它的每个提取字段都答对了，每份文档耗时中位数为 32.31 秒。

训练方式

Meta 从自家的更大模型 Muse Spark 蒸馏出了它，所以 30B 的模型才能取得通常只有更大模型才有的分数。我按发布的原样运行，没有训练过它。

主要特点

• 2.3B 有效参数，因此只占用几 GB 内存
• 额外的逐层嵌入，让很少的参数发挥更大作用
• Apache 2.0 许可证
• 在我的测试中仅支持文本

企业可在哪里使用

• 在笔记本电脑或边缘设备上，对短消息做常开的分类或路由。它小而快，不需要网络。
• 一个低成本的预筛查，判断请求是否需要更大的模型。它足够快，可以对每个请求运行，成本几乎为零。
• 为没有网络连接的现场人员提供离线帮助。它小到可以在标准办公笔记本电脑上运行。

训练方式

Google DeepMind 把它做成面向设备的小型稠密模型。我按发布的原样运行，没有训练它。与 26B 的同系列模型相比，在我的运行中它在 30 个编程任务中少完成了 7 个。

主要特点

• 稀疏混合专家：125B 中激活 6B
• Coder 版本裁剪掉一半专家，每个原始参数使用 1.89 位
• 两个版本在我的提取测试中都拿了满分
• 在清理时从我的部署模型集中移除

企业可在哪里使用

• 在单台工作站上获得大模型级别的编程质量。压缩后的 Coder 版本通过了我 30 道编程题中的 18 道。
• 在购买更大的硬件之前测试极端压缩。它能显示前沿规模的模型在你自己的任务上能否经受住大幅裁剪。
• 需要快速出结果的文档提取。它答对了全部 120 个字段，每份文档耗时约 8 至 10 秒。

训练方式

稀疏模型由 Alibaba 训练。Coder 版本由 ISTA-DASLab 通过裁剪一半专家并量化其余部分制成。我运行的是已发布的版本，没有改动权重。

主要特点

• 约 304B 参数，MIT 许可证
• 模型卡上的智能体和终端成绩很强
• 在本地硬件上约每秒 27 个 token
• 已从我的服务组合中弃用

企业可在哪里使用

• 判断前沿规模的开放权重能否私有运行。它展示了这种规模的模型在一台高内存工作站上、在高度压缩下的表现。
• 智能体式终端和自动化任务。厂商报告其 Terminal Bench 2.1 得分为 82.7。
• 需要长推理链的政策或合同分析。大模型、长上下文，以及 MIT 许可证。

训练方式

DeepSeek 将它作为非常大的混合专家模型发布。我按发布的原样运行了压缩版本。限制是速度和内存，而不是质量。

主要特点

• 总参数 30B，激活参数 3B
• 在高难度编程题上每秒 92.56 个 token
• 24 份提取文档中只有 3 份返回了可用的数据
• 在我十月的清理中弃用

企业可在哪里使用

• 不要求严格输出格式的快速聊天式助手。速度是它的长处。
• 说明为什么部署前必须测试格式可靠性。它在编程上表现不错，却仍未通过结构化提取，所以只看一项基准测试永远不够。
• 科学和知识问答。厂商报告其 MMLU Pro 为 81.94。

训练方式

NVIDIA 为吞吐量而设计它。我按发布的原样运行了 4 位版本。在我的测试中，速度是以牺牲结构化输出的可靠性为代价换来的。

主要特点

• 总计 320B，激活 18B
• 极端的 1 位级压缩
• 约每秒 26 个 token
• 高难度编程题没有返回代码块

企业可在哪里使用

• 容量规划：前沿规模的开放权重能否装进工作站硬件。一次实验显示了内存和速度的实际下限。
• 本地部署大模型的可行性研究。它表明 320B 模型可以在本地加载，但要在质量上有所取舍。
• 压缩研究。它是量化能走多远的最坏情况数据点。

训练方式

Z.ai 将它做成非常大的稀疏模型。我运行的是社区发布的、压缩到每个权重约 1 位的版本，按发布的原样使用，以找出极限。

主要特点

• 0.5B 参数，8 位版本
• 全部 25 层都在显卡上
• 用于在较大的任务之前确认概率输出

企业可在哪里使用

• 投入 GPU 时间之前的基础设施冒烟测试。它几秒钟就能加载完，并且能把整套系统都跑一遍。
• 在通用 GPU 上做成本极低的文本分类或格式化。它又小又快。
• 低风险任务的本地部署助手原型。它能在消费级显卡上运行。

训练方式

Alibaba 把它作为小型指令微调模型发布。我只把它用于测试，选它看重的是体积而不是质量，也没有训练过它。

主要特点

• 专注编程的混合专家模型：总参数 80B，激活 3B
• 在本地硬件上每秒约 86 至 94 个 token
• 我默认的本地编程模型
• 完整通过了我的两道编程题

企业可在哪里使用

• 在内部代码库中完成初稿级别的缺陷修复和小功能，由工程师审阅。这是我在代码仓库缺陷修复上最好的本地成绩，63 道 SWE-bench 任务中完成 24 道，速度适合交互式工作。
• 对不能离开公司的代码做代码审查和单元测试生成。它在本地部署环境中运行，并通过了我两道编程题的全部 15 个隐藏测试。
• 迁移和重构类杂务，例如 API 升级和重命名。就其体量而言，它处理工具调用和长文件的表现很好。

训练方式

Alibaba 把它做成专门针对编程和工具调用的混合专家模型。我按发布的原样运行。

部署后的学习

不会。模型本身不会学习。

主要特点

• 面向软件工程智能体的 24B 稠密模型
• Apache 2.0 许可证
• 高难度编程题 8 题全部通过，但简单题只通过 7 题中的 3 题
• 在本地硬件上约每秒 32 至 35 个 token

企业可在哪里使用

• 在大型代码仓库中进行智能体式的代码探索。Mistral 为工具驱动的代码导航而构建它，所以可作为更强编程模型之外的第二意见。
• 一台工作站上的内部编程助手后端。24B 稠密模型可装进单台高内存工作站或大显存 GPU。
• 事实核查类任务，模型必须对错误前提提出反驳。在一次早期的角色测试中，它是唯一拒绝接受错误前提的模型。那只是一次测试，不是基准测试。

训练方式

Mistral 将它训练为面向智能体编程的稠密模型，而不是通用聊天模型。我按发布的原样运行它。

主要特点

• 约 0.96B 参数
• 从页面图像中读取文本、表格、公式和图表
• 在本地硬件上每页耗时中位数为 1.5 秒
• 完全在本地部署环境中运行

企业可在哪里使用

• 将扫描的发票、表单和档案数字化。它足够小，可以在每一页上运行，无需支付云端 OCR 费用。
• 提取模型之前的预处理步骤。它把页面图像转成文本，语言模型就能从中提取字段。
• 页面不能离开内网的受监管文档处理。所有推理都在本地进行。

训练方式

Baidu 把它做成专用的文档阅读器，而不是通用聊天模型，所以它比其他模型小得多。我按发布的原样使用。

主要特点

• 同时接收图像和文本
• 两种规格：30B（激活 3B）和 4B 稠密
• 在本地部署，不调用云端
• Apache 2.0 许可证

企业可在哪里使用

• 为流程自动化智能体读取截图和屏幕状态。图像输入让智能体能看到屏幕。
• 描述产品或文档图像并打标签。它在本地运行，所以图像不会离开内网。
• 回答关于图表和示意图的问题。它为视觉语言任务而设计。

训练方式

Alibaba 在 Qwen3 语言模型上加入了视觉编码器。我按发布的原样使用，没有训练过它。

主要特点

• 读取图像，并带概率地从固定选项中选择
• 8 位版本与全精度给出相同答案的比例是 100 次中 99 次
• 批量运行 11,688 张图像，没有出错
• Apache 2.0 许可证

企业可在哪里使用

• 对大型图像或文档集合进行分类和打标签。我的批次把 11,688 张图像分入 13 个类别，没有出错，速度为每秒 1.30 张图像。
• 视觉质量控制与检验分诊。带概率的选项适合设定通过、不通过和复核的阈值。
• 对用户上传图像的审核。校准后的概率让团队可以自行设定复核阈值。

训练方式

它是 Qwen3.8-27B 上的 LoRA 适配器，在蒸馏出的决策数据集上训练，并由 Atlas3D 合并进 GGUF 版本。我使用的是 8 位版本，它与全精度一致的比例是 100 次中 99 次。4 位版本在 100 次中只有约 93 次一致，所以我避开了它。我需要使用 llama.cpp 中打过补丁的读出功能，没有做任何训练。

主要特点

• Gemma 4 12B 基础模型加合并的微调，Apache 2.0
• 也能处理普通聊天和图像输入
• 在我的 YouTube 早期信号测试中表现出色
• 每个答案耗时中位数 247 毫秒

企业可在哪里使用

• 文本和图像都重要的决策打分。它接受图像输入，而大多数小型决策模型不接受。
• 带明确置信度的校准分诊。它为每个选项返回一个概率。
• 选择决策模型时的对比基线。公开的 JevBench 数字让团队可以用自己的数据来核对它。

训练方式

EldanRing 对 Gemma 4 12B 做了微调，用于类型化决策、聊天和图像输入，GGUF 文件保存的是合并后的结果。我只评测了 8 位版本，没有训练它。

主要特点

• 类型化问题：选择、打分和判断对错
• Large 规格是 Gemma 4 31B 上合并的 LoRA，Apache 2.0
• 还针对越南语做了调优
• Large 和 Medium 在相同的测试上测量

企业可在哪里使用

• 多语言意图和工单分诊。模型卡称针对英语和越南语调优，其他语言的准确率较低。
• 为审核队列对文本做校准打分。它为每个选项返回一个概率。
• 按准确率和延迟选择模型规格。我在相同的测试上测得 Large 为 270 ms，Medium 为 287 ms。

训练方式

它是 Gemma 4 31B，合并了 LoRA 微调，并采用字母读出式的决策提示词，为校准而设计。两种规格我都评测了，都没有训练过。

主要特点

• 不生成文本
• 多任务：分类、路由和打分
• 较新的 v3 增加了图像输入；我测试的是 v2.1
• Apache 2.0 许可证

企业可在哪里使用

• 业务软件内部的路由和分类。它像函数一样被调用，并返回一个概率。
• 基于早期信号的内容打分。4B v2.1 模型在我的 YouTube 早期信号测试中达到 0.9624 AUC。
• 对大批量文本做低延迟筛查。我测得 2B 的中位数为 43.2 ms，4B 为 86.4 ms。

训练方式

两个模型都是小型 Qwen3.5 基础模型，针对类型化的一次前向计算决策训练。它们是通才，未能迁移到我的 Hacker News 测试上。我评测了它们，没有训练它们。

主要特点

• 每个问题 2 至 16 个选项
• 一次前向计算，不生成 token
• 用单个拟合的温度参数做校准
• Apache 2.0 许可证

企业可在哪里使用

• 带证据的选择题决策，例如案件审查和政策查询。它为证据加选项的场景而设计。
• 在通用 GPU 上快速完成经过校准的分诊。模型卡报告在消费级显卡上中位数约为 28 ms。
• 基础决策模型把握不大的高难度案例。训练时加大了困难题和不确定题的权重。

训练方式

它是在一个基础决策模型上，用 Qwen3.8-27B 编写并复核的困难案例微调而成，错误或不确定的问题被加大了权重。训练集来自较弱模型答错的案例。我评测了它，没有训练它。

主要特点

• Qwen3.5-2B-Base 上的 LoRA 适配器
• 在约 30 个公开分类数据集上训练
• Apache 2.0 许可证
• 在我的测试中中位数为 42.3 ms

企业可在哪里使用

• 对客户消息做意图、情感和主题分类。它的训练数据涵盖这些任务。
• 垃圾信息和滥用内容筛查。模型卡列出训练中包含垃圾信息和仇恨言论数据集。
• 低成本的文本标注初筛。它在我的测试中速度很快，中位数为 42.3 ms。

训练方式

它是 Qwen3.5 2B 基础模型上的 LoRA 适配器，覆盖许多小型公开任务：重广度而非深度。我评测了它，没有训练它。

主要特点

• 从不生成文本，因此无需解析
• 最多读取 8,192 个 token
• 100 多种语言
• 我比较过的模型中最快：中位数 16.1 ms

企业可在哪里使用

• 多语言的工单和邮件路由。模型卡称它覆盖 100 多种语言。
• 审核与护栏检查。一次前向计算，没有需要解析的文本，延迟很低。
• 超大批量的打分和分类。在我的测试中，它的中位数为 16.1 ms。

训练方式

它通过针对恰当评分规则的强化学习进行训练，因此得到奖励的是校准良好，而不只是与标签一致。我评测了它，没有训练它。

主要特点

• 找出所描述时刻的开始和结束时间
• 回答关于视频的选择题
• 我的 llama.cpp 移植版在题目上与 PyTorch 原版的一致度为 0.99991
• 擅长视觉事件，不擅长读取屏幕上的小字

企业可在哪里使用

• 在培训、会议或通话档案中搜索某个话题出现的时刻。它针对一个普通英语查询返回时间范围。
• 对已制作视频做质量检查：剪辑是否呈现了脚本所写的内容。在一段 43.7 秒的测试视频上，它定位了 12 个时刻中的 11 个，并答对了 4 道题中的 4 道。
• 为长屏幕录像自动划分章节。它能很好地找到视觉事件，但会漏掉只以文字形式存在的线索。

训练方式

Nanjing University 对 Qwen3.5-4B 做了微调，使它直接给时间范围和答案打分，而不是描述视频。我把它转换成 GGUF，编写了自己的 llama.cpp 打分驱动程序，并对照 PyTorch 原版做了检查。我没有训练它。

主要特点

• 托管服务，没有本地权重
• 我的级联中的最高层：先本地，再 Codex，最后 Claude
• 较便宜的层级用于子智能体；最强的只用于最终审查
• 推理、编程和长上下文工作

企业可在哪里使用

• 对代码、政策或文档做最后阶段的审查和决策支持。它能力最强，放在较便宜流程的末端。
• 复杂的多步骤工程与分析。我在测试中把它用于最难的任务。
• 编排较便宜的本地模型。它充当控制者和检查者。本地模型可以判定工作不合格，但绝不能批准工作。

训练方式

Anthropic 将它作为封闭的托管服务来训练和运行，没有发布模型卡。我通过订阅使用它，不做任何改动。

部署后的学习

该模型不会从我的数据中学习。

主要特点

• 托管的编程智能体
• 我的级联中的第二级，在本地模型之后
• 用作独立审查者
• 在本地模型失败之后，解决了 150 个 SWE-bench Verified 任务中的 58 个

企业可在哪里使用

• 超出本地模型能力的代码修改和审查。它位于免费的本地推理和最昂贵的层级之间。
• 对模型所写代码的独立第二意见。不同的厂商会发现不同的错误。
• 自动化代码仓库维护。它是一个带工具的智能体。

训练方式

OpenAI 将它作为封闭的托管服务来训练和运行。我把它当作服务使用，不做任何改动。

部署后的学习

该模型不会从我的数据中学习。

主要特点

• 700 万参数，单个 2 层网络
• 在重复循环中改进隐藏的答案
• 就其体量而言，报告的解谜分数很高（见准确率）
• 它是解谜器，不是语言模型

企业可在哪里使用

• 极小设备上的嵌入式推理。700 万参数几乎可以放进任何地方。
• 谜题和约束求解研究，例如排程和类数独逻辑。论文的结果来自数独、迷宫和 ARC 谜题。
• 理解推理的成本下限。它与规模优先的策略形成对照。

训练方式

作者用小型谜题集从头训练它，采用递归推理，并在每次循环中施加监督。这与大型语言模型很不相同，后者从海量文本中学习，并把推理过程写出来。我只读过论文，没有运行过。

主要特点

• 0.6B 参数，基于 Qwen3-0.6B
• 通过给各选项打分来决定游戏走法
• 在它自己的测试游戏中结果参差不齐
• 我所知道的最小的 Jev 式模型

企业可在哪里使用

• 微型硬件上的实时控制决策。它体积很小，速度很快。
• 仿真和训练环境。它为类似游戏的状态而设计。
• 研究决策模型最小可以做到多小。参差不齐的结果显示了极限在哪里。

训练方式

它是 Qwen3-0.6B 针对游戏决策的微调版本。我只读过模型卡，没有运行过。