AI 模型

大多数人通过某家公司运营的一个聊天窗口接触 AI。开源模型如今已好到可以在桌面上运行，它们能让数据留在内部，在你已有的硬件上运行成本很低，还能被详细检查。然而，很少有团队在自己的工作上测试过它们，所以选择往往基于供应商的说法。

难点在于，每个模型擅长的事不同，而基准测试表很少说明是哪一件。写出干净代码的模型可能很慢，速度快的模型则可能编造本该拒绝的答案。模型还会随量化（它所运行的压缩文件）而变化，所以同一个名字可能给出两种不同的结果。

因此，我在自己的机器上运行开源模型，由 llama.cpp 以 GGUF 文件提供服务，云端则有 Claude 和 Codex 与之并列。多数模型都有一项在测试中赢得的工作，例如编码、提取或推理，而两个视觉模型仍在试用中。下面每张卡片都会说明我会把这个模型用于什么，以及我还会测试什么。下载过但从未运行的模型不列入。

我也做微调。我的 Kev 检查点遵循 Jared Palmer 的开源方案，建立在一个开源基础模型上；方案是 Palmer 的，检查点是我自己的。无论由哪个模型完成工作，判定结果的是一项简单的测试，而不是模型。

对于需要选择模型的人，要点是先在你自己的工作上测试它，并且只在它凭本事赢得位置期间才保留它。