本地LLM

在设计良好的工具中，比你想象的要少。不是改写，不是润色，也不是决定时钟时间或拼写，这些都由规则处理。要求它做的是判断：哪些语气词确实是语气词，句子在哪里断开，目标去处需要什么语气。一份范围很窄的指令，能让小模型把这项工作做好，也让输出可以检查，因为一个从不被允许添加或删除实词的模型，可以测试它是否这样做了。

本地模型会与你的其他App争夺内存，与你的电池争夺电量。重要的工程工作是：让它保持小巧；让它常驻内存，避免冷启动；限制它的运行时可以占用的内存；并给它一个时间预算，回答慢了就直接丢弃，而不是一直等它。在M系列Mac上，整个处理过程不到一秒就能完成，而且绰绰有余。

把转写文本发送到托管模型，换来的是一个更大的模型，代价是一次往返、一份为推理付费的订阅，以及你听写的每一句话都在别人的服务器上留有副本。对于文章格式化来说，更大的模型并不是什么实质性优势；这项任务很小。而往返和副本是实实在在的代价，每次都是。

决定因素有两个：芯片和可用内存。两者都只需一分钟就能检查完，也都不需要额外的软件。

1. 01 选取苹果菜单 →“关于本机”。
2. 02 查找标有“芯片”的项目。在搭载Apple芯片的Mac上，它后面会显示芯片名称。同时记下“内存”的数值。
3. 03 打开“活动监视器”App，然后点按“内存”。
4. 04 在打开你常用的App时，查看窗口底部的“内存压力”图表。它显示内存为你正在运行的内容服务的效率。
5. 05 查看“已使用的交换”。这是启动磁盘上用来在内存和磁盘之间交换未使用文件的空间。
6. 06 如果在添加模型之前，内存压力就已经很高并且正在使用交换空间，本地模型就会和你的App争抢内存。

语言模型是一个由数字组成的大文件，模型运行时，整个文件都必须保存在内存中。不会按需从服务器获取任何内容。模型需要的内存随模型大小增长，所以对于一天要运行很多次的任务，小模型才是实际的选择。

Apple芯片有一项功能在这里很有帮助。MLX是Apple机器学习研究团队推出的机器学习框架，它描述了一种统一内存模型：数组存放在共享内存中，操作可以在任何受支持的设备类型上运行，无需传输数据。简单来说，模型不必在处理器和图形硬件各自的内存之间来回拷贝。

它们做的是不同的工作，会格式化文本的听写工具两者都会用到。语音模型把音频转成文字。语言模型接收这些文字，并决定它们应该怎样书写。Whisper和Parakeet是语音模型，不是LLM。

它们的大小是公开的。OpenAI列出的Whisper从3900万参数的tiny到15.5亿参数的large不等，另有一个8.09亿参数的turbo模型，OpenAI称它是large-v3的优化版本。NVIDIA列出的Parakeet TDT 0.6B v2有6亿参数，用于英文。

这两类模型有一点重叠。Parakeet的模型卡说明，它的转写文本包含自动标点和大小写，所以在任何语言模型看到文本之前，已经有一部分格式化完成了。语言模型只需要处理剩下的判断。