开源跨平台大模型工具 Ollama 发布 0.11.9-rc0 测试版

Ollama 团队最近推出了 0.11.9-rc0 版本的测试更新，重点优化了 CPU 与 GPU 的并行处理能力。本次升级引入了一种全新的任务调度机制，允许 GPU 在执行当前计算批次的同时，CPU 提前准备下一个批次的数据，从而显著降低 GPU 等待时间，提升多平台下大语言模型运行的整体效率。

实际测试数据显示，在 macOS 的 Metal 架构环境下，token 生成速度提升了约 2–3%；而在搭载 GeForce RTX 4090 的设备上，性能提升幅度达到约 7%。

此次更新还解决了 AMD 显卡无法被正确识别的问题，并修复了在 macOS 与 Linux 系统中因异常未捕获而导致的程序崩溃问题，进一步增强了跨平台的稳定性和硬件兼容性。这意味着 ollama 在本地运行大模型时将更加高效且可靠。

核心性能改进

• 实现了新的执行流程：通过后台并发构建下一轮计算图，使 CPU 与 GPU 的工作重叠进行，有效减少 GPU 处于空闲等待的状态，提高整体吞吐量。

  

  360智图

  AI驱动的图片版权查询平台

  143

  查看详情

• 此项优化由 VMware 工程师 Daniel Hiltgen 主导，他在 Pull Request 中提到：

  “这次重构了 ollama 的主运行循环，将主要的 GPU 密集型操作（如 Compute+Floats）移至 Go 协程中执行，从而实现与下一批任务准备工作的并行化，减少 GPU 停顿。” “在 macOS 的 metal 后端测试中，token 输出速度提升了 2–3%；单块 GeForce RTX 4090 上则实现了约 7% 的性能增长。”

其他更新内容

• 修复了部分 AMD GPU 无法识别所引发的错误，改善了对 AMD 显卡的支持。
• 修复了若干导致 macOS 和 Linux 平台出现崩溃的未处理异常，增强了系统稳定性。

下载地址：https://www.php.cn/link/11b53f23ad385f735495083c7327faf9

源码地址：点击下载

以上就是开源跨平台大模型工具 Ollama 发布 0.11.9-rc0 测试版的详细内容，更多请关注php中文网其它相关文章！