微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
最近更新
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 科技周边 > 人工智能 > 正文

上交大发布推理引擎PowerInfer，其token生成速率仅比A100低18%，或将取代4090成为A100的替代品

WBOY
发布： 2024-01-16 21:27:05
转载
1296人浏览过

为了不改变原意而重写内容，需要将语言重写为中文，不需要出现原句

本网站的编辑部

PowerInfer 的出现使得在消费级硬件上运行 AI 变得更加高效


上海交大团队，刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%


项目地址：https://github.com/SJTU-IPADS/PowerInfer

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%


论文地址：https://ipads.se.sjtu.edu.cn/_media/publications/powerinfer-20231219.pdf

速度有多快？

在运行 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上，PowerInfer 对比 llama.cpp 实现了 11 倍加速！

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%


PowerInfer 和 llama.cpp 都在相同的硬件上运行，并充分利用了 RTX 4090 上的 VRAM。

在单个 NVIDIA RTX 4090 GPU 上的各种 LLM 中，PowerInfer 的平均 token 生成率为 13.20 个 token / 秒，峰值为 29.08 个 token / 秒，仅比顶级服务器级 A100 GPU 低 18%。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

AssemblyAI
AssemblyAI

转录和理解语音的AI模型

AssemblyAI 65
查看详情 AssemblyAI

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%



具体来说，PowerInfer 是一个用于本地部署 LLM 的高速推理引擎。它利用 LLM 推理中的高局部性来设计 GPU-CPU 混合推理引擎。其中热激活（hot-activated）神经元被预加载到 GPU 上以便快速访问，而冷激活（cold-activated）神经元（大部分）则在 CPU 上计算。这种方法显著减少了 GPU 内存需求和 CPU-GPU 数据传输。


PowerInfer 可以在配备单个消费级 GPU 的个人计算机 (PC) 上高速运行大型语言模型 (LLM) 。现在用户可以将 PowerInfer 与 Llama 2 和 Faclon 40B 结合使用，即将支持 Mistral-7B。

PowerInfer 设计的关键是利用 LLM 推理中固有的高度局部性，其特征是神经元激活中的幂律分布。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%


下图 7 展示了 PowerInfer 的架构概述，包括离线和在线组件。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%


这种分布表明，一小部分神经元（称为热神经元）跨输入一致激活，而大多数冷神经元则根据特定输入而变化。PowerInfer 利用这种机制设计了 GPU-CPU 混合推理引擎。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%


PowerInfer 进一步集成了自适应预测器和神经元感知稀疏算子，优化了神经元激活和计算稀疏性的效率。

看到这项研究后，网友激动的表示：单卡 4090 跑 175B 大模型不再是梦。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%


了解更多内容，请查看原论文。

以上就是上交大发布推理引擎PowerInfer，其token生成速率仅比A100低18%，或将取代4090成为A100的替代品的详细内容，更多请关注php中文网其它相关文章！

相关标签：
架构 Token github https llama

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：机器之心网
收藏 点赞
上一篇：家居的未来：探讨 2024 年技术趋势如何改变我们的生活 下一篇：AI未经学习！最新研究揭示了解读人工智能黑盒的方法
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
作者最新文章
最新问题
DEEPSEEK网页打不开_DEEPSEEK网页版无法访问解决方案 首先检查网络连接是否正常，确认设备已联网且信号稳定；接着尝试更换DNS为8.8.8.8和1.1.1.1以解决解析问题；然后清除浏览器缓存与Cookie，并使用隐身模式测试访问；最后通过更换浏览器或设备判断是否为环境局限问题。
2025-11-21 19:05:02
358
豆包网页版AI对话平台_豆包网页版智能助手体验 首先检查网络连接并确保使用稳定Wi-Fi，接着更换Chrome或Safari浏览器并清除缓存数据，然后在账户中心开启AI服务权限，最后通过开发者工具排查错误代码以定位问题。
2025-11-21 19:03:05
242
ai智能写作官网在线入口_ ai智能写作官方网址主页直达 ai智能写作官网在线入口是https://www.biqiai.cn，该平台提供毕业论文、专著教材的一站式生成服务，支持批量任务处理与智能润色，采用深度学习模型确保内容专业高效，并具备简洁易用的界面和完善的用户支持体系。
2025-11-21 19:01:02
419
AI志愿助手怎么查看月度服务总结_AI志愿助手月度报告生成与查看指南 1、登录AI志愿助手APP或小程序，进入【我的】页面查找《本月服务总结》通知；2、若未收到自动推送，可在首页搜索框输入“生成月度报告”手动触发生成；3、已绑定邮箱的用户可检查注册邮箱中来自官方域名的邮件，下载PDF附件查看完整报告。
2025-11-21 18:58:08
979
AI志愿助手怎么上传志愿服务照片_AI志愿助手服务照片上传完整教程 首先登录AI志愿助手账户，进入志愿服务项目详情页，找到上传服务照片入口，选择符合要求的照片提交，并确认上传状态是否成功。
2025-11-21 18:43:02
794
百度AI搜索国际版官方入口 百度AI搜索操作教程详解 百度AI搜索国际版官方入口为https://www.baidu.com/，用户可通过该网址访问平台并使用文字搜索、以图搜图、语音输入及短视频预览等功能；其依托文心一言大模型提供AI拍题、AI生成图像视频、AI写作辅助等智能服务；同时具备个性化推荐机制，涵盖资讯、短剧、小说和短视频等内容，支持账号同步与跨设备使用。
2025-11-21 18:31:02
964
姚安娜回应华为超4千员工开阿维塔：都是懂科技的 11月21日，姚安娜亮相广州国际车展，并在采访中回应了“超4000名华为员工选择阿维塔”的话题。她表示，这些选择阿维塔的员工都是真正热爱科技、理解创新的人群，这种选择是品牌与用户之间的双向奔赴。车展现场特别设置了面向华为员工车主的专属交车仪式，华为智能汽车解决方案BUCEO靳玉志携手姚安娜，共同为华为员工代表交付新车。姚安娜公开信息显示，姚安娜担任阿维塔07全球代言人，曾多次参与该车型的宣传拍摄工作。今年5月22日，她发布了一段在阿维塔工厂“打工”的趣味视频，回顾此次特别体验。视频中提到，她是受
2025-11-21 18:29:47
768
哩布哩布AI历史版本怎么查看_哩布哩布AI作品记录与回溯方法 可通过个人中心、项目分组和筛选功能查看哩布哩布AI的历史作品：1、进入“个人中心”点击“我的作品”查看所有生成记录；2、使用“新建项目”归档系列创作，便于版本对比；3、通过模型、时间范围与关键词筛选快速定位目标版本。
2025-11-21 18:09:16
821
变天了！谷歌 Gemini 3 正式发布，OpenAI 危？ 谷歌于11月19日凌晨正式推出Gemini3系列模型，直接将这一旗舰级AI推向数亿用户，而非局限于实验室环境。此举被外界解读为谷歌在人工智能领域重掌话语权的重要一步——不仅意在追赶领先者，更谋求全面反超。Alphabet首席执行官桑达尔·皮查伊在官方博客中表示，这是谷歌迄今为止最强大的模型，目标是将任何创意快速转化为现实成果。DeepMind负责人DemisHassabis则称其为全球领先的多模态理解系统，同时也是公司史上最强的智能代理与代码生成引擎。与以往不同的是，谷歌此次选择在发布当天就将新
2025-11-21 18:08:02
236
AI视频一键生成免费入口 AI自动剪辑配乐神器 AI视频一键生成免费入口在moki.cn，该平台支持文本/图片生成视频，具备智能配乐、音效、字幕及多轨道剪辑功能，提供动漫、赛博朋克等风格模板，适用于网文短剧与故事绘本类内容创作。
2025-11-21 18:05:02
381
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部