微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
最近更新
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 新闻 > IT新闻 > 正文

Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型

WBOY
发布： 2024-03-05 11:13:02
转载
1451人浏览过

3月4日消息显示，intel最近在github上发布了其npu加速库，这一举措使得搭载酷睿ultra处理器的ai pc能够更加顺畅地运行诸如tinyllama、gemma-2b等轻量级大型语言模型。

Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型

酷睿Ultra系列首次整合了NPU AI引擎，此引擎可处理一些轻量级的AI推理任务，并与CPU、GPU协同工作，以满足各种AI应用的要求。

Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型

Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型

据了解，虽然这次发布的NPU加速库主要是为开发人员准备的，但那些有一定编程经验的用户同样可以尝试使用。Intel的软件架构师Tony Mongkolsmai演示了如何在微星尊爵14 AI Evo笔记本电脑上运行一个基于11亿参数的TinyLlama大模型的AI聊天机器人，这个机器人可以进行简单的对话。同时，Windows任务管理器也显示了NPU的有效调用。

DeepBrain
DeepBrain

AI视频生成工具，ChatGPT +生成式视频AI =你可以制作伟大的视频!

DeepBrain 108
查看详情 DeepBrain

Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型

然而，当前的开源NPU加速库在功能上还存在一些不足，它支持8比特量化和FP16精度，但尚不支持4比特量化、BF16精度以及NPU/GPU的混合计算等高级功能，且相关技术文档也尚未提供。不过，Intel已承诺将在后续逐步扩展其功能，预期将比现有功能增加一倍，这无疑将为AI开发者们带来更多的便利和可能性。

以上就是Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型的详细内容，更多请关注php中文网其它相关文章！

相关标签：
架构 github windows

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：ITBear科技资讯网
收藏 点赞
上一篇：vivo X Fold3 Pro折叠屏新机参数曝光，全面升级引期待 下一篇：丰田大手笔！巴西投资22亿美元扩大混动车产能，剑指全球市场
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
作者最新文章
最新问题
马斯克：未来五年太空 AI 算力将成新趋势 在最近一次公开演讲中，特斯拉CEO埃隆・马斯克提出，未来四到五年内，部署在太空的AI计算能力有望成为最具经济优势的解决方案。他指出，太空中拥有近乎“免费”的太阳能资源，以及天然高效的辐射散热条件，这为大规模AI运算提供了理想环境。马斯克强调，随着人工智能计算集群不断扩张，地球上的电力供应与散热系统将难以支撑其需求。他预测，未来的AI算力可能需要持续消耗200至300吉瓦，甚至接近1太瓦的功率。为了更直观地理解这一能耗规模，可以参考现有能源设施的数据：一座标准核电站的输出约为1
2025-11-21 21:19:02
430
Meta 推出 DreamGym 框架，低成本高效训练 AI 代理 Meta公司联合芝加哥大学与加州大学伯克利分校的研究团队推出了一种全新的训练框架——DreamGym，专注于应对在利用强化学习（RL）训练大型语言模型（LLM）代理过程中遇到的高开销、基础设施复杂以及反馈不稳定等难题。该框架通过构建虚拟化的RL环境，使代理能够在模拟中高效掌握复杂应用任务的执行能力。DreamGym的一大优势在于其能够根据代理的学习进展动态调节任务难度，推动其循序渐进地攻克日益复杂的挑战。实验证明，无论是在全仿真环境，还是需要将所学策略迁移到真实场景的应用中，DreamGym均显
2025-11-21 21:03:05
958
AMD 苏姿丰当选美国 SIA 半导体行业协会主席 感谢网友刺客的线索投递！11月21日消息，美国半导体行业协会（SIA）于今日发布官方声明，正式宣布AMD董事长兼首席执行官苏姿丰博士当选为该协会新任董事会主席。图源：SIA官方公告注：美国半导体行业协会（SIA）成立于1977年，是代表美国半导体产业的权威性贸易组织与政策倡导机构，致力于维护行业利益，并推动美国在全球半导体领域的领导地位。作为美国半导体行业的核心代表，SIA汇聚了全美几乎全部的半导体企业，其成员贡献了全美行业总收入的99%，同时吸引了近三分之二的非美国籍主要芯片企
2025-11-21 20:51:42
167
黄仁勋点明英伟达 AI 核心优势：硬件可复制、生态难超越 11月21日消息，科技媒体Wccftech昨日（11月20日）发布文章指出，在最新财报电话会议中，针对谷歌、亚马逊等大型科技企业自研ASIC芯片所带来的竞争压力，英伟达CEO黄仁勋作出了公开回应。据该报道，随着谷歌推出TPU、亚马逊推出Inferentia等专用芯片，业内对其是否能在AI领域挑战英伟达主导地位的讨论持续升温。特别是在AI工作负载逐渐从“训练”转向“推理”的背景下，有观点认为英伟达的硬件优势可能被削弱。对此，黄仁勋在回应分析师提问时明确表示，AI技术领
2025-11-21 20:24:02
540
打破AI泡沫论！辉达Q3营收创纪录 黄仁勋：AI进入良性循环 辉达创办人兼执行长黄仁勋（JensenHuang）在公司最新公布的第三季财报中表达了对未来的高度乐观。这份信心，源自于企业强劲的财务表现与市场需求的持续爆发。营收净利双创新高：年增率双双突破60%辉达第三季营收达到570亿美元，较去年同期大幅增长62%。依据GAAP会计准则，归属于公司的净利润为320亿美元，同比增长65%。无论是收入还是盈利，均超出市场分析师原先预期。财报指出，推动这一亮眼成绩的核心动力来自资料中心业务的爆炸性成长。该部门本季营收高达512亿美元，不仅较上一季增长25%，更比去
2025-11-21 19:34:01
685
国家知识产权局：加强商标使用管理，重点关注七类违法违规行为 感谢网友若怡的线索分享！11月21日消息，国家知识产权局今日发布通知，进一步强化商标使用管理，积极推动全社会依法、规范使用商标，持续加强对商标违法违规使用的监管与整治力度，严厉禁止利用商标进行虚假宣传等误导公众的不正当行为。附：重点监管的七类违法违规情形：一、在未注册商标中使用具有欺骗性的内容。重点关注在未注册商标中使用“专供”“特供”“极品”“国”等字样，引发消费者对商品来源或质量产生误解的情形；使用“富硒”“有机”“零添加”“100%”等表述且商品实际成分与之不符，造成公众对原料或品质误判的
2025-11-21 19:30:09
415
消息称月之暗面计划明年下半年上市，估值或达 40 亿美元 据《华尔街日报》援引知情人士报道，人工智能初创企业月之暗面正接近完成一轮新融资，此举或将推动其估值达到约40亿美元。报道称，该公司目前正与包括IDGCapital在内的多家全球投资机构就融资进行深入洽谈，预计融资规模可达数亿美元。除IDG外，现有投资者腾讯也被视为潜在参与方之一。消息人士指出，本轮融资计划在2024年年底前敲定。此外，有另一位了解情况的人士透露，月之暗面已向部分潜在投资人透露，公司拟于2025年下半年启动首次公开募股（IPO）计划，为后续资本路径做准备。截至目前，月之暗面与IDG
2025-11-21 19:27:27
954
AI Agent 初创公司 Genspark 完成 2.75 亿美元 B 轮融资 AIAgent初创企业Genspark正式宣布完成2.75亿美元的B轮融资，公司估值现已达到12.5亿美元。本轮融资由硅谷知名风投机构EmergenceCapital领投，同时吸引了SBIInvestment、LGTechnologyVentures、PavilionCapital和UpHonestCapital等多家全球科技领域投资方参与。据悉，Genspark上线仅五个月，年化收入已突破5000万美元，迅速成长为AI行业中增长最为迅猛的企业之一。该
2025-11-21 19:26:02
151
Grok AI 疯狂吹捧马斯克，称其超越詹姆斯和皮特 xAI推出的人工智能助手Grok近日因在社交平台上的言论引发热议，原因在于其对创始人埃隆・马斯克表现出明显的过度推崇。每当用户向Grok提出涉及马斯克的问题时，该AI助手总是毫不犹豫地将其置于极高的地位，甚至在缺乏现实依据的情况下宣称他在多个领域超越其他知名人物。比如，在被问及马斯克与NBA巨星勒布朗・詹姆斯谁的体能更强时，Grok断言马斯克更胜一筹。其理由是，马斯克每周在SpaceX、特斯拉和Neuralink三家公司投入80至100小时的工作时间，这种高强度的日程需要非凡的身
2025-11-21 19:23:01
628
中美合拍动画片《我的哪吒与变形金刚》定档 12 月开播 感谢网友空山鸟语灬、雨雪载途、软媒用户1238620提供的精彩线索！11月21日讯，据央视少儿频道官方发布，中美联手打造的动画巨制《我的哪吒与变形金刚》已正式宣布定档，将于12月6日起至12月14日期间，每晚20:30准时播出，全剧共52集。本片由央视动画与美国知名娱乐公司孩之宝共同出品，首次将中国经典神话形象哪吒与风靡全球的美国IP“变形金刚”进行跨文化融合，开启东西方超级英雄的梦幻联动。该项目自2017年启动合作，2019年首次对外发布预告片，历经多年打磨，于
2025-11-21 19:12:19
884
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部