首页 > 新闻 > IT新闻 > 正文

阿里通义发布下一代基础模型架构 Qwen3-Next

聖光之護
发布: 2025-09-12 13:02:01
原创
267人浏览过

阿里通义qwen团队近日推出了全新一代基础模型架构qwen3-next,并正式开源了基于此架构的qwen3-next-80b-a3b系列模型。

阿里通义发布下一代基础模型架构 Qwen3-Next

据悉,该架构在前代Qwen3的MoE结构基础上实现了多项关键升级,主要包括:

  • 引入混合注意力机制
  • 采用高稀疏度的MoE结构
  • 集成多项有助于训练稳定的优化技术
  • 加入提升推理效率的多token预测能力

Qwen3-Next被视为即将发布的Qwen3.5模型的前瞻版本,致力于增强大模型在超长上下文处理和大规模参数扩展下的训练与推理表现。这一新架构充分体现了未来大模型发展的两大核心方向:上下文长度扩展(Context Length Scaling)与总参数量扩展(Total Parameter Scaling)。

其核心模型结构为“Gated DeltaNet + Gated Attention”:

阿里通义发布下一代基础模型架构 Qwen3-Next

通义灵码
通义灵码

阿里云出品的一款基于通义大模型的智能编码辅助工具,提供代码智能生成、研发智能问答能力

通义灵码 31
查看详情 通义灵码

其中,Qwen3-Next-80B-A3B-Base模型具备800亿总参数,但每次推理仅激活约30亿参数,在性能上已达到甚至略微超越Qwen3-32B的dense模型水平,而训练成本却不到后者的十分之一。

阿里通义发布下一代基础模型架构 Qwen3-Next

阿里通义发布下一代基础模型架构 Qwen3-Next

快速体验入口:https://www.php.cn/link/6a12f708b55e1bfdd870fc3ed6292b1b
GitHub项目地址:https://www.php.cn/link/ee955e252af3c85e66e15864e31174fe
HuggingFace资源页:https://www.php.cn/link/ada67ce42f7e51433fdc45e523f90ff7
ModelScope魔搭平台:https://www.php.cn/link/66ecb6b5c02ae7cd2d14d4da82e54feb
阿里云百炼平台:https://www.php.cn/link/1f2733934120eee94d6f3a7df9ed85b1 搜索Qwen3-Next即可使用

源码下载地址:点击获取

以上就是阿里通义发布下一代基础模型架构 Qwen3-Next的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号