您现在的位置:新闻首页>财经 > 阿里发布下一代基础模型架构Qwen3-Next

阿里发布下一代基础模型架构Qwen3-Next

发布时间:2025-09-12 08:31编辑:admin已有: 人阅读


  阿里发布了下一代基础模型架构Qwen3-Next,并开源了基于该架构的Qwen3-Next-80B-A3B系列模型。

  据介绍,该结构相比Qwen3的MoE模型结构,进行了以下核心改进:混合注意力机制、高稀疏度MoE结构、一系列训练稳定友好的优化,以及提升推理效率的多token预测机制。Qwen3-Next-80B-A3B-Base模型拥有800亿参数,激活参数仅30亿,实现了与Qwen3-32B dense模型相近甚至略好的性能,而训练成本仅为Qwen3-32B的十分之一不到。


已推荐





图说新闻

更多>>
联想价格合理的新型24英寸游戏显示器配有手机支

联想价格合理的新型24英寸游戏显示器配有手机支