蚂蚁百灵开源7.9B参数轻量级推理模型Ling-3.0-tiny
今日,蚂蚁百灵在HuggingFace平台发布Ling-3.0-tiny模型。该模型为轻量级混合推理MoE架构,总参数量为7.9B,每Token激活1.3B参数。模型提供BF16、FP8和INT4三种权重版本,适配多平台部署需求。其采用混合线性架构,将KDA和MLA按3:1比例交替堆叠,并包含128个路由专家的稀疏MoE前馈网络。Ling-3.0-tiny支持快速响应模式和多步骤推理模式,专为本地部署设计。官方已在英伟达DGXSpark、AppleSiliconMacBook和Macmini等设备上完成验证。在M1ProMacBook上,模型推理速度达86–90Token/s;在8K上下文长度下,峰值内存占用约为8.34GiB。
评论0
最新资讯
相关资讯
请扫码下载网通社客户端
iPhone/iPad客户端
Andriod客户端
手机版 网通社汽车
- 经营许可证:京B-220170585号
- 京ICP备13031706号-2
- 广播电视节目制作许可证06725号
- 京公网安备 11010502058773号
- Copyright© 2012-2026聚众网通(北京)科技有限公司版权所有 未经许可不得转载


选车参谋

车参横评局
选车观测站
车型比价实验室