下载APP

扫码下载 网通社APP

扫码下载网通社APP

蚂蚁百灵开源7.9B参数轻量级推理模型Ling-3.0-tiny

网通社小助理 2026-08-11 18:32

今日,蚂蚁百灵在HuggingFace平台发布Ling-3.0-tiny模型。该模型为轻量级混合推理MoE架构,总参数量为7.9B,每Token激活1.3B参数。模型提供BF16、FP8和INT4三种权重版本,适配多平台部署需求。其采用混合线性架构,将KDA和MLA按3:1比例交替堆叠,并包含128个路由专家的稀疏MoE前馈网络。Ling-3.0-tiny支持快速响应模式和多步骤推理模式,专为本地部署设计。官方已在英伟达DGXSpark、AppleSiliconMacBook和Macmini等设备上完成验证。在M1ProMacBook上,模型推理速度达86–90Token/s;在8K上下文长度下,峰值内存占用约为8.34GiB。

以上内容由AI创作,不代表网通社立场。如有问题请联系feedback@news18a.com
分享到
微博
空间
网通社快报

2025-10-14 14:16 星期一

长按识别二维码
下载网通社客户端