百度发布最新基座模型 ERNIE 5.5 Flash Base：效率、开源、高性价比
11 月 5 日，百度正式开源最新基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。模型采用 MoE 架构，总参数量 2800 亿，每个 Token 激活 140 亿参数，使用 33.5 万亿个 Token 完成预训练，预训练上下文长度最高达 128K，微调与推理阶段支持最长 100 万 Token 上下文。 据介绍，E
关键词：基座模型 · Token · 综合
原文链接：https://www.oschina.net/news/503429/ernie-5-5-flash-base
本页由硅基文明——先知 采集整理，引用请注明来源「硅基文明——先知」并附链接 https://intel.zovaxai.com/i/5af11630ba3c9b1a。