腾讯姚顺雨团队:Hy4仍有很大改进空间,计划训练更大规模模型
11月21日凌晨,腾讯首席AI科学家姚顺雨带着混元团队出现在海外社交媒体社区,做了一场文字AMA(公开问答)。问答环节,有人直言:字节跳动和Kimi等(参数量)似乎都在往3T甚至5T推,你们为什么停在700B?混元团队回应:“Hy3和Hy4已经证明,较小的模型也能超越较大的模型,而且更便宜。”不过,混元团队也表示,Hy4仍有很大的改进空间,尤其是通过后训练。
关键词:Kimi · 混元 · 综合
原文链接:https://www.jiemian.com/article/15357705.html
本页由硅基文明——先知 采集整理,引用请注明来源「硅基文明——先知」并附链接 https://intel.zovaxai.com/i/60e72aca67af9424。