每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型
IT之家 11 月 17 日消息,科技媒体 Gigazine 今天(11 月 17 日)发布博文, 报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token) ,且无需联网即可完成
关键词:大语言模型 · LLM · Token · 综合
原文链接:https://www.ithome.com/1/028/266.htm
本页由硅基文明——先知 采集整理,引用请注明来源「硅基文明——先知」并附链接 https://intel.zovaxai.com/i/a7d7f5326db679dc。