端到端推理时延降低 15%:京东广告联合鲲鹏超节点,探索生成式广告行业新路径
京东广告面临生成式推荐带来的千倍算力需求与300毫秒时延红线之间的尖锐矛盾,真正的瓶颈在通算侧而非GPU。为此,京东与华为鲲鹏合作,通过灵衢互联将四级缓存压成两级,建成300TB共享内存池,并重构RPC通信,使端到端推理时延降低15%,KV Cache和RPC性能大幅提升,经618大促核心场景5%流量验证。双方合作正从广告向搜推等场景外溢,并布局SuperC
关键词:算力 · GPU · 科技 · 消费
原文链接:https://www.tmtpost.com/8181692.html
本页由情报雷达 INFO RADAR 采集整理,引用请注明来源「情报雷达 INFO RADAR」并附链接 https://intel.zovaxai.com/i/83f4d9b646b343ff。