中信证券:看好DeepSeek新一代模型带动云端推理需求爆发,加速AI应用端侧落地

hmseo123 教育 2025-02-15 1 0

  炒股就看金麒麟分析师研报 ,权威,专业,及时 ,全面,助您挖掘潜力主题机会!

  中信证券研究 文|徐涛  杨泽原  雷俊成  王子源  夏胤磊  程子盈

  DeepSeek通过工程化能力创新,实现了大模型训练和推理算力成本的极致优化 ,也为端侧部署高性能模型提供新的方向。本篇报告我们通过分析DeepSeek V3和R1模型论文,理解其核心逻辑是“按需分配算力,最小化冗余计算” ,使得千亿级模型在低成本硬件(甚至边缘设备)上高效运行成为可能 ,为大规模商业化落地提供了技术基础 。我们看好DeepSeek新一代模型带动云端推理需求爆发,加速AI应用端侧落地:建议核心关注晶圆代工、国产算力芯片 、定制化存储、终端品牌、SoC五大方向。

  ▍DeepSeek如何实现的训练成本降低?

  1)架构创新: DeepSeek-V3的基础架构中采用了DeepSeekMoE专家架构和MLA多头潜在注意力机制,DeepSeekMoE通过细粒度专家分配 、共享专家及无辅助损失负载均衡策略优化传统MoE ,提升计算资源效率;MLA通过低秩联合压缩减少注意力键值缓存占用,提升计算效率、减少内存消耗。

  2)FP8混合精度训练:在全球主流大模型中率先采用FP8低精度数据进行大规模训练,大部分核心计算用FP8提升速度、降低内存用量 ,部分关键操作保留高精度确保动态稳定性 。

  3)训练工程优化:DeepSeek在主流大模型中率先采用硬盘充当输入端缓存,设计DualPipe算法实现高效流水线并行,融合前后向通信阶段 ,减少阻塞;采用定制化高效跨节点all-to-all通信内核降低通信开销;通过重计算 、EMA、共享向量和输出头减少内存占用。

  4)数据策略优化:应用多token预测机制MTP,增加训练信号密度,减少20%训练迭代次数 ,帮助模型捕捉长距离依赖关系。

  ▍DeepSeek如何实现的推理成本降低?

  DeepSeek-V3对推理的预填充和解码两个阶段都优化了专家使用效率:预填充阶段MoE用EP32及冗余专家策略提升效率,解码阶段探索动态路由减少通信开销;还通过支持FP8、INT8量化和提供蒸馏版本,实现低精度量化与模型压缩 ,减少显存占用 。DeepSeek的开源生态可以更好支持硬件厂商适配 ,例如可以对MLA算子优化提升推理效率,DeepSeek-R1发布后国内外芯片厂商快速响应支持DeepSeek。1月25日,AMD宣布已将新的DeepSeek-V3集成到Instinct MI300X GPU上并经过SGLang对推理过程进行了优化 ,英伟达 、英特尔也随后在1月31日官宣支持。国内厂商都已经官宣完成对DeepSeek的适配,国产算力成为相对稳定可靠的选项,支撑国产大模型从研发走向商业化 。

  ▍从DeepSeek算力需求看AI芯片设计方向?

  DeepSeek 在论文的芯片设计意见指导中指出通信和计算同等重要 ,计算方面降低精度和内存需求是关键 。在通信硬件优化上,DeepSeek建议开发独立通信协处理器,实现计算与通信物理分离 ,同时建议融合网络架构,统一IB和 NVLink的网络协议栈,统一通信接口以简化编程复杂度和降低通信延迟;在计算硬件优化上 ,建议提升 FP8 计算精度,并支持分块量化与在线量化,减少访存开销 ,提升推理效率。我们认为DeepSeek建议带来两点启示:

  1)“推理速度 ”基本90%是由decoding阶段决定的 ,因此内存容量决定大模型推理速度,我们认为内存升级仍是算力芯片升级的重点方向,看好近存计算发展。

  2)我们认为在模型开源的策略下 ,DeepSeek-R1蒸馏后的小模型性能有望持续快速提升,帮助端侧硬件加速接入,助力AI应用全面落地 。我们看好品牌商和SoC芯片厂商的成长机遇。

  ▍风险因素:

  算力芯片供应链风险;芯片产能供给不足的风险;互联网大厂资本开支不及预期;相关产业政策出台力度不及预期;AI技术及应用发展不及预期;芯片技术迭代不及预期;国产先进制程量产进展不及预期;行业竞争加剧等。

  ▍投资策略:

  我们看好DeepSeek新一代模型带动云端推理需求爆发 ,加速AI应用端侧落地:

  1)云端:DeepSeek有望开启全新的Scaling Law,模型重心逐步从预训练切换到强化学习 、推理阶段,助力算力需求持续增长 。

  2)终端:我们看好DeepSeek带来模型轻量化的全面升级 ,端侧硬件接入有望加速爆发,助力AI应用全面落地,建议关注品牌厂商 ,SoC芯片厂商。

「活动」注册就送新人大礼包

84.29MB
版本V9.84.14
下载正版资料免费大全2019下载安装苹果13手机安装你想要的应用 更方便 更快捷 发现更多
喜欢 18%好评(87人)
评论 40
0 1 2 3 4
详细信息
  • 软件大小: 81.23MB
  • 最后更新: 2024-09-16 18:34:53
  • 最新版本: V8.28.17
  • 文件格式: apk
  • 应用分类:ios-Android 环境污染相关的资料
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.41以上
应用介绍
一,正版权威资料大全挂牌,香港正版资料大全软件评价下载
二,高手论坛免费资料库官网,澳门免费资料大全集24码
三,香港第115期资料查询图大全图片及价格,2024年澳门资料大全正版资料免费60期
四,246免费资料大全正版资料版全年版,恢复49图库资料49
五,香港惠泽群社免费资料官网查询网站下载安装,香港综合资料权威资料网站有哪些
六,正版资料及权威资料网站大全,关于澳门的相关资料大全及图片高清版
七,2020年香港 六 合 资料总站,内部资料不得外传可以公开吗对吗知乎文章

【联系我们】
客服热线:139-8888-666
加载更多
版本更新
V1.22.17
正版资料一句中特诗,搜索关于香港的资料有哪些网站呢

猜你喜欢

包含 饿了么 的应用集
评论
  • 4天前
    2021年东方心经正版第113期资料
  • 香港最准内部资料新闻报道 7天前
    香港资料图库在哪里可以找到呢视频播放器
  • 澳门第145期资料开奖结果查询表下载手机版官网 7天前
    资料书正版与盗版的区别图片大全集高清图下载
  • 澳门第145期资料开奖记录图片大全及价格表查询下载 6天前
    刘伯温全年资料大全集
  • 免费资料大全2019年专注 2天前
    精准资料免费提供什么意思呀英语
  • 高手论坛免费资料公开版 4天前
    关于澳门的资料简介150字左右怎么写呀图片
  • 澳955 5天前
    九龙高手心水资料论坛
  • 澳门140期资料开奖结果查询表格图片大全下载 4天前
    彩民之家资料图 正版查询
  • 澳门必出一肖一码100准资料 4天前
    香港最准内部资料新闻报道网官网查询下载
  • 曾道资料大全2020 9天前
    二中二平码免费公开综合资料