智算业务结合deepseek机会点分析
2025-02-05 16:08:42 8 举报
AI智能生成
deepseek机会分析,有助于解决方案、投资分析
作者其他创作
大纲/内容
机会点总览
部署模型,升级解决方案机会
deepseek重点探索模型,官网服务能力弱,经常崩溃。为云厂商(阿里、华为、腾讯、火山已经部署)提供机会,包括我们可以部署并提供模型层解决方案服务
内部消息:团队放弃了很多方向,如安全、多模态等,方向极度聚焦
行业定制化模型应用
推理需求增加
价格更低、效果更好,导致用户数增加、场景增加、使用频率增加,导致潜在客户增加,推理卡需求增加
国产化替代方案需求增加
除了NVDA的CUDA,华为Ascend也支持了deepseek
Deepseek本身基于CUDA,所以Ascend的使用效率需要更多时间来验证
部分行业有井喷潜力(互联网、互联网化的 B2C/B2B2C公司)
Deepseek在应用侧的突出贡献是降低C端使用成本
deepseek背景信息
定位:Deepseek是从base model 改进得到的(更加高效),还是遵循Scaling Law(算力资源需要依然会不断提高),不会对云和智算提供方有竞争,上下游生态不会改变。
更高效的技术路线:基于混合专家(MoE)架构,总参数量达到 6710 亿,每个 token 激活 37 亿参数。
核心竞争力:GRPO,工程化门道比较多,很多大厂尝试但没有突破,暂不展开讨论
架构创新:采用多头潜在注意力(MLA)机制,通过低秩联合压缩,减少键值(KV)缓存需求,提升推理效率。
Ref: https://blog.csdn.net/qq_42257666/article/details/144418291?utm_source=chatgpt.com
训练效率与成本的优化
使用FP8混合精度训练,通过将模型参数和梯度表示为8位浮点数来减少内存占用和计算量。
Ref: https://blog.csdn.net/qq_42257666/article/details/144418291?utm_source=chatgpt.com
训练数据优化
使用 14.8 万亿个高质量、多样化的 token 进行训练,覆盖广泛的领域和任务。
计算效率优化
训练成本仅为 557 万美元,远低于行业平均水平。
推理速度快,首次响应时间约为 1.1 秒,每秒生成 87.5 个 token。
deepseek的优势
在数学推理、编程能力和语言理解等方面,DeepSeek 的表现与国际顶尖模型(如 GPT-4)相当。
API 调用费用仅为竞争对手的十分之一,每百万元输入成本仅 0.1-1 元人民币。
deepseek生态建设
云和智算厂商
国内:阿里、腾讯、华为、火山等推出deepseek模型集成服务
国外:google, 微软、英伟达、AWS、Perplexity等
竞对OpenAI被迫宣布闭源战略失败,紧急上线新版本
美国立法禁止C端使用(截止2月5日)
应用(app)厂商
官方发布:https://github.com/deepseek-ai/awesome-deepseek-integration/tree/main
同时开放丰富的接口文档,可接入飞书、微信等
同时开放丰富的接口文档,可接入飞书、微信等
机会点应对
评估部署Deepseek模型(r1/v3)可行性
deepseek+工具链,智算带通算方案更新
推理算力伙伴积累
同时关注:相对低端普惠的场景是否会产生巨大市场
国产化方案机会
高净值客户国产化模型方案需求门槛降低
与生态伙伴合作,开拓MaaS方案
多行业:如制造、生物医药

收藏

收藏
0 条评论
下一页