扑克王德州app下载国内首个支持千亿参数大模型训练AI计算框架MindSpore 1.2发布

文章正文
2021-05-01 18:10

国内首个支持千亿参数大模型训练AI计算框架MindSpore 1.2发布

2021年04月26日16:49 | 来源:中国新闻网

小字号

国内首个支持千亿参数大模型训练AI计算框架MindSpore 1.2发布

  4月26日,扑克王德州app下载华为开发者大会2021(Cloud)期间(简称HDC. Cloud 2021),国内首个支持千亿参数大模型训练的AI计算框架MindSpore 1.2正式发布。最新1.2版本带来了AI框架领域“全自动并行、全场景AI、可解释推荐模型”三大创新,让开发者尽享AI开发。

  全自动并行

  在静态图模式下,MindSpore融合了流水线并行、模型并行和数据并行三种并行技术,开发者只需编写单机算法代码,添加少量并行标签,即可实现训练过程的自动切分,使得并行算法性能调优时间从月级降为小时级,同时训练性能相比业界标杆提升40%。

  在动态图模式下,MindSpore独特的函数式微分设计,能从一阶微分轻易地扩展到高阶微分,并进行整图性能优化,大幅提升动态图性能;结合创新的通讯算子融合和多流并行机制,较其它AI框架,MindSpore动态图性能提升60%。

  全场景AI

  MindSpore实现了在云、边、端不同场景下硬件设备的快速应用、高效运行与有效协同。通过全场景AI的能力,Huawei Watch GT的抬腕识别率提升了80%,时延小于5ms,模型小于1KB,大幅提升了用户体验。

  ·在云端:通过自适应模型切分和服务内分布式并行调度技术,可支持超大模型在多张加速卡上的推理部署,且推理性能较目前业界领先的serving服务方式提升30%;

  ·在边缘侧:通过自适应模型压缩技术,将CV类(Computer Vision计算机视觉)模型压缩2/3,推理时间缩短50%,用户侧实测精度损失<1%,能有效解决边缘侧算力瓶颈;

  ·在端侧:模型即代码,将模型编译到代码里,实现了极小的ROM(Read-Only Memory储存内存)占用。同时,通过算子数据重排技术提升端侧Cache命中率,可降低推理时延,解决在超轻量IOT设备进行部署时受设备类型、内存等所限制的难题。

  可解释推荐模型

  MindSpore内置业界首个语义级可解释推荐模型TB-Net,基于原创知识图谱双向传导技术,从知识图谱的海量关系路径中,精准识别影响用户行为的核心特征和关键路径,提供个性化推荐和语义级的解释,可解释性评估指标相比业界模型提升63%。

  自2020年3月开源以来,MindSpore社区拥有逾17万名开发者,软件下载量超过24万,在超过10个行业规模使用。此外,在码云(Gitee)上MindSpore的代码活跃度、影响力、社区活跃度、团队构建、流行趋势综合排名第一。目前,MindSpore已是发展最快的AI开源社区。

(责编:赵超、吕骞)

分享让更多人看到

推荐阅读 沙尘再起!京津冀地区将迎扬沙或浮尘天气  人民网北京4月26日电 (王仁宏)据中央气象台网站消息,26日白天沙尘将继续影响内蒙古中西部以及西北地区,26日夜间至明天白天会给京津冀地区带来扬沙或浮尘天气。据介绍,从25日下午开始,甘肃中西部、内蒙古西部已经出现扬沙或浮尘天气,甘肃张掖、内蒙古阿拉善盟局地出现沙尘暴。… 我国数字经济总量跃居世界第二 “十三五”时期平均网速提升7倍以上  人民网福州4月26日电 (许维娜、林晓丽)“十三五”时期,我国数字化发展取得了哪些成就?25日,在第四届数字中国建设峰会主论坛上,国家互联网信息办公室副主任盛荣华发布《数字中国发展报告(2020年)》(以下简称《报告》)显示,“十三五”时期,我国数字经济总量跃居世界第二,2020年我国数字经济核心产业增加值占GDP的比重达到7.8%。《报告》显示,“十三五”时期,我国信息基础设施建设规模全球领先,建成全球规模最大的光纤网络和4G网络,截至2020年底,网民规模增长到9.89亿,互联网普及率提升到70.4%,已建成5G基站71.8万个,5G终端连接数据超过2亿。…

相关新闻

首届中科院“先导杯”并行计算应用大奖赛成果超预期

AI不会断句?中文分词新模型帮它进步

精准识别极端情绪,AI客服发出预警救人一命

想要推理能力比肩人类 AI先得换种学习方式

AI算法可快速诊断新冠肺炎患者

AI新算法能识别不同类型脑损伤

“人类肿瘤网络图谱”正在构建

并行计算要补应用短板(专家观点)

新AI算法能监测全球海洋塑料垃圾

人工智能有了“杀毒软件” 可在线测评算法模型安全性

客户端下载

人民日报

人民网+

手机人民网

领导留言板

人民视频

人民智云

人民智作

文章评论