华为AI模子量化相关专利发布可削减AI模子占用内

2025-04-08 00:26

    

  天眼查显示,近日,华为手艺无限公司(以下统称华为)申请的“人工智能模子的量化方式、能够削减AI模子占用的内存。本年以来,华为公开的AI范畴专利已达26项。2月5日,华为董事长梁华正在广东省高质量成长大会上讲话称,当前,AI手艺正处于加快成长阶段,正在千行百业的使用也送来环节期间,抓住新机缘的环节是立异。记者留意到,华为近期加大取DeepSeek的合做力度,包含华为ModelEngine支撑DeepSeek全系列当地摆设,DeepSeek系列新模子正式上线昇腾社区等。华为此次申请的专利涉及AI范畴,特别涉及一种AI模子的量化方式、AI模子的处置系统、量化单位和计较设备。AI模子是操纵数据和算法,对某一范畴或使命中的问题进行建模和处理。目前,部门AI模子曾经使用正在机械翻译、问答系统、语音识别和文本生成等范畴。2月6日,华为中国发文称,正在全球AI手艺飞速成长的布景下,模子的快速迭代取高效摆设成为各大科技企业竞相逃逐的核心。不外,跟着AI手艺成长,相关AI模子的规模越来越大,存正在参数量较大、占用内存较多等问题,导致计较复杂度不竭提拔。专利摘要显示,量化单位能够基于运转AI模子的计较设备中各个计较单位的处置粒度,将量化矩阵朋分成多个合用于各个计较单位处置粒度的分块量化矩阵。量化单位能够对分块量化矩阵进行量化处置,从而获得量化后的分块量化矩阵,并存储正在存储器中以削减AI模子占用的内存。量化矩阵能够是权沉矩阵,量化单位正在量化过程中,是基于运转AI模子的计较设备中各个计较单位的处置粒度进行量化,不需要基于张量级别进行离群值的统计,实现AI模子对权沉矩阵和激活矩阵都能够进行及时量化。2月6日,华为中国颁布发表,华为DCS AI全栈处理方案中的主要产物—ModelEngine,全面支撑DeepSeek大模子R1&V3和蒸馏系列模子的当地摆设取优化,加快客户AI使用快速落地。据悉,ModelEngine做为大模子锻炼、推理和使用开辟的AI平台,供给从数据预处置到模子锻炼、优化及摆设的一坐式办事。华为中国引见,用户通过ModelEngine能够体验DeepSeek的高效推理能力;开辟者通过ModelEngine可实现对DeepSeek系列模子的“一键摆设”,省去硬件选型、兼容性验证和设置装备摆设等步调,大幅降低企业AI使用门槛。2月5日,基于原生鸿蒙操做系统的小艺帮手App接入DeepSeek-R1 Beta(公测)版。升级至原生鸿蒙的华为用户,能够通过“小艺帮手App-发觉-智能体广场”取DeepSeek对线日,DeepSeek-R1、DeepSeek-V3、DeepSeek-V2、Janus-Pro正式上线昇腾社区,支撑一键获取DeepSeek系列模子,支撑昇腾硬件平台上开箱即用,推理快速摆设,带来更快、更高效、更便利的AI开辟和使用体验。公开材料显示,DeepSeek最新发布的多模态大模子Janus-Pro,以及之前发布的大型言语模子DeepSeek-R1、DeepSeek-V3及DeepSeek-V2,正在AI范畴惹起强烈热闹反应。

福建志伟信息技术有限公司


                                                     


返回新闻列表
上一篇:中国内存财产踌躇不前!AI需求帮推长鑫逐渐缩小 下一篇:DeepSeek火爆黄山旅逛AI智能为你描画春日风光