「专利解密」亿智电子助力深度学习模型在ASIC上 - 电子设计工程杂志社投稿

一、来稿必须是作者独立取得的原创性学术研究成果，来稿的文字复制比（相似度或重复率）必须低于用稿标准，引用部分文字的要在参考文献中注明；署名和作者单位无误，未曾以任何形式用任何文种在国内外公开发表过；未一稿多投。二、来稿除文中特别加以标注和致谢之外，不侵犯任何版权或损害第三方的任何其他权利。如果20天后未收到本刊的录用通知，可自行处理(双方另有约定的除外)。三、来稿经审阅通过，编辑部会将修改意见反馈给您，您应在收到通知7天内提交修改稿。作者享有引用和复制该文的权利及著作权法的其它权利。四、一般来说，4500字（电脑WORD统计，图表另计）以下的文章，不能说清问题，很难保证学术质量，本刊恕不受理。五、论文格式及要素：标题、作者、工作单位全称(院系处室)、摘要、关键词、正文、注释、参考文献(遵从国家标准：GB\T7714-2005，点击查看参考文献格式示例)、作者简介(100字内)、联系方式(通信地址、邮编、电话、电子信箱)。六、处理流程：（1）通过电子邮件将稿件发到我刊唯一投稿信箱（2）我刊初审周期为2－3个工作日，请在投稿3天后查看您的邮箱，收阅我们的审稿回复或用稿通知；若30天内没有收到我们的回复，稿件可自行处理。（3）按用稿通知上的要求办理相关手续后，稿件将进入出版程序。（4）杂志出刊后，我们会按照您提供的地址免费奉寄样刊。七、凡向文教资料杂志社投稿者均被视为接受如下声明：（1）稿件必须是作者本人独立完成的，属原创作品（包括翻译），杜绝抄袭行为，严禁学术腐败现象，严格学术不端检测，如发现系抄袭作品并由此引起的一切责任均由作者本人承担，本刊不承担任何民事连带责任。（2）本刊发表的所有文章，除另有说明外，只代表作者本人的观点，不代表本刊观点。由此引发的任何纠纷和争议本刊不受任何牵连。（3）本刊拥有自主编辑权，但仅限于不违背作者原意的技术性调整。如必须进行重大改动的，编辑部有义务告知作者，或由作者授权编辑修改，或提出意见由作者自己修改。（4）作品在《文教资料》发表后，作者同意其电子版同时发布在文教资料杂志社官方网上。（5）作者同意将其拥有的对其论文的汇编权、翻译权、印刷版和电子版的复制权、网络传播权、发行权等权利在世界范围内无限期转让给《文教资料》杂志社。本刊在与国内外文献数据库或检索系统进行交流合作时，不再征询作者意见，并且不再支付稿酬。九、特别欢迎用电子文档投稿，或邮寄编辑部,勿邮寄私人，以免延误稿件处理时间。

「专利解密」亿智电子助力深度学习模型在ASIC上

作者:

关键词:

摘要：

【嘉德点评】亿智电子的深度学习模型部署专利，通过对量化参数以及格式转换配置，能够解决现有技术中深度学习模型无法直接部署到ASIC人工智能芯片上的问题。

集微网消息，智能网络摄像机(AI IPC)拥有广阔的市场空间，2020年在新冠疫情、国际贸易政策的影响下，IPC SoC芯片的产能缺口巨大。近日，亿智电子将深度学习模型在ASIC人工智能芯片上量化部署。

随着深度学习在近年来的逐步升温，智能边缘计算应用需求增大，ASIC人工智能芯片应运而生。ASIC人工智能芯片通过加速运算使深度学习可以加速运行，同时可以定制配置运行在低功耗计算资源较少的终端侧，但因此能耗要求也较高，传统的深度学习模型通常需要量化到精度较低的数据类型才可以达到落地的指标要求。由于深度学习ASIC人工智能芯片通常计算资源较少，尤其位宽、中间值位宽与现在的通用芯片有较大区别，导致传统的深度学习模型通常不能直接部署到ASIC人工智能芯片上。

为此，亿智电子于2020年7月9日申请了一项名为“模型部署方法、装置、系统及存储介质”的发明专利（申请号: 2.8）,申请人为珠海亿智电子科技有限公司。

图1 模型部署方法的实现流程图

图1为模型部署方法的实现流程图，主要包括四个步骤。首先对接收到的预训练模型执行第一格式转换操作（S101）。预训练模型中通常包括深度学习模型的结构定义和参数，不同的深度学习框架产生的预训练模型在硬盘中的存储格式不同，且不能互相读取，因此，在接收到预训练模型时，需要对其进行第一格式转换，以便后续的量化能够在统一的数据存储格式下进行。第一格式转换操作将预训练模型由第一深度学习框架下的存储格式转换到预定存储格式，从而通过存储格式与开放神经网络交换格式的转换，实现对不同深度学习框架预训练模型的处理，降低了为ASIC人工智能芯片开发模型的不同团队的部署压力。

其次根据接收到的量化位宽对执行第一格式转换操作后的预训练模型进行全整型量化，得到量化参数和量化后的模型参数（S102）。虽然ASIC人工智能芯片功耗低、峰值计算性能较高，但通常内部具备较小的计算位宽，不同芯片的位宽略有不同，因此，量化位宽需要根据ASIC人工智能芯片的位宽确定。

然后对量化参数和量化后的模型参数执行第二格式转换操作并输出，得到量化后的模型（S103）。第二格式转换操作将量化参数和量化后的模型参数由预定存储格式转换到第二深度学习框架下的存储格式，由于不同的ASIC人工智能芯片支持的深度学习模型可能不同，因此执行第二格式转换操作并输出，得到任一学习框架下的量化模型，从而提高了系统的泛化能力。

最后将量化后的模型部署到ASIC人工智能芯片上（S104）。经第二格式转换后输出的模型可直接部署到ASIC人工智能芯片上，在这之前，可以通过预先准备好的测试数据集对输出的模型进行测试，根据测试结果，当该模型的精度损失低于预设的阈值时将该模型部署到ASIC人工智能芯片上。

简而言之，亿智电子的模型部署专利，通过对量化参数以及格式转换配置，能够解决现有技术中的深度学习模型无法直接部署到ASIC人工智能芯片上的问题。

亿智电子是以AI机器视觉算法和SoC芯片设计为核心的系统方案供应商，志在成为视像安防、汽车电子、智能硬件领域智能化（AI）赋能的行业领导者。“亿”起赢未来，“智”能连万物，亿智将继续引领未来科技生活。

关于嘉德

深圳市嘉德知识产权服务有限公司由曾在华为等世界500强企业工作多年的知识产权专家、律师、专利代理人组成，熟悉中欧美知识产权法律理论和实务，在全球知识产权申请、布局、诉讼、许可谈判、交易、运营、标准专利协同创造、专利池建设、展会知识产权、跨境电商知识产权、知识产权海关保护等方面拥有丰富的经验。

（校对/holly）

文章来源：《电子设计工程》网址: http://www.dzsjgc.cn/zonghexinwen/2021/0314/991.html