bet365

您现在的位置:主页 > 劲爆体育 >  > 正文

业界腾讯AILab正式开源PocketFlow让深度进修放入手机!

2018-11-05 10:46bet365365bet

  9 月,呆板之心曾报道腾讯 AI Lab 提出的主动化模子压缩框架 PocketFlow。不日,腾讯 AI Lab 正在南京举办的腾讯环球合营伙伴论坛上宣告正式开源「PocketFlow」项目。

  据先容,该项目是一个主动化深度进修模子压缩与加快框架,整合众种模子压缩与加快算法并应用加强进修主动搜罗符合压缩参数,办理守旧深度进修模子因为模子体积太大,策动资源打发高而难以正在搬动摆设上安插的痛点,同时极大水准的低重了模子压缩的技巧门槛,赋能搬动端 AI 操纵开采。

  这是一款合用于各个专业才略层面开采者的模子压缩框架,基于 Tensorflow 开采,集成了今朝主流与 AI Lab 自研的众个模子压缩与熬炼算法,并采用超参数优化组件告终了全程主动化托管式的模子压缩。开采者无需相识简直模子压缩算法细节,即可疾速地将 AI 技巧安插到搬动端产物上,告终用户数据的当地高效执掌。

  目前该框架正在腾讯内部已对众个搬动端 AI 操纵模子举行压缩和加快,并博得了令人写意的成果,对操纵全部的上线成果起到了额外要紧的效用。

  PocketFlow 框架本次开源实质重要由两局限组件组成,阔别是模子压缩/加快算法局限和超参数优化局限,简直机合如下图所示:

  通道剪枝(channel pruning): 正在 CNN 汇集中,通过对特点图中的通道维度举行剪枝,能够同时低重模子巨细和策动庞杂度,而且压缩后的模子能够直接基于现有的深度进修框架举行安插。PocketFlow 还支撑通道剪枝的分组 finetune/retrain 功用,通过实行呈现此步骤能够使本来压缩后的模子精度有分明的提拔。

  权重稀少化(weight sparsification):通过对汇集权重引入稀少性抑制,能够大幅度低重汇集权重中的非零元素个数;压缩后模子的汇集权重能够以稀少矩阵的形态举行存储和传输,从而告终模子压缩。

  权重量化(weight quantization):通过对汇集权重引入量化抑制,能够低重用于外现每个汇集权重所需的比特数;同时供给了对付平均和非平均两大类量化算法的支撑,能够充斥应用 ARM 和 FPGA 等摆设的硬件优化,以提拔搬动端的策动成果,并为另日的神经汇集芯片打算供给软件支撑。

  汇集蒸馏(network distillation):对付上述种种模子压缩组件,通过将未压缩的原始模子的输出动作异常的监视音讯,辅导压缩后模子的熬炼,正在压缩/加快倍数稳固的条件下均能够取得 0.5%-2.0% 不等的精度提拔。

  众 GPU 熬炼(multi-GPU training):深度进修模子熬炼历程对策动资源哀求较高,单个 GPU 难以正在短期间内竣事模子熬炼,于是供给了对付众机众卡漫衍式熬炼的周至支撑,以加疾利用者的开采流程。无论是基于 ImageNet 数据的 Resnet-50 图像分类模子仍是基于 WMT14 数据的 Transformer 呆板翻译模子,均能够正在一个小时内熬炼完毕。

  超参数优化(hyper-parameter optimization)局限能够通过加强进修或者 AutoML,正在全部压缩率必然的处境下,搜罗出每一层最符合的压缩比例使得全部的精度最高。大都开采者对模子压缩算法往往相识较少,调剂压缩算法参数须要长久的进修和实行才干有所履历,但超参数取值对最终结果往往有着强盛的影。PocketFlow 的超参数优化局限恰是助助开采者办理了这一大痛点,而且通过实行呈现,其优化结果也要好于专业的模子压缩工程师手工调参的结果。其机合如下图:

  通过引入超参数优化组件,不单避免了高门槛、繁琐的人工调参办事,同时也使得 PocketFlow 正在各个压缩算法上周至领先了人工调参的成果。以图像分类使命为例,正在 CIFAR-10 和 ImageNet 等数据集上,PocketFlow 对 ResNet 和 MobileNet 等众种 CNN 汇集机合举行有用的模子压缩与加快。

  正在 CIFAR-10 数据集上,PocketFlow 以 ResNet-56 动作基准模子举行通道剪枝,并参预了超参数优化和汇集蒸馏等熬炼政策,告终了 2.5 倍加快下分类精度吃亏 0.4%,3.3 倍加快下精度吃亏 0.7%,且明显优于未压缩的 ResNet-44 模子; 正在 ImageNet 数据集上,PocketFlow 能够对本来一经相等精简的 MobileNet 模子一直举行权重稀少化,以更小的模子尺寸博得一样的分类精度;与 Inception-V1、ResNet-18 等模子比拟,模子巨细仅为后者的约 20~40%,但分类精度根本同等(以至更高)。

  比拟于费时费劲的人工调参,PocketFlow 框架中的 AutoML 主动超参数优化组件仅需 10 余次迭代就能到达与人工调参相似的职能,正在源委 100 次迭代后搜罗取得的超参数组合能够低重约 0.6% 的精度吃亏;通过利用超参数优化组件主动地确定汇集中各层权重的量化比特数,PocketFlow 正在对用于 ImageNet 图像分类使命的 MobileNet-v1 模子举行压缩时,博得了同等性的职能提拔;用 PocketFlow 均匀量化比特数为 8 时,确切率不降反升,从量化前的 70.89% 提拔到量化后的 71.29%。

  据相识,正在腾讯公司内部,PocketFlow 框架正正在为众项搬动端营业供给模子压缩与加快的技巧支撑。比如,正在手机摄影 APP 中,人脸要害点定位模子是一个常用的预执掌模块,通过对脸部的百余个特点点(如眼角、鼻尖等)举行识别与定位,可认为后续的人脸识别、智能美颜等众个操纵供给需要的特点数据。腾讯 AI Lab 基于 PocketFlow 框架,对人脸要害点定位模子举行压缩,正在连结定位精度稳固的同时,大幅度地低重了策动开销,正在自己一经相等精简的汇集上博得了 1.3 ~ 2 倍不等的加快成果,压缩后的模子一经正在实质产物中取得安插。

  正在人体身形识别项目中,PocketFlow 更是正在满意上线精度的哀求下,使得模子推理速率有 3 倍以上的加快,为项方针搬动端落地起到了决断性的效用。





更多足球精彩赛事 ——365bet足球新闻