谷歌开源新模型 EfficientNet：图像识别效率提升 10 倍，参数减少 88%

其中α,β,γ是常数，它们有小型网络搜索确定。Φ则是一个由用户指定的扩展系数，它用来控制到底有多少资源是模型扩展可用的。对于一般的卷积操作，其 FLOPS 需求与 d,w^2,r^2 是成比例的。由于卷积网络中最消耗计算资源的通常是卷积操作，因此使用公式（3）对网络进行扩展会导致总 FLOPS 近似变为 。本文中作者使用公式

对这三个参数进行了约束，因此，总 FLOPS 增加 2^Φ。

上面提到的模型扩展方法并不会改变基线网络中每一层的运算操作，因此要想提升模型的准确率，有一个好的基线网络也非常重要。在实验部分，作者使用现有的卷积网络对复合扩展法进行了评估。但是为了更好地展示复合扩展法的有效性，作者设计了一个新的轻量级基线网络 EfficientNet。（注：这里的轻量级网络表示可用于移动端的参数较少的卷积网络。）

EfficientNet 的结构已经在表 1 中列出，它的主干网络是由 MBConv 构成，同时作者采取了 squeeze-and-excitation 操作对网络结构进行优化（见 SENet，ILSVRC 2017 冠军）。对于 Efficient-B0，若要使用复合扩展法对其进行扩大需要通过两步来完成：

第一步：首先将Φ固定为 1，假设至少有两倍以上的资源可用，通过公式（2）和公式（3）对α,β,γ进行网格搜索。特别的是，对于 EfficientNet-B0，在约束条件

下，α,β,γ分别为 1.2，1.1 和 1.15 时网络效果最好。

第二步：α,β,γ作为常数固定，然后通过公式（3）使用不同Φ对基线网络进行扩展，得到 EfficientNet-B1 到 EfficientNet-B7

这里之所以仅在小的基线网络上使用网格搜索（步骤 1）然后直接将参数扩展到大的模型上（步骤 2）是因为如果直接在大模型上进行参数搜索是非常昂贵且不可行的，因此作者采用了这种两步走的方法确定模型的扩展参数。

实验这一部分，作者首先对在广泛使用的 MobileNets 以及 ResNets 上对他们提出的模型扩展法进行了验证。其实验结果如表三所示：

与单维度的扩展方法相比，复合扩展法在三种网络模型上都有所提升，这说明复合扩展法对于目前的现有网络都是有效的。

随后，作者在 ImageNet 数据库上对 EfficientNet 进行了训练。实验结果表明 EfficientNet 模型在参数量和 FLOPS 方面比其他卷积网络少一个数量级却能得到近似的准确率。特别是 Efficient-B7 在 top1 达到了 84.4% 在 top5 达到了 97.1%，比 GPipe 更加准确但模型小了 8.4 倍：

同时，作者也在常用的迁移学习数据集上对 EfficientNet 进行了评估。EfficientNet 的性能较其他类型的网络均有一致的提升。实验结果如下图所示：

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!