早退网络(Early-exit networks)是一种基于输入数据复杂度动态调整计算量的有效解决方案,能够显著降低深度学习模型的整体能耗与延迟。
该架构通过引入中间退出分支,使简单样本仅需较少计算即可完成推理,这对能耗至关重要的资源受限设备尤为有益。然而,早退网络的设计需在效率与性能之间取得平衡,这一过程通常面临挑战且耗时耗力。
近期研究开始采用神经架构搜索(NAS)技术来自动化设计更高效的早退网络,通过优化退出分支的位置与数量,在降低平均延迟的同时提升模型精度。
此外,退出分支的深度与层类型也是影响早退网络效率与准确性的关键因素。本文采用硬件感知的神经架构搜索方法强化退出分支设计,在优化过程中同步考量精度与效率指标。
在CIFAR-10、CIFAR-100及SVHN数据集上的实验验证表明:通过为退出分支配置差异化深度与层结构,并结合自适应阈值调优,本研究提出的框架所设计的早退网络,在保持相同或更低乘积累加运算(MACs)平均数量的条件下,实现了较现有先进方法更高的分类准确率。