近日，团队博士生吴尚睿在协作式边缘智能方向的工作“Enhancing Collaborative Inference on Heterogeneous Edge Devices via Adaptive Ensemble Knowledge Distillation”被计算机领域国际顶级期刊IEEE Journal on Selected Areas in Communications录用。该工作的第一作者为2022级博士研究生吴尚睿，指导老师为王田教授。合作者还有香港理工大学曹建农教授、悉尼科技大学余水教授、湖南大学刘琴副教授、UIC范文涛副教授、香港浸会大学李钰鹏博士以及北京师范大学贾维嘉教授、郭剑雄副教授、王文华博士。Shangrui Wu, Yupeng Li, Wenhua Wang, Jianxiong Guo, Wentao Fan, Qin Liu, Weijia Jia, Shui Yu, Jiannong Cao, Tian Wang*, Enhancing Collaborative Inference on Heterogeneous Edge Devices via Adaptive Ensemble Knowledge Distillation, IEEE Journal on Selected Areas in Communications, Feb 2025. (CCF A)
期刊简介
IEEE Journal on Selected Areas in Communications (JSAC) 期刊是IEEE通信领域顶级期刊，属于CCF（中国计算机学会）推荐的A类国际学术期刊，是涵盖通信领域中的顶级刊物，主要关注无线通信、网络技术、信息理论、通信系统等通信领域的核心技术及最新研究进展。
研究背景和动机
深度神经网络（DNNs）与边缘计算的融合已成为工业物联网（IIoT）应用的一种变革性方法。这种融合使得工业传感器和机器生成的海量数据能够实现实时处理，为从预测性维护到质量控制等各种应用提供支持。然而，边缘设备固有的计算资源限制对部署复杂DNN模型提出了重大挑战，这些模型通常需要强大的处理能力才能实现高精度。传统的边缘部署方法通常专注于模型压缩或分割，导致在设备间部署同质化模型。这种方法未能充分利用边缘环境的异构特性，并限制了系统的整体能力。在边缘部署时，DNN模型面临两个关键挑战。首先，复杂的DNN网络需要大量计算资源，这超出了许多边缘设备的能力范围。将这些工作负载转移到远程云服务器会引入显著延迟，从而影响工业应用的实时性要求。其次，当模型由于资源限制而表现不佳时，它们无法正确理解用户需求，导致用户感到沮丧，甚至可能在准确性低于可接受阈值时完全放弃使用应用程序。我们的研究针对边缘计算环境中深度神经网络部署的关键挑战。在工业物联网应用中，传统方法往往采用同质化模型部署，无法充分利用异构边缘设备的差异化能力。本文提出了一种创新方法，将每个边缘设备上的DNN视为独立模型，通过集成学习技术聚合它们的输出。这种方法能够充分发挥异构设备的集体能力，在保持低延迟的同时显著提高推理准确性。通过这一方案，不仅增强了系统在不同数据分布上的泛化能力，还提高了对工业环境中动态条件变化的适应性。
图1 一个智能工厂场景示例展示集成推理的应用
具有不同计算能力的边缘设备(A-D)各自配备了适合其各自能力的DNN模型。加权logit集成机制在处理超时故障的同时聚合可用的预测结果，尽管设备异构，仍然实现了增强的准确性。实线表示数据，而虚线表示logit传输路径。
解决方案
在云端部分，AEKDF采用了一种Dense-BAN架构，通过精心设计的知识蒸馏技术生成适配不同边缘设备计算能力的轻量级模型。在这一精细过程中，教师模型将丰富的表征知识有效传递给学生模型，同时巧妙地利用多个教师助手来丰富模型的多样性并维持高性能表现。为了获得更强的聚合能力，框架特别注重培养参与聚合模型的差异化泛化能力。为此，每轮迭代都精心引入差异化的模型训练策略，使模型能够从不同角度理解数据特征。这种创新设计使得早期训练的模型也能从后续迭代中获益，通过协同学习机制建立起模型间的知识交流网络，促进整体性能的提升。经过多轮精心迭代，系统最终生成了一系列计算复杂度和精度各有侧重的模型族，能够根据边缘设备的计算能力进行精准匹配部署。在边缘部分，主控设备负责协调不同边缘设备的推理过程。当有新的输入数据（例如视频、图像或音频）时，系统将数据分发给多个边缘工作节点，每个节点独立执行其部署的模型并返回预测结果（logits）。主控设备收集各节点的性能数据（包括准确率、延迟等），并通过自适应集成技术聚合各设备的预测结果，生成最终的推理结果。系统还实现了超时策略和动态集成组合，以平衡准确率和响应时间。我们的方案通过聚合边缘设备上DNN的能力，提高了整体泛化能力和动态适应性。这种设计不仅能够最大化利用不同设备的计算资源，还能在设备故障或网络不稳定的情况下保持系统运行。
图2 AEKDF框架的两个主要组件构成
(1) 基于云端的知识蒸馏，用于生成适应不同边缘设备的多样化轻量级模型；(2) 边缘侧协同推理，其中主设备协调异构设备之间的集成预测。
实验结果
为了评估提出方案的有效性，先把提出的基于知识蒸馏的方案和多个基准算法进行比对（分别为KD, CRD, FITNET, AT, VID, NST, ITDR）。部分实验结果如下：
表格1 CIFAR-10数据集上多种蒸馏方法的TOP-1测试准确率
表格2 CIFAR-100数据集上多种蒸馏方法的TOP-1测试准确率
表格3 CIFAR-100 上使用不同数量的参与 DNN 模型时的集成性能
总结
本研究提出了一种云边协同架构，在云端使用Dense-BAN知识蒸馏技术生成多样化的轻量级模型，并引入协同学习机制增强模型多样性；在边缘侧，通过主控设备协调异构设备进行集成预测，实现自适应超时策略和动态集成组合。这种设计不仅提高了系统的泛化能力和动态适应性，还能在设备故障或网络不稳定的情况下保持系统运行，特别适合工业物联网环境中对高精度推理的需求。
