基于多任务 transformer 的智能驾驶感知框架
摘要
视觉智能感知是自动驾驶领域中的一项关键任务，其通过实时监控驾驶道路环境来实现车辆安全行驶 。单独的驾驶感知任务性能已经达到瓶颈，开发新的技术以提升任务性能是一个艰难的挑战。当前多任务协同的智能感知是一个有效的解决思路，其利用任务间的有用信息来提升所学任务泛化性能。为了应对这个挑战，我们以驾驶感知中两个关键任务（车道线检测和驾驶道路区域分割）为例，提出一种多任务学习框架，其利用这两个任务间的相关性来提升检测任务和分割任务性能。首先，通过骨干网络提取输入图像的特征。然后，通过 transformer提取图像场景的全局特征，并且在编码器和解码器中分别为驾驶道路区域分割任务和车道线检测任务设置不同的检测头。在此基础上，道路分割检测头通过 U-net 网络实现道路区域分割，车道线检测头通过多层感知机实现出车道线路径划分。最后，通过自动加权求和多个损失函数来同时学习多个任务。我们在 BerkeleyDeepDrive100K（BDD100K）数据集上验证该框架的有效性。实验结果表明，该框架在各个指标中均显著优于当前流行的多任务和单任务方法，并保持每秒超过 36.4 帧的实时推理。参考
[1] 李轩，王飞跃 . 面向智能驾驶的平行视觉感知：基本概念、框架与应用 [J]. 中国图象图形学报，2021，26（01）：67-81.
[2] 王世峰，戴祥，徐宁，等 .无人驾驶汽车环境感知技术综述 [J].长春理工大学学报（自然科学版），2017，40（01）：1-6.
[3] 叶伟，朱明 . 基于空间特征聚合的车道线检测算法 [J]. 计算机系统应用，2021，30（12）：235-242.
[4] 刘彬，刘宏哲 . 基于改进 Enet 网络的车道线检测算法 [J].计算机科学，2020，47（04）：142-149.
[5] 祁欣，袁非牛，史劲亭，王贵黔 . 多层次特征融合网络的语义分割算法 [J]. 计算机科学与探索，2022，1-13.
[6] 梅迪 . 应用于图像语义分割的神经网络——从 SegNet 到U-Net[J]. 电子制作，2021（12）：49-52.
[7] 王汉谱，瞿玉勇，刘志豪，等 . 基于 FCN 的图像语义分割算法研究 [J]. 成都工业学院学报，2022，25（01）：36-41.
[8] 田永林，王雨桐，王建功，等 . 视觉 Transformer 研究的关键问题：现状及展望 [J]. 自动化学报，2022，48（04）：957-79.
[9] 刘文婷，卢新明 . 基于计算机视觉的 Transformer 研究进展 [J].计算机工程与应用，2022，58（06）：1-16.
[10] 柳胜超 . 复杂背景下交通信号灯检测与识别方法研究与应用 [D]. 长安大学，2021.
[11] 唐闻 . 基于深度学习的计算机图像识别技术研究 [J]. 电脑编程技巧与维护，2022（01）：154-156+166.
[12] 李明，来国红，常晏鸣，等 . 深度学习算法中不同优化器的性能分析 [J]. 信息技术与信息化，2022（03）：206-209.
[13] 孙宇菲 . 基于多任务学习的车道线检测算法研究 [D]. 长安大学，2021.
