作者简介
Kaviraj Sankar 是MulticoreWare移动和运输业务部门的助理技术项目经理。他拥有雷达工程师的专业知识,并在基于雷达点云的多目标跟踪、机器人堆栈和机器学习内核方面积累了宝贵的经验。
介绍
在我们之前的博客(人工智能的汽车雷达进步-第1部分)中,我们为理解人工智能对雷达信号处理的变革性影响奠定了基础。现在,在第二部分中,我们将重点转移到人工智能,特别是深度学习模型,如何彻底改变车辆感知与动态环境交互的方式。本博客还展示了驾驶安全的进步如何增强自动驾驶的能力。
在汽车中使用雷达的好处
与相机相比,雷达在具有挑战性的环境条件下更可靠。调频连续波(FMCW)雷达工作在毫米波(MMW)波段,具有更大的穿透雾、烟雾和灰尘的能力。这归因于其巨大的带宽和高频率,从而提供了稳健的距离检测。
使用雷达的几种方法包括:
- 利用支持向量机(SVM)对雷达目标进行分类,目的是区分汽车和行人。
- 神经网络方法用于从雷达信号的瞬时傅立叶变换(STFT)热图中提取特征。
- 统计恒定虚警率(CFAR)检测算法可以与基于CNN的VGG-16分类器一起使用。
然而,上述方法侧重于分类任务,该任务仅假设场景中的已知对象数量有限。这些方法可能不适用于具有噪声背景反射的复杂驾驶场景,例如来自树木、建筑物和交通标志的背景反射,因为这些方法容易产生误报。
智能物体检测与分类
物体检测和分类是自动驾驶系统的关键功能,使车辆能够理解其环境并做出明智的决策。之前,我们讨论了雷达在汽车应用中的独特优势。在本节中,我们将探索人工智能驱动的创新解决方案,这些解决方案正在通过雷达塑造物体检测和分类的演变。
RODNet–用于智能对象检测和跟踪
RODNet是一个创新且稳健的雷达目标检测网络,旨在识别不同驾驶条件下的目标。该技术用于实现自动驾驶或辅助驾驶,无需摄像头或其他传感器。它包括以下内容:
- CNN的定制模块:这些模块的实现是为了有效地利用射频(RF)图像的特殊特性。
- RF图像(距离-方位热图):这项技术利用RF图像而不是雷达数据点(如点云),因为RF图像能够提供有关物体纹理、角度等的全面信息。
- 相机-雷达融合(CRF)监督框架:该框架用于训练RODNet,利用了基于相机的目标检测和3D定位方法,便于对雷达RF图像进行统计检测和推断。
RODNet体系结构:
- RF图像首先被传递到M-Net,该M-Net被提议将线性调频级别的特征组合成帧级别,参见图2(d),其中C是用于时间卷积的滤波器的数量,H是高度,W是帧的宽度,n是线性调频的数量。
- 第二阶段是时间可变形卷积(TDC),由于雷达和物体之间的相对运动导致雷达反射随时间变化,经典的3D卷积无法有效地提取时间特征。因此,使用TDC,参见图2(e),其中T是RF帧的数量。
- 对于基于hourglass 架构的RODNet 3D卷积神经网络(3D CNN),具有用于从RF图像中提取特征的跳过连接。
为什么有老师和学生结构?
RODNet的创新之处之一是它的师生的体系架构。给雷达射频图像增加注释,对人类来说是一项复杂的任务,尤其是与具有注释的相机数据相比。为了应对这一挑战,一个类似于教师作用的管道被用来根据摄像机的图像对RF图像进行注释,为有效地训练RODNet提供必要的地面实况数据。
上图(图3)显示了类似于老师的管线结合相机和雷达数据进行RF图像对象估计的管道。学生管道在老师的指导下仅使用RF图像,并应用L-NMS获得精确的物体检测结果。
RODNet技术的优点:
- RODNet使用相机-雷达融合(CRF)模型进行训练,结合雷达和相机数据以提高精度,从而实现了更高的精度。
- RODNet在嘈杂的环境中表现出色,确保在大雨或雪等具有挑战性的场景中具有可靠的性能。
- 在不利条件下,RODNet最大限度地减少了物体检测的不确定性,优于传统的基于相机的系统,并提高了安全性。
结论
人工智能与汽车雷达技术的融合为更安全、更智能的自动驾驶铺平了道路。当我们通过RODNet等创新探索增强的物体检测和分类能力时,我们看到了未来车辆可以以前所未有的精度和安全性导航。MulticoreWare的专业知识是这一转变的指导力量。
MulticoreWare在汽车雷达方面的优势
- 专注于开发先进的算法和模型,用于实时准确检测和分类物体,这对自动驾驶汽车至关重要。
- 创造人工智能解决方案的记录,提高自动驾驶系统的安全性和智能性,减少事故并提高效率。
- 深入了解并熟练掌握雷达系统,包括硬件和软件方面,使我们能够制定创新的解决方案。
- 根据雷达数据量身定制的信号处理技术专业知识,确保在各种驾驶条件下具有稳健可靠的性能。
- 强大的机器学习基础,使我们能够开发用于自动驾驶汽车感知和决策的尖端算法。
欲了解更多信息,请联系我们 info@multicorewareinc.com