MulticoreWare

移动与交通

汽车雷达与人工智能的结合——目标检测和跟踪(第二部分)

2023年09月29

 

作者简介

Kaviraj Sankar 是MulticoreWare移动和运输业务部门的助理技术项目经理。他拥有雷达工程师的专业知识,并在基于雷达点云的多目标跟踪、机器人堆栈和机器学习内核方面积累了宝贵的经验。

介绍

在我们之前的博客(人工智能的汽车雷达进步-第1部分)中,我们为理解人工智能对雷达信号处理的变革性影响奠定了基础。现在,在第二部分中,我们将重点转移到人工智能,特别是深度学习模型,如何彻底改变车辆感知与动态环境交互的方式。本博客还展示了驾驶安全的进步如何增强自动驾驶的能力。

在汽车中使用雷达的好处

与相机相比,雷达在具有挑战性的环境条件下更可靠。调频连续波(FMCW)雷达工作在毫米波(MMW)波段,具有更大的穿透雾、烟雾和灰尘的能力。这归因于其巨大的带宽和高频率,从而提供了稳健的距离检测。

使用雷达的几种方法包括:

  • 利用支持向量机(SVM)对雷达目标进行分类,目的是区分汽车和行人。
  • 神经网络方法用于从雷达信号的瞬时傅立叶变换(STFT)热图中提取特征。
  • 统计恒定虚警率(CFAR)检测算法可以与基于CNN的VGG-16分类器一起使用。

然而,上述方法侧重于分类任务,该任务仅假设场景中的已知对象数量有限。这些方法可能不适用于具有噪声背景反射的复杂驾驶场景,例如来自树木、建筑物和交通标志的背景反射,因为这些方法容易产生误报。

智能物体检测与分类

物体检测和分类是自动驾驶系统的关键功能,使车辆能够理解其环境并做出明智的决策。之前,我们讨论了雷达在汽车应用中的独特优势。在本节中,我们将探索人工智能驱动的创新解决方案,这些解决方案正在通过雷达塑造物体检测和分类的演变。

RODNet–用于智能对象检测和跟踪

RODNet是一个创新且稳健的雷达目标检测网络,旨在识别不同驾驶条件下的目标。该技术用于实现自动驾驶或辅助驾驶,无需摄像头或其他传感器。它包括以下内容:

  • CNN的定制模块:这些模块的实现是为了有效地利用射频(RF)图像的特殊特性。
  • RF图像(距离-方位热图):这项技术利用RF图像而不是雷达数据点(如点云),因为RF图像能够提供有关物体纹理、角度等的全面信息。
  • 相机-雷达融合(CRF)监督框架:该框架用于训练RODNet,利用了基于相机的目标检测和3D定位方法,便于对雷达RF图像进行统计检测和推断。

RODNet体系结构:

图2. RODNet体系结构
  • RF图像首先被传递到M-Net,该M-Net被提议将线性调频级别的特征组合成帧级别,参见图2(d),其中C是用于时间卷积的滤波器的数量,H是高度,W是帧的宽度,n是线性调频的数量。
  • 第二阶段是时间可变形卷积(TDC),由于雷达和物体之间的相对运动导致雷达反射随时间变化,经典的3D卷积无法有效地提取时间特征。因此,使用TDC,参见图2(e),其中T是RF帧的数量。
  • 对于基于hourglass 架构的RODNet 3D卷积神经网络(3D CNN),具有用于从RF图像中提取特征的跳过连接。

为什么有老师和学生结构?

RODNet的创新之处之一是它的师生的体系架构。给雷达射频图像增加注释,对人类来说是一项复杂的任务,尤其是与具有注释的相机数据相比。为了应对这一挑战,一个类似于教师作用的管道被用来根据摄像机的图像对RF图像进行注释,为有效地训练RODNet提供必要的地面实况数据。

图3. 师生结构

上图(图3)显示了类似于老师的管线结合相机和雷达数据进行RF图像对象估计的管道。学生管道在老师的指导下仅使用RF图像,并应用L-NMS获得精确的物体检测结果。

RODNet技术的优点:

  • RODNet使用相机-雷达融合(CRF)模型进行训练,结合雷达和相机数据以提高精度,从而实现了更高的精度。
  • RODNet在嘈杂的环境中表现出色,确保在大雨或雪等具有挑战性的场景中具有可靠的性能。
  • 在不利条件下,RODNet最大限度地减少了物体检测的不确定性,优于传统的基于相机的系统,并提高了安全性。

结论

人工智能与汽车雷达技术的融合为更安全、更智能的自动驾驶铺平了道路。当我们通过RODNet等创新探索增强的物体检测和分类能力时,我们看到了未来车辆可以以前所未有的精度和安全性导航。MulticoreWare的专业知识是这一转变的指导力量。

MulticoreWare在汽车雷达方面的优势

  • 专注于开发先进的算法和模型,用于实时准确检测和分类物体,这对自动驾驶汽车至关重要。
  • 创造人工智能解决方案的记录,提高自动驾驶系统的安全性和智能性,减少事故并提高效率。
  • 深入了解并熟练掌握雷达系统,包括硬件和软件方面,使我们能够制定创新的解决方案。
  • 根据雷达数据量身定制的信号处理技术专业知识,确保在各种驾驶条件下具有稳健可靠的性能。
  • 强大的机器学习基础,使我们能够开发用于自动驾驶汽车感知和决策的尖端算法。

欲了解更多信息,请联系我们 info@multicorewareinc.com

Share Via

Explore More

Oct 24 2024

边缘人工智能:实时、分散交通控制的未来

简介 随着技术的进步,它越来越多地解决各个市场的挑战,产生积极影响。

Read more
Aug 9 2024

提供基于Nvidia Jetson AGX ORIN 设备上的关于环境感知相关的软件开发,优化和移植的服务

智能相机技术领域的一家知名公司,专门从事闪光激光雷达,在一个涉及其知名客户的项目中寻求MulticoreWare的专业知识和支持。

Read more
Jan 12 2024 Exploring In-Cabin Radar

探索车内雷达感应系统

在当今飞速发展的技术领域,车内雷达技术因其彻底改变汽车行业的潜力而备受关注。

Read more

GET IN TOUCH