作者
Selventhiran Rengaraj 是MulticoreWare移动和运输业务部的技术项目副经理。他有为地面和水下机器人,开发机器人堆栈的实践经验,并在领先的汽车半导体平台上从事前沿的人工智能和ADAS感知堆栈优化工作。
介绍:
在自动驾驶汽车的世界里,感知是一个关键的组成部分,在确保车辆的安全导航、物体探测和知情决策方面起着关键的作用。有许多先进和复杂的感知系统可用于自动驾驶汽车,其中一种方法是鸟瞰(BEV)感知,获得了巨大的吸引力。BEV感知通过提供一个自上而下的周围环境视角,为导航、物体探测和路径规划提供了宝贵的见解。
鸟瞰图:
鸟瞰,也被称为自上而下的视角或俯瞰,是从一个高处的角度来表示环境。在自主性的背景下,BEV指的是从上方看到的主体周围场景的视觉表现,就像一只从头顶飞过的鸟观察到的那样。
BEV的创建通常涉及处理传感器数据,如激光雷达、相机图像或多个传感器的组合,以产生一个与地面平面对齐的自上而下的表示。通过将传感器数据转换为不同的坐标系,BEV可以实现一个全面的视图,捕获更广泛的视野和关于场景的丰富几何信息。

感知视图(PV)到鸟眼视图(BEV):
以视觉为中心的BEV感知仍然是成本效益高的自动驾驶系统的一个长期挑战,因为摄像机通常安装在与地面平行的自我车辆上,并面向外部。图像是在透视图(观察者的二维视角)中捕获的,这与BEV大多是正交的,从PV到BEV的转换通常被称为逆透视映射(IPM)。
随着传感器技术和机器学习的发展,有几种基于卷积神经网络(CNN)的方法可用于将感知视图转换为鸟眼视图。下面是一个使用CNN将光伏转换为BEV的现实世界的可视化:

源于此:语义上的多摄像头到鸟瞰图的表述
什么是占用网格图,它与BEV有什么关系?
占用网格图(OGM)是自主系统领域的另一种流行技术,用于表示和模拟车辆或机器人的环境。它通过将环境划分为一个个单元格,提供了一个基于网格的结构化环境表示。网格中的每个单元代表环境中的一个特定区域或位置。
OGM是通过整合各种传感器(如激光雷达、照相机或雷达)的数据生成的。基于传感器的数据,每个网格单元的占用状态被更新。每个单元都与一个表示占用可能性的概率值相关。
鸟瞰图(BEV)和占有率网格都是环境的代表,可用于自主系统领域。虽然生成BEV和OGM的过程不同,但它们都利用网格结构来表示环境。在这两种技术中,环境被划分为网格中的单元,每个单元对应于环境中的一个特定位置。由于其重要的应用,这两种表示方法在自主系统领域都得到了广泛的利用。
BEV感知在自动驾驶中的应用:
- 自主驾驶: BEV感知可用于识别道路上的轨道和车道标记,这有助于自主车辆了解道路并保持在指定车道内。BEV能够检测和跟踪车辆周围的物体,如障碍物、行人和道路上的其他各种物体。它还能帮助自动驾驶汽车进行路径规划、停车辅助和交通流分析等。
- 机器人技术: 配备BEV感知的机器人可以捕捉环境的全面视图,并对其进行分析,用于安全监测、异常检测和环境监测等。 它还可以用来协调在同一地区工作的多个机器人,使它们能够避免碰撞,并在复杂的任务上进行合作,如无人机表演灯光秀。
结论:
BEV感知的未来在提高自主系统的感知能力方面有着广阔的前景,导致更安全、更有效的运输与使用,在各个行业中有着广泛的应用。将感知视图转换为鸟瞰图的方法及其与分段占用网格图的关系将在以后的博客中讨论。