MulticoreWare

移动和交通

鸟瞰图–自主机器人技术范式转变的入门读本

2023年06月30

 

作者

Selventhiran Rengaraj 是MulticoreWare移动和运输业务部的技术项目副经理。他有为地面和水下机器人,开发机器人堆栈的实践经验,并在领先的汽车半导体平台上从事前沿的人工智能和ADAS感知堆栈优化工作。

介绍:

在自动驾驶汽车的世界里,感知是一个关键的组成部分,在确保车辆的安全导航、物体探测和知情决策方面起着关键的作用。有许多先进和复杂的感知系统可用于自动驾驶汽车,其中一种方法是鸟瞰(BEV)感知,获得了巨大的吸引力。BEV感知通过提供一个自上而下的周围环境视角,为导航、物体探测和路径规划提供了宝贵的见解。

 

鸟瞰图:

鸟瞰,也被称为自上而下的视角或俯瞰,是从一个高处的角度来表示环境。在自主性的背景下,BEV指的是从上方看到的主体周围场景的视觉表现,就像一只从头顶飞过的鸟观察到的那样。

BEV的创建通常涉及处理传感器数据,如激光雷达、相机图像或多个传感器的组合,以产生一个与地面平面对齐的自上而下的表示。通过将传感器数据转换为不同的坐标系,BEV可以实现一个全面的视图,捕获更广泛的视野和关于场景的丰富几何信息。

BEV perception offers insights for navigation, object detection and path planning by providing a top-down perspective of the surroundings

感知视图(PV)到鸟眼视图(BEV):

以视觉为中心的BEV感知仍然是成本效益高的自动驾驶系统的一个长期挑战,因为摄像机通常安装在与地面平行的自我车辆上,并面向外部。图像是在透视图(观察者的二维视角)中捕获的,这与BEV大多是正交的,从PV到BEV的转换通常被称为逆透视映射(IPM)。

随着传感器技术和机器学习的发展,有几种基于卷积神经网络(CNN)的方法可用于将感知视图转换为鸟眼视图。下面是一个使用CNN将光伏转换为BEV的现实世界的可视化:

什么是占用网格图,它与BEV有什么关系?

占用网格图(OGM)是自主系统领域的另一种流行技术,用于表示和模拟车辆或机器人的环境。它通过将环境划分为一个个单元格,提供了一个基于网格的结构化环境表示。网格中的每个单元代表环境中的一个特定区域或位置。

OGM是通过整合各种传感器(如激光雷达、照相机或雷达)的数据生成的。基于传感器的数据,每个网格单元的占用状态被更新。每个单元都与一个表示占用可能性的概率值相关。

鸟瞰图(BEV)和占有率网格都是环境的代表,可用于自主系统领域。虽然生成BEV和OGM的过程不同,但它们都利用网格结构来表示环境。在这两种技术中,环境被划分为网格中的单元,每个单元对应于环境中的一个特定位置。由于其重要的应用,这两种表示方法在自主系统领域都得到了广泛的利用。

BEV感知在自动驾驶中的应用:

  • 自主驾驶: BEV感知可用于识别道路上的轨道和车道标记,这有助于自主车辆了解道路并保持在指定车道内。BEV能够检测和跟踪车辆周围的物体,如障碍物、行人和道路上的其他各种物体。它还能帮助自动驾驶汽车进行路径规划、停车辅助和交通流分析等。
  • 机器人技术: 配备BEV感知的机器人可以捕捉环境的全面视图,并对其进行分析,用于安全监测、异常检测和环境监测等。 它还可以用来协调在同一地区工作的多个机器人,使它们能够避免碰撞,并在复杂的任务上进行合作,如无人机表演灯光秀。

结论:

BEV感知的未来在提高自主系统的感知能力方面有着广阔的前景,导致更安全、更有效的运输与使用,在各个行业中有着广泛的应用。将感知视图转换为鸟瞰图的方法及其与分段占用网格图的关系将在以后的博客中讨论。

Share Via

Explore More

Mar 28 2025

用 Perfalign 解锁 AI 性能分析与优化

在人工智能和机器学习领域,跨不同硬件平台优化性能是一项关键挑战。开发者和人工智能工程师经常面临复杂模型可视化、性能瓶颈分析以及工作负载微调以提高效率的难题。Perfalign 旨在通过提供先进、直观的 AI 软件栈开发和优化工具包来解决这些挑战。

Read more
Mar 25 2025

Gen AI 如何改变流媒体和广播行业的视频增强功能?

开发者经常面临跨平台移植应用程序的挑战。无论是从 x86 过渡到 ARM 或 RISC-V CPU,还是将工作负载迁移到新架构的 AI 加速器,这个过程都绝非易事。虽然移植看似只是重新编译或进行少量代码调整的简单操作,但实际情况远比这复杂得多,尤其是在 HPC 领域。

从架构差异到性能瓶颈,移植应用程序需要具备硬件架构、系统集成、性能优化和平台特定调优方面的深厚专业知识。本篇博文探讨了为什么移植应用程序不仅仅是一项“直接迁移”的任务,以及如何采用结构化、专业知识驱动的方法克服挑战。

Read more
Mar 14 2025

跨架构移植应用程序为何如此艰难

开发者经常面临跨平台移植应用程序的挑战。无论是从 x86 过渡到 ARM 或 RISC-V CPU,还是将工作负载迁移到新架构的 AI 加速器,这个过程都绝非易事。虽然移植看似只是重新编译或进行少量代码调整的简单操作,但实际情况远比这复杂得多,尤其是在 HPC 领域。

从架构差异到性能瓶颈,移植应用程序需要具备硬件架构、系统集成、性能优化和平台特定调优方面的深厚专业知识。本篇博文探讨了为什么移植应用程序不仅仅是一项“直接迁移”的任务,以及如何采用结构化、专业知识驱动的方法克服挑战。

Read more

GET IN TOUCH