介绍
现代传感需要最适合特征提取的数据，无论是通过经典的计算机视觉系统还是基于深度学习的模型。用于感知（如物体检测、跟踪、定位、映射、分割等）的大多数数据都是不同模态（RGB、深度图、点云等）的数字图像形式。图像信号处理器（ISP）和成像管道的最佳调谐对现代传感系统的输出有重大影响，包括模型的准确性和所传递的丰富信息。本文概述了ISP和ISP的不同模块及其影响。
1. ISP 概述
图像信号处理器（ISP）是SoC中的子系统，负责处理SoC收集的任何图像数据（图像快照 帧、视频流）的预处理。这包括颜色校正、白平衡等图像处理。输出的数字图像/视频数据可用于任何EDGE应用程序，如对象检测，作为训练模型的数据，以及实时数据，其从模型中推导出的信息构成了最终期望的信息。 ISP的不可或缺性源于：
- 图像传感器技术的快速发展（通过半导体技术的进步提高了信息容量，同时优化了存储和延迟问题），使之需要在硬件上实现图像处理算法来进行进行预处理。
- 图像数据处于许多现代传感应用的最前沿，这需要高效捕获和处理大量此类数据。
随着对部署在大规模商业和工业环境中的准确和万无一失的模型的需求日益增长，调优图像质量（IQ）已成为基于感知的机器学习模型开发的基本步骤。
2. ISP的基本组成部分
用于将RAW数据转换为RGB图像数据的简单ISP由单个模块的流水线组成，每个模块执行特定的操作。ISP的总体步骤如下：
- ADC–模数转换器： 将CMOS图像传感器记录的模拟信号转换为数字信号。
- 存储单元: 将图像数据存储在流水线的各个部分，以便快速有效地处理图像帧。
- 信号处理器： 对RAW数字信号执行信号处理操作，将其转换为标准数字格式，同时提高图像质量。该模块分为子模块，如：线性化和黑电平减法、镜头阴影校正等。下面简要讨论ISP的不同块及其效果：
2.1 线性化和黑电平减法
图像传感器对属于每个颜色通道的大多数接收信号输出非线性响应。这是将色调映射应用于RAW数据以压缩传感器输出中的动态范围的结果。非线性响应转换为线性响应，以应用于白平衡等图像处理，转换过程称为线性化。
对于WDR（宽动态范围）应用中使用的高位深度传感器，数据使用PWL（分段线性）变换进行压缩，这被称为压扩。在进一步处理之前，使用PWL LUT对从传感器接收到的RAW数据进行解压缩。即使接收到的信号为零（暗电流），每个相机传感器也有非零的电流输出。这个暗电流值会抵消传感器记录的实际像素值，因此在应用任何图像处理之前，应该对其进行估计和去除，估计值称为黑电平。
2.2. 镜头阴影校正
透镜阴影/渐晕是放置在图像传感器有效区域上的透镜排列的结果。聚焦到透镜中心的光强度随着透镜曲率半径的增加而降低，特别是在宽视场应用中（广角拍照）。摄影中的一些应用认为一定程度的渐晕是一种理想的效果，然而，人类或机器感知中的大多数应用都考虑对哪些伪影进行着色，为了获得准确的输出，因此需要将其去除。
2.3. 滤色器阵列插值
大多数RGB相机传感器在成像时不会记录每个像素的3个通道的数据。传感器上的每个CMOS像素仅捕获单个通道（R、G或B）。这类数据通常被称为拜耳数据，有4种主要模式用于捕获此类数据。
这是通过在CMOS像素上应用滤色器阵列来实现的，每个像素只允许1个颜色通道的响应通过。CFA设计中使用的模式称为拜耳模式（马赛克数据）。
使用像素插值的一种将拜耳数据转换为3通道的RGB数据的处理步骤称为CFA插值（通常称为去马赛克）。
2.4. 白平衡
任何由光源（日光/阳光、LED路灯、室内白炽灯泡灯）照亮的场景都会在整个场景上产生颜色，具体取决于光源的相关色温（以开尔文为单位测量）。
对于大多数人类/机器视觉应用，希望有一个没有色调的中性场景。白平衡算法估计场景的色温，并将增益应用于每个颜色通道（R、G、B）以校正这种色偏。
2.5. 颜色矫正
由于拜耳格式主要捕获绿色通道内容（马赛克数据），因此现代RGB传感器生成的图像中存在颜色不平衡。颜色保真度取决于显示器。现代显示系统具有广泛变化的参数，包括所谓的显示伽玛。
颜色校正算法利用所需显示特性的参考来校正图像中的颜色，以便在显示器上看起来能更好的可接受/令人愉悦。对于输送到机器视觉应用程序中的数据，通常会跳过此处理步骤，因为视觉模型的输出需要更自然的图像来产生准确的结果。
2.6. 去噪
相机图像传感器由于其制造中使用的技术，容易受到电子噪声（散粒、热、放大器）和环境噪声等因素的影响。这些噪声可以使用统计学（高斯分布、泊松分布）进行建模，并且本质上是随机的。随着场景亮度的降低，信号放大器为图像的捕获（模拟增益）和预处理（数字增益）应用了增加的增益，这增加了噪声信号与真实信号数据的结合。
因此，降噪成为图像信号处理的一个组成部分，特别是对于人类视觉，因为人眼对这种强度变化很敏感。然而，机器视觉对噪声波动具有更高的宽容度，许多时候选择跳过这一步，因为复杂的模型将噪声视为生成准确结果的关键特征（模型在噪声数据上训练以开发对这些特征的抵抗力）。
2.7. 边缘增强
机器视觉应用中的现代相机，如物体检测、字符识别等，需要将数据分辨率降低到最微小的细节（纹理细节、字母数字符号等）。最先进的图像传感器具有非常高的分辨率，每帧记录数百万像素。
噪声是一种不希望的伪影，可以通过过滤数据来去除。但微小的细节通常与高频噪声无法区分，也会受到影响。降噪后的边缘增强有助于恢复许多受噪声滤波影响的细节。
结论
MulticoreWare在使用传统计算机视觉（CV）算法和深度学习开发RGB相机图像处理算法方面拥有丰富的专业知识。在传感器驱动的自主性方面表现出色，我们的专业知识涵盖了激光雷达、雷达、ToF相机、热传感器和其他传感器。要了解更多信息，请写信给我们 info@multicorewareinc.com
