摄像头对ADAS的重要性不言而喻。最近，我正在设计域控制器的摄像头模块的接口。我发现网络上的数据和描述有着不同的直径，对于RAWData的传输也有不同的看法。为摄像机模块的选择和汽车域控制器的接口设计提供了一定的参考。内容比较简单，适合初学者阅读。

如下图所示，镜头+ imagessensor + ImageSignalProcessor (ISP)+ Serializer是相机的基本框图。一般的程序是，Lens采集到对象的基本信息，然后通过imagessensor(以下简称Sensor)经过一定的处理后再次向ISP串行化，在同轴电缆或双绞线的基础上进行LVDS (Low - VoltageDifferentialSignaling) GMSL (Gigab Itmultimedia Eriallink)传输。下面将描述其中的每一种，包括数据传输。

我镜头

穷玩车，富玩桌，摄影穷三代，单反毁人生。我相信你们都听说过Lens是指摄影中昂贵的镜头。我不会在这里详细展开。它不是与控制器设计相关的参数。让我们以一个简单的参数xGyP为例，其中x和y表示数字，G表示玻璃，P表示塑料。一般来说，x的数量越多，镜头就越贵。

2、ImageSensor

传感器利用光电二极管将光转换为电，将图像转换为数字信息，现阶段一般分为CMOS (complementary metaloxidesemicsemiconductor)和CCD (ChargeCoupledDevice)两种图像测量元件。由于传感器的每个像素只能处理R、G或B光，因此每个像素存储一个单色RAWDATA(也称为RGBRAWDATA)。如果原始数据按RGRG/GBGB格式排列，我们称之为BayerRGB(这是最常见的)。因此BayerRGB属于RAWDATA，但RAWDATA可能不是BayerRGB。来自不同制造商的传感器具有不同的RAWDATA安排。

2.1CCD

如下图所示，每一行每个Pixel的电荷信号依次发送到下一个Pixel，由底部部分输出，然后由传感器边缘的放大器放大。一般来说，A/D转换是在总线后面添加的。

2.2CMOS

如下图所示，每个像素都连接一个放大器和一个模拟/数字转换电路，该电路以类似于存储电路的方式输出信号。一般来说，A/D转换被添加到每个光敏二极管。

2.3两者的区别

1. 阅读信息的不同方式

CCD只有一条总线，是在同步电路控制下采集的无源输出数据。输出数据是在时钟信号同步下，逐级移位读出相应二极管的电平值。电荷信息的传递和读取输出需要一个时钟控制电路和三组不同的电源，所以整个电路比较复杂。

CMOS有两条总线，主动输出采集到的数据信息，并以坐标(晶体管开关阵列)的方式直接读取总线的电平来存储每个像素的电平值。

2. 不同的速度

从读取信息的方式也可以看出，CCD需要在时钟脉冲的控制下，以“线”为单位逐位输出信息，速度较慢。

CMOS有一个晶体管开关阵列。传感器采集光信号，同时采集电信号。它还可以同时处理各个单元的图像信息。一些专为机器视觉设计的CMOS声称可以达到每秒1000帧的速度。

3.不同的供电方式和功耗

CCDCCD传感器是被动捕获的，需要施加电压来移动每个像素中的电荷，通常需要12 ~ 18V。一般需要时钟控制电源和三组电源。高驱动电压使得其功耗远高于CMOS传感器。

CMOS光敏器的图像捕获方式是有源的，光电二极管产生的电荷将直接被放大并由旁边的晶体管输出。通常只使用3V或5V电源，功耗很小，仅为CCD电荷耦合器件的1/8 ~ 1/10。

4、成像质量不同

CCD CCD电荷耦合器件的生产技术起步较早，技术成熟，采用PN结或二氧化硅(SiO2)隔离层隔离噪声，仅将一个放大器放置在CCD传感器芯片的边缘，噪声低，成像质量优于CMOS。

CMOS光电传感器集成度高，光电传感器的元件和电路彼此非常接近，光、电、磁之间相互干扰严重，噪声对图像质量影响很大。近年来，随着CMOS电路降噪技术的不断进步，为生产高密度、高质量的CMOS成像器件提供了良好的条件，成像质量得到了显著提高。CMOS的像素大小很难达到CCD传感器的水平。同尺寸的CMOS和CCD相比，CCD传感器的分辨率通常要优于CMOS传感器。

三、DVP传输

DVP(DigitalVideoPort)是传统的传感器输出接口，采用并行输出方式。数据位宽为8/10/12位。数据的顺序非常重要。PCLK的最大速度为96MHz。

DVP需要PCLK\传感器输出时钟，MCLK(XCLK)\外部时钟输入，VSYNC\场同步，HSYNC\线同步，D\并行口数据。

PCLK:像素同步时钟信号，每个PCLK对应一个像素；对于时钟信号，一般做分组处理，减少对其他信号的干扰，还需要在源端增加电阻和电容，减少过涌和振铃，从而减少对其他信号的干扰；MCLK(XCLK):外部时钟输入，可由主振荡器或晶振提供；VSYNC:帧同步信号，一帧频率为几十赫兹(30Hz);HSYNC:线路同步信号(频率为几十千赫)。

例如，180720百万像素的屏幕需要每行1080个脉冲来依次移动和锁存数据，然后需要一个HSYNC脉冲来替换行。这是通过按顺序输入720行来完成的(也称为行扫描，渐进式)，然后是带有VSYNC脉冲的新行，以清除行计数器并从第一行重新刷新显示。

一般来说，摄像头模块与ISP集成，传感器将RAWDATA通过DVP传输给ISP进行分析。有些模块没有ISP，数据将通过DVP直接传输到域控制器，由外部ISP处理。通常我们使用内置ISP的相机模块。

四、ISP

如上所述，传感器只能感知单色光(R, G或B)。ISP的主要工作是将RawDATA格式转换为RGB格式或YUV格式并输出到相机外部。例如，如果某个敏感点的颜色为R，则ISP模块将根据该敏感点周围的G和B敏感点的值计算该点的G和B值。然后对该点的RGB值进行还原，再通过插值和处理对整个图像进行预还原，如下图所示。

以下是RGB和YUV视频格式的简要说明。

RGB，用在PS上应该都知道有这样一种显示格式，在PS上最大能看到的图片，RGB每个像素有三种颜色，每个值在0到255之间，所以每8bit可以代表一个R、G或B，如果是10bit，在解析时，去掉一些两个非数据就是。RGB也有几个细分，我不会在这里深入讨论。

YUV利用RGB信息将全彩图像生成黑白图像，然后将三种主要颜色提取为两个附加信号来描述该颜色，再将三种信号组合回来生成全彩图像。亮度信号Y表示黑白图像，U和V表示色度。至于为什么在有RGB的情况下需要YUV，我更倾向于认为是为了满足电视从黑白到彩色的兼容性问题。即使U、V信号丢失，也只能插入Y信号线(红色)输出黑白视频。

至于ISP的具体分析处理过程，过于复杂，本文不再展开。如果有必要，你可以转卖，然后写一篇文章来介绍它。

4. 序列化器

串行器用于将ISP处理后的并行信号传输到远端(域控制器)。并行传输方式的前提是使用相同的时序发送信号，并使用相同的时序接收信号。但是，如果时钟频率增加过多，将难以保持数据传输的时序与时钟同步。如果布线长度稍有不同，则数据将以与时钟不同的时序传递。因此，在并行模式下很难实现高速。只有对并行数据进行序列化，才能实现数据的远距离高速传输。我们使用的USB端口就是这个原理。反序列化器和序列化器一起使用。反序列化器位于接收端(域控制器)。

5. GMSL

GMSL (GigabitMultimediaSerialLink)，是串行化对调列表的传输线，基于一个LVDS传输，多个直接放在一个域控制器上，采用一串GMSL4通道解决方案，同时支持摄像机数据传入4路，例如在AVM(AroundViewMonitor)中，就需要多个摄像机。

LVDS是目前常用的一种高速传输方式。它是一种低摆幅差分信号技术，可以使信号在差分PCB线对或平衡电缆上以几百Mbps的速率传输。低电压幅值、低电流驱动输出，实现低噪声、低功耗。LVDS的具体技术实现，将在下面的文章中介绍，这种技术其实就在我们身边，鼠标和键盘的USB接口，就是半双工LVDS。

PS:可以关注公众号：汽车域控制器设计