高级3D全景环视系统的最佳解决方案

将强大的三维图像处理、出色的计算机视觉处理和优化的视频采集功能，融合于单芯片的SoC解决方案，是包含多摄像头全景环视功能的未来泊车辅助系统的关键所在。瑞萨R-Car第二代SoC旨在为高级3D全景环视系统提供最佳解决方案，并为驾驶人员提供身临其境、安全的驾乘体验。

简介

全景环视是泊车辅助系统的重要组成部分，将会成为汽车的一项标配功能。随着人们对驾乘体验、可扩展性等方面的要求越来越高，全景环视原本兴起于亚洲汽车制造商所推动的小众市场的，当下已经成为主流汽车厂商提供的选配功能。瑞萨作为汽车信息娱乐系统和先进驾驶辅助系统(ADAS)领域的领先SoC供应商，在早期阶段就已成为支持全景环视技术的主要厂商。如今，瑞萨提供基于新一代SoC的高扩展性、创新的解决方案来应对全球市场需求。

基于R-Car第二代产品的全景环视系统

全景环视的作用是实时显示汽车周围环境的全貌。这种以二维视角从空中360度成像的方式叫做鸟瞰图或俯视图。通过多个摄像头的图像矫正，可将采集图像无缝衔接在一起。同时通过对不同摄像头的亮度和色彩进行调节，以使合成的全景视图看上去更加协调。

不过仅仅显示这一影像并不能在泊车过程中为驾驶人员提供帮助。为了更好地进行操控，在显示二维视图和车后方视图时需要为驾驶人员显示更多的信息。而另外一种补充方法是通过车周围环境的三维视图来加强司机对距离的感知。通过安装在汽车四周的二维相机来生成当下汽车周边的三维全景影像和三维的汽车影像，为驾驶人员提供参考。影像必须真实反映出汽车与附近物体（行人、车辆和建筑）的距离。三维球面视图应随着汽车的运动动态地变化。汽车模型必须融合在周围景象中，光照或反射光线都要在汽车模型上反映出来。

此类应用推动了汽车嵌入式平台中的三维图形和计算机视觉的性能提升。瑞萨R-Car SoC系列产品可用于此类应用。第二代R-Car于2013年3月首次发布，它支持多种应用，如外部设备连接、娱乐扩展和先进驾驶辅助(ADAS)。该系列产品具有卓越的性能和优化的功耗，通用的API可降低客户开发工作量。该系列的两款产品支持全景环视应用：R-Car H2和R-Car V2H。

R-Car H2带来全新三维体验

R-Car H2是2013年3月份发布的首款产品，是专为包含三维全景功能的集成式驾驶舱解决方案而定制的。在该应用中，首先需要考虑三维图形引擎的性能要求，特别要注意两个方面：二维摄像头图像纹理在三维球面视图的映射和汽车三维成像。成像场景中的多边形计数取决于三维球面视图的变换和汽车模型的渲染效果。图形引擎必须能够在短时间内处理大量的多边形运算，从而使渲染效果更佳。

此外，由于此应用可针对同一个场景使用不同的着色器程序，因此图形引擎必须具有功能强大的着色器引擎。这些性能要求较高GPU频率以实现高速数据处理。这些应用方面的性能要求都推动了瑞萨将高性能的三维图形引擎集成在R-Car H2中。事实上，该产品的三维图形引擎提供了与iPad Air 的三维图形引擎相当的性能。

通向增强真实感之路

感知三维场景是另外一个重要方面，有两种实现技术。一种是人类立体视觉，不过它的缺点是使相机成本和集成工作量增加了一倍。另一种是创建车辆的“运动恢复结构（SfM）”，从而提供一段时间内的立体视觉。瑞萨的R-Car产品系列采用了视觉专用硬件加速器，支持四个摄像头的实时运行算法，从而同时满足对高性能和低功耗的要求。

SfM算法生成代表车辆和周围物体运动的流矢量列表。下一步关键是从流矢量中计算本体运动并作匹配以计算出车辆的自运动。从基础矩阵中，可根据环境中的动态和静态物体将流矢量进行分类。静态物体流矢量可直接提供物体的距离（与移动距离成反比）。

图1：SfM算法在R-Car H2中的实现。SfM算法在R-Car H2一个的摄像头视频上的运行结果（上图）。基于SfM处理结果的环境三维模型（下图）。

图1（上）展示了R-Car H2的一个运行实例。圆圈代表静态特征点，是结构计算的结果。一个颜色对应一串物体，这些物体随后反馈给模型变换。这些数据用来调整如图1(下)所示环境的实时三维模型。最后，利用图形引擎，生成三维球面的映射三维模型来创建出逼真的汽车环境影像。

以太网：基于R-car V2H的便捷之路

R-Car系列产品还包括R-Car V2H，它提供了一种利用以太网的视频传输方法，从摄像头视频采集直到显示接口。这种流水线方法不仅降低了对系统其余部分（如整体延迟、内存带宽和CPU干预）的要求，而且大大降低了系统制造商软件开发的复杂度。图2展示了R-Car V2H的这种视频路径。从四个摄像头数据的解复用到图像矫正，不需要访问外部存储器，并且每一个摄像头都对应有专用的硬件加速器。

图2：R-Car V2H的以太网全景视频传输路径

系统成本的降低有助于全景环视的广泛应用，而布线成本是不可忽视的一个部分。近年来出现了2种降低成本的方法，可减小当前基于LVDS的全景环视系统成本。一种是使用非屏蔽双绞线上的以太网传输，另一种方法是更经济的同轴电缆的升级版LVDS传输。两种方法的系统成本差不多。不过，以太网解决方案不仅有助于降低系统成本而且为之后的应用提供了更好的灵活性。例如，随着行车记录系统的使用越来越广泛，只需增加少量成本即可支持新的功能（如多通道同步录像），因为这只需要带有SD卡接口即可实现。相比LVDS，以太网传输的另一个好处在于基于AVnu联盟的MAC层和基于开放联盟的PHY层都是标准化的。

最佳视频延迟控制路径

在全景环视应用里，其中一个需要精心设计的方面是视频传输（包括压缩和解压缩）和视频处理阶段中的延迟。事实上，从摄像头采集影像到显示影像的总体延迟应低于100ms，才能使驾驶人员能够实时地感知环境。

目前，摄像头工作的帧率为30帧/秒。使用全局快门时，传感器电池在曝光时同时进行充电，然后成像器开始逐个输出像素。因此，影像捕捉后大概一帧（33ms）左右传输最后一个像素。这个首帧延迟，无法缩短。另一个不可缩短的延迟是影像显示，所有像素都必须在显示影像之前传输完毕，这个延迟也是33ms左右。最后只剩下33ms来执行图3所描述的其他任务。

图3：视频传输和图像矫正的延迟

这个数据传输通路的第一步是数据传输。以太网协议并没有提供专用机制来确保低延迟传输和摄像头同步。这也是瑞萨在R-Car系列产品中首先引入了带高级AVB硬件支持的千兆以太网MAC的原因。这为降低CPU负载和优化整个压缩视频接收提供了必要的硬件支持。一些专门的机制用于实现智能数据包解封和摄像头视频滤波。AVnu联盟AVB协议的汽车规范里定义了对录制视频的快速启动、低延迟（最大延迟为2ms）等多视图摄像头应用的关键技术的考虑。

最早的以太网的多摄像头系统采用了低延迟的动态JPEG（MJPEG）压缩技术。该技术基于众所周知的JPEG标准，已被广泛应用于消费类数码相机。然而该技术对视频质量的影响可能会限制后续视觉处理性能。因此，瑞萨认为H.264压缩技术是最佳的视频传输解决方案。这项技术提供了更好的压缩比，可改进视觉处理性能。目前H.264技术已经广泛应用在各种娱乐终端设备，它们也可已通过瑞萨丰富的汽车娱乐连接方案连接到汽车上。在R-Car V2H上，瑞萨实现了首个支持高清多通道、符合H.264标准且具有低延迟的视频解码的汽车SoC。

减少延迟的最后一步是缩短处理数据的延迟。事实上，传统的基于DSP的系统需要通过双缓冲区来采集视频。R-Car V2H具有称为IMR的专用引擎，可瞬时完成图像矫正。此功能支持从最多5个低延迟视频解码器的直接传输图像。由于R-Car V2H具有视频直通路径，以太网传输网络中的总体延迟比传统的LVDS大大降低了，如图3所示。

成像与探测

IMR还可以采用查找表（LUT）即时进行视角转换的二维或三维全景成像。可针对每个输入帧更改摄像头视角，以实现用户视角间的动态转换。其本身支持双线性过滤，可提供出色的图像质量。通过此方法，R-Car V2H自身只需极小的内存即可支持三维全景成像。R-Car V2H 具有与R-Car H2相同的图像识别硬件。因此，它也可同时实现SfM计算，也还可以实现行人探测。它可以采用梯度直方图和支持向量机分类，对四个摄像头的数据同时进行行人探测。请见图4。

图4：基于 R-Car V2H 的带行人检测功能的三维全景演示

 结论

本文针对汽车多摄像头应用的趋势尤其是泊车辅助系统中的三维全景环视功能进行了讨论。介绍了具有丰富可扩展性的R-Car汽车SoC系列产品。R-Car H2能够实现汽车周围环境即时的三维全方位成像，使泊车操作更加方便。在R-Car V2H中，引入了独到的以太网视频直通方法和以太网AVB MAC以及多通道H.264低延迟解码器，从而实现了超低延迟视频处理并减小了内存带宽。瑞萨也引入了功能安全所需的关键特性，以使采用该产品的系统在功能安全上能达到ASIL B级别。