【应用】基于Renesas R-CAR V2H车载专用SOC的自动驾驶应用方案

目前，高级驾驶辅助系统（ADAS）应用已经成为电子行业广受关注的明星。相关调查研究表明，70%的严重交通事故可以通过系统辅助来避免。正是在这样基于安全驾驶的应用基础之上，ADAS应用得以大展拳脚。除此之外，在提高驾驶员驾驶体验的努力上，ADAS也展现出了目前良好的应用前景。总体来说，ADAS的应用方向分为安全功能与驾驶体验舒适度增强功能。其中，安全功能包括：自动巡航控制ACC（Automatic Cruise Control）、自动紧急刹车AEB（Auto Emergency Braking）、车道保持辅助Lane Keep Assist、自动悬臂梁控制Smart Beam Automation。体验舒适应用包括泊车助手（Parking Assistant）及交通信号检测（Traffic Sign Detection）。

概括而言，实现ADAS应用主要由以下几部分关键技术决定：

-- 高性能的平台

-- 电源功耗

-- 标准化的软件

-- 新算法的支持

-- 安全支持 ISO26262

-- 网络安全技术及其协议的支持

-- 高速的网络

接下来，本文将基于R-Car V2H，介绍其在这几部分关键技术中起到的作用。

首先，对R-CAR V2H芯片本身作简要的介绍。其芯片框图如图1所示:

图1：R-Car V2H芯片框图

作为一款专门用于ADAS应用的SoC芯片，R-Car V2H有六个IMR通道用作专用硬件，将摄像机的数据输入转换为斜视的全景立体视频，并提供清晰的高清视频。值得一提的是集成的IMP-X4（第4代图像识别软硬件系统）扩展了图像识别库，使其包含了一个开源库（OpenCV），提高了软件开发效率。接下来，本文将对R-Car V2H在ADAS应用中的具体细节进行介绍。

R-CAR V2H对高性能平台的支持

相关调查指出，在ADAS应用工业中，芯片的性能每两年就可以提升四倍。以传统的环视架构为例：在2013年，环视ECU停车辅助系统主要由四个摄像机作为四条通道实现，最终构成的图像为2D俯视图，在图像识别方面，仅能提供对运动目标及车道线的检测。而到了2016年，环视架构已经有了全新的飞跃：原本的四通道图像变成了5-6通道。2D俯视图也进化成了3D俯视图。其图像识别功能也在原本的基础上增加了追尾碰撞、自由空间检测与行人监测。如图2所示：

  图2：2016年的环视架构示意图

R-Car V2H有如下四项环视监测系统的关键核心技术：

1：3D 图像处理引擎SGX531

2：视点转换引擎IMR

3：图像识别引擎IMP-X4

4：6通道以太网视频AVB

其用作图像处理的功能框图概览如图3所示：

  图3：R-Car V2H图像处理概览

接下来，分别对各模块做介绍。

IMP-X4图像识别引擎

在R-Car V2H中搭载了专门用于图像识别的加速器。比起通用的处理器，专门用于图像识别的引擎具有更快的性能、更低的功耗和死区。具体的设计理念上，专用图像识别加速器将处理步骤分为两个层次：高程度处理，如位置测量、特征识别、移动监测等。低程度处理，如图片过滤，特征向量提取等。

不同的处理层次拥有不同的特性，因此需要采用不同的运算方法。如高层次处理计算呈串行，需要按序分别处理，不适合并行计算。而低层次的计算在广义上每个像素点所接受的处理相同，因此适合并行计算。满足以上要求的IMP-X4引擎具有非常强大的算力，如图4所示：

图4：IMP-X4的算力

在具体应用上，IMP-X4引擎内核分为4个IMP处理器与两个着色器。这两大模块分别与IMP Cache相连接。实现了硬件上的高性能与低功耗，以及软件上的可编程灵活性。

 IMR图像渲染引擎

在R-Car V2H中，图像渲染引擎IMR利用三角网格校正失真的模式自动生成矩形网格内的顶点数据从而实现了对图像进行失真校正，旋转，放大或缩小其效果图如图5所示:

图5：IMR效果演示

在芯片架构上，摄像机、主存、IMR的LSX、X、X2模块间的连接关系如图6所示：

图6：IMR相关体系架构

其中IMR-LSX 对输入视频进行图像的扭曲校正。IMR-X与DDR存储连接,图像识别时使用它来处理图像数据。其矫正方法有两种：

1：带有纹理映射的三角绘图

根据目标（DST）的顶点坐标和源（SRC）顶点给定的坐标。一个三角形被绘入DST中。如图7所示：

图7：带有纹理映射的三角形绘图演示

2：双线性过滤

在纹理映射中，当计算像素不是整数时，它是附近四个像素的线性差值。如图8所示：

图8：双线性过滤原理

最后，对于传统GPU处理途径而言，输入的视频信号首先存入DDR之中，再被GPU读取，进行处理。而IMR对传统GPU的处理途径做出了一定的优化，在IMR中，视频输入信号直接通过IMR内部通道被IMR读取用作像素计算，而另一部分首先被存入DDR放入缓存队列中，再像传统GPU一样做计算。这使得IMR有助于减少外部内存数据的传输。其框图如图9所示：

图9：IMR对传统GPU处理途径的优化

R-CAR V2H对标准化软件及全新算法的支持

所谓标准化软件，即是目前在CV（计算机视觉）领域最为流行的开发平台：OpenCV、OpenCL、OpenVL。对此，瑞萨电子提供了高度可靠的库文件以供开发者使用。如图10所示：

图10：R-Car V2H对于开发平台的支持

而对于全新算法，R-Car V2H采用浮点算法，足以满足绝大多数CV算法的需求。

 R-CAR V2H对安全及各类协议的支持

R-Car V2H支持标准ISO26262安全协定，基于瑞萨电子在其MCU安全领域的经验，其SoC产品在安全问题上同样具有相当的可靠性，如图11所示

图11：R-Car V2H安全性概览

R-CAR V2H对高速网络的支持

由于ADAS技术本质上归于IoT的一环，其相关应用对于网络速度的要求同样非常严苛。在图12的概览框图中我们可以看到，R-Car V2H采用了Ethernet AVB development & Car2x communication技术。而Ethernet/Ethernet AVB 很有可能成为下一代车载网络通信方式。其中，AVB 可以通过Ethernet实现数据流的实时传输。而Ethernet则将成为车内各个不同应用域的主干网络。

具体而言，车身、底盘、动力总成等机械设备可以通过CAN总线挂载于网关上于Ethernet取得连接，而信息娱乐与驾驶辅助系统本身就可以直接挂载于Ethernet中。整车的Ethernet再通过一个基于安全保障的MCU的网关连接到广域网之上，从而实现与其他网络协议的网络连接，例如广泛应用的wifi、LTE等。真正意义上地实现“云汽车”。其应用框图如图12所示：

图12：高速网络下的云汽车模型

在解决方案上，瑞萨电子直接提供了全套“即插即用”式的解决方案，其支持方案系统如图13所示：

图13.瑞萨电子对R-Car V2H应用方案的支持

开发环境上，图13中的绿色部分由Green Hills 软件公司提供高可靠性的实时操作系统“INTEGRITY”。其余部分的开发环境如图14所示：

图14：R-Car V2H各部分开发环境