面向自动驾驶的车载SoC，视频处理延迟时间仅为70ms

时间： 2016-04-03 来源：老杳吧

技术问答

日本瑞萨电子与瑞萨系统设计公司为未来自动驾驶开发了车载计算SoC，并于2016年2月1日在半导体集成电路技术国际学会“ISSCC2016”上发表了演讲（Session4.4）。瑞萨还在当天的演示会上，演示了使用该SoC同时处理12通道全高清（1980×1080像素、30帧/秒）影像的情况。这是瑞萨车载信息IC“R-CAR”的第3代产品，预定2018年3月开始量产。

图1：瑞萨开发的车载SoC

演示会现场近处为车载仪表，远处为在显示器上分12个画面显示了全高清影像

演示时使用的板卡。据说中间的散热片等部件的下方安装了此次开发的SoC。据介绍，这款SoC在一个芯片上集成了ARM的多个CPU内核、GPU内核以及6种（17个）视频处理用处理器。瑞萨认为，到2020年前后，汽车的各种仪表、驾驶辅助系统（ADAS）、音响及多个显示器将会整合在一起，为此而开发了这种可实现整合的SoC。

此次开发的SoC采用16nmFinFET工艺制造。核心电压为0.8V，工作频率为400MHz。外置存储器设想使用LPDDR-3200。设想的使用方法是，利用视频处理用处理器群来处理车载摄像头等的影像，用于娱乐用途，同时面向ADAS以及之后的自动驾驶用途，将这些影像数据用于物体识别等。每秒可处理的视频为7.5亿像素。如果是30帧/秒的全高清影像，这相当于约12个通道的影像。同时还支持4K影像，只是通道数量少一些。处理延迟减少4成，通过流水线处理将总延迟时间缩短至70ms 如果只是单纯增加像素，也能通过增加处理器内核数量等方法来实现。据瑞萨介绍，此次开发的关键点之一是减少了视频处理延迟。原因是就连泊车等低速行驶时，影像的延迟也必须低于100ms。视频处理一般首先用流处理器（SP）来处理压缩的视频帧，然后用编解码处理器（CP）来进行解码等。以往的视频处理IC因使用SP进行帧处理的时间各不相同，为了消除这种偏差，SP处理之后需要数帧的缓冲。仅这样的缓冲就会导致近100ms的延迟。

瑞萨为了解决这一问题，对视频编码技术进行选择，让SP等的处理时间一定，而且不等每帧的SP处理结束，每隔几个像素就将数据移交给CP。由此，SP处理之后就不再需要缓冲了，从而实现了视频数据的流水线处理。SP与CP之间的延迟大幅缩短至1ms。据介绍，包括之后的失真补偿处理等在内，视频处理的总体延迟减小到了70ms。不过，这并不是最终目标。没有驾驶员的完全自动驾驶最早有望于2020年代后半期开始，如果实现自动驾驶，就必须进一步大幅缩短处理延迟。

“将来的目标是，通过减少SP处理之前的帧缓冲时间等措施，使压缩视频数据的处理延迟降至10ms以下”（瑞萨系统设计第一开发事业部Cockpit业务推进部第三科首席工程师、在本届ISSCC发表演讲的望月诚二）存储控制器为CPU内核设置了“后门”。

该SoC的另一个关键点是可在SoC向存储器写入视频数据时压缩数据。比如，如果以非压缩形式将12通道全高清视频数据输入输出存储器，用CP进行数据编码及解码处理时，需要20GB/秒的带宽，会占用存储带宽的40％。这样可能会对CPU内核及GPU内核负责的物体识别处理产生不良影响。因此，瑞萨通过在访问存储器时压缩数据，节约了存储带宽。

不过，这样做存在一个问题。那就是CPU内核等使用的视频数据基本上都是非压缩的，因此保存在存储器里的压缩数据不能直接使用。针对这一点，瑞萨在存储控制器中设置了压缩数据的“影子空间（Shadowspace）”。CPU内核访问压缩数据时，会访问这一空间，对数据进行解压缩。

据介绍，这样一来，CP访问存储器时的带宽缩小到了非压缩时的30％，其他处理器访问存储器时的带宽则缩小到了非压缩时的50％。由此，连接处理器或存储器的总线的功耗降低了约50％，SoC的总体功耗也减少20％，降至197mW。

此次开发还有一个关键点。那就是这款SoC符合车载IC故障频率等的标准“ISO26262”。

发送到邮箱 |
+1 赞 0
收藏
评论 109
| 转发至：

本网站所有内容禁止转载，否则追究法律责任！

全部评论（109）

风雨无阻 Lv7 资深专家 2018-12-04

R-Car M3支持的操作系统，linux的，瑞萨有提供免费的吗？
- 用户30609845_世强回复：瑞萨车规级SoC R-Car M3提供linux的板级支持包，与linux核代码的解压包。
  查看全部1条回复
plhust Lv7. 资深专家 2020-05-22

学习
AUTOSAR Lv4. 资深工程师 2019-01-24

感谢我
严小妖 Lv5. 技术专家 2019-01-24

学习
用户37866299 Lv6. 高级专家 2019-01-15

学习

二资料 Lv5. 技术专家 2019-01-15

收藏
Locust Lv7. 资深专家 2019-01-15

学习了
丝雨 Lv8. 研究员 2019-01-12

学习了
冰点咖啡 Lv5. 技术专家 2019-01-11

学习了
卡宁儿 Lv7. 资深专家 2019-01-10

学习了

展开更多评论

【技术】瑞萨专为R-Car V3H片上系统专用硬件加速器设计的新型感知快速启动软件，加速嵌入式汽车ADAS开发

Renesas电子公司是高级半导体解决方案的顶级供应商，利用基于其R-Car V3H片上系统（SoC）的新型感知快速启动软件，继续加速高级驾驶辅助系统（ADAS）系统的开发）。该解决方案提供了用于摄像机障碍物检测（COD），激光雷达障碍物检测（LOD）和道路特征检测（RFD） - 三个基于传感器的L2+级别自动驾驶车辆系统的关键识别领域的参考软件。

新技术发布时间 : 2019-06-24

【产品】瑞萨推出基于专为智能摄像头和全景环视系统的片上系统SoC即用型3D 环视系统

瑞萨和麦格纳于今日联合宣布，双方合作推出专为入门级到中级车辆设计、新型高性价比3D环视解决方案，这将加速高级驾驶辅助系统（ADAS）的量产和普及。该3D 环视系统采用了瑞萨电子高性能低功耗、专为智能摄像头和全景环视系统而优化的片上系统(SoC)。

新技术发布时间 : 2018-06-29

【产品】低功耗全高清ADAS专用低功耗SoC芯片SGKS6802

森国科SGKS6802是一款针对高级辅助驾驶(ADAS)、流媒体后视镜、夜视系统、透雾透霾及图形图像识别与处理等产品开发的ADAS专用低功耗SoC芯片，1080P@30fps+720P@30fps双路码流H.264编码及高质量的ISP处理。

新产品发布时间 : 2021-07-23

【经验】R-Car H3/H3N/M3 SoC芯片的AVS模块介绍及寄存器的配置

Renesas推出驾驶安全辅助系统和车载信息娱乐系统的第三代R-Car SoC芯片，内核方面使用的是Cortex-A57 CPU、Cortex-A53 CPU和Cortex-R7，主要面向无人驾驶、智能辅助驾驶、车机、仪表和ADAS等应用场景，并以其强大的算力和丰富的外设资源赢得了广大车厂和Tier 1的认可。本文将介绍瑞萨R-Car H3/H3N/M3的AVS模块介绍及寄存器的配置。

设计经验发布时间 : 2020-03-21

【产品】瑞萨第三代汽车级SOC RCAR-M3带你走进自动驾驶时代

瑞萨电子推出第三代Rcar系列芯片，致力于高级安全（智能）驾驶系统和车载娱乐系统，建立一个完善的无人驾驶领域半导体的技术平台。其中新的Rcar-M3成员（SOC），提供ARM双核cortex-A57以及4核cortex-A53的高CPU性能、3D图像识别处理引擎，符合ISO 26262（ASIL-B）的安全等级，支持系统级封装（SiP）集成高速缓存，功能完善，完美支持先进驾驶辅助系统的开发设计。

新产品发布时间 : 2018-07-29

How to Build Together a Safe and Efficient AD ＆ ADAS Central Computing Solution

Should RENESAS stop here and call it a success? Clearly no! Progress has no limits and by working together we ensure to constantly update our understanding of how autonomous systems of tomorrow will be and anticipate that by providing state-of-the-art processing solutions that would bring them successfully to the mass market.

技术探讨发布时间 : 2023-11-30

【产品】瑞萨新一代SOC R-Car V3H，专为自动驾驶前置摄像头应用

瑞萨开发了专门针对前置摄像头应用的SoC——R-Car V3H，集成了专门针对图像处理的功能单元，它比R-Car V3M在视觉处理方面的性能提高了5倍，并只有0.3瓦的超低功耗，更好的适应自动驾驶的需求。

新产品发布时间 : 2018-03-07

【产品】全新开放式平台，加大对ADAS及自动驾驶的支持

新型R-Car V3M SoC符合ISO26262功能安全标准，为视觉处理提供了低功耗硬件加速功能，还配有内置图像信号处理器。

新产品发布时间 : 2017-04-25

【经验】SoC R CAR V3H2 端侧推理输出的rcar_output.npy数据查看方法

RENESAS R CAR V3H2 端侧推理输出的数据有cvs格式，总共512个输出，同时把cvs数据转化为npy格式保存为一个rcar_output.npy文件，那我如何查看这些数据呢，本文记录数据查看方法。

设计经验发布时间 : 2023-09-23

【经验】SoC R CAR V3H2 cnn模型转换后执行以及benchmark过程实操指南

RENESAS SoC R CAR V3H2 cnn模型转换后的输出文件有bcl和.pb 2类，都是可以在端侧执行的，本文记录.pb的推理输出以及benchmark过程实操及解析。

设计经验发布时间 : 2023-09-21

【经验】使用瑞萨SoC R CAR V3H2 cnn工具链实现onnx模型转caffe模型的实操

R CAR V3H2 的cnn神经网络模块需要运行int16的定点模型，而onnx模型首先需要通过cnn工具链转成caffe模型，然后再转成端侧的可执行模型，本文使用瑞萨的cnn工具链实现onnx模型转caffe模型。

设计经验发布时间 : 2023-08-14

DA16200 Ultra Low Power Wi-Fi SoC

型号- DA16200-00000F22,DA16200-00001F22,DA16200-00001A32,DA16200-RRXXXYYZ,DA16200,DA16200-00000A32

数据手册 - RENESAS - Revision 3.7 - 12-Jul-2023 PDF 英文下载查看更多版本

Renesas Introduces Complete Power and Functional Safety Solution for R-Car V3H ADAS Camera Systems

March 30, 2021 - Renesas Electronics Corporation, a premier supplier of advanced semiconductor solutions, announced a new power and functional safety solution for systems based on the R-Car V3H system-on-chip (SoC) for advanced driver assistance systems (ADAS) automotive front cameras and driver monitor cameras.The new solution includes the RAA271050, a 42V synchronous buck ‘pre-regulator‘ that accepts the vehicle‘s 12V supply and steps it down to an intermediate supply voltage of 3.3V or 5.0V.

新产品发布时间 : 2021-04-20