【经验】R-Car H3中如何实现多摄像头的视频数据采集并同时进行H264编码

时间： 2020-03-05 来源：世强

技术问答

R-Car系列是瑞萨基于用户越来越高的汽车驾驶体验需求和日渐丰富的产品功能要求，以及汽车产品虚拟化、智能化的行业趋势推出的SoC，性能优异，覆盖了从仪表到ADAS及自动驾驶的等各个应用场景。

R-Car有着丰富的图形处理资源和接口资源，以及强大的GPU处理能力，同时瑞萨所提供的bsp中也集成了多种相关的多媒体软件框架及图形处理库，包括开源的V4L2、DRM、Gstreamer，第三方的OPENCL、OPENGL等，大大方便了客户的多媒体应用开发。本文将以R-Car H3为例，介绍R-Car基于gstreamer实现多摄像头的视频数据采集并同时进行H264编码，该功能主要应用于自动驾驶域控制器，可实现视频数据的采集、编码和实时分发。

从瑞萨提供的gstreamer手册中可以看到，整个采集和编码流程大致如下：

从框图可以看到，整个过程是不需要用到vsp的，在提供的例程也确实没有看到有vsp资源被调用，具体指令如下：gst-launch-1.0 v4l2src device=/dev/video0 num-buffers=300 \ io-mode=dmabuf no-resurect-buf=true ! video/x-raw, format=NV12, framerate=60/1 ! \ omxh264enc control-rate=2 target-bitrate=10485760 interval_intraframes=14 periodicty-idr=2 \

use-dmabuf=true ! video/x-h264,profile=\(string\)high,level=\(string\)4.2 ! h264parse ! \

video/x-h264,stream-format=avc,alignment=au ! qtmux ! queue ! filesink location=output.mp4

命令中的/dev/video0表示VIN0，VIN0~VIN7分别对应/dev/video0~/dev/video7。location=output.mp4表示采集编码后的输出文件，每一次调用都需要注意修改输出文件名。那么我们是不是可以调用多次该命令，就可以同时对多路视频输入进行采集编码了呢？原则上是这样的。但是当我们需要用到VIN2\3\6\7是就会发现，VIN2\3执行该命令时会报格式错误，为什么呢，这是因为VIN2\3\6\7的输出不支持NV12格式，而H264编码输入只支持NV12和I420格式，因此需要借助vsp对输入的视频格式进行转换，命令修改如下，加粗的为增加部分：

gst-launch-1.0 v4l2src device=/dev/video2 num-buffers=300 io-mode=dmabuf \ no-resurect-buf=true ! video/x-raw, format=YUYV, framerate=60/1 ! vspfilter ！video/x-raw, \ format=NV12, framerate=60/1 ! tee name=t ! omxh264enc control-rate=2 \ target-bitrate=10485760 interval_intraframes=14 periodicty-idr=2 use-dmabuf=true ! \ video/x-h264,profile=\(string\)high,level=\(string\)4.2 ! h264parse ! video/x-h264, \ stream-format=avc,alignment=au ! qtmux ! queue ! filesink location=output.mp4。

单独测试以上命令时，视频可以正常采集编码，但是当同时测试VIN0\1\2\3时，会出现vspfilter0:failed to activate bufferpool的错误提示，这是由于vspfilter资源冲突导致，我们需要给VIN2\VIN3分别配置一个vspfilter资源，命令如下：

media-ctl -d /dev/media3 -e "fe9a0000.vsp rpf.0 input"

media-ctl -d /dev/media3 -e "fe9a0000.vsp wpf.0 output"

media-ctl -d /dev/media4 -e "fe9b0000.vsp rpf.0 output"

media-ctl -d /dev/media4 -e "fe9b0000.vsp wpf.0 output"

配置完成后在/etc目录下将会出现两个gstvspfilter.conf文件，内容分别为

input-device-name=/dev/video20

output-device-name=/dev/video21

input-device-name=/dev/video22

output-device-name=/dev/video23

至此，配置均已完成，然后写个脚本，分别对4路摄像头进行数据采集编码即可。关于media节点、video节点以及v4l_subdev节点的含义，请参考bsp包中multimedia资料目录下的V4L2手册。

发送到邮箱 |
+1 赞 0
收藏
评论 0
| 转发至：

本文由夜雨提供，版权归世强硬创平台所有，非经授权，任何媒体、网站或个人不得转载，授权转载时须注明“来源：世强硬创平台”。

全部评论（0）

暂无评论

【经验】R-Car H3/H3N/M3 SoC芯片的AVS模块介绍及寄存器的配置

Renesas推出驾驶安全辅助系统和车载信息娱乐系统的第三代R-Car SoC芯片，内核方面使用的是Cortex-A57 CPU、Cortex-A53 CPU和Cortex-R7，主要面向无人驾驶、智能辅助驾驶、车机、仪表和ADAS等应用场景，并以其强大的算力和丰富的外设资源赢得了广大车厂和Tier 1的认可。本文将介绍瑞萨R-Car H3/H3N/M3的AVS模块介绍及寄存器的配置。

设计经验发布时间 : 2020-03-21

【经验】SoC R CAR V3H2 端侧推理输出的rcar_output.npy数据查看方法

RENESAS R CAR V3H2 端侧推理输出的数据有cvs格式，总共512个输出，同时把cvs数据转化为npy格式保存为一个rcar_output.npy文件，那我如何查看这些数据呢，本文记录数据查看方法。

设计经验发布时间 : 2023-09-23

【经验】SoC R CAR V3H2 cnn模型转换后执行以及benchmark过程实操指南

RENESAS SoC R CAR V3H2 cnn模型转换后的输出文件有bcl和.pb 2类，都是可以在端侧执行的，本文记录.pb的推理输出以及benchmark过程实操及解析。

设计经验发布时间 : 2023-09-21

【产品】低功耗全高清ADAS专用低功耗SoC芯片SGKS6802

森国科SGKS6802是一款针对高级辅助驾驶(ADAS)、流媒体后视镜、夜视系统、透雾透霾及图形图像识别与处理等产品开发的ADAS专用低功耗SoC芯片，1080P@30fps+720P@30fps双路码流H.264编码及高质量的ISP处理。

新产品发布时间 : 2021-07-23

硬创峰会热点提前知：新能源、车联网、自动驾驶为汽车论坛关键词

行业资讯发布时间 : 2019-02-28

【产品】瑞萨第三代汽车级SOC RCAR-M3带你走进自动驾驶时代

瑞萨电子推出第三代Rcar系列芯片，致力于高级安全（智能）驾驶系统和车载娱乐系统，建立一个完善的无人驾驶领域半导体的技术平台。其中新的Rcar-M3成员（SOC），提供ARM双核cortex-A57以及4核cortex-A53的高CPU性能、3D图像识别处理引擎，符合ISO 26262（ASIL-B）的安全等级，支持系统级封装（SiP）集成高速缓存，功能完善，完美支持先进驾驶辅助系统的开发设计。

新产品发布时间 : 2018-07-29

How to Build Together a Safe and Efficient AD ＆ ADAS Central Computing Solution

Should RENESAS stop here and call it a success? Clearly no! Progress has no limits and by working together we ensure to constantly update our understanding of how autonomous systems of tomorrow will be and anticipate that by providing state-of-the-art processing solutions that would bring them successfully to the mass market.

技术探讨发布时间 : 2023-11-30

【产品】瑞萨新一代SOC R-Car V3H，专为自动驾驶前置摄像头应用

瑞萨开发了专门针对前置摄像头应用的SoC——R-Car V3H，集成了专门针对图像处理的功能单元，它比R-Car V3M在视觉处理方面的性能提高了5倍，并只有0.3瓦的超低功耗，更好的适应自动驾驶的需求。

新产品发布时间 : 2018-03-07

【产品】全新开放式平台，加大对ADAS及自动驾驶的支持

新型R-Car V3M SoC符合ISO26262功能安全标准，为视觉处理提供了低功耗硬件加速功能，还配有内置图像信号处理器。

新产品发布时间 : 2017-04-25

【经验】使用瑞萨SoC R CAR V3H2 cnn工具链实现onnx模型转caffe模型的实操

R CAR V3H2 的cnn神经网络模块需要运行int16的定点模型，而onnx模型首先需要通过cnn工具链转成caffe模型，然后再转成端侧的可执行模型，本文使用瑞萨的cnn工具链实现onnx模型转caffe模型。

设计经验发布时间 : 2023-08-14

【经验】SoC R CAR V3H2 CNN工具链转换restnet18 caffe模型为端侧可执行命令过程解析

RENESAS SoC R CAR V3H2 CNN工具链最主要的功能就是把caffe,onnx等模型转换为V3H2 芯片端可执行模型，命令，本文记录并分析此转换过程。

设计经验发布时间 : 2023-09-16

Renesas Introduces Complete Power and Functional Safety Solution for R-Car V3H ADAS Camera Systems

March 30, 2021 - Renesas Electronics Corporation, a premier supplier of advanced semiconductor solutions, announced a new power and functional safety solution for systems based on the R-Car V3H system-on-chip (SoC) for advanced driver assistance systems (ADAS) automotive front cameras and driver monitor cameras.The new solution includes the RAA271050, a 42V synchronous buck ‘pre-regulator‘ that accepts the vehicle‘s 12V supply and steps it down to an intermediate supply voltage of 3.3V or 5.0V.

新产品发布时间 : 2021-04-20