瑞芯微智慧视觉芯片方案，内置高性能NPU及独有的视觉处理ISP，赋能多元AIoT应用场景

随着人工智能的全面融入，视觉芯片算力有了极大提升，赋能终端类产品从“看得见”到“看得懂”；人工智能和传统视觉算法的结合，有效提升产品“大脑”的决策能力和执行能力，在行业应用中实现高效作业。 

瑞芯微智慧视觉芯片具有多场景、通用化、安全性三大特点，内置高性能NPU及独有的视觉处理ISP，有效进行视频数据结构化分析，实现从“事后处理”变为“预测/预警/预防”的应用升级。瑞芯微的三大类视觉芯片包括全新智慧视觉方案RV1126和RV1109，全新AIoT平台RK3568和边缘计算高性能平台RK1808和RK399Pro，满足不同场景的算力需求。

智慧视觉方案 RV1126&RV1109

一、芯片性能

RV1126的CPU为四核ARM Cortex-A7，NPU算力达2.0Tops，内置1400万高性能、3帧高动态ISP；RV1109的CPU则为双核ARM Cortex-A7，NPU为1.2Tops，内置500万高性能、3帧高动态ISP。视频编解码方面，RV1126支持4K H.264/H.265，RV1109支持500万H.264/H.265，RV1109和RV1126硬件上是pin 2 pin，产品升级无缝衔接。拥有以下六大优势：

1.  看的清

具备多级降噪、3帧HDR、动态AE算法、白平衡及畸变校正技术，可以实现在强光、逆光、微光、黑夜，都能清晰精准监控拍摄，并能够支持0.01lux的“黑光全彩”拍摄，让“看得清”成为现实，更符合智慧视觉领域的实际痛点诉求

2.  听的清

内置HDAEC算法、支持麦克语音阵列，让高清语音全面落地，增强声音采集及拾音距离

3.  占用空间小

低码率、低延迟编码、感知编码让空间占比更小，节省后端存储成本

4.  高效人工智能算法

异构计算、混合量化、完善工具和配套人工智能算法、网络模型架构支持丰富，实现功能扩展。同时，功耗不及所需GPU的10%，支持Tensorflow、PyTorch、Caffe、MxNet、DarkNet、ONNX等，直接转换和部署

5.  软件定义摄像头

Fast Boot、双系统架构、SDK开源开放等，客户根据产品需求进行深度化定制，避免产品同质化

6.  丰富的加解密引擎

支持TrustZone技术、含国密在内的多个密码引擎、安全启动，确保数据的安全性和完整性

二、应用场景优势

基于瑞芯微自研的ISP2.0技术及强大的NPU性能，RV1126及RV1109在智能网络摄像头IPC、电池IPC/智能门铃、门禁/闸机、智慧屏摄像头及车载视觉产品五大应用场景中展示出肉眼可见的优势。

应用场景1  智能网络摄像机IPC

方案优势：

1）黑光全彩拖影少，逆光强光都清晰。支持多级降噪、3帧HDR、锐度&对比度、Smart AE智能自动曝光、AWB白平衡及畸变校正六大技术

2）存储空间提升一倍。采用Smart265编码技术，能让拍摄的画面文件既高清，体积小一半

3）自带智能识别算法，支持实现越界检测、活体检测、车牌识别等功能

应用场景2  电池类IPC/智能门铃/猫眼

方案优势：

1）支持待机状态下快速启动，第一帧抓拍速度约150ms

2）内置NPU，可实现智能过滤，有效提升识别准确性

3）采用先进制程，同等性能，功耗更低，支持超长待机

4）基于瑞芯微独有ISP算法，可实现黑光全彩，逆光也清晰，广角不变形

5）采用Smart H.265编码技术，同样的拍摄画质，实时占用带宽低，视频更流畅

应用场景3  智能门禁/闸机

方案优势：

1）内置独立NPU，提供2T高算力，识别更快更准确

2）支持活体检测，准确率高达98.48%，防伪更安全

3）逆光黑光都清晰，支持复杂光环境的识别场景

应用场景4  智慧屏摄像头产品

方案优势：

1）支持4K视频编解码，高清不卡顿

2）支持3帧HDR及广角矫正算法，清晰不变形

3）内置独立高算力 NPU，智能应用更广泛

4）支持智能语音控制，无需外购音频算法

应用场景5  车载视觉产品

方案优势：

1）车载录像性能提升一倍，支持8路1080p视频录像

2）内置NPU，可支持ADAS（前车预警）、DMS（驾驶员疲劳检测）、BSD（盲区检测算法）等系统，运算更高效

3）配备独有的ISP，确保夜拍高清晰度

4）存储空间扩容一倍，记录时间延长

5）内置硬件解压模块DECOM，解压时间更快，极大提升设备冷启动速度

AIoT平台 RK3568

一、芯片性能

RK3568芯片是瑞芯微新一代AIoT计算平台，采用四核A55架构CPU，G52 GPU；内置NPU，可提供1T算力。内置独有的ISP图像处理器，支持8M处理能力，强大的HDR，支持畸变矫正、去雾、噪点消除等功能。支持4K@60fps H.264/H.265/VP9等多种格式高清解码，支持1080p@100fps的H.264及H.265格式编码。支持丰富的显示和外设接口，有助于场景扩展。

二、应用场景优势

RK3568主要面向网络视频录像机（NVR&XVR）、云终端、物联网网关、智能闸机/门禁等领域。

应用场景1  网络视频录像机NVR&XVR

方案优势：

1）支持同时接入最多64路200万像素的模拟+网络摄像头

2）支持最新WiFi6, 5G标准，可无线连接监控产品

3）独有的自适应频率调节技术，整机功耗可降低20%

4）支持三屏异显，机身可自带屏幕，无需单独购买显示器

5）自带智能识别算法，可实现活体检测、入侵报警、防盗响铃等功能

应用场景2  云终端

方案优势：

1)  支持4K 60帧视频解码，并可等效同时解码多路视频源；支持动态码率调节，可根据网络情况，自动切换视频分辨率调节画质，确保网课不卡顿，更流畅

2) 支持2个千兆以太网口，便于多机联网，可满足多人课堂及会议对高速网络的需求

3) 采用动态调频调压技术，有效降低功耗、续航能力更长

4) 集成丰富接口，场景扩展性强

5) 支持Android及Linux系统，更可适配多个主流国产OS

应用场景3  物联网网关及工控

方案优势：

1) 搭载高性能处理器，4核A55 GPU，内置1T算力NPU

2)  高可靠性设计，支持DDR及CPU Cache全链路ECC

3)  丰富的高速及低速外设接口，支持PCIe 3.0&PCIe2.1，双千兆以太网口，SATA3.0，USB3.0，支持10x UART, 6x I2C, 16x PWM, 4x SPI, 3x CAN, 8xADC

应用场景4  活体检测智能闸机/门禁

方案优势：

1）搭载高性能处理器，4核A55 GPU，内置1T算力NPU

2）支持HDR，大幅节省外部摄像头成本

3）具备灵活的高速扩展接口，支持PCIe3.0，SATA3.0，USB3.0

边缘计算高性能平台RK1808 & RK3399Pro

RK3399Pro和RK1808是瑞芯微第一代内置有NPU的高性能人工智能处理器，算力高达3T，应用于各类对算力有较高要求的嵌入式智能产品。

瑞芯微官方人工智能开发平台Toybrick，已基于RK1808和RK3399Pro推出了一系列边缘计算平台，包括TB-RK1808S0计算棒、TB-RK1808M0 Mini-PCIE计算卡、TB-RK3399ProD开发板等，赋能开发者及行业伙伴快速完成产品硬件开发及智能升级。

在“新硬件十年”的开端，瑞芯微将以成为“多场景计算单元SoC的提供者”为目标，以不断优化升级的人工智能计算单元及自研技术和算法为依托，持续丰富场景应用。智能视觉是瑞芯微重要的技术方向之一，瑞芯微将不断精进，务求能更好更精准地满足各类AIoT行业客户的需求。