联系北鹭|在线留言|网站地图|官方微博

欢迎来到北鹭载带官方网站!!

北鹭北鹭电子载带——不变形、不断带领跑载带行业15年

全国销售热线:400-677-8641 075528990624

全国热线:400-677-8641 075528990624

热门关键词:

LED载带
当前位置:首页 » 资讯中心 » 行业资讯 » 视觉处理器芯片的梳理

视觉处理器芯片的梳理

文章出处:网责任编辑:作者:人气:-发表时间:2017-11-13 17:36:00

 视觉处理技术一直是大家关注的热点领域。在最近的Linley Processor Conference上一致的认为,随着视觉传感器收集的数据越来越多,以及模型的复杂,对硬件提出了更高的要求,处理必须实时完成,同时消耗的电量必须更低。本文只是就视觉处理芯片的ISP(Image Signal Processing)和CV(Compute Vision)两部分进行介绍。

ISP的主要功能包括AE(自动曝光)、AF(自动对焦)、AWB(自动白平衡)、去除图像噪声、LSC(Lens Shading Correction)、BPC(Bad PixelCorrection),最后把Raw Data保存起来,传给videocodec或CV等。通过ISP可以得到更好的图像效果,因此在智能手机特别是在高端手机上对ISP的要求很高,比如开始集成双通道甚至三通道的ISP。一般来说ISP是集成在AP里面(对很多AP芯片厂商来说,这是差异化竞争的关键部分),但是随着需求的变化也出现了独立的ISP,主要原因是可以更灵活的配置,同时弥补及配合AP芯片内ISP功能的不足。如采用Socionext,Altek,X-Chip、RK等公司的,如下图结构。

Rockchip的RK1608 Pre-ISP芯片,集成了2颗600MHZ主频的CEVA-XM4,采用256MB内存,支持3路输入2路输出,或4路输入1路输出。配合第三方的算法,可以实现拍照和录像时的暗光增强,HDR(高动态范围图像),电子防抖,多帧降噪等预处理等。据RK的CMO在演讲中提到其在HDR上的性能媲美Google的pixel Visual Core。其实RK早先推出过图像处理SoC芯片RK1108,同样内嵌CEVAXM4@600MHZ,同时带video codec,多功能语音处理能力,可见RK在视觉领域其实也算布局已久。

 

而CV是指对得到的图像进行目标识别、跟踪、测量等视觉行动。上文提到的Pixel Visual Core芯片是谷歌收购的一家公司的产品,被应用在谷歌Pixel2和Pixel2 XL手机上,作为协处理器配合高通骁龙835芯片。该芯片的核心是8核IPU(ImageProcessing Unit图像处理单元),每个IPU 都有512算术逻辑单元(ALU)。除了通过用Halide来进行图像处理,用TensorFlow处理机器学习,Google还做了一个编译器,来优化硬件代码,Google使得IPU的功能一场的强大。可见该芯片的主要功能其实是CV。同样海思Kirin 970和AppleA11主芯片内也嵌有CV模块。

 

在ISP和CV上不得不提的是众多的芯片IP厂商,IP厂商的出现降低了芯片厂商的开发门槛,但同时也有可能带来同质化的后果。目前在视觉处理芯片上最成功的IP厂商要数CEVA了,如在上图中看到的CEVA的DSP XM系列 在Pre ISP,ISP及Post ISP上的应用,同时也推出了用于CV的DNN加速软硬件环境。自从高通的Hexagon DSP在深度学习上的应用,普遍的看法是DSP加深度学习的HW Accelerator,在嵌入式视觉上应用会更高效。CEVA-XM与CNN硬件加速器(最高可512个MAC单元)搭配使用,可实现Vision DSP和HW CNN的高效运行,目前已经有大量的公司采用CEVA的IP开发ISP及CV的芯片。

Synopsys开发的EV6x Embedded Vision Processor采用的方式类似,它可以将1到4个CPU核与CNN Engine结合。CNN Engine的MACs数量可以从880增加到1760再到3520个,用台积电16纳米制造芯片,频率1.28GHz,芯片的总MACs最高可以达到4.5万亿(相当于9 teraflops的性能)。

Cadence的Tensilica也推出了基于ISP和CV的DSP。Vision C5是一个神经网络DSP(NNDSP,数字信息处理器),它在一个内核内处理神经网络层,网络层拥有1024个8位和512个16位MACs,每平方毫米芯片面积每秒可以完成1万亿次MACs(一个机器指令周期能实现乘加运算)运算。Vision C5有很强的扩展性,内核可以增加到任意数量,拥有更强的性能,可以编程。Vision C5是用台积电16纳米制程制造的,频率690MHz,与商用GPU相比,它能让AlexNet的运行速度提高6倍,让Inception V3提高9倍,让ResNet50提高4.5倍。

 

而全球最大的IP公司ARM由于侧重于移动端的CPU和GPUIP,在DSP上的布局稍慢。当然由于ISP对移动端来说至关重要,ARM也不会错过。通过收购Apical获得了ISP的Know How,三星某款型号芯片上采用了该技术。但目前来看ISP与Video Codec的协同会更多,在嵌入式CV上的布局有待进一步确认。

目前从视觉处理器SoC芯片产品来说,最知名的公司莫过于Movidius了,该公司已被Intel收购。Movidius的Myriad2VPU在很多领域被广泛采用,包括大疆无人机,安防的海康和大华,以及在VR/AR等领域,实现图像拼接、识别等AI功能。该款VPU采用12个SHAVE 128位SIMD矢量单元,适合低功耗高性能下的视觉和图像算法,同时在Computational Imaging Hardware Accelerators部分集成了20多种图形图像的硬件加速算法,该芯片的时钟只有300-600MHz,因此对于功率的要求很低。

 

另一家出名的3D深度及计算视觉芯片公司要数Inuitive(可用于AR/VR/MR等)了。其产品NU3000是谷歌Project Tango生态系统的一部分。开发人员能够利用它来助力需要实时深度图生成、映射、定位、导航和其它复杂信息处理算法的应用。该芯片包含的功能强大,包含了Vision/Deep Learning Processor、ComputerVision Accelerators、Depth Processing Engine、Vision Processor等。需要指出的是,从应用来看,Movidius和Inutive的芯片是为AI相关应用而设计的,对画质的要求不需要那么高,ISP部分应该做了简化。

 

 

 

 

 

推荐产品

LED载带2835
LED载带2835
文件名称:不存在