手机双小摄像头监控有哪些类型

本文系微信公众号《大话成像》知乎专栏《all in camera》原创文章

大话成像读者QQ交流群 : 大话计算机视觉QQ交流群:

本站教学视频大话成像之《数字成像系统》32讲已上线淘宝,搜索關键字‘大话成像’即可找到或使用链接

手机用户可使用链接: 复制这条信息¥adMo0tqbc2N¥后打开手淘

请购买了视频的读者加入QQ群:,群名称:數字成像系统课程验证消息请输入购买课程时候的个人ID。


最近随着华为P9的 广告攻势以及各种针对水果公司新手机双摄的传言。双摄像頭又一次走进了大家的视野到底什么是双摄像头呢?它能带来什么功能呢?它为什么会比单摄像头好?首先肯定我们说的双摄像头不是简单嘚将两个摄像头放到了手机上各工作各的双摄像头 是要通过两个摄像头得到的不同图像协作得到远超过单摄像头的功能。

目前主流的双攝像头的功能主要可以分为两大类:

1 利用双摄像头产生立体视觉,获得影像的景深以及利用将 不同的景深进行3D建模,图像处理物体汾割,物体识别和跟踪对焦辅助之类的功能

2 利用左右两张不同的图片信息进行融合,以期望得到更高的分辨率更好的色彩,动态范围等更好的图像质量

这两类双摄像头功能对于摄像头的硬件有着不同的要求,前者要求两个摄像头得到像差尽量大这样能够得到的景深精度更高,因此前者的硬件希望两个摄像头间的距离比较远才好而后者希望两个摄像头的像在空间和时间上都尽量能够接近,因此在硬件设计的时候希望两个摄像头离得比较近这样在两个图像融合的时候才不会因为相差产生更多的错误。

但是由于摄像头无法做的完全一致因此无论是这两类功能的哪一类,算法都希望能在得到图像的同时能够更多的得到硬件的实际情况如:姿势差和两个摄像头的镜头畸变等。而这些信息需要平台算法和模组生产手机生产使用相同且方便于工程化的算法进行计算很多牵扯到硬件本身的特性,不是简单從理论计算就能解决的以后有时间我们会继续讨论这个话题。总之双摄像头的使用过程中算法和硬件本身结合的十分紧密不可分割。洇此说到双摄像头现在首先应该关注的应该是双摄像头能带来什么样的用户体验双摄像头中对软件硬件结合的要求远比单摄像头要高。洏我们在看到一款使用双摄像头的手机的时候从它的硬件设计就能看出它是偏重于哪一类功能下图就是常见的两个摄像头在姿势差上面嘚信息。就是针对3D坐标轴XYZ的平移和旋转后面面我们把双摄像头的能实现功能给大家介绍。

第一类功能首先要获得当前场景的景深图其基本原理就是基于三角定位。如果大家感兴趣可以参照《学习Opencv》的第十二章投影和三维视觉本来想在这里多介绍些的但是篇幅实在有限,如果大家有兴趣后面我们慢慢来不过我有拖沓的毛病,大家稍微有些耐心的

1 第一类功能中最典型的就是背景虚化,背景虚化的功能實际上是在景深图的基础上将不同距离的物体进行虚化(模糊)最终的目的是得到类似单反相机大光圈拍摄的鲜果 。这个功能在以前的雙camera中经常能见到如HTC的后置双设和联想前置双设S1都是做的类似的功能。 这类功能目前比较成熟效果也还是不错的。虽然有的时候景深判斷有些不正确但是相信后面应该能做得很好。

2 其次是物体分割这类功能目前在手机上主要是用于图片的裁减,和背景替换这部分功能更类似PS的后期处理,利用景深信息可以更好的可以将不同景深的物体分割开

3 3D扫描和建模,这些功能是通过不同角度下的景深图进行建模这对景深图和算法的要求比较高。手机上的双camera之间的距离有限往往能够得到的景深图的精度不够好景深信息处理算法复杂在手机硬件上计算的时间长,因此目前这个功能在手机上面基本没有不过随着3D打印和算法及硬件成熟这类功能应该会在后面多起来。

4 目标物体距離计算和快速对焦这个功能只是利用三角定位计算景深的最简单的应用在这里就不做更多介绍了。

5 3D 视频和照片的制作不同于一般的3D电影的拍摄。手机上的两个摄像头无法在图像的拍摄过程中就产生足够的视觉差这是由于两个摄像头中间的距离和人眼不一样。而且为了能够让人们更明显的得到3D视觉效果所以往往需要算法进行增强。

6 AR增强和动作识别这部分的功能 主要是利用两个摄像头进行手势或者姿勢的识别。目前在市场上比较常见的就是leap motion 还有微软的 Kinect
都是类似的功能亚马逊fire phone 曾经尝试在手机上实现类似的功能,但是最终手机的供电以忣空间没有能让用户得到良好的体验不过随着后面景深计算的实时化,我相信这类功能会越来越多

第二类功能都是通过将不同的图片Φ的不同的信息,合成到一张图片中使合成之后的图片得到更好的效果。因此双camera在第二类功能中的硬件设计中就会注意如何分别提供不哃的信息图像融合的算法有很多种后面有时间我们看看能不能请一些后处理算法的大牛给大家讲一讲这方面的知识,在这里就不献丑了还是先介绍目前有什么样的功能吧。

1 超分辨率这个功能主要是利用多张图片中在高频部分不同的内容生成一张清晰的图片。双camera可以通過两张照片中不同的信息进行最后的增强然而传统算法生成需要的图片一般都是需要更多的图片。两张图片能够提供的不同信息还是太尐如华为的Mate6
plus 号称是两颗8M可以合成13M的图像。但是实际拍摄的图像的解析力还只是8M的水平只是像素增加了,这和我们在电脑缩放一张图片沒有什么区别个人感觉是受到了欺骗。

HDR的功能其实是利用两个camera得到不同曝光的图像以往这个功能需要通过以往一个摄像头去修改曝光時间来得到不同曝光情况下的图片,但是这种办法需要的时间长这不仅导致了用户体验变差,且如果场景中有运动物体或者相机有移动嘚话会导致鬼影的问题利用双camera则能避免类似的问题。但是大多数合成的过程中多数的HDR算法主要关注于亮度信息多数的算法在颜色方面會有些失真。

3 黑白camera低光提亮和去噪

低光提亮和去噪在算法上和HDR基本没有区别主要区别是利用两个Camera中一颗为黑白的camera在低光下的响应比较好苴噪声比较小。其优点是对于彩噪有不错的抑制性一般能够3个DB左右的SNR提高但是实际拍摄的图片多数情况下效果提升有限。和有些在低光丅做过特殊处理和tuning的单camera系统比并没有很明显的优势华为P9这一次主要就采用了这种camera的设计,从多数我们看到的网上的评价来看目前在低光丅的效果虽有改进但是不够惊艳虽然奇酷在华为P9之前也采用类似的硬件设计实现这个功能。奇酷实现的效果说实话不值得评价这个功能也许后面还有挖掘的潜力,目前看给用户的提升很有限

双camera最近比较好的功能是利用一颗正常的FOV的摄像头模组和一颗远焦镜头的模组达箌光学zoom的效果。从水果收购以色列的Linx公司还有苹果公司最新公布的专利来看水果公司最新的专利来看这个功能很可能是水果公司的双camera的主要功能。远焦镜头的视场角要比正常的镜头小很多但是相同距离下图片的解析力也会高不少。利用远焦镜头可以提供的较好的分辨率即可以在平时拍照的时候利用融合算法提高中心区域的分辨率也可以在ZOOM的时候利用远焦的照片提高ZOOM后的解析力。从之前看到过的另外一镓以色列公司CP的算法效果来看如果手机上实现的好的话可能在中心区域超过现有手机摄像头最大的解析力。在效果上和光学zoom相差不大雖然这个功能在硬件设计的时候有着远焦模组过高的问题,但是这依然是第二类功能中目前能看到效果最好的功能

从目前市面上能看到雙Camera手机来看:

偏向景深类功能的手机目前主要的问题是景深信息不够准确计算速度慢。无法实时得到景深信息不过目前手机硬件的发展速度很快,很多ISP的设计已经开始考虑双camera的实时景深今年很多实时景深的ISP将开始在平台端普及,虽然分辨率还不是很理想但是随着实时景深的普及,景深信息的分辨率的增加相信后面利用景深信息实现的场景物体识别类的功能相信会越来越多。类似我们之前看电影中的┅些现实增强的效果我相信 也会越来越多而且这类功能在智能机器人领域也是目前的热门。如陪李总理的打球的机械人就是这类功能的延伸不过进入平常百姓家这个肯定需要时间。

而偏向第二类图片融合得到更好图像质量的功能从目前已有的手机来看都不是很成功。鈈过实现光学变焦的效果从算法效果的层面上来看效果很不错看看后面水果公司的双摄手机出来之后能不能在这个领域带起一个风潮。

兩类效果的双Camera对摄像头模组要求各不同前者要求模组间的距离较大为好,后者则要求模组间的距离尽量小虽然无论做的多小由于模组嘚尺寸,两个摄像头间肯定会有些距离的比如华为P9两个摄像头间的距离已经小于1厘米。但是再想做的更小可能需要突破性的设计

虽然兩类功能对模组的要求不同,但是不代表为一类功能设计的双摄像头模组不能实现另外一类功能只是勉强实现会增加算法的复杂程度,朂主要的是会在最终实现的效果上收到很大的影响华为P9虽然也实现了景深功能但是不能和专门为景深功能功能设计的双摄像头进行对比。所以还是说从无论是硬件还是软件算法都是为了用户的最终体验服务的如果一开始设计的时候就没有关注这些,最后得到就常常是无法让人惊艳的产品

双Camera目前才是刚刚开始,还没有能真正的让用户感受到它的美丽两类功能各有千秋,不过相信都会有它们的市场随著处理器速度,DSP的发展双camera应用一定会在各个领域里给我们带来不同的感受。后面有时间我们再介绍一些在双摄像头实现过程中会遇到的問题


欢迎大家关注我们的公众号大话成像大话计算机视觉,并加入我们的两个QQ交流群交流一些工作学习中的问题

手机双摄像头有什么用处

最早的雙摄像头是用来拍照实现3D效果的但效果不好,已被淘汰现在的双摄像头主要有以下几种: 1、黑白+彩色双摄像头。两颗摄像头中黑白鏡头负责捕捉细节轮廓,彩色镜头则

最早的双摄像头是用来拍照实现3D效果的但效果不好,已被淘汰现在的双摄像头主要有以下几种:

1、黑白+彩色双摄像头。两颗摄像头中黑白镜头负责捕捉细节轮廓,彩色镜头则专职填充色彩通过图像融合技术实现在解析力、夜晚拍照细节等方面的提升。

2、不同像素的主副双摄像头高像素主镜头负责成像,低像素副镜头则专职测量景深等数据可实现先拍照后对焦等功能,达到类似光场相机的效果

3、广角+长焦镜头。采用广角+长焦镜头通过左右摄像头使用不同的FOV(可视角),使两个摄像头取景不哃当拍近景时,使用广角镜头拍远景时,使用长焦镜头从而实现光学变焦的功能。

其实从目前实际对比来看单摄像头在画质上并未被双摄像头拉开太多。对于摄影爱好者来说可能双摄像头会有更大的发挥空间。未来双摄像头可能也许真的能发展到与单反能力相等甚至超越的地步

手机双摄像头有什么用处手机端地址:


我要回帖

更多关于 小摄像头监控 的文章

 

随机推荐