CN109194947A - 双目摄像模组及移动终端 - Google Patents

双目摄像模组及移动终端 Download PDF

Info

Publication number
CN109194947A
CN109194947A CN201811066997.5A CN201811066997A CN109194947A CN 109194947 A CN109194947 A CN 109194947A CN 201811066997 A CN201811066997 A CN 201811066997A CN 109194947 A CN109194947 A CN 109194947A
Authority
CN
China
Prior art keywords
binocular
camera
camera shooting
optical imagery
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811066997.5A
Other languages
English (en)
Inventor
童小琴
卢密
石其京
孙平安
马向虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG LITE ARRAY Co Ltd
Original Assignee
GUANGDONG LITE ARRAY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG LITE ARRAY Co Ltd filed Critical GUANGDONG LITE ARRAY Co Ltd
Priority to CN201811066997.5A priority Critical patent/CN109194947A/zh
Publication of CN109194947A publication Critical patent/CN109194947A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种双目摄像模组及移动终端，其中，该双目摄像模组包括：投射器，用于向目标区域投射出编码光源，利用编码光源对目标区域和拍摄对象进行结构光编码得到编码图案；双目摄像模块，其包括主摄像头和副摄像头，主摄像头和副摄像头同时拍摄拍摄对象，主摄像头获得含编码图案的第一光学图像，副摄像头获得含编码图案的第二光学图像；图像处理芯片，其与双目摄像模块连接，图像处理芯片用于获取双目摄像模块的参数信息，且利用双目视觉原理处理参数信息、第一光学图像和第二光学图像，得到图像深度信息。本发明既节省了成本，也拓展了应用对象范围。此外，结合双目摄像和结构光编码的两者优势，提升了图像深度信息的计算精度。

Description

双目摄像模组及移动终端
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种双目摄像模组及移动终端。
背景技术
视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息、运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的三维深度信息、提高机器的智能水平是当前机器视觉***研究的难点。
为了获得高精度的三维深度信息，目前采用3D结构光摄像模组。但是，现有3D结构光摄像模组的窄带滤光片(只接受940nm的红外光)、以WLO(Wafer Level Optics)工艺制备的红外光准直镜头、光学衍射元件DOE(Diffraction Optical Element)等组成元器件均存在制造工艺复杂，购置成本高，进而不利于广泛应用于各种具有摄像功能的终端设备的问题。
发明内容
本发明的目的在于提供一种双目摄像模组及移动终端，以解决现有的摄像模块的成本高，应用范围窄的技术问题。
为了解决上述问题，本发明提供了一种双目摄像模组，其包括：
投射器，用于向目标区域投射出编码光源，利用编码光源对目标区域和拍摄对象进行结构光编码得到编码图案，拍摄对象处于目标区域内；
双目摄像模块，其包括主摄像头和副摄像头，主摄像头和副摄像头同时拍摄拍摄对象，主摄像头获得含编码图案的第一光学图像，副摄像头获得含编码图案的第二光学图像；以及
图像处理芯片，其与双目摄像模块连接，图像处理芯片用于获取双目摄像模块的参数信息，且利用双目视觉原理处理参数信息、第一光学图像和第二光学图像，得到图像深度信息。
作为本发明的进一步改进，参数信息包括主摄像头与副摄像头的距离信息，主摄像头和副摄像头图像传感器的焦距信息和点距参数信息。
作为本发明的进一步改进，图像处理芯片还包括：
双目块匹配模块，用于根据第一光学图像和第二光学图像进行双目块匹配计算，得到双目匹配块偏移量；
自匹配模块，用于获取参考编码图案，并根据参考编码图案、第一光学图像、第二光学图像得到自匹配块偏移量；
深度计算模块，用于根据双目匹配块偏移量、自匹配块偏移量和参数信息计算得到图像深度信息。
作为本发明的进一步改进，图像处理芯片包括：
3D图像生成模块，用于根据图像深度信息、第一光学图像和第二光学图像生成3D图像。
作为本发明的进一步改进，投射器包括：
红外发光器件，用于发出不可见红外光；
红外准直镜头，用于校准不可见红外光；以及，
光学衍射器件，用于对校准后的不可见红外光进行散射处理，得到编码图案。
作为本发明的进一步改进，主摄像头包括：
主镜头组，用于获得波长范围为850-940mm的红外波段光线；
主红外CMOS，用于根据红外波段光线生成第一光学图像，并将第一光学图像转换为电信号；
主模数转换器，用于将电信号转换为数字信号，并将数字信号传输至图像处理芯片。
作为本发明的进一步改进，主镜头组包括：
主镜头，用于采集目标区域的光线；
主滤光片，用于对光线进行过滤处理，得到波长范围为850-940mm的红外波段光线。
作为本发明的进一步改进，副摄像头包括：
副镜头组，用于获得波长范围为850-940mm的红外波段光线；
副红外CMOS，用于根据红外波段光线生成第二光学图像，并将第二光学图像转换为电信号；
副模数转换器，用于将电信号转换为数字信号，并将数字信号传输至图像处理芯片。
作为本发明的进一步改进，副镜头组包括：
副镜头，用于采集目标区域的光线；
副滤光片，用于对光线进行过滤处理，得到波长范围为850-940mm的红外波段光线。
为了解决上述问题，本发明还提供了一种移动终端，其包括上述的双目摄像模组。
与现有技术相比，本发明无需对投射器投射的光斑的形状、间距以及直径大小作出限制，因此，无需采用高精度的光学衍射元件，进而采用普通的投射器即可，进一步地，也无需限定940nm的红外光，因此，无需采用窄带滤光片，进而采用普通的红外滤光片即可，至此，既节省了成本，也拓展了应用对象范围。进一步地，本案结合双目摄像和结构光编码的两者优势，提升了图像深度信息的计算精度。
附图说明
图1为本发明双目摄像模组一个实施例的工作视场示意图；
图2为本发明双目摄像模组中投射器一个实施例的框架结构示意图；
图3为本发明双目摄像模组中主摄像头一个实施例的框架结构示意图；
图4为本发明双目摄像模组中副摄像头一个实施例的框架结构示意图；
图5为本发明双目摄像模组中图像处理芯片一个实施例的功能模块示意图；
图6为本发明双目摄像模组中图像处理芯片另一个实施例的功能模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，附图中类似的组件标号代表类似的组件。显然，以下将描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1-图6展示了本发明双目摄像模组的一个实施例。在本实施例中，如图1所示，该双目摄像模组包括投射器1、双目摄像模块2和图像处理芯片3。
其中，投射器1，用于向目标区域投射出编码光源，利用编码光源对目标区域和拍摄对象4进行结构光编码得到编码图案，拍摄对象4处于目标区域内。
在本实施例的基础上，其他实施例中，参见图2，该投射器1包括红外发光器件10、红外准直镜头11和光学衍射器件12。
其中，红外发光器件10，用于发出不可见红外光；红外准直镜头11，用于校准不可见红外光；光学衍射器件12，用于对校准后的不可见红外光进行散射处理，得到编码图案。
进一步地，参见图1，双目摄像模块2包括主摄像头20和副摄像头21，主摄像头20和副摄像头21同时拍摄拍摄对象4，主摄像头20获得含编码图案的第一光学图像，副摄像头21获得含编码图案的第二光学图像。
在本实施例的基础上，其他实施例中，参见图3，该主摄像头20包括主镜头组200、主红外CMOS 201和主模数转换器202。
其中，主镜头组200，用于获得波长范围为850-940mm的红外波段光线；主红外CMOS201，用于根据红外波段光线生成第一光学图像，并将第一光学图像转换为电信号；主模数转换器202，用于将电信号转换为数字信号，并将数字信号传输至图像处理芯片3。
在本实施例的基础上，其他实施例中，参见图3，该主镜头组200包括主镜头2000和主滤光片2001。
其中，主镜头2000，用于采集目标区域的光线；主滤光片2001，用于对光线进行过滤处理，得到波长范围为850-940mm的红外波段光线。
在本实施例的基础上，其他实施例中，参见图4，该副摄像头21包括副镜头组210、副红外CMOS 211和副模数转换器212。
其中，副镜头组210，用于获得波长范围为850-940mm的红外波段光线；副红外CMOS211，用于根据红外波段光线生成第二光学图像，并将第二光学图像转换为电信号；副模数转换器212，用于将电信号转换为数字信号，并将数字信号传输至图像处理芯片3。
在本实施例的基础上，其他实施例中，参见图4，副镜头组210包括副镜头2100和副滤光片2101。
其中，副镜头2100，用于采集目标区域的光线；副滤光片2101，用于对光线进行过滤处理，得到波长范围为850-940mm的红外波段光线。
进一步地，参见图1，图像处理芯片3与双目摄像模块2连接，图像处理芯片3用于获取双目摄像模块2的参数信息，且利用双目视觉原理处理参数信息、第一光学图像和第二光学图像，得到图像深度信息。
在上述实施例中，参数信息包括主摄像头20与副摄像头21的距离信息，主摄像头20和副摄像头21图像传感器的焦距信息和点距参数信息。
在上述实施例的基础上，其他实施例中，参见图5，图像处理芯片3包括双目块匹配模块30、自匹配模块31和深度计算模块32。
其中，双目块匹配模块30，用于根据第一光学图像和第二光学图像进行双目块匹配计算，得到双目匹配块偏移量。具体地，利用第一光学图像和第二光学图像进行双目块匹配计算，得到X轴方向偏移量或Y轴方向偏移量。
自匹配模块31，用于获取参考编码图案，并根据参考编码图案、第一光学图像、第二光学图像得到自匹配块偏移量。具体地，利用第一光学图像、第二光学图像与其对应的参考编码图案进行自匹配块计算，得到X轴方向偏移量或Y轴方向偏移量。需要说明的是，第一光学图像与第二光学图像分别对应一个参考编码图像。
深度计算模块32，用于根据双目匹配块偏移量、自匹配块偏移量和参数信息计算得到图像深度信息。
本实施例无需对投射器投射的光斑的形状、间距以及直径大小作出限制，因此，无需采用高精度的光学衍射元件，进而采用普通的投射器即可，进一步地，也无需限定940nm的红外光，因此，无需采用窄带滤光片，进而采用普通的红外滤光片即可，至此，既节省了成本，也拓展了应用对象范围。进一步地，本案结合双目摄像和结构光编码的两者优势，提升了图像深度信息的计算精度。
在上述实施例的基础上，其他实施例中，参见图6，图像处理芯片3还包括3D图像生成模块40。
其中，3D图像生成模块40，用于根据图像深度信息、第一光学图像和第二光学图像生成3D图像。
本实施例在投射器的编码图案的辅助下，计算得到精准的图像深度信息，进而致使根据该图像深度信息得到的3D图像的层次感更加真实，颜色以及光线灯效果更佳
本实施例还提供了一种移动终端，该移动终端包括上述实施例描述的双目摄像模组。
其中，该双目摄像模组与上述实施例描述的结构类似，因此，再次不再赘述。
需要说明的是，本实施例中的移动终端包括手机(优选智能手机)、平板电脑、笔记本电脑、摄像机等等。进一步，具有该双目摄像模组的固定终端设备(譬如：桌面电脑)，也在本实施例的保护范围以内。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将移动终端的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上对发明的具体实施方式进行了详细说明，但其只作为范例，本发明并不限制与以上描述的具体实施方式。对于本领域的技术人员而言，任何对该发明进行的等同修改或替代也都在本发明的范畴之中，因此，在不脱离本发明的精神和原则范围下所作的均等变换和修改、改进等，都应涵盖在本发明的范围内。

Claims (10)

1.一种双目摄像模组，其特征在于，其包括：
投射器，用于向目标区域投射出编码光源，利用所述编码光源对所述目标区域和拍摄对象进行结构光编码得到编码图案，所述拍摄对象处于所述目标区域内；
双目摄像模块，其包括主摄像头和副摄像头，所述主摄像头和所述副摄像头同时拍摄所述拍摄对象，所述主摄像头获得含所述编码图案的第一光学图像，所述副摄像头获得含所述编码图案的第二光学图像；以及
图像处理芯片，其与所述双目摄像模块连接，所述图像处理芯片用于获取所述双目摄像模块的参数信息，且利用双目视觉原理处理所述参数信息、第一光学图像和第二光学图像，得到图像深度信息。
2.根据权利要求1所述的双目摄像模组，其特征在于，所述参数信息包括所述主摄像头与所述副摄像头的距离信息，所述主摄像头和所述副摄像头图像传感器的焦距信息和点距参数信息。
3.根据权利要求1所述的双目摄像模组，其特征在于，所述图像处理芯片还包括：
双目块匹配模块，用于根据所述第一光学图像和所述第二光学图像进行双目块匹配计算，得到双目匹配块偏移量；
自匹配模块，用于获取参考编码图案，并根据所述参考编码图案、所述第一光学图像、所述第二光学图像得到自匹配块偏移量；
深度计算模块，用于根据所述双目匹配块偏移量、所述自匹配块偏移量和所述参数信息计算得到所述图像深度信息。
4.根据权利要求1所述的双目摄像模组，其特征在于，所述图像处理芯片包括：
3D图像生成模块，用于根据所述图像深度信息、所述第一光学图像和第二光学图像生成3D图像。
5.根据权利要求1所述的双目摄像模组，其特征在于，所述投射器包括：
红外发光器件，用于发出不可见红外光；
红外准直镜头，用于校准所述不可见红外光；以及，
光学衍射器件，用于对校准后的不可见红外光进行散射处理，得到所述编码图案。
6.根据权利要求1所述的双目摄像模组，其特征在于，所述主摄像头包括：
主镜头组，用于获得波长范围为850-940mm的红外波段光线；
主红外CMOS，用于根据所述红外波段光线生成所述第一光学图像，并将所述第一光学图像转换为电信号；
主模数转换器，用于将所述电信号转换为数字信号，并将所述数字信号传输至所述图像处理芯片。
7.根据权利要求6所述的双目摄像模组，其特征在于，所述主镜头组包括：
主镜头，用于采集所述目标区域的光线；
主滤光片，用于对所述光线进行过滤处理，得到波长范围为850-940mm的红外波段光线。
8.根据权利要求1所述的双目摄像模组，其特征在于，所述副摄像头包括：
副镜头组，用于获得波长范围为850-940mm的红外波段光线；
副红外CMOS，用于根据所述红外波段光线生成所述第二光学图像，并将所述第二光学图像转换为电信号；
副模数转换器，用于将所述电信号转换为数字信号，并将所述数字信号传输至所述图像处理芯片。
9.根据权利要求8所述的双目摄像模组，其特征在于，所述副镜头组包括：
副镜头，用于采集所述目标区域的光线；
副滤光片，用于对所述光线进行过滤处理，得到波长范围为850-940mm的红外波段光线。
10.一种移动终端，其特征在于，其包括权利要求1-9之一所述的双目摄像模组。
CN201811066997.5A 2018-09-13 2018-09-13 双目摄像模组及移动终端 Pending CN109194947A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811066997.5A CN109194947A (zh) 2018-09-13 2018-09-13 双目摄像模组及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811066997.5A CN109194947A (zh) 2018-09-13 2018-09-13 双目摄像模组及移动终端

Publications (1)

Publication Number Publication Date
CN109194947A true CN109194947A (zh) 2019-01-11

Family

ID=64910627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811066997.5A Pending CN109194947A (zh) 2018-09-13 2018-09-13 双目摄像模组及移动终端

Country Status (1)

Country Link
CN (1) CN109194947A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708531A (zh) * 2019-10-15 2020-01-17 浙江晶鲸科技有限公司 红外光结构模组及其工作方法
CN112702592A (zh) * 2020-12-28 2021-04-23 北京航空航天大学 端到端双目图像联合压缩方法、装置、设备和介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
CN103810708A (zh) * 2014-02-13 2014-05-21 西安交通大学 一种激光散斑图像深度感知方法及装置
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN103841406A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种即插即用的深度摄像装置
CN103839258A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种二值化激光散斑图像的深度感知方法
CN104506838A (zh) * 2014-12-23 2015-04-08 宁波盈芯信息科技有限公司 一种符号阵列面结构光的深度感知方法、装置及***
CN104537657A (zh) * 2014-12-23 2015-04-22 西安交通大学 一种搜索并行gpu加速的激光散斑图像深度感知方法
CN205336464U (zh) * 2015-12-08 2016-06-22 上海图漾信息科技有限公司 深度数据检测***
CN105931240A (zh) * 2016-04-21 2016-09-07 西安交通大学 三维深度感知装置及方法
CN108363482A (zh) * 2018-01-11 2018-08-03 江苏四点灵机器人有限公司 一种基于双目结构光的三维手势控制智能电视的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
CN103810708A (zh) * 2014-02-13 2014-05-21 西安交通大学 一种激光散斑图像深度感知方法及装置
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN103841406A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种即插即用的深度摄像装置
CN103839258A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种二值化激光散斑图像的深度感知方法
CN104506838A (zh) * 2014-12-23 2015-04-08 宁波盈芯信息科技有限公司 一种符号阵列面结构光的深度感知方法、装置及***
CN104537657A (zh) * 2014-12-23 2015-04-22 西安交通大学 一种搜索并行gpu加速的激光散斑图像深度感知方法
CN205336464U (zh) * 2015-12-08 2016-06-22 上海图漾信息科技有限公司 深度数据检测***
CN105931240A (zh) * 2016-04-21 2016-09-07 西安交通大学 三维深度感知装置及方法
CN108363482A (zh) * 2018-01-11 2018-08-03 江苏四点灵机器人有限公司 一种基于双目结构光的三维手势控制智能电视的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708531A (zh) * 2019-10-15 2020-01-17 浙江晶鲸科技有限公司 红外光结构模组及其工作方法
CN112702592A (zh) * 2020-12-28 2021-04-23 北京航空航天大学 端到端双目图像联合压缩方法、装置、设备和介质
CN112702592B (zh) * 2020-12-28 2021-10-29 北京航空航天大学 端到端双目图像联合压缩方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
US10914576B2 (en) Handheld large-scale three-dimensional measurement scanner system simultaneously having photogrammetric and three-dimensional scanning functions
CN111023970B (zh) 多模式三维扫描方法及***
WO2016037486A1 (zh) 人体三维成像方法及***
CN106791784B (zh) 一种虚实重合的增强现实显示方法和装置
CN109285189B (zh) 一种无需双目同步的直线轨迹快速计算方法
WO2017121058A1 (zh) 一种全光信息采集***
CN107038724A (zh) 全景鱼眼相机影像校正、合成与景深重建方法与***
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
US20120275667A1 (en) Calibration for stereoscopic capture system
JP2010250452A (ja) 任意視点画像合成装置
KR20160090373A (ko) 듀얼 렌즈 장치를 위한 촬영 방법 및 듀얼 렌즈 장치
CN108200324B (zh) 一种基于可变焦距镜头的成像***及成像方法
CN105809654A (zh) 目标对象跟踪方法、装置和立体显示设备及方法
KR20170094968A (ko) 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
CN108881717B (zh) 一种深度成像方法及***
CN106170086B (zh) 绘制三维图像的方法及其装置、***
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
JP2014182299A (ja) マイクロレンズアレイユニットおよび固体撮像装置
CN108805921B (zh) 图像获取***及方法
CN108924408A (zh) 一种深度成像方法及***
CN109194947A (zh) 双目摄像模组及移动终端
KR20200064999A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램, 그리고 교환 렌즈
JP7300895B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
CN108924407B (zh) 一种深度成像方法及***
CN103412461B (zh) 基于分光片的3d成像***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111