CN108053438B - 景深获取方法、装置及设备 - Google Patents

景深获取方法、装置及设备 Download PDF

Info

Publication number
CN108053438B
CN108053438B CN201711243742.7A CN201711243742A CN108053438B CN 108053438 B CN108053438 B CN 108053438B CN 201711243742 A CN201711243742 A CN 201711243742A CN 108053438 B CN108053438 B CN 108053438B
Authority
CN
China
Prior art keywords
image
information
main
candidate
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711243742.7A
Other languages
English (en)
Other versions
CN108053438A (zh
Inventor
欧阳丹
谭国辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711243742.7A priority Critical patent/CN108053438B/zh
Publication of CN108053438A publication Critical patent/CN108053438A/zh
Priority to PCT/CN2018/116474 priority patent/WO2019105260A1/zh
Application granted granted Critical
Publication of CN108053438B publication Critical patent/CN108053438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请提出了一种景深获取方法、装置及设备，其中，方法包括：获取主摄像头拍摄的多帧主图像以及副摄像头拍摄的多帧副图像，根据每帧主图像和每帧副图像的清晰度，获取清晰度最高的参考主图像；将除参考主图像之外的其余主图像的清晰度和每帧副图像的清晰度与参考主图像的清晰度进行比较，检测是否存在满足预设筛选阈值的候选主图像和候选副图像；若存在，则获取参考主图像、每帧候选主图像以及每帧候选副图像的图像信息，确定第一目标主图像和第一目标副图像；根据第一目标主图像和第一目标副图像获取景深信息。由此，保证了获取景深信息的图像之间的质量和一致性，提高了景深的精确率以及成像效果。

Description

景深获取方法、装置及设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种景深获取方法、装置及设备。
背景技术
目前，智能手机等终端设备广泛使用了双摄像头***，通过两个摄像头同时获取的两幅图像来计算景深，比如，通过两幅图像中的针对拍摄的场景中同一个位置的像素点的位置差异，计算出拍摄的场景的景深信息。
相关技术中，直接根据两个摄像头同时拍摄出的两幅图像进行景深信息的计算，当计算景深的两张图像差异较大时，则会导致两张图像中针对拍摄的场景中同一个位置的像素点较少等，从而导致景深计算准确率低。
申请内容
本申请提供一种景深获取方法、装置及设备，以解决现有技术中，计算图像景深信息的两张图像由于差距较大，而导致景深计算不准确的技术问题。
本申请实施例提供一种景深获取方法，包括：获取主摄像头拍摄的多帧主图像以及副摄像头拍摄的多帧副图像，根据每帧主图像和每帧副图像的清晰度，获取清晰度最高的参考主图像；将除所述参考主图像之外的其余主图像的清晰度和每帧副图像的清晰度与所述参考主图像的清晰度进行比较，检测是否存在满足预设筛选阈值的候选主图像和候选副图像；若检测获知存在至少一帧所述候选主图像和至少一帧所述候选副图像，则获取所述参考主图像、每帧候选主图像以及每帧候选副图像的图像信息，确定第一目标主图像和第一目标副图像；根据所述第一目标主图像和所述第一目标副图像获取景深信息。
本申请另一实施例提供一种景深获取装置，包括：第一获取模块，用于获取主摄像头拍摄的多帧主图像以及副摄像头拍摄的多帧副图像，第二获取模块，用于根据每帧主图像和每帧副图像的清晰度，获取清晰度最高的参考主图像；检测模块，用于将除所述参考主图像之外的其余主图像的清晰度和每帧副图像的清晰度与所述参考主图像的清晰度进行比较，检测是否存在满足预设筛选阈值的候选主图像和候选副图像；第三获取模块，用于在检测获知存在至少一帧所述候选主图像和至少一帧所述候选副图像时，根据所述参考主图像、每帧候选主图像以及每帧候选副图像的图像信息，确定第一目标主图像和第一目标副图像；第四获取模块，用于根据所述第一目标主图像和所述第一目标副图像获取景深信息。
本申请又一实施例提供一种获取机设备，包括存储器及处理器，所述存储器中储存有获取机可读指令，所述指令被所述处理器执行时，使得所述处理器执行本申请上述实施例所述的景深获取方法。
本申请还一实施例提供一种非临时性获取机可读存储介质，其上存储有获取机程序，该获取机程序被处理器执行时实现如本申请上述实施例所述的景深获取方法。
本申请实施例提供的技术方案可以包括以下有益效果：
获取主摄像头拍摄的多帧主图像以及副摄像头拍摄的多帧副图像，计算每帧主图像和每帧副图像的清晰度，获取清晰度最高的参考主图像，将其余主图像的清晰度和每帧副图像的清晰度与参考主图像的清晰度进行比较，检测是否存在满足预设筛选阈值的候选主图像和候选副图像，若检测获知存在至少一帧候选主图像和至少一帧候选副图像，则获取参考主图像、每帧候选主图像以及每帧候选副图像的图像信息，确定第一目标主图像和第一目标副图像，进而，根据第一目标主图像和第一目标副图像获取景深信息。由此，保证了获取景深信息的图像之间的质量和一致性，提高了景深的精确率以及成像效果。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本申请一个实施例的三角测距原理示意图；
图2是根据本申请一个实施例的双摄像头计算景深的过程示意图；
图3是根据本申请一个实施例的景深获取方法的流程图；
图4(a)是根据本申请一个实施例的景深获取方法的场景示意图；
图4(b)是根据本申请另一个实施例的景深获取方法的场景示意图；
图5是根据本申请一个实施例的景深获取装置的结构示意图；以及
图6是根据本申请一个实施例的图像处理电路的示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的景深获取方法、装置及设备。其中，本申请实施例的景深获取方法适用于手机、平板电脑、个人数字助理、穿戴式设备等具有双摄像头的硬件设备，该穿戴式设备可以是智能手环、智能手表、智能眼镜等。
应当理解的是，双摄像头***通过主图像和副图像计算景深，为了更加清楚的描述双摄像头如何获取景深信息，下面参考附图说明双摄像头获取景深的原理：
在实际应用中，人眼分辩景深主要是依靠双目视觉分辨景深，这与双摄像头分辨景深的原理一样，主要是依靠如图1所示的三角测距的原理实现的，基于图1中，在实际空间中，画出了成像对象，以及两个摄像头所在位置OR和OT，以及两个摄像头的焦平面，焦平面距离两个摄像头所在平面的距离为f，在焦平面位置两个摄像头进行成像，从而得到两张拍摄图像。
其中，P和P’分别是同一对象在不同拍摄图像中的位置。其中，P点距离所在拍摄图像的左侧边界的距离为XR，P’点距离所在拍摄图像的左侧边界的距离为XT。OR和OT分别为两个摄像头，这两个摄像头在同一平面，距离为B。
基于三角测距原理，图1中的对象与两个摄像头所在平面之间的距离Z，具有如下关系：
Figure GDA0002322345280000031
基于此，可以推得
Figure GDA0002322345280000032
其中，d为同一对象在不同拍摄图像中的位置之间的距离差。由于B、f为定值，因此，根据d可以确定出对象的距离Z。
当然，除了三角测距法，也可以采用其他的方式来计算主图像的景深，比如，主摄像头和副摄像头针对同一个场景拍照时，场景中的物体距离摄像头的距离与主摄像头和副摄像头成像的位移差、姿势差等成比例关系，因此，在本申请的一个实施例中，可以根据这种比例关系获取上述距离Z。
举例而言，如图2所示，通过主摄像头获取的主图像以及副摄像头获取的副图像，计算出不同点差异的图，这里用视差图表示，这个图上表示的是两张图上相同点的位移差异，但是由于三角定位中的位移差异和Z成正比，因此很多时候视差图表就直接被用作景深图。
基于以上分析可知，双摄像头获取景深时，需要获取同一对象在不同拍摄图像中的位置，因此，如果获取景深信息的双摄像头的两张图像较为接近，则会提高景深获取的效率和准确率。
图3是根据本申请一个实施例的景深获取方法的流程图，如图3所示，该方法包括：
步骤101，获取主摄像头拍摄的多帧主图像以及副摄像头拍摄的多帧副图像。
步骤102，根据每帧主图像和每帧副图像的清晰度，获取清晰度最高的参考主图像。
其中，图像的清晰度是指图像轮廓边缘的清晰程度，包括分辨出图像线条间的区别，即图像层次对景物质点的分辨率或细微层次质感的精细程度，其分辨率越高，景物质点的分辨率或者细微层次质感的精细程度越高，景物质点表现的愈细致，清晰度越高，清晰度还包括衡量线条边缘轮廓是否清晰，即图像层次轮廓边界的虚实程度，常用锐度表示，其实质是层次边界渐变密度的变化宽度，若变化宽度小，则边界清晰，反之，变化宽度大则边界发虚，清晰度还包括细小层次间的清晰程度，尤其是细小层次间的明暗对比或细微反差是否清晰。
也就是说，图像的清晰度越高，图像的边缘细节等越容易区分，噪点越少，根据图像进行景深计算的效率和准确度越高。
具体而言，在本实施例中，获取主摄像头拍摄的多帧主图像以及副摄像头拍摄的多帧副图像，计算每帧主图像和每帧副图像的清晰度，获取清晰度最高的参考主图像，以便于将该参考主图像作为参考，尽量筛选出清晰度高的图像作为进一步计算景深的图像。
步骤103，将除参考主图像之外的其余主图像的清晰度和每帧副图像的清晰度与参考主图像的清晰度进行比较，检测是否存在满足预设筛选阈值的候选主图像和候选副图像。
其中，预设筛选阈值用于筛选出清晰度相对于参考主图像的清晰度较高的主图像和副图像，比如，该预设筛选阈值为80％，则可以通过该预设筛选阈值筛选出符合清晰度达到参考主图像的清晰度80％以上的图像。具体地，将其余主图像的清晰度和副图像的清晰度与参考主图像的清晰度进行比较，以清晰度较高的参考主图像为基准，检测是否存在满足预设筛选阈值的候选主图像和候选副图像，以确定出是否具有清晰度较高的主图像和副图像。由此，基于参考图像的清晰度进行候选主图像和候选副图像的确定，考量了当前场景下终端设备的拍照能力，提高了筛选出候选主图像和候选副图像的灵活性。
步骤104，若检测获知存在至少一帧候选主图像和至少一帧候选副图像，则计算参考主图像、每帧候选主图像以及每帧候选副图像的图像信息，确定第一目标主图像和第一目标副图像。
步骤105，根据第一目标主图像和第一目标副图像计算景深信息。
具体地，在本申请的一个实施例中，若检测获知存在至少一帧候选主图像和至少一帧候选副图像，则表明存在清晰度较高的主图像和副图像，如果使用清晰度较高的候选主图像和候选副图像计算景深，则会提高景深计算效率和准确度。
在实际执行过程中，计算景深的主图像和副图像越接近，计算景深时的干扰越小，计算得到的景深更加准确，因此，在本申请的实施例中，获取参考主图像、每帧候选主图像以及每帧候选副图像的图像信息并进行比较，其中，该图像信息包括但不限于图像清晰度、亮度、AWB(Automatic white balance，自动白平衡)等对景深计算有影响的信息，进而，确定出第一目标主图像和第一目标副图像，比如，获取图像差异满足预设条件的第一目标主图像和第一目标副图像，以根据第一目标主图像和第一目标副图像获取景深信息，由此，保证了景深信息的计算更加准确，使得最终的成像效果较好。
其中，上述预设条件与图像信息包含的具体信息和终端设备的拍照硬件能力和拍照环境有关，终端设备包含的具体信息越丰富、终端设备的拍照硬件能力越差以及拍照环境光线越不足，则预设条件越宽松，对应的图像差异的值大，比如，在同样的终端设备的拍照硬件能力和拍照环境下，针对图像信息包含图像清晰度和亮度的场景下设置的预设条件可能为参考主图像、每帧候选主图像以及每帧候选副图像的图像信息差异为10％,针对图像信息包含图像清晰度的场景下设置的预设条件可能为参考主图像、每帧候选主图像以及每帧候选副图像的图像信息差异为15％。
为了更加清楚的说明，如何判断参考主图像、每帧候选主图像以及每帧候选副图像的图像信息的图像信息差异是否满足预设条件，下面分别以图像信息差异包含一种类型的信息和多种类型的信息为例进行说明：
第一种示例，在该示例下，获取的图像信息为一种类型的信息，比如，均为图像亮度。
具体而言，在本示例中，将参考主图像和每帧候选主图像的图像信息依次与每帧候选副图像的图像信息进行比较，获取图像信息差值最小的两帧图像为第一目标主图像和第一副图像。
举例而言，当图像信息为亮度信息时，如图4(a)所示，主摄像头和副摄像头同时拍摄，获取4帧主图像和4帧副图像，其中，按照拍摄顺序4帧主图像的编号分别为11、12、13和14，4帧副图像的编号分别为21、22、23和24，其中，清晰度最高的参考主图像为11，候选主图像分别为12和13，候选副图像，候选副图像分别为22和24。将参考主图像和每帧候选主图像的图像亮度依次与每帧候选副图像的图像亮度进行比较，获取到图像亮度差值最小的两帧图像为第一目标主图像12和第一目标副图像22，由此，根据第一目标主图像12和第一目标副图像22计算景深信息较为准确，根据该景深信息最终成像的效果较好。
第二种示例，在该示例下，获取的图像信息为多种类型的信息，比如，包括图像亮度、图像白平衡值和图像清晰度。
具体而言，在本示例中，获取与每种类型信息对应的权重因子，该权重因子对应的权重值可以由***标定，也可以由用户根据场景的需要标定，将参考主图像和每帧候选主图像的每类图像信息依次与每帧候选副图像的每类图像信息进行比较，获取每两帧图像之间各类图像信息的信息差，根据每两帧图像之间各类图像信息的信息差以及与每种类型信息对应的权重因子，获取每两帧图像对应的信息差，获取信息差最小的两帧为第一目标主图像和第一目标副图像。
举例而言，当图像信息为图像亮度、AWB和SOF，且对应的权重因子分别为50％，20％和30％，如图4(b)所示，主摄像头和副摄像头同时拍摄，获取4帧主图像和4帧副图像，其中，按照拍摄顺序4帧主图像的编号分别为11、12、13和14，4帧副图像的编号分别为21、22、23和24，其中，清晰度最高的参考主图像为11，候选主图像分别为12和13，候选副图像，候选副图像分别为22和24。将参考主图像和每帧候选主图像的图像亮度、AWB和SOF分别依次与每帧候选副图像的图像亮度进行比较，获取到参考主图像11的图像亮度、AWB和SOF与候选副图像22的信息差分别为a1、a2、a3，则获取到参考主图像11与候选副图像22的信息差b1＝a1*50％+a2*20％+a*30％,依次类推，分别获取到参考主图像11与候选副图像24的信息差b2，候选主图像12与候选副图像22的信息差b3，候选主图像12与候选副图像24的信息差b4，候选主图像13与候选副图像22的信息差b5，候选主图像13与候选副图像24的信息差b6，进而，获取到信息差最小的两帧为第一目标主图像12和第一目标副图像22，由此，根据第一目标主图像12和第一目标副图像22计算景深信息较为准确，根据该景深信息最终成像的效果较好。
基于以上示例，需要说明的是，图像信息的具体类型可以由拍摄的场景信息和拍摄模式中的一种或多种而定，比如，场景信息中光线亮度较差，则拍摄的多帧主图像和副图像质量较差，仅仅根据一种图像信息确定计算景深的第一目标主图像和第一目标副图像，可能可靠性不高，因而，需要考量多种类型的图像信息来确定第一目标主图像和第一目标副图像，又比如，场景信息中光线亮度较好，则拍摄的多帧主图像和副图像质量较高，仅仅根据一种图像信息确定计算景深的第一目标主图像和第一目标副图像可靠性叫高，因而，为了提高图像处理效率，可以考量一种类型的图像信息来确定第一目标主图像和第一目标副图像。
又比如，当前拍摄模式为夜景拍摄，则对亮度信息的要求较高，光线亮度较差，则拍摄的多帧主图像和副图像质量较差，仅仅根据一种图像信息确定计算景深的第一目标主图像和第一目标副图像，可能可靠性不高，因而，需要考量多种类型的图像信息来确定第一目标主图像和第一目标副图像，又比如，强光拍摄模式下，最容易导致的问题是过曝，因而，为了提高图像处理效率，可以考量一种类型的AWB信息来确定第一目标主图像和第一目标副图像。
具体而言，在本示例中，检测拍摄的场景信息，和/或，拍摄模式，进而，根据场景信息，和/或，拍摄模式确定待获取的图像信息类型，比如，可以预先存储场景信息，和/或，拍摄模式与图像信息类型的对应关系，进而，在获知当前场景信息，和/或，拍摄模式后，查询该对应关系，获取到对应的图像信息类型。
其中，需要强调的是，上述实施例中，包括单独采用场景信息或拍摄模式确定图像信息的类型的实现方式，也包括同时采用场景信息和拍摄模式确定图像信息的类型的实现方式。
在本申请的一个实施例中，如果检测获知不存在候选主图像或候选副图像，即其余主图像和幅图像的清晰度可能均比较低，此时，以清晰度较高的参考主图像为获取景深信息的一帧图像，获取参考主图像以及每帧副图像的图像信息并进行比较，获取图像信息差异满足预设条件的第二目标副图像，该第二目标副图像为与参考主图像最为接近的一帧副图像，进而，以该参考主图像和第二目标副图像获取景深信息。
由此，本申请实施例的景深获取方法，通过拍摄多帧主、副图像，从中挑选主图像清晰度好且主、副图像清晰度较高且图像信息尽量接近的一组图片，用来计算景深及最终成像，这样可使景深计算更加准确，同时又能保证成像清晰度，最终的成像效果更好。
综上所述，本申请实施例的景深获取方法，获取主摄像头拍摄的多帧主图像以及副摄像头拍摄的多帧副图像，计算每帧主图像和每帧副图像的清晰度，获取清晰度最高的参考主图像，将其余主图像的清晰度和每帧副图像的清晰度与参考主图像的清晰度进行比较，检测是否存在满足预设筛选阈值的候选主图像和候选副图像，若检测获知存在至少一帧候选主图像和至少一帧候选副图像，则获取参考主图像、每帧候选主图像以及每帧候选副图像的图像信息，确定第一目标主图像和第一目标副图像，进而，根据第一目标主图像和第一目标副图像获取景深信息。由此，保证了获取景深信息的图像之间的质量和一致性，提高了景深的精确率以及成像效果。
为了实现上述实施例，本申请还提出了一种景深获取装置，图5是根据本申请一个实施例的景深获取装置的结构示意图，如图5所示，该景深信息获取装置包括第一获取模块100、第二获取模块200、检测模块300、第三获取模块400和第四获取模块500。
其中，第一获取模块100，用于获取主摄像头拍摄的多帧主图像以及副摄像头拍摄的多帧副图像。
第二获取模块200，用于根据每帧主图像和每帧副图像的清晰度，获取清晰度最高的参考主图像。
检测模块300，用于将除参考主图像之外的其余主图像的清晰度和每帧副图像的清晰度与参考主图像的清晰度进行比较，检测是否存在满足预设筛选阈值的候选主图像和候选副图像。
第三获取模块400，用于在检测获知存在至少一帧候选主图像和至少一帧候选副图像时，根据参考主图像、每帧候选主图像以及每帧候选副图像的图像信息，确定第一目标主图像和第一目标副图像。
第四获取模块500，用于根据第一目标主图像和第一目标副图像获取景深信息。
其中，在本申请的一个实施例中，当获取的图像信息为一种类型信息时，第三获取模块400具体用于将参考主图像和每帧候选主图像的图像信息依次与每帧候选副图像的图像信息进行比较，获取图像信息差值最小的两帧图像为第一目标主图像和第一目标副图像。
第四获取模块500，用于根据第一目标主图像和第一目标副图像获取景深信息。
在本申请的一个实施例中，第三获取模块400，还用于在检测获知不存在候选主图像或候选副图像时，将多帧副图像中图像信息与参考主图像的图像信息的差异满足预设条件的副图像作为第二目标副图像。
第四获取模块500，还用于根据参考主图像和第二目标副图像获取景深信息。
需要说明的是，前述对方法实施例的描述，也适用于本申请实施例的装置，其实现原理类似，在此不再赘述。
上述景深获取装置中各个模块的划分仅用于举例说明，在其他实施例中，可将景深获取装置按照需要划分为不同的模块，以完成上述景深获取装置的全部或部分功能。
综上所述，本申请实施例的景深获取装置，获取主摄像头拍摄的多帧主图像以及副摄像头拍摄的多帧副图像，计算每帧主图像和每帧副图像的清晰度，获取清晰度最高的参考主图像，将其余主图像的清晰度和每帧副图像的清晰度与参考主图像的清晰度进行比较，检测是否存在满足预设筛选阈值的候选主图像和候选副图像，若检测获知存在至少一帧候选主图像和至少一帧候选副图像，则获取参考主图像、每帧候选主图像以及每帧候选副图像的图像信息确定第一目标主图像和第一目标副图像，进而，根据第一目标主图像和第一目标副图像获取景深信息。由此，保证了获取景深信息的图像之间的质量和一致性，提高了景深的精确率以及成像效果。
为了实现上述实施例，本申请还提出了一种计算机设备，其中，计算机设备为包括包含存储计算机程序的存储器及运行计算机程序的处理器的任意设备，比如，可以为智能手机、个人电脑等，上述计算机设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图6为一个实施例中图像处理电路的示意图。如图6所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图6所示，图像处理电路包括ISP处理器640和控制逻辑器650。成像设备610捕捉的图像数据首先由ISP处理器640处理，ISP处理器640对图像数据进行分析以捕捉可用于确定和/或成像设备610的一个或多个控制参数的图像统计信息。成像设备610(照相机)可包括具有一个或多个透镜612和图像传感器614的摄像头，其中，为了实施本申请的背景虚化处理方法，成像设备610包含两组摄像头，其中，继续参照图6，成像设备610可基于主摄像头和副摄像头同时拍摄场景图像，图像传感器614可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器614可获取用图像传感器614的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器640处理的一组原始图像数据。传感器620可基于传感器620接口类型把原始图像数据提供给ISP处理器640，其中，ISP处理器640可基于传感器620提供的主摄像头中的图像传感器614获取的原始图像数据和副摄像头中的图像传感器614获取的原始图像数据计算景深信息等。传感器620接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。
ISP处理器640按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器640可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器640还可从图像存储器630接收像素数据。例如，从传感器620接口将原始像素数据发送给图像存储器630，图像存储器630中的原始像素数据再提供给ISP处理器640以供处理。图像存储器630可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自传感器620接口或来自图像存储器630的原始图像数据时，ISP处理器640可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器630，以便在被显示之前进行另外的处理。ISP处理器640从图像存储器630接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器670，以供用户观看和/或由图形引擎或GPU(Graphics ProcessingUnit，图形处理器)进一步处理。此外，ISP处理器640的输出还可发送给图像存储器630，且显示器670可从图像存储器630读取图像数据。在一个实施例中，图像存储器630可被配置为实现一个或多个帧缓冲器。此外，ISP处理器640的输出可发送给编码器/解码器660，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器670设备上之前解压缩。编码器/解码器660可由CPU或GPU或协处理器实现。
ISP处理器640确定的统计数据可发送给控制逻辑器650单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜612阴影校正等图像传感器614统计信息。控制逻辑器650可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备610的控制参数以及的控制参数。例如，控制参数可包括传感器620控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜612控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜612阴影校正参数。
以下为运用图6中图像处理技术实现景深获取方法的步骤：
获取主摄像头拍摄的多帧主图像以及副摄像头拍摄的多帧副图像；
根据每帧主图像和每帧副图像的清晰度，获取清晰度最高的参考主图像；
将除所述参考主图像之外的其余主图像的清晰度和每帧副图像的清晰度与所述参考主图像的清晰度进行比较，检测是否存在满足预设筛选阈值的候选主图像和候选副图像；
若检测获知存在至少一帧所述候选主图像和至少一帧所述候选副图像，则获取所述参考主图像、每帧候选主图像以及每帧候选副图像的图像信息，确定第一目标主图像和第一目标副图像；
根据所述第一目标主图像和所述第一目标副图像获取景深信息。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，使得能够执行如上述实施例描述的景深获取方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种景深获取方法，其特征在于，包括：
获取主摄像头拍摄的多帧主图像以及副摄像头拍摄的多帧副图像；
根据每帧主图像和每帧副图像的清晰度，获取清晰度最高的参考主图像；
将除所述参考主图像之外的其余主图像的清晰度和每帧副图像的清晰度与所述参考主图像的清晰度进行比较，检测是否存在满足预设筛选阈值的候选主图像和候选副图像；
若检测获知存在至少一帧所述候选主图像和至少一帧所述候选副图像，则根据所述参考主图像、每帧候选主图像以及每帧候选副图像的图像信息，确定第一目标主图像和第一目标副图像；
根据所述第一目标主图像和所述第一目标副图像获取景深信息。
2.如权利要求1所述的方法，其特征在于，在所述检测是否存在满足预设筛选阈值的候选主图像和候选副图像之后，还包括：
若检测获知不存在所述候选主图像或所述候选副图像，则将所述多帧副图像中图像信息与所述参考主图像的图像信息的差异满足预设条件的副图像作为第二目标副图像；
根据所述参考主图像和所述第二目标副图像获取景深信息。
3.如权利要求1所述的方法，其特征在于，当获取的图像信息为一种类型信息时，其中，所述类型信息是图像亮度，或，图像白平衡值，或，图像分辨率，
所述根据所述参考主图像、每帧候选主图像以及每帧候选副图像的图像信息，确定第一目标主图像和第一目标副图像，包括：
将所述参考主图像和每帧候选主图像的图像信息依次与每帧候选副图像的图像信息进行比较，获取图像信息差值最小的两帧图像为第一目标主图像和第一目标副图像。
4.如权利要求1所述的方法，其特征在于，当获取的图像信息为多种类型信息时，
所述根据所述参考主图像、每帧候选主图像以及每帧候选副图像的图像信息，确定第一目标主图像和第一目标副图像，包括：
获取与每种类型信息对应的权重因子；
将所述参考主图像和每帧候选主图像的每类图像信息依次与每帧候选副图像的每类图像信息进行比较，获取每两帧图像之间各类图像信息的信息差；
根据每两帧图像之间各类图像信息的信息差以及与每种类型信息对应的权重因子，获取每两帧图像对应的信息差，获取信息差最小的两帧为第一目标主图像和第一目标副图像。
5.如权利要求1所述的方法，其特征在于，还包括：
检测拍摄的场景信息，和/或，拍摄模式；
根据所述场景信息，和/或拍摄模式确定待获取的所述图像信息的类型。
6.一种景深获取装置，其特征在于，包括：
第一获取模块，用于获取主摄像头拍摄的多帧主图像以及副摄像头拍摄的多帧副图像；
第二获取模块，用于根据每帧主图像和每帧副图像的清晰度，获取清晰度最高的参考主图像；
检测模块，用于将除所述参考主图像之外的其余主图像的清晰度和每帧副图像的清晰度与所述参考主图像的清晰度进行比较，检测是否存在满足预设筛选阈值的候选主图像和候选副图像；
第三获取模块，用于在检测获知存在至少一帧所述候选主图像和至少一帧所述候选副图像时，根据所述参考主图像、每帧候选主图像以及每帧候选副图像的图像信息，确定第一目标主图像和第一目标副图像；
第四获取模块，用于根据所述第一目标主图像和所述第一目标副图像获取景深信息。
7.如权利要求6所述的装置，其特征在于，
所述第三获取模块，还用于在检测获知不存在所述候选主图像或所述候选副图像时，将所述多帧副图像中图像信息与所述参考主图像的图像信息的差异满足预设条件的副图像作为第二目标副图像；
所述第四获取模块，还用于根据所述参考主图像和所述第二目标副图像获取景深信息。
8.如权利要求6所述的装置，其特征在于，当获取的图像信息为一种类型信息时，其中，所述类型信息是图像亮度，或，图像白平衡值，或，图像分辨率，
所述第三获取模块具体用于：
将所述参考主图像和每帧候选主图像的图像信息依次与每帧候选副图像的图像信息进行比较，获取图像信息差值最小的两帧图像为第一目标主图像和第一目标副图像。
9.一种获取机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的获取机程序，所述处理器执行所述程序时，实现如权利要求1-5中任一所述的景深获取方法。
10.一种获取机可读存储介质，其上存储有获取机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的景深获取方法。
CN201711243742.7A 2017-11-30 2017-11-30 景深获取方法、装置及设备 Active CN108053438B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711243742.7A CN108053438B (zh) 2017-11-30 2017-11-30 景深获取方法、装置及设备
PCT/CN2018/116474 WO2019105260A1 (zh) 2017-11-30 2018-11-20 景深获取方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711243742.7A CN108053438B (zh) 2017-11-30 2017-11-30 景深获取方法、装置及设备

Publications (2)

Publication Number Publication Date
CN108053438A CN108053438A (zh) 2018-05-18
CN108053438B true CN108053438B (zh) 2020-03-06

Family

ID=62121752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711243742.7A Active CN108053438B (zh) 2017-11-30 2017-11-30 景深获取方法、装置及设备

Country Status (2)

Country Link
CN (1) CN108053438B (zh)
WO (1) WO2019105260A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053438B (zh) * 2017-11-30 2020-03-06 Oppo广东移动通信有限公司 景深获取方法、装置及设备
CN108900766A (zh) * 2018-06-15 2018-11-27 北京华捷艾米科技有限公司 一种全景图像自动增强装置和方法、以及应用该装置的全景相机
CN109754439B (zh) * 2019-01-17 2023-07-21 Oppo广东移动通信有限公司 标定方法、装置、电子设备及介质
CN110310515B (zh) * 2019-04-23 2020-11-03 绍兴越元科技有限公司 现场信息识别反馈***
CN113936258A (zh) * 2021-10-15 2022-01-14 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN115829911A (zh) * 2022-07-22 2023-03-21 宁德时代新能源科技股份有限公司 检测***的成像一致性的方法、装置和计算机存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE518050C2 (sv) * 2000-12-22 2002-08-20 Afsenius Sven Aake Kamera som kombinerar skarpt fokuserade delar från olika exponeringar till en slutbild
CN103763477B (zh) * 2014-02-21 2016-06-08 上海果壳电子有限公司 一种双摄像头拍后调焦成像装置和方法
TWI543615B (zh) * 2014-07-17 2016-07-21 華碩電腦股份有限公司 影像處理方法及其電子裝置
CN106550184B (zh) * 2015-09-18 2020-04-03 中兴通讯股份有限公司 照片处理方法及装置
CN105957053B (zh) * 2016-04-19 2019-01-01 深圳创维－Rgb电子有限公司 二维图像景深生成方法和装置
CN106954020B (zh) * 2017-02-28 2019-10-15 努比亚技术有限公司 一种图像处理方法及终端
CN106851124B (zh) * 2017-03-09 2021-03-02 Oppo广东移动通信有限公司 基于景深的图像处理方法、处理装置和电子装置
CN108053438B (zh) * 2017-11-30 2020-03-06 Oppo广东移动通信有限公司 景深获取方法、装置及设备

Also Published As

Publication number Publication date
CN108053438A (zh) 2018-05-18
WO2019105260A1 (zh) 2019-06-06

Similar Documents

Publication Publication Date Title
CN107948519B (zh) 图像处理方法、装置及设备
CN107977940B (zh) 背景虚化处理方法、装置及设备
CN108055452B (zh) 图像处理方法、装置及设备
KR102293443B1 (ko) 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기
CN108053438B (zh) 景深获取方法、装置及设备
KR102306304B1 (ko) 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체
KR102306272B1 (ko) 듀얼 카메라 기반 이미징 방법, 이동 단말기 및 저장 매체
CN107945105B (zh) 背景虚化处理方法、装置及设备
CN108111749B (zh) 图像处理方法和装置
CN108024054B (zh) 图像处理方法、装置、设备及存储介质
CN108024057B (zh) 背景虚化处理方法、装置及设备
CN108154514B (zh) 图像处理方法、装置及设备
CN108156369B (zh) 图像处理方法和装置
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN107481186B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN107872631B (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
CN109559353B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN110708463B (zh) 对焦方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant before: Guangdong OPPO Mobile Communications Co., Ltd.

GR01 Patent grant
GR01 Patent grant