CN105637852B - 一种图像处理方法、装置及电子设备 - Google Patents

一种图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN105637852B
CN105637852B CN201480040022.9A CN201480040022A CN105637852B CN 105637852 B CN105637852 B CN 105637852B CN 201480040022 A CN201480040022 A CN 201480040022A CN 105637852 B CN105637852 B CN 105637852B
Authority
CN
China
Prior art keywords
image
camera unit
offset
camera
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480040022.9A
Other languages
English (en)
Other versions
CN105637852A (zh
Inventor
杜成
罗巍
邓斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN105637852A publication Critical patent/CN105637852A/zh
Application granted granted Critical
Publication of CN105637852B publication Critical patent/CN105637852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

本申请提供一种图像处理方法、装置及电子设备。该方法包括:获得同一采集时刻采集的第一图像和第二图像,所述第一图像通过第一摄像单元采集第一采集区域的图像获得,所述第二图像通过第二摄像单元采集第二采集区域的图像获得,所述第一摄像单元和第二摄像单元的参数相同,所述第一采集区域和所述第二采集区域之间有重叠采集区域;根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常。

Description

一种图像处理方法、装置及电子设备
技术领域
本申请涉及电子技术领域,尤其涉及一种图像处理方法、装置及电子设备。
背景技术
随着电子技术的发展,智能手机、功能手机、平板电脑等电子设备上具备了拍照功能。有些电子设备上配置有一个摄像单元,有些电子设备上配置有两个摄像单元。例如:手机上设置有一个前置摄像头,一个后置摄像头。
然而,电子设备在用户使用的过程中,摄像单元因为各种原因可能会出现异常。例如:镜头上有脏污、拍照过程中镜头被遮挡部分。以上异常都会造成拍照效果较差。而现有技术中还没有确认摄像单元是否正常的方案。
发明内容
本申请实施例提供一种图像处理方法、装置及电子设备,用于解决现有技术中没有确认摄像单元是否正常的方案的技术问题。
本申请第一方面提供了一种图像处理方法,包括:
获得同一采集时刻采集的第一图像和第二图像,所述第一图像通过第一摄像单元采集第一采集区域的图像获得,所述第二图像通过第二摄像单元采集第二采集区域的图像获得,所述第一摄像单元和第二摄像单元的参数相同,所述第一采集区域和所述第二采集区域之间有重叠采集区域;
根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第一方面,在第一方面的第一种可能的实现方式中,在确定所述第一摄像单元和所述第二摄像单元正常时,将所述第一摄像单元和所述第二摄像单元在同一采集时刻采集的有重叠采集区域的两个采集区域的两帧图像合成高动态范围HDR图像。
结合第一方面或第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常,包括:获得所述第一图像和所述第二图像之间的偏移量;将所述第一图像按照所述偏移量进行偏移;将偏移后的所述第一图像和所述第二图像分别划分为n*m的块区域;其中,n和m均为大于1的正整数;确定偏移后的所述第一图像和所述第二图像上对应位置上的块区域相互不匹配的情况;基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述方法还包括:
获得所述第一图像和所述第二图像之间的相似度;
所述基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
基于所述相互不匹配的情况和所述相似度确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,所述获得所述第一图像和所述第二图像之间的相似度,包括:
获得所述第一图像和所述第二图像之间的图像均值之差和所述第一图像和所述第二图像之间的图像方差之差的组合或之一作为所述相似度;
所述基于所述相互不匹配的情况和所述相似度确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
当所述图像均值之差大于第一阈值和所述图像方差之差大于第二阈值的组合或之一时,且所述对应位置上的块区域相互不匹配的比例大于第一门限时,确定所述第一摄像单元和所述第二摄像单元中的至少一个摄像单元的镜头被遮挡。
结合第一方面的第二种可能的实现方式,在第一方面的第五种可能的实现方式中,所述基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
基于所述相互不匹配的情况和所述偏移量确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第一方面的第五种可能的实现方式,在第一方面的第六种可能的实现方式中,所述基于所述相互不匹配的情况和所述偏移量确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
当所述偏移量大于第二门限,且相互不匹配的比例小于第三门限时,确定所述第一摄像单元和所述第二摄像单元之间的相对位置关系异常。
结合第一方面的第二种可能的实现方式,在第一方面的第七种可能的实现方式中,,所述方法还包括:
计算所述第一图像和所述第二图像之间的相似度;
所述基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
基于所述相似度、所述偏移量和所述不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第一方面的第二种可能的实现方式,在第一方面的第八种可能的实现方式中,所述基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
当连续多次不匹配的块区域的位置相同时,确定所述第一摄像单元和所述第二摄像单元中的至少一个摄像单元的镜头有脏污区域。
结合第一方面或第一方面的第一种可能的实现方式,在第一方面的第九种可能的实现方式中,所述根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
根据所述第一图像和所述第二图像之间的偏移量和所述第一图像和所述第二图像之间的相似度的组合或之一确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第一方面或第一方面的第一种可能的实现方式至第九种可能的实现方式中的任意一种,在第一方面的第十种可能的实现方式中,在所述根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常之前,所述方法还包括:
确定所述第一摄像单元和所述第二摄像单元所处的当前场景为HDR场景。
结合第一方面的第一种可能的实现方式,在第一方面的第十一种可能的实现方式中,,在确定所述第一摄像单元和所述第二摄像单元正常时,所述方法还包括:
分别计算所述第一图像和所述第二图像中每个物体的深度信息;
确定深度信息大于阈值的物体的数量超过预定值。
本申请第二方面提供一种图像处理装置,包括:
获得单元,用于获得同一采集时刻采集的第一图像和第二图像,所述第一图像通过第一摄像单元采集第一采集区域的图像获得,所述第二图像通过第二摄像单元采集第二采集区域的图像获得,所述第一摄像单元和第二摄像单元的参数相同,所述第一采集区域和所述第二采集区域之间有重叠采集区域;
确定单元,用于根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第二方面,在第二方面的第一种可能的实现方式中,所述装置还包括处理单元,用于在确定所述第一摄像单元和所述第二摄像单元正常时,将所述第一摄像单元和所述第二摄像单元在同一采集时刻采集的有重叠采集区域的两个采集区域的两帧图像合成高动态范围HDR图像。
结合第二方面或第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,所述确定单元具体用于:获得所述第一图像和所述第二图像之间的偏移量;将所述第一图像按照所述偏移量进行偏移;将偏移后的所述第一图像和所述第二图像分别划分为n*m的块区域;其中,n和m均为大于1的正整数;确定偏移后的所述第一图像和所述第二图像上对应位置上的决区域相互不匹配的情况;基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第二方面的第二种可能的实现方式,在第二方面的第三种可能的实现方式中,所述确定单元还用于:获得所述第一图像和所述第二图像之间的相似度;基于所述相互不匹配的情况和所述相似度确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第二方面的第三种可能的实现方式,在第二方面的第四种可能的实现方式中,所述确定单元具体用于:获得所述第一图像和所述第二图像之间的图像均值之差和所述第一图像和所述第二图像之间的图像方差之差的组合或之一作为所述相似度;
当所述图像均值之差大于第一阈值和所述图像方差之差大于第二阈值的组合或之一时,且所述对应位置上的块区域相互不匹配的比例大于第一门限时,确定所述第一摄像单元和所述第二摄像单元中的至少一个摄像单元的镜头被遮挡。
结合第二方面的第二种可能的实现方式,在第二方面的第五种可能的实现方式中,所述确定单元具体用于:基于所述相互不匹配的情况和所述偏移量确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第二方面的第五种可能的实现方式,在第二方面的第六种可能的实现方式中,所述确定单元具体用于:当所述偏移量大于第二门限,且相互不匹配的比例小于第三门限时,确定所述第一摄像单元和所述第二摄像单元之间的相对位置关系异常。
结合第二方面的第二种可能的实现方式,在第二方面的第七种可能的实现方式中,所述确定单元还用于:计算所述第一图像和所述第二图像之间的相似度;基于所述相似度、所述偏移量和所述不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第二方面的第二种可能的实现方式,在第二方面的第八种可能的实现方式中,所述确定单元具体用于:当连续多次不匹配的块区域的位置相同时,确定所述第一摄像单元和所述第二摄像单元中的至少一个摄像单元的镜头有脏污区域。
结合第二方面或第二方面的第一种可能的实现方式,在第二方面的第九种可能的实现方式中,所述确定单元具体用于:根据所述第一图像和所述第二图像之间的偏移量和所述第一图像和所述第二图像之间的相似度的组合或之一确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第二方面或第二方面的第一种可能的实现方式至第二方面的第九种可能的实现方式中的任意一种,在第二方面的第十种可能的实现方式中,所述确定单元还用于:在所述根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常之前,确定所述第一摄像单元和所述第二摄像单元所处的当前场景为HDR场景。
结合第二方面的第一种可能的实现方式,在第二方面的第十一种可能的实现方式中,所述确定单元还用于:在确定所述第一摄像单元和所述第二摄像单元正常时,分别计算所述第一图像和所述第二图像中每个物体的深度信息;确定深度信息大于阈值的物体的数量超过预定值。
本申请第三方面提供一种电子设备,包括:
第一摄像单元,用于采集第一采集区域的图像获得第一图像;
第二摄像单元,用于在与采集所述第一图像的同一采集时刻采集第二采集区域的图像获得第二图像;其中,所述第一摄像单元和第二摄像单元的参数相同,所述第一采集区域和所述第二采集区域之间有重叠采集区域;
处理器,用于根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第三方面,在第三方面的第一种可能的实现方式中,所述处理器还用于:在确定所述第一摄像单元和所述第二摄像单元正常时,将所述第一摄像单元和所述第二摄像单元在同一采集时刻采集的有重叠采集区域的两个采集区域的两帧图像合成高动态范围HDR图像。
结合第三方面或第三方面的第一种可能的实现方式,在第三方面的第二种可能的实现方式中,所述处理器具体用于:获得所述第一图像和所述第二图像之间的偏移量;将所述第一图像按照所述偏移量进行偏移;将偏移后的所述第一图像和所述第二图像分别划分为n*m的块区域;其中,n和m均为大于1的正整数;确定偏移后的所述第一图像和所述第二图像上对应位置上的块区域相互不匹配的情况;基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第三方面的第二种可能的实现方式,在第三方面的第三种可能的实现方式中,所述处理器还用于:获得所述第一图像和所述第二图像之间的相似度;基于所述相互不匹配的情况和所述相似度确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第三方面的第三种可能的实现方式,在第三方面的第四种可能的实现方式中,所述处理器具体用于:获得所述第一图像和所述第二图像之间的图像均值之差和所述第一图像和所述第二图像之间的图像方差之差的组合或之一作为所述相似度;
当所述图像均值之差大于第一阈值和所述图像方差之差大于第二阈值的组合或之一时,且所述对应位置上的块区域相互不匹配的比例大于第一门限时,确定所述第一摄像单元和所述第二摄像单元中的至少一个摄像单元的镜头被遮挡。
结合第三方面的第二种可能的实现方式,在第三方面的第五种可能的实现方式中,所述处理器具体用于:基于所述相互不匹配的情况和所述偏移量确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第三方面的第五种可能的实现方式,在第三方面的第六种可能的实现方式中,所述处理器具体用于:当所述偏移量大于第二门限,且相互不匹配的比例小于第三门限时,确定所述第一摄像单元和所述第二摄像单元之间的相对位置关系异常。
结合第三方面的第二种可能的实现方式,在第三方面的第七种可能的实现方式中,所述处理器还用于:计算所述第一图像和所述第二图像之间的相似度;基于所述相似度、所述偏移量和所述不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第三方面的第二种可能的实现方式,在第三方面的第八种可能的实现方式中,所述处理器具体用于:当连续多次不匹配的块区域的位置相同时,确定所述第一摄像单元和所述第二摄像单元中的至少一个摄像单元的镜头有脏污区域。
结合第三方面或第三方面的第一种可能的实现方式,在第三方面的第九种可能的实现方式中,所述处理器具体用于:根据所述第一图像和所述第二图像之间的偏移量和所述第一图像和所述第二图像之间的相似度的组合或之一确定所述第一摄像单元和所述第二摄像单元是否正常。
结合第三方面或第三方面的第一种可能的实现方式至第三方面的第九种可能的实现方式中的任意一种,在第三方面的第十种可能的实现方式中,在第三方面的第三种可能的实现方式中,所述处理器还用于:在所述根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常之前,确定所述第一摄像单元和所述第二摄像单元所处的当前场景为HDR场景。
结合第三方面的第一种可能的实现方式,在第三方面的第十一种可能的实现方式中,所述处理器还用于:在确定所述第一摄像单元和所述第二摄像单元正常时,分别计算所述第一图像和所述第二图像中每个物体的深度信息;确定深度信息大于阈值的物体的数量超过预定值。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本申请实施例中,根据第一图像和第二图像确定第一摄像单元和第二摄像单元是否正常,其中,第一图像通过第一摄像单元采集第一采集区域的图像获得,第二图像通过第二摄像单元采集第二采集区域的图像获得,第一采集区域和第二采集区域之间有重叠采集区域。由此可以看出,在本申请实施例中,电子设备可以通过两个摄像单元所拍摄的图像确定两个摄像单元是否正常。换言之,本申请实施例提供一种确定摄像单元是否正常的方法,这样可以在摄像单元均正常的情况下拍摄图像,保证拍摄的效果。
附图说明
图1为本申请一实施例中的图像处理方法的流程图;
图2为本申请一实施例中的摄像单元的镜头的设置示意图;
图3为本申请一实施例中的投影直方图的进行分块的示意图;
图4为本申请一实施例中的图像处理方法的实例图;
图5为现有技术中“鬼影”的示意图;
图6为本申请一实施例中图像处理装置的功能框图;
图7为本申请一实施例中电子设备的***框图。
具体实施方式
本申请实施例提供一种图像处理方法、装置及电子设备,解决现有技术中没有确认摄像单元是否正常的方案的技术问题。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
首先介绍本申请实施例中的图像处理方法的实施过程,请参考图1所示,为本实施例中图像处理方法的流程图,该方法包括以下内容。
标号101表示的步骤为:获得同一采集时刻采集的第一图像和第二图像。其中,第一图像通过第一摄像单元采集第一采集区域的图像获得,第二图像通过第二摄像单元采集第二采集区域的图像获得,第一摄像单元和第二摄像单元的参数相同,第一采集区域和第二采集区域之间有重叠采集区域。
其中,第一摄像单元和第二摄像单元设置在一电子设备上。电子设备例如为手机、平板电脑、相机。
可选的,第一摄像单元的第一镜头和第二摄像单元的第二镜头设置在电子设备的同一侧。较佳的,第一镜头和第二镜头设置在电子设备的同一平面上,例如均设置在手机的后壳上。
可选的,第一镜头可以是前置镜头,第二镜头为后置镜头。在使用时,可以将其中一个镜头翻转到与另一个镜头处于同一侧。
较佳的,在获取图像时,第一摄像单元的光轴和第二摄像单元的光轴平行,保证采集的第一图像和第二图像之间的运动为平移运动,这样矫正的运算量小。
进一步,第一摄像单元和第二摄像单元的参数相同,例如:两者具有相同的焦距。可以理解的,第一摄像单元和第二摄像单元也可以具有相同的焦距和相同的图像传感器;当然,第一摄像单元和第二摄像单元也可以具有相同的镜头以及其他相同的硬件参数。
需要说明的是,第一摄像单元和第二摄像单元有一个参数相同可以理解为第一摄像单元和第二摄像单元的参数相同;当然第一摄像单元和第二摄像单元有多个参数相同(例如,两个参数或三个参数相同)也可以理解为第一摄像单元和第二摄像单元的参数相同。优选的,第一摄像单元和第二摄像单元的参数都相同,即两个相同的摄像单元。
请参考图2所示,为第一摄像单元201和第二摄像单元202设置在电子设备20上的一种可能的示意图。其中,第一摄像单元201和第二摄像单元202设置在电子设备的同一侧,例如第一摄像单元201和第二摄像单元202设置在电子设备的后盖侧。
当手持电子设备20拍照时,通过第一摄像单元201拍摄第一图像,同时通过第二摄像单元202拍摄第二图像。虽然第一摄像单元201和第二摄像单元202针对同一采集区域进行拍摄,但是因为第一摄像单元201和第二摄像单元202的光轴在水平方向上有一定距离,所以第一摄像单元201的第一采集区域和第二摄像单元202的第二采集区域不完全相同,但是第一采集区域和第二采集区域之间有重叠采集区域。
可选的,拍摄第一图像和第二图像的电子设备和执行标号102表示的步骤的电子设备可以是同一个电子设备。具体的,当该电子设备通过第一摄像单元和第二摄像单元中的电荷耦合元件(英文:Charge-coupled Device;简称:CCD)或互补金属氧化物半导体(英文:Complementary Metal Oxide Semiconductor;简称:CMOS)等图像传感器获得图像信号,然后将这些图像信号传输给图像信号处理器(英文:Image Signal Processor;简称:ISP),由ISP对图像信号进行预处理,获得第一图像和第二图像。
可选的,拍摄第一图像和第二图像的电子设备和执行标号102表示的步骤的电子设备也可以不是同一个电子设备。例如:拍摄第一图像和第二图像的电子设备为手机或平板电脑或单反相机,拍摄的过程如上述。执行标号102表示的步骤的电子设备为笔记本电脑或其他手机或平板电脑,那么在拍摄获得第一图像和第二图像之后,将第一图像和第二图像传输给笔记本或其他手机或平板电脑,那么对于笔记本电脑或其他手机或平板电脑来说,即获得了第一图像和第二图像。
接下来介绍标号102表示的步骤:根据第一图像和第二图像确定第一摄像单元和第二摄像单元是否正常。
在第一种可能的实施方式中,标号102表示的步骤具体包括:根据第一图像和第二图像之间的偏移量和第一图像和第二图像之间的相似度的组合或之一确定第一摄像单元和第二摄像单元是否正常。
具体来说,可以通过以下的步骤获得第一图像和第二图像之间的相似度:获得第一图像和第二图像之间的图像均值之差和第一图像和第二图像之间的图像方差之差的组合或之一作为所述相似度。
举例来说,可以通过公式来计算每个图像的图像均值。其中,mean表示图像均值,Ii,j表示图像上的像素点坐标值,i和j为正整数;imageWidth表示图像的宽,imageHeight表示图像的高。通过上述公式获得第一图像的第一图像均值,第二图像的第二图像均值。
可选的,还可以通过公式来计算每个图像的图像方差。其中,contrast表示图像方差。通过该公式获得第一图像的第一图像方差,第二图像的第二图像方差。
当第一图像均值和第二图像均值之差,即第一图像和第二图像的图像均值之差大于第一阈值时,确定第一摄像单元和第二摄像单元异常。当第一图像方差和第二图像方差之差,即第一图像和第二图像的图像方差之差大于第二阈值时,确定第一摄像单元和第二摄像单元异常。或者,当图像均值之差大于第一阈值,且图像方差之差大于第二阈值时,确定第一摄像单元和第二摄像单元异常。
具体来说,可以通过以下步骤获得第一图像和第二图像之间的偏移量:获得第一图像的垂直方向上的第一投影直方图和水平方向上的第二投影直方图;获得第二图像的垂直方向上的第三投影直方图和水平方向上的第四投影直方图;确定第一偏移量和第二偏移量作为所述偏移量,其中,在将第一投影直方图在垂直方向偏移第一偏移量时,第一投影直方图和第三投影直方图的匹配比较好;在将第二投影直方图在水平方向偏移第二偏移量时,第二投影直方图和第四投影直方图的匹配比较好。其中,投影直方图的获取为本领域技术人员所熟知的内容,所以在此不再赘述。
可选的,第一偏移量可以通过公式来确定。
可选的,第二偏移量可以通过公式来确定,其中,在上述两个公式中,verHistoDiff[offset]表示第一偏移量。在两个公式的等号右边,offset表示试验偏移量。leftVerHisto表示第一投影直方图。rightVerHisto表示第三投影直方图。j表示直方图的直条(bin)数,假设一个直方图的bin的数量是N的话,那么j取值为1至N,其中,N为正整数。第一个公式中的overlapping bin number表示将第一投影直方图偏移offset个bin之后,第一投影直方图和第三投影直方图的重叠bin数。horHistoDiff[offset]表示第二偏移量,leftHorHisto表示第二投影直方图,rightHorHisto表示第四投影直方图。第二个公式中的overlapping bin number表示将第二投影直方图偏移offset个bin之后,第二投影直方图和第四投影直方图的重叠bin数。上述两个公式表示,采用不同的试验offset代入等式右边的分子式中,求取分子式的值。在多次的试验中,其中分子式的最小值对应的试验offset即为等式左边所要求的第一偏移量和第二偏移量。在偏移分子式的最小值对应的试验offset之后,两个投影直方图的匹配效果,相较于其他试验offset,是最好的。
当第一偏移量大于第三阈值时,确定第一摄像单元和第二摄像单元异常。当第二偏移量大于第四阈值时,确定第一摄像单元和第二摄像单元异常。或者,当第一偏移量大于第三阈值时,且第二偏移量大于第四阈值时,确定第一摄像单元和第二摄像单元异常。
在实际运用中,可以只通过相似度来确定第一摄像单元和第二摄像单元是否正常。也可以只通过偏移量来确定第一摄像单元和第二摄像单元是否正常。也可以是同时通过相似度和偏移量来确定,当相似度和偏移量两者均满足条件,那么就可以确定第一摄像单元和第二摄像单元异常。也可以是先确定相似度,当相似度不满足条件,例如第一图像和第二图像的图像均值之差小于第一阈值时,才通过偏移量来确定。
在第二种可能的实施方式中,标号102表示的步骤包括:获得第一图像和第二图像之间的偏移量;将第一图像按照所述偏移量进行偏移;将偏移后的第一图像和第二图像分别划分为n*m的块区域;其中,n和m均为大于1的正整数;确定偏移后的第一图像和第二图像上对应位置上的块区域相互不匹配的情况;基于相互不匹配的情况确定第一摄像单元和第二摄像单元是否正常。
其中,获得第一图像和第二图像之间的偏移量的具体实施方式可以参照前述所描述,例如获得第一偏移量和第二偏移量。
然后将第一图像按照所述偏移量进行偏移。例如:将第一图像按照第一偏移量在垂直方向上进行偏移。将第一图像按照第二偏移量在水平方向上进行偏移。
接下来,将偏移后的第一图像和第二图像分别划分为n*m的块区域。举例来说,请参考图3所示,第一图像301和第二图像302均被划分为10*12的块区域303。
然后确定偏移后的第一图像和第二图像上对应位置上的块区域相互不匹配的情况。具体来说,可以根据对应位置上的块区域的平均亮度差来确定对应位置上的块区域是否匹配。例如:当对应位置上的块区域的平均亮度差大于给定门限,就可以确定对应位置上的两个块区域不匹配。举例来说,请继续参考图3所示,计算第一图像301上的第一块区域3031的平均亮度。计算第二图像302上的第二块区域3032的平均亮度,其中,第一块区域3031和第二块区域3032的位置对应。然后确定第一块区域3031和第二块区域3032的平均亮度差。然后判断平均亮度差是否大于给定门限,如果是,则确定第一决区域3031和第二块区域3032不匹配。否则,确定第一块区域3031和第二块区域3032相互匹配。
其中,在实际运用中,相互不匹配的情况可以是不匹配的块区域的位置,也可以是相互不匹配的比例。具体参见下述几个具体的实施方式。
基于所述相互不匹配的情况确定第一摄像单元和第二摄像单元是否正常。具体来说,可以是:当相互不匹配的比例大于第一门限时,可以确定第一摄像单元和第二摄像单元异常,否则,确定第一摄像单元和第二摄像单元正常。
还可以是:基于所述相互不匹配的情况和所述偏移量确定第一摄像单元和第二摄像单元是否正常。具体来说,当所述偏移量大于第二门限,且相互不匹配的比例小于第三门限时,确定第一摄像单元和第二摄像单元之间的相对位置关系异常。其中,第三门限的值的设定可以根据近景拍摄和远景拍摄的情况设定不同的值。举例来说,在两个摄像单元的焦距大于预定值,认为是远景拍摄。如果焦距小于等于预定值,那么认为是近景拍摄。因为在近景拍摄时,两个摄像单元之间的视差较大,不匹配的比例较大,所以此时第三门限可以设置的较大一些。而当在远景拍摄时,不匹配的比例本来就较小,那么此时第三门限可以设置的小一点。其中,所述偏移量大于第二门限,具体来说,例如:第一偏移量大于第三阈值,此时第一偏移量即为所述偏移量,第三阈值即为第二门限。再例如:第二偏移量大于第四阈值,此时第二偏移量即为所述偏移量,第四阈值即为第二门限。再例如:如果同时考虑第一偏移量和第二偏移量的话,那么第二门限就包括第三阈值和第四阈值。
换言之,通过本实施例中的方法还可以确定出摄像单元之间的相对位置关系异常,便于用户能够快速的获知异常的原因,并进行调整。
可选的,在确定出第一摄像单元和第二摄像单元之间的相对位置关系异常时,可以进行后期校准。例如:对两个摄像单元的内部参数和外部参数进行校准。其中,内部参数具体例如是摄像单元的镜头的参数。外部参数具体例如是光轴的偏移角。该部分为本领域技术人员所熟知的内容,所以在此不再赘述。
还可以是:当连续多次不匹配的块区域的位置相同时,确定第一摄像单元和第二摄像单元中的至少一个摄像单元的镜头有脏污区域。举例来说,请继续参考图3所示,假设在连续多次执行标号101和标号102所表示的步骤时,标号102表示的步骤的匹配结果均为第一块区域3031和第二块区域3032不匹配,那么就表示第一镜头在与第一块区域3031对应的位置或第二镜头在与第二块区域3032对应的位置有脏污。进一步,可以提示用户镜头有脏污,那么用户可以快速的消除异常。
还可以是:基于所述相互不匹配的情况和所述相似度确定第一摄像单元和第二摄像单元是否正常。其中,获取相似度的方法请参考前面所描述。举例来说,例如:当相似度大于给定阈值且相互不匹配的比例大于第一门限时,确定第一摄像单元和第二摄像单元异常。再例如:当图像均值之差大于第一阈值和/或图像方差之差大于第二阈值时,且对应位置上的块区域相互不匹配的比例大于第一门限时,确定第一摄像单元和第二摄像单元中的至少一个摄像单元的镜头被遮挡。此时,可以提示用户镜头有遮挡,那么用户可以快速的消除异常。再例如:当相似度不满足条件时,再根据相互不匹配的情况进行确定。
还可以是:基于所述相似度、所述偏移量和所述不匹配的情况确定第一摄像单元和第二摄像单元是否正常。具体来说,例如相似度、偏移量和不匹配的情况均满足条件时,才确定第一摄像单元和第二摄像单元正常。
第三种可能的实施方式:标号102表示的步骤包括:基于所述相似度、所述偏移量和所述不匹配的情况确定第一摄像单元和第二摄像单元是否正常。举例来说,请参考图4所示,计算第一图像和第二图像之间的相似度;判断所述相似度是否大于给定门限,若是,则确定第一摄像单元和第二摄像单元异常;若否,计算第一图像和第二图像之间的偏移量;判断所述偏移量是否大于给定门限,若是,则确定第一摄像单元和第二摄像单元异常;若否,将第一图像按照所述偏移量进行偏移,将偏移后的第一图像和第二图像分别划分为n*m的块区域;确定偏移后的第一图像和第二图像上对应位置上的块区域相互不匹配的比例;判断相互不匹配的比例是否大于第一门限,若是,则确定第一摄像单元和第二摄像单元异常;若否,则确定第一摄像单元和第二摄像单元正常。
以下举一个具体的需要确定摄像单元正常的应用场景。
为了获得更好的拍照效果,现有技术中采用了多帧拍照算法优化拍照效果。例如:高动态范围(英文:High Dynamic Range;简称:HDR)算法为:采用不同曝光的设定采集多帧图像,通过算法处理多帧图像,生成一张动态范围更大的图像。HDR图像提供更宽的动态范围,更多的图像细节,以及能够更好地反映真实环境中的视觉效果。
HDR技术需要对同一场景利用一个摄像单元在不同时刻采集多帧图像,所以多帧图像之间存在一定的拍照时间间隔。在该时间间隔内,受到电子设备的运动或者场景中物体运动的影响,例如手抖,风吹动树枝,人的走动等等,那么同一物体在多帧图像中的位置可能会发生变化,例如,当人物1快速移动时,不同曝光度的多帧图像上,人物1的位置是不同的,沿着人物1的运动轨迹分布,将多帧图像进行图像融合,生成HDR图像,如图5所示,其中,虚线所示就被称为人物1的“鬼影”,从而影响拍照效果。
为了解决所描述的“鬼影”问题,本申请实施例提出了通过第一摄像单元和第二摄像单元在同一采集时刻采集有重叠采集区域的两个采集区域的两帧图像,然后将这两帧图像合成HDR图像的方法。因为该方法中,两帧图像分别是两个摄像单元同时采集的,所以可以消除现有技术中一个摄像单元在不同时刻采集两帧图像所可能导致的“鬼影”问题。其中,第一摄像单元和第二摄像单元可以位于电子设备的同一侧。
然而,在该方法中,要利用两个摄像单元同时采集图像,如果两个摄像单元异常时,例如其中一个摄像单元的镜头被遮挡,或者镜头上有脏污,或者两个摄像单元的光轴不一致,那么合成的HDR图像的效果也会较差。
因此,可以通过本申请实施例中描述的方法确定两个摄像单元是否正常。
在确定第一摄像单元和第二摄像单元正常时,执行步骤:将第一摄像单元和第二摄像单元在同一采集时刻采集的有重叠采集区域的两个采集区域的两帧图像合成HDR图像,以获得较好的拍照效果。
可选的,当确定第一摄像单元和第二摄像单元异常时,如前述所描述的,将一个摄像单元在不同时刻拍摄的多帧图像合成HDR图像。可选的,该一个摄像单元具体可以是能够在电子设备的显示器上显示预览图像的摄像单元。
由以上描述可以看出,在本申请实施例中,在将第一摄像单元和第二摄像单元在同一采集时刻采集的有重叠采集区域的两个采集区域的两帧图像合成HDR图像之前,先确定两个摄像单元正常,所以可以避免因为两个摄像单元异常而导致的合成的HDR图像效果差的问题。
可选的,在标号102表示的步骤之前,该方法还包括:确定当前场景为HDR场景,因为在HDR场景时,需要用多帧图像合成HDR图像,所以需要确定第一摄像单元和第二摄像单元是否正常。
具体来说,确定当前场景是否为HDR场景,可以有多种方式,例如:用户设置当前场景之后,电子设备可以通过查询该设置项的值来确定当前场景。再例如:电子设备检测到处于夜景/低照度场景,则确定当前需要进入HDR场景。
可选的,在确定第一摄像单元和第二摄像单元正常时,该方法还包括:分别计算第一图像和第二图像中每个物体的深度信息;确定深度信息大于阈值的物体的数量超过预定值。例如有大多数物体距离摄像单元较远时,将第一摄像单元和第二摄像单元在同一采集时刻采集的有重叠采集区域的两个采集区域的两帧图像合成HDR图像。否则,就将一个摄像单元在不同时刻采集的多帧图像合成HDR图像。因为如果是近景拍摄的话,两个摄像单元采集的图像的差异就较大,所以这时合成的HDR图像效果较差,此时将一个摄像单元在不同时刻采集的多帧图像合成HDR图像的效果更好。因此,通过本实施例中的方法可以确定当前场景是否是远景,当当前场景为远景拍摄时,就可以将第一摄像单元和第二摄像单元在同一采集时刻采集的有重叠采集区域的两个采集区域的两帧图像合成HDR图像,获得更好的拍摄效果。
基于同一发明构思,本申请实施例还提供一种图像处理装置,请参考图6所示,为该图像处理装置的功能框图。该装置包括:获得单元401,用于获得同一采集时刻采集的第一图像和第二图像,第一图像通过第一摄像单元采集第一采集区域的图像获得,第二图像通过第二摄像单元采集第二采集区域的图像获得,第一摄像单元和第二摄像单元的参数相同,第一采集区域和第二采集区域之间有重叠采集区域;确定单元402,用于根据第一图像和第二图像确定第一摄像单元和第二摄像单元是否正常。参数相同,具体来说,例如:两者具有相同的焦距。可以理解的,第一摄像单元和第二摄像单元也可以具有相同的焦距和相同的图像传感器;当然,第一摄像单元和第二摄像单元也可以具有相同的镜头以及其他相同的硬件参数。
需要说明的是,第一摄像单元和第二摄像单元有一个参数相同可以理解为第一摄像单元和第二摄像单元的参数相同;当然第一摄像单元和第二摄像单元有多个参数相同(例如,两个参数或三个参数相同)也可以理解为第一摄像单元和第二摄像单元的参数相同。优选的,第一摄像单元和第二摄像单元的参数都相同,即两个相同的摄像单元。
可选的,装置还包括处理单元403,用于在确定第一摄像单元和第二摄像单元正常时,将第一摄像单元和第二摄像单元在同一采集时刻采集的有重叠采集区域的两个采集区域的两帧图像合成高动态范围HDR图像。
可选的,确定单元402具体用于:获得第一图像和第二图像之间的偏移量;将第一图像按照偏移量进行偏移;将偏移后的第一图像和第二图像分别划分为n*m的块区域;其中,n和m均为大于1的正整数;确定偏移后的第一图像和第二图像上对应位置上的块区域相互不匹配的情况;基于相互不匹配的情况确定第一摄像单元和第二摄像单元是否正常。
进一步,确定单元402还用于:获得第一图像和第二图像之间的相似度;基于相互不匹配的情况和相似度确定第一摄像单元和第二摄像单元是否正常。
进一步,确定单元402具体用于:获得第一图像和第二图像之间的图像均值之差和第一图像和第二图像之间的图像方差之差的组合或之一作为相似度;
当图像均值之差大于第一阈值和图像方差之差大于第二阈值的组合或之一时,且对应位置上的块区域相互不匹配的比例大于第一门限时,确定第一摄像单元和第二摄像单元中的至少一个摄像单元的镜头被遮挡。
可选的,确定单元402还用于:基于相互不匹配的情况和偏移量确定第一摄像单元和第二摄像单元是否正常。
进一步,确定单元402具体用于:当偏移量大于第二门限,且相互不匹配的比例小于第三门限时,确定第一摄像单元和第二摄像单元之间的相对位置关系异常。
可选的,确定单元402还用于:计算第一图像和第二图像之间的相似度;基于相似度、偏移量和不匹配的情况确定第一摄像单元和第二摄像单元是否正常。
可选的,确定单元402具体用于:当连续多次不匹配的块区域的位置相同时,确定第一摄像单元和第二摄像单元中的至少一个摄像单元的镜头有脏污区域。
可选的,确定单元402具体用于:根据第一图像和第二图像之间的偏移量和第一图像和第二图像之间的相似度的组合或之一确定第一摄像单元和第二摄像单元是否正常。
结合以上各实施例,确定单元402还用于:在根据第一图像和第二图像确定第一摄像单元和第二摄像单元是否正常之前,确定第一摄像单元和第二摄像单元所处的当前场景为HDR场景。
结合以上各实施例,确定单元402还用于:在确定第一摄像单元和第二摄像单元正常时,分别计算第一图像和第二图像中每个物体的深度信息;确定深度信息大于阈值的物体的数量超过预定值。
前述图1-图4实施例中的图像处理方法中的各种变化方式和具体实例同样适用于本实施例的图像处理装置,通过前述对图像处理方法的详细描述,本领域技术人员可以清楚的知道本实施例中图像处理装置的实施方法,所以为了说明书的简洁,在此不再详述。
基于同一发明构思,本申请实施例还提供一种电子设备,请参考图7所示,为本实施例中电子设备的***框图。该电子设备设备包括:第一摄像单元501,用于采集第一采集区域的图像获得第一图像;第二摄像单元502,用于在与采集第一图像的同一采集时刻采集第二采集区域的图像获得第二图像;其中,第一摄像单元501和第二摄像单元502的参数相同,第一采集区域和第二采集区域之间有重叠采集区域;处理器503,用于根据第一图像和第二图像确定第一摄像单元501和第二摄像单元502是否正常。
具体来说,第一摄像单元501包括第一镜头和第一图像传感器。第一图像传感器例如为电荷耦合元件(英文:Charge-coupled Device;简称:CCD)或互补金属氧化物半导体(英文:Complementary Metal Oxide Semiconductor;简称:CMOS)。第二摄像单元502包括第二镜头和第二图像传感器。
可选的,处理器503还用于:在确定第一摄像单元501和第二摄像单元502正常时,将第一摄像单元501和第二摄像单元502在同一采集时刻采集的有重叠采集区域的两个采集区域的两帧图像合成高动态范围HDR图像。
可选的,处理器503具体用于:获得第一图像和第二图像之间的偏移量;将第一图像按照偏移量进行偏移;将偏移后的第一图像和第二图像分别划分为n*m的块区域;其中,n和m均为大于1的正整数;确定偏移后的第一图像和第二图像上对应位置上的块区域相互不匹配的情况;基于相互不匹配的情况确定第一摄像单元501和第二摄像单元502是否正常。
可选的,处理器503还用于:获得第一图像和第二图像之间的相似度;基于相互不匹配的情况和相似度确定第一摄像单元501和第二摄像单元502是否正常。
进一步,处理器503具体用于:获得第一图像和第二图像之间的图像均值之差和第一图像和第二图像之间的图像方差之差的组合或之一作为相似度;
当图像均值之差大于第一阈值和图像方差之差大于第二阈值的组合或之一时,且对应位置上的块区域相互不匹配的比例大于第一门限时,确定第一摄像单元501和第二摄像单元502中的至少一个摄像单元的镜头被遮挡。
可选的,处理器503具体用于:基于相互不匹配的情况和偏移量确定第一摄像单元501和第二摄像单元502是否正常。
进一步,处理器503具体用于:当偏移量大于第二门限,且相互不匹配的比例小于第三门限时,确定第一摄像单元501和第二摄像单元502之间的相对位置关系异常。
可选的,处理器503还用于:计算第一图像和第二图像之间的相似度;基于相似度、偏移量和不匹配的情况确定第一摄像单元501和第二摄像单元502是否正常。
可选的,处理器503具体用于:当连续多次不匹配的块区域的位置相同时,确定第一摄像单元501和第二摄像单元502的镜头有脏污区域。
可选的,处理器503具体用于:根据第一图像和第二图像之间的偏移量和第一图像和第二图像之间的相似度的组合或之一确定第一摄像单元501和第二摄像单元502是否正常。
结合以上各实施例,处理器503还用于:在根据第一图像和第二图像确定第一摄像单元501和第二摄像单元502是否正常之前,确定第一摄像单元501和第二摄像单元502所处的当前场景为HDR场景。
结合以上各实施例,处理器503还用于:在确定第一摄像单元501和第二摄像单元502正常时,分别计算第一图像和第二图像中每个物体的深度信息;确定深度信息大于阈值的物体的数量超过预定值。
请继续参考图7所示,电子设备还包括显示器504,用于显示第一摄像单元501和/或第二摄像单元502或者处理器503获得的图像。
可选的,电子设备还包括存储器505,用于存储处理器503在执行操作时所使用的数据;或者第一摄像单元501和/或第二摄像单元502获取的临时图像数据。
可选的,处理器503具体可以包括:中央处理器(CPU)和IPS。
可选的,处理器503为CPU,和IPS为物理上相互独立的芯片。
可选的,电子设备还包括电池,用于为该电子设备供电。
前述图1-图4实施例中的图像处理方法中的各种变化方式和具体实例同样适用于本实施例的图像处理装置,通过前述对图像处理方法的详细描述,本领域技术人员可以清楚的知道本实施例中图像处理装置的实施方法,所以为了说明书的简洁,在此不再详述。
申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本申请实施例中,根据第一图像和第二图像确定第一摄像单元和第二摄像单元是否正常,其中,第一图像通过第一摄像单元采集第一采集区域的图像获得,第二图像通过第二摄像单元采集第二采集区域的图像获得,第一采集区域和第二采集区域之间有重叠采集区域。由此可以看出,在本申请实施例中,电子设备可以通过两个摄像单元所拍摄的图像确定两个摄像单元是否正常。换言之,本申请实施例提供一种确定摄像单元是否正常的方法,这样可以在摄像单元均正常的情况下拍摄图像,保证拍摄的效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法和设备实施例可采用硬件或结合软件和硬件的方式实现。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图或方框图来描述的。应理解可由计算机程序指令实现流程图或方框图中的每一流程或方框、以及流程图或方框图中的流程或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令可存储在能引导计算机或其他可编程数据处理设备的可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (33)

1.一种图像处理方法,其特征在于,包括:
获得同一采集时刻采集的第一图像和第二图像,所述第一图像通过第一摄像单元采集第一采集区域的图像获得,所述第二图像通过第二摄像单元采集第二采集区域的图像获得,所述第一摄像单元和第二摄像单元的参数相同,所述第一采集区域和所述第二采集区域之间有重叠采集区域;
根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常;
所述根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
获得所述第一图像的垂直方向上的第一投影直方图和水平方向上的第二投影直方图;获得第二图像的垂直方向上的第三投影直方图和水平方向上的第四投影直方图;
根据所述第一投影直方图和所述第三投影直方图确定所述第一图像和所述第二图像之间的偏移量;或者根据所述第二投影直方图和第四投影直方图确定所述第一图像和所述第二图像之间的偏移量;
根据所述第一图像和所述第二图像之间的偏移量确定所述第一摄像单元和所述第二摄像单元是否正常;或者根据所述第一图像和所述第二图像之间的偏移量和所述第一图像和所述第二图像之间的相似度的组合确定所述第一摄像单元和所述第二摄像单元是否正常。
2.如权利要求1所述的方法,其特征在于,在确定所述第一摄像单元和所述第二摄像单元正常时,将所述第一摄像单元和所述第二摄像单元在同一采集时刻采集的有重叠采集区域的两个采集区域的两帧图像合成高动态范围HDR图像。
3.如权利要求1或2所述的方法,其特征在于,所述根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
获得所述第一图像和所述第二图像之间的偏移量;
将所述第一图像按照所述偏移量进行偏移;
将偏移后的所述第一图像和所述第二图像分别划分为n*m的块区域;其中,n和m均为大于1的正整数;
确定偏移后的所述第一图像和所述第二图像上对应位置上的块区域相互不匹配的情况;
基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
获得所述第一图像和所述第二图像之间的相似度;
所述基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
基于所述相互不匹配的情况和所述相似度确定所述第一摄像单元和所述第二摄像单元是否正常。
5.如权利要求4所述的方法,其特征在于,所述获得所述第一图像和所述第二图像之间的相似度,包括:
获得所述第一图像和所述第二图像之间的图像均值之差和所述第一图像和所述第二图像之间的图像方差之差的组合或之一作为所述相似度;
所述基于所述相互不匹配的情况和所述相似度确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
当所述图像均值之差大于第一阈值和所述图像方差之差大于第二阈值的组合或之一时,且所述对应位置上的块区域相互不匹配的比例大于第一门限时,确定所述第一摄像单元和所述第二摄像单元中的至少一个摄像单元的镜头被遮挡。
6.如权利要求3所述的方法,其特征在于,所述基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
基于所述相互不匹配的情况和所述偏移量确定所述第一摄像单元和所述第二摄像单元是否正常。
7.如权利要求6所述的方法,其特征在于,所述基于所述相互不匹配的情况和所述偏移量确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
当所述偏移量大于第二门限,且相互不匹配的比例小于第三门限时,确定所述第一摄像单元和所述第二摄像单元之间的相对位置关系异常。
8.如权利要求3所述的方法,其特征在于,所述方法还包括:
计算所述第一图像和所述第二图像之间的相似度;
所述基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
基于所述相似度、所述偏移量和所述不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常。
9.如权利要求3所述的方法,其特征在于,所述基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常,包括:
当连续多次不匹配的块区域的位置相同时,确定所述第一摄像单元和所述第二摄像单元中的至少一个摄像单元的镜头有脏污区域。
10.如权利要求1-2、4-9任一项所述的方法,其特征在于,在所述根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常之前,所述方法还包括:
确定所述第一摄像单元和所述第二摄像单元所处的当前场景为HDR场景。
11.如权利要求2所述的方法,其特征在于,在确定所述第一摄像单元和所述第二摄像单元正常时,所述方法还包括:
分别计算所述第一图像和所述第二图像中每个物体的深度信息;
确定深度信息大于阈值的物体的数量超过预定值。
12.一种图像处理装置,其特征在于,包括:
获得单元,用于获得同一采集时刻采集的第一图像和第二图像,所述第一图像通过第一摄像单元采集第一采集区域的图像获得,所述第二图像通过第二摄像单元采集第二采集区域的图像获得,所述第一摄像单元和第二摄像单元的参数相同,所述第一采集区域和所述第二采集区域之间有重叠采集区域;
确定单元,用于根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常;
所述确定单元具体用于:获得所述第一图像的垂直方向上的第一投影直方图和水平方向上的第二投影直方图;获得第二图像的垂直方向上的第三投影直方图和水平方向上的第四投影直方图;
根据所述第一投影直方图和所述第三投影直方图确定所述第一图像和所述第二图像之间的偏移量;或者根据所述第二投影直方图和第四投影直方图确定所述第一图像和所述第二图像之间的偏移量;
根据所述第一图像和所述第二图像之间的偏移量确定所述第一摄像单元和所述第二摄像单元是否正常;或者根据所述第一图像和所述第二图像之间的偏移量和所述第一图像和所述第二图像之间的相似度的组合确定所述第一摄像单元和所述第二摄像单元是否正常。
13.如权利要求12所述的装置,其特征在于,所述装置还包括处理单元,用于在确定所述第一摄像单元和所述第二摄像单元正常时,将所述第一摄像单元和所述第二摄像单元在同一采集时刻采集的有重叠采集区域的两个采集区域的两帧图像合成高动态范围HDR图像。
14.如权利要求12或13所述的装置,其特征在于,所述确定单元具体用于:获得所述第一图像和所述第二图像之间的偏移量;将所述第一图像按照所述偏移量进行偏移;将偏移后的所述第一图像和所述第二图像分别划分为n*m的块区域;其中,n和m均为大于1的正整数;确定偏移后的所述第一图像和所述第二图像上对应位置上的块区域相互不匹配的情况;基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常。
15.如权利要求14所述的装置,其特征在于,所述确定单元还用于:获得所述第一图像和所述第二图像之间的相似度;基于所述相互不匹配的情况和所述相似度确定所述第一摄像单元和所述第二摄像单元是否正常。
16.如权利要求15所述的装置,其特征在于,所述确定单元具体用于:获得所述第一图像和所述第二图像之间的图像均值之差和所述第一图像和所述第二图像之间的图像方差之差的组合或之一作为所述相似度;
当所述图像均值之差大于第一阈值和所述图像方差之差大于第二阈值的组合或之一时,且所述对应位置上的块区域相互不匹配的比例大于第一门限时,确定所述第一摄像单元和所述第二摄像单元中的至少一个摄像单元的镜头被遮挡。
17.如权利要求14所述的装置,其特征在于,所述确定单元具体用于:基于所述相互不匹配的情况和所述偏移量确定所述第一摄像单元和所述第二摄像单元是否正常。
18.如权利要求17所述的装置,其特征在于,所述确定单元具体用于:当所述偏移量大于第二门限,且相互不匹配的比例小于第三门限时,确定所述第一摄像单元和所述第二摄像单元之间的相对位置关系异常。
19.如权利要求14所述的装置,其特征在于,所述确定单元还用于:计算所述第一图像和所述第二图像之间的相似度;基于所述相似度、所述偏移量和所述不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常。
20.如权利要求14所述的装置,其特征在于,所述确定单元具体用于:当连续多次不匹配的块区域的位置相同时,确定所述第一摄像单元和所述第二摄像单元中的至少一个摄像单元的镜头有脏污区域。
21.如权利要求12-13、15-20任一项所述的装置,其特征在于,所述确定单元还用于:在所述根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常之前,确定所述第一摄像单元和所述第二摄像单元所处的当前场景为HDR场景。
22.如权利要求13所述的装置,其特征在于,所述确定单元还用于:在确定所述第一摄像单元和所述第二摄像单元正常时,分别计算所述第一图像和所述第二图像中每个物体的深度信息;确定深度信息大于阈值的物体的数量超过预定值。
23.一种电子设备,其特征在于,包括:
第一摄像单元,用于采集第一采集区域的图像获得第一图像;
第二摄像单元,用于在与采集所述第一图像的同一采集时刻采集第二采集区域的图像获得第二图像;其中,所述第一摄像单元和第二摄像单元的参数相同,所述第一采集区域和所述第二采集区域之间有重叠采集区域;
处理器,用于根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常;
所述处理器具体用于:获得所述第一图像的垂直方向上的第一投影直方图和水平方向上的第二投影直方图;获得第二图像的垂直方向上的第三投影直方图和水平方向上的第四投影直方图;
根据所述第一投影直方图和所述第三投影直方图确定所述第一图像和所述第二图像之间的偏移量;或者根据所述第二投影直方图和第四投影直方图确定所述第一图像和所述第二图像之间的偏移量;
根据所述第一图像和所述第二图像之间的偏移量确定所述第一摄像单元和所述第二摄像单元是否正常;或者根据所述第一图像和所述第二图像之间的偏移量和所述第一图像和所述第二图像之间的相似度的组合确定所述第一摄像单元和所述第二摄像单元是否正常。
24.如权利要求23所述的电子设备,其特征在于,所述处理器还用于:在确定所述第一摄像单元和所述第二摄像单元正常时,将所述第一摄像单元和所述第二摄像单元在同一采集时刻采集的有重叠采集区域的两个采集区域的两帧图像合成高动态范围HDR图像。
25.如权利要求23或24所述的电子设备,其特征在于,所述处理器具体用于:获得所述第一图像和所述第二图像之间的偏移量;将所述第一图像按照所述偏移量进行偏移;将偏移后的所述第一图像和所述第二图像分别划分为n*m的块区域;其中,n和m均为大于1的正整数;确定偏移后的所述第一图像和所述第二图像上对应位置上的块区域相互不匹配的情况;基于所述相互不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常。
26.如权利要求25所述的电子设备,其特征在于,所述处理器还用于:获得所述第一图像和所述第二图像之间的相似度;基于所述相互不匹配的情况和所述相似度确定所述第一摄像单元和所述第二摄像单元是否正常。
27.如权利要求26所述的电子设备,其特征在于,所述处理器具体用于:获得所述第一图像和所述第二图像之间的图像均值之差和所述第一图像和所述第二图像之间的图像方差之差的组合或之一作为所述相似度;
当所述图像均值之差大于第一阈值和所述图像方差之差大于第二阈值的组合或之一时,且所述对应位置上的块区域相互不匹配的比例大于第一门限时,确定所述第一摄像单元和所述第二摄像单元中的至少一个摄像单元的镜头被遮挡。
28.如权利要求25所述的电子设备,其特征在于,所述处理器具体用于:基于所述相互不匹配的情况和所述偏移量确定所述第一摄像单元和所述第二摄像单元是否正常。
29.如权利要求28所述的电子设备,其特征在于,所述处理器具体用于:当所述偏移量大于第二门限,且相互不匹配的比例小于第三门限时,确定所述第一摄像单元和所述第二摄像单元之间的相对位置关系异常。
30.如权利要求25所述的电子设备,其特征在于,所述处理器还用于:计算所述第一图像和所述第二图像之间的相似度;基于所述相似度、所述偏移量和所述不匹配的情况确定所述第一摄像单元和所述第二摄像单元是否正常。
31.如权利要求25所述的电子设备,其特征在于,所述处理器具体用于:当连续多次不匹配的块区域的位置相同时,确定所述第一摄像单元和所述第二摄像单元中的至少一个摄像单元的镜头有脏污区域。
32.如权利要求23-24、26-31任一项所述的电子设备,其特征在于,所述处理器还用于:在所述根据所述第一图像和所述第二图像确定所述第一摄像单元和所述第二摄像单元是否正常之前,确定所述第一摄像单元和所述第二摄像单元所处的当前场景为HDR场景。
33.如权利要求24所述的电子设备,其特征在于,所述处理器还用于:在确定所述第一摄像单元和所述第二摄像单元正常时,分别计算所述第一图像和所述第二图像中每个物体的深度信息;确定深度信息大于阈值的物体的数量超过预定值。
CN201480040022.9A 2014-08-29 2014-08-29 一种图像处理方法、装置及电子设备 Active CN105637852B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/085608 WO2016029465A1 (zh) 2014-08-29 2014-08-29 一种图像处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN105637852A CN105637852A (zh) 2016-06-01
CN105637852B true CN105637852B (zh) 2019-03-01

Family

ID=55398671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480040022.9A Active CN105637852B (zh) 2014-08-29 2014-08-29 一种图像处理方法、装置及电子设备

Country Status (5)

Country Link
US (1) US10908492B2 (zh)
EP (1) EP3188468B1 (zh)
KR (1) KR101991754B1 (zh)
CN (1) CN105637852B (zh)
WO (1) WO2016029465A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
KR102338576B1 (ko) * 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
CN109151336B (zh) * 2018-10-15 2020-11-13 长沙智能驾驶研究院有限公司 摄像头的同步方法、装置、***、存储介质及计算机设备
CN109934262B (zh) * 2019-01-31 2023-08-22 平安科技(深圳)有限公司 图片差异性判断方法、装置、计算机设备和存储介质
CN111080571B (zh) * 2019-11-15 2023-10-20 北京迈格威科技有限公司 摄像头遮挡状态检测方法、装置、终端和存储介质
CN111757097B (zh) * 2020-06-29 2022-03-25 歌尔光学科技有限公司 检测方法、检测装置及计算机可读存储介质
CN112351271A (zh) * 2020-09-22 2021-02-09 北京迈格威科技有限公司 一种摄像头的遮挡检测方法、装置、存储介质和电子设备
CN113542587B (zh) * 2021-05-25 2023-04-18 浙江大华技术股份有限公司 图像抓拍方法、装置、电子设备、计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102036013A (zh) * 2009-10-02 2011-04-27 三洋电机株式会社 摄像装置
CN102156380A (zh) * 2010-02-04 2011-08-17 卡西欧计算机株式会社 摄像装置以及警告方法
CN103081483A (zh) * 2010-09-08 2013-05-01 日本电气株式会社 摄影设备和摄影方法
CN103685951A (zh) * 2013-12-06 2014-03-26 华为终端有限公司 一种图像处理方法、装置及终端

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5027817A (en) * 1989-06-22 1991-07-02 New York University Statistical based display for positron emission tomography scans
CA2236268A1 (en) * 1995-11-30 1997-06-05 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
JP2004040712A (ja) * 2002-07-08 2004-02-05 Minolta Co Ltd 撮像装置
JP2010114760A (ja) * 2008-11-07 2010-05-20 Fujifilm Corp 撮影装置、指がかり通知方法およびプログラム
JP2010154311A (ja) * 2008-12-25 2010-07-08 Fujifilm Corp 複眼撮像装置及び立体画像取得方法
JP2012023546A (ja) 2010-07-14 2012-02-02 Jvc Kenwood Corp 制御装置、立体映像撮像装置、および制御方法
CN101997981B (zh) 2010-11-01 2013-08-14 惠州Tcl移动通信有限公司 一种基于手机摄像头的宽容度实现方法及手机
US9210322B2 (en) * 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
KR101824439B1 (ko) * 2011-02-16 2018-02-02 주식회사 스테레오피아 모바일 스테레오 카메라 장치 및 그 촬영방법
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
EP2667354B1 (en) * 2012-05-24 2015-07-08 Thomson Licensing Method and apparatus for analyzing stereoscopic or multi-view images
US10091419B2 (en) * 2013-06-14 2018-10-02 Qualcomm Incorporated Computer vision application processing
KR102356448B1 (ko) * 2014-05-05 2022-01-27 삼성전자주식회사 이미지 합성 방법 및 그 전자 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102036013A (zh) * 2009-10-02 2011-04-27 三洋电机株式会社 摄像装置
CN102156380A (zh) * 2010-02-04 2011-08-17 卡西欧计算机株式会社 摄像装置以及警告方法
CN103081483A (zh) * 2010-09-08 2013-05-01 日本电气株式会社 摄影设备和摄影方法
CN103685951A (zh) * 2013-12-06 2014-03-26 华为终端有限公司 一种图像处理方法、装置及终端

Also Published As

Publication number Publication date
EP3188468A1 (en) 2017-07-05
WO2016029465A1 (zh) 2016-03-03
EP3188468A4 (en) 2017-08-16
KR20170045314A (ko) 2017-04-26
KR101991754B1 (ko) 2019-09-30
US20180231885A1 (en) 2018-08-16
US10908492B2 (en) 2021-02-02
CN105637852A (zh) 2016-06-01
EP3188468B1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
CN105637852B (zh) 一种图像处理方法、装置及电子设备
CA2969482C (en) Method and apparatus for multiple technology depth map acquisition and fusion
US9628695B2 (en) Method and system of lens shift correction for a camera array
EP3190781B1 (en) Autofocus method, device and electronic apparatus
JP2011244046A (ja) 撮像装置、画像処理方法、及びプログラム記憶媒体
US11375097B2 (en) Lens control method and apparatus and terminal
CN108541374A (zh) 一种图像融合方法、装置及终端设备
CN103763483A (zh) 一种移动终端拍照防抖方法、装置以及移动终端
CN102404495B (zh) 数字相机的拍摄参数的调整方法
TWI709110B (zh) 攝像頭校準方法和裝置、電子設備
US11019325B2 (en) Image processing method, computer device and readable storage medium
CN106303267B (zh) 图像采集设备和方法
EP3796634A1 (en) Image acquisition method and device, image capture device, computer apparatus, and readable storage medium
US9837051B2 (en) Electronic device and method for adjusting images presented by electronic device
US20170155889A1 (en) Image capturing device, depth information generation method and auto-calibration method thereof
US20160073089A1 (en) Method for generating 3d image and electronic apparatus using the same
US10965877B2 (en) Image generating method and electronic apparatus
US10147169B2 (en) Image processing device and program
CN105488845B (zh) 产生三维图像的方法及其电子装置
WO2022161011A1 (zh) 生成图像的方法和电子设备
US8761516B2 (en) Method and system for detecting the open or closed state of the eyes of a face
JPWO2015141185A1 (ja) 撮像制御装置、撮像制御方法およびプログラム
US20140016013A1 (en) Image capture method
CN108431867B (zh) 一种数据处理方法及终端
CN114841863A (zh) 一种图像颜色校正方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant