CN108989606B - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

图像处理方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN108989606B
CN108989606B CN201810961959.XA CN201810961959A CN108989606B CN 108989606 B CN108989606 B CN 108989606B CN 201810961959 A CN201810961959 A CN 201810961959A CN 108989606 B CN108989606 B CN 108989606B
Authority
CN
China
Prior art keywords
image
images
target
acquired
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810961959.XA
Other languages
English (en)
Other versions
CN108989606A (zh
Inventor
陈岩
方攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810961959.XA priority Critical patent/CN108989606B/zh
Publication of CN108989606A publication Critical patent/CN108989606A/zh
Priority to PCT/CN2019/100388 priority patent/WO2020038255A1/en
Priority to EP19192224.4A priority patent/EP3614659B1/en
Priority to US16/546,874 priority patent/US11196919B2/en
Application granted granted Critical
Publication of CN108989606B publication Critical patent/CN108989606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法和装置、电子设备、计算机可读存储介质，所述方法包括：获取第一摄像头采集的第一图像，并生成所述第一图像对应的第一时间戳，所述第一时间戳用于表示采集所述第一图像的时刻；获取第二摄像头采集的至少两张第二图像，并生成所述至少两张第二图像对应的第二时间戳，所述第二时间戳用于表示采集所述第二图像的时刻；当所述第一时间戳与所述第二时间戳之间的时间间隔小于第一间隔阈值时，对所述第一图像和至少两张第二图像进行处理。上述图像处理方法和装置、电子设备、计算机可读存储介质，提高了图像处理的准确性。

Description

图像处理方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。
背景技术
智能设备在对物体进行拍摄的时候，不仅能够采集物体的色彩信息，还能够采集物体的深度信息，通过深度信息可以对图像的色彩信息进行更精确地处理。例如，可以根据深度信息识别图像中的近景和远景，从而对近景和远景的色彩进行不同的处理；还可以根据深度信息判断识别到的人脸是否为活体，从而对活体人脸进行美颜处理等。通过图像处理的方法采集深度信息的方法有多种，例如双目测距法、结构光法、飞行时间法等。
发明内容
本申请实施例提供一种图像处理方法和装置、电子设备、计算机可读存储介质，可以提高图像处理的准确性。
一种图像处理方法，包括：
获取第一摄像头采集的第一图像，并生成所述第一图像对应的第一时间戳，所述第一时间戳用于表示采集所述第一图像的时刻；
获取第二摄像头采集的至少两张第二图像，并生成所述至少两张第二图像对应的第二时间戳，所述第二时间戳用于表示采集所述第二图像的时刻；
当所述第一时间戳与所述第二时间戳之间的时间间隔小于第一间隔阈值时，对所述第一图像和至少两张第二图像进行处理。
一种图像处理装置，包括：
第一图像采集模块，用于获取第一摄像头采集的第一图像，并生成所述第一图像对应的第一时间戳，所述第一时间戳用于表示采集所述第一图像的时刻；
第二图像采集模块，用于获取第二摄像头采集的至少两张第二图像，并生成所述至少两张第二图像对应的第二时间戳，所述第二时间戳用于表示采集所述第二图像的时刻；
图像处理模块，用于当所述第一时间戳与所述第二时间戳之间的时间间隔小于第一间隔阈值时，对所述第一图像和至少两张第二图像进行处理。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取第一摄像头采集的第一图像，并生成所述第一图像对应的第一时间戳，所述第一时间戳用于表示采集所述第一图像的时刻；
获取第二摄像头采集的至少两张第二图像，并生成所述至少两张第二图像对应的第二时间戳，所述第二时间戳用于表示采集所述第二图像的时刻；
当所述第一时间戳与所述第二时间戳之间的时间间隔小于第一间隔阈值时，对所述第一图像和至少两张第二图像进行处理。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取第一摄像头采集的第一图像，并生成所述第一图像对应的第一时间戳，所述第一时间戳用于表示采集所述第一图像的时刻；
获取第二摄像头采集的至少两张第二图像，并生成所述至少两张第二图像对应的第二时间戳，所述第二时间戳用于表示采集所述第二图像的时刻；
当所述第一时间戳与所述第二时间戳之间的时间间隔小于第一间隔阈值时，对所述第一图像和至少两张第二图像进行处理。
上述图像处理方法和装置、电子设备、计算机可读存储介质，在第一摄像头采集到第一图像之后，生成第一图像对应的第一时间戳。第二摄像头采集到第二图像之后，生成第二图像对应的第二时间戳。在将第一图像和第二图像进行处理之前，判断第一时间戳和第二时间戳之间的时间间隔。当第一时间戳与第二时间戳之间的时间间隔小于第一间隔阈值时，将第一图像和第二图像进行处理。这样可以保证采集的第一图像和第二图像是对应的，避免在时间相差较大的情况下采集图像而导致的误差，提高了图像处理的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程图；
图3为另一个实施例中图像处理方法的流程图；
图4为一个实施例中TOF计算深度信息的原理图；
图5为又一个实施例中图像处理方法的流程图；
图6为又一个实施例中图像处理方法的流程图；
图7为一个实施例中图像处理流程的示意图；
图8为一个实施例中实现图像处理方法的软件框架图；
图9为一个实施例中实现图像处理方法的示意图；
图10为一个实施例中图像处理装置的结构图；
图11为另一个实施例中图像处理装置的结构图；
图12为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一摄像头称为第二摄像头，且类似地，可将第二摄像头称为第一摄像头。第一摄像头和第二摄像头两者都是客户端，但其不是同一客户端。
图1为一个实施例中图像处理方法的应用环境图。如图1所示，电子设备10上可安装两个摄像头，包括第一摄像头102和第二摄像头104。具体的，电子设备可以通过第一摄像头102和第二摄像头104进行拍摄，首先获取第一摄像头102采集的第一图像，并对第一图像赋予对应的第一时间戳，第一时间戳用于表示采集第一图像的时刻。然后获取第二摄像头104采集的至少两张第二图像，并对至少两张第二图像赋予对应的第二时间戳，第二时间戳用于表示采集第二图像的时刻。当第一时间戳与第二时间戳之间的时间间隔小于第一间隔阈值时，对第一图像和至少两张第二图像进行处理。获取第一摄像头102在曝光时段内根据第一帧率采集的第一图像，并获取第二摄像头104在曝光时段内根据第二帧率采集的至少两张第二图像，其中，第一帧率小于第二帧率。然后，根据第一图像生成第一目标图像，并根据第二图像生成第二目标图像，第二目标图像用于表示第一目标图像对应的深度信息；根据第一目标图像和第二目标图像进行处理。可以理解的是，上述电子设备10可以是手机、电脑、可穿戴设备等，在此不做限定。
图2为一个实施例中图像处理方法的流程图。如图2所示，该图像处理方法包括步骤202至步骤206。其中：
步骤202，获取第一摄像头采集的第一图像，并对第一图像赋予对应的第一时间戳，第一时间戳用于表示采集第一图像的时刻。
电子设备上可以安装摄像头，并通过安装的摄像头获取图像。摄像头可以根据获取的图像的不同分为激光摄像头、可见光摄像头等类型，激光摄像头可以获取激光照射到物体上所形成的图像，可见光图像可以获取可见光照射到物体上所形成的图像。电子设备上可以安装若干个摄像头，且安装的位置不做限定。
例如，可以在电子设备的正面面板上安装一个摄像头，在背面面板上安装两个摄像头，摄像头还可以以内嵌的方式安装于电子设备的内部，然后通过旋转或滑动的方式打开摄像头。具体地，电子设备上可安装前置摄像头和后置摄像头，前置摄像头和后置摄像头可以从不同的视角获取图像，一般前置摄像头可以从电子设备的正面视角获取图像，后置摄像头可以从电子设备的背面视角获取图像。
在本申请实施例中，电子设备至少安装两个摄像头，分别为第一摄像头和第二摄像头，第一摄像头和第二摄像头可以针对同一场景同时采集图像。当第一摄像头采集到第一图像之后，可以生成第一图像对应的第一时间戳。生成的第一时间戳可以与第一图像对应存储，根据第一时间戳可获取采集第一图像的时刻。例如，当第一摄像头采集到第一图像时，电子设备读取当前时刻，并根据当前时刻生成第一时间戳。
步骤204，获取第二摄像头采集的至少两张第二图像，并对至少两张第二图像赋予对应的第二时间戳，第二时间戳用于表示采集第二图像的时刻。
第二摄像头可以采集至少两张第二图像，采集至少两张第二图像可以合成一张图像，并对合成的一张图像进行处理。例如，可以采集三张第二图像，然后将三张第二图像合成最后的一张图像，也可以采集四张第二图像，然后将四张第二图像合成最后的一张图像。
采集到第二图像之后，可以生成第二时间戳，并将第二时间戳与第二图像对应地进行存储。可以理解的是，第二摄像头采集的第二图像是一帧一帧生成的，那么在采集第二图像的过程中，电子设备可读取每次采集到一帧第二图像的时刻。可以根据采集其中任意一张第二图像的时刻生成第二时间戳，例如将采集第一张第二图像的时刻生成第二时间戳。也可以求采集所有第二图像的时刻的平均值，根据得到的平均值生成第二时间戳，在此不做限定。
步骤206，当第一时间戳与第二时间戳之间的时间间隔小于第一间隔阈值时，对第一图像和至少两张第二图像进行处理。
可以理解的是，第一摄像头和第二摄像头可以是针对同一场景进行拍摄的，所以拍摄得到的第一图像和第二图像是对应的。由于在获取第一图像和第二图像的过程中，电子设备可能会产生抖动的情况，所以为了保证第一图像和第二图像是对应的，需要同时采集第一图像和第二图像。当第一时间戳与第二时间戳之间的时间间隔小于第一间隔阈值时，认为第一图像和第二图像是针对同一场景获取的，则可以根据第一图像和第二图像进行处理；当第一时间戳与第二时间戳之间的时间间隔大于第一间隔阈值时，则认为第一图像和第二图像不是针对同一场景获取的，可以直接将获取的第一图像和第二图像丢弃。
获取到第一图像和第二图像之后，对第一图像和第二图像的处理在此不做限定。例如，第一图像和第二图像可以是RAW格式的图像，可以将RAW格式的第一图像转化为RGB格式的图像，将RAW格式的第二图像转化为Depth格式的图像。然后将转化后的第一图像和第二图像发送给应用程序进行三维建模、美颜等处理。
上述实施例提供的图像处理方法，在第一摄像头采集到第一图像之后，生成第一图像对应的第一时间戳。第二摄像头采集到第二图像之后，生成第二图像对应的第二时间戳。在将第一图像和第二图像进行处理之前，判断第一时间戳和第二时间戳之间的时间间隔。当第一时间戳与第二时间戳之间的时间间隔小于第一间隔阈值时，将第一图像和第二图像进行处理。这样可以保证采集的第一图像和第二图像是对应的，避免在时间相差较大的情况下采集图像而导致的误差，提高了图像处理的准确性。
图3为另一个实施例中图像处理方法的流程图。如图3所示，该图像处理方法包括步骤302至步骤316。其中：
步骤302，获取第一摄像头采集的第一图像，并生成第一图像对应的第一时间戳，第一时间戳用于表示采集第一图像的时刻。
在一个实施例中，电子设备中可安装应用程序(Application，APP)，应用程序可以发起触发摄像头采集图像的图像采集指令。例如，用户需要拍照的时候，会打开相机APP，然后通过按下相机APP的“拍照”按钮发起图像采集指令，当电子设备检测到图像采集指令时，获取摄像头采集的图像。具体的，当检测到图像采集指令时，执行步骤302。
步骤304，获取第二摄像头采集的至少两张第二图像，并生成至少两张第二图像对应的第二时间戳，第二时间戳用于表示采集第二图像的时刻。
在一个实施例中，为了保证采集的图像的一致性，不仅要保证第一摄像头和第二摄像头采集的是同一拍摄场景的图像，还要保证第二摄像头采集的多张第二图像是同一场景的图像。所以，第二摄像头在采集多张第二图像时，电子设备可以控制第二摄像头采集的任意两张第二图像的采集时刻之间的时间间隔小于第二间隔阈值。其中，第二间隔阈值是一个比较小的值，第一间隔阈值和第二间隔阈值可以相同，也可以不同，在此不做限定。
第二摄像头在采集的第二图像包括至少两张，例如，可以采集四张第二图像、八张第二图像、九张第二图像等。第二摄像头在每生成一帧第二图像时，电子设备都会读取生成该第二图像的时刻，然后根据读取的第二图像的时刻生成对应的第二时间戳。具体的，可以获取至少两张第二图像中任意一张第二图像的采集时刻，作为至少两张第二图像对应的第二时间戳；或获取各个第二图像对应的采集时刻的平均值，作为至少两张第二图像对应的第二时间戳。
举例来说，第二摄像头获取的五张第二图像，采集时刻用“分：秒：毫秒”表示分别为“14:25:256”→“14:25:364”→“14:25:485”→“14:25:569”→“14:25:691”，则第二时间戳可以是根据获取的第一张第二图像的采集时刻即“14:25:256”生成的，也可以是根据第三章第二图像的采集时刻即“14:25:485”生成的，还可以是根据获取的五张第二图像的采集时刻的平均值即“14:25:473”生成的，在此不做限定。
在一个实施例中，第一摄像头和第二摄像头由于在电子设备上安装的位置不同，因此获取的第一图像和第二图像可能会产生一定的视差。因此在获取到第一图像和第二图像之后，可以将获取的第一图像和第二图像进行对齐处理，使得获取的第一图像和第二图像是相对应的，即对应于同一个场景。
步骤306，获取电子设备在采集第一图像和第二图像时的目标抖动数据。
抖动数据可以通过陀螺仪、加速度传感器、霍尔传感器等一种或多种传感器读取的数据，在此不做限定。具体的，陀螺仪可以检测电子设备转动的角速度，霍尔传感器可以检测电子设备倾斜角度、位移、角速度等物理量，加速度传感器可以检测电子设备运动时的加速度，根据上述传感器获取的数据就可以判断电子设备的抖动情况。
需要说明的是，第一摄像头和第二摄像头都安装于电子设备，在采集第一图像和第二图像的过程中，可以获取可表示电子设备抖动情况的目标抖动数据。例如，可以在开始采集图像的时候读取一次抖动数据，或者在采集完图像的时候读取一次抖动数据，也可以采集多次抖动数据然后求取平均值。
具体的，获取目标抖动数据的步骤包括：在采集第一图像和第二图像的过程中每间隔预设时长获取一次抖动数据，然后对获取的抖动数据求平均值得到目标抖动数据。采集第一图像和第二图像的过程是指在检测到首次采集第一图像或第二图像时开始，到完成所有第一图像和第二图像的采集时结束的过程。例如，在采集第一图像和第二图像的过程中每间隔100毫秒读取一次电子设备的抖动数据，然后对读取的抖动数据求取平均值，得到目标抖动数据。
步骤308，当目标抖动数据小于抖动阈值时，从预先建立的抖动数据与第一间隔阈值的对应关系中查找目标抖动数据对应的第一间隔阈值。
若在采集第一图像和第二图像的过程中，电子设备产生了抖动，则说明采集的第一图像和第二图像产生误差的可能性越大。获取电子设备的目标抖动数据，将目标抖动数据与抖动阈值进行比较，当目标抖动数据大于抖动阈值时，认为电子设备采集的第一图像和第二图像的误差比较大，可以直接将采集的第一图像和第二图像丢弃；当目标抖动数据小于抖动阈值时，认为电子设备采集的第一图像和第二图像的误差比较小，则可以进一步根据采集时刻判断第一图像和第二图像是否可用，可根据目标抖动数据获取对应的第一间隔阈值。
步骤310，将第一图像发送到第一缓冲器中，并将至少两张第二图像发送到第二缓冲器中。
第一摄像头连接第一缓冲器(Buffer)，第二摄像头连接第二缓冲器。第一摄像头采集到第一图像之后，将第一图像发送到第一缓冲器。第二摄像头采集到第二图像之后，会将采集的第二图像发送到第二缓冲器中。可以理解的是，将第一图像和第二图像存储在缓冲器中，当第一图像和第二图像都采集完成之后，再从缓冲器中读取第一图像和第二图像，这样可以实现第一图像和第二图像的同步。
具体的，将至少两张第二图像发送到第二缓冲器之前，可以将第二图像进行打包处理，这样可以保证获取的至少两张第二图像可以作为一个整体进行传输，在传输过程中不会存在丢帧的情况。
步骤312，当第一时间戳与第二时间戳之间的时间间隔小于第一间隔阈值时，读取第一缓冲器中的第一图像，将第一图像进行第一格式转换生成第一目标图像。
具体的，获取第一图像对应的第一时间戳和第二图像对应的第二时间戳之间的时间间隔，当得到的时间间隔小于第一间隔阈值时，可从第一缓冲器中读取第一图像，并从第二缓冲器中读取第二图像，然后根据读取的第一图像和第二图像进行处理。
可以理解的是，摄像头是由光学元件和图像传感器构成的，光学元件用于收集光线。图像传感器包括色彩滤镜阵列(如Bayer滤镜)，可以用于将光学元件收集的光线的光强度和波长信息转化为电信号，然后生成一张原始图像。第一图像就是第一摄像头采集得到的原始图像，将第一原始进行第一格式转换，就可以生成第一目标图像。
在本申请提供的实施例中，第一摄像头可以是可见光摄像头，第二摄像头可以是激光摄像头，第二摄像头对应的有激光发射器。激光发射器可以发射激光波，激光波经过物体反射后通过第二摄像头采集得到第二图像，通过采集得到的第二图像可以计算得到物体的深度信息。第一图像可以是RAW格式的图像，第一目标图像可以是YUV格式的图像，将RAW格式的第一图像进行第一格式转换，就可得到YUV格式的第一目标图像。
步骤314，读取第二缓冲器中的第二图像，将至少两张第二图像进行第二格式转换生成第二目标图像，第二目标图像用于表示第一目标图像对应的深度信息。
第二摄像头采集的第二图像也是原始图像，需要经过一定的格式转换之后，才能得到最后最终的目标图像。具体的，第二摄像头可以为激光摄像头，电子设备还可以安装一个激光发射器，激光发射器以一定的频率发射激光波，通过第二摄像头采集激光波经过物体反射后所形成的图像，然后通过计算激光波的飞行时间(Time of Flight，TOF)，就可以计算出物体到第二摄像头的距离。
在一个实施例中，可以控制激光发射器发射激光波；控制第二摄像头的至少两个快门进行开关，然后获取快门开启时上述激光波反射生成的至少两张第二图像。第二摄像头可以通过不同的快门来采集不同的第二图像，采集的第二图像也可以是RAW格式的图像，第二目标图像可以是Depth格式的图像，将RAW格式的第二图像进行第二格式转换，就可得到Depth格式的第二目标图像。
图4为一个实施例中TOF计算深度信息的原理图。如图4所示，激光发射器可以发射一个激光波，发射的激光波经过物体反射之后会形成一个反射的激光波，根据发射的激光波和接收的激光波的相位差就可以计算得到物体的深度信息。激光摄像头实际采集图像时，可以控制不同快门在不同的时间进行开关，然后形成不同的接收信号，从而通过多个快门开关采集不同的图像来计算得到深度图像。在一个实施例中，假设激光摄像头是通过四个快门来控制接收激光波信号的，快门1、快门2、快门3、快门4接收到的激光波信号分别为Q1、Q2、Q3、Q4，则计算深度信息的公式如下：
Figure BDA0001774011510000121
其中，C为光速，f为激光波的发射频率。上述公式即可将四张第二图像进行第二格式转换，生成对应的Depth格式的第二目标图像。可以理解的是，获取的第二图像的图像数量不同时，对应的将第二图像进行第二格式转换的公式也可能不同。具体的，可以根据第二图像的图像数量获取对应的第二格式转换公式，根据第二格式转换公式将第二图像进行第二格式转换。
步骤316，对第一目标图像和第二目标图像进行处理。
具体的，第一摄像头和第二摄像头是针对同一场景进行拍摄的，所以拍摄得到的第一图像和第二图像是对应的，得到的第一目标图像和第二目标图像也是对应的。例如，第一目标图像为YUV图像，第二目标图像是Depth图像，那么第一目标图像就可以表示拍摄场景的色彩信息，第二目标图像就可以表示拍摄场景对应的深度信息。
得到第一目标图像和第二目标图像之后，可以对第一目标图像和第二目标图像进行处理，具体的处理方式不限。例如，可以根据第一目标图像进行人脸识别处理，并根据第二目标图像对第一目标图像中识别到的人脸进行三维建模，得到人脸的三维模型。还可以根据第二目标图像中的深度信息，对第一目标图像中的人脸进行美颜处理。
在一个实施例中，将第二图像发送给第二缓冲器的步骤具体包括：
步骤502，获取每一张第二图像对应的标志信息，标志信息用于表示采集第二图像的先后顺序。
第二摄像头采集的第二图像至少有两张，所以第二摄像头采集第二图像之后，会对每一张第二图像都生成一个对应的标志信息，通过该标志信息来标记图像采集的先后顺序。具体的，该标志信息可以但不限于是第二图像的采集时刻、第二图像相位等。第二图像的采集时刻用于表示采集第二图像时的时刻，根据该采集时刻可以判断采集第二图像的时间先后顺序。第二图像相位可以表示采集的每一帧第二图像的先后顺序。例如，可以根据采集时刻的先后顺序将第二图像通过序列号标记为“01”、“02”、“03”、“04”。
步骤504，根据标志信息判断采集的第二图像是否丢失，若否，则将第二图像及对应的标志信息进行打包。
根据上述标志信息可以判断采集的第二图像是否有丢失，若丢失，则当前采集的第二图像可以丢弃；若没有丢失，则将第二图像及对应的标志信息进行打包处理。例如，采集得到的第二图像的序列号为“01”、“03”、“04”，则说明中间有一张序列号为“02”的第二图像丢失了。
步骤506，将打包后的第二图像发送到第二缓冲器中。
打包后的第二图像是作为一个整体进行传输的，所以在传输过程中不会存在丢失一帧或几帧的情况。只会存在全部第二图像都存在，或全部第二图像都丢弃的情况。将第二图像和标志信息打包之后，可以将打包后的第二图像发动到第二缓冲器中。具体的，根据标志信息可判断采集第二图像的先后顺序，然后根据采集第二图像的先后顺序将第二图像进行打包。
在一个实施例中，对第一目标图像和第二目标图像进行处理的步骤具体包括：
步骤602，识别第一目标图像中的目标物体，根据第二目标图像获取目标物体对应的目标深度信息。
获取到第一目标图像和第二目标图像之后，可以将第一目标图像和第二目标图像进行打包处理，然后将第一目标图像和第二目标图像发送给应用程序，防止图像数据的丢失。例如，第一目标图像为RGB(Red Green Blue，红绿蓝)图像，第二目标图像为Depth图像，则可以将第一目标图像和第二目标图像打包成RGBD图像，然后发送给应用程序。
应用程序接收到第一目标图像和第二目标图像之后，可以识别第一目标图像中的目标物体。第二目标图像可以表示第一目标图像对应的深度信息，因此可以根据第二目标图像获取第一目标图像中的目标物体所对应的目标深度信息。具体的，识别得到的第一目标图像中的目标物体是由若干个像素点所组成的目标区域，根据该目标区域可以定位到第二目标图像中对应的目标深度区域，根据该目标深度区域可以获取目标区域中每一个像素点对应的深度信息。
在本申请提供的实施例中，识别目标物体的方法在此不进行限定。例如，目标物体可以是人脸，则可以通过人脸检测算法识别第一目标图像中的人脸。目标物体还可以是建筑物、植物、动物等，可以通过人工智能的方式来识别。
步骤604，根据目标深度信息对目标物体进行处理。
获取到目标物体对应的目标深度信息之后，可以根据目标深度信息对目标物体进行处理。例如，可以根据目标深度信息对目标物体进行三维建模，还可以根据目标深度信息对目标物体进行美化处理等，具体的处理方式在此不做限定。
如图7所示，第一摄像头可以采集第一图像702，第二摄像头可以采集至少两张第二图像722。第一图像702对应的第一时间戳为T1，第二图像722对应的第二时间戳为T2，第一时间戳T1与第二时间戳T2之间的时间间隔为ΔT。当时间间隔ΔT小于第一间隔阈值时，可以根据第一图像702计算得到第一目标图像704，并根据第二图像722计算得到第二目标图像724。最后再根据得到的第一目标图像704和第二目标图像724进行处理。
上述实施例提供的图像处理方法，在第一摄像头采集到第一图像之后，生成第一图像对应的第一时间戳。第二摄像头采集到第二图像之后，生成第二图像对应的第二时间戳。在将第一图像和第二图像进行处理之前，判断第一时间戳和第二时间戳之间的时间间隔，并根据目标抖动数据获取第一间隔阈值。当第一时间戳与第二时间戳之间的时间间隔小于第一间隔阈值时，将第一图像和第二图像进行处理。这样可以保证采集的第一图像和第二图像是对应的，避免在时间相差较大的情况下采集图像而导致的误差，提高了图像处理的准确性。
应该理解的是，虽然图2、图3、图5、图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图3、图5、图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图8为一个实施例中实现图像处理方法的软件框架图。如图8所示，该软件框架中包括应用层80、硬件抽象层(Hardware Abstraction Layer，HAL)82、内核(Kernel)层84和硬件(Hardware)层86。其中，应用层80中包括应用程序802。硬件抽象层82中包括接口822、图像同步模块824、图像算法模块826以及应用算法模块828。内核层84中包括摄像头驱动842、摄像头标定模块844和摄像头同步图模块846。硬件层862中包括第一摄像头862、第二摄像头864和图像处理器(Image Signal Processor,ISP)866。
在一个实施例中，应用程序802可用于发起图像采集指令，然后将图像采集指令发送到接口822。接口822对图像采集指令解析之后，可以通过摄像头驱动842对摄像头的配置参数，然后将配置参数发送给图像处理器866，并通过图像处理器866控制第一摄像头862和第二摄像头864打开。第一摄像头862和第二摄像头864打开之后，可通过摄像头同步模块846控制第一摄像头862和第二摄像头864同步采集图像。第一摄像头862采集的第一图像和第二摄像头864采集的第二图像会发送给图像处理器866，然后通过图像处理器866将第一图像和第二图像发送给摄像头标定模块844。摄像头标定模块844会将第一图像和第二图像进行对齐处理，然后将对齐后的第一图像和第二图像发送到硬件抽象层82。硬件抽象层82中的图像同步模块824会获取第一图像的第一时间戳，以及第二图像的第二时间戳，然后根据第一时间戳和第二时间戳判断第一图像和第二图像是否同时获取的。第一时间戳和第二时间戳之间的时间间隔小于第一间隔阈值，则判定第一图像和第二图像是同时获取的，才会通过图像算法模块826根据第一图像计算得到第一目标图像，并根据第二图像计算得到第二目标图像。第一目标图像和第二目标图像会通过应用算法模块828进行打包等处理，然后将打包等处理后的第一目标图像和第二目标图像通过接口822发送给应用程序802，应用程序802获取到第一目标图像和第二目标图像后，可以根据第一目标图像和第二目标图像进行三维建模、美颜、增强现实(Augmented Reality，AR)等处理。
图9为一个实施例中实现图像处理方法的示意图。如图9所示，第一摄像头和第二摄像头在采集图像的过程中需要进行摄像头同步处理，第一摄像头采集的第一图像可与对应的第一时间戳发送到第一缓冲器，第二摄像头采集的第二图像可以与对应的标志信息进行打包，并将打包后的第二图像和标志信息与对应的第二时间戳发送给第二缓冲器。当第一时间戳与第二时间戳之间的时间间隔小于第一间隔阈值时，读取第一缓冲器中的第一图像，并将第一图像进行第一格式转换之后得到第一目标图像，将第一目标图像发送给第三缓冲器中；读取第二缓冲器中的第二图像及对应的标志信息，然后根据标志信息将第二图像进行第二格式转换后得到第二目标图像，并将第二目标图像发送到第四缓冲器。第一目标图像和第二目标图像在发送给应用程序之前，可以进行打包处理，然后将打包后的第一目标图像和第二目标图像发送到第五缓冲器中。应用程序可以从第五缓冲器中读取打包后的第一目标图像和第二目标图像，并根据读取的第一目标图像和第二目标图像进行后续处理。
图10为一个实施例中图像处理装置的结构图。如图10所示，该图像处理装置1000包括第一图像采集模块1002、第二图像采集模块1004和图像处理模块1006。其中：
第一图像采集模块1002，用于获取第一摄像头采集的第一图像，并生成所述第一图像对应的第一时间戳，所述第一时间戳用于表示采集所述第一图像的时刻。
第二图像采集模块1004，用于获取第二摄像头采集的至少两张第二图像，并生成所述至少两张第二图像对应的第二时间戳，所述第二时间戳用于表示采集所述第二图像的时刻。
图像处理模块1006，用于当所述第一时间戳与所述第二时间戳之间的时间间隔小于第一间隔阈值时，对所述第一图像和至少两张第二图像进行处理。
上述图像处理装置，在第一摄像头采集到第一图像之后，生成第一图像对应的第一时间戳。第二摄像头采集到第二图像之后，生成第二图像对应的第二时间戳。在将第一图像和第二图像进行处理之前，判断第一时间戳和第二时间戳之间的时间间隔。当第一时间戳与第二时间戳之间的时间间隔小于第一间隔阈值时，将第一图像和第二图像进行处理。这样可以保证采集的第一图像和第二图像是对应的，避免在时间相差较大的情况下采集图像而导致的误差，提高了图像处理的准确性。
图11为另一个实施例中图像处理装置的结构图。如图11所示，该图像处理装置1100包括第一图像采集模块1102、第二图像采集模块1104和图像处理模块1106。其中：
第一图像采集模块1102，用于获取第一摄像头采集的第一图像，并生成所述第一图像对应的第一时间戳，所述第一时间戳用于表示采集所述第一图像的时刻。
第二图像采集模块1104，用于获取第二摄像头采集的至少两张第二图像，并生成所述至少两张第二图像对应的第二时间戳，所述第二时间戳用于表示采集所述第二图像的时刻。
阈值获取模块1106，用于获取所述电子设备在采集所述第一图像和第二图像时的目标抖动数据；当所述目标抖动数据小于抖动阈值时，从预先建立的抖动数据与第一间隔阈值的对应关系中查找所述目标抖动数据对应的第一间隔阈值。
图像处理模块1108，用于当所述第一时间戳与所述第二时间戳之间的时间间隔小于第一间隔阈值时，对所述第一图像和至少两张第二图像进行处理。
上述图像处理装置，当第一时间戳与第二时间戳之间的时间间隔小于第一间隔阈值时，将第一图像和第二图像进行处理。这样可以保证采集的第一图像和第二图像是对应的，避免在时间相差较大的情况下采集图像而导致的误差，提高了图像处理的准确性。同时，可根据电子设备的抖动情况来调节第一间隔阈值，可以保证所获取图像的精确性，进一步提高了图像处理的准确性。
在一个实施例中，采集的任意两张第二图像的采集时刻之间的时间间隔小于第二间隔阈值；第二图像采集模块1104还用于获取所述至少两张第二图像中任意一张第二图像的采集时刻，作为所述至少两张第二图像对应的第二时间戳；或获取各个第二图像对应的采集时刻的平均值，作为所述至少两张第二图像对应的第二时间戳。
在一个实施例中，阈值获取模块1106还用于在采集所述第一图像和第二图像的过程中每间隔预设时长获取一次抖动数据；对获取的抖动数据求平均值得到目标抖动数据。
在一个实施例中，图像处理模块1108还用于将所述第一图像发送到第一缓冲器中，并将所述至少两张第二图像发送到第二缓冲器中；当所述第一时间戳与所述第二时间戳之间的时间间隔小于第一间隔阈值时，读取所述第一缓冲器中的第一图像，将所述第一图像进行第一格式转换生成第一目标图像；读取所述第二缓冲器中的第二图像，将所述至少两张第二图像进行第二格式转换生成第二目标图像，所述第二目标图像用于表示所述第一目标图像对应的深度信息；对所述第一目标图像和第二目标图像进行处理。
在一个实施例中，图像处理模块1108还用于获取每一张第二图像对应的标志信息，所述标志信息用于表示采集所述第二图像的先后顺序；根据所述标志信息判断采集的第二图像是否丢失，若否，则将所述第二图像及对应的标志信息进行打包；将打包后的第二图像发送到第二缓冲器中。
在一个实施例中，图像处理模块1108还用于识别所述第一目标图像中的目标物体，根据所述第二目标图像获取所述目标物体对应的目标深度信息；根据所述目标深度信息对所述目标物体进行处理。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图12为一个实施例中图像处理电路的示意图。如图12所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图12所示，图像处理电路包括第一ISP处理器1230、第二ISP处理器1240和控制逻辑器1250。第一摄像头1210包括一个或多个第一透镜1212和第一图像传感器1214。第一图像传感器1214可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器1214可获取用第一图像传感器1214的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器1230处理的一组图像数据。第二摄像头1220包括一个或多个第二透镜1222和第二图像传感器1224。第二图像传感器1224可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器1224可获取用第二图像传感器1224的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器1240处理的一组图像数据。
第一摄像头1210采集的第一图像传输给第一ISP处理器1230进行处理，第一ISP处理器1230处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1250，控制逻辑器1250可根据统计数据确定第一摄像头1210的控制参数，从而第一摄像头1210可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器1230进行处理后可存储至图像存储器1260中，第一ISP处理器1230也可以读取图像存储器1260中存储的图像以对进行处理。另外，第一图像经过ISP处理器1230进行处理后可直接发送至显示器1270进行显示，显示器1270也可以读取图像存储器1260中的图像以进行显示。
其中，第一ISP处理器1230按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器1230可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
图像存储器1260可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自第一图像传感器1214接口时，第一ISP处理器1230可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1260，以便在被显示之前进行另外的处理。第一ISP处理器1230从图像存储器1260接收处理数据，并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器1230处理后的图像数据可输出给显示器1270，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器1230的输出还可发送给图像存储器1260，且显示器1270可从图像存储器1260读取图像数据。在一个实施例中，图像存储器1260可被配置为实现一个或多个帧缓冲器。
第一ISP处理器1230确定的统计数据可发送给控制逻辑器1250。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜1212阴影校正等第一图像传感器1214统计信息。控制逻辑器1250可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头1210的控制参数及第一ISP处理器1230的控制参数。例如，第一摄像头1210的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜1212控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜1212阴影校正参数。
同样地，第二摄像头1220采集的第二图像传输给第二ISP处理器1240进行处理，第二ISP处理器1240处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1250，控制逻辑器1250可根据统计数据确定第二摄像头1220的控制参数，从而第二摄像头1220可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器1240进行处理后可存储至图像存储器1260中，第二ISP处理器1240也可以读取图像存储器1260中存储的图像以对进行处理。另外，第二图像经过ISP处理器1240进行处理后可直接发送至显示器1270进行显示，显示器1270也可以读取图像存储器1260中的图像以进行显示。第二摄像头1220和第二ISP处理器1240也可以实现如第一摄像头1210和第一ISP处理器1230所描述的处理过程。
以下为运用图12中图像处理技术实现图像处理方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取第一摄像头采集的第一图像，并生成所述第一图像对应的第一时间戳，所述第一时间戳用于表示采集所述第一图像的时刻；
获取第二摄像头采集的至少两张第二图像，其中采集的任意两张第二图像的采集时刻之间的时间间隔小于第二间隔阈值，所述至少两张第二图像用于合成一张图像；获取所述至少两张第二图像中任意一张第二图像的采集时刻，作为所述至少两张第二图像对应的第二时间戳；或，获取各个第二图像对应的采集时刻的平均值，作为所述至少两张第二图像对应的第二时间戳；
当所述第一时间戳与所述第二时间戳之间的时间间隔小于第一间隔阈值时，对所述第一图像和至少两张第二图像进行处理。
2.根据权利要求1所述的方法，其特征在于，所述第一摄像头和第二摄像头安装于电子设备；所述方法还包括：
获取所述电子设备在采集所述第一图像和第二图像时的目标抖动数据；
当所述目标抖动数据小于抖动阈值时，从预先建立的抖动数据与第一间隔阈值的对应关系中查找所述目标抖动数据对应的第一间隔阈值。
3.根据权利要求2所述的方法，其特征在于，所述获取所述电子设备在采集所述第一图像和第二图像时的目标抖动数据，包括：
在采集所述第一图像和第二图像的过程中每间隔预设时长获取一次抖动数据；
对获取的抖动数据求平均值得到目标抖动数据。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述当所述第一时间戳与所述第二时间戳之间的时间间隔小于第一间隔阈值时，根据所述第一图像和所述至少两张第二图像进行处理之前，还包括：
将所述第一图像发送到第一缓冲器中，并将所述至少两张第二图像发送到第二缓冲器中；
所述当所述第一时间戳与所述第二时间戳之间的时间间隔小于第一间隔阈值时，对所述第一图像和所述至少两张第二图像进行处理，包括：
当所述第一时间戳与所述第二时间戳之间的时间间隔小于第一间隔阈值时，读取所述第一缓冲器中的第一图像，将所述第一图像进行第一格式转换生成第一目标图像；
读取所述第二缓冲器中的第二图像，将所述至少两张第二图像进行第二格式转换生成第二目标图像，所述第二目标图像用于表示所述第一目标图像对应的深度信息；
对所述第一目标图像和第二目标图像进行处理。
5.根据权利要求4所述的方法，其特征在于，所述将所述至少两张第二图像发送到第二缓冲器中，包括：
获取每一张第二图像对应的标志信息，所述标志信息用于表示采集所述第二图像的先后顺序；
根据所述标志信息判断采集的第二图像是否丢失，若否，则将所述第二图像及对应的标志信息进行打包；
将打包后的第二图像发送到第二缓冲器中。
6.根据权利要求4所述的方法，其特征在于，所述对所述第一目标图像和第二目标图像进行处理，包括：
识别所述第一目标图像中的目标物体，根据所述第二目标图像获取所述目标物体对应的目标深度信息；
根据所述目标深度信息对所述目标物体进行处理。
7.一种图像处理装置，其特征在于，包括：
第一图像采集模块，用于获取第一摄像头采集的第一图像，并生成所述第一图像对应的第一时间戳，所述第一时间戳用于表示采集所述第一图像的时刻；
第二图像采集模块，用于获取第二摄像头采集的至少两张第二图像，其中采集的任意两张第二图像的采集时刻之间的时间间隔小于第二间隔阈值，所述至少两张第二图像用于合成一张图像；获取所述至少两张第二图像中任意一张第二图像的采集时刻，作为所述至少两张第二图像对应的第二时间戳；或，获取各个第二图像对应的采集时刻的平均值，作为所述至少两张第二图像对应的第二时间戳；
图像处理模块，用于当所述第一时间戳与所述第二时间戳之间的时间间隔小于第一间隔阈值时，对所述第一图像和至少两张第二图像进行处理。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
阈值获取模块，用于获取电子设备在采集所述第一图像和第二图像时的目标抖动数据；当所述目标抖动数据小于抖动阈值时，从预先建立的抖动数据与第一间隔阈值的对应关系中查找所述目标抖动数据对应的第一间隔阈值。
9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
CN201810961959.XA 2018-08-22 2018-08-22 图像处理方法和装置、电子设备、计算机可读存储介质 Active CN108989606B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810961959.XA CN108989606B (zh) 2018-08-22 2018-08-22 图像处理方法和装置、电子设备、计算机可读存储介质
PCT/CN2019/100388 WO2020038255A1 (en) 2018-08-22 2019-08-13 Image processing method, electronic apparatus, and computer-readable storage medium
EP19192224.4A EP3614659B1 (en) 2018-08-22 2019-08-19 Image processing method, electronic apparatus, and computer-readable storage medium
US16/546,874 US11196919B2 (en) 2018-08-22 2019-08-21 Image processing method, electronic apparatus, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810961959.XA CN108989606B (zh) 2018-08-22 2018-08-22 图像处理方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108989606A CN108989606A (zh) 2018-12-11
CN108989606B true CN108989606B (zh) 2021-02-09

Family

ID=64547417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810961959.XA Active CN108989606B (zh) 2018-08-22 2018-08-22 图像处理方法和装置、电子设备、计算机可读存储介质

Country Status (4)

Country Link
US (1) US11196919B2 (zh)
EP (1) EP3614659B1 (zh)
CN (1) CN108989606B (zh)
WO (1) WO2020038255A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989606B (zh) 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109803087B (zh) * 2018-12-17 2021-03-16 维沃移动通信有限公司 一种图像生成方法及终端设备
US11090561B2 (en) * 2019-02-15 2021-08-17 Microsoft Technology Licensing, Llc Aligning location for a shared augmented reality experience
KR20220050130A (ko) * 2019-08-20 2022-04-22 주식회사 소니 인터랙티브 엔터테인먼트 화상 처리 장치, 촬상 장치, 시스템, 화상 처리 방법 및 프로그램
CN112751983B (zh) * 2021-04-02 2021-06-18 湖北亿咖通科技有限公司 图像时间同步方法、装置、电子设备及存储介质
CN113179370B (zh) * 2021-04-21 2023-04-28 深圳传音控股股份有限公司 拍摄方法、移动终端及可读存储介质
CN116156081A (zh) * 2021-11-22 2023-05-23 哲库科技(上海)有限公司 一种图像处理方法及装置、存储介质
CN114979485B (zh) * 2022-05-25 2024-05-07 江苏集萃智能光电***研究所有限公司 一种分布式多目相机触发数不一致纠偏方法
US11818329B1 (en) * 2022-09-21 2023-11-14 Ghost Autonomy Inc. Synchronizing stereoscopic cameras using padding data setting modification
CN115883815A (zh) * 2022-10-28 2023-03-31 珠海视熙科技有限公司 一种图像数据输出的方法、装置、下位机及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959941A (zh) * 2010-07-02 2013-03-06 索尼电脑娱乐公司 信息处理***、信息处理装置及信息处理方法
CN103530599A (zh) * 2013-04-17 2014-01-22 Tcl集团股份有限公司 一种真实人脸和图片人脸的区别方法和***
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
CN104811684A (zh) * 2015-04-02 2015-07-29 广东欧珀移动通信有限公司 一种图像的三维美颜方法及装置
CN106161943A (zh) * 2016-07-29 2016-11-23 维沃移动通信有限公司 一种录像方法和移动终端
CN107124604A (zh) * 2017-06-29 2017-09-01 诚迈科技（南京）股份有限公司 一种利用双摄像头实现三维图像的方法及装置
CN107404362A (zh) * 2017-09-15 2017-11-28 青岛海信移动通信技术股份有限公司 一种双摄像头数据帧的同步方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019931A1 (en) * 2005-07-19 2007-01-25 Texas Instruments Incorporated Systems and methods for re-synchronizing video and audio data
CN102934422B (zh) * 2010-06-07 2015-05-27 奥林巴斯医疗株式会社 信号处理装置和静止图像生成方法
US20140111638A1 (en) * 2012-10-24 2014-04-24 Abbyy Software Ltd. Capturing Images after Sufficient Stabilization of a Device
JP6327245B2 (ja) * 2013-03-29 2018-05-23 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
US9807408B2 (en) * 2014-08-27 2017-10-31 Clearone Communications Hong Kong Ltd. Control mechanism for video output
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US9578311B2 (en) 2014-10-22 2017-02-21 Microsoft Technology Licensing, Llc Time of flight depth camera
JP2016197795A (ja) * 2015-04-03 2016-11-24 日立オートモティブシステムズ株式会社 撮像装置
US9456195B1 (en) * 2015-10-08 2016-09-27 Dual Aperture International Co. Ltd. Application programming interface for multi-aperture imaging systems
US10270933B2 (en) * 2016-03-15 2019-04-23 Gopro, Inc. Multi-camera system content capture and management
US10306254B2 (en) * 2017-01-17 2019-05-28 Seiko Epson Corporation Encoding free view point data in movie data container
US10412286B2 (en) * 2017-03-31 2019-09-10 Westboro Photonics Inc. Multicamera imaging system and method for measuring illumination
JP6545229B2 (ja) * 2017-08-23 2019-07-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
CN108989606B (zh) * 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959941A (zh) * 2010-07-02 2013-03-06 索尼电脑娱乐公司 信息处理***、信息处理装置及信息处理方法
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
CN103530599A (zh) * 2013-04-17 2014-01-22 Tcl集团股份有限公司 一种真实人脸和图片人脸的区别方法和***
CN104811684A (zh) * 2015-04-02 2015-07-29 广东欧珀移动通信有限公司 一种图像的三维美颜方法及装置
CN106161943A (zh) * 2016-07-29 2016-11-23 维沃移动通信有限公司 一种录像方法和移动终端
CN107124604A (zh) * 2017-06-29 2017-09-01 诚迈科技（南京）股份有限公司 一种利用双摄像头实现三维图像的方法及装置
CN107404362A (zh) * 2017-09-15 2017-11-28 青岛海信移动通信技术股份有限公司 一种双摄像头数据帧的同步方法及装置

Also Published As

Publication number Publication date
US20200068123A1 (en) 2020-02-27
EP3614659B1 (en) 2024-05-01
EP3614659A1 (en) 2020-02-26
WO2020038255A1 (en) 2020-02-27
CN108989606A (zh) 2018-12-11
US11196919B2 (en) 2021-12-07

Similar Documents

Publication Publication Date Title
CN108989606B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108965732B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109040591B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109118581B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107948519B (zh) 图像处理方法、装置及设备
CN109767467B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109151303B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110248111B (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN109190533B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110290323B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107872631B (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
CN109146906B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108924426B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109712192A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
JP2020528702A (ja) 画像処理方法および装置
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109963080B (zh) 图像采集方法、装置、电子设备和计算机存储介质
CN111246100A (zh) 防抖参数的标定方法、装置和电子设备
CN108322648B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20200045246A1 (en) Image processing method, electronic device, and computer-readable storage medium
CN109120846B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109582811B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109191396B (zh) 人像处理方法和装置、电子设备、计算机可读存储介质
CN113301240B (zh) 控制拍照的方法和装置、电子设备、计算机可读存储介质
JP2010130313A (ja) 撮像装置及びそれにおける露出補正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40001464

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant