CN108541374A - 一种图像融合方法、装置及终端设备 - Google Patents

一种图像融合方法、装置及终端设备 Download PDF

Info

Publication number
CN108541374A
CN108541374A CN201580085496.XA CN201580085496A CN108541374A CN 108541374 A CN108541374 A CN 108541374A CN 201580085496 A CN201580085496 A CN 201580085496A CN 108541374 A CN108541374 A CN 108541374A
Authority
CN
China
Prior art keywords
image
reference picture
images
frame
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580085496.XA
Other languages
English (en)
Other versions
CN108541374B (zh
Inventor
朱聪超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108541374A publication Critical patent/CN108541374A/zh
Application granted granted Critical
Publication of CN108541374B publication Critical patent/CN108541374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像融合方法、装置及终端设备，所述方法应用于终端设备，终端设备配置有第一摄像头和第二摄像头，所述方法包括：通过第一摄像头采集至少两帧相同曝光时间的第一图像，并通过第二摄像头采集至少两帧不同曝光时间的第二图像，第一图像的采集时间和第二图像的采集时间相同；在至少两帧第一图像中确定第一参考图像；根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，以获取至少两帧第一图像中除第一参考图像以外的其他图像对于第一参考图像的局部运动量；根据局部运动量，对第二图像进行图像融合。采用本发明实施例，可提高运动目标检测的准确性，改善鬼影现象，图像融合的精准度较高。

Description

一种图像融合方法、装置及终端设备 技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像融合方法、装置及终端设备。
背景技术
高动态范围(High Dynamic Range，HDR)图像是对不同曝光时间的低动态范围(Low Dynamic Range，LDR)图像进行融合得到的，可以提供较多的动态范围和图像细节，能够更好地反映真实环境中的视觉效果。由于HDR技术需要采集不同曝光时间的LDR图像，如果在采集LDR图像的过程中发生手抖，或者场景中的物体发生运动等等，则LDR图像融合得到的HDR图像将会出现鬼影现象。
传统的图像融合方法中，通过摄像头连续采集至少两帧图像，对采集到的图像进行图像配准和去鬼影算法，得到处理后的图像，以降低手抖或者场景运动对图像融合的影响，并通过图像融合算法对处理后的图像进行融合得到HDR图像。由于通过摄像头连续采集至少两帧图像时存在曝光差异，导致运动目标检测不准确，图像融合的精准度较低。
发明内容
本申请提供一种数据传输方法、装置及终端设备，可提高运动目标检测的准确性，改善鬼影现象，图像融合的精准度较高。
第一方面提供了一种图像融合方法，所述方法应用于终端设备，终端设备配置有第一摄像头和第二摄像头，所述方法包括：
通过第一摄像头采集至少两帧相同曝光时间的第一图像，并通过第二摄像头采集至少两帧不同曝光时间的第二图像，第一图像的采集时间和第二图像的采集时间相同；
在至少两帧第一图像中确定第一参考图像；
根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，以获取至少两帧第一图像中除第一参考图像以外的其他图像对于第一参考图像的局部运动量，局部运动量用于指示运动目标检测所检测到的运动目标所占用的像素的数量信息；
根据局部运动量，对第二图像进行图像融合。
在该技术方案中，终端设备可以通过第一摄像头和第二摄像头同步采集至少两帧图像，第一摄像头采集到的至少两帧第一图像的曝光时间相同，终端设备对第一图像进行运动目标检测，可提高运动目标检测的准确性，进而终端设备根据第一摄像头采集到的第一图像，对第二摄像头采集到的第二图像进行图像融合，可改善鬼影现象，图像融合的精准度较高。
在第一种可能的实现方式中，终端设备可以判断局部运动量是否大于或者等于第一预设阈值，当局部运动量大于或者等于第一预设阈值时，输出至少两帧第二图像中曝光时间为第一预设时间值的图像。
在该技术方案中，当局部运动量大于或者等于第一预设阈值时，终端设备可以确定第一参考图像相对第一图像中除第一参考图像以外的其他图像的运动幅度较大，为了避免出现鬼影现象，终端设备可以直接输出曝光时间为第一预设时间值的第二图像。
结合第一方面可能的实现方式，在第二种可能的实现方式中，当局部运动量小于第二预设阈值时，终端设备可以在至少两帧第二图像中确定第二参考图像，根据第二参考图像，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像，通过图像融合算法，对第二参考图像和配准后的第二图像进行图像融合。
在该技术方案中，当局部运动量小于第二预设阈值时，终端设备可以确定第一参考图像相对第一图像中除第一参考图像以外的其他图像的运动幅度忽略不计，终端设备可以直接对第二参考图像和配准后的第二图像进行图像融合，同时不影响图像融合的精准度。
结合第一方面可能的实现方式，在第三种可能的实现方式中，当局部运动量大于或者等于第二预设阈值且小于第一预设阈值时，终端设备可以在至少两帧第二图像中确定第二参考图像，根据第二参考图像，对至少两帧第二图 像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像，根据第二参考图像，对配准后的第二图像进行运动补偿，得到运动补偿后的第二图像，通过图像融合算法，对第二参考图像和运动补偿后的第二图像进行图像融合。
在该技术方案中，当局部运动量大于或者等于第二预设阈值且小于第一预设阈值时，终端设备可以确定第一参考图像相对第一图像中除第一参考图像以外的其他图像的运动幅度较小，终端设备可以根据第二参考图像，对配准后的第二图像进行运动补偿，得到运动补偿后的第二图像，通过图像融合算法，对第二参考图像和运动补偿后的第二图像进行图像融合，以提高图像融合的精准度。
结合第一方面、第一方面的第一种至第三种中任一种可能的实现方式，在第四种可能的实现方式中，终端设备可以根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，生成至少两帧第一图像中除第一参考图像以外的其他图像相对第一参考图像的运动补偿矩阵，根据该运动补偿矩阵，对至少两帧第一图像中除第一参考图像以外的其他图像进行图像配准，得到配准后的第一图像，获取配准后的第一图像对于第一参考图像的局部运动量。
结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，终端设备根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，生成至少两帧第一图像中除第一参考图像以外的其他图像相对第一参考图像的运动补偿矩阵之后，在根据第二参考图像，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准的过程中，可以根据上述运动补偿矩阵，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像。
需要说明的是，第一图像的采集时间和第二图像的采集时间相同，则至少两帧第一图像中除第一参考图像以外的其他图像相对第一参考图像的运动幅度，和至少两帧第二图像中除第二参考图像以外的其他图像相对第二参考图像的运动幅度是相同的，终端设备可以将根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，生成的至少两帧第一 图像中除第一参考图像以外的其他图像相对第一参考图像的运动补偿矩阵作为至少两帧第二图像中除第二参考图像以外的其他图像的运动补偿矩阵，根据该运动补偿矩阵，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，可提高图像处理效率，提升资源利用率。
第二方面提供了一种计算机存储介质，其中，所述计算机存储介质可存储有程序，该程序执行时包括第一方面的部分或全部步骤。
第三方面提供一种图像融合装置，所述装置可以包括图像采集单元、参考图像确定单元、运动量获取单元以及图像融合单元，所述装置可以用于实施结合第一方面的部分或全部步骤。
第四方面提供了一种终端设备，包括处理器、第一摄像头、第二摄像头以及存储器，其中，存储器中存储一组程序代码，且处理器、第一摄像头以及第二摄像头调用存储器中存储的程序代码，用于执行以下操作：
第一摄像头采集至少两帧相同曝光时间的第一图像。第二摄像头采集至少两帧不同曝光时间的第二图像，第一图像的采集时间和第二图像的采集时间相同。处理器在至少两帧第一图像中确定第一参考图像，处理器根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，以获取至少两帧第一图像中除第一参考图像以外的其他图像对于第一参考图像的局部运动量，处理器根据局部运动量，对第二图像进行图像融合。其中，局部运动量用于指示运动目标检测所检测到的运动目标所占用的像素的数量信息。
在第一种可能的实现方式中，处理器根据局部运动量，对第二图像进行图像融合，具体包括：当局部运动量大于或者等于第一预设阈值时，处理器输出至少两帧第二图像中曝光时间为第一预设时间值的图像。
结合第四方面可能的实现方式，在第二种可能的实现方式中，处理器根据局部运动量，对第二图像进行图像融合，具体包括：当局部运动量小于第二预设阈值时，处理器在至少两帧第二图像中确定第二参考图像，处理器根据第二 参考图像，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像，处理器通过图像融合算法，对第二参考图像和配准后的第二图像进行图像融合。
结合第四方面可能的实现方式，在第三种可能的实现方式中，处理器根据局部运动量，对第二图像进行图像融合，具体包括：当局部运动量大于或者等于第二预设阈值且小于第一预设阈值时，处理器在至少两帧第二图像中确定第二参考图像，处理器根据第二参考图像，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像，处理器根据第二参考图像，对配准后的第二图像进行运动补偿，得到运动补偿后的第二图像，处理器通过图像融合算法，对第二参考图像和运动补偿后的第二图像进行图像融合。
结合第四方面或者第四方面的第一种至第三种中任一种可能的实现方式，在第四种可能的实现方式中，处理器根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，以获取至少两帧第一图像中除第一参考图像以外的其他图像对于第一参考图像的局部运动量，具体包括：处理器根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，生成至少两帧第一图像中除第一参考图像以外的其他图像相对第一参考图像的运动补偿矩阵，处理器根据运动补偿矩阵，对至少两帧第一图像中除第一参考图像以外的其他图像进行图像配准，得到配准后的第一图像，处理器获取配准后的第一图像对于第一参考图像的局部运动量。
结合第四方面的第四种可能的实现方式，在第五种可能的实现方式中，处理器根据第二参考图像，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像，具体包括：处理器根据运动补偿矩阵，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中提供的一种图像融合方法的流程示意图；
图2A是本发明实施例中提供的一种摄像头的结构示意图；
图2B是本发明实施例中提供的一种第一图像的界面示意图；
图2C是本发明实施例中提供的一种第二图像的界面示意图；
图3是本发明实施例中提供的一种图像融合装置的结构示意图；
图4是本发明实施例中提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述。
请参见图1，图1是本发明实施例中提供的一种图像融合方法的流程示意图，如图所示本发明实施例中的图像融合方法至少可以包括：
S101，通过第一摄像头采集至少两帧相同曝光时间的第一图像，并通过第二摄像头采集至少两帧不同曝光时间的第二图像，第一图像的采集时间和第二图像的采集时间相同。
终端设备配置有第一摄像头和第二摄像头，以图2A所示的摄像头的结构示意图为例，第一摄像头和第二摄像头相互独立，第一摄像头和第二摄像头可以集成在终端设备的同一侧，以使二者有尽可能相同的取景范围。终端设备可以通过图像信号处理器(image signal processor，ISP)控制第一摄像头和第二摄像头同步采集至少两帧图像，则第一摄像头采集第一图像的采集时间和第二摄像头采集第二图像的采集时间相同。例如，终端设备可以为双摄像头智能手机，该双摄像头智能手机中的两个摄像头可以同时拍摄同一画面，当第一摄像头采集到的第一图像包括第一帧第一图像和第二帧第一图像，且第二摄像头采集到的第二图像包括第二帧第一图像和第二帧第二图像时，第一帧第一图像和第一帧第二图像的采集时间相同，第二帧第一图像和第二帧第二图像的采集时 间相同，且第一帧第一图像和第一帧第二图像包含同一画面，第二帧第一图像和第二帧第二图像包含同一画面，则第一帧第一图像相对第二帧第一图像的局部运动量和第一帧第二图像相对第二帧第二图像的局部运动量是相同的。
其中，第一摄像头采集的第一图像的曝光时间相同，第二摄像头采集的第二图像的曝光时间不相同。例如，通过第一摄像头采集曝光时间为第一预设时间值的第一帧第一图像和第二帧第一图像，并通过第二摄像头采集曝光时间为第一预设时间值的第一帧第二图像和曝光时间为第二预设时间值的第二帧第二图像，其中第一帧第一图像的采集时间和第一帧第二图像的采集时间相同，第二帧第一图像的采集时间和第二帧第二图像的采集时间相同。其中，第一预设时间值可以是在当前拍摄环境下，自动曝光装置(Auto Exposure，AE)计算得到的正常曝光时间，例如光圈为F8时，快门速度为1/125秒，则第一预设时间值为1/125秒；光圈为F5.6时，快门速度为1/250秒，则第一预设时间为1/250秒。第二预设时间值可以大于或者小于第一预设时间值，例如1/120秒，或者1/200秒等。
其中，第一图像可以是黑白图像或者彩色图像，第二图像可以是黑白图像或者彩色图像，具体不受本发明实施例的限制。
以图2B所示的第一图像的界面示意图为例，终端设备可以通过第一摄像头采集三帧第一图像，其中M1为第一帧第一图像，M2为第二帧第一图像，M3为第三种第一图像。以图2C所示的第二图像的界面示意图为例，终端设备可以通过第二摄像头同步采集三帧第二图像，其中C1为第一帧第二图像，C2为第二帧第二图像，C3为第三帧第二图像。M1、M2以及M3的曝光时间均为第一预设时间值，C1、C2以及C3的曝光时间可以不完全相同，例如C1的曝光时间为第二预设时间值，C2的曝光时间为第一预设时间值，C3的曝光时间为第三预设时间值，第一预设时间值和第二预设时间值不相同，且第一预设时间值和第三预设时间值不相同，第二预设时间值和第三预设时间值可以相同，可选的，第二预设时间值和第三预设时间值也可以不相同。M1的采集时间和C1的采集时间相同，且M1和C1包含同一画面。M2的采集时间和C2的采集时间相同，且M2和C2包含同一画面。M3的采集时间和C3的采集时间相同，且M3和C3包含同一画面。
S102，在至少两帧第一图像中确定第一参考图像。
终端设备可以在至少两帧第一图像中确定第一参考图像。具体实现中，终端设备可以将与曝光时间为第一预设时间值的第二图像的采集时间相同的第一图像确定为第一参考图像。例如，曝光时间为第一预设时间值的第二图像为C1，和C1的采集时间相同的第一图像为M1，终端设备可以将M1作为第一参考图像。
S103，根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，以获取至少两帧第一图像中除第一参考图像以外的其他图像对于第一参考图像的局部运动量。
终端设备可以根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，以获取至少两帧第一图像中除第一参考图像以外的其他图像对于第一参考图像的局部运动量。
例如，终端设备可以根据M2分别对M1和M3进行运动目标检测，以获取M1对于M2的局部运动量，以及M3对于M2的局部运动量。具体的，终端设备可以根据M2对M1进行运动目标检测，生成M1相对M2的运动补偿矩阵H1，根据H1对M1进行图像配准，生成配准后的第一图像M1′，获取M1′对于M2的局部运动量T1。终端设备还可以根据M2对M3进行运动目标检测，生成M3相对M2的运动补偿矩阵H2，根据H2对M3进行图像配准，生成配准后的第一图像M3′，获取M3′对于M2的局部运动量T2。终端设备可以在T1和T2中获取最小局部运动变量，将最小局部运动变量作为至少两帧第一图像中除第一参考图像以外的其他图像对于第一参考图像的局部运动量。
其中，运动目标检测方法可以包括帧间差分法、光流法或者背景差法等。帧间差分法是一种通过对相邻两帧图像作差分运算来获得运动目标轮廓的方法，当拍摄场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，通过判断相邻两帧图像的差值是否大于阈值的方式分析图像序列的运动特性，确定图像序列中有无物体运动。光流是一种简单实用的图像运动的表达方式，定义为一个图像序列中的图像亮度模式的表观运动，即空间物体表面上的点的运动速度在视觉传感器的成像平面上的表达，通过运动目标在图像中所占据的像素点和背景像素点之间的矢量存在差异的方式检测运动目标在画面中的像 素点。背景差分法是采用图像序列中的当前帧和背景参考模型比较来检测运动物体的一种方法。示例性的，终端设备根据M2对M1进行运动目标检测，生成M1相对M2的运动补偿矩阵H1，具体可以为：通过特征提取算法分别提取M1和M2的特征点，对M1和M2的特征点进行匹配，基于匹配成功的若干对特征点，采用最小二乘法拟合出M1和M2之间的坐标变换参数，即H1。特征提取算法可以包括尺度不变特征变换(Scale-invariant feature transform，SIFT)或者加速稳健特征(Speeded Up Robust Features,SURF)等。运动补偿矩阵可以用于表征两帧图像之间的运动关系，例如M2相对M1的平移或者旋转等。
其中，图像配准(Image registration)指的是将不同时间、不同传感器(成像设备)或不同条件下(气候、照度、摄像位置或者角度等)获取的至少两帧图像进行匹配、叠加的过程。图像配准的方法可以包括基于灰度信息法、变换域法或者基于特征法等。基于灰度信息的图像配准方法根据图像本身具有的关于灰度的统计信息度量图像的相似程度，基于灰度信息的图像配准方法可以包括序贯相似度检测匹配法(Sequential Similarity Detection Algorithms，SSDA)，若在某点上计算两帧图像残差和的过程中，残差和大于固定门限，就认为当前点不是匹配点，从而终止当前的残差和的计算，转向别的点去计算残差和，最后认为残差和增长最慢的点就是匹配点。基于变换域的图像配准方法可以包括傅氏变换方法，相位相关技术依据的是傅氏变换的平移性质，两帧图像之间的区别是存在一个位移，则两帧图像的相位差就等于交叉功率谱的相位，对其进行傅立叶反变换得到脉冲函数，它在平移的位置上不为零，其他各处几乎为零，不为零的位置就是要确定的配准位置。基于特征的图像配准方法对待配准图像进行预处理，也就是图像分割和特征提取的过程，对两帧图像之间的特征进行匹配，通过特征的匹配关系建立图像之间的配准映射关系。示例性的，终端设备根据H1对M1进行图像配准，生成配准后的第一图像M1′，具体可以为：根据H1对M1进行坐标变换，得到M1′。
其中，局部运动量用于指示运动目标检测所检测到的运动目标所占用的像素的数量信息，运动目标所占用的像素的数量信息可以包括运动目标所占用的像素的个数，或者运动目标所占用的像素数占图像总像素数的比例。则终端设 备获取M1′对于M2的局部运动量T1，具体可以为：将M1′中的各个像素与M2中的对应像素进行相减，当相减得到的数值的绝对值大于预设数值时，终端设备可以确定该像素是运动目标所占用的像素。
S104，判断局部运动量是否大于或者等于第一预设阈值。
终端设备可以判断局部运动变量是否大于或者等于第一预设阈值，当局部运动变量大于或者等于第一预设阈值，终端设备可以进一步执行步骤S105；当局部运动变量小于第一预设阈值，终端设备可以进一步执行步骤S106。
S105，当局部运动量大于或者等于第一预设阈值时，输出至少两帧第二图像中曝光时间为第一预设时间值的图像。
当局部运动量大于或者等于第一预设阈值时，终端设备可以输出至少两帧第二图像中曝光时间为第一预设时间值的图像。例如，终端设备通过第二摄像头采集到的第二图像中曝光时间为第一预设时间值的图像为C2，当局部运动量大于或者等于第一预设阈值时，如果最小局部运动量为T1，终端设备可以确定M1′相对M2的运动幅度较大，为避免出现鬼影现象，终端设备可以输出C2。可选的，当局部运动量大于或者等于第一预设阈值时，如果最小局部运动量为T2，终端设备可以确定M3′相对M2的运动幅度较大，为避免出现鬼影现象，终端设备可以输出C2。
S106，当局部运动量小于第一预设阈值时，在至少两帧第二图像中确定第二参考图像。
当局部运动量小于第一预设阈值时，终端设备可以在至少两帧第二图像中确定第二参考图像。具体实现中，终端设备可以将曝光时间为第一预设时间阈值的第二图像确定为第二参考图像。例如，终端设备通过第二摄像头采集到的第二图像包括第一帧第二图像C1，第二帧第二图像C2，以及第三帧第二图像C3，其中C2的曝光时间为第一预设时间值，则终端设备可以将C2作为第二参考图像。
S107，根据第二参考图像，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像。
终端设备可以根据第二参考图像，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像。例如，终端设备可以 根据C2对C1进行图像配准，得到配准后的第二图像C1′，终端设备还可以根据C2对C3进行图像配准，得到配准后的第二图像C3′。具体的，终端设备可以根据H1对C1进行图像配准，即根据H1对C1进行坐标变换，得到C1′。终端设备还可以根据H2对C3进行图像配准，即根据H2对C3进行坐标变换，得到C3′。
S108，判断局部运动量是否小于第二预设阈值。
终端设备得到配准后的第二图像之后，可以进一步判断局部运动量是否小于第二预设阈值。当局部运动量小于第二预设阈值时，进一步执行步骤S109；当局部运动量大于或者等于第二预设阈值时，进一步执行步骤S110。例如，如果最小局部运动量为T1，终端设备可以判断T1是否小于第二预设阈值；如果最小局部运动量为T2，终端设备可以判断T2是否小于第二预设阈值。其中，第二预设阈值小于第一预设阈值，第一预设阈值和第二预设阈值为预先设定的运动量阈值，可以是用户设置的，也可以是终端设备出厂之前配置的。
S109，当局部运动量小于第二预设阈值时，通过图像融合算法，对第二参考图像和配准后的第二图像进行图像融合。
当局部运动量小于第二预设阈值时，终端设备可以通过图像融合算法，对第二参考图像和配准后的第二图像进行图像融合。其中，图像融合算法是指将多源信道所采集到的关于同一目标的图像经过图像处理，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像。图像融合算法可以包括逻辑滤波法，灰度加权平均法，小波变换法或者贝叶斯法等。例如，如果最小局部运动量为T1，当该局部运动量小于第二预设阈值时，终端设备可以确定M1′相对M2的运动幅度可以忽略不计，进而通过图像融合算法，对C2、C1′以及C3′进行图像融合，并输出图像融合后的图像。可选的，如果最小局部运动量为T2，当该局部运动量小于第二预设阈值时，终端设备可以确定M3′相对M2的运动幅度为零，进而通过图像融合算法，对C2、C1′以及C3′进行图像融合，并输出图像融合后的图像。
S110，当局部运动量大于或者等于第二预设阈值时，根据第二参考图像，对配准后的第二图像进行运动补偿，得到运动补偿后的第二图像。
当局部运动量大于或者等于第二预设阈值时，终端设备可以根据第二参考 图像，对配准后的第二图像进行运动补偿，得到运动补偿后的第二图像。例如，如果最小局部运动量为T1，当该局部运动量大于或者等于第二预设阈值时，终端设备可以确定M1′相对M2的运动幅度较小，进而根据C2对C1′进行运动补偿，得到运动补偿后的第二图像C1″，并根据C2对C3′进行运动补偿，得到运动补偿后的第二图像C3″。可选的，如果最小局部运动量为T2，当该局部运动量小于第二预设阈值时，终端设备可以确定M3′相对M2的运动幅度为零，进而根据C2对C1′进行运动补偿，得到运动补偿后的第二图像C1″，并根据C2对C3′进行运动补偿，得到运动补偿后的第二图像C3″。
其中，运动补偿是一种描述相邻两帧图像之间的差别的方法，即通过参考图像预测、补偿当前图像，运动补偿的方法可以包括全局运动补偿和分块运动补偿。终端设备根据C2对C1′进行运动补偿，得到运动补偿后的第二图像C1″，具体可以为：终端设备根据C2对C1′进行运动目标检测，对检测得到的局部运动区域进行补偿，即将C1′中的像素与C2中的对应像素进行相减，当相减得到的数值的绝对值大于预设数值时，终端设备可以确定该像素是运动的，将C1′中所有运动的像素作为局部运动区域，终端设备可以将C1′的局部运动区域调整为C2中的对应像素，以实现对C1′进行运动补偿。可选的，终端设备可以将C1′的局部运动区域的亮度调整为C2中的对应像素的亮度，以实现对C1′进行运动补偿。
S111，通过图像融合算法，对第二参考图像和运动补偿后的第二图像进行图像融合。
终端设备可以通过图像融合算法，对第二参考图像和运动补偿后的第二图像进行图像融合。例如，终端设备可以通过图像融合算法，对C2、C1″以及C3″进行图像融合，并输出图像融合后的图像。
当第二图像是黑白图像时，终端设备根据第一图像，对第二图像进行图像融合，终端设备输出的图像为图像融合后的第二图像，即黑白图像；当第二图像是彩色图像时，终端设备根据第一图像，对第二图像进行图像融合，终端设备输出的图像为图像融合后的第二图像，即彩色图像。
在图1所示的图像融合方法中，通过第一摄像头采集至少两帧相同曝光时间的第一图像，并通过第二摄像头采集至少两帧不同曝光时间的第二图像，第 一图像的采集时间和第二图像的采集时间相同，在至少两帧第一图像中确定第一参考图像，根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，以获取至少两帧第一图像中除第一参考图像以外的其他图像对于第一参考图像的局部运动量，根据局部运动量，对第二图像进行图像融合，可提高运动目标检测的准确性，改善鬼影现象，图像融合的精准度较高。
请参见图3，图3是本发明实施例中提供的一种图像融合装置的结构示意图，其中本发明实施例提供的图像融合装置可以用以实施本发明结合图1介绍的图像融合方法实施例中的部分或全部流程。如图所示本发明实施例中的图像融合装置至少可以包括图像采集单元301、参考图像确定单元302、运动量获取单元303以及图像融合单元304，其中：
图像采集单元301，用于通过第一摄像头采集至少两帧相同曝光时间的第一图像，并通过第二摄像头采集至少两帧不同曝光时间的第二图像，第一图像的采集时间和第二图像的采集时间相同。
参考图像确定单元302，用于在至少两帧第一图像中确定第一参考图像。
运动量获取单元303，用于根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，以获取至少两帧第一图像中除第一参考图像以外的其他图像对于第一参考图像的局部运动量。
图像融合单元304，用于根据局部运动量，对第二图像进行图像融合。
在可选实施例中，本发明实施例中的图像融合单元304，具体用于：
当局部运动量大于或者等于第一预设阈值时，输出至少两帧第二图像中曝光时间为第一预设时间值的图像。
在可选实施例中，本发明实施例中的图像融合单元304，具体用于：
当局部运动量小于第二预设阈值时，在至少两帧第二图像中确定第二参考图像。
根据第二参考图像，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像。
通过图像融合算法，对第二参考图像和配准后的第二图像进行图像融合。
在可选实施例中，本发明实施例中的图像融合单元304，具体用于：
当局部运动量大于或者等于第二预设阈值且小于第一预设阈值时，在至少两帧第二图像中确定第二参考图像。
根据第二参考图像，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像。
根据第二参考图像，对配准后的第二图像进行运动补偿，得到运动补偿后的第二图像。
通过图像融合算法，对第二参考图像和运动补偿后的第二图像进行图像融合。
在可选实施例中，本发明实施例中的运动量获取单元303，具体用于：
根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，生成至少两帧第一图像中除第一参考图像以外的其他图像相对第一参考图像的运动补偿矩阵。
根据至少两帧第一图像中除第一参考图像以外的其他图像相对第一参考图像的运动补偿矩阵，对至少两帧第一图像中除第一参考图像以外的其他图像进行图像配准，得到配准后的第一图像。
获取配准后的第一图像对于第一参考图像的局部运动量。
在可选实施例中，运动量获取单元303根据第二参考图像，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像，具体可以为：
根据至少两帧第一图像中除第一参考图像以外的其他图像相对第一参考图像的运动补偿矩阵，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像。
图3所示的图像融合装置中，图像采集单元301通过第一摄像头采集至少两帧相同曝光时间的第一图像，并通过第二摄像头采集至少两帧不同曝光时间的第二图像，第一图像的采集时间和第二图像的采集时间相同，参考图像确定单元302在至少两帧第一图像中确定第一参考图像，运动量获取单元303根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，以获取至少两帧第一图像中除第一参考图像以外的其他图像对于 第一参考图像的局部运动量，图像融合单元304根据局部运动量，对第二图像进行图像融合，可提高运动目标检测的准确性，改善鬼影现象，图像融合的精准度较高。
请参见图4，图4是本发明实施例中提供的一种终端设备的结构示意图。如图4所示，该终端设备可以包括：处理器401、存储器402、第一摄像头403、第二摄像头404以及输出装置405。处理器401连接到存储器402、第一摄像头403、第二摄像头404以及输出装置405，例如处理器401可以通过总线连接到存储器402、第一摄像头403、第二摄像头404以及输出装置405。
其中，处理器401可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)等。
存储器402具体可以用于存储第一图像和第二图像等。存储器402可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器也可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器还可以包括上述种类的存储器的组合。
第一摄像头403，用于采集第一图像。
第二摄像头404，用于采集第二图像。
输出装置405，用于输出图像，例如显示屏幕。
其中，处理器401、第一摄像头403以及第二摄像头404调用存储器402中存储的程序，可以执行以下操作：
第一摄像头403，用于采集至少两帧相同曝光时间的第一图像。
第二摄像头404，用于采集至少两帧不同曝光时间的第二图像，第一图像的采集时间和第二图像的采集时间相同。
处理器401，用于在至少两帧第一图像中确定第一参考图像。
处理器401，还用于根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，以获取至少两帧第一图像中除第一参考图像以外的其他图像对于第一参考图像的局部运动量。
处理器401，还用于根据局部运动量，对第二图像进行图像融合。
在可选实施例中，处理器401根据局部运动量，对第二图像进行图像融合，具体包括：
当局部运动量大于或者等于第一预设阈值时，处理器401输出至少两帧第二图像中曝光时间为第一预设时间值的图像。
在可选实施例中，处理器401根据局部运动量，对第二图像进行图像融合，具体包括：
当局部运动量小于第二预设阈值时，处理器401在至少两帧第二图像中确定第二参考图像。
处理器401根据第二参考图像，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像。
处理器401通过图像融合算法，对第二参考图像和配准后的第二图像进行图像融合。
在可选实施例中，处理器401根据局部运动量，对第二图像进行图像融合，具体包括：
当局部运动量大于或者等于第二预设阈值且小于第一预设阈值时，处理器401在至少两帧第二图像中确定第二参考图像。
处理器401根据第二参考图像，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像。
处理器401根据第二参考图像，对配准后的第二图像进行运动补偿，得到运动补偿后的第二图像。
处理器401通过图像融合算法，对第二参考图像和运动补偿后的第二图像进行图像融合。
在可选实施例中，处理器401根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，以获取至少两帧第一图像中除第一参考图像以外的其他图像对于第一参考图像的局部运动量，具体包括：
处理器401根据第一参考图像，对至少两帧第一图像中除第一参考图像以外的其他图像进行运动目标检测，生成至少两帧第一图像中除第一参考图像以外的其他图像相对第一参考图像的运动补偿矩阵。
处理器401根据运动补偿矩阵，对至少两帧第一图像中除第一参考图像以外的其他图像进行图像配准，得到配准后的第一图像。
处理器401获取配准后的第一图像对于第一参考图像的局部运动量。
在可选实施例中，处理器401根据第二参考图像，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像，具体包括：
处理器401根据运动补偿矩阵，对至少两帧第二图像中除第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像。
具体的，本发明实施例中介绍的终端设备可以用以实施本发明结合图1介绍的图像融合方法实施例中的部分或全部流程。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的程序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包括、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个 布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器，只读存储器，可擦除可编辑只读存储器，光纤装置，以及便携式光盘只读存储器。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
此外，在本发明各个实施例中的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (19)

  1. 一种图像融合方法，其特征在于，所述方法应用于终端设备，所述终端设备配置有第一摄像头和第二摄像头，所述方法包括：
    通过所述第一摄像头采集至少两帧相同曝光时间的第一图像，并通过所述第二摄像头采集至少两帧不同曝光时间的第二图像，所述第一图像的采集时间和所述第二图像的采集时间相同；
    在所述至少两帧第一图像中确定第一参考图像；
    根据所述第一参考图像，对所述至少两帧第一图像中除所述第一参考图像以外的其他图像进行运动目标检测，以获取所述至少两帧第一图像中除所述第一参考图像以外的其他图像对于所述第一参考图像的局部运动量，所述局部运动量用于指示所述运动目标检测所检测到的运动目标所占用的像素的数量信息；
    根据所述局部运动量，对所述第二图像进行图像融合。
  2. 如权利要求1所述的方法，其特征在于，所述根据所述局部运动量，对所述第二图像进行图像融合，包括：
    当所述局部运动量大于或者等于第一预设阈值时，输出所述至少两帧第二图像中曝光时间为第一预设时间值的图像。
  3. 如权利要求1所述的方法，其特征在于，所述根据所述局部运动量，对所述第二图像进行图像融合，包括：
    当所述局部运动量小于第二预设阈值时，在所述至少两帧第二图像中确定第二参考图像；
    根据所述第二参考图像，对所述至少两帧第二图像中除所述第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像；
    通过图像融合算法，对所述第二参考图像和所述配准后的第二图像进行图像融合。
  4. 如权利要求1所述的方法，其特征在于，所述根据所述局部运动量，对所述第二图像进行图像融合，包括：
    当所述局部运动量大于或者等于第二预设阈值且小于第一预设阈值时，在所述至少两帧第二图像中确定第二参考图像；
    根据所述第二参考图像，对所述至少两帧第二图像中除所述第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像；
    根据所述第二参考图像，对所述配准后的第二图像进行运动补偿，得到运动补偿后的第二图像；
    通过图像融合算法，对所述第二参考图像和所述运动补偿后的第二图像进行图像融合。
  5. 如权利要求1～4任一项所述的方法，其特征在于，所述根据所述第一参考图像，对所述至少两帧第一图像中除所述第一参考图像以外的其他图像进行运动目标检测，以获取所述至少两帧第一图像中除所述第一参考图像以外的其他图像对于所述第一参考图像的局部运动量，包括：
    根据所述第一参考图像，对所述至少两帧第一图像中除所述第一参考图像以外的其他图像进行运动目标检测，生成所述至少两帧第一图像中除所述第一参考图像以外的其他图像相对所述第一参考图像的运动补偿矩阵；
    根据所述运动补偿矩阵，对所述至少两帧第一图像中除所述第一参考图像以外的其他图像进行图像配准，得到配准后的第一图像；
    获取所述配准后的第一图像对于所述第一参考图像的局部运动量。
  6. 如权利要求5所述的方法，其特征在于，所述根据所述第二参考图像，对所述至少两帧第二图像中除所述第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像，包括：
    根据所述运动补偿矩阵，对所述至少两帧第二图像中除所述第二参考图像以外的其他图像进行图像配准，得到所述配准后的第二图像。
  7. 一种图像融合装置，其特征在于，所述装置包括：
    图像采集单元，用于通过第一摄像头采集至少两帧相同曝光时间的第一图像，并通过第二摄像头采集至少两帧不同曝光时间的第二图像，所述第一图像的采集时间和所述第二图像的采集时间相同；
    参考图像确定单元，用于在所述至少两帧第一图像中确定第一参考图像；
    运动量获取单元，用于根据所述第一参考图像，对所述至少两帧第一图像中除所述第一参考图像以外的其他图像进行运动目标检测，以获取所述至少两帧第一图像中除所述第一参考图像以外的其他图像对于所述第一参考图像的局部运动量，所述局部运动量用于指示所述运动目标检测所检测到的运动目标所占用的像素的数量信息；
    图像融合单元，用于根据所述局部运动量，对所述第二图像进行图像融合。
  8. 如权利要求7所述的装置，其特征在于，所述图像融合单元，具体用于：
    当所述局部运动量大于或者等于第一预设阈值时，输出所述至少两帧第二图像中曝光时间为第一预设时间值的图像。
  9. 如权利要求7所述的装置，其特征在于，所述图像融合单元，具体用于：
    当所述局部运动量小于第二预设阈值时，在所述至少两帧第二图像中确定第二参考图像；
    根据所述第二参考图像，对所述至少两帧第二图像中除所述第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像；
    通过图像融合算法，对所述第二参考图像和所述配准后的第二图像进行图像融合。
  10. 如权利要求7所述的装置，其特征在于，所述图像融合单元，具体用于：
    当所述局部运动量大于或者等于第二预设阈值且小于第一预设阈值时，在 所述至少两帧第二图像中确定第二参考图像；
    根据所述第二参考图像，对所述至少两帧第二图像中除所述第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像；
    根据所述第二参考图像，对所述配准后的第二图像进行运动补偿，得到运动补偿后的第二图像；
    通过图像融合算法，对所述第二参考图像和所述运动补偿后的第二图像进行图像融合。
  11. 如权利要求7～10任一项所述的装置，其特征在于，所述运动量获取单元，具体用于：
    根据所述第一参考图像，对所述至少两帧第一图像中除所述第一参考图像以外的其他图像进行运动目标检测，生成所述至少两帧第一图像中除所述第一参考图像以外的其他图像相对所述第一参考图像的运动补偿矩阵；
    根据所述运动补偿矩阵，对所述至少两帧第一图像中除所述第一参考图像以外的其他图像进行全局图像配准，得到配准后的第一图像；
    获取所述配准后的第一图像对于所述第一参考图像的局部运动量。
  12. 如权利要求11所述的装置，其特征在于，所述运动量获取单元根据所述第二参考图像，对所述至少两帧第二图像中除所述第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像，具体可以为：
    根据所述运动补偿矩阵，对所述至少两帧第二图像中除所述第二参考图像以外的其他图像进行图像配准，得到所述配准后的第二图像。
  13. 一种终端设备，其特征在于，包括处理器、存储器、第一摄像头以及第二摄像头，其中，所述存储器中存储一组程序代码，且所述处理器、第一摄像头以及第二摄像头调用所述存储器中存储的程序代码，用于执行以下操作：
    所述第一摄像头，用于采集至少两帧相同曝光时间的第一图像；
    所述第二摄像头，用于集至少两帧不同曝光时间的第二图像，所述第一图像的采集时间和所述第二图像的采集时间相同；
    所述处理器，用于在所述至少两帧第一图像中确定第一参考图像；
    所述处理器，还用于根据所述第一参考图像，对所述至少两帧第一图像中除所述第一参考图像以外的其他图像进行运动目标检测，以获取所述至少两帧第一图像中除所述第一参考图像以外的其他图像对于所述第一参考图像的局部运动量，所述局部运动量用于指示所述运动目标检测所检测到的运动目标所占用的像素的数量信息；
    所述处理器，还用于根据所述局部运动量，对所述第二图像进行图像融合。
  14. 如权利要求13所述的终端设备，其特征在于，所述处理器根据所述局部运动量，对所述第二图像进行图像融合，具体包括：
    当所述局部运动量大于或者等于第一预设阈值时，所述处理器输出所述至少两帧第二图像中曝光时间为第一预设时间值的图像。
  15. 如权利要求13所述的终端设备，其特征在于，所述处理器根据所述局部运动量，对所述第二图像进行图像融合，具体包括：
    当所述局部运动量小于第二预设阈值时，所述处理器在所述至少两帧第二图像中确定第二参考图像；
    所述处理器根据所述第二参考图像，对所述至少两帧第二图像中除所述第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像；
    所述处理器通过图像融合算法，对所述第二参考图像和所述配准后的第二图像进行图像融合。
  16. 如权利要求13所述的终端设备，其特征在于，所述处理器根据所述局部运动量，对所述第二图像进行图像融合，具体包括：
    当所述局部运动量大于或者等于第二预设阈值且小于第一预设阈值时，所述处理器在所述至少两帧第二图像中确定第二参考图像；
    所述处理器根据所述第二参考图像，对所述至少两帧第二图像中除所述第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像；
    所述处理器根据所述第二参考图像，对所述配准后的第二图像进行运动补 偿，得到运动补偿后的第二图像；
    所述处理器通过图像融合算法，对所述第二参考图像和所述运动补偿后的第二图像进行图像融合。
  17. 如权利要求13～16任一项所述的终端设备，其特征在于，所述处理器根据所述第一参考图像，对所述至少两帧第一图像中除所述第一参考图像以外的其他图像进行运动目标检测，以获取所述至少两帧第一图像中除所述第一参考图像以外的其他图像对于所述第一参考图像的局部运动量，具体包括：
    所述处理器根据所述第一参考图像，对所述至少两帧第一图像中除所述第一参考图像以外的其他图像进行运动目标检测，生成所述至少两帧第一图像中除所述第一参考图像以外的其他图像相对所述第一参考图像的运动补偿矩阵；
    所述处理器根据所述运动补偿矩阵，对所述至少两帧第一图像中除所述第一参考图像以外的其他图像进行图像配准，得到配准后的第一图像；
    所述处理器获取所述配准后的第一图像对于所述第一参考图像的局部运动量。
  18. 如权利要求17所述的终端设备，其特征在于，所述处理器根据所述第二参考图像，对所述至少两帧第二图像中除所述第二参考图像以外的其他图像进行图像配准，得到配准后的第二图像，具体包括：
    所述处理器根据所述运动补偿矩阵，对所述至少两帧第二图像中除所述第二参考图像以外的其他图像进行图像配准，得到所述配准后的第二图像。
  19. 一种计算机存储介质，其特征在于，所述计算机存储介质存储有程序，所述程序执行时包括权利要求1～6任一项所述的步骤。
CN201580085496.XA 2015-12-28 2015-12-28 一种图像融合方法、装置及终端设备 Active CN108541374B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/099168 WO2017113048A1 (zh) 2015-12-28 2015-12-28 一种图像融合方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN108541374A true CN108541374A (zh) 2018-09-14
CN108541374B CN108541374B (zh) 2020-12-15

Family

ID=59224124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580085496.XA Active CN108541374B (zh) 2015-12-28 2015-12-28 一种图像融合方法、装置及终端设备

Country Status (6)

Country Link
US (1) US10511776B2 (zh)
EP (1) EP3399741B1 (zh)
JP (1) JP6629454B2 (zh)
KR (1) KR102103252B1 (zh)
CN (1) CN108541374B (zh)
WO (1) WO2017113048A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109996009A (zh) * 2019-04-09 2019-07-09 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111800580A (zh) * 2019-04-08 2020-10-20 福州瑞芯微电子股份有限公司 一种高动态图像合成方法及存储介质
CN112288642A (zh) * 2020-09-21 2021-01-29 北京迈格威科技有限公司 鬼影检测方法、图像融合方法及对应装置
CN113052056A (zh) * 2021-03-19 2021-06-29 华为技术有限公司 一种视频处理的方法以及装置
CN115209062A (zh) * 2021-04-13 2022-10-18 华为技术有限公司 一种图像处理方法及装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018003124A1 (ja) 2016-07-01 2018-01-04 マクセル株式会社 撮像装置、撮像方法及び撮像プログラム
WO2018016151A1 (ja) * 2016-07-22 2018-01-25 ソニー株式会社 画像処理装置と画像処理方法
DE102016223171A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
US11113801B1 (en) * 2018-09-11 2021-09-07 Apple Inc. Robust image motion detection using scene analysis and image frame pairs
KR102628911B1 (ko) * 2019-01-07 2024-01-24 삼성전자주식회사 영상 처리 방법 및 이를 수행하는 영상 처리 장치
CN111741211B (zh) * 2019-03-25 2022-07-29 华为技术有限公司 图像显示方法和设备
CN110278360B (zh) * 2019-06-28 2021-03-23 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US11218641B2 (en) * 2019-09-09 2022-01-04 Qualcomm Incorporated Image capture mode adaptation
CN113382153B (zh) * 2020-02-25 2022-11-22 北京小米移动软件有限公司 显示图像的方法和装置、电子设备、存储介质
CN111524067B (zh) * 2020-04-01 2023-09-12 北京东软医疗设备有限公司 一种图像处理方法、装置和设备
KR20210133472A (ko) 2020-04-29 2021-11-08 삼성전자주식회사 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치
CN114070996B (zh) * 2020-07-30 2024-01-12 北京小米移动软件有限公司 星空拍摄方法、星空拍摄装置及存储介质
CN112597787B (zh) * 2020-08-27 2021-10-15 禾多科技（北京）有限公司 用于融合局部图像的方法、装置、服务器和介质
CN117474983B (zh) * 2023-12-27 2024-03-12 广东力创信息技术有限公司 一种基于光视联动的预警方法以及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104737A (zh) * 2009-12-21 2011-06-22 展讯通信（上海）有限公司 高动态范围图像的成像方法及其***
CN102883099A (zh) * 2011-07-14 2013-01-16 ***通信有限公司 一种拍摄防抖方法及装置
US20150103200A1 (en) * 2013-10-16 2015-04-16 Broadcom Corporation Heterogeneous mix of sensors and calibration thereof

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003272202A1 (en) * 2002-06-21 2004-01-06 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US7440634B2 (en) * 2003-06-17 2008-10-21 The Trustees Of Columbia University In The City Of New York Method for de-blurring images of moving objects
US7859588B2 (en) * 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
JP2009164859A (ja) * 2008-01-04 2009-07-23 Fujifilm Corp 撮像装置及び撮像制御方法
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
CN101997981B (zh) * 2010-11-01 2013-08-14 惠州Tcl移动通信有限公司 一种基于手机摄像头的宽容度实现方法及手机
JP5412692B2 (ja) 2011-10-04 2014-02-12 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP6172967B2 (ja) 2013-02-20 2017-08-02 キヤノン株式会社 撮像装置、及びその制御方法
CN104349066B (zh) 2013-07-31 2018-03-06 华为终端（东莞）有限公司 一种生成高动态范围图像的方法、装置
US9516263B2 (en) * 2013-08-02 2016-12-06 Apple Inc. Automatic configuration of the logical orientation of multiple monitors based on captured images
US9615012B2 (en) * 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
KR20150042574A (ko) * 2013-10-11 2015-04-21 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9342871B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems
KR102397034B1 (ko) * 2015-11-02 2022-05-16 삼성전자주식회사 전자 장치 및 전자 장치의 손떨림 보정 방법
US10165194B1 (en) * 2016-12-16 2018-12-25 Amazon Technologies, Inc. Multi-sensor camera system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104737A (zh) * 2009-12-21 2011-06-22 展讯通信（上海）有限公司 高动态范围图像的成像方法及其***
CN102883099A (zh) * 2011-07-14 2013-01-16 ***通信有限公司 一种拍摄防抖方法及装置
US20150103200A1 (en) * 2013-10-16 2015-04-16 Broadcom Corporation Heterogeneous mix of sensors and calibration thereof

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800580A (zh) * 2019-04-08 2020-10-20 福州瑞芯微电子股份有限公司 一种高动态图像合成方法及存储介质
CN111800580B (zh) * 2019-04-08 2021-07-09 瑞芯微电子股份有限公司 一种高动态图像合成方法及存储介质
CN109996009A (zh) * 2019-04-09 2019-07-09 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112288642A (zh) * 2020-09-21 2021-01-29 北京迈格威科技有限公司 鬼影检测方法、图像融合方法及对应装置
CN113052056A (zh) * 2021-03-19 2021-06-29 华为技术有限公司 一种视频处理的方法以及装置
CN115209062A (zh) * 2021-04-13 2022-10-18 华为技术有限公司 一种图像处理方法及装置

Also Published As

Publication number Publication date
US20190014249A1 (en) 2019-01-10
JP6629454B2 (ja) 2020-01-15
CN108541374B (zh) 2020-12-15
KR20180095059A (ko) 2018-08-24
EP3399741B1 (en) 2020-11-18
EP3399741A1 (en) 2018-11-07
EP3399741A4 (en) 2018-11-07
US10511776B2 (en) 2019-12-17
JP2019503614A (ja) 2019-02-07
WO2017113048A1 (zh) 2017-07-06
KR102103252B1 (ko) 2020-04-22

Similar Documents

Publication Publication Date Title
CN108541374A (zh) 一种图像融合方法、装置及终端设备
US11665427B2 (en) Still image stabilization/optical image stabilization synchronization in multi-camera image capture
US10997696B2 (en) Image processing method, apparatus and device
CA2969482C (en) Method and apparatus for multiple technology depth map acquisition and fusion
CN106899781B (zh) 一种图像处理方法及电子设备
JP4772839B2 (ja) 画像識別方法および撮像装置
Sun et al. HDR image construction from multi-exposed stereo LDR images
US11748894B2 (en) Video stabilization method and apparatus and non-transitory computer-readable medium
CN113129241B (zh) 图像处理方法及装置、计算机可读介质、电子设备
KR101664123B1 (ko) 필터링에 기반하여 고스트가 없는 ｈｄｒｉ를 생성하는 장치 및 방법
EP3857874B1 (en) Hybrid depth processing
KR102199094B1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
CN109327626A (zh) 图像采集方法、装置、电子设备和计算机可读存储介质
US10504235B2 (en) Method for generating three dimensional images
CN109961422B (zh) 数字图像的对比度值的确定
Gao et al. Depth error elimination for RGB-D cameras
Pashchenko et al. An algorithm for the visualization of stereo images simultaneously captured with different exposures
CN110826455A (zh) 一种目标识别方法及图像处理设备
Moon et al. A fast low-light multi-image fusion with online image restoration
Alphonse et al. Vision based distance estimation from single RGB camera using field of view and magnification measurements–an AI based non triangulation technique for person distance estimation in surveillance areas
CN118230249A (zh) 一种入侵物体检测识别方法、装置、设备及存储介质
Akyüz et al. Ghosting in HDR Video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant