CN111062881A - 图像处理方法及装置、存储介质、电子设备 - Google Patents

图像处理方法及装置、存储介质、电子设备 Download PDF

Info

Publication number
CN111062881A
CN111062881A CN201911144463.4A CN201911144463A CN111062881A CN 111062881 A CN111062881 A CN 111062881A CN 201911144463 A CN201911144463 A CN 201911144463A CN 111062881 A CN111062881 A CN 111062881A
Authority
CN
China
Prior art keywords
image
camera
fused
pixel
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911144463.4A
Other languages
English (en)
Inventor
黄孝养
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realme Chongqing Mobile Communications Co Ltd
Original Assignee
Realme Chongqing Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realme Chongqing Mobile Communications Co Ltd filed Critical Realme Chongqing Mobile Communications Co Ltd
Priority to CN201911144463.4A priority Critical patent/CN111062881A/zh
Publication of CN111062881A publication Critical patent/CN111062881A/zh
Priority to EP20889082.2A priority patent/EP4064176A4/en
Priority to PCT/CN2020/127605 priority patent/WO2021098544A1/zh
Priority to US17/750,005 priority patent/US20220279124A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

本公开提供一种图像处理方法及装置、电子设备、存储介质，涉及图像处理技术领域。所述方法包括：分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，第一摄像头和所述第二摄像头的视场角不同；根据第一图像和第二图像，确定融合图像；对融合图像进行图像抖动校正，得到输出图像。本公开可以提高图像的清晰度，增大图像的画幅。

Description

图像处理方法及装置、存储介质、电子设备
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。
背景技术
在视频拍摄过程中，视频采集设备通常会出现一定程度的抖动，导致录制的视频画面不稳，影响视频拍摄效果。目前，可以通过图像防抖技术达到视频防抖的效果。然而，相关方法导致图像的清晰度降低、画幅减小。
发明内容
本公开的目的在于提供一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质，进而在一定程度上克服由于相关技术的限制和缺陷而导致的，在进行图像抖动校正时图像的清晰度降低和画幅减小的问题。
根据本公开的第一方面，提供一种图像处理方法，包括：
分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，所述第一摄像头和所述第二摄像头的视场角不同；
根据所述第一图像和所述第二图像，确定融合图像；
对所述融合图像进行图像抖动校正，得到输出图像。
根据本公开的第二方面，提供一种图像处理装置，包括：
图像获取模块，用于分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，所述第一摄像头和所述第二摄像头的视场角不同；
图像融合模块，用于根据所述第一图像和所述第二图像，确定融合图像；
图像抖动校正模块，用于对所述融合图像进行图像抖动校正，得到输出图像。
根据本公开的第三方面，提供一种电子设备，包括：
第一摄像头，用于拍摄第一图像；
第二摄像头，用于拍摄第二图像，所述第一摄像头和所述第二摄像头的视场角不同；
处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述图像处理方法。
根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在本公开的一示例实施方式所提供的图像处理方法中，通过将视场角不同的两个摄像头拍摄的图像进行融合，这样，画幅较大的图像可以弥补画幅较小的图像在进行图像抖动校正时画幅的损失，从而最大限度地保留图像的画幅。并且，图像融合可以提高图像的清晰度。例如，在第一摄像头的视场角较大，第二摄像头的清晰度较高的情况下，可以在降低图像画幅损失的同时，提高图像的清晰度，从而达到更好的防抖效果，提升用户的拍摄体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了相机静止和相机转动时裁剪图像在图像平面中的示意图；
图2示出了本公开实施例的图像处理方法的一种流程图；
图3示出了标定棋盘格的示意图；
图4示出了本公开实施例中融合图像的确定方法的一种流程图；
图5示出了第三图像和第二图像的拼接区域的示意图；
图6示出了本公开实施例的图像处理装置的结构示意图；
图7示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
目前，图像防抖技术包括：光学图像增稳算法和电子图像增稳算法等。其中，光学图像增稳算法由于设计结构复杂、成本较高等原因，通常用于高端相机或终端设备。而电子图像增稳算法由于无需额外的器件结构设计，仅需搭配终端设备自带的陀螺仪便可从软件算法上实现较好的视频防抖效果，而广泛应用于终端设备中。
例如，在电子图像增稳算法中，可以通过陀螺仪实时检测视频采集设备三个轴的运动角速度，通过边缘裁剪区域做反向补偿，使画面像素点在一定范围内稳定，达到图像增稳的效果。参见图1，图1示出了相机静止和相机转动时裁剪图像在图像平面中的示意图，预设的裁剪区域越大，得到的裁剪图像越小，防抖能力越强。但是，也导致图像的清晰度越低、画幅越小。
为了解决相关技术中进行图像抖动校正时图像清晰度降低和画幅减小的问题，本公开提供了一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质，可以在进行图像抖动校正时，提高图像的清晰度、增大图像的画幅。
参见图2，图2示出了本公开实施例的图像处理方法的一种流程图，可以包括以下步骤：
步骤S210，分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，第一摄像头和第二摄像头的视场角不同。
步骤S220，根据第一图像和第二图像，确定融合图像。
步骤S230，对融合图像进行图像抖动校正，得到输出图像。
本公开实施例的图像处理方法中，将视场角不同的两个摄像头拍摄的图像进行融合，这样，画幅较大的图像可以弥补画幅较小的图像在进行图像抖动校正时画幅的损失，从而最大限度地保留图像的画幅。并且，图像融合可以提高图像的清晰度。例如，在第一摄像头的视场角较大，第二摄像头的清晰度较高的情况下，可以在降低图像画幅损失的同时，提高图像的清晰度，从而达到更好的防抖效果，提升用户的拍摄体验。
以下对本公开实施例的图像处理方法进行更加详细的介绍。
在步骤S210中，分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像。
本公开实施例的执行主体可以是视频采集设备，例如，可以是智能手机、平板电脑、相机等，该视频采集设备可以配置有两个摄像头，当然，也可以配置有更多个摄像头。在此，以两个摄像头(例如第一摄像头和第二摄像头)为例进行说明。其中，第一摄像和第二摄像头可以同时拍摄相同的内容，分别生成第一图像和第二图像，第一摄像头和第二摄像头的视场角不同。
可选的，在第一摄像头的视场角大于第二摄像头的视场角时，第一摄像头可以为广角摄像头，广角摄像头的焦距较短，视场角较大，可于较近距离拍摄范围宽阔的景物。当然，为了使第一摄像头的视场角尽可能大，第一摄像头也可以为超广角摄像头。为了提高第二图像的清晰度，第二摄像头可以为高清摄像头。相反地，在第二摄像头的视场角大于第一摄像头的视场角时，第二摄像头可以为广角摄像头，或者为超广角摄像头，第一摄像头可以为高清摄像头。广角摄像头可以是感光面积或分辨率低于高清摄像头的器件。本公开以第一摄像头的视场角大于第二摄像头的视场角为例进行说明。
在步骤S220中，根据第一图像和第二图像，确定融合图像。
本公开实施例中，在第一摄像头的视场角大于第二摄像头的视场角时，将第一图像和第二图像进行融合之后，得到的融合图像与第二图像相比，视场角将增大。这样，在对融合图像进行图像抖动校正时，可以弥补视场角的损失。
可以理解的是，摄像头的视场角越大，拍摄的图像越容易发生畸变。那么，对于视场角较大的第一摄像头拍摄的第一图像，可以对其依次进行畸变校正及图像缩放处理，得到第三图像。具体的，首先可以对第一摄像头做畸变标定，图像的畸变包括：径向畸变和切向畸变，可以通过拍摄的棋盘格图像求得畸变系数，标定棋盘格的示意图可参见图3。
其中，径向畸变的数学模型为：
Figure BDA0002281790630000051
切向畸变的数学模型为：
Figure BDA0002281790630000052
其中，r2＝u2+v2，(u,v)是理想坐标，(u′,v′)是径向畸变后的坐标，(u″,v″)是切向畸变后的坐标。通过棋盘格标定可以得到畸变参数k1、k2、k3、p1、p2的值。
之后，可以根据以下畸变校正公式：
Figure BDA0002281790630000061
计算得到(u0,v0)对应的(u1,v1)。
其中，cx、cy、fx、fy为相机内参，也可以通过棋盘格标定得到，(u0,v0)是畸变校正之后的像素点坐标，(u1,v1)是(u0,v0)对应的畸变校正之前的像素点坐标。依次将畸变校正之前图像中(u1,v1)坐标点的像素值填充到畸变校正后图像(u0,v0)坐标中，即完成了图像畸变校正过程。
在对第一图像进行畸变校正之后，可以根据图像缩放公式：
Figure BDA0002281790630000062
对畸变校正后的图像进行图像缩放处理。
其中，(x′,y′)是缩放后的像素点坐标，(x,y)是缩放前的像素点坐标，p1和w1分别表示第一摄像机中图像传感器的有效感光面积的物理尺寸的宽度和水平方向像素点的数量，p2和w2分别表示第二摄像机中图像传感器的有效感光面积的物理尺寸的宽度和水平方向像素点的数量。
图像缩放是指对图像的大小进行调整的过程，本公开实施例中的图像缩放指的是调大图像，这样，调大后的图像(即第三图像)与第二图像的像素比例相同，可以直接与第二图像进行图像的拼接。在将第三图像和第二图像进行拼接时，可以生成第二图像中像素点的坐标和第三图像中像素点的坐标之间的映射关系。根据该映射关系、畸变校正公式以及图像缩放公式，可以将第三图像和第二图像进行融合，得到融合图像。融合图像的确定过程可参见图4，可以包括以下步骤：
步骤S410，将第三图像和第二图像进行拼接，确定第三图像和第二图像的拼接区域。
具体的，可以通过Opencv(开源计算机视觉库)中的Stitching模块对第三图像和第二图像进行拼接，可以得到第二图像中像素点的坐标和第三图像中像素点的坐标之间的映射关系。其中，Opencv可以实现图像处理和计算机视觉方面的很多通用算法，例如，Stitching模块可以实现图像拼接等。
步骤S420，对拼接区域中像素点的像素值进行平滑处理，得到平滑后的像素值。
可以理解的是，由于第一摄像头的视场角较大，第一图像的画幅也较大，那么，对第一图像进行畸变校正及图像缩放处理之后，第一图像被调大，得到的第三图像和第二图像的拼接区域为第二图像的外侧环行区域。参见图5，图5示出了第三图像和第二图像的拼接区域的示意图，可以看出，第三图像可以作为背景，第二图像可以作为前景，拼接区域即为阴影区域。
在进行图像拼接之后，由于输入的第三图像和第二图像之间存在一定的亮度差异，导致拼接后的图像缝合线(即图5中阴影区域的外侧环线)两端出现明显的明暗变化。因此，可以对拼接区域做平滑处理，可选的，针对第二图像中在拼接区域中的任一像素点，可以将该像素点的像素值，和第三图像中与该像素点对应的目标像素点的像素值进行加权平均，得到平滑后的像素值。其中，第二图像中像素点的像素值可以直接获取，第三图像中的目标像素点的像素值可以通过以下方式确定：
首先，确定目标像素点的坐标。
本公开实施例中，可以先获取第二图像中在拼接区域中的任一像素点的坐标，根据该坐标以及前面图像拼接时得到的坐标之间的映射关系，可以确定目标像素点的坐标。
其次，根据目标像素点的坐标，确定第一图像中与目标像素点对应的初始像素点。
本公开实施例中，由于目标像素点是第三图像中的像素点，第三图像是对第一图像进行畸变校正和图像缩放处理后得到的，因此，可以根据目标像素点的坐标，通过前述的畸变校正公式以及图像缩放公式，得到第一图像中与目标像素点对应的初始像素点。
最后，将初始像素点的像素值作为目标像素点的像素值。
当然，本公开实施例中，也可以根据第三图像中在拼接区域中的任一像素点，直接确定该像素点的坐标，根据坐标之间的映射关系，确定第二图像中对应的像素点的坐标。将该像素点的像素值，和第二图像中与该像素点对应的目标像素点的像素值进行加权平均，得到平滑后的像素值。
本公开实施例中的加权平均公式可以为：H＝d×HW+(1-d)×HM，其中，d是可调因子，0≤d≤1，沿第三图像向第二图像的方向，d由1渐变为0，H表示平滑后的像素值，HW表示第三图像中像素点的像素值，HM表示第二图像中像素点的像素值。其中，加权平滑算法可以快速简单的处理拼接缝问题。
在本公开的一种实现方式中，为使图像拼接区域中的像素点与第三图像以及第二图像建立更大的相关性，可以令d＝d1/(d1+d2)，即加权平均公式还可以为：
Figure BDA0002281790630000081
通过该公式进行加权平均，可以计算得到拼接区域中每个像素点的像素值。
其中，d1+d2＝w，w表示拼接区域的宽度，若是左右拼接，d1，d2分别表示拼接区域中的像素点到拼接区域的左边界和右边界的距离；若是上下拼接，则d1，d2分别表示拼接区域中的像素点到拼接区域的上边界和下边界的距离。例如，可以将图5中阴影部分(即拼接区域)分成上下左右四个区域，左边区域和右边区域即为左右拼接，上边区域和下边区域即为上下拼接。
步骤S430，将平滑后的像素值作为拼接区域中像素点的像素值。
需要说明的是，对于拼接区域以内的非拼接区域，该区域中的像素点的像素值可以是第二图像中该像素点的像素值；对于拼接区域以外的非拼接区域，该区域中的像素点的像素值可以是第三图像中该像素点的像素值。至此，可以确定所有区域中像素点的像素值，即得到融合图像。
在步骤S230中，对融合图像进行图像抖动校正，得到输出图像。
本公开实施例中，可以通过电子图像增稳算法对融合图像进行图像抖动校正。具体可以通过陀螺仪实时检测视频采集设备三个轴的运动角速度，通过边缘裁剪区域做反向补偿，使画面像素点在一定范围内稳定，达到图像增稳的效果。裁剪区域越大，裁剪图像越小，防抖能力越强，图像的清晰度和画幅就越低。可选的，在电子图像增稳算法中，对融合图像裁剪后，得到的裁剪图像的画幅大于或等于第二图像的画幅。也就是说，对融合图像裁剪时，裁剪区域可以是第三图像的边缘区域，利用第三图像的边缘区域作为防抖补偿，而不裁剪第二图像所在的区域，因此，可以得到比第二图像画幅更大的图像，从而可以弥补视场角的损失，增大图像的画幅。
可以理解的是，如果用户在稳定的环境下拍摄视频，可以不用开启电子图像增稳功能，在此情况下，本公开实施例的图像处理方法可以为用户提供一种广角超清视频模式，用户同样可以得到具有较大画幅及较高清晰度的视频，可以提升用户的拍摄体验。
本公开实施例的图像处理方法中，将视场角不同的两个图像进行融合，这样，视场角较大的图像可以弥补视场角较小的图像在进行图像抖动校正时视场角的损失，从而最大限度地保留图像的画幅。并且，图像融合可以提高图像的清晰度，并且，通过对融合图像的拼接区域进行平滑处理，可以提高图像的质量。例如，在第一摄像头的视场角较大，第二摄像头的清晰度较高的情况下，即使第一摄像头的分辨率较差，也仅仅使画面抖动时图像边缘清晰度稍低于主画幅清晰度，而用户对边缘图像通常是不敏感的，因此，本公开可以在降低图像画幅损失的同时，提高图像的清晰度，从而达到更好的防抖效果，提升用户的拍摄体验。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中，还提供了一种图像处理装置600，如图6所示，包括：
图像获取模块610，用于分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，第一摄像头和第二摄像头的视场角不同；
图像融合模块620，用于根据第一图像和第二图像，确定融合图像；
图像抖动校正模块630，用于对融合图像进行图像抖动校正，得到输出图像。
可选的，图像融合模块，包括：
预处理单元，用于对第一图像依次进行畸变校正及图像缩放处理，得到第三图像，其中，第一摄像头的视场角大于第二摄像头的视场角；
融合单元，用于将第三图像和第二图像进行融合，得到融合图像。
可选的，融合单元具体用于将第三图像和第二图像进行拼接，确定第三图像和第二图像的拼接区域；对拼接区域中像素点的像素值进行平滑处理，得到平滑后的像素值；将平滑后的像素值作为拼接区域中像素点的像素值。
可选的，融合单元通过以下步骤实现对拼接区域中像素点的像素值进行平滑处理，得到平滑后的像素值：
针对第二图像中在拼接区域中的任一像素点，将该像素点的像素值，和第三图像中与该像素点对应的目标像素点的像素值进行加权平均，得到平滑后的像素值。
可选的，融合单元还用于确定目标像素点的坐标；根据目标像素点的坐标，确定第一图像中与目标像素点对应的初始像素点；将初始像素点的像素值作为目标像素点的像素值。
可选的，图像抖动校正模块，用于通过电子图像增稳算法对融合图像进行图像抖动校正。
可选的，在电子图像增稳算法中，对融合图像裁剪后，得到的裁剪图像的画幅大于或等于第二图像的画幅。
上述装置中各模块或单元的具体细节已经在对应的图像处理方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中，还提供一种电子设备，包括：第一摄像头，用于拍摄第一图像；第二摄像头，用于拍摄第二图像，第一摄像头和第二摄像头的视场角不同；处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行本示例实施方式中的图像处理方法的全部或者部分步骤。
图7示出了用于实现本公开实施例的电子设备的计算机***的结构示意图。需要说明的是，图7示出的电子设备的计算机***700仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，计算机***700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有***操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标、第一摄像头和第二摄像头等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如局域网(LAN)卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的装置中限定的各种功能。
在本公开的示例性实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
需要说明的是，本公开所示的计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频等等，或者上述的任意合适的组合。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，所述第一摄像头和所述第二摄像头的视场角不同；
根据所述第一图像和所述第二图像，确定融合图像；
对所述融合图像进行图像抖动校正，得到输出图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和所述第二图像，确定融合图像，包括：
对所述第一图像依次进行畸变校正及图像缩放处理，得到第三图像，其中，所述第一摄像头的视场角大于所述第二摄像头的视场角；
将所述第三图像和所述第二图像进行融合，得到融合图像。
3.根据权利要求2所述的方法，其特征在于，所述将所述第三图像和所述第二图像进行融合，得到融合图像，包括：
将所述第三图像和所述第二图像进行拼接，确定所述第三图像和所述第二图像的拼接区域；
对所述拼接区域中像素点的像素值进行平滑处理，得到平滑后的像素值；
将所述平滑后的像素值作为所述拼接区域中像素点的像素值。
4.根据权利要求3所述的方法，其特征在于，所述对所述拼接区域中像素点的像素值进行平滑处理，得到平滑后的像素值，包括：
针对所述第二图像中在所述拼接区域中的任一像素点，将该像素点的像素值，和所述第三图像中与该像素点对应的目标像素点的像素值进行加权平均，得到平滑后的像素值。
5.根据权利要求4所述的方法，其特征在于，所述第三图像中与该像素点对应的目标像素点的像素值的确定方式，包括：
确定所述目标像素点的坐标；
根据所述目标像素点的坐标，确定所述第一图像中与所述目标像素点对应的初始像素点；
将所述初始像素点的像素值作为所述目标像素点的像素值。
6.根据权利要求1所述的方法，其特征在于，所述对所述融合图像进行图像抖动校正，包括：
通过电子图像增稳算法对所述融合图像进行图像抖动校正。
7.根据权利要求6所述的方法，其特征在于，在所述电子图像增稳算法中，对所述融合图像裁剪后，得到的裁剪图像的画幅大于或等于所述第二图像的画幅。
8.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，所述第一摄像头和所述第二摄像头的视场角不同；
图像融合模块，用于根据所述第一图像和所述第二图像，确定融合图像；
图像抖动校正模块，用于对所述融合图像进行图像抖动校正，得到输出图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7任一项所述的方法。
10.一种电子设备，其特征在于，包括：
第一摄像头，用于拍摄第一图像；
第二摄像头，用于拍摄第二图像，所述第一摄像头和所述第二摄像头的视场角不同；
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7任一项所述的方法。
CN201911144463.4A 2019-11-20 2019-11-20 图像处理方法及装置、存储介质、电子设备 Pending CN111062881A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911144463.4A CN111062881A (zh) 2019-11-20 2019-11-20 图像处理方法及装置、存储介质、电子设备
EP20889082.2A EP4064176A4 (en) 2019-11-20 2020-11-09 IMAGE PROCESSING METHOD AND DEVICE, STORAGE MEDIA AND ELECTRONIC DEVICE
PCT/CN2020/127605 WO2021098544A1 (zh) 2019-11-20 2020-11-09 图像处理方法及装置、存储介质、电子设备
US17/750,005 US20220279124A1 (en) 2019-11-20 2022-05-20 Image processing method, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911144463.4A CN111062881A (zh) 2019-11-20 2019-11-20 图像处理方法及装置、存储介质、电子设备

Publications (1)

Publication Number Publication Date
CN111062881A true CN111062881A (zh) 2020-04-24

Family

ID=70298726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911144463.4A Pending CN111062881A (zh) 2019-11-20 2019-11-20 图像处理方法及装置、存储介质、电子设备

Country Status (4)

Country Link
US (1) US20220279124A1 (zh)
EP (1) EP4064176A4 (zh)
CN (1) CN111062881A (zh)
WO (1) WO2021098544A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798374A (zh) * 2020-06-24 2020-10-20 浙江大华技术股份有限公司 一种图像拼接方法、装置、设备及介质
CN111815531A (zh) * 2020-07-09 2020-10-23 Oppo广东移动通信有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
WO2021098544A1 (zh) * 2019-11-20 2021-05-27 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备
CN112995467A (zh) * 2021-02-05 2021-06-18 深圳传音控股股份有限公司 图像处理方法、移动终端及存储介质
CN113364975A (zh) * 2021-05-10 2021-09-07 荣耀终端有限公司 一种图像的融合方法及电子设备
CN113411498A (zh) * 2021-06-17 2021-09-17 深圳传音控股股份有限公司 图像拍摄方法、移动终端及存储介质
CN113538462A (zh) * 2021-07-15 2021-10-22 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备
CN114820314A (zh) * 2022-04-27 2022-07-29 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备
CN115209191A (zh) * 2022-06-14 2022-10-18 海信视像科技股份有限公司 显示设备、终端设备和设备间共享摄像头的方法
CN116503815A (zh) * 2023-06-21 2023-07-28 宝德计算机***股份有限公司 一种基于大数据的计算机视觉处理***

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592777A (zh) * 2021-06-30 2021-11-02 北京旷视科技有限公司 双摄拍照的图像融合方法、装置和电子***
CN116051435B (zh) * 2022-08-23 2023-11-07 荣耀终端有限公司 图像融合方法和电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150665A (zh) * 2006-09-20 2008-03-26 富士通株式会社 具手部抖动校正功能的图像获取装置和手部抖动校正方法
CN102081796A (zh) * 2009-11-26 2011-06-01 日电（中国）有限公司 图像拼接方法和装置
CN104318517A (zh) * 2014-11-19 2015-01-28 北京奇虎科技有限公司 一种图像拼接处理方法、装置及客户端
CN105025222A (zh) * 2015-07-03 2015-11-04 广东欧珀移动通信有限公司 一种拍摄方法及移动终端
CN105096329A (zh) * 2015-08-20 2015-11-25 厦门雅迅网络股份有限公司 一种精确校正超广角摄像头图像畸变的方法
CN106303283A (zh) * 2016-08-15 2017-01-04 Tcl集团股份有限公司 一种基于鱼眼摄像头的全景图像合成方法及***
CN109639969A (zh) * 2018-12-12 2019-04-16 维沃移动通信（杭州）有限公司 一种图像处理方法、终端及服务器
CN109688329A (zh) * 2018-12-24 2019-04-26 天津天地伟业信息***集成有限公司 一种针对高精度全景视频的防抖方法
CN110072058A (zh) * 2019-05-28 2019-07-30 珠海格力电器股份有限公司 图像拍摄装置、方法及终端
CN110177212A (zh) * 2019-06-26 2019-08-27 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
CN101924874B (zh) * 2010-08-20 2011-10-26 北京航空航天大学 一种匹配块分级的实时电子稳像方法
EP2979445A4 (en) * 2013-03-27 2016-08-10 Bae Sys Inf & Elect Sys Integ ELECTROOPTICAL FUSION ZOOM CAMERA WITH SEVERAL VIEW FIELDS AND MULTIPLE SENSORS
US10136063B2 (en) * 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
KR102520225B1 (ko) * 2016-06-30 2023-04-11 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 촬영 방법
CN109379522A (zh) * 2018-12-06 2019-02-22 Oppo广东移动通信有限公司 成像方法、成像装置、电子装置及介质
CN111062881A (zh) * 2019-11-20 2020-04-24 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150665A (zh) * 2006-09-20 2008-03-26 富士通株式会社 具手部抖动校正功能的图像获取装置和手部抖动校正方法
CN102081796A (zh) * 2009-11-26 2011-06-01 日电（中国）有限公司 图像拼接方法和装置
CN104318517A (zh) * 2014-11-19 2015-01-28 北京奇虎科技有限公司 一种图像拼接处理方法、装置及客户端
CN105025222A (zh) * 2015-07-03 2015-11-04 广东欧珀移动通信有限公司 一种拍摄方法及移动终端
CN105096329A (zh) * 2015-08-20 2015-11-25 厦门雅迅网络股份有限公司 一种精确校正超广角摄像头图像畸变的方法
CN106303283A (zh) * 2016-08-15 2017-01-04 Tcl集团股份有限公司 一种基于鱼眼摄像头的全景图像合成方法及***
CN109639969A (zh) * 2018-12-12 2019-04-16 维沃移动通信（杭州）有限公司 一种图像处理方法、终端及服务器
CN109688329A (zh) * 2018-12-24 2019-04-26 天津天地伟业信息***集成有限公司 一种针对高精度全景视频的防抖方法
CN110072058A (zh) * 2019-05-28 2019-07-30 珠海格力电器股份有限公司 图像拍摄装置、方法及终端
CN110177212A (zh) * 2019-06-26 2019-08-27 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021098544A1 (zh) * 2019-11-20 2021-05-27 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备
CN111798374A (zh) * 2020-06-24 2020-10-20 浙江大华技术股份有限公司 一种图像拼接方法、装置、设备及介质
CN111815531A (zh) * 2020-07-09 2020-10-23 Oppo广东移动通信有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
CN111815531B (zh) * 2020-07-09 2024-03-01 Oppo广东移动通信有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
WO2022166765A1 (zh) * 2021-02-05 2022-08-11 深圳传音控股股份有限公司 图像处理方法、移动终端及存储介质
CN112995467A (zh) * 2021-02-05 2021-06-18 深圳传音控股股份有限公司 图像处理方法、移动终端及存储介质
CN113364975A (zh) * 2021-05-10 2021-09-07 荣耀终端有限公司 一种图像的融合方法及电子设备
CN113364975B (zh) * 2021-05-10 2022-05-20 荣耀终端有限公司 一种图像的融合方法及电子设备
WO2022237286A1 (zh) * 2021-05-10 2022-11-17 荣耀终端有限公司 一种图像的融合方法及电子设备
CN113411498B (zh) * 2021-06-17 2023-04-28 深圳传音控股股份有限公司 图像拍摄方法、移动终端及存储介质
CN113411498A (zh) * 2021-06-17 2021-09-17 深圳传音控股股份有限公司 图像拍摄方法、移动终端及存储介质
CN113538462A (zh) * 2021-07-15 2021-10-22 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备
CN114820314A (zh) * 2022-04-27 2022-07-29 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备
CN115209191A (zh) * 2022-06-14 2022-10-18 海信视像科技股份有限公司 显示设备、终端设备和设备间共享摄像头的方法
CN116503815A (zh) * 2023-06-21 2023-07-28 宝德计算机***股份有限公司 一种基于大数据的计算机视觉处理***
CN116503815B (zh) * 2023-06-21 2024-01-30 宝德计算机***股份有限公司 一种基于大数据的计算机视觉处理***

Also Published As

Publication number Publication date
US20220279124A1 (en) 2022-09-01
EP4064176A4 (en) 2023-05-24
EP4064176A1 (en) 2022-09-28
WO2021098544A1 (zh) 2021-05-27

Similar Documents

Publication Publication Date Title
CN111062881A (zh) 图像处理方法及装置、存储介质、电子设备
CN110622497B (zh) 具备具有不同焦距的相机的设备及实现相机的方法
US9591237B2 (en) Automated generation of panning shots
US8280194B2 (en) Reduced hardware implementation for a two-picture depth map algorithm
WO2017016050A1 (zh) 一种图像的预览方法、装置及终端
US9870602B2 (en) Method and apparatus for fusing a first image and a second image
US10764496B2 (en) Fast scan-type panoramic image synthesis method and device
US20110158509A1 (en) Image stitching method and apparatus
CN107749944A (zh) 一种拍摄方法及装置
JP2010118040A (ja) 魚眼補正と透視歪み削減の画像処理方法及び画像処理装置
WO2019052534A1 (zh) 图像拼接方法及装置、存储介质
CN112261387B (zh) 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
US20230325994A1 (en) Image fusion method and device
CN111105367A (zh) 人脸畸变校正方法、装置、电子设备及存储介质
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN109685721B (zh) 全景画面拼接方法、装置、终端及对应的存储介质
CN113947768A (zh) 一种基于单目3d目标检测的数据增强方法和装置
US20220182595A1 (en) Optical flow based omnidirectional stereo video processing method
CN113965664A (zh) 一种图像虚化方法、存储介质以及终端设备
CN111385461B (zh) 全景拍摄方法及装置、相机、移动终端
CN111787300B (zh) Vr视频的处理方法、装置及电子设备
CN113395434B (zh) 一种预览图像虚化方法、存储介质及终端设备
CN115174878A (zh) 投影画面校正方法、装置和存储介质
CN112640420B (zh) 电子装置的控制方法、装置、设备及***
CN113938578A (zh) 一种图像虚化方法、存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200424