CN113888435A - 图像处理方法、装置、电子设备和可读存储介质 - Google Patents

图像处理方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN113888435A
CN113888435A CN202111181857.4A CN202111181857A CN113888435A CN 113888435 A CN113888435 A CN 113888435A CN 202111181857 A CN202111181857 A CN 202111181857A CN 113888435 A CN113888435 A CN 113888435A
Authority
CN
China
Prior art keywords
image
correcting
angle
target
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111181857.4A
Other languages
English (en)
Inventor
王玮
凡芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202111181857.4A priority Critical patent/CN113888435A/zh
Publication of CN113888435A publication Critical patent/CN113888435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法、装置、电子设备和可读存储介质，属于电子技术领域。其中，所述图像处理方法包括：在第一摄像头采集第一图像、第二摄像头采集第二图像的情况下，根据目标变焦倍率和目标角度，校正第一图像，得到第三图像，以及校正第二图像，得到第四图像；其中，目标角度为第一图像和第二图像在抖动过程中偏移的角度；在第三图像与第四图像之间不满足预设条件的情况下，校正第三图像，得到第五图像，以及校正第四图像，得到第六图像；其中，第五图像和第六图像之间满足预设条件；根据第五图像和第六图像，获取第五图像对应的目标深度信息；根据目标深度信息，对第五图像进行虚化处理。

Description

图像处理方法、装置、电子设备和可读存储介质
技术领域
本申请属于电子技术领域，具体涉及一种图像处理方法、装置、电子设备和可读存储介质。
背景技术
目前，电子设备一般都配备有多个摄像头，常见的包括主摄像头和副摄像头，从而可以基于双摄组合实现虚化功能，其中包含应用在拍摄预览中的虚化功能、应用在拍摄视频中的虚化功能，以及应用在拍摄图片中的虚化功能，进而可以实现单反大光圈功能的模拟，给用户带来了较好的使用体验。
而用户在使用电子设备拍摄时，通常会出现因为手持抖动而带来拍摄画面抖动的现象。特别是变焦倍率越大，其视场角越小，若手持存在抖动，拍摄画面抖动就会更加明显，影响画面质感。而在虚化模式下，因画面抖动导致虚化效果较差。
可见，在现有技术中，存在拍摄过程中，在虚化模式下，因画面抖动导致虚化效果较差的问题。
发明内容
本申请实施例的目的是提供一种图像处理方法，能够解决在现有技术中，存在拍摄过程中，在虚化模式下，因画面抖动导致虚化效果较差的问题。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：在第一摄像头采集第一图像、第二摄像头采集第二图像的情况下，根据目标变焦倍率和目标角度，校正所述第一图像，得到第三图像，以及校正所述第二图像，得到第四图像；其中，所述目标角度为所述第一图像和所述第二图像在抖动过程中偏移的角度；在所述第三图像与所述第四图像之间不满足预设条件的情况下，校正所述第三图像，得到第五图像，以及校正所述第四图像，得到第六图像；其中，所述第五图像和所述第六图像之间满足所述预设条件；根据所述第五图像和所述第六图像，获取所述第五图像对应的目标深度信息；根据所述目标深度信息，对所述第五图像进行虚化处理。
第二方面，本申请实施例提供了一种图像处理装置，该装置包括：第一校正模块，用于在第一摄像头采集第一图像、第二摄像头采集第二图像的情况下，根据目标变焦倍率和目标角度，校正所述第一图像，得到第三图像，以及校正所述第二图像，得到第四图像；其中，所述目标角度为所述第一图像和所述第二图像在抖动过程中偏移的角度；第二校正模块，用于在所述第三图像与所述第四图像之间不满足预设条件的情况下，校正所述第三图像，得到第五图像，以及校正所述第四图像，得到第六图像；其中，所述第五图像和所述第六图像之间满足所述预设条件；第一获取模块，用于根据所述第五图像和所述第六图像，获取所述第五图像对应的目标深度信息；处理模块，
用于根据所述目标深度信息，对所述第五图像进行虚化处理。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
这样，在本申请的实施例中，在拍摄模式的目标变焦倍率下，因用户手持抖动，使得电子设备抖动，从而电子设备发生一定角度的转动，因此对摄像头采集的图像造成至少两方面的影响。第一方面，第一摄像头采集的第一图像和第二摄像头采集的第二图像因抖动出现了位移，对应地，分别对第一图像和第二图像分别进行位置校正，以消除因抖动产生的位移，从而分别得到第三图像和第四图像。第二方面，第一摄像头采集的第一图像和第二摄像头采集的第二图像因抖动出现了拍摄视角倾斜，使得第三图像和第四图像之间不满足预设条件，对应地，分别对第三图像和第四图像进行校正，以消除因抖动产生的视角异常，从而分别得到第五图像和第六图像，且第五图像和第六图像之间满足预设条件。进一步地，在对两个摄像头采集的初始图像进行两次校正后，再对第一摄像头对应的第五图像进行景深计算，从而根据图像中不同位置的深度值差异，对第五图像中的不同位置实施不同的虚化程度处理，以达到虚化效果。可见，本申请的实施例通过两次校正，可消除因电子设备抖动对两个摄像头所采集的图像造成的影响，从而解决拍摄过程中，在虚化模式下，因画面抖动导致虚化效果较差的问题。
附图说明
图1是本申请实施例的图像处理方法的流程图；
图2是本申请实施例的图像示意图；
图3是本申请实施例的图像处理装置的框图；
图4是本申请实施例的电子设备的硬件结构示意图之一；
图5是本申请实施例的电子设备的硬件结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
参见图1，示出了本申请一个实施例的图像处理方法的流程图，该方法应用于电子设备，包括：
步骤110：在第一摄像头采集第一图像、第二摄像头采集第二图像的情况下，根据目标变焦倍率和目标角度，校正第一图像，得到第三图像，以及校正第二图像，得到第四图像。
其中，目标角度为第一图像和第二图像在抖动过程中偏移的角度。
在本申请中，第一摄像头为主摄像头，第二摄像头为副摄像头。
在该步骤中，第一图像校正为第三图像，第二图像校正为第四图像。
其中，第三图像和第四图像为防抖变换后的图像。
参见图2，示例性地，左起第一个图和第二个图分别为防抖处理后的第三图像和防抖处理后的第四图像。
步骤120：在第三图像与第四图像之间不满足预设条件的情况下，校正第三图像，得到第五图像，以及校正第四图像，得到第六图像。
其中，第五图像和第六图像之间满足预设条件。
通常，在电子设备中，第一摄像头与第二摄像头之间为平行关系，因此，在理想状态下，第一摄像头采集的图像和第二摄像头采集的图像相对于同一水平线，是对齐的。
而在本实施例中，由于抖动原因，导致第一摄像头和第二摄像头采集图像的视角变化，从而使得采集到的图像因抖动而倾斜(如图2所示)，因此，在步骤110中，在对采集的图像消除因抖动产生的位移后，在步骤120中，需要对第三图像和第四图像进行校正，以使得校正后的两个图像，相对于同一水平线，呈对齐状态，即满足预设条件。
参见图2，示例性地，左起第三个图为校正处理后的第五图像，左起第四个图为校正处理后的第六图像。
步骤130：根据第五图像和所述第六图像，获取第五图像对应的目标深度信息。
在该步骤中，目标深度信息包括计算得到深度图。
步骤140：根据目标深度信息，对第五图像进行虚化处理。
在第五图像中，因各个物体距离电子设备远近不同，因此会在深度图中呈现不同的深度值差异，根据这个差异，对第五图像中的不同位置实施不同的虚化程度策略。
这样，在本申请的实施例中，在拍摄模式的目标变焦倍率下，因用户手持抖动，使得电子设备抖动，从而电子设备发生一定角度的转动，因此对摄像头采集的图像造成至少两方面的影响。第一方面，第一摄像头采集的第一图像和第二摄像头采集的第二图像因抖动出现了位移，对应地，分别对第一图像和第二图像分别进行位置校正，以消除因抖动产生的位移，从而分别得到第三图像和第四图像。第二方面，第一摄像头采集的第一图像和第二摄像头采集的第二图像因抖动出现了拍摄视角倾斜，使得第三图像和第四图像之间不满足预设条件，对应地，分别对第三图像和第四图像进行校正，以消除因抖动产生的视角异常，从而分别得到第五图像和第六图像，且第五图像和第六图像之间满足预设条件。进一步地，在对两个摄像头采集的初始图像进行两次校正后，再对第一摄像头对应的第五图像进行景深计算，从而根据图像中不同位置的深度值差异，对第五图像中的不同位置实施不同的虚化程度处理，以达到虚化效果。可见，本申请的实施例通过两次校正，可消除因电子设备抖动对两个摄像头所采集的图像造成的影响，从而解决拍摄过程中，在虚化模式下，因画面抖动导致虚化效果较差的问题。
在本申请另一个实施例的图像处理方法的流程中，步骤110，包括：
子步骤A1：基于公式一：
Figure BDA0003297595390000051
获取第一偏移量。
子步骤A2：根据第一偏移量，对第一图像进行校正，得到第三图像。
子步骤A3：基于公式一：
Figure BDA0003297595390000061
获取第二偏移量。
子步骤A4：根据第二偏移量，对第二图像进行校正，得到第四图像。
其中，在所述公式一中，H为单应性变换矩阵；R云台/OIS*R为所述目标角度；
Figure BDA0003297595390000062
fx表示x轴方向上的归一化焦距，fy表示y轴方向上的归一化焦距，cx、cy为图像主点的在x轴方向上和y轴方向上的坐标，z为所述目标变焦倍率。
在本实施例中，目标角度为：因电子设备抖动，摄像头采集的图像实际转动的角度。
可选地，本实施例中的电子设备包括防抖模组。防抖模组为云台/光学防抖(Optical Image Stabilization，简称OIS)模组。
其中，云台/光学防抖模组在变焦模式下，会基于光学防抖或者电子防抖原理实现防抖功能，该功能可以抵消用户手持抖动带来画面的抖动，提升稳像效果。
在本实施例中，根据单应性变换矩阵H，确定第一偏移量和第二偏移量。
其中，公式一：
Figure BDA0003297595390000063
在公式一中，将云台/OIS模组的补偿角转换成旋转矩阵形式(3x3)，记为R云台/OIS；R云台/OIS*R可以理解为电子设备因抖动实际转动的角度减去防抖模组补偿的角度，也就是因抖动图像实际转动的角度。其中，当防抖模组未运行时，则R云台/OIS*R＝R，即R云台/OIS*R为单位矩阵。
电子设备实际转动的角度可由目标时间戳下的陀螺仪转动角度而来，R云台/OIS可由对应目标时间戳对应的防抖模组补偿数据而来。而目标时间戳为第一摄像头采集第一图像，以及第二摄像头采集第二图像对应的时间戳。
另外，公式二：
Figure BDA0003297595390000064
在公式二中，fx表示x轴方向上的归一化焦距，fy表示y轴方向上的归一化焦距，cx、cy为图像主点的在x轴方向上和y轴方向上的坐标，z为目标变焦倍率。
在本实施例中，在虚化模式下，支持调节变焦倍率，例如可无级从1.0x调节到2.0x。
其中，等效焦距为25mm对应为1.0x，等效焦距为50mm对应为2.0x，分别模拟了25mm和50mm两个焦段的单反。
在本实施例中，当用户切换到触发防抖的目标变焦倍率时，如从1.0x切换到1.9x，可以通过公式一，计算主摄与副摄防抖变换关系(也就是主摄与副摄分别对应的单应性矩阵)，记为Hleis、Hreis。从而基于Hleis、Hreis，得到对应的第一偏移量和第二偏移量，以分别对第一图像和第二图像进行校正，此时得到主摄、副摄防抖画面。
需要说明的是，当目标变焦倍率为1.0x时，主摄与副摄防抖变换关系，分别记作Hl、Hr；目标变焦倍率变化后，可基于公式一，得到对应变化后的目标变焦倍率，主摄与副摄防抖变换关系，分别记作Hleis、Hreis。因此，可以理解为：Hleis是由Hl变换而来，Hreis是由Hr变换而来。
在本实施例中，提供了一种结合云台/OIS的防抖算法，当云台/OIS模组运行时，可以进行光学防抖，以提升画质，以及用户拍摄体验，同时，光学防抖应用于本实施例的矩阵中，以在虚化模式下充分利用云台/OIS光学防抖特性，进一步提升本申请的防抖效果，以提升画质，以及用户拍摄体验。
在本申请另一个实施例的图像处理方法的流程中，在步骤110之前，该方法还包括：
步骤B1：根据陀螺仪转动的第一角度，以及防抖模组补偿的第二角度，获取目标角度。
其中，所述公式一中的R云台/OIS*R用于表示所述第一角度减去所述第二角度、获取的所述目标角度；R云台/OIS*R为旋转矩阵形式；当所述防抖模组未运行时，R云台/OIS*R＝R。
在本实施例中，在同一时间戳下，目标角度等于第一角度减去第二角度。
即，电子设备因抖动实际转动的角度是第一角度，而在光学防抖的作用下，对防抖进行了一定的补偿，补偿的角度为第二角度，因此，图像实际因抖动转动的角度为第一角度减去第二角度得到的目标角度。
在本实施例中，在光学防抖的基础上，进一步实现防抖，使得防抖效果更加明显，提高拍摄的画质。
在本申请另一个实施例的图像处理方法中，第五图像和第六图像沿水平方向对齐。
在本实施例中，因电子设备抖动，导致摄像头实际采集的图像视角，相比于用户期望拍摄的图像视角，发生了倾斜，因此，在步骤120中，需要将两个摄像头采集的图像进行水平方向上的对齐，即行对齐。当两个图像是行对齐状态时，图像中的各个对象也一定是行对齐的。
参见图2，左侧两个图和右侧两个图，分别示出了对齐前后的状态。
在本实施例中，在图像中消除因抖动造成的图像位移偏离的基础上，还在图像中消除了因抖动造成的图像视角倾斜，使得两个图像最终呈现出来的效果，是基于两个平行的摄像头在理想状态下而来的，以为后续的虚化提前做好图像处理步骤，以确保虚化效果。
在本申请另一个实施例的图像处理方法的流程中，步骤120，包括：
子步骤C1：校正第三图像中的目标像素点的纵坐标为第一数值，得到第五图像。
子步骤C2：校正第四图像中的目标像素点的纵坐标为第二数值，得到第六图像。
其中，第一数值等于第二数值。
在本实施例中，第一步，基于防抖变换处理的主副摄视图，提取特征点信息，分别记作fL和fR。
第二步，对fL和fR进行特征点匹配，得到fmatch。假设图像中包含n组特征点，第i组特征点在第三图像中的坐标为(xli’，yli’)，在第四图像中的坐标为(xri’，yri’)。
第三步，对第三图像和第四图像进行校正，使得yli’＝yri’，从而得到校正后的第五图像和第六图像。
可参考地，在本实施例中，第三图像由第一图像校正而来，对应的单应性变换矩阵为Hl，第四图像由第二图像校正而来，对应的单应性变换矩阵为Hr，则对第i组特征点在做完单应性变换后的位置为：
公式三：
Figure BDA0003297595390000091
公式四：
Figure BDA0003297595390000092
其中，第i组特征点在第一图像中的坐标为(xl，yli)，在第二图像中的坐标为(xri，yri)。
理论上，当双摄单应性变换后图像是对齐状态，主副摄视图中所以物体必然时行对齐状态，因此可以得到：
公式五：yli′＝yri′
因此，基于公式六：
Figure BDA0003297595390000093
与公式三、公式四结合，可以求解Hl、Hr。进一步地，基于本实施例求解得到的Hl、Hr，对第一图像和第二图像进行校正，以直接得到第五图像和第六图像。
其中，若不对Hl、Hr做特殊限制，结果可能出错，图像校正尺度会发生改变，会出现缩放，因此需要对Hl做相应的限制。可以令Hl为绕垂直于主摄图像平面所在方向的旋转变换(只包含一个选转变量)：
公式七：
Figure BDA0003297595390000094
进一步地，在针对校正后的第五图像计算深度图，此时深度图相对于第一图像存在一个变换关系Hl，因此，将计算得到的深度图反变换，反变换单应性矩阵为Hl-1。根据单应性变换矩阵Hl-1对深度图做透视变换处理，得到ImgD，因此，该ImgD是与第一图像是相对应的。
在本实施例中，提供了一种适用于因摄像头抖动导致采集视角倾斜的校正，以在提升虚化模式下的画质的基础上，实现图像虚化，确保虚化效果。
综上，本申请提供了一种电子设备的变焦稳像防抖虚化的方法。通过本申请的实施方式，可以带来两方面的用户体验提升。其一，可变倍率的大光圈虚化效果；其二，具有防抖特性的大光圈虚化防抖稳像效果。因此本申请可提升用户在电子设备使用虚化功能的体验。
其中，本申请结合双摄虚化算法和稳像防抖算法实现方案中技术相关性，使用户在电子设备的相机中调节倍率(变焦)后，具备稳像的效果，在此基础上，结合虚化算法，使得虚化算法不仅具备可调节倍率的特性，也具备防抖稳像的效果，提升了用户的使用体验。
需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。
图3示出了本申请另一个实施例的图像处理装置的框图，该装置包括：
第一校正模块10，用于在第一摄像头采集第一图像、第二摄像头采集第二图像的情况下，根据目标变焦倍率和目标角度，校正第一图像，得到第三图像，以及校正第二图像，得到第四图像；其中，目标角度为第一图像和第二图像在抖动过程中偏移的角度；
第二校正模块20，用于在第三图像与第四图像之间不满足预设条件的情况下，校正第三图像，得到第五图像，以及校正第四图像，得到第六图像；其中，第五图像和第六图像之间满足预设条件；
第一获取模块30，用于根据第五图像和第六图像，获取第五图像对应的目标深度信息；
处理模块40，用于根据目标深度信息，对第五图像进行虚化处理。
这样，在本申请的实施例中，在拍摄模式的目标变焦倍率下，因用户手持抖动，使得电子设备抖动，从而电子设备发生一定角度的转动，因此对摄像头采集的图像造成至少两方面的影响。第一方面，第一摄像头采集的第一图像和第二摄像头采集的第二图像因抖动出现了位移，对应地，分别对第一图像和第二图像分别进行位置校正，以消除因抖动产生的位移，从而分别得到第三图像和第四图像。第二方面，第一摄像头采集的第一图像和第二摄像头采集的第二图像因抖动出现了拍摄视角倾斜，使得第三图像和第四图像之间不满足预设条件，对应地，分别对第三图像和第四图像进行校正，以消除因抖动产生的视角异常，从而分别得到第五图像和第六图像，且第五图像和第六图像之间满足预设条件。进一步地，在对两个摄像头采集的初始图像进行两次校正后，再对第一摄像头对应的第五图像进行景深计算，从而根据图像中不同位置的深度值差异，对第五图像中的不同位置实施不同的虚化程度处理，以达到虚化效果。可见，本申请的实施例通过两次校正，可消除因电子设备抖动对两个摄像头所采集的图像造成的影响，从而解决拍摄过程中，在虚化模式下，因画面抖动导致虚化效果较差的问题。
可选地，第一校正模块10，包括：
第一获取单元，用于基于公式一：
Figure BDA0003297595390000111
获取第一偏移量；
第一校正单元，用于根据第一偏移量，对第一图像进行校正，得到第三图像；以及，
第二获取单元，用于基于公式一：
Figure BDA0003297595390000112
获取第二偏移量；
第二校正单元，用于根据第二偏移量，对第二图像进行校正，得到第四图像；
其中，在所述公式一中，H为单应性变换矩阵；R云台/OIS*R为所述目标角度；
Figure BDA0003297595390000113
fx表示x轴方向上的归一化焦距，fy表示y轴方向上的归一化焦距，cx、cy为图像主点的在x轴方向上和y轴方向上的坐标，z为所述目标变焦倍率。
可选地，该装置还包括：
第二获取模块，用于根据陀螺仪转动的第一角度，以及防抖模组补偿的第二角度，获取目标角度；
其中，所述公式一中的R云台/OIS*R用于表示所述第一角度减去所述第二角度、获取的所述目标角度；R云台/OIS*R为旋转矩阵形式；当所述防抖模组未运行时，R云台/OIS*R＝R。
可选地，第五图像和第六图像沿水平方向对齐。
可选地，第二校正模块20，包括：
第三校正单元，用于校正第三图像中的目标像素点的纵坐标为第一数值，得到第五图像；以及，
第四校正单元，用于校正第四图像中的目标像素点的纵坐标为第二数值，得到第六图像；
其中，第一数值等于第二数值。
本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有动作***的装置。该动作***可以为安卓(Android)动作***，可以为ios动作***，还可以为其他可能的动作***，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图4所示，本申请实施例还提供一种电子设备100，包括处理器101，存储器102，存储在存储器102上并可在所述处理器101上运行的程序或指令，该程序或指令被处理器101执行时实现上述任一图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器1010逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器1010，用于在第一摄像头采集第一图像、第二摄像头采集第二图像的情况下，根据目标变焦倍率和目标角度，校正所述第一图像，得到第三图像，以及校正所述第二图像，得到第四图像；其中，所述目标角度为所述第一图像和所述第二图像在抖动过程中偏移的角度；在所述第三图像与所述第四图像之间不满足预设条件的情况下，校正所述第三图像，得到第五图像，以及校正所述第四图像，得到第六图像；其中，所述第五图像和所述第六图像之间满足所述预设条件；根据所述第五图像和所述第六图像，获取所述第五图像对应的目标深度信息；根据所述目标深度信息，对所述第五图像进行虚化处理。
这样，在本申请的实施例中，在拍摄模式的目标变焦倍率下，因用户手持抖动，使得电子设备抖动，从而电子设备发生一定角度的转动，因此对摄像头采集的图像造成至少两方面的影响。第一方面，第一摄像头采集的第一图像和第二摄像头采集的第二图像因抖动出现了位移，对应地，分别对第一图像和第二图像分别进行位置校正，以消除因抖动产生的位移，从而分别得到第三图像和第四图像。第二方面，第一摄像头采集的第一图像和第二摄像头采集的第二图像因抖动出现了拍摄视角倾斜，使得第三图像和第四图像之间不满足预设条件，对应地，分别对第三图像和第四图像进行校正，以消除因抖动产生的视角异常，从而分别得到第五图像和第六图像，且第五图像和第六图像之间满足预设条件。进一步地，在对两个摄像头采集的初始图像进行两次校正后，再对第一摄像头对应的第五图像进行景深计算，从而根据图像中不同位置的深度值差异，对第五图像中的不同位置实施不同的虚化程度处理，以达到虚化效果。可见，本申请的实施例通过两次校正，可消除因电子设备抖动对两个摄像头所采集的图像造成的影响，从而解决拍摄过程中，在虚化模式下，因画面抖动导致虚化效果较差的问题。
可选地，处理器1010，还用于基于公式一：
Figure BDA0003297595390000141
获取第一偏移量；根据所述第一偏移量，对所述第一图像进行校正，得到所述第三图像；以及，基于公式一：
Figure BDA0003297595390000142
获取第二偏移量；根据所述第二偏移量，对所述第二图像进行校正，得到所述第四图像；其中，在所述公式一中，H为单应性变换矩阵；R云台/OIS*R为所述目标角度；
Figure BDA0003297595390000143
fx表示x轴方向上的归一化焦距，fy表示y轴方向上的归一化焦距，cx、cy为图像主点的在x轴方向上和y轴方向上的坐标，z为所述目标变焦倍率。
可选地，处理器1010，还用于根据陀螺仪转动的第一角度，以及防抖模组补偿的第二角度，获取所述目标角度；其中，所述公式一中的R云台/OIS*R用于表示所述第一角度减去所述第二角度、获取的所述目标角度；R云台/OIS*R为旋转矩阵形式；当所述防抖模组未运行时，R云台/OIS*R＝R。
可选地，所述第五图像和所述第六图像沿水平方向对齐。
可选地，处理器1010，还用于校正所述第三图像中的目标像素点的纵坐标为第一数值，得到所述第五图像；以及，校正所述第四图像中的所述目标像素点的纵坐标为第二数值，得到所述第六图像；其中，所述第一数值等于所述第二数值。
综上，本申请提供了一种电子设备的变焦稳像防抖虚化的方法。通过本申请的实施方式，可以给用户带来两个方面的用户体验提升。其一，可变倍率的大光圈虚化效果；其二，具有防抖特性的大光圈虚化防抖稳像效果。因此本申请可提升用户在电子设备使用虚化功能的体验。
其中，本申请结合双摄虚化算法和稳像防抖算法实现方案中技术相关性，使用户在电子设备的相机中调节倍率(变焦)后，具备稳像的效果，在此基础上，结合虚化算法，使得虚化算法不仅具备可调节倍率的特性，也具备防抖稳像的效果，提升了用户的使用体验。
应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频处理捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频处理的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、动作杆，在此不再赘述。存储器1009可用于存储软件程序以及各种数据，包括但不限于应用程序和动作***。处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理动作***、用户页面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
在第一摄像头采集第一图像、第二摄像头采集第二图像的情况下，根据目标变焦倍率和目标角度，校正所述第一图像，得到第三图像，以及校正所述第二图像，得到第四图像；其中，所述目标角度为所述第一图像和所述第二图像在抖动过程中偏移的角度；
在所述第三图像与所述第四图像之间不满足预设条件的情况下，校正所述第三图像，得到第五图像，以及校正所述第四图像，得到第六图像；其中，所述第五图像和所述第六图像之间满足所述预设条件；
根据所述第五图像和所述第六图像，获取所述第五图像对应的目标深度信息；
根据所述目标深度信息，对所述第五图像进行虚化处理。
2.根据权利要求1所述的方法，其特征在于，所述校正所述第一图像，得到第三图像，以及校正所述第二图像，得到第四图像，包括：
基于公式一：
Figure FDA0003297595380000011
获取第一偏移量；
根据所述第一偏移量，对所述第一图像进行校正，得到所述第三图像；以及，
基于公式一：
Figure FDA0003297595380000012
获取第二偏移量；
根据所述第二偏移量，对所述第二图像进行校正，得到所述第四图像；
其中，在所述公式一中，H为单应性变换矩阵；R云台/OIS*R为所述目标角度；
Figure FDA0003297595380000013
fx表示x轴方向上的归一化焦距，fy表示y轴方向上的归一化焦距，cx、cy为图像主点的在x轴方向上和y轴方向上的坐标，z为所述目标变焦倍率。
3.根据权利要求2所述的方法，其特征在于，所述校正所述第一图像，得到第三图像，以及校正所述第二图像，得到第四图像之前，所述方法还包括：
根据陀螺仪转动的第一角度，以及防抖模组补偿的第二角度，获取所述目标角度；
其中，所述公式一中的R云台/OIS*R用于表示所述第一角度减去所述第二角度、获取的所述目标角度；R云台/OIS*R为旋转矩阵形式；当所述防抖模组未运行时，R云台/OIS*R＝R。
4.根据权利要求1所述的方法，其特征在于，所述第五图像和所述第六图像沿水平方向对齐。
5.根据权利要求4所述的方法，其特征在于，所述校正所述第三图像，得到第五图像，以及校正所述第四图像，得到第六图像，包括：
校正所述第三图像中的目标像素点的纵坐标为第一数值，得到所述第五图像；以及，
校正所述第四图像中的所述目标像素点的纵坐标为第二数值，得到所述第六图像；
其中，所述第一数值等于所述第二数值。
6.一种图像处理装置，其特征在于，所述装置包括：
第一校正模块，用于在第一摄像头采集第一图像、第二摄像头采集第二图像的情况下，根据目标变焦倍率和目标角度，校正所述第一图像，得到第三图像，以及校正所述第二图像，得到第四图像；其中，所述目标角度为所述第一图像和所述第二图像在抖动过程中偏移的角度；
第二校正模块，用于在所述第三图像与所述第四图像之间不满足预设条件的情况下，校正所述第三图像，得到第五图像，以及校正所述第四图像，得到第六图像；其中，所述第五图像和所述第六图像之间满足所述预设条件；
第一获取模块，用于根据所述第五图像和所述第六图像，获取所述第五图像对应的目标深度信息；
处理模块，用于根据所述目标深度信息，对所述第五图像进行虚化处理。
7.根据权利要求6所述的装置，其特征在于，所述第一校正模块，包括：
第一获取单元，用于基于公式一：
Figure FDA0003297595380000021
获取第一偏移量；
第一校正单元，用于根据所述第一偏移量，对所述第一图像进行校正，得到所述第三图像；以及，
第二获取单元，用于基于公式一：
Figure FDA0003297595380000031
获取第二偏移量；
第二校正单元，用于根据所述第二偏移量，对所述第二图像进行校正，得到所述第四图像；
其中，在所述公式一中，H为单应性变换矩阵；R云台/OIS*R为所述目标角度；
Figure FDA0003297595380000032
fx表示x轴方向上的归一化焦距，fy表示y轴方向上的归一化焦距，cx、cy为图像主点的在x轴方向上和y轴方向上的坐标，z为所述目标变焦倍率。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于根据陀螺仪转动的第一角度，以及防抖模组补偿的第二角度，获取所述目标角度；
其中，所述公式一中的R云台/OIS*R用于表示所述第一角度减去所述第二角度、获取的所述目标角度；R云台/OIS*R为旋转矩阵形式；当所述防抖模组未运行时，R云台/OIS*R＝R。
9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的图像处理方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的图像处理方法的步骤。
CN202111181857.4A 2021-10-11 2021-10-11 图像处理方法、装置、电子设备和可读存储介质 Pending CN113888435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111181857.4A CN113888435A (zh) 2021-10-11 2021-10-11 图像处理方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111181857.4A CN113888435A (zh) 2021-10-11 2021-10-11 图像处理方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN113888435A true CN113888435A (zh) 2022-01-04

Family

ID=79005941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111181857.4A Pending CN113888435A (zh) 2021-10-11 2021-10-11 图像处理方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN113888435A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115529411A (zh) * 2022-03-02 2022-12-27 荣耀终端有限公司 视频虚化方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115529411A (zh) * 2022-03-02 2022-12-27 荣耀终端有限公司 视频虚化方法和装置
CN115529411B (zh) * 2022-03-02 2024-05-17 荣耀终端有限公司 视频虚化方法和装置

Similar Documents

Publication Publication Date Title
CN113556464B (zh) 拍摄方法、装置及电子设备
CN113596294A (zh) 拍摄方法、装置和电子设备
CN112637500B (zh) 图像处理方法及装置
WO2021035485A1 (zh) 拍摄防抖方法、装置、终端及存储介质
CN112672050A (zh) 基于云台的拍摄方法、装置及电子设备
US11949986B2 (en) Anti-shake method, anti-shake apparatus, and electronic device
CN112734659A (zh) 图像校正方法、装置及电子设备
CN114040113A (zh) 图像处理方法及其装置
CN112261262B (zh) 图像校准方法和装置、电子设备和可读存储介质
CN115103126A (zh) 拍摄预览方法、装置、电子设备及存储介质
CN113888435A (zh) 图像处理方法、装置、电子设备和可读存储介质
WO2023241495A1 (zh) 拍摄方法及其装置
CN114143457B (zh) 拍摄方法、装置和电子设备
CN112672058B (zh) 拍摄方法及装置
CN114785957A (zh) 拍摄方法及其装置
CN113315906B (zh) 图像处理方法、装置及电子设备
CN112738398B (zh) 一种图像防抖方法、装置和电子设备
CN112492213B (zh) 图像拍摄方法、装置和电子设备
CN114241127A (zh) 全景图像生成方法、装置、电子设备和介质
CN113891005A (zh) 拍摄方法、装置及电子设备
CN112367464A (zh) 图像输出方法、装置及电子设备
CN112399092A (zh) 拍摄方法、装置和电子设备
CN112333388B (zh) 图像显示方法、装置和电子设备
CN115278071B (zh) 图像处理方法、装置、电子设备和可读存储介质
CN113938605B (zh) 拍照方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination