CN111726526B - 一种图像处理方法、装置、电子设备和存储介质 - Google Patents

一种图像处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111726526B
CN111726526B CN202010573559.9A CN202010573559A CN111726526B CN 111726526 B CN111726526 B CN 111726526B CN 202010573559 A CN202010573559 A CN 202010573559A CN 111726526 B CN111726526 B CN 111726526B
Authority
CN
China
Prior art keywords
depth
image
depth information
information
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010573559.9A
Other languages
English (en)
Other versions
CN111726526A (zh
Inventor
朱文波
方攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010573559.9A priority Critical patent/CN111726526B/zh
Publication of CN111726526A publication Critical patent/CN111726526A/zh
Application granted granted Critical
Publication of CN111726526B publication Critical patent/CN111726526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开了一种图像处理方法，该方法包括：获取已采集的第一深度图像的第一深度信息；基于第一深度信息，获取预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息；采集第二深度图像，并获取第二深度图像与第一深度图像不同的图像区域对应的第三深度信息；基于第二深度信息和第三深度信息，对第二深度图像进行虚化处理，并输出虚化处理后的图像。本申请的实施例同时还公开了一种图像处理装置、电子设备和存储介质。

Description

一种图像处理方法、装置、电子设备和存储介质
技术领域
本申请涉及但不限于图像处理技术领域，尤其涉及一种图像处理方法、图像处理装置、电子设备和存储介质。
背景技术
目前，图像虚化的技术方案对算法或者单帧深度信息的准确性有着较大的依赖，对于单镜头虚化技术，需要通过多次曝光等一些方式来获得图像的深度信息；对于多镜头虚化技术，通过多镜头视差来进行深度信息的计算，依赖于深度图算法计算出的图像中不同点的深度信息的准确性。然而，上述虚化技术手段均难以获得较为准确的深度图，导致虚化效果较差。
发明 内容
本申请实施例期望提供一种图像处理方法、图像处理装置、电子设备和存储介质，解决了相关技术中难以获得较为准确的深度图，导致虚化效果较差的问题；实现基于历史帧的深度信息修正当前帧的深度信息，提高深度图的准确性，并基于修正后的深度信息对图像进行虚化，得到具有理想虚化效果的图像。
本申请的技术方案是这样实现的：
一种图像处理方法，所述方法包括：
获取已采集的第一深度图像的第一深度信息；
基于所述第一深度信息，获取预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息；
采集第二深度图像，并获取所述第二深度图像与所述第一深度图像不同的图像区域对应的第三深度信息；
基于所述第二深度信息和所述第三深度信息，对所述第二深度图像进行虚化处理，并输出虚化处理后的图像。
可选的，所述获取已采集的第一深度图像的第一深度信息之后，所述方法包括：
获取图像采集装置的运动趋势信息；
相应的，所述基于所述第一深度信息，获取预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息，包括：
基于所述运动趋势信息，对所述第一深度信息进行分割处理，得到所述第二深度信息。
可选的，所述获取图像采集装置的运动趋势信息，包括：
基于陀螺仪采集的表征所述图像采集装置的运动趋势的信号，和/或对多帧历史深度图像进行分析得到的分析结果，确定所述运动趋势信息；
所述分析结果是将所述多帧历史深度图像输入至经过训练得到的网络模型，所得到的分析所述图像采集状态的运动趋势的结果，所述多帧历史深度图像与所述第二深度图像的采集场景相同，且所述多帧历史深度图像包括所述第一深度图像。
可选的，所述获取所述第二深度图像与所述第一深度图像不同的图像区域对应的第三深度信息，包括：
降低所述第一深度图像与所述第二深度图像相同的图像区域的分辨率；
将降低分辨率后的所述第一深度图像和降低分辨率后的所述第二深度图像进行融合，并获取融合后的深度图像的第四深度信息，所述第四深度信息作为所述第二深度图像的更新后的深度信息；
基于所述第四深度信息，获取所述第三深度信息。
可选的，所述基于所述第二深度信息和所述第三深度信息，对所述第二深度图像进行虚化处理，包括：
获取所述第一深度图像和第二深度图像相同的图像区域的深度信息变化量；
基于所述深度信息变化量、所述第二深度信息和所述第三深度信息，对所述第二深度图像进行虚化处理。
可选的，所述基于所述深度信息变化量、所述第二深度信息和所述第三深度信息，对所述第二深度图像进行虚化处理，包括：
将所述深度信息变化量、所述第二深度信息和所述第三深度信息输入深度图合成算法模型中，得到输出的第五深度信息；
基于所述第五深度信息，对所述第二深度图像进行虚化处理。
可选的，所述基于所述第五深度信息，对所述第二深度图像进行虚化处理，包括：
基于所述第五深度信息对所述第二深度图像的前景部分或背景部分进行虚化处理。
一种图像处理装置，所述图像处理装置包括：
获取模块，用于获取已采集的第一深度图像的第一深度信息；
所述获取模块，还用于基于所述第一深度信息，获取预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息；
图像采集模块，用于采集第二深度图像；
所述获取模块，还用于获取所述第二深度图像与所述第一深度图像不同的图像区域对应的第三深度信息；
处理模块，用于基于所述第二深度信息和所述第三深度信息，对所述第二深度图像进行虚化处理，并输出虚化处理后的图像。
一种电子设备，所述电子设备包括：处理器、存储器和通信总线；
所述通信总线用于实现处理器和存储器之间的通信连接；
所述处理器用于执行存储器中存储的图像处理程序，以实现上述的图像处理方法的步骤。
一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的图像处理方法的步骤。
本申请实施例所提供的图像处理方法、图像处理装置、电子设备和存储介质，获取已采集的第一深度图像的第一深度信息；基于第一深度信息，获取预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息；采集第二深度图像，并获取第二深度图像与第一深度图像不同的图像区域对应的第三深度信息；基于第二深度信息和第三深度信息，对第二深度图像进行虚化处理，并输出虚化处理后的图像；也就是说，本申请实施例在进行图像虚化处理的过程中，提前保留第一深度信息中的第二深度信息，即保留历史帧中的可用深度信息，在采集到第二深度图像后获取第二深度图像的深度信息中与第一深度图像不同的图像区域对应的第三深度信息，进而利用第二深度信息和第三深度信息对第二深度图像进行虚化处理，实现基于历史帧的深度信息修正当前帧的深度信息，提高深度图的准确性，并基于修正后的深度信息对第二深度图像进行虚化，得到具有理想虚化效果的图像。
附图说明
图1为本申请的实施例提供的图像处理方法的流程示意图一；
图2为本申请的实施例提供的图像处理方法的流程示意图二；
图3为本申请的实施例提供的深度信息原理示意图一；
图4为本申请的实施例提供的深度信息原理示意图二；
图5为本申请的实施例提供的图像处理方法的流程示意图三；
图6为本申请的实施例提供的一种图像处理装置的结构示意图；
图7为本申请的实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
目前常用的图像虚化方案都是基于深度图进行图像优化，对于深度图的获取有基于一个摄像头和两个摄像头两种。基于一个摄像头可以通过(Artificial Intelligence，AI)或者飞行时间(Time of flight，TOF)镜头获得拍摄区域的深度信息。目前主流深度信息获取方案会利用双摄构建深度图(Depth Map)，以此推断景物的前后关系，控制虚化的程度。双摄可以利用两个摄像头的视角差异计算出每个像素点离焦平面的距离从而依据焦平面距离来计算深度信息。
需要说明的是，图像虚化的技术方案对算法或者单帧深度信息的准确性有着较大的依赖，对于单镜头虚化技术，需要通过多次曝光等一些方式来获得图像的深度数据，或者通过AI算法进行虚化处理，否则只能通过抠图的方式进行虚化，使得虚化的效果没有层次感，影响用户体验；对于多镜头虚化技术，通过多镜头视差来进行深度信息的计算，则依赖于深度图算法的处理效果，能否准确的计算出图像中不同点的深度信息，然而，上述虚化技术手段均难以获得较为准确的深度图，导致虚化效果较差。
本申请的实施例提供一种图像处理方法，应用于电子设备，参照图1所示，该方法包括以下步骤：
步骤101、获取已采集的第一深度图像的第一深度信息。
本申请实施例中，电子设备可以包括诸如手机、平板电脑、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、相机、可穿戴设备等移动终端设备，以及诸如台式计算机等固定终端设备。
本申请实施例中，第一深度图像至少包括一帧图像。第一深度图像作为后续采集的第二深度图像的历史参考图像。本申请中涉及的深度信息用于表征深度图像内各个像素点处的景物与拍摄点之间的距离。
步骤102、基于第一深度信息，获取预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息。
本申请实施例中，电子设备在采集到第一深度图像后，获取第一深度图像的第一深度信息。进一步地，电子设备可以预测第一深度图像与第二深度图像相同的图像区域。从而电子设备基于第一深度信息，获取预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息即基于相同区域的范围对当前帧的深度图进行分割，此时，电子设备还可以缓存当前帧的部分深度信息即相同区域对应的深度信息。
步骤103、采集第二深度图像，并获取第二深度图像与第一深度图像不同的图像区域对应的第三深度信息。
本申请实施例中，电子设备采集到第二深度图像的情况下，可以获取到第二深度图像的深度信息，并获取第二深度图像与第一深度图像不同的图像区域对应的第三深度信息。也就是说，第三深度信息是变化区域对应的深度信息。
步骤104、基于第二深度信息和第三深度信息，对第二深度图像进行虚化处理，并输出虚化处理后的图像。
本申请实施例中，电子设备获取到第二深度信息和第三深度信息的情况下，可以基于历史帧的深度信息修正当前帧的深度信息，如基于历史帧中相同区域的深度信息变化量、缓存的部分历史帧的深度信息以及差异区域的深度信息，对第二深度图像进行虚化处理，并输出虚化处理后的图像。
本申请实施例所提供的图像处理方法，获取已采集的第一深度图像的第一深度信息；基于第一深度信息，获取预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息；采集第二深度图像，并获取第二深度图像与第一深度图像不同的图像区域对应的第三深度信息；基于第二深度信息和第三深度信息，对第二深度图像进行虚化处理，并输出虚化处理后的图像；也就是说，本申请实施例在进行图像虚化处理的过程中，提前保留第一深度信息中的第二深度信息，即保留历史帧中的可用深度信息，在采集到第二深度图像后获取第二深度图像的深度信息中与第一深度图像不同的图像区域对应的第三深度信息，进而利用第二深度信息和第三深度信息对第二深度图像进行虚化处理，实现基于历史帧的深度信息修正当前帧的深度信息，提高深度图的准确性，并基于修正后的深度信息对第二深度图像进行虚化，得到具有理想虚化效果的图像。
本申请的实施例提供一种图像处理方法，应用于电子设备，参照图2所示，该方法包括以下步骤：
步骤201、获取已采集的第一深度图像的第一深度信息。
这里，电子设备在需要进行图像虚化的场景下，获取已采集的第一深度图像的第一深度信息。
步骤202、获取图像采集装置的运动趋势信息。
本申请实施例中，步骤202获取图像采集装置的运动趋势信息可以通过如下方式实现：
方式一、基于陀螺仪采集的表征图像采集装置的运动趋势的信号，确定运动趋势信息。电子设备设置有陀螺仪，用于采集表征图像采集装置的运动趋势的信号。
方式二、基于对多帧历史深度图像进行分析得到的分析结果，确定运动趋势信息。
这里，分析结果是将多帧历史深度图像输入至经过训练得到的网络模型，所得到的分析图像采集状态的运动趋势的结果，多帧历史深度图像与第二深度图像的采集场景相同，且多帧历史深度图像包括第一深度图像。
一些实施例中，电子设备在同一采集场景下，获取到多帧历史深度图像后，输入多帧历史深度图像至经过训练得到的网络模型，得到上述分析结果。
方式三、基于陀螺仪采集的表征图像采集装置的运动趋势的信号以及对多帧历史深度图像进行分析得到的分析结果，确定运动趋势信息。
本申请实施例中，电子设备可以基于陀螺仪采集的表征图像采集装置的运动趋势的信号以及对多帧历史深度图像进行分析得到的分析结果，共同确定运动趋势信息，提高运动趋势信息的精确性。
步骤203、基于运动趋势信息，对第一深度信息进行分割处理，得到第二深度信息。
步骤204、采集第二深度图像。
步骤205、降低第一深度图像与第二深度图像相同的图像区域的分辨率。
步骤206、将降低分辨率后的第一深度图像和降低分辨率后的第二深度图像进行融合，并获取融合后的深度图像的第四深度信息。
第四深度信息作为第二深度图像的更新后的深度信息。
这里，对于当前帧和历史帧相同的图像区域在计算当前帧深度信息时可以降低该相同区域的深度图的分辨率，然后再将计算结果和历史帧的深度图进行融合，生成更准确的当前帧的深度信息。
需要说明的是，参考图3和图4，对于图像的虚化效果取决于深度图的准确度，理论上越远离焦平面，则弥散圆越大颗，成像也就越模糊。也就是说越靠近焦平面的位置的成像是越清晰的。虚化比较理想的效果就是景深范围之外虽然都是模糊的，但模糊程度是有差异的，越靠近焦平面，就越清晰，越远离焦平面则越模糊。这些效果都是取决于深度信息的准确度和计算的及时性。
本申请提供的图像处理方法，提升了深度信息的准确性，为图像的虚化处理提供了可靠的参考因素，进而提高了虚化效果。
步骤207、基于第四深度信息，获取第三深度信息。
步骤208、获取第一深度图像和第二深度图像相同的图像区域的深度信息变化量。
这里，相同图像区域在历史帧和当前帧的深度变化上，可以根据图像中某一参考点的绝对距离的变化进行计算得到。
步骤209、基于深度信息变化量、第二深度信息和第三深度信息，对第二深度图像进行虚化处理。
本申请实施例中，步骤209基于深度信息变化量、第二深度信息和第三深度信息，对第二深度图像进行虚化处理，可以通过如下步骤实现：
第一步、将深度信息变化量、第二深度信息和第三深度信息输入深度图合成算法模型中，得到输出的第五深度信息。
第二步、基于第五深度信息，对第二深度图像进行虚化处理。
本申请其他实施例中，基于第五深度信息，对第二深度图像进行虚化处理的步骤可以包括：基于第五深度信息对第二深度图像的前景部分或背景部分进行虚化处理。也就是说，在获取到准确的深度信息的情况下，可以根据当前应用场景，灵活选择对第二深度图像的前景部分或背景部分进行虚化处理。例如，电子设备检测操作对象的输入信息，基于输入信息确定虚化对象为前景部分或背景部分，进而对虚化对象进行虚化处理。这里，输入信息可以语音信息；输入信息还可以是对电子设备的屏幕的触控信息，通过该屏幕可以看到采集的图像。
由上述可知，本申请通过对运动趋势的判断提前保留历史帧中的可用深度信息，在新的帧上来之后再利用历史帧的深度信息计算当前帧的深度信息或利用历史帧的深度信息修正当前帧的深度信息，达到提高深度图准确性的目的。此外，由于利用了历史帧的深度信息可以大大减少对当前帧的算力消耗达到提高深度图运算速度减少***功耗的目的。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本申请的实施例提供一种图像处理方法，应用于电子设备，电子设备设置有相机，参照图5所示，该方法包括以下步骤：
步骤301、开启相机，进入需要进行虚化处理的场景。
步骤302、计算当前图像的深度信息并进行缓存。
步骤303、获取陀螺仪采集的信号，计算运动趋势。
步骤304、根据运动趋势的计算结果推测下一帧图像和当前图像相同的图像区域。
步骤305、根据相同区域的范围对当前帧的深度信息进行分割并存储。
其中，可以存储历史多帧的相同图像区域的深度信息。
步骤306、采集新的图像帧。
步骤307、分割出与历史帧的不同区域，并计算不同区域的详细的深度信息。
步骤308、计算相同图像区域的深度信息变化。
其中，深度信息变化包括新帧相对于历史帧的深度变化幅度，例如相对历史帧距离某一点的距离增加或减少的值。
其中，相同图像区域的深度信息变化用dep’表示。
步骤309、将dep’、缓存的部分历史帧的深度信息，基于最新图片得到的差异区域的深度信息输入到深度图合成算法模型中，并输出更新后的深度信息。
步骤310、虚化处理算法根据更新后的深度信息对图像进行虚化处理。
步骤311、输出虚化后的图像。
本申请实施例中，还可以根据多个历史帧的深度信息进行合成，实现多帧合成的效果，提高深度信息的准确性，例如利用三帧或五帧的历史深度信息进行合成。或者对于当前帧和历史帧相同的图像区域在计算当前帧深度信息时可以降低该相同区域的深度图的分辨率，然后再将计算结果和历史帧的深度图进行融合，生成更准确的当前帧的深度信息。
由上述可知，本申请将运动趋势和类多帧融合技术应用到图像的深度图计算之中，首先将历史帧的深度信息进行存储，进而通过陀螺仪的信息得到相机运动趋势的相关信息，根据运动趋势参数对历史帧的深度信息进行分割处理，例如将预测到的下一帧中具有的相同图像区域的深度信息进行保留，当新的一帧上来之后，首先对相同区域以外的图像区域进行深度信息计算，再根据相同图像区域在不同时刻的相对深度变化程度对整个图像的深度区域进行合成，历史帧和当前帧相同区域的深度信息+当前帧新区域的深度信息，生成整幅图像的深度信息。对于此方案还可以根据多个历史帧的深度信息进行合成，提高深度信息的准确性；或者对于当前帧和历史帧相同的图像区域在当前帧计算深度信息时可以降低该相同区域的深度图的分辨率，然后将历史帧的深度图和当前帧计算得到的深度图进行融合，生成更准确的当前帧的深度信息，进而利用当前帧的深度信息进行图像的虚化处理。
本申请提供的图像处理方案，不仅可以用于图像的深度信息处理上，也可以应用到其他的需要对整幅图像进行处理的应用中。在一些应用场景中，可以利用陀螺仪的信息预测运动趋势，提前对历史数据中的可用信息进行保留，在新的数据上来之后再利用历史数据进行融合修正。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本申请的实施例提供一种图像处理装置，该图像处理装置可以应用于图1、 2对应的实施例提供的一种图像处理方法中，参照图6所示，该图像处理装置4 包括：
获取模块41，用于获取已采集的第一深度图像的第一深度信息；
获取模块41，还用于基于第一深度信息，获取预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息；
图像采集模块42，用于采集第二深度图像；
获取模块41，还用于获取第二深度图像与第一深度图像不同的图像区域对应的第三深度信息；
处理模块43，用于基于第二深度信息和第三深度信息，对第二深度图像进行虚化处理，并输出虚化处理后的图像。
在本申请的其他实施例中，获取模块41，还用于获取图像采集装置的运动趋势信息；基于运动趋势信息，对第一深度信息进行分割处理，得到第二深度信息。
在本申请的其他实施例中，获取模块41，还用于基于陀螺仪采集的表征图像采集装置的运动趋势的信号，和/或对多帧历史深度图像进行分析得到的分析结果，确定运动趋势信息；
分析结果是将多帧历史深度图像输入至经过训练得到的网络模型，所得到的分析图像采集状态的运动趋势的结果，多帧历史深度图像与第二深度图像的采集场景相同，且多帧历史深度图像包括第一深度图像。
在本申请的其他实施例中，获取模块41，还用于降低第一深度图像与第二深度图像相同的图像区域的分辨率；
将降低分辨率后的第一深度图像和降低分辨率后的第二深度图像进行融合，并获取融合后的深度图像的第四深度信息，第四深度信息作为第二深度图像的更新后的深度信息；
基于第四深度信息，获取第三深度信息。
在本申请的其他实施例中，处理模块43，还用于获取第一深度图像和第二深度图像相同的图像区域的深度信息变化量；
基于深度信息变化量、第二深度信息和第三深度信息，对第二深度图像进行虚化处理。
在本申请的其他实施例中，处理模块43，还用于将深度信息变化量、第二深度信息和第三深度信息输入深度图合成算法模型中，得到输出的第五深度信息；
基于第五深度信息，对第二深度图像进行虚化处理。
在本申请的其他实施例中，处理模块43，还用于基于第五深度信息对第二深度图像的前景部分或背景部分进行虚化处理。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本申请的实施例提供一种电子设备，该电子设备可以应用于图1、2对应的实施例提供的一种图像处理方法中，参照图7所示，该电子设备5(图7中的电子设备5与图6中的图像处理装置4相对应)包括：处理器51、存储器52 和通信总线53，其中：
通信总线53用于实现处理器51和存储器52之间的通信连接。
处理器51用于执行存储器52中存储的图像处理程序，以实现以下步骤：
获取已采集的第一深度图像的第一深度信息；
基于第一深度信息，获取预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息；
采集第二深度图像，并获取第二深度图像与第一深度图像不同的图像区域对应的第三深度信息；
基于第二深度信息和第三深度信息，对第二深度图像进行虚化处理，并输出虚化处理后的图像。
在本申请的其他实施例中，处理器51用于执行存储器52中存储的图像处理程序，以实现以下步骤：
获取图像采集装置的运动趋势信息；
相应的，基于第一深度信息，获取预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息，包括：
基于运动趋势信息，对第一深度信息进行分割处理，得到第二深度信息。
在本申请的其他实施例中，处理器51用于执行存储器52中存储的图像处理程序，以实现以下步骤：
基于陀螺仪采集的表征图像采集装置的运动趋势的信号，和/或对多帧历史深度图像进行分析得到的分析结果，确定运动趋势信息；
分析结果是将多帧历史深度图像输入至经过训练得到的网络模型，所得到的分析图像采集状态的运动趋势的结果，多帧历史深度图像与第二深度图像的采集场景相同，且多帧历史深度图像包括第一深度图像。
在本申请的其他实施例中，处理器51用于执行存储器52中存储的图像处理程序，以实现以下步骤：
降低第一深度图像与第二深度图像相同的图像区域的分辨率；
将降低分辨率后的第一深度图像和降低分辨率后的第二深度图像进行融合，并获取融合后的深度图像的第四深度信息，第四深度信息作为第二深度图像的更新后的深度信息；
基于第四深度信息，获取第三深度信息。
在本申请的其他实施例中，处理器51用于执行存储器52中存储的图像处理程序，以实现以下步骤：
获取第一深度图像和第二深度图像相同的图像区域的深度信息变化量；
基于深度信息变化量、第二深度信息和第三深度信息，对第二深度图像进行虚化处理。
在本申请的其他实施例中，处理器51用于执行存储器52中存储的图像处理程序，以实现以下步骤：
将深度信息变化量、第二深度信息和第三深度信息输入深度图合成算法模型中，得到输出的第五深度信息；
基于第五深度信息，对第二深度图像进行虚化处理。
在本申请的其他实施例中，处理器51用于执行存储器52中存储的图像处理程序，以实现以下步骤：
基于第五深度信息对第二深度图像的前景部分或背景部分进行虚化处理。
需要说明的是，本实施例中处理器所执行的步骤的具体实现过程，可以参照图1、2对应的实施例提供的图像处理方法中的实现过程，此处不再赘述。
本申请的实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如下步骤：
获取已采集的第一深度图像的第一深度信息；
基于第一深度信息，获取预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息；
采集第二深度图像，并获取第二深度图像与第一深度图像不同的图像区域对应的第三深度信息；
基于第二深度信息和第三深度信息，对第二深度图像进行虚化处理，并输出虚化处理后的图像。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
获取图像采集装置的运动趋势信息；
相应的，基于第一深度信息，获取预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息，包括：
基于运动趋势信息，对第一深度信息进行分割处理，得到第二深度信息。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
基于陀螺仪采集的表征图像采集装置的运动趋势的信号，和/或对多帧历史深度图像进行分析得到的分析结果，确定运动趋势信息；
分析结果是将多帧历史深度图像输入至经过训练得到的网络模型，所得到的分析图像采集状态的运动趋势的结果，多帧历史深度图像与第二深度图像的采集场景相同，且多帧历史深度图像包括第一深度图像。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
降低第一深度图像与第二深度图像相同的图像区域的分辨率；
将降低分辨率后的第一深度图像和降低分辨率后的第二深度图像进行融合，并获取融合后的深度图像的第四深度信息，第四深度信息作为第二深度图像的更新后的深度信息；
基于第四深度信息，获取第三深度信息。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
获取第一深度图像和第二深度图像相同的图像区域的深度信息变化量；
基于深度信息变化量、第二深度信息和第三深度信息，对第二深度图像进行虚化处理。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
将深度信息变化量、第二深度信息和第三深度信息输入深度图合成算法模型中，得到输出的第五深度信息；
基于第五深度信息，对第二深度图像进行虚化处理。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
基于第五深度信息对第二深度图像的前景部分或背景部分进行虚化处理。
需要说明的是，本实施例中处理器所执行的步骤的具体实现过程，可以参照图1、2对应的实施例提供的图像处理方法中的实现过程，此处不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (8)

1.一种图像处理方法，其特征在于，所述方法包括：
获取已采集的第一深度图像的第一深度信息；
获取图像采集装置的运动趋势信息；
基于所述运动趋势信息，对所述第一深度信息进行分割处理，得到预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息；
采集第二深度图像，并获取所述第二深度图像与所述第一深度图像不同的图像区域对应的第三深度信息；
基于所述第二深度信息和所述第三深度信息，对所述第二深度图像进行虚化处理，并输出虚化处理后的图像；
其中，所述获取所述第二深度图像与所述第一深度图像不同的图像区域对应的第三深度信息，包括：
降低所述第一深度图像与所述第二深度图像相同的图像区域的分辨率；
将降低分辨率后的所述第一深度图像和降低分辨率后的所述第二深度图像进行融合，并获取融合后的深度图像的第四深度信息，所述第四深度信息作为所述第二深度图像的更新后的深度信息；
基于所述第四深度信息，获取所述第三深度信息。
2.根据权利要求1所述的方法，其特征在于，所述获取图像采集装置的运动趋势信息，包括：
基于陀螺仪采集的表征所述图像采集装置的运动趋势的信号，和/或对多帧历史深度图像进行分析得到的分析结果，确定所述运动趋势信息；
所述分析结果是将所述多帧历史深度图像输入至经过训练得到的网络模型，所得到的分析图像采集状态的运动趋势的结果，所述多帧历史深度图像与所述第二深度图像的采集场景相同，且所述多帧历史深度图像包括所述第一深度图像。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第二深度信息和所述第三深度信息，对所述第二深度图像进行虚化处理，包括：
获取所述第一深度图像和第二深度图像相同的图像区域的深度信息变化量；
基于所述深度信息变化量、所述第二深度信息和所述第三深度信息，对所述第二深度图像进行虚化处理。
4.根据权利要求3所述的方法，其特征在于，所述基于所述深度信息变化量、所述第二深度信息和所述第三深度信息，对所述第二深度图像进行虚化处理，包括：
将所述深度信息变化量、所述第二深度信息和所述第三深度信息输入深度图合成算法模型中，得到输出的第五深度信息；
基于所述第五深度信息，对所述第二深度图像进行虚化处理。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第五深度信息，对所述第二深度图像进行虚化处理，包括：
基于所述第五深度信息对所述第二深度图像的前景部分或背景部分进行虚化处理。
6.一种图像处理装置，其特征在于，所述图像处理装置包括：
获取模块，用于获取已采集的第一深度图像的第一深度信息；
所述获取模块，还用于获取图像采集装置的运动趋势信息；基于所述运动趋势信息，对所述第一深度信息进行分割处理，得到预测的第一深度图像与第二深度图像相同的图像区域对应的第二深度信息；
图像采集模块，用于采集第二深度图像；
所述获取模块，还用于获取所述第二深度图像与所述第一深度图像不同的图像区域对应的第三深度信息；
处理模块，用于基于所述第二深度信息和所述第三深度信息，对所述第二深度图像进行虚化处理，并输出虚化处理后的图像；
所述获取模块，还用于降低所述第一深度图像与所述第二深度图像相同的图像区域的分辨率；将降低分辨率后的所述第一深度图像和降低分辨率后的所述第二深度图像进行融合，并获取融合后的深度图像的第四深度信息，所述第四深度信息作为所述第二深度图像的更新后的深度信息；基于所述第四深度信息，获取所述第三深度信息。
7.一种电子设备，其特征在于，所述电子设备包括：处理器、存储器和通信总线；
所述通信总线用于实现处理器和存储器之间的通信连接；
所述处理器用于执行存储器中存储的图像处理程序，以实现如权利要求1至5中任一项所述的图像处理方法的步骤。
8.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的图像处理方法的步骤。
CN202010573559.9A 2020-06-22 2020-06-22 一种图像处理方法、装置、电子设备和存储介质 Active CN111726526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010573559.9A CN111726526B (zh) 2020-06-22 2020-06-22 一种图像处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010573559.9A CN111726526B (zh) 2020-06-22 2020-06-22 一种图像处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111726526A CN111726526A (zh) 2020-09-29
CN111726526B true CN111726526B (zh) 2021-12-21

Family

ID=72569968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010573559.9A Active CN111726526B (zh) 2020-06-22 2020-06-22 一种图像处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111726526B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014806B (zh) * 2021-02-07 2022-09-13 维沃移动通信有限公司 虚化图像拍摄方法及装置
CN115134532A (zh) * 2022-07-26 2022-09-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101682794A (zh) * 2007-05-11 2010-03-24 皇家飞利浦电子股份有限公司 用于处理深度相关信息的方法、装置和***
CN102821289A (zh) * 2011-06-06 2012-12-12 索尼公司 图像处理设备、图像处理方法和程序
CN102842110A (zh) * 2011-06-20 2012-12-26 富士胶片株式会社 图像处理设备和图像处理方法
CN103037226A (zh) * 2011-09-30 2013-04-10 联咏科技股份有限公司 深度融合方法及其装置
CN109889724A (zh) * 2019-01-30 2019-06-14 北京达佳互联信息技术有限公司 图像虚化方法、装置、电子设备及可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1716078B (zh) * 2004-06-03 2012-03-28 佳能株式会社 图像拾取设备和图像拾取方法
WO2008131438A2 (en) * 2007-04-23 2008-10-30 Fotonation Ireland Limited Detection and estimation of camera movement
WO2010065344A1 (en) * 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
JP6325841B2 (ja) * 2014-02-27 2018-05-16 オリンパス株式会社 撮像装置、撮像方法、およびプログラム
KR20180030773A (ko) * 2015-04-17 2018-03-26 포토네이션 케이맨 리미티드 어레이 카메라들을 이용한 고속 비디오 캡처 및 심도 추정을 수행하기 위한 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101682794A (zh) * 2007-05-11 2010-03-24 皇家飞利浦电子股份有限公司 用于处理深度相关信息的方法、装置和***
CN102821289A (zh) * 2011-06-06 2012-12-12 索尼公司 图像处理设备、图像处理方法和程序
CN102842110A (zh) * 2011-06-20 2012-12-26 富士胶片株式会社 图像处理设备和图像处理方法
CN103037226A (zh) * 2011-09-30 2013-04-10 联咏科技股份有限公司 深度融合方法及其装置
CN109889724A (zh) * 2019-01-30 2019-06-14 北京达佳互联信息技术有限公司 图像虚化方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111726526A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN108898567B (zh) 图像降噪方法、装置及***
KR102480245B1 (ko) 패닝 샷들의 자동 생성
US20190208125A1 (en) Depth Map Calculation in a Stereo Camera System
CN110766706A (zh) 图像融合方法、装置、终端设备及存储介质
CN111726526B (zh) 一种图像处理方法、装置、电子设备和存储介质
CN111553362A (zh) 一种视频处理方法、电子设备和计算机可读存储介质
CN112258404A (zh) 图像处理方法、装置、电子设备和存储介质
CN105516579A (zh) 一种图像处理方法、装置和电子设备
CN110992395A (zh) 图像训练样本的生成方法及装置、运动跟踪方法及装置
CN112215877A (zh) 图像处理方法和装置、电子设备、可读存储介质
CN114390201A (zh) 对焦方法及其装置
CN114677422A (zh) 深度信息生成方法、图像虚化方法和视频虚化方法
US9686470B2 (en) Scene stability detection
CN111583329B (zh) 增强现实眼镜显示方法、装置、电子设备和存储介质
CN113205011A (zh) 图像掩膜确定方法及装置、存储介质和电子设备
CN111833459A (zh) 一种图像处理方法、装置、电子设备及存储介质
JP2020136774A (ja) 動きベクトルを検出する画像処理装置およびその制御方法ならびにプログラム
EP3429186B1 (en) Image registration method and device for terminal
CN115496664A (zh) 一种模型训练方法、装置、电子设备及可读存储介质
CN112954197B (zh) 拍摄方法、装置、电子设备及可读存储介质
CN115134532A (zh) 图像处理方法、装置、存储介质及电子设备
CN115049572A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN115439386A (zh) 图像融合方法、装置、电子设备和存储介质
CN113703704A (zh) 界面显示方法、头戴式显示设备和计算机可读介质
CN116418932A (zh) 一种视频帧内插方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant