CN112927271B - 图像处理方法、图像处理装置、存储介质与电子设备 - Google Patents

Abstract

本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质与电子设备，涉及图像处理技术领域。所述图像处理方法包括：获取至少两张原始图像，所述至少两张原始图像为处于不同位姿的相机对目标场景采集的图像；根据所述至少两张原始图像生成所述目标场景的三维点云；基于相机的预设运动路径中的采样位姿，对所述三维点云进行渲染，得到目标图像。本公开能够以简单、便捷的方式，根据至少两张原始图像，生成新的目标图像。

Description

图像处理方法、图像处理装置、存储介质与电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、图像处理装置、计算机可读存储介质与电子设备。

背景技术

随着计算机技术和多媒体技术的发展，出现了很多图像拍摄设备与应用，进而产生了大量的图像数据。为了满足人们在多种应用场景下的个性化需求，例如制作表情包或制作特效短视频等等，需要对图像进行处理。现有技术在此类对图像进行处理的场景中，往往需要用户先通过相机拍摄或采集大量与目标场景或被拍摄对象相关的连续帧图像，基于对连续帧图像的合成生成对应的视频数据。然而，这种方式中，对采集的图像数量具有较高的要求，且基于大量连续帧图像进行处理，也会增加终端设备对图像的处理压力，处理过程复杂、不够简洁。

发明内容

本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善现有技术中图像处理方法繁琐的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种图像处理方法，包括：获取至少两张原始图像，所述至少两张原始图像为处于不同位姿的相机对目标场景采集的图像；根据所述至少两张原始图像生成所述目标场景的三维点云；基于相机的预设运动路径中的采样位姿，对所述三维点云进行渲染，得到目标图像。

根据本公开的第二方面，提供一种图像处理装置，包括：原始图像获取模块，用于获取至少两张原始图像，所述至少两张原始图像为处于不同位姿的相机对目标场景采集的图像；三维点云建立模块，用于根据所述至少两张原始图像生成所述目标场景的三维点云；目标图像获取模块，用于基于相机的预设运动路径中的采样位姿，对所述三维点云进行渲染，得到目标图像。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像处理方法及其可能的实现方式。

根据本公开的第四方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令。其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的图像处理方法及其可能的实现方式。

本公开的技术方案具有以下有益效果：

获取至少两张原始图像，至少两张原始图像为处于不同位姿的相机对目标场景采集的图像；根据至少两张原始图像生成目标场景的三维点云；基于相机的预设运动路径中的采样位姿，对三维点云进行渲染，得到目标图像。一方面，本示例性实施例提出一种新的图像处理方法，可以通过采集较少的原始图像，构建目标场景的三维点云，基于三维点云生成新的目标图像，其中，原始图像数据的采集较为容易，数量较少，即可以以简单、便捷的方式，由少量已有图像生成新图像，以应用于其他应用场景中，增加了原始图像的可用性和趣味性；另一方面，本示例性实施例流程较为简单，计算复杂度较低，可以适用于多种类型的终端设备中；再一方面，目标图像与原始图像处于同一相机的预设运动路径中，基于目标图像能够简单、快速的生成关于相机在目标场景中进行运镜的视频，在表情包或特效视频的生成场景中具有良好应用。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式中一种***架构的示意图；

图2示出本示例性实施方式中一种电子设备的结构图；

图3示出本示例性实施方式中一种图像处理方法的流程图；

图4示出本示例性实施方式中一种图像处理方法的子流程图；

图5示出本示例性实施方式中一种生成目标场景的三维点云的流程图；

图6示出本示例性实施方式中另一种图像处理方法的子流程图；

图7示出本示例性实施方式中一种相机进行虚拟运镜的示意图；

图8示出本示例性实施方式中一种空洞区域修复的流程图；

图9示出本示例性实施方式中另一种相机进行虚拟运镜的示意图；

图10示出本示例性实施方式中一种图像处理装置的结构图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

鉴于上述一个或多个问题，本公开的示例性实施方式提供一种图像处理方法。图1示出了本示例性实施方式运行环境的***架构图。如图1所示，该***架构100可以包括服务端110和终端120，两者之间通过网络形成通信交互，例如终端120将采集的原始图像发送至服务端110，服务端110将得到的目标图像返回至终端120。其中，服务端110是指提供互联网服务的后台服务器；终端120可以包括但不限于智能手机、平板电脑、游戏机、可穿戴设备等。

应当理解，图1中各装置的数量仅是示例性的。根据实现需要，可以设置任意数量的客户端，或者服务端可以是多台服务器形成的集群。

本公开实施方式所提供的图像处理方法可以由服务端110执行，例如服务器110在获取原始图像后，对其进行处理，得到目标图像并返回给终端120；也可以由终端120执行，例如直接通过终端120采集原始图像，进行处理，得到目标图像等，本公开对此不做限定。

本公开的示例性实施方式提供一种用于实现图像处理方法的电子设备，其可以是图1中的服务端110或终端120。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行图像处理方法。

下面以图2中的移动终端200为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、USB(Universal Serial Bus，通用串行总线)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏幕290、摄像模组291、指示器292、马达293、按键294以及SIM(Subscriber Identification Module，用户标识模块)卡接口295等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。编码器可以对图像或视频数据进行编码(即压缩)；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据。

在一些实施方式中，处理器210可以包括一个或多个接口，通过不同的接口和移动终端200的其他部件形成连接。

内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括易失性存储器、非易失性存储器等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。

外部存储器接口222可以用于连接外部存储器，例如Micro SD卡，实现扩展移动终端200的存储能力。外部存储器通过外部存储器接口222与处理器210通信，实现数据存储功能，例如存储音乐，视频等文件。

USB接口230是符合USB标准规范的接口，可以用于连接充电器为移动终端200充电，也可以连接耳机或其他电子设备。

充电管理模块240用于从充电器接收充电输入。充电管理模块240为电池242充电的同时，还可以通过电源管理模块241为设备供电；电源管理模块241还可以监测电池的状态。

移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块260可以提供应用在移动终端200上的包括WLAN(Wireless LocalArea Networks，无线局域网)(如Wi-Fi(Wireless Fidelity，无线保真)网络)、BT(Bluetooth，蓝牙)、GNSS(Global Navigation Satellite System，全球导航卫星***)、FM(Frequency Modulation，调频)、NFC(Near Field Communication，近距离无线通信技术)、IR(Infrared，红外技术)等无线通信解决方案。

移动终端200可以通过GPU、显示屏幕290及AP等实现显示功能，显示用户界面。移动终端200可以通过ISP、摄像模组291、编码器、解码器、GPU、显示屏幕290及AP等实现拍摄功能，还可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及AP等实现音频功能。

传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等，以实现不同的感应检测功能。

指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。马达293可以产生振动提示，也可以用于触摸振动反馈等。按键294包括开机键，音量键等。

移动终端200可以支持一个或多个SIM卡接口295，用于连接SIM卡，以实现通话以及数据通信等功能。

图3示出了图像处理方法的示例性流程，可以由上述服务端110或终端120执行，包括以下步骤S310至S330：

步骤S310，获取至少两张原始图像，至少两张原始图像为处于不同位姿的相机对目标场景采集的图像。

其中，目标场景即为进行图像采集的场景，目标场景中可以包括多种不同类型的对象以及背景，不同的对象可以具有相同或不同的背景，例如建筑、人物、动物、植物或者车辆等都可以作为目标场景中的对象；纯色幕布、建筑、天空、植物也可以作为背景等等。至少两张原始图像是在相同目标场景下，通过不同位姿的相机采集的图像，该相机可以是指终端设备中配置的摄像头或摄像模组等，例如可以在终端设备中同一水平线或垂直线的不同位置上，配置至少两个摄像头，在同一目标场景中采集的至少两张原始图像；或者在目标场景中，采用配置单目摄像头的终端设备，一边微调移动位置一边采集图像，以获取至少两张原始图像等。特别的，至少两张原始图像可以是两张原始图像，例如在终端设备中配置双目摄像头，在目标场景中通过双目摄像头直接采集主图像和副图像作为原始图像等。

本示例性实施例可以通过在终端设备中配置对应的摄像头，由摄像头获取至少两张原始图像，如配置双目摄像头；也可以从预设的图像源中获取原始图像，例如从相册中获取由双目摄像头历史拍摄的主图像和副图像等等，本公开对此不做具体限定。

步骤S320，根据至少两张原始图像生成目标场景的三维点云。

三维点云是指能够表达三维空间信息的基础三维模型，和平面二维图形相比，三维点云拥有深度方向信息，可以将目标场景中的任一对象与场景背景在深度方向上进行解耦。本示例性实施例可以根据至少两张原始图像，确定目标场景的深度信息，进一步，根据深度信息确定目标场景的三维点云。

在一示例性实施例中，如图4所示，上述步骤S320可以包括以下步骤：

步骤S410，确定两张原始图像间的相对位姿，利用相对位姿对两张原始图像进行校正；

步骤S420，根据两张原始图像间具有对应关系的像素点的视差，确定像素点的深度值；

步骤S430，基于原始图像与深度值，生成目标场景的三维点云。

特别的，本示例性实施例可以通过对两张原始图像进行立体匹配处理，并根据图像特征点在两张图像中的视差来确定深度值，进而生成目标场景的三维点云。以双目摄像头采集的主图像与副图像为例进行说明，具体过程可以包括：首先，对摄像机的内参和外参等数据进行标定，其中，摄像机内参反映摄像机坐标系到图像坐标系之间的投影关系，摄像机外参反映的是摄像机坐标系和世界坐标系之间的旋转矩阵R和平移向量T的关系，根据摄像机的外参及内参，可以确定从一个相机坐标系到另一个相机坐标系之间的位置转换关系；其次，对主图像和副图像的相对位姿进行校正，可以包括畸变校正和立体校正等，其中，畸变校正可以通过畸变系数直接进行，立体校正则需要先确定摄像机的参数，如旋转矩阵R和平移向量T，进一步对主图像和副图像进行立体图像对的极线校正或平行校正等；进一步的，可以根据主图像和副图像之间具有对应关系的像素点，即图像特征点，通过特定的算法，如SGBM(Semi-Global-BlockMatching，半全局匹配)算法或者BM(BlockMatching，块匹配)算法计算视差，然后，根据平行双目视觉的几何关系，确定视差与深度值的转换公式，基于该转换公式，将视差转换为对应像素点的深度值；最后，根据主图像或副图像，与对应像素点的深度值，生成目标场景的三维点云。

在一示例性实施例中，在确定像素点的深度值之后，上述图像处理方法还可以包括：

对两张原始图像中的至少一张原始图像进行场景分割，并根据场景分割结果，对深度值进行优化处理。

为了提高各个像素点深度值的准确性，避免由于深度估计不准导致目标场景中的对象在目标图像中出现变形或模糊等异常情况，本示例性实施例可以对两张原始图像中的至少一张原始图像进行场景分割，并根据场景分割结果对深度值进行优化。其中，对原始图像进行场景分割，可以是指对原始图像中的前景对象与背景进行分割；也可以是对目标场景中的各个对象进行语义分割，从像素级别来理解图像，将属于同一类别的像素被归为一类，确定出目标场景中包括哪些对象，各个对象位于哪些位置等，例如可以将属于人的像素点都分为第一类，属于树的像素点分为第二类，属于车的像素点分为第三类等，从而识别出图像中的不同类别的对象。对原始图像进行场景分割，实质是对原始图像中包含的每个对象所在的区域进行分割，以识别其对象所在的类别。在对原始图像进行语义分割时，可以为图像中的每个像素点指定语义标签，例如道路、天空、人类或者猫狗等对象的语义标签，该语义标签可以视为一个或多个对象的类别信息。

本示例性实施例可以通过预先训练以语义分割模型来对原始图像进行场景分割，为了使本示例性实施例可以具有更加广泛的应用范围，使其能够应用于便捷的移动终端，还可以使用轻量级的语义分割模型，该语义分割模型可以包括编码器和解码器；其中，编码器用于对原始图像进行下采样，得到原始图像对应的中间特征数据，解码器用于对中间特征数据进行上采样，得到原始图像中各对象的类别信息。编码器和解码器可以是对称结构，也可以是非对称结构。在本示例性实施例中，编码器可以采用卷积神经网络，通过卷积加池化的操作将输入的原始图像下采样，以从图像语义的角度提取特征并进行特征学习，而解码器可以通过反卷积等操作逐步恢复图像的细节特征，并在不同尺度上对特征做进一步学习，最终输出和原始图像分辨率相同的场景分类结果。

另外，为了提高了语义分割模型对红外图像的分割和识别能力，还可以在解码器中添加注意力层，使获得的输出结果具有更高的准确性，提高相似图像之间的区分度以及模型的泛化能力。

进一步的，即可以根据场景分割结果，对深度值进行优化处理，具体的，可以从以下两方面，对上述深度值进行优化处理。

第一，根据场景分割结果，对目标场景中包括的对象所在的像素点的深度值进行平滑处理等优化操作，以避免后续对象出现变形的情况。

对深度值进行平滑处理可以减少图像噪声，本示例性实施例可以采用多种方式对像素点的深度值进行平滑处理，例如Box(盒)模板去噪平滑处理(即均一化处理)，高斯模板去噪平滑处理或者中值滤波去噪平滑处理等，本公开对此不做具体限定。

第二，根据场景分割结果，对目标场景中包括的对象所在的像素点的深度值进行锐化处理，使得在深度图像中各个对象的边缘更加明显，对象的深度更加清晰可见。

其中，锐化处理是通过增强高频分量来减少图像中的模糊，其可以增强图像中各个对象的深度边缘。本示例性实施例可以通过对像素点的深度值进行双边滤波的方式来对其进行锐化处理。

需要说明的是，本示例性实施例可以进行上述任意一种优化处理，也可以进行上述两种优化处理的组合，例如仅对深度值进行平滑处理或锐化处理，或者先对深度值进行平滑处理后，再进行锐化处理等等，本公开对此不做具体限定。

图5示出了本示例性实施例中一种生成目标场景的三维点云的流程图，具体可以包括以下步骤：

步骤S510，获取由双目相机采集的两张原始图像；

步骤S520，根据原始图像确定目标场景的初始深度信息；

步骤S530，对原始图像进行场景分割，得到场景分割结果；

步骤S540，根据场景分割结果，对初始深度信息进行优化，得到优化后的深度信息；

步骤S550，根据原始图像以及优化后的深度信息生成目标场景的三维点云。

其中，两张原始图像分别为双目摄像头采集的主图像和副图像。另外，在对原始图像进行场景分割时，可以选择主图像或副图像中的任意一张图像进行场景分割。本示例性实施例可以基于双目相机采集的主图像和副图像建立目标场景的三维点云。

步骤S330，基于相机的预设运动路径中的采样位姿，对三维点云进行渲染，得到目标图像。

其中，相机的预设运动路径并非是真实的移动相机产生的运动路径，而是相机的虚拟运镜路径，本示例性实施例在获取关于目标场景的原始图像后，可以确定目标场景中一个或多个对象，例如人像，所在的位置，预设运动路径可以是假设相机向预设方向，或者以预设方式进行运镜时，所产生的运动路径，具体的，该预设运动路径可以是以采集原始图像的相机位置为基准，进行远近变焦、左右摇摆、滑动变焦、环形运镜等等运动时所产生的运动路径，上述虚拟运镜过程中的相机位姿即为采样位姿。本示例性实施例可以通过对三维点云在上述不同采样位姿下进行投影并渲染，得到不同采样位姿下的目标图像。其中，目标图像可以是一张也可以是多张，具体数量可以根据需要进行自定义确定，例如预先设置生成10张目标图像；也可以根据应用场景进行适应性调整，例如在根据目标图像生成视频的场景下，可以根据视频的时长需求，确定目标图像的数量，本公开对此不做具体限定。

在一示例性实施例中，上述图像处理方法还可以包括：

基于目标图像生成目标视频；或者

基于原始图像与目标图像生成目标视频。

实际应用中，在确定目标图像之后，可以通过两种方式生成目标视频，第一种，可以根据目标图像生成目标视频，具体的，可以按照一定顺序将生成的多张目标图像进行排列，生成目标视频，生成的目标视频中不包含原始图像；第二种，可以将原始图像与目标图像按照一定的顺序排列，以通过原始图像和目标图像共同确定目标视频，其中，可以采用至少一张原始图像中的一张原始图像，也可以采用全部的原始图像，本公开对此不做具体限定。根据相机的预设运动路径，生成的目标视频可以是围绕目标场景中任意一个或多个对象向预设运动方向进行运动的视频。

在本示例性实施例中，目标图像的数量可以根据目标视频的时长确定，例如当需要5秒30fps(每秒传输帧数)的目标视频时，若预设运动路径为从左到右运镜150mm(毫米)，相机在运镜过程中可以包括150个逐渐增加的平移位置，如1mm、2mm、…、150mm，则可以在步骤S330中对三维点云进行渲染，可以得到150张目标图像，进而得到最终的目标视频等。本示例性实施例通过至少两张原始图像即可以生成3D(3-Dimision，三维)的目标视频，生成过程简单，且可以应用于表情包的制作或特效制作等应用场景中，能够提高原始图像的趣味性和适用范围。

综上，本示例性实施方式中，获取至少两张原始图像，至少两张原始图像为处于不同位姿的相机对目标场景采集的图像；根据至少两张原始图像生成目标场景的三维点云；基于相机的预设运动路径中的采样位姿，对三维点云进行渲染，得到目标图像。一方面，本示例性实施例提出一种新的图像处理方法，可以通过采集较少的原始图像，构建目标场景的三维点云，基于三维点云生成新的目标图像，其中，原始图像数据的采集较为容易，数量较少，即可以以简单、便捷的方式，由少量已有图像生成新图像，以应用于其他应用场景中，增加了原始图像的可用性和趣味性；另一方面，本示例性实施例流程较为简单，计算复杂度较低，可以适用于多种类型的终端设备中；再一方面，目标图像与原始图像处于同一相机的预设运动路径中，基于目标图像能够简单、快速的生成关于相机在目标场景中进行运镜的视频，在表情包或特效视频的生成场景中具有良好应用。

在一示例性实施例中，如图6所示，上述步骤S430可以包括以下步骤：

步骤S610，利用原始图像与深度值对目标场景的空洞区域进行修复；

步骤S620，基于修复后的空洞区域，根据原始图像与深度值，生成包含空洞区域点云数据的目标场景的三维点云。

实际应用中，目标场景中会包含很多对象，而对象在目标场景中会遮挡部分背景画面，例如当人像站在建筑物前面时，建筑物的局部会被人像所遮挡，当相机向某一方向移动时，被遮挡的画面将会被暴露出来，由于本示例性实施例仅采集了原始图像，因此，当相机在预设运动路径中进行虚拟运镜时，暴露出的被遮挡区域可能会缺失图像信息，该区域即为空洞区域。如图7所示，模拟了相机向右进行虚拟运镜的示意图，三角形代表目标场景中的对象T，图7左图为对象T未移动前，对象T与背景的关系示意图，图7右图为相机向右进行虚拟运镜时，对象T与背景的关系示意图，其中，灰色区域代表相机进行虚拟运镜时产生的空洞区域。

以双目相机举例说明，通常，相机在运动的过程中，近距离的对象要比远距离的对象运动程度更大，例如距离相机较近的人像运动程度，比远处的背景运动程度要大，且两者负相关，关系式可以通过以下公式表示：

其中，s为双目相机的基线，f为相机焦距，Y₁为图像某一点在主图像(假设双目相机水平放置，左侧相机采集的原始图像为主图像)基线方向上的坐标，Y₂为此点在副图像基线方向上的坐标，Y₂-Y₁为深度值为d的对象所需移动的距离，根据该公式，可以确定目标场景中对象深度值与移动距离负相关的数学关系。因此，目标场景中的空洞区域与对象距离相机的远近以及相机的预设运动路径均有关系。

在一示例性实施例中，上述图像处理方法还可以包括以下步骤：

根据预设运动路径与深度值确定空洞区域。

考虑到目标场景中不同深度的对象运动程度并不相同，例如距离较近的对象运动程度更大，因此，本示例性实施例可以根据相机的预设运动路径，即虚拟运镜路径，与对象的深度值来确定空洞区域。其中，根据预设运动路径，可以大致确定空洞区域在目标场景中的位置与区域；根据对象的深度值，可以确定空洞区域的大小，距离越近的对象，产生的空洞区域就会越大，距离越远的对象，产生的空洞区域就会越小。

在确定空洞区域之后，即可以通过对空洞区域进行修复，以确定空洞区域的图像信息，具体的，在一示例性实施例中，如图8所示，上述步骤S720可以包括以下步骤：

步骤S810，利用原始图像对空洞区域进行颜色修复；

步骤S820，利用深度值对空洞区域进行深度值补全。

在本示例性实施例中，空洞区域的修复可以包括两个方面，包括颜色修复和深度值修复，其中，颜色修复可以基于原始图像的颜色数据实现；深度值的修复则可以通过上述步骤S420中确定的像素点的深度值来进行补全。具体的，本示例性实施例可以采用多种图像修复算法，例如可以采用Criminisi(一种图像修复算法)算法，根据相机在虚拟运镜过程中背景区域的变化状态对空洞区域的纹理，即颜色值与深度值，进行填补。

考虑到，在实际应用中，相机在不同的预设运动路径进行运镜，或者以不同幅度或程度进行运镜时，所产生的空洞区域均具有差异，因此，可以针对性的根据不同的空洞区域确定空洞区域的修复策略，以提高图像处理效率。

在一示例性实施例中，上述图像处理方法还可以包括以下步骤：

根据对两张原始图像中的至少一张原始图像进行场景分割所得到的场景分割结果以及深度值，确定目标场景中不同对象之间的深度差；

当确定深度差满足修复条件时，执行利用原始图像与深度值对目标场景的空洞区域进行修复。

为了能够得到更好的图像效果，同时兼顾算法处理的时效性，空洞区域的修复策略需有针对性和灵活性。本示例性实施例可以根据场景分割结果与像素点的深度值，确定目标场景中对象作为前景时，与其对应的背景，之间的深度值之差，进一步，根据该深度差确定对应的空洞区域修复策略。修复条件即为是否对空洞区域执行上述步骤S620或步骤S810～S820所述的图像修复过程的判断条件，可以是深度差阈值。当深度差超过一定该阈值条件时，说明对象与背景差异较大，需要进行较为完善的修复过程，则触发上述利用原始图像与深度值对目标场景的空洞区域进行修复的过程。当深度差未超过该阈值条件，则说明对象作为前景时与背景的深度差异较小，或者对象与背景相对移动的位移差别不大，空洞区域范围较小等，空洞区域对当前三维点云的生成影响不大，因此，可以不进空洞区域的修复过程，或者采用其他简单、便捷的修复方式，例如采用直接插值的方式确定空洞区域的颜色值和深度值，由于空洞区域较小，因此，插值后也不会很明显。

最后，可以基于修复后的空洞区域，根据原始图像与深度值，生成包含空洞区域点云数据的目标场景的三维点云。该三维点云中可以包含原始图像与空洞区域的所有点的数据，以使得相机在预设运动路径进行虚拟运镜时，不会出现空洞区域，如图9所示，以从左到右的预设运动路径为例，相机进行虚拟运镜，实际上，对象T相对于相机的虚拟运镜方向是相反的，即对象T是从右到左运动的，灰度不同的3个四边形代表相机虚拟运镜过程中对象T位置的变化。基于上述空洞区域的修复过程，使得四边形对应的背景区域得到了修复，从而使得生成的目标图像可以完整无缺，进一步保证了根据目标图像生成的目标视频完整流畅。

本公开的示例性实施方式还提供一种图像处理装置。如图10所示，该图像处理装置1000可以包括：原始图像获取模块1010，用于获取至少两张原始图像，至少两张原始图像为处于不同位姿的相机对目标场景采集的图像；三维点云建立模块1020，用于根据至少两张原始图像生成目标场景的三维点云；目标图像获取模块1030，用于基于相机的预设运动路径中的采样位姿，对三维点云进行渲染，得到目标图像。

在一示例性实施例中，图像处理装置还包括：视频生成模块，用于基于目标图像生成目标视频；或者，基于原始图像与目标图像生成目标视频。

在一示例性实施例中，三维点云建立模块包括：图像校正单元，用于确定两张原始图像间的相对位姿，利用相对位姿对两张原始图像进行校正；深度值确定单元，用于根据两张原始图像间具有对应关系的像素点的视差，确定像素点的深度值；点云生成单元，用于基于原始图像与深度值，生成目标场景的三维点云。

在一示例性实施例中，图像处理装置还包括：深度值优化模块，用于在确定像素点的深度值后，对两张原始图像中的至少一张原始图像进行场景分割，并根据场景分割结果，对深度值进行优化处理。

在一示例性实施例中，点云生成单元包括：区域修复子单元，用于利用原始图像与深度值对目标场景的空洞区域进行修复；点云生成子单元，用于基于修复后的空洞区域，根据原始图像与深度值，生成包含空洞区域点云数据的目标场景的三维点云。

在一示例性实施例中，图像处理装置还包括：空洞区域确定模块，用于根据预设运动路径与深度值确定空洞区域。

在一示例性实施例中，图像处理装置还包括：深度差确定模块，用于根据对两张原始图像中的至少一张原始图像进行场景分割所得到的场景分割结果以及深度值，确定目标场景中不同对象之间的深度差；深度差判断模块，用于当确定深度差满足修复条件时，执行利用原始图像与深度值对目标场景的空洞区域进行修复。

在一示例性实施例中，区域修复子单元包括：颜色修复子单元，用于利用原始图像对空洞区域进行颜色修复；深度修复子单元，用于利用深度值对空洞区域进行深度值补全。

上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，因而不再赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为程序产品的形式，包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3、图4、图5、图6或图8中任意一个或多个步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (9)

1.一种图像处理方法，其特征在于，包括：

获取至少两张原始图像，所述至少两张原始图像为处于不同位姿的相机对目标场景采集的图像；

确定两张原始图像间的相对位姿，利用所述相对位姿对所述两张原始图像进行校正；根据所述两张原始图像间具有对应关系的像素点的视差，确定所述像素点的深度值；基于所述原始图像与所述深度值，生成所述目标场景的三维点云；

基于相机的预设运动路径中的采样位姿，对所述三维点云进行投影并渲染，得到所述采样位姿下的目标图像；所述预设运动路径为相机的虚拟运镜路径，所述采样位姿为在所述虚拟运镜路径中的相机位姿；

在确定所述像素点的深度值后，所述方法还包括：

对所述两张原始图像中的至少一张原始图像进行场景分割，并根据场景分割结果，对所述深度值进行优化处理；

其中，所述根据场景分割结果，对所述深度值进行优化处理，包括：

根据场景分割结果，对目标场景中包括的对象所在的像素点的深度值进行平滑处理；和/或

根据场景分割结果，对目标场景中包括的对象所在的像素点的深度值进行锐化处理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述目标图像生成目标视频；或者

基于所述原始图像与所述目标图像生成目标视频。

3.根据权利要求1所述的方法，其特征在于，所述基于所述原始图像与所述深度值，生成所述目标场景的三维点云，包括：

利用所述原始图像与所述深度值对所述目标场景的空洞区域进行修复；

基于修复后的所述空洞区域，根据所述原始图像与所述深度值，生成包含所述空洞区域点云数据的所述目标场景的三维点云。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述预设运动路径与所述深度值确定所述空洞区域。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据对所述两张原始图像中的至少一张原始图像进行场景分割所得到的场景分割结果以及所述深度值，确定所述目标场景中不同对象之间的深度差；

当确定所述深度差满足修复条件时，执行利用所述原始图像与所述深度值对所述目标场景的空洞区域进行修复。

6.根据权利要求3所述的方法，其特征在于，所述利用所述原始图像与所述像素点的深度值对所述目标场景的空洞区域进行修复，包括：

利用所述原始图像对所述空洞区域进行颜色修复；

利用所述深度值对所述空洞区域进行深度值补全。

7.一种图像处理装置，其特征在于，包括：

原始图像获取模块，用于获取至少两张原始图像，所述至少两张原始图像为处于不同位姿的相机对目标场景采集的图像；

三维点云建立模块，用于确定两张原始图像间的相对位姿，利用所述相对位姿对所述两张原始图像进行校正；根据所述两张原始图像间具有对应关系的像素点的视差，确定所述像素点的深度值；基于所述原始图像与所述深度值，生成所述目标场景的三维点云；

目标图像获取模块，用于基于相机的预设运动路径中的采样位姿，对所述三维点云进行投影并渲染，得到所述采样位姿下的目标图像；所述预设运动路径为相机的虚拟运镜路径，所述采样位姿为在所述虚拟运镜路径中的相机位姿；

在确定所述像素点的深度值后，所述装置还被配置为执行：

对所述两张原始图像中的至少一张原始图像进行场景分割，并根据场景分割结果，对所述深度值进行优化处理；

其中，所述根据场景分割结果，对所述深度值进行优化处理，被配置为：

根据场景分割结果，对目标场景中包括的对象所在的像素点的深度值进行平滑处理；和/或

根据场景分割结果，对目标场景中包括的对象所在的像素点的深度值进行锐化处理。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的方法。

9.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至6任一项所述的方法。