CN108765321A - 拍照修复方法、装置、存储介质及终端设备 - Google Patents

Abstract

本申请实施例中提供的一种拍照修复方法、装置、存储介质及终端设备，该方法通过在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据；通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置；对所述残缺物体上的残缺位置进行特征修复。通过采用上述技术方案，可以根据残缺物体的物体三维数据对拍摄的残缺物体进行残缺修复，丰富终端设备与用户的交互功能，优化现有的拍照技术。

Description

拍照修复方法、装置、存储介质及终端设备

技术领域

本申请实施例涉及终端设备技术领域，尤其涉及一种拍照修复方法、装置、存储介质及终端设备。

背景技术

随着终端设备的拍照技术的发展，大部分的用户都拥有可以拍照的终端设备。通过终端设备进行拍照是非常容易的操作，用户只需要在对准拍摄物后按下拍照键就能完成拍照操作，可以以很方便地随时随地进行拍照。但是现有的拍照技术仍不完善，需要对现有的拍照技术进行优化。

发明内容

本申请实施例提供的一种拍照方法、装置、存储介质及终端设备，可以优化现有的拍照技术。

第一方面，本申请实施例提供了一种拍照修复方法，包括：

在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据；

通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置；

对所述残缺物体上的残缺位置进行特征修复。

第二方面，本申请实施例提供了一种拍照修复装置，包括：

三维数据获取模块，用于在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据；

位置确定模块，用于通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置；

修复处理模块，用于对所述残缺物体上的残缺位置进行特征修复。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的拍照修复方法。

第四方面，本申请实施例提供了一种终端设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的拍照修复方法。

本申请实施例中提供的一种拍照修复方案，通过在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据；通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置；对所述残缺物体上的残缺位置进行特征修复。通过采用上述技术方案，可以根据残缺物体的物体三维数据对拍摄的残缺物体进行残缺修复，丰富终端设备与用户的交互功能，优化现有的拍照技术。

附图说明

图1为本申请实施例提供的一种拍照修复方法的流程示意图；

图2为本申请实施例提供的一种拍照修复方法的场景示意图；

图3为本申请实施例提供的另一种拍照修复方法的流程示意图；

图4为本申请实施例提供的另一种拍照修复方法的场景示意图；

图5为本申请实施例提供的另一种拍照修复方法的流程示意图；

图6为本申请实施例提供的另一种拍照修复方法的流程示意图；

图7为本申请实施例提供的另一种拍照修复方法的流程示意图；

图8为本申请实施例提供的另一种拍照修复方法的流程示意图；

图9为本申请实施例提供的初始三维数据的示意图；

图10为本申请实施例提供的另一种拍照修复方法的流程示意图；

图11为本申请实施例提供的一种拍照修复装置的结构框图；

图12为本申请实施例提供的一种终端设备的结构示意图；

图13为本申请实施例提供的另一种终端设备的结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本申请的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

三维摄像头逐渐普及开，越来越多的终端设备都采用了三维摄像头，三维摄像头相较于传统的摄像头可以采集到更多的信息，本申请可以根据三维摄像头采集的三维信息来优化终端设备的拍照技术。

图1为本申请实施例提供的一种拍照修复方法的流程示意图，该方法可以由拍照修复装置执行，其中该装置可以由软件和/或硬件实现，一般可以集成在终端设备中，也可以集成在其他安装有操作***的设备中。如图1所示，该方法包括：

S110、在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据。

其中，所述残缺物体为部分部位被遮挡或缺损的物体。所述残缺物体为通过识别摄像头进行拍摄，所拍摄的画面中包括残缺物体。

所述识别摄像头可以是终端设备上的摄像头，可以是终端设备的前置摄像头，和/或后置摄像头。示例性地，现有的终端设备中一般都设置有至少一个摄像头，一般都包括前置摄像头和后置摄像头。如果拍摄的用户是终端设备的当前使用者，所述识别摄像头可以是终端设备的前置摄像头，以便用户可以通过终端设备的屏幕了解到拍摄的画面。再如，拍摄的对象不是终端设备的当前使用者，而是其他用户或者其他物体，则所述识别摄像头可以是终端设备的后置摄像头；当前终端设备的当前使用者通过终端设备来拍摄其他残缺物体。

传统的相机进行拍摄所获取的图像一般是二维数据，即以行列矩阵规则进行排列的像素点的色彩值(RGB值)或灰度值的集合。相比二维数据，所述三维数据中还包括拍摄到的残缺物体的深度数据，即拍摄的残缺物体的不同空间点与摄像头的距离，所以三维数据可以表示所拍摄的物体的空间信息。所述识别摄像头可以是带有距离传感器的摄像头，距离传感器可以获取所拍摄的物体上的不同空间点与摄像头的距离，如此可以获取到拍摄的残缺物体的三维数据。

所述物体三维数据包括：所述识别摄像头拍摄的所述残缺物体的三维数据。所述物体三维数据可以是残缺物体静止时所获取的一组三维数据。物体三维数据还可以是残缺物体为动态时所获取的多组三维数据。

示例性地，如果识别摄像头拍摄是人物像，则所述残缺物体可以是部分被遮挡的人物像，可以是用户带着帽子，帽檐将眼睛遮挡了的人脸像。则对应的残缺物体的物体三维数据包括其他未被遮挡的其他部位的三维数据。如果识别摄像头拍摄的是其他物体，如图2所示，可以是发生了破损的瓷器113，在诸多博物馆中都有很多具有文物研究价值和观赏价值，却局部破损的瓷器。

S111、通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置。

所述物体三维数据实际上是一组或多组的数据的集合，进一步需要根据数据的集合来分析识别该物体三维数据实际上对应的是脸部的需要修复的位置。

所述残缺识别模型可以是已经训练好的用于根据残缺物体的物体三维数据确定残缺位置的识别***。所述残缺识别模型可以是预存在终端设备中，或预存在后台服务器中。在需要对物体三维数据进行识别时，调用预存的残缺识别模型来识别物体三维数据，以确定拍摄的残缺物体的残缺位置。

所述残缺位置可以是残缺物体上缺失了固有特征的位置；如果所述残缺物体是眼睛被遮挡的脸部，则残缺位置即眼睛的位置，如果所述残缺物体是破损的物体，则残缺位置是发生破损的位置。

S112、对所述残缺物体上的残缺位置进行特征修复。

其中，可以根据残缺识别模型对所述物体三维数据的残缺位置进行特征修复处理。可以根据残缺位置确定对应缺失的固有特征，并在残缺位置上添加对应的固有特征的素材。示例性地，如果所述残缺位置为眼睛被遮挡的人脸像，则残缺位置缺失的固有特征是眼睛，在残缺位置上设置对应的眼睛特征的素材，以便可以得到包括眼睛特征的人脸图像；如此用户可以获取到具有完整特征的人脸图像，可以增加用户拍照的趣味性，优化现有的拍照技术。

可选地，如图3所示，对所述残缺物体上的残缺位置进行特征修复可以通过下述方式实施：

S1121、根据所述残缺位置确定缺失信息，根据所述缺失信息确定对应的三维修复素材。

其中，所述缺失信息包括残缺物体上缺失的固有特征，以及所述残缺物体本身具有的特征信息。所述三维修复素材为和缺失信息相吻合的用于填补缺失信息的素材文件，所述三维修复素材可以是***预设。示例性地，如果所述残缺物体是博物馆的残缺文物，则三维修复素材可以是研究人员根据史料复原的修复素材。

示例性地，如果所述残缺位置为人物图像的手部部位，则确实的固有特征为手部特征，而如果所述人物图像中的人物特征信息为女性，则缺失信息包括女性的手部。可以确定的是，女性的手部特征和男性的手部特征有很多不同的地方，根据残缺物体本身具有的特征信息，可以进一步得到更准确的三维修复素材。

S1122、根据所述三维修复素材对残缺位置进行特征修复。

其中，可以是将所述三维修复素材设置在和残缺位置对应的位置上，以使残缺物体中的残缺位置的残缺信息被填补，进而可以生成残缺物体完整的图像。

示例性地，如图2和图4所示，残缺物体为瓷器113，残缺位置为瓷器113的开口处发生的破损区域114，同时瓷器113为青釉瓷器，所以根据所述残缺位置确定缺失信息包括：瓷器开口处的破损块，以及青釉特征；进而根据所述缺失信息确定了与破损区域114相吻合，以及是青釉材质的三维修复素材115，如图4所示，将所述三维修复素材115设置在于残缺位置114对应的位置上，可以得到完整的瓷器116的图像。

根据所述残缺位置确定缺失信息，根据所述缺失信息确定对应的三维修复素材，可以进一步提高三维修复素材的真实性。

本申请实施例中提供的一种拍照修复方案，通过在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据；通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置；对所述残缺物体上的残缺位置进行特征修复。通过采用上述技术方案，可以根据残缺物体的物体三维数据对拍摄的残缺物体进行残缺修复，丰富终端设备与用户的交互功能，优化现有的拍照技术。

图5为本申请实施例提供的另一种拍照修复方法的流程示意图，在上述实施例所提供的技术方案的基础上，对根据所述三维修复素材对残缺位置进行特征修复的操作进行了优化，可选地，如图5所示，该方法包括：

S120、在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据。

S121、通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置。

S122、根据所述残缺位置确定缺失信息，根据所述缺失信息确定对应的三维修复素材。

上述操作的具体实施方式可以参考上文的相关描述，在此不再赘述。

S123、在终端设备的屏幕上实时显示所拍摄到的残缺物体。

S124、根据所述残缺物体的拍摄角度确定三维修复素材的显示角度，以及根据所述残缺物体上的残缺位置确定所述三维修复素材的显示位置。

S125、根据所述显示角度和显示位置在终端设备的屏幕上显示所述三维修复素材。

其中，实时显示的为识别摄像头实时获取到的残缺物体的图像，如果用户调整识别摄像头的拍摄角度，相应的实时显示的残缺物体的角度也会发生变化。根据所述残缺物体的拍摄角度确定三维修复素材的显示角度，进而可以使三维修复素材的显示角度和残缺物体的显示角度吻合。

同时，残缺物体的显示角度也会影响残缺位置的具***置，而三维修复素材需要与残缺位置相吻合，所以根据残缺位置确定三维修复素材的显示位置，可以使三维修复素材的显示位置和残缺位置相吻合，进而可以和残缺物体的整体相吻合。

所述显示角度可以是以残缺物体为基准的相对角度，所述显示位置可以是以残缺位置为基准的相对位置。

本申请实施例通过确定三维修复素材的显示角度和显示位置，在终端设备的屏幕上实时显示残缺物体和三维修复素材，且随着用户调整识别摄像头的拍摄角度，三维修复素材也会随着残缺物体在画面中的移动一起移动，用户可以通过终端设备的屏幕看到实时显示的完整的残缺物体，使用户的拍照操作更有趣味性，优化终端设备的拍照功能。

图6为本申请实施例提供的另一种拍照修复方法的流程示意图，在上述任意实施例所提供的技术方案的基础上，对通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置的操作进行了优化，可选地，如图6所示，该方法包括：

S130、在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据。

具体实施方式可以参考上文的相关描述，在此不再赘述。

S131、通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体的物体类型。

S132、根据所述物体类型确定所述残缺物体上的残缺位置。

其中，残缺物体的可能包括多种类型，示例性地，可以是拍摄的人像，可以是瓷器，还可以是雕塑。而不同的类型的物体，其拥有的固有特征不相同，所以需要首先确定残缺物体的物体类型，进而可以根据物体的类型来对不同物体的残缺位置进行确定。在确定所述残缺物体的物体类型后，则可以进一步确定该物体类型的完整的固有特征，以及可以判断该残缺物体所缺失的固有特征是什么。

S133、对所述残缺物体上的残缺位置进行特征修复。

具体实施方式可以参考上文的相关描述，在此不再赘述。

可选地，如图7所示，对所述残缺物体上的残缺位置进行特征修复可以通过下述方式实施：

S1331、根据所述残缺物体的物体类型以及所述残缺位置确定缺失信息，根据所述缺失信息确定对应的三维修复素材。

S1332、根据所述三维修复素材对残缺位置进行特征修复。

在确定了残缺物体的物体类型后，可以根据物体类型以及所述残缺位置确定缺失信息确定缺失信息，进而确定对应的物体类型的三维修复素材，避免将形状接近的素材错用在不同的类别的残缺物体上，可以进一步提高特征修复的准确性。

本申请实施例通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体的物体类型；根据所述物体类型确定所述残缺物体上的残缺位置，可以根据物体的不同类型来确定缺失信息，可以提高缺失信息的识别的准确性。

图8为本申请实施例提供的另一种拍照修复方法的流程示意图，在上述任意实施例所提供的技术方案的基础上，对通过所述识别摄像头获取所述残缺物体的物体三维数据的操作进行了优化，可选地，如图8所示，该方法包括：

S140、在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的位置深度数据，以及位置红外数据。

所述识别摄像头为三维(3D,Three Dimensional)摄像头，三维摄像头中包括多种硬件结构，可包括：红外传感器、距离传感器和镜头等。

所述位置深度数据为残缺物体所包括的空间点距离识别摄像头的距离值的集合；可以通过识别摄像头中的距离传感器获取残缺物体的位置深度数据。

所述位置红外数据为残缺物体所包括的空间点反射的红外数据的集合。其中，三维摄像头在拍摄时，其中红外传感器发射红外信号至残缺物体，残缺物体会对红外信息进行反射，红外传感器根据接收到的反射的红外数据可以实现残缺物体的成像。

S141、根据所述位置深度数据确定所述残缺物体的初始三维数据。

其中，位置深度数据中包括了残缺物体所包括的空间点的距离值，所以可以根据位置深度数据确定残缺物体的初始三维数据。示例性地，如图9所示，图中点a、b、c和d为四个空间点，X、Y和Z轴表示空间，其中Z轴表示空间点的深度数据，X和Y轴表示空间点的平面位置坐标。其中点a的深度数据最大，也就是点a距离识别摄像头的距离最远，从图中可以看到根据四个空间点的平面坐标和深度数据可以形成一个三维的椎体，从而根据多个空间点的位置深度数据以及空间点的平面坐标可以确定初始的三维数据。

但是如果残缺物体的某些细节处被遮挡或者发生数据丢失的情况，则初始三维数据中对应的细节位置会出现数据缺失的问题，所以进一步需要根据位置红外数据对初始三维数据进行校正。

S142、根据所述位置红外数据对所述初始三维数据进行校正，以得到所述残缺物体的物体三维数据。

其中，对于残缺物体所包括的空间点，每个空间点的深度数据和红外数据一一对应。对于数据缺失的空间点的深度数据，根据其对应的红外数据可以通过对整体的初始三维数据进行衡量和比对，进而对缺失的空间点进行特征补全。红外信号是一种电磁波，人眼无法看到红外信号，但是如果在夜晚或者环境较暗没有可见光的时候，红外光依然可以进行传播，所以在较暗的环境中，根据红外数据也可以生成较清晰的成像；进而可以根据位置红外数据来对初始三维数据进行校正。

可选地，可以根据相邻点的深度数据和红外数据建立拟合关系函数，并根据拟合关系函数以及缺失空间点的位置红外数据计算对应的深度数据，进而得到校正后的物体三维数据；其中，缺失空间点为深度数据缺失的空间点，相邻空间点为缺失空间点的相邻的空间点。

S143、通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置。

S144、对所述残缺物体上的残缺位置进行特征修复。

上述操作的具体实施方式可以参考上文的相关描述，在此不再赘述。

虽然通过普通摄像头来拍摄残缺物体的图像，即获取的残缺物体的二维数据，通过图像处理识别技术也可以识别残缺物体的形状。但是二维数据仅包括平面图像的数据，对于光线的要求较高，如果用户在较暗的环境中拍摄残缺物体，所获取的平面图像的数据中可能无法识别准确的残缺位置，所以二维数据的准确性较低。

本申请实施例通过根据所述位置深度数据确定所述残缺物体的初始三维数据，根据所述位置红外数据对所述初始三维数据进行校正，以得到所述残缺物体的物体三维数据；在光线较暗的位置进行识别，也能通过位置红外数据对初始三维数据进行校正，得到准确的物体三维数据，进而可以提高残缺位置的识别的精确性。

图10为本申请实施例提供的另一种拍照修复方法的流程示意图，在上述任意实施例所提供的技术方案的基础上，对通过所述识别摄像头获取所述残缺物体的物体三维数据的操作进行了优化，可选地，如图10所示，该方法包括：

S150、将预设样本数据输入至预设分类器中进行训练，得到残缺识别模型；

其中，所述残缺识别模型用于根据拍摄到的残缺物体的物体三维数据确定对应的残缺位置；所述预设样本数据包括残缺物体的样本三维数据，以及对应的样本残缺位置。

其中，所述预设样本数据可以包括多个不同的样本数据，不同的样本数据对应为获取的不同的残缺物体，所对应的样本三维数据和对应的残缺位置；示例性地，如果残缺物体是人物像，预设样本数据可以是遮挡不同部位的不同的人物像的样本三维数据以及对应的残缺位置的标注。

如果通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体的物体类型，以及根据所述物体类型确定所述残缺物体上的残缺位置，则对应的预设样本数据包括残缺物体的样本三维数据、残缺物体的物体类型以及对应的残缺位置。由于每个残缺物体有所不同，以及物体类型有所不同，对应的残缺位置也有所不同，所以将样本三维数据、对应的物体类型以及对应的残缺位置作为预设样本数据输入值预设分类器中进行训练，以得到残缺识别模型，可以根据输入的物体三维数据进行识别，确定对应的物体类型，以及对应的残缺位置。

所述预设分类器可以是神经网络，通过将预设样本数据输入值预设分类器中进行训练；预设分类器可以提取样本三维数据的特征数据，由于样本三维数据标注了对应的残缺位置和/或物体类型，所以可以根据提取的特征数据确定对应的残缺物体残缺位置和/或物体类型。

通过预设样本数据对预设分类器进行训练后，得到的残缺识别模型可以对不同的残缺物体的物体类型进行确定，以及确定对应的残缺位置。

S151、在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据。

S152、通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置。

S153、对所述残缺物体上的残缺位置进行特征修复。

上述操作的具体实施方式可以参考上文的相关描述，在此不再赘述。

通过预设样本数据对预设分类器进行训练后，得到的残缺识别模型可以对不同的残缺物体的物体类型进行确定，可以提高残缺位置的确定的准确性。

图11为本申请实施例提供的一种拍照修复装置的结构框图，该装置可以执行拍照修复方法，如图11所示，该装置包括：

三维数据获取模块210，用于在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据；

位置确定模块211，用于通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置；

修复处理模块212，用于对所述残缺物体上的残缺位置进行特征修复。

本申请实施例中提供的一种拍照修复方案，通过在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据；通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置；对所述残缺物体上的残缺位置进行特征修复。通过采用上述技术方案，可以根据残缺物体的物体三维数据对拍摄的残缺物体进行残缺修复，丰富终端设备与用户的交互功能，优化现有的拍照技术。

可选地，修复处理模块具体包括：

素材确定模块，用于根据所述残缺位置确定缺失信息，根据所述缺失信息确定对应的三维修复素材；

特征修复模块，用于根据所述三维修复素材对残缺位置进行特征修复。

可选地，特征修复模块具体用于：

残缺物体显示模块，用于在终端设备的屏幕上实时显示所拍摄到的残缺物体；

显示确定模块，用于根据所述残缺物体的拍摄角度确定三维修复素材的显示角度，以及根据所述残缺物体上的残缺位置确定所述三维修复素材的显示位置；

修复显示模块，用于根据所述显示角度和显示位置在终端设备的屏幕上显示所述三维修复素材。

可选地，位置确定模块具体用于：

通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体的物体类型；

根据所述物体类型确定所述残缺物体上的残缺位置。

可选地，修复处理模块具体用于：

根据所述残缺物体的物体类型以及所述残缺位置确定缺失信息，根据所述缺失信息确定对应的三维修复素材；

根据所述三维修复素材对残缺位置进行特征修复。

可选地，所述识别摄像头为三维摄像头；相应地，三维数据获取模块具体用于：

通过所述识别摄像头获取所述残缺物体的位置深度数据，以及位置红外数据；

根据所述位置深度数据确定所述残缺物体的初始三维数据；

根据所述位置红外数据对所述初始三维数据进行校正，以得到所述残缺物体的物体三维数据。

可选地，还包括：

训练模块，用于在通过预设的残缺识别模型对所述物体三维数据进行识别之前，将预设样本数据输入至预设分类器中进行训练，得到残缺识别模型；

其中，所述残缺识别模型用于根据拍摄到的残缺物体的物体三维数据确定对应的残缺位置；所述预设样本数据包括残缺物体的样本三维数据，以及对应的样本残缺位置。

本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的拍照修复操作，还可以执行本申请任意实施例所提供的拍照修复方法中的相关操作。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行拍照修复方法，该方法包括：

在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据；

通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置；

对所述残缺物体上的残缺位置进行特征修复。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机***存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机***中，或者可以位于不同的第二计算机***中，第二计算机***通过网络(诸如因特网)连接到第一计算机***。第二计算机***可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机***中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

本申请实施例提供了一种终端设备，该终端设备中可集成本申请实施例提供的拍照修复装置。

图12为本申请实施例提供的一种终端设备的结构示意图，本申请实施例提供了一种终端设备30，包括存储器31，处理器32及存储在存储器31上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例所述的拍照修复方法。本申请实施例提供的终端设备，可以优化现有的拍照技术。

图13为本申请实施例提供的一种终端设备的结构示意图。如图13所示，该终端设备可以包括：壳体(图中未示出)、触摸屏(图中未示出)、触摸按键(图中未示出)、存储器301、中央处理器(Central Processing Unit，CPU)302(又称处理器，以下简称CPU)、电路板(图中未示出)和电源电路(图中未示出)。所述电路板安置在所述壳体围成的空间内部；所述CPU302和所述存储器301设置在所述电路板上；所述电源电路，用于为所述终端设备的各个电路或器件供电；所述存储器301，用于存储可执行程序代码；所述CPU302通过读取所述存储器301中存储的可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以实现以下步骤：

在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据；

通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置；

对所述残缺物体上的残缺位置进行特征修复。

所述终端设备还包括：外设接口303、RF(Radio Frequency，射频)电路305、音频电路306、扬声器311、电源管理芯片308、输入/输出(I/O)子***309、触摸屏312、其他输入/控制设备310以及外部端口304，这些部件通过一个或多个通信总线或信号线307来通信。

应该理解的是，图示终端设备300仅仅是终端设备的一个范例，并且终端设备300可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

下面就本实施例提供的用于实现拍照修复的终端设备进行详细的描述，该终端设备以手机为例。

存储器301，所述存储器301可以被CPU302、外设接口303等访问，所述存储器301可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

外设接口303，所述外设接口303可以将设备的输入和输出外设连接到CPU302和存储器301。

I/O子***309，所述I/O子***309可以将设备上的输入输出外设，例如触摸屏312和其他输入/控制设备310，连接到外设接口303。I/O子***309可以包括显示控制器3091和用于控制其他输入/控制设备310的一个或多个输入控制器3092。其中，一个或多个输入控制器3092从其他输入/控制设备310接收电信号或者向其他输入/控制设备310发送电信号，其他输入/控制设备310可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是，输入控制器3092可以与以下任一个连接：键盘、红外端口、USB接口以及诸如鼠标的指示设备。

触摸屏312，所述触摸屏312是用户终端设备与用户之间的输入接口和输出接口，将可视输出显示给用户，可视输出可以包括图形、文本、图标、视频等。

I/O子***309中的显示控制器3091从触摸屏312接收电信号或者向触摸屏312发送电信号。触摸屏312检测触摸屏上的接触，显示控制器3091将检测到的接触转换为与显示在触摸屏312上的用户界面对象的交互，即实现人机交互，显示在触摸屏312上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是，设备还可以包括光鼠，光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸。

RF电路305，主要用于建立手机与无线网络(即网络侧)的通信，实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地，RF电路305接收并发送RF信号，RF信号也称为电磁信号，RF电路305将电信号转换为电磁信号或将电磁信号转换为电信号，并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路305可以包括用于执行这些功能的已知电路，其包括但不限于天线***、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder，编译码器)芯片组、用户标识模块(Subscriber Identity Module，SIM)等等。

音频电路306，主要用于从外设接口303接收音频数据，将该音频数据转换为电信号，并且将该电信号发送给扬声器311。

扬声器311，用于将手机通过RF电路305从无线网络接收的语音信号，还原为声音并向用户播放该声音。

电源管理芯片308，用于为CPU302、I/O子***及外设接口所连接的硬件进行供电及电源管理。

本申请实施例提供的终端设备，可以优化现有的拍照技术。

上述实施例中提供的拍照修复装置、存储介质及终端设备可执行本申请任意实施例所提供的拍照修复方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的拍照修复方法。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种拍照修复方法，其特征在于，包括：

在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据；

通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置；

对所述残缺物体上的残缺位置进行特征修复。

2.如权利要求1所述的方法，其特征在于，对所述残缺物体上的残缺位置进行特征修复包括：

根据所述残缺位置确定缺失信息，根据所述缺失信息确定对应的三维修复素材；

根据所述三维修复素材对残缺位置进行特征修复。

3.如权利要求2所述的方法，其特征在于，根据所述三维修复素材对残缺位置进行特征修复包括：

在终端设备的屏幕上实时显示所拍摄到的残缺物体；

根据所述残缺物体的拍摄角度确定三维修复素材的显示角度，以及根据所述残缺物体上的残缺位置确定所述三维修复素材的显示位置；

根据所述显示角度和显示位置在终端设备的屏幕上显示所述三维修复素材。

4.如权利要求1所述的方法，其特征在于，通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置包括：

通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体的物体类型；

根据所述物体类型确定所述残缺物体上的残缺位置。

5.如权利要求4所述的方法，其特征在于，对所述残缺物体上的残缺位置进行特征修复包括：

根据所述残缺物体的物体类型以及所述残缺位置确定缺失信息，根据所述缺失信息确定对应的三维修复素材；

根据所述三维修复素材对残缺位置进行特征修复。

6.如权利要求1至5任一项所述的方法，其特征在于，所述识别摄像头为三维摄像头；相应地，通过所述识别摄像头获取所述残缺物体的物体三维数据包括：

通过所述识别摄像头获取所述残缺物体的位置深度数据，以及位置红外数据；

根据所述位置深度数据确定所述残缺物体的初始三维数据；

根据所述位置红外数据对所述初始三维数据进行校正，以得到所述残缺物体的物体三维数据。

7.如权利要求1至5任一项所述的方法，其特征在于，在通过预设的残缺识别模型对所述物体三维数据进行识别之前，还包括：

将预设样本数据输入至预设分类器中进行训练，得到残缺识别模型；

其中，所述残缺识别模型用于根据拍摄到的残缺物体的物体三维数据确定对应的残缺位置；

所述预设样本数据包括残缺物体的样本三维数据，以及对应的样本残缺位置。

8.一种拍照修复装置，其特征在于，包括：

三维数据获取模块，用于在识别摄像头拍摄到残缺物体时，通过所述识别摄像头获取所述残缺物体的物体三维数据；

位置确定模块，用于通过预设的残缺识别模型对所述物体三维数据进行识别，以确定所述残缺物体上的残缺位置；

修复处理模块，用于对所述残缺物体上的残缺位置进行特征修复。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的拍照修复方法。

10.一种终端设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的拍照修复方法。