CN114241127A - 全景图像生成方法、装置、电子设备和介质 - Google Patents

Abstract

本申请公开了一种全景图像生成方法、装置、电子设备和介质，属于图像处理技术领域。所述方法包括：基于拍摄场景的第一图像以及所述第一图像的深度信息进行三维重建，得到第一局部三维模型，所述第一图像为所述拍摄场景中除正视角图像以外的图像；将所述第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模型，其中，在所述第二观测视角的对应位置，所述第一图像对应的拍摄对象在所述全景图像生成装置的拍摄范围内；基于所述第二局部三维模型和所述正视角图像，生成目标全景图像。

Description

全景图像生成方法、装置、电子设备和介质

技术领域

本发明实施例属于图像处理技术领域，尤其涉及一种全景图像生成方法、装置、电子设备和介质。

背景技术

随着终端技术的快速发展，越来越多的用户倾向于使用更具便携性的终端设备中的相机进行拍照记录。而当用户想要记录一个相机视场覆盖不全的场景时，相机的全景拍摄模式为用户提供了更好的选择。

然而，在进行全景图像的拍摄过程中，由于不同拍摄对象与相机之间的相对角度不同，很容易造成最终生成的全景图像发生明显的变形。

发明内容

本申请实施例提供一种全景图像生成方法、装置、电子设备和介质，能够解决在拍摄全景图像时容易发生图像变形的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本申请实施例提供了一种全景图像的生成方法，该方法包括：

基于拍摄场景的第一图像以及所述第一图像的深度信息进行三维重建，得到第一局部三维模型，所述第一图像为所述拍摄场景中除正视角图像以外的图像；

将所述第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模型，其中，在所述第二观测视角的对应位置，所述第一图像对应的拍摄对象在所述全景图像生成装置的拍摄范围内；

基于所述第二局部三维模型和所述正视角图像，生成目标全景图像。

第二方面，本申请实施例提供了一种全景图像生成装置，包括：

模型建立单元，用于基于拍摄场景的第一图像以及所述第一图像的深度信息进行三维重建，得到第一局部三维模型，所述第一图像为所述拍摄场景中除正视角图像以外的图像；

调整单元，用于将所述第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模型，其中，在所述第二观测视角的对应位置，所述第一图像对应的拍摄对象在所述全景图像生成装置的拍摄范围内；

图像生成单元，用于基于所述第二局部三维模型和所述正视角图像，生成目标全景图像。

第三方面，本申请实施例提供了一种终端设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述全景图像生成方法的步骤。

第四方面，本申请实施例还提供一种可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述全景图像生成方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的全景图像的生成方法。

本申请实施例中，在拍摄全景图像时，能够基于拍摄场景的第一图像以及第一图像的深度信息进行三维重建，得到第一局部三维模型，该第一图像为拍摄场景中除正视角图像以外的图像，再将第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模型，其中，在第二观测视角的对应位置，第一图像对应的拍摄对象在全景图像生成装置的拍摄范围内，最后基于第二局部三维模型和正视角图像，生成目标全景图像。一方面，能够获取拍摄场景的图像的深度信息，并在建立局部三维模型时，省去了正视角图像的三维模型建立，提高了三维模型的建立效率；另一方面，对局部三维模型进行了观测视角的调整，使得全景图像生成装置在调整后的观测视角的对应位置处能够包含最后生成的目标全景图像中的所有拍摄对象，进而使得最终生成的全景图像在视觉上不会发生明显变形，提高了全景图像的质量。

附图说明

图1为本申请实施例提供的一种全景图像生成方法的具体实施流程示意图；

图2为本申请实施例提供的全景图像生成方法中打开终端设备的相机进入深度全景图采集图像的深度信息的示意图；

图3为本申请实施例提供的全景图像生成方法中采集的多个视角的图像的示意图；

图4为本申请实施例提供的全景图像生成方法中建立的局部三维模型的示意图；

图5为本申请实施例提供的全景图像生成方法中调整视锥顶点使得第一局部三维模型的第一观测视角调整至第二观测视角的示意图；

图6为本申请实施例提供的全景图像生成方法中相机空间和世界空间的示意图；

图7为采用本申请实施例提供的全景图像生成方法之前所生成的全景图像与采用本申请实施例提供的全景图像生成方法之后生成的全景图像的示意图；

图8为本申请实施例提供的一种全景图像生成装置的结构示意图；

图9为本申请实施例提供的一种电子设备的硬件结构示意图；

图10为本申请实施例提供的又一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的全景图像的生成方法进行详细地说明。

为解决现有的全景图像生成方法中当拍摄对象与相机的相对角度变化时，容易造成生成的全景图像发生明显变形的问题，本申请提供一种全景图像的生成方法，该方法的执行主体，可以但不限于手机、平板电脑等能够被配置为执行本发明实施例提供的该方法用户终端中的至少一种。

为便于描述，下文以该方法的执行主体为能够执行该方法的终端设备为例，对该方法的实施方式进行介绍。可以理解，该方法的执行主体为终端设备只是一种示例性的说明，并不应理解为对该方法的限定。

目前在生成全景图像时，需要对采集到的多个视角的子图像进行拼接，当全景图像的视角范围较大时，拼接后的全景图像往往会出现变形的现象。当拍摄对象是人群时，拼接得到的全景图像中处于同一平面的人群往往是中间视场小、人显大，而两侧的视场大，人显小。当拍摄对象是同一平面的建筑群落时，拼接得到的全景图像也会出现中间的建筑物高，两侧的建筑物逐渐变低的现象，进而会对全景图像的观测者产生误导。

现有的针对发生变形的全景图像校正方式有仿射变换等拉伸手段，可以对特定场景进行针对性校正恢复实际的效果，但该方法需要对特定的拍摄场景进行定标，因此该方法只针对部分特定的拍摄场景有效，而拍摄场景不是这些特定的拍摄场景时，采用仿射变换的图像校正方式则无法消除全景图像产生的形变。

针对此，本发明提供的全景图像的生成方法包括：首先，基于拍摄场景的第一图像以及第一图像的深度信息进行三维重建，得到第一局部三维模型，该第一图像为拍摄场景中除正视角图像以外的图像；然后，将第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模型，其中，在第二观测视角的对应位置，第一图像对应的拍摄对象在全景图像生成装置的拍摄范围内；最后，基于第二局部三维模型和正视角图像，生成目标全景图像。

一方面，能够获取拍摄场景的图像的深度信息，并在建立局部三维模型时，省去了正视角图像的三维模型建立，提高了三维模型的建立效率；另一方面，对局部三维模型进行了观测视角的调整，使得全景图像生成装置在调整后的观测视角的对应位置处能够包含所有拍摄对象，进而使得最终生成的全景图像在视觉上不会发生明显变形，提高了全景图像的质量。

下面结合图1所示的全景图像生成方法的具体实施流程示意图，对该方法的实施过程进行详细介绍，包括：

S110，基于拍摄场景的第一图像以及第一图像的深度信息进行三维重建，得到第一局部三维模型，第一图像为拍摄场景中除正视角图像以外的图像。

其中，基于拍摄场景的第一图像以及第一图像的深度信息进行三维重建，具体可依据第一图像中与第一图像的深度信息相对应的各像素点的灰度值、以及第一图像的深度信息进行三维重建，得到第一局部三维模型。

可选地，基于拍摄场景的第一图像以及第一图像的深度信息进行三维重建，得到第一局部三维模型之前，本说明书实施例提供的方法还包括：

通过TOF镜头或者多目视觉技术获取第一图像的深度信息。

图2为本申请实施例提供的全景图像生成方法中打开终端设备的相机进入深度全景图采集图像的深度信息的示意图。在图2中，当用户想要拍摄一张全景图像时，可打开终端设备的相机，点击图2中的“更多”功能按钮，选用“深度全景图”模式对想要生成全景图像的被摄物进行多个视角的图像采集。在该“深度全景图”模式下，用户可以固定相机所在的位置，顺时针或者逆时针方向改变相机的拍摄视角，采集所需视角范围内的图像，该视角范围内的图像包含了所有拍摄对象。此时，在该拍摄模式下，终端设备的相机即全景图像生成装置则会自动获取关于该全景图像的多个视角的图像的深度信息。

可选地，第一图像的数量还可以为多张，基于拍摄场景的第一图像以及该第一图像的深度信息进行三维重建，得到第一局部三维模型，包括：

基于拍摄场景的至少两张第一图像以及该至少两张第一图像的深度信息进行三维重建，得到第一局部三维模型。

图3为本申请实施例提供的全景图像生成方法中采集的多个视角的图像的示意图。在图3中，所采集的多个视角的图像包括一张正视角的图像(即图3中间的图像(b))和两张与正视角的图像之间存在一定角度的第一图像(即图3中的图像(a)和图像(c))。

其中，正视角图像是与目标全景图像中的所有拍摄对象投影的平面之间的角度为零的图像。由于所生成的目标全景图像的观测视角与正视角图像的方向一致，因此，在三维模型建立过程中，可省去对正视角图像的三维模型的建立，以此节省计算资源，并提高第一局部三维模型的建模效率。

图4为本申请实施例提供的全景图像生成方法中建立的局部三维模型的示意图。在图4中，为提高建立三维模型的效率，节省计算资源，正视角图像可不参与该局部三维模型的建立。

此外，基于拍摄场景的第一图像以及第一图像的深度信息进行三维重建，得到第一局部三维模型的具体三维模型建立过程可参见现有的三维模型建立过程，只要涉及到基于图像的深度信息以及相机采集的二维图像进行三维模型的建立方法都适用于本申请，本申请实施例对此不作具体限定。

S120，将第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模型。

其中，在第二观测视角的对应位置，第一图像对应的拍摄对象在全景图像生成装置的拍摄范围内。

可选地，将第一局部三维模型通过投影变换的方式转换为二维图像之后，为了避免转换的二维图像拼接后生成的目标全景图像中出现明显的变形问题，本申请实施例可在将第一局部三维模型通过投影变换的方式转换为二维图像之前，调整第一局部三维模型的观测视角，使得全景图像生成装置在调整后的观测视角的对应位置处能包含最后生成的目标全景图像中的所有被摄物。具体地，将第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模，包括：

以采集第一图像的全景图像生成装置的摄像头所在的位置为视锥顶点；

将视锥顶点向远离第一图像对应的拍摄对象的方向推移，即将全景图像生成装置向远离第一图像对应的拍摄对象的方向推移，以将第一局部三维模型的观测视角调整至第二观测视角，以使得全景图像生成装置在第二观测视角的对应位置，能够拍摄到目标全景图像中所有的拍摄对象。

图5为本申请实施例提供的全景图像生成方法中调整视锥顶点使得第一局部三维模型的第一观测视角调整至第二观测视角的示意图。在图5中，全景图像生成装置即终端设备的相机在拍摄照片时，由于初始状态下相机距离第一图像对应的被摄物较近，因此相机的单个视场无法覆盖第一图像和正视角图像对应的所有的被摄物。而相机的视场角通常是不变的，本申请实施例考虑到这一点选择在改变物距的情况下，改变相机拍摄的场景范围，即增大物距，以扩大相机拍摄的场景范围。

具体地，可以全景图像生成装置为视锥顶点，为了得到更大的视场，将该视锥顶点往后进行平移，直到全景图像生成装置的拍摄视场能够覆盖目标全景图像中的所有被摄物，使得最终呈现出来的目标全景图像在视觉上避免形变，提高生成的全景图像的图像质量。

S130，基于第二局部三维模型和正视角图像，生成目标全景图像。

可选地，由于得到第二局部三维模型是三维的，而最终需要生成的目标全景图像则为二维图像，因此可以对第二局部三维模型通过投影变换的方式转换为二维图像。具体地，基于第二局部三维模型和正视角图像，生成目标全景图像，包括：

根据第一图像和第二局部三维模型，得到第一二维图像；

对第一二维图像和正视角图像进行图像合成，得到目标全景图像。

可选地，根据第一图像和第二局部三维模型，得到第一二维图像，包括：

获取第二局部三维模型中第二观测视角下的视锥顶点与全景图像生成装置中摄像头的第一距离、第二观测视角下的视锥顶点与拍摄对象的第二距离、以及第二观测视角中的水平方向的观测视角和竖直方向的观测视角；

基于第一距离、第二距离、第二观测视角中的水平方向的观测视角和竖直方向的观测视角、第一图像以及第二局部三维模型，得到第一二维图像。

其中，投影变换是把三维物体投影变换为二维图像的过程。图6为本申请实施例提供的全景图像生成方法中相机空间和世界空间的示意图。在图6中，所有三维场景中的物体只有在处于视锥中时，才会参与渲染。超出视锥的部分，则不参与渲染。在图6中，"视锥"的具体几何形状限制在水平方向的观测视角(英文名称为FovH)和竖直方向的观测视角(英文名称为FovV)两个夹角。此外，还可以确定棱锥顶面和棱锥底面的位置，这两个面也可称为"裁剪平面"。其中，相机所在位置的平面，通常被记作棱锥顶面(英文名称为near plane)，被摄物所在的平面通常被记作棱锥底面(英文名称为far plane)。该棱锥顶面距离相机的距离即为n，棱锥底面距离相机的距离即为f。

物体在三维空间中的表示通常是用世界坐标来表示，而当相机去拍摄物体时，世界坐标系就可转化为相机坐标系。这就需要在两个坐标系之间进行转换，具体可以通过平移、旋转实现从世界坐标到相机坐标的变换。

相机空间中的坐标系把相机镜头朝向的方向作为z轴(可以是正方向或者负方向)，以便于计算三维空间中的物体的“Z值/depth值”，当三维场景中有多个物体时，从视锥的角度看过去，可能会有多个物体映射到同一个像素上。此时，可该选用“Z值/depth值”绝对值最小的物体的颜色来作为这个像素的颜色，即选择离相机近的物体的颜色来作为这个像素的颜色。

其中，投影变换的矩阵公式如下：

其中，(x，y，z)为第二局部三维模型中物体的坐标，n为第二观测视角下的视锥顶点与全景图像生成装置的第一距离，f为第二观测视角下的视锥顶点与生成的目标全景图像中的所有被摄物的第二距离。

将上述计算结果进行归一化以后的结果如下：

最终得到的二维空间中的坐标

即对应于第二局部三维模型中(x，y，z)的坐标。

可选地，为了提高全景图像的生成效率，正视角图像可保留起来，在将三维模型通过投影变换的方式转换为二维图像之后，根据图像中被摄物的完整形状将正视角图像拼接至二维图像中，便可生成目标全景图像。具体地，对第一二维图像和正视角图像进行图像合成，得到目标全景图像，包括：

将第一二维图像和正视角图像进行拼接，生成目标全景图像。

图7为采用本申请实施例提供的全景图像生成方法之前所生成的全景图像与采用本申请实施例提供的全景图像生成方法之后生成的全景图像的示意图。图7的左侧图(a)为未调整第一局部三维模型的观测视角生成的全景图像的示意图，图7中的右侧图(b)为调整了第一局部三维模型的第一观测视角至第二观测视角生成的全景图像的示意图。显然，调整了第一局部三维模型的第一观测视角至第二观测视角生成的全景图像能避免明显的图像形变，从而提高全景图像的图像质量。

本申请实施例中，在拍摄全景图像时，能够基于拍摄场景的第一图像以及第一图像的深度信息进行三维重建，得到第一局部三维模型，该第一图像为拍摄场景中除正视角图像以外的图像，再将第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模型，其中，在第二观测视角的对应位置，第一图像对应的拍摄对象在全景图像生成装置的拍摄范围内，最后基于第二局部三维模型和正视角图像，生成目标全景图像。一方面，能够获取拍摄场景的图像的深度信息，并在建立局部三维模型时，省去了正视角图像的三维模型建立，提高了三维模型的建立效率；另一方面，对局部三维模型进行了观测视角的调整，使得全景图像生成装置在调整后的观测视角的对应位置处能够包含所有拍摄对象，进而使得最终生成的全景图像在视觉上不会发生明显变形，提高了全景图像的质量。

需要说明的是，本申请实施例提供的全景图像生成方法，执行主体可以为全景图像生成装置，或者该全景图像生成装置中的用于执行全景图像的生成方法的控制模块。本申请实施例中以全景图像生成装置执行全景图像生成方法为例，说明本申请实施例提供的全景图像生成装置。

请参阅图8，为本发明实施例提供的全景图像生成装置800的结构示意图，如图8所示，包括模型建立单元802、调整单元803和图像生成单元804，其中：

模型建立单元802，用于基于拍摄场景的第一图像以及所述第一图像的深度信息进行三维重建，得到第一局部三维模型，所述第一图像为所述拍摄场景中除正视角图像以外的图像；

调整单元803，用于将所述第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模型，其中，在所述第二观测视角的对应位置，所述第一图像对应的拍摄对象在所述全景图像生成装置的拍摄范围内；

图像生成单元804，用于基于所述第二局部三维模型和所述正视角图像，生成目标全景图像。

可选地，在一种实施方式中，所述图像生成单元804，用于：

根据所述第一图像和所述第二局部三维模型，得到第一二维图像；

对所述第一二维图像和所述正视角图像进行图像合成，得到所述目标全景图像。

可选地，在一种实施方式中，所述图像生成单元804，用于：

获取所述第二局部三维模型中第二观测视角下的视锥顶点与所述全景图像生成装置中摄像头的第一距离、所述第二观测视角下的视锥顶点与拍摄对象的第二距离、以及所述第二观测视角中的水平方向的观测视角和竖直方向的观测视角；

基于所述第一距离、所述第二距离、所述第二观测视角中的水平方向的观测视角和竖直方向的观测视角、所述第一图像以及所述第二局部三维模型，得到所述第一二维图像。

可选地，在一种实施方式中，所述模型建立单元802基于拍摄场景的第一图像以及所述第一图像的深度信息进行三维重建之前，所述装置还包括：

信息获取单元801，用于通过TOF镜头或者多目视觉技术获取所述第一图像的深度信息。

可选地，在一种实施方式中，所述模型建立单元802，用于：

基于拍摄场景的至少两张第一图像以及所述至少两张第一图像的深度信息进行三维重建，得到所述第一局部三维模型。

本申请实施例提供的全景图像生成装置800，在拍摄全景图像时，能够基于拍摄场景的第一图像以及第一图像的深度信息进行三维重建，得到第一局部三维模型，该第一图像为拍摄场景中除正视角图像以外的图像，再将第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模型，其中，在第二观测视角的对应位置，第一图像对应的拍摄对象在全景图像生成装置的拍摄范围内，最后基于第二局部三维模型和正视角图像，生成目标全景图像。一方面，能够获取拍摄场景的图像的深度信息，并在建立局部三维模型时，省去了正视角图像的三维模型建立，提高了三维模型的建立效率；另一方面，对局部三维模型进行了观测视角的调整，使得全景图像生成装置在调整后的观测视角的对应位置处能够包含所有拍摄对象，进而使得最终生成的全景图像在视觉上不会发生明显变形，提高了全景图像的质量。

本申请实施例中的全景图像生成装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的全景图像生成装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。

本申请实施例提供的全景图像生成装置能够实现图1至图7的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选的，如图9所示，本申请实施例还提供一种电子设备M09，包括存储器M91，处理器M92，存储在存储器M91上并可在所述处理器M92上运行的程序或指令，该程序或指令被处理器M92执行时实现上述全景图像生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图10为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。

本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器1010逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图10中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1010，基于拍摄场景的第一图像以及所述第一图像的深度信息进行三维重建，得到第一局部三维模型，所述第一图像为所述拍摄场景中除正视角图像以外的图像；将所述第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模型，其中，在所述第二观测视角的对应位置，所述第一图像对应的拍摄对象在所述全景图像生成装置的拍摄范围内；基于所述第二局部三维模型和所述正视角图像，生成目标全景图像。

本申请实施例中，在拍摄全景图像时，能够基于拍摄场景的第一图像以及第一图像的深度信息进行三维重建，得到第一局部三维模型，该第一图像为拍摄场景中除正视角图像以外的图像，再将第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模型，其中，在第二观测视角的对应位置，第一图像对应的拍摄对象在全景图像生成装置的拍摄范围内，最后基于第二局部三维模型和正视角图像，生成目标全景图像。一方面，能够获取拍摄场景的图像的深度信息，并在建立局部三维模型时，省去了正视角图像的三维模型建立，提高了三维模型的建立效率；另一方面，对局部三维模型进行了观测视角的调整，使得全景图像生成装置在调整后的观测视角的对应位置处能够包含所有拍摄对象，进而使得最终生成的全景图像在视觉上不会发生明显变形，提高了全景图像的质量。

可选地，处理器1010，还用于根据所述第一图像和所述第二局部三维模型，得到第一二维图像；

对所述第一二维图像和所述正视角图像进行图像合成，得到所述目标全景图像。

可选的，处理器1010，还用于获取所述第二局部三维模型中第二观测视角下的视锥顶点与所述全景图像生成装置中摄像头的第一距离、所述第二观测视角下的视锥顶点与拍摄对象的第二距离、以及所述第二观测视角中的水平方向的观测视角和竖直方向的观测视角；

基于所述第一距离、所述第二距离、所述第二观测视角中的水平方向的观测视角和竖直方向的观测视角、所述第一图像以及所述第二局部三维模型，得到所述第一二维图像。

可选地，处理器1010，还用于通过TOF镜头或者多目视觉技术获取所述第一图像的深度信息。

可选地，处理器1010，还用于基于拍摄场景的至少两张第一图像以及所述至少两张第一图像的深度信息进行三维重建，得到所述第一局部三维模型。

采用本申请提供的方法，一方面，能够获取拍摄场景的图像的深度信息，并在建立局部三维模型时，省去了正视角图像的三维模型建立，提高了三维模型的建立效率；另一方面，对局部三维模型投影进行了观测视角的调整，使得全景图像生成装置在调整后的观测视角的对应位置处能够包含所有拍摄对象，进而使得最终生成的全景图像在视觉上不会发生明显变形，提高了全景图像的质量。

应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸处理器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1009可用于存储软件程序以及各种数据，包括但不限于应用程序和操作***。处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述全景图像生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述全景图像生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种全景图像生成方法，应用于全景图像生成装置，其特征在于，包括：

基于拍摄场景的第一图像以及所述第一图像的深度信息进行三维重建，得到第一局部三维模型，所述第一图像为所述拍摄场景中除正视角图像以外的图像；

将所述第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模型，其中，在所述第二观测视角的对应位置，所述第一图像对应的拍摄对象在所述全景图像生成装置的拍摄范围内；

基于所述第二局部三维模型和所述正视角图像，生成目标全景图像。

2.如权利要求1所述的方法，其特征在于，基于所述第二局部三维模型和所述正视角图像，生成目标全景图像，包括：

根据所述第一图像和所述第二局部三维模型，得到第一二维图像；

对所述第一二维图像和所述正视角图像进行图像合成，得到所述目标全景图像。

3.如权利要求2所述的方法，其特征在于，根据所述第一图像和所述第二局部三维模型，得到第一二维图像，包括：

获取所述第二局部三维模型中第二观测视角下的视锥顶点与所述全景图像生成装置中摄像头的第一距离、所述第二观测视角下的视锥顶点与拍摄对象的第二距离、以及所述第二观测视角中的水平方向的观测视角和竖直方向的观测视角；

基于所述第一距离、所述第二距离、所述第二观测视角中的水平方向的观测视角和竖直方向的观测视角、所述第一图像以及所述第二局部三维模型，得到所述第一二维图像。

4.如权利要求1所述的方法，其特征在于，所述基于拍摄场景的第一图像以及所述第一图像的深度信息进行三维重建之前，所述方法还包括：

通过TOF镜头或者多目视觉技术获取所述第一图像的深度信息。

5.如权利要求1～4中任意一项所述的方法，其特征在于，基于拍摄场景的第一图像以及所述第一图像的深度信息进行三维重建，得到第一局部三维模型，包括：

基于拍摄场景的至少两张第一图像以及所述至少两张第一图像的深度信息进行三维重建，得到所述第一局部三维模型。

6.一种全景图像生成装置，其特征在于，包括：

模型建立单元，用于基于拍摄场景的第一图像以及所述第一图像的深度信息进行三维重建，得到第一局部三维模型，所述第一图像为所述拍摄场景中除正视角图像以外的图像；

调整单元，用于将所述第一局部三维模型的第一观测视角调整至第二观测视角，得到第二局部三维模型，其中，在所述第二观测视角的对应位置，所述第一图像对应的拍摄对象在所述全景图像生成装置的拍摄范围内；

图像生成单元，用于基于所述第二局部三维模型和所述正视角图像，生成目标全景图像。

7.如权利要求6所述的装置，其特征在于，所述图像生成单元，用于：

根据所述第一图像和所述第二局部三维模型，得到第一二维图像；

对所述第一二维图像和所述正视角图像进行图像合成，得到所述目标全景图像。

8.如权利要求7所述的装置，其特征在于，所述图像生成单元，用于：

获取所述第二局部三维模型中第二观测视角下的视锥顶点与所述全景图像生成装置中摄像头的第一距离、所述第二观测视角下的视锥顶点与拍摄对象的第二距离、以及所述第二观测视角中的水平方向的观测视角和竖直方向的观测视角；

基于所述第一距离、所述第二距离、所述第二观测视角中的水平方向的观测视角和竖直方向的观测视角、所述第一图像以及所述第二局部三维模型，得到所述第一二维图像。

9.如权利要求6所述的装置，其特征在于，所述模型建立单元基于拍摄场景的第一图像以及所述第一图像的深度信息进行三维重建之前，所述装置还包括：

信息获取单元，用于通过TOF镜头或者多目视觉技术获取所述第一图像的深度信息。

10.如权利要求6～9中任一所述的装置，其特征在于，所述模型建立单元，用于：

基于拍摄场景的至少两张第一图像以及所述至少两张第一图像的深度信息进行三维重建，得到所述第一局部三维模型。

11.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的全景图像生成方法的步骤。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的全景图像生成方法的步骤。

Images