CN117710259A - 一种图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了一种图像处理方法、装置、设备及存储介质。该方法包括：获取头戴式显示设备拍摄的双目图像；确定所述双目图像中第一图像内的边缘曲率；根据所述边缘曲率，确定所述第一图像内的边缘点；在所述双目图像的第二图像中确定每一所述边缘点对应的匹配点；根据所述匹配点，构建所述双目图像对应的三维待透视模型；根据所述三维待透视模型，确定所述头戴式显示设备对应的双目显示图像。本申请通过边缘曲率分布自适应采集不同曲率下的边缘点，以便极大改善双目显示图像可能存在的边缘走样的问题。根据每一匹配点，构建对应的三维待透视模型，保证待透视场景的整体统一性，避免透视后的整体场景出现扭曲的问题。

Description

一种图像处理方法、装置、设备及存储介质

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术

随着虚拟现实(Virtual Reality，简称为VR)设备、增强现实(AugmentedReality，简称为AR)设备和混合现实(Mixed Reality，简称为MR)设备等在日常生活中的广泛应用，为了保证用户的使用便捷性，通常会为其配置相应的透视(See-Through)功能，以便在用户佩戴有此类设备时，也能够看到现实环境。

然而，目前采用的视频透视技术通常会存在透视出的场景整体扭曲和边缘走样的问题，因此急需设计一种更为高效真实的透视方式。

发明内容

本申请实施例提供一种图像处理方法、装置、设备及存储介质，实现双目显示图像的准确有效处理，提高双目图像透视后的真实性。

第一方面，本申请实施例提供了一种图像处理方法，应用于头戴式显示设备，该方法包括：

获取头戴式显示设备拍摄的双目图像；

确定所述双目图像中第一图像内的边缘曲率；

根据所述边缘曲率，确定所述第一图像内的边缘点；

在所述双目图像的第二图像中确定每一所述边缘点对应的匹配点；

根据所述匹配点，构建所述双目图像对应的三维待透视模型；

根据所述三维待透视模型，确定所述头戴式显示设备对应的双目显示图像。

第二方面，本申请实施例提供了一种图像处理装置，配置于头戴式显示设备，该装置包括：

图像获取模块，用于获取头戴式显示设备拍摄的双目图像；

边缘曲率确定模块，用于确定所述双目图像中第一图像内的边缘曲率；

边缘点确定模块，用于根据所述边缘曲率，确定所述第一图像内的边缘点；

匹配点确定模块，用于在所述双目图像的第二图像中确定每一所述边缘点对应的匹配点；

三维模型构建模块，用于根据所述匹配点，构建所述双目图像对应的三维待透视模型；

显示图像确定模块，用于根据所述三维待透视模型，确定所述头戴式显示设备对应的双目显示图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括：

处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行本申请第一方面中提供的图像处理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行如本申请第一方面中提供的图像处理方法。

第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如本申请第一方面中提供的图像处理方法。

本申请实施例提供的一种图像处理方法、装置、设备及存储介质，获取头戴式显示设备拍摄的双目图像，然后按照双目图像中第一图像内的边缘曲率，确定对应的边缘点，从而确保边缘点在不同曲率下的自适应采集，以便极大改善双目透视图像可能存在的边缘走样的问题。然后，在双目图像的第二图像中确定每一边缘点对应的匹配点，并根据每一匹配点，构建对应的三维待透视模型，保证待透视场景的整体统一性，进而确定三维待透视模型对应的双目显示图像，避免透视后的整体场景出现扭曲的问题，提高双目图像透视后的真实性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例示出的一种图像处理方法的流程图；

图2为本申请实施例示出的三维待透视模型的构建过程的方法流程图；

图3为本申请实施例示出的双目图像透视过程的原理示意图；

图4为本申请实施例示出的多组双目图像场景下的双目图像在头戴式显示设备内的透视实现过程的方法流程图；

图5为本申请实施例示出的一种图像处理装置的原理框图；

图6是本申请实施例提供的电子设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

考虑到现有的***通常会存在整体场景扭曲或边缘走样的问题，本申请设计了一种新的对双目图像进行透视处理的方案。通过双目图像中第一图像内的边缘曲率，自适应确定对应的边缘点，以便极大改善双目透视图像可能存在的边缘走样的问题。然后，在双目图像的第二图像中确定每一边缘点对应的匹配点，并根据每一边缘点和匹配点，构建对应的三维待透视模型，保证待透视场景的整体统一性，进而确定三维待透视模型对应的双目显示图像，避免透视后的整体场景出现扭曲的问题，提高双目图像透视后的真实性。

图1为本申请实施例示出的一种图像处理方法的流程图。该方法可以由本公开提供的图像处理装置来执行，其中，图像处理装置可以通过任意的软件和/或硬件的方式实现。示例性地，该图像处理装置可以应用于任一电子设备中，该电子设备包括但不限于为平板电脑、手机(如折叠屏手机、大屏手机等)、可穿戴设备、车载设备、增强现实(augmentedreality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digitalassistant，PDA)、智能电视、智慧屏、高清电视、4K电视、智能音箱、智能投影仪等安装有双目摄像头的设备，本申请对电子设备的具体类型不作任何限制。

具体的，如图1所示，该方法可以包括如下步骤：

S110，获取头戴式显示设备拍摄的双目图像。

用户佩戴好头戴式显示设备后，为了实现用户的使用便捷性，通常会为其配置相应的透视(See-Through)功能，以便在用户佩戴有该头戴式显示设备时，也能够看到现实环境。

所以，为了确保头戴式显示设备中***的准确性，通常会在头戴式显示设备的不同位置上分别安装一个相机，来表示用户双眼的视野范围。此时，通过不同位置的相机来采集用户所处的周围环境下的外部实时图像，作为本申请中的双目图像。例如，将左侧相机所采集的图像作为左目图像，右侧相机所采集的图像作为右目图像。

S120，确定双目图像中第一图像内的边缘曲率。

对于头戴式显示设备拍摄的双目图像，第一图像可以为双目图像中的任一图像，第二图像为双目图像中的另一图像。

在本申请中，为了解决透视时可能存在边缘走样或扭曲的问题，本申请会将双目图像中的任一图像作为外部真实场景的参考图像，也就是本申请中的第一图像。通过分析第一图像中各个边缘曲线上的曲率分布，来判断表示边缘曲线在不同位置下的弯曲程度，以便后续自适应确定相应数量的边缘点。此外，由于双目图像是由头戴式显示设备内不同位置下的相机对同一外部环境同时拍摄得到，所以同一目标点在双目图像上会形成一定的视差。因此，为了确保双目图像的处理高效性和准确性，本申请在获取到双目图像后，首先会对双目图像中的第一图像和第二图像进行双目矫正，以消除双目图像中存在的畸变，并使双目图像的对极线恰好在同一水平线上。那么，对于双目矫正后的第一图像和第二图像中的任一幅图像而言，该图像内的任一特征点与其在另一幅图像上的匹配点会处于同一水平线上。

S130，根据边缘曲率，确定第一图像内的边缘点。

本申请在确定出第一图像内的边缘曲率后，可以按照第一图像中边缘曲线在不同位置下的曲率大小，来自适应确定相应数量的边缘点。

也就是说，在边缘曲率大的地方可以确定较多数量的边缘点，而在边缘曲率小的地方确定较少数量的边缘点，从而确保边缘点在不同曲率下的自适应采集。而且，边缘曲率大说明弯曲程度较高，那么较多数量的边缘点能够更加全面的细化这部分的边缘特征，从而尽可能避免透视时边缘走样或扭曲的问题。而边缘曲率小说明弯曲程度较低(也就是较为平直)，那么即时采用较少数量的边缘点也能够较为准确的表示这部分的边缘特征，从而避免透视时边缘走样或扭曲的问题。

作为本申请中的一种可选实现方案，根据边缘曲率确定第一图像内的边缘点，可以具体包括如下步骤：

第一步，对第一图像进行边缘提取，得到对应的边缘特征图。

本申请可以采用边缘检测算法，分析第一图像内的各个像素点的灰度变化情况，并用预设边缘算子从第一图像中提取出所有反映灰度变化的特征点。然后，从所提取出的所有特征点中剔除某一些边界点或填补边界间断点。进而将剩余的特征点连接成对应的边缘曲线，得到对应的边缘特征图。

第二步，根据边缘特征图中的边缘曲率，确定对应的边缘点。

通过分析边缘特征图中各个边缘曲线在其上任一特征点下的曲率大小，可以表示该边缘曲线在该特征点位置的弯曲程度。然后，按照边缘曲率和边缘点数量正相关的关系，在边缘曲线的各个位置上自适应采集相应数量的边缘点，使得在边缘曲率大的地方可以确定较多数量的边缘点，而在边缘曲率小的地方确定较少数量的边缘点。

S140，在双目图像的第二图像中确定每一边缘点对应的匹配点。

在确定出第一图像内的各个边缘点后，考虑到第一图像和第二图像是由两个相机对同一外部场景实时拍摄得到的，也就是说第一图像和第二图像内存在相同的目标对象。因此，为了准确分析用户所处环境的真实外部场景，本申请可以对第二图像内的各个像素点进行特征分析。然后，根据每一边缘点在第一图像内的特征信息，可以从第二图像内查找出每一边缘点的匹配点。其中，边缘点和匹配点可以为真实外部场景内同一目标对象上的相同边缘位置点分别在第一图像和第二图像内的不同表示。

在本申请中，采用光流算法计算出第一图像内的每一角点在第二图像内的匹配点。此时，由于第一图像和第二图像是采用不同相机对同一真实外部场景的拍摄得到，那么真实外部场景内的两个目标对象在第一图像和第二图像内的目标位置差异是相同的。因此，本申请针对第一图像内的每一边缘点，可以分析该边缘点和最相近的角点间的特征位置差异。然后，根据该特征位置差异和该最相近的角点在第二图像内的匹配点，即可确定出该边缘点在第二图像内的匹配点。那么，对于第一图像内的每一边缘点，均可以执行上述相同的步骤，从而确定出每一边缘点在第二图像内的匹配点。

作为本申请中的一种可选实现方案，本申请中通过第一图像和第二图像进行双目矫正，可以消除双目图像中存在的畸变，并使双目图像的对极线恰好在同一水平线上。那么，在对第一图像和第二图像进行双目矫正后，可以确定矫正后的第一图像内的每一边缘点和该边缘点在矫正后的第二图像内的匹配点可以处于同一水平坐标上。因此，本申请中在双目图像的第二图像中确定每一边缘点对应的匹配点，可以具体为：针对每一边缘点，在第二图像中进行水平方向的光流计算，得到该边缘点的匹配点。

也就是说，通过分析第二图像内每一边缘点的行坐标，直接在第二图像内的同一行坐标上对该边缘点进行水平方向的光流计算，即可得到该边缘点的匹配点。此时，可以将二维方向上光流算法转换为一维方向的光流计算，极大降低了边缘匹配的计算开销，提高了边缘匹配的效率。

S150，根据匹配点，构建双目图像对应的三维待透视模型。

由于第二图像内的各个匹配点也属于真实目标对象的边缘位置点，说明第二图像内除了各个匹配点之外的其他特征点的灰度变化不明显，那么即时此类特征点在透视时如果出现拉伸或者变形也并不明显。

因此，本申请可以在第二图像内相应连接各个匹配点，以提取出第二图像内的边缘特征图。然后，通过分析各个匹配点在第二图像内的深度信息，即可按照第二图像内的边缘特征图，将第二图像转换到三维空间中，得到对应的三维空间模型。此时，由于该三维空间模型能够突出表示真实外部场景中存在的立体线条关系，因此可以将该三维空间模型作为本申请中的三维待透视模型。

S160，根据三维待透视模型，确定头戴式显示设备对应的双目显示图像。

由于表示用户双眼的两个相机安装在不同位置，那么针对同一个三维待透视模型的渲染角度也不同。因此，可以将三维待透视模型投影到不同相机表示的渲染角度下，从而分别得到对应的双目显示图像。进而，将双目显示图像分别显示到对应眼睛处的显示界面，即可实现高效真实的双目图像在头戴式显示设备内的***。

作为本申请中的一种可选实现方案，为了确保双目显示图像的准确性，本身请通过分析已安装的各个相机的相机参数，即可确定不同相机对应的坐标系作为对应的双目坐标系。

此时，本申请中根据三维待透视模型，确定头戴式显示设备对应的双目显示图像，可以具体包括如下步骤：将三维待透视模型光栅化到双目坐标系下，得到头戴式显示设备对应的双目显示图像。

通过光栅化算法，对三维待透视模型分别进行双目坐标系下的坐标变换和几何离散化的操作，即可将三维待透视模型对应转换为双目坐标系上的相应像素，从而得到对应的双目显示图像。

本申请实施例提供的技术方案，获取头戴式显示设备拍摄的双目图像，然后按照双目图像中第一图像内的边缘曲率，确定对应的边缘点，从而确保边缘点在不同曲率下的自适应采集，以便极大改善双目透视图像可能存在的边缘走样的问题。然后，在双目图像的第二图像中确定每一边缘点对应的匹配点，并根据每一匹配点，构建对应的三维待透视模型，保证待透视场景的整体统一性，进而确定三维待透视模型对应的双目显示图像，避免透视后的整体场景出现扭曲的问题，提高双目图像透视后的真实性。

通过上述描述可知，本申请通过第二图像内的各个匹配点，来构建对应的三维待透视模型，以便后续利用三维待透视模型在双目坐标系下的光栅化情况，来实现高效真实的双目图像在头戴式显示设备内的***。下面结合图2，对本申请中三维待透视模型的具体构建过程进行示例性说明。

如图2所示，该三维待透视模型的构建过程可包括如下步骤：

S210，基于匹配点，对第二图像进行边缘约束下的三角剖分，得到对应的三角剖分网格图像。

为了准确表示第二图像的三维场景结构，本申请可以将第二图像内的各个匹配点作为三角剖分的三角顶点。然后，如图3所示，基于各个匹配点之间的边缘约束原则，对第二图像进行该边缘约束下的三角剖分(也就是Delaunay三角剖分)，即可得到对应的三角剖分网格图像。此时，该三角剖分网格图像能够最优化表示出第二图像内的三维立体结构关系。

需要说明的是，三角剖分网格图像的各个网格顶点为第二图像内的各个匹配点。而且，三角剖分网格图像的各个网格内部的灰度变化并不明显，即便在后续进行透视变换时存在拉升或者扭曲变形，也不影响透视的真实感官效果，所以能够在极大程度上改善透视后的整体场景出现扭曲的问题。

S220，利用每一匹配点的深度信息，将三角剖分网格图像转换为三维待透视模型。

通过确定第二图像内每一匹配点的深度信息，即可确定三角剖分网格图像内各个网格顶点的深度信息。然后，按照三角剖分网格图像内的各个网格顶点的深度信息，将各个网格顶点转换到三维空间内。同时，在各个网格顶点的转换过程中，可以带动三角剖分网格图像内的其他特征点进行三维空间内的相应转换，从而将三角剖分网格图像转换为三维待透视模型。

本实施例中的技术方案，基于各个匹配点对第二图像进行边缘约束下的三角剖分，进而将三角剖分后的三角剖分网格图像转换为三维待透视模型，保证待透视场景的整体统一性，提高双目透视的真实性。

作为本申请中的一种可选实现方案，为了保证头戴式显示设备内***的场景全面性，本申请会预先在头戴式显示设备内的不同位置下安装多组双目相机，以全面拍摄用户所处环境的外部场景画面。以VR设备中的头戴显示器作为本申请中的头戴式显示设备，通常安装4个相机为例，通常会安装在头戴显示器的左上角、右上角、左下角和右下角。此时，左上角和右上角的相机组成一组双目相机，用于拍摄对应的双目图像。而左下角和右下角的相机组成另一组双目相机，也用于拍摄对应的双目图像。

由此可知，在安装有多组双目相机后，本申请也能够获取到两组或两组以上的双目图像。然后，针对每一组双目图像，均可以执行本申请上述实施例提供的图像处理方法，从而得到每一组双目图像对应的双目显示图像。下面结合图4，对多组双目图像场景下的双目图像在头戴式显示设备内的***的实现过程进行说明。

如图4所示，多组双目图像场景下的双目图像在头戴式显示设备内的透视实现过程可包括如下步骤：

S410，获取头戴式显示设备拍摄的双目图像。

S420，确定双目图像中第一图像内的边缘曲率。

S430，根据边缘曲率，确定第一图像内的边缘点。

S440，在双目图像的第二图像中确定每一边缘点对应的匹配点。

S450，根据匹配点，构建双目图像对应的三维待透视模型。

S460，根据三维待透视模型，确定头戴式显示设备对应的双目显示图像。

S470，如果双目图像为两组或两组以上，则基于每一组双目图像对应的双目显示图像，确定对应的左目显示图像集和右目显示图像集。

如果获取到两组或两组以上的双目图像，那么针对每一组双目图像，均执行S410-S460的步骤，即可得到每一组双目图像对应的双目显示图像。

此时，为了确保双目图像透视后的真实完整性，本申请会对多组双目图像对应的双目显示图像中的左目显示图像和右目显示图像分别进行合并，得到对应的左目显示图像集和右目显示图像集。

S480，针对左目显示图像集和右目显示图像集中的每一显示图像集，对该显示图像集内的各显示图像进行图像融合，得到优化后的双目显示图像。

对于左目显示图像集和右目显示图像集中的每一显示图像集而言，均需要进行图像融合处理，以得到最优化的任一目显示图像。因此，首先分析每一显示图像集内各个显示图像间的重合区域。然后，采用泊松融合(Poisson blending)算法，按照该重合区域对每一显示图像集内各个显示图像进行图像融合。在分别完成左目显示图像集和右目显示图像集内各透视图像的融合后，即可得到优化后的双目显示图像。

本申请实施例提供的技术方案，通过对多组双目图像对应的双目显示图像进行每一目下的图像融合，得到优化后的双目显示图像，确保双目图像透视后的场景全面性。

图5为本申请实施例示出的一种图像处理装置的原理框图。如图5所示，该装置500可以包括：

图像获取模块510，用于获取头戴式显示设备拍摄的双目图像；

边缘曲率确定模块520，用于确定所述双目图像中第一图像内的边缘曲率；

边缘点确定模块530，用于根据所述边缘曲率，确定所述第一图像内的边缘点；

匹配点确定模块540，用于在所述双目图像的第二图像中确定每一所述边缘点对应的匹配点；

三维模型构建模块550，用于根据所述匹配点，构建所述双目图像对应的三维待透视模型；

显示图像确定模块560，用于根据所述三维待透视模型，确定所述头戴式显示设备对应的双目显示图像。

在本申请的一些实施例中，边缘点确定模块530，可以具体用于：

对所述第一图像进行边缘提取，得到对应的边缘特征图；

根据所述边缘特征图中的边缘曲率，确定对应的边缘点。

在本申请的一些实施例中，三维模型构建模块550，可以具体用于：

基于所述匹配点，对所述第二图像进行边缘约束下的三角剖分，得到对应的三角剖分网格图像；

利用每一所述匹配点的深度信息，将所述三角剖分网格图像转换为三维待透视模型。

在本申请的一些实施例中，匹配点确定模块540，可以具体用于：

针对每一所述边缘点，在所述第二图像中进行水平方向的光流计算，得到该边缘点的匹配点。

在本申请的一些实施例中，显示图像确定模块560，可以具体用于：

将所述三维待透视模型光栅化到双目坐标系下，得到所述头戴式显示设备对应的双目显示图像。

在本申请的一些实施例中，图像处理装置500，还可以包括：

双目矫正模块，用于对所述第一图像和第二图像进行双目矫正。

在本申请的一些实施例中，图像处理装置500，还可以包括：

图像集确定模块，用于所述双目图像为两组或两组以上，则基于每一组双目图像对应的双目显示图像，确定对应的左目显示图像集和右目显示图像集；

显示图像优化模块，用于针对所述左目显示图像集和所述右目显示图像集中的每一显示图像集，对该显示图像集内的各显示图像进行图像融合，得到优化后的双目显示图像。

本申请实施例中，获取头戴式显示设备拍摄的双目图像，然后按照双目图像中第一图像内的边缘曲率，确定对应的边缘点，从而确保边缘点在不同曲率下的自适应采集，以便极大改善双目透视图像可能存在的边缘走样的问题。然后，在双目图像的第二图像中确定每一边缘点对应的匹配点，并根据每一匹配点，构建对应的三维待透视模型，保证待透视场景的整体统一性，进而确定三维待透视模型对应的双目显示图像，避免透视后的整体场景出现扭曲的问题，提高双目图像透视后的真实性。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图5所示的装置500可以执行本申请提供的任一方法实施例，并且装置500中的各个模块的前述和其它操作和/或功能分别为了实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的装置500。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图6是本申请实施例提供的电子设备600的示意性框图。

如图6所示，该电子设备600可包括：

存储器610和处理器620，该存储器610用于存储计算机程序，并将该程序代码传输给该处理器620。换言之，该处理器620可以从存储器610中调用并运行计算机程序，以实现本申请实施例中的方法。

例如，该处理器620可用于根据该计算机程序中的指令执行上述方法实施例。

在本申请的一些实施例中，该处理器620可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器610包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器610中，并由该处理器620执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。

如图6所示，该电子设备还可包括：

收发器630，该收发器630可连接至该处理器620或存储器610。

其中，处理器620可以控制该收发器630与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器630可以包括发射机和接收机。收发器630还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该电子设备中的各个组件通过总线***相连，其中，总线***除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

以上该，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (11)

1.一种图像处理方法，其特征在于，应用于头戴式显示设备，包括：

获取头戴式显示设备拍摄的双目图像；

确定所述双目图像中第一图像内的边缘曲率；

根据所述边缘曲率，确定所述第一图像内的边缘点；

在所述双目图像的第二图像中确定每一所述边缘点对应的匹配点；

根据所述匹配点，构建所述双目图像对应的三维待透视模型；

根据所述三维待透视模型，确定所述头戴式显示设备对应的双目显示图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述边缘曲率，确定所述第一图像内的边缘点，包括：

对所述第一图像进行边缘提取，得到对应的边缘特征图；

根据所述边缘特征图中的边缘曲率，确定对应的边缘点。

3.根据权利要求1所述的方法，其特征在于，所述根据所述匹配点，构建所述双目图像对应的三维待透视模型，包括：

基于所述匹配点，对所述第二图像进行边缘约束下的三角剖分，得到对应的三角剖分网格图像；

利用每一所述匹配点的深度信息，将所述三角剖分网格图像转换为三维待透视模型。

4.根据权利要求1所述的方法，其特征在于，所述在所述双目图像的第二图像中确定每一所述边缘点对应的匹配点，包括：

针对每一所述边缘点，在所述第二图像中进行水平方向的光流计算，得到该边缘点的匹配点。

5.根据权利要求1所述的方法，其特征在于，所述根据所述三维待透视模型，确定所述头戴式显示设备对应的双目显示图像，包括：

将所述三维待透视模型光栅化到双目坐标系下，得到所述头戴式显示设备对应的双目显示图像。

6.根据权利要求1-5任一项所述的方法，其特征在于，在确定所述双目图像中第一图像内的边缘曲率之前，还包括：

对所述第一图像和第二图像进行双目矫正。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

所述双目图像为两组或两组以上，则基于每一组双目图像对应的双目显示图像，确定对应的左目显示图像集和右目显示图像集；

针对所述左目显示图像集和所述右目显示图像集中的每一显示图像集，对该显示图像集内的各显示图像进行图像融合，得到优化后的双目显示图像。

8.一种图像处理装置，其特征在于，配置于头戴式显示设备，包括：

图像获取模块，用于获取头戴式显示设备拍摄的双目图像；

边缘曲率确定模块，用于确定所述双目图像中第一图像内的边缘曲率；

边缘点确定模块，用于根据所述边缘曲率，确定所述第一图像内的边缘点；

匹配点确定模块，用于在所述双目图像的第二图像中确定每一所述边缘点对应的匹配点；

三维模型构建模块，用于根据所述匹配点，构建所述双目图像对应的三维待透视模型；

显示图像确定模块，用于根据所述三维待透视模型，确定所述头戴式显示设备对应的双目显示图像。

9.一种电子设备，其特征在于，包括：

处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1-7中任一项所述的图像处理方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1-7中任一项所述的图像处理方法。

11.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行权利要求1-7任一项所述的图像处理方法。