CN116091750A - 眼镜度数识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开涉及眼镜度数识别方法、装置、电子设备及存储介质，上述方法包括：获取待处理图像，该待处理图像包括光源向目标眼镜的镜片发射光线时产生的光学特征；输入包含待处理图像的输入数据至眼镜度数识别模型，获得目标眼镜的眼镜度数。由于待处理图像包括光源向目标眼镜的镜片发射光线时产生的光学特征，且该光学特征能够反映目标眼镜的眼镜度数，使得通过该眼镜度数识别模型能够很好的识别出待处理图像中目标眼镜的眼镜度数。

Description

眼镜度数识别方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及眼镜度数识别方法、装置、电子设备及存储介质。

背景技术

由于不同度数的眼镜带来的折射效果完全不同，因此眼动交互算法需要获取眼镜度数来对算法结果进行相应的修正，使得眼镜度数的识别对于眼动交互十分重要的。

然而，如果无法直接获取用户的眼镜度数，一般需要采用专用光学仪器来判断眼镜的度数，导致眼镜度数的测量成本较高。

发明内容

本公开提供了一种眼镜度数识别方法、装置、电子设备及存储介质。

根据本公开的第一方面，提供了一种眼镜度数识别方法，所述方法包括：

获取待处理图像；所述待处理图像是通过对光源照射下的目标眼镜的镜片进行图像采集得到，所述待处理图像包括所述光源向目标眼镜的镜片发射光线时产生的光学特征；

输入包含所述待处理图像的输入数据至眼镜度数识别模型，获得所述目标眼镜的眼镜度数。

根据本公开的第二方面，提供了一种眼镜度数识别装置，所述装置包括：

图像获取模块，用于获取待处理图像；所述待处理图像是通过对光源照射下的目标眼镜的镜片进行图像采集得到，所述待处理图像包括所述光源向所述目标眼镜的镜片发射光线时产生的光学特征；

眼镜度数识别模块，用于输入包含所述待处理图像的输入数据至眼镜度数识别模型，获得所述目标眼镜的眼镜度数。

根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开的上述方法。

本公开实施例提供的眼镜度数识别方法、装置、电子设备及存储介质，通过获取待处理图像，并将包含该待处理图像的输入数据作为眼镜度数识别模型的输入，来获得目标眼镜的眼镜度数。由于待处理图像是对光源照射下的目标眼镜的镜片进行图像采集得到的图像，该待处理图像会包含光源向目标眼镜的镜片发射光线时产生的光学特征，而光源发射的光线在镜片上产生的光学特征可以反映眼镜的度数，因此通过将待处理图像通过眼镜度数识别模型能够很好的识别出待处理图像中目标眼镜的眼镜度数。

附图说明

在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：

图1为本公开一示例性实施例提供的VR设备的示意图；

图2A为本公开一示例性实施例提供的对目标眼镜进行图像采集得到的第一镜片效果图；

图2B为本公开一示例性实施例提供的对目标眼镜进行图像采集得到的第二镜片效果图；

图3为本公开一示例性实施例提供的眼镜度数识别方法的流程图；

图4为本公开一示例性实施例提供的眼镜度数识别方法的另一流程图；

图5为本公开一示例性实施例提供的眼镜度数识别方法的又一流程图；

图6为本公开一示例性实施例提供的眼镜度数识别装置的示意图；

图7为本公开一示例性实施例提供的电子设备的结构框图；

图8为本公开一示例性实施例提供的计算机***的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

在对眼镜度数进行测量时，通常需要用户去专门的检测机构通过专门的光学仪器来检测眼镜度数，使得眼镜度数的测量成本较高。由于不同度数的眼镜带来的折射效果完全不同，在采用眼动交互算法时需要获取眼镜度数来对算法结果进行相应的修正，因此，眼镜度数的识别对于眼动交互十分重要。

在采用眼动交互算法时需要通过眼镜度数来对算法结果进行两个方面的修正：首先，在相机和人眼中间增加一块眼镜镜片，会导致观测到的视线方向和人眼的真实视线方向有一定的偏移，度数越大偏移越大，近视和远视有不同方向的偏移效果，通过大量的数据采集结合光学仿真，可以在视线估计神经网络中和后处理中实现视线估计结果的修正。其次，在相机和人眼中间增加一块眼镜镜片，还会导致观测到的瞳距和真实瞳距有一定的差距，这个差距和眼镜的度数以及眼镜的位置都有关系，使用眼镜度数可以做一些***性的粗略修正。

而眼动交互算法在VR(Virtual Reality，虚拟现实)设备上有着广泛的应用，通过准确快速识别用户佩戴眼镜的度数，并根据眼镜度数进行修正可以让眼动交互算法在VR设备上有有效的运行，使得VR设备给用户带来更好的体验效果。

因此，为了准确快速有效的对用户佩戴的眼镜进行眼镜度数识别，在本公开提供的实施例中，如图1所示，在VR设备10的两个镜筒上分别设置至少一个光源11和一个图像采集设备12。其中，该图像采集设备可以是相机，该相机可以是红外相机，光源可以是红外光源，例如可以为发光二极管(Light Emitting Diode，简称LED)。实施例中以光源为LED灯为例进行说明，实施例中涉及到的LED灯可以为红外LED灯，当然还可以是普通的LED灯，具体可以根据需要进行选择。

需要说明的是，本公开实施例中的图像采集设备，其工作波段与光源发出光线的波段应当是匹配的。例如实施例中的光源可以为红外光源，由于红外光不会被人眼察觉，不易对人眼造成伤害，也不会影响VR设备的正常显示。另外，图像采集设备还可以为基于红外光进行成像的设备。

这样用户在佩戴眼镜时使用VR设备的过程中，通过开启两个镜筒上分别设置的多个LED灯，这些LED灯会向眼镜所在区域发射光线，光线会在眼镜的镜片上产生反射光斑和镜片纹理，如图2A和图2B所示，图2A为目标眼镜的第一镜片效果图像，图2B为目标眼镜的第二镜片效果图像。

因此，本公开实施例在检测到用户在佩戴VR设备时，可以开启两个镜筒上的LED灯，同时开启两个镜筒上的相机进行图像采集。由于LED灯发出的光线会在用户佩戴的眼镜的镜片上产生光学特征，例如在镜片上产生反射光斑和眼镜纹理，因此通过图像采集设备采集到的图像一般也会包含光斑和镜片纹理。另外，LED灯发射的光线会在镜片的侧面上产生漫反射等现象，图像采集设备可能还会采集到镜片的厚度。

实施例中，包括近视镜的眼镜度数和远视镜的眼镜度数，由于不同眼镜度数的镜片构造不同，那么光源发射的光线在不同度数的镜片上产生的光学特征也会不同，即光源发射的光线在镜片上产生的光学特征可以反映眼镜的度数，可以通过光源发射的光线在镜片上产生的光学特征来对眼镜的眼镜度数来进行识别。而光源发射的光线在镜片上产生的光学特征可以包括光斑、镜片纹理和镜片厚度信息中的一种或者几种。

具体的，一般情况下，LED灯会在眼镜的镜片上形成两组明显的反射光斑，一组是在眼镜镜片的外表面镜面反射形成的反射光斑，一组是在眼镜镜片的内表面形成的反射光斑。内表面和外表面光斑的位置和大小区别是由眼镜镜片内外表面两个曲面的曲率决定的，而这两个曲面的曲率也同时决定了眼镜的度数。因此，镜片上的光斑可以反映眼镜的眼镜度数。

实施例中，在通过LED灯向眼镜的镜片发射光线时，通常情况下光线会在镜片内部经过多次反射、折射后产生的圈状纹理，即镜片纹理。因此，镜片上的纹理也可以反映眼镜的眼镜度数。一般情况下，眼镜度数越高，相机拍摄眼镜时，眼镜镜片靠近边缘的部分越会呈现出一圈圈的纹理，这些纹理可以用于估计眼镜度数。需要说明的是，实施例中眼镜的眼镜度数，可以是近似度数或者远视度数等，当然，眼镜还可以是平面镜，比如用户平时戴的没有度数的防蓝光眼镜等。

另外，一般情况下度数越高的眼镜边框越厚，相机在拍摄眼镜时，也会拍摄到边框的厚度信息。因此，镜片上厚度信息也可以反映眼镜的眼镜度数。

需要说明的是，通常相机从侧面拍摄镜片时，能够拍摄效果更好的眼镜纹理和镜片厚度，因此相机与镜片之间需要有一定的非垂直夹角。当然，由于一般眼镜的镜片都是曲面，在VR设备镜筒上的相机对眼镜进行图像采集时，也会和镜片形成一定的非垂直夹角，不影响采集到的镜片光斑、纹理和镜片厚度等信息。

因此，本公开实施例中通过VR设备两个镜筒上的相机可以分别采集到眼镜的两个镜片的图像，可以将采集到的图像信息输入到训练后的眼镜度数识别模型中对该眼镜的度数进行识别，得到眼镜的眼镜度数，该眼镜度数包括眼镜的两个镜片的度数。

其中，实施例中可以通过VR设备两个镜筒上的相机分别采集眼镜的两个镜片的图像，即第一镜片图像和第二镜片图像，在一些示例中，可以将该第一镜片图像和第二镜片图像分别作为待处理图像，并作为眼镜度数识别模型的输入，在另一些示例中，还可以将这两个镜片的图像在水平方向上进行拼接，并将拼接后的图像作为眼镜度数识别模型的输入。将第一镜片图像和第二镜片图像分别作为待处理图像输入眼镜度数识别模型后，能够分别识别出第一镜片和第二镜片的眼镜度数；将这两个镜片的图像在水平方向上进行拼接，并将拼接后的图像作为眼镜度数识别模型的输入时，可以同时获得眼镜的两片镜片的眼镜度数。由于一般情况下人体的左眼和右眼的眼镜度数存在一定的关联性，因此在将第一镜片图像和第二镜片图像进行拼接，并将拼接后的图像作为眼镜度数识别模型的输入时，可以实现更加准确的识别效果；相应的，在对眼镜度数识别模型的训练过程中，可以采用拼接后的图像作为训练样本，从而使得模型可以在训练过程中学习到眼镜的两个镜片的图像之间的关联关系，使得训练后的模型可以更好的识别眼镜的眼镜度数。

在本公开提供的实施例中，当VR设备被佩戴于用户眼部时，根据图像采集设备本身的位姿、视场等不同，其所拍摄的图像中包括的图像内容也有所差异，例如，在一些示例中，图像采集设备所采集的第一镜片图像和第二镜片图像中的图像内容可以仅包括镜片区域，在另一些示例中，图像采集设备所采集的第一镜片图像和第二镜片图像中的图像内容可以同时包括镜片区域和镜片外的区域，其中镜片外的区域可以为用户的其他面部区域(例如鼻子、额头等)。由于图像采集设备在采集的过程中会向目标眼镜的所在区域发射光线，因此图像采集设备所采集的第一镜片图像和第二镜片图像中的镜片区域中会包括光学特征，例如光斑信息。因此，为了使眼镜度数识别模型能够更专注于输入数据中的眼镜相关的信息，从而更快的提取可用于识别眼镜度数的有效信息、确保识别效率，实施例中还可以通过图像分割模型对第一镜片图像和第二镜片图像进行图像分割，分别得到第一镜片图像的镜片图像和光斑图像，及第二镜片图像的镜片图像和光斑图像，其中，从第一镜片图像中分割出来的镜片图像以及从第二镜片图中分割出来的镜片图像可以仅包含镜片区域。然后将从第一镜片图像中分割出来的镜片图像、光斑图像与第一镜片图像在通道维度上拼接在一起，作为第一镜片拼接图像；同时，将从第二镜片图像中分割出来的镜片图像、光斑图像与第二镜片图像在通道维度上拼接在一起，作为第二镜片拼接图像。可以将第一镜片拼接图像和第二镜片拼接图像分别作为眼镜度数识别模型的输入，分别识别出第一镜片的眼镜度数和第二镜片的眼镜度数。还可以将第一镜片拼接图像和第二镜片拼接图像在水平方向上进行拼接，作为眼镜度数识别模型的输入，识别出第一镜片的眼镜度数和第二镜片的眼镜度数。其中，本公开实施例中的眼镜度数识别模型可以是训练后的深度回归模型。例如，如果第一镜片图像为RGB的彩色图像，那么第一镜片图像可以包含R、G、B三个通道，对分割出的镜片图像、光斑图像与第一镜片图像在通道维度上拼接，拼接后的第一镜片拼接图像就会有五个通道。如果是通过红外相机采集得到的第一镜片图像，那么第一镜片图像只有一个通道，对分割出的镜片图像、光斑图像与第一镜片图像在通道维度上拼接，拼接后的第一镜片拼接图像就会有三个通道。

需要说明的是，由于镜片上的光斑、镜片纹理和镜片厚度信息都可以反映眼镜的度数，实施例中在对眼镜的度数进行识别时，可以同时将包含光斑、镜片纹理和镜片厚度信息中的至少一种作为眼镜度数识别模型的输入，这样能够实现对眼镜度数的识别。也可以将同时包含光斑、镜片纹理和镜片厚度信息的图像作为眼镜度数识别模型的输入，来识别眼镜的度数，这样可以更准确的对眼镜度数进行识别。其中，在对眼镜度数识别模型的训练过程中，采用的训练样本可以是包含光斑、镜片纹理和镜片厚度信息中的至少一种的样本图像，该样本图像会标注有光斑区域、镜片区域和/或镜片厚度信息，并且该样本还会携带对应的眼镜度数。

实施例中，在将光斑从第一镜片图像和第二镜片图像中分割出来的过程中，可以采用图像分割模型来进行处理。该图像分割模型可以是通过训练样本对预设模型进行训练来得到，该训练样本可以包括用户佩戴眼镜时通过VR设备上的图像采集设备采集到的图像，此外为了得到充足的样本，降低训练样本的采集成本，还可以通过图像合成的方式获得多个训练样本。镜片厚度信息可以通过对镜片边缘进行识别，检测出镜片的厚度信息，这里不再赘述。

具体的，实施例中，可以收集各种类型的眼镜，让被采集者佩戴多副不同眼镜，使用VR设备上的相机拍摄被采集者的眼部图像。每副眼镜需要采集多种不同的佩戴位置，并标注眼镜镜片区域，光斑区域。例如，可以采用人工方式标注光斑区域，还可以采用阈值算法，将图像进行二值化处理，像素值大于阈值的区域作为光斑区域。

实施例中，可以通过VR设备上的相机拍摄纯眼镜图像，得到大量不同的包含眼镜纹理的图像，并标注眼镜镜片区域，反射光斑区域。通过收集大量被采集者不佩戴眼镜情况下的眼部图像数据，使用图像合成方法，任意组合被采集者的眼部图像数据和眼镜图像，批量生成戴眼镜的合成数据，并将合成数据作为图像分割模型的训练样本，这样可以得到充足的训练样本来对模型进行训练，大大降低样本的采集成本。另外，本公开实施例还可以通过非合成的样本数据来对训练后的图像分割模型进行微调，这样在通过合成数据作为训练样本来降低训练样本采集成本的同时，通过非合成数据对训练后的图像分割模型进行微调可以保证模型对真实数据的处理效果。其中，非合成数据为被采集者佩戴不同类型的眼镜后佩戴VR设备，通过设置于VR设备上的图像采集设备直接采集到的数据。

结合上述实施例，在本公开提供的又一实施例中，本公开实施例还提供了一种眼镜度数识别方法，如图3所示，该方法可以包括以下步骤：

在步骤S310中，获取待处理图像。

其中，该待处理图像是通过对光源照射下的目标眼镜的镜片进行图像采集得到，该待处理图像包括光源向目标眼镜的镜片发射光线时产生的光学特征。

可以结合上述图1对应的实施例，通过本公开实施例提供的上述VR设备对佩戴眼镜的用户进行图像采集，在通过VR设备上的相机进行图像采集时，会开启VR设备上的LED灯，该LED灯会向目标眼镜的镜片发射光线，这样可以采集到包含光线在眼镜的镜片上产生的光学特征的图像，该光学特征可以包括光线在目标眼镜的镜片上形成的光斑、镜片纹理和镜片厚度信息等特征。

实施例中，VR设备包括第一镜筒和第二镜筒。第一镜筒和第二镜筒分别设置有图像采集设备和至少一个光源，图像采集设备具体可以为相机。

在步骤S320中，输入包含待处理图像的输入数据至眼镜度数识别模型，获得目标眼镜的眼镜度数。

其中，通过多个第一类型的训练样本对第一预设模型进行训练，得到眼镜度数识别模型，第一类型的训练样本包括预设眼镜的镜片图像，镜片图像包含光源向预设眼镜的镜片发射光线时产生的光学特征，该训练样本携带对应的眼镜度数。其中，预设眼镜可以包括多种不同款式、不同度数的眼镜。

实施例中，待处理图像可以是目标眼镜中一个镜片对应的图像，这样通过眼镜度数识别模型可以得到该镜片的眼镜度数；待处理图像还可以是目标眼镜的两个镜片对应的图像，即第一镜片图像和第二镜片图像，可以将第一镜片图像和第二镜片图像分别输入到眼镜度数识别模型中，来分别得到目标眼镜的两个镜片的眼镜度数；或者，待处理图像还可以是目标眼镜的第一镜片图像和第二镜片图像进行拼接后的图像，将该拼接后的图像输入到眼镜度数识别模型，可以同时得到目标眼镜的两个镜片的眼镜度数。需要说明的是，本公开实施例中可以将拼接后的图像直接作为眼镜度数识别模型的输入，还可以将至少包含拼接后的图像的输入数据作为眼镜度数识别模型的输入。

实施例中，基于上述实施例的阐述可知，光源发射的光线在镜片上产生的光学特征可以反映眼镜的度数，例如，该光学特征可以包括中的一种或者几种，光斑、镜片纹理和镜片厚度信息都可以作为识别眼镜度数的依据，因此，待处理图像可以包含光斑、镜片纹理和镜片厚度信息等特征中的一种或者几种，为了更加准确的识别出眼镜的度数，实施例中待处理图像可以同时包含光斑和镜片纹理，或者待处理图像可以同时包含光斑、镜片纹理和镜片厚度信息。

另外，在对第一类型的训练样本对第一预设模型进行训练，得到眼镜度数识别模型的过程中，该训练样本可以包含光斑、镜片纹理和镜片厚度信息等特征中的一种或者几种，每个训练样本携带对应镜片的眼镜度数。其中，该第一预设模型可以为神经网络模型等模型，通过训练样本对第一预设模型进行训练，在训练完成后可以得到眼镜度数识别模型。

本公开实施例提供的眼镜度数识别方法，通过获取待处理图像，并将包含该待处理图像的输入数据作为眼镜度数识别模型的输入，来获得目标眼镜的眼镜度数。由于待处理图像是对光源照射下的目标眼镜的镜片进行图像采集得到的图像，该待处理图像会包含光源向目标眼镜的镜片发射光线时产生的光学特征，而光源发射的光线在镜片上产生的光学特征可以反映眼镜的度数，因此通过将待处理图像通过眼镜度数识别模型进行眼镜度数识别时，由于该眼镜度数识别模型是通过包含光源向预设眼镜的镜片发射光线时产生的光学特征及携带对应的眼镜度数的训练样本训练得到，使得通过该眼镜度数识别模型能够很好的识别出待处理图像中目标眼镜的眼镜度数。

在本公开提供的实施例中，基于上述实施例，本公开提供的眼镜度数识别方法，如图4所示，还可以包括以下步骤：

在步骤S330中，将待处理图像进行图像分割，得到包括光学特征的特征图像，并将特征图像作为输入数据的至少部分。

实施例中，由于光学特征包括光斑、镜片纹理和镜片厚度信息中的一种或者几种，例如，在特征图像包括镜片图像和光斑图像时，将待处理图像输入到图像分割模型中，得到镜片图像和光斑图像。其中，通过第二类型的训练样本对第二预设模型进行训练，得到图像分割模型，该第二预设模型可以为神经网络模型等模型。第二类型的训练样本包括将不同用户图像与不同预设特征图像合成而得到的图像，预设特征图像包括被预先标注的光斑区域和被预先标注的镜片区域。其中，该用户图像是指至少包含用户眼部的脸部图像。

这样，将特征图像和待处理图像一起作为输入数据输入至眼镜度数识别模型，相当于将目标眼镜的原始图像与该原始图像的特征图像一起输入到眼镜度数识别模型，可以提高眼镜度数识别模型对目标眼镜的眼镜度数的识别准确率，更能准确的识别目标眼镜的眼镜度数。

需要说明的是，图像分割模型的训练过程，以及训练样本的合成的方式，可以参见上述实施例的描述，这里不再赘述。

在本公开提供的实施例中，如果特征图像包括镜片图像和光斑图像，且镜片图像包含镜片纹理，可以将待处理图像、镜片图像和光斑图像在通道维度上拼接，并将拼接后的图像作为眼镜度数识别模型的输入。其中，由于眼镜纹理不容易单独分割出来，因此可以将光斑从待处理图像中分割出来之后，会得到携带眼镜纹理的镜片图像。通过将待处理图像、镜片图像和光斑图像在通道维度上拼接，将待处理图像、镜片图像和光斑图像相关联，形成一个整体图像，有利于眼镜度数识别模型对目标眼镜度数更准确的识别。

本公开提供的实施例中，在通过上述实施例提供的VR设备对目标眼镜进行图像采集时，可以得到目标眼镜的两个镜片的图像，即获得目标眼镜的第一镜片图像和第二镜片图像，实施例中可以将第一镜片图像和第二镜片图像在水平方向上进行拼接，并将拼接后的图像作为待处理图像，这样在通过眼镜度数识别模型来对待处理图像进行识别来获得目标眼镜的眼镜度数时，可以同时识别出目标眼镜的第一镜片和第二镜片的眼镜度数，识别效果更好。由于一般情况下人体的左眼和右眼的眼镜度数存在一定的关联性，因此在将第一镜片图像和第二镜片图像进行拼接，并将拼接后的图像作为眼镜度数识别模型的输入时，可以实现更加准确的识别效果。

本公开提供的实施例中，待处理图像可以通过位于VR设备上的图像采集设备采集得到。其中，图像采集设备至少包括第一图像采集设备和第二图像采集设备，第一图像采集设备被配置为采集目标眼镜中第一镜片的图像，第二图像采集设备被配置为采集目标眼镜中第二镜片的图像，并且VR设备上设置有至少一个光源。本公开实施例提供的VR设备对目标眼镜进行图像采集是在获得用户授权许可的前提下进行的。在检测到目标用户佩戴VR设备的情况下，可以判断目标用户是否佩戴眼镜，如果目标用户未佩戴眼镜，那么可以停止对目标用户眼部的图像采集。如果目标用户佩戴眼镜，那么通过VR设备上的光源向目标眼镜的镜片发射光线，并通过VR设备上的图像采集设备对目标眼镜的镜片进行图像采集。其中，该眼镜可以是实施例中的目标眼镜。这样在进行图像采集之前来判断用户是否佩戴眼镜，再确定是否执行进行图像采集，可以提高识别的效率，避免因用户未佩戴而向用户发射光线并进行图像采集带来的用户体验不佳的问题，还能提高眼镜度数的识别效率。

基于上述实施例中，在本公开提供的又一实施例中，如图5所示，该方法还可以包括以下步骤：

在步骤S510中，获取目标眼镜的多个待处理图像。

在步骤S520中，基于多个待处理图像，通过眼镜度数识别模型分别得到目标眼镜的多组眼镜度数。

其中，每组眼镜度数包括目标眼镜的第一镜片度数和第二镜片度数。

在步骤S530中，基于多组眼镜度数，获得目标眼镜的目标眼镜度数。

实施例中，为了提高目标眼镜的眼镜度数的准确度，可以连续采集目标眼镜的多个图像，并将该多个图像通过上述实施例的方式进行处理后，输入至眼镜度数识别模型中，得到每个待处理图像对应的眼镜识别度数，即得到目标眼镜的多组眼镜度数，可以通过求平均的方式来确定目标眼镜的眼镜度数，这样得到的目标眼镜的眼镜度数更加准确。另外，在基于多组眼镜度数，获得目标眼镜的目标眼镜度数时，可以先将该多组眼镜度数中的异常数值排除，然后再将剩余组的眼镜度数通过求平均等方式来获得目标眼镜的眼镜度数，得到的结果会更加准确。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备(包括VR设备等佩戴设备)、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备(如VR设备)提供个人信息的选择控件。

可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。

本公开实施例提供了一种眼镜度数识别装置，该眼镜度数识别装置可以为VR设备。图6为本公开一示例性实施例提供的眼镜度数识别装置的功能模块示意性框图。如图6所示，该眼镜度数识别装置包括：

图像获取模块61，用于获取待处理图像；所述待处理图像是通过对光源照射下的目标眼镜的镜片进行图像采集得到，所述待处理图像包括所述光源向所述目标眼镜的镜片发射光线时产生的光学特征；

眼镜度数识别模块62，用于输入包含所述待处理图像的输入数据至眼镜度数识别模型，获得所述目标眼镜的眼镜度数。

在本公开提供的又一实施例中，所述装置还包括：

图像分割模块，用于将所述待处理图像进行图像分割，得到包括所述光学特征的特征图像，并将所述特征图像作为所述输入数据的至少部分。

在本公开提供的又一实施例中，所述光学特征包括下述的一种或者几种组合：光斑、镜片纹理和镜片厚度信息。

在本公开提供的又一实施例中，所述装置还包括：

训练模块，用于通过多个第一类型的训练样本对第一预设模型进行训练，得到所述眼镜度数识别模型，所述第一类型的训练样本包括预设眼镜的镜片图像，所述镜片图像包含光源向预设眼镜的镜片发射光线时产生的光学特征，所述训练样本携带对应的眼镜度数。

在本公开提供的又一实施例中，所述特征图像包括镜片图像和光斑图像，所述图像分割模块，具体用于：

将所述待处理图像输入到图像分割模型中，得到所述镜片图像和所述光斑图像；其中，通过第二类型的训练样本对第二预设模型进行训练，得到所述图像分割模型，所述第二类型的训练样本包括将不同用户图像与不同预设特征图像合成而得到的图像，所述预设特征图像包括被预先标注的光斑区域和被预先标注的镜片区域。

在本公开提供的又一实施例中，所述特征图像包括镜片图像和光斑图像，所述镜片图像包含镜片纹理，所述眼镜度数识别模块，具体用于：

将所述待处理图像、所述镜片图像和所述光斑图像在通道维度上拼接，并将拼接后的图像作为所述眼镜度数识别模型的输入。

所述镜片图像包括第一镜片图像和第二镜片图像，所述装置还包括：

拼接处理模块，用于将所述第一镜片和所述第二镜片图像在通道维度上拼接，及将所述第一镜片和所述第二镜片图像在水平方向上拼接，并将拼接后的图像作为所述眼镜度数识别模型的输入。

在本公开提供的又一实施例中，所述装置还包括：

镜片图像获取模块，获取所述目标眼镜的第一镜片图像和第二镜片图像；

图像拼接模块，用于将所述第一镜片图像和所述第二镜片图像在水平方向上进行拼接，并将拼接后的图像作为所述待处理图像。

在本公开提供的又一实施例中，所述待处理图像通过位于VR设备上的图像采集设备采集得到；其中，所述图像采集设备至少包括第一图像采集设备和第二图像采集设备，所述第一图像采集设备被配置为采集所述目标眼镜中第一镜片的图像，所述第二图像采集设备被配置为采集所述目标眼镜中第二镜片的图像，所述VR设备上设置有至少一个光源。

在本公开提供的又一实施例中，所述装置还包括：

眼镜佩戴判断模块，用于在检测到目标用户佩戴VR设备的情况下，判断所述目标用户是否佩戴所述目标眼镜；

图像采集模块，用于在所述目标用户佩戴所述目标眼镜的情况下，通过所述VR设备上的光源向所述目标眼镜的镜片发射光线，并通过所述VR设备上的图像采集设备对所述目标眼镜的镜片进行图像采集。

在本公开提供的又一实施例中，所述装置还包括：

待处理图像获取模块，用于获取所述目标眼镜的多个待处理图像；

待处理图像识别模块，用于基于所述多个待处理图像，通过所述眼镜度数识别模型分别得到所述目标眼镜的多组眼镜度数；其中，每组眼镜度数包括所述目标眼镜的第一镜片度数和第二镜片度数；

目标眼镜度数获取模块，用于基于所述多组眼镜度数，获得目标眼镜的目标眼镜度数。

由于该装置与上述方法相对应，其描述具体参见上述方法实施例对应的描述，这里不再赘述。

本公开实施例提供的眼镜度数识别装置，通过获取待处理图像，并将包含该待处理图像的输入数据作为眼镜度数识别模型的输入，来获得目标眼镜的眼镜度数。由于待处理图像是对光源照射下的目标眼镜的镜片进行图像采集得到的图像，该待处理图像会包含光源向目标眼镜的镜片发射光线时产生的光学特征，而光源发射的光线在镜片上产生的光学特征可以反映眼镜的度数，因此通过将待处理图像通过眼镜度数识别模型进行眼镜度数识别时，由于该眼镜度数识别模型是通过包含光源向预设眼镜的镜片发射光线时产生的光学特征及携带对应的眼镜度数的训练样本训练得到，使得通过该眼镜度数识别模型能够很好的识别出待处理图像中目标眼镜的眼镜度数。

本公开实施例还提供一种电子设备，该电子设备可以是上述VR设备，包括：至少一个处理器；用于存储所述至少一个处理器可执行指令的存储器；其中，所述至少一个处理器被配置为执行所述指令，以实现本公开实施例公开的上述方法。

图7为本公开一示例性实施例提供的电子设备的结构示意图。如图7所示，该电子设备1800包括至少一个处理器1801以及耦接至处理器1801的存储器1802，该处理器1801可以执行本公开实施例公开的上述方法中的相应步骤。

上述处理器1801还可以称为中央处理单元(central processing unit，CPU)，其可以是一种集成电路芯片，具有信号的处理能力。本公开实施例公开的上述方法中的各步骤可以通过处理器1801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1801可以是通用处理器、数字信号处理器(digital signal processing，DSP)、ASIC、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储器1802中，例如随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质。处理器1801读取存储器1802中的信息，结合其硬件完成上述方法的步骤。

另外，根据本公开的各种操作/处理在通过软件和/或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的计算机***，例如图8所示的计算机***1900安装构成该软件的程序，该计算机***在安装有各种程序时，能够执行各种功能，包括诸如前文所述的功能等等。图8为本公开一示例性实施例提供的计算机***的结构框图。

计算机***1900旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，计算机***1900包括计算单元1901，该计算单元1901可以根据存储在只读存储器(ROM)1902中的计算机程序或者从存储单元1908加载到随机存取存储器(RAM)1903中的计算机程序，来执行各种适当的动作和处理。在RAM 1903中，还可存储计算机***1900操作所需的各种程序和数据。计算单元1901、ROM 1902以及RAM 1903通过总线1904彼此相连。输入/输出(I/O)接口1905也连接至总线1904。

计算机***1900中的多个部件连接至I/O接口1905，包括：输入单元1906、输出单元1907、存储单元1908以及通信单元1909。输入单元1906可以是能向计算机***1900输入信息的任何类型的设备，输入单元1906可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元1907可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1908可以包括但不限于磁盘、光盘。通信单元1909允许计算机***1900通过网络诸如因特网的与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元1901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1901执行上文所描述的各个方法和处理。例如，在一些实施例中，本公开实施例公开的上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1902和/或通信单元1909而被载入和/或安装到电子设备1900上。在一些实施例中，计算单元1901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开实施例公开的上述方法。

本公开实施例还提供一种计算机可读存储介质，其中，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例公开的上述方法。

本公开实施例中的计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。上述计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。更具体的，上述计算机可读存储介质可以包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

本公开实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现本公开实施例公开的上述方法。

在本公开的实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块、部件或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块、部件或单元的名称在某种情况下并不构成对该模块、部件或单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示例性的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。

以上描述仅为本公开的一些实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (13)

1.一种眼镜度数识别方法，其特征在于，所述方法包括：

获取待处理图像；所述待处理图像是通过对光源照射下的目标眼镜的镜片进行图像采集得到，所述待处理图像包括所述光源向所述目标眼镜的镜片发射光线时产生的光学特征；

输入包含所述待处理图像的输入数据至眼镜度数识别模型，获得所述目标眼镜的眼镜度数。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述待处理图像进行图像分割，得到包括所述光学特征的特征图像，并将所述特征图像作为所述输入数据的至少部分。

3.根据权利要求1所述的方法，其特征在于，所述光学特征包括下述的一种或者几种的组合：光斑、镜片纹理和镜片厚度信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过多个第一类型的训练样本对第一预设模型进行训练，得到所述眼镜度数识别模型，所述第一类型的训练样本包括预设眼镜的镜片图像，所述镜片图像包含光源向预设眼镜的镜片发射光线时产生的光学特征，所述训练样本携带对应的眼镜度数。

5.根据权利要求2所述的方法，其特征在于，所述特征图像包括镜片图像和光斑图像，所述将所述待处理图像进行图像分割，包括：

将所述待处理图像输入到图像分割模型中，得到所述镜片图像和所述光斑图像；其中，通过第二类型的训练样本对第二预设模型进行训练，得到所述图像分割模型，所述第二类型的训练样本包括将不同用户图像与不同预设特征图像合成而得到的图像，所述预设特征图像包括被预先标注的光斑区域和被预先标注的镜片区域。

6.根据权利要求2所述的方法，其特征在于，所述特征图像包括镜片图像和光斑图像，所述镜片图像包含镜片纹理，所述输入包含所述待处理图像的输入数据至眼镜度数识别模型，包括：

将所述待处理图像、所述镜片图像和所述光斑图像在通道维度上拼接，并将拼接后的图像作为所述眼镜度数识别模型的输入。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标眼镜的第一镜片图像和第二镜片图像；

将所述第一镜片图像和所述第二镜片图像在水平方向上进行拼接，并将拼接后的图像作为所述待处理图像。

8.根据权利要求1所述的方法，其特征在于，所述待处理图像通过位于VR设备上的图像采集设备采集得到；其中，所述图像采集设备至少包括第一图像采集设备和第二图像采集设备，所述第一图像采集设备被配置为采集所述目标眼镜中第一镜片的图像，所述第二图像采集设备被配置为采集所述目标眼镜中第二镜片的图像，所述VR设备上设置有至少一个光源。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

在检测到目标用户佩戴所述VR设备的情况下，判断所述目标用户是否佩戴所述目标眼镜；

在所述目标用户佩戴所述目标眼镜的情况下，通过所述VR设备上的光源向所述目标眼镜的镜片发射光线，并通过所述VR设备上的所述图像采集设备对所述目标眼镜的镜片进行图像采集。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标眼镜的多个待处理图像；

基于所述多个待处理图像，通过所述眼镜度数识别模型分别得到所述目标眼镜的多组眼镜度数；其中，每组眼镜度数包括所述目标眼镜的第一镜片度数和第二镜片度数；

基于所述多组眼镜度数，获得目标眼镜的目标眼镜度数。

11.一种眼镜度数识别装置，其特征在于，所述装置包括：

图像获取模块，用于获取待处理图像；所述待处理图像是通过对光源照射下的目标眼镜的镜片进行图像采集得到，所述待处理图像包括所述光源向所述目标眼镜的镜片发射光线时产生的光学特征；

眼镜度数识别模块，用于输入包含所述待处理图像的输入数据至眼镜度数识别模型，获得所述目标眼镜的眼镜度数。

12.一种电子设备，其特征在于，包括：

至少一个处理器；

用于存储所述至少一个处理器可执行指令的存储器；

其中，所述至少一个处理器被配置为执行所述指令，以实现如权利要求1-10中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-10中任一项所述的方法。

Images