CN115931778A - 镜片的折射率检测设备及其方法 - Google Patents

Abstract

本申请涉及智能检测领域，其具体地公开了一种镜片的折射率检测设备及其方法，其通过采用基于深度学习的人工智能检测算法来对于镜片在白色光照射下的色散光谱图进行隐藏特征挖掘，进而基于白色光不同波段的单色光的色散特征之间的全局性上下文关系特征来进行镜片的折射率检测，也就是，通过无触检测的方式来得到镜片的折射率。这样，能够在对于镜片的折射率进行检测时避免损坏镜片膜层，进而在确保检测准确性的同时保证检测镜片的可利用性，以提高手机摄像模组成像的质量。

Description

镜片的折射率检测设备及其方法

技术领域

本申请涉及智能检测领域，且更为具体地，涉及一种镜片的折射率检测设备及其方法。

背景技术

当前市场手机摄像模组应用范围越来越广泛，客户对摄像模组品质要求越来越高，摄像模组内部镜片的成型质量极大地决定了手机摄像模组成像的质量。在镜片的成型质量的检测中，镜片折射率是重要的检测指标。

目前测量镜片折射率主要采用最小偏向角法、阿尔折射器临界角度法以及V形棱镜法等方法。对于已经镀膜的镜片来说，使用这些方法都需要将已经镀膜的镜片进行脱模处理，然后将镜片制备成样块，在制备时对样块的厚度、角度、平整度和光洁度等参数均有一定的要求，采用上述各种方法在检测结束后，镜片膜层被损毁，镜片已不可在使用。

因此，期待一种优化的用于镜片的折射率检测方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种镜片的折射率检测设备及其方法，其通过采用基于深度学习的人工智能检测算法来对于镜片在白色光照射下的色散光谱图进行隐藏特征挖掘，进而基于白色光不同波段的单色光的色散特征之间的全局性上下文关系特征来进行镜片的折射率检测，也就是，通过无触检测的方式来得到镜片的折射率。这样，能够在对于镜片的折射率进行检测时避免损坏镜片膜层，进而在确保检测准确性的同时保证检测镜片的可利用性，以提高手机摄像模组成像的质量。

根据本申请的一个方面，提供了一种镜片的折射率检测设备，其包括：

色散数据采集模块，用于获取待检测镜片在白色光照射下的色散光谱图；

色散光谱特征提取模块，用于将所述色散光谱图通过作为特征提取器的第一卷积神经网络模型以得到色散光谱特征图；

通道注意力模块，用于将所述色散光谱特征图通过通道注意力模块以得到通道增强色散光谱特征图；

局部特征展开模块，用于将所述通道增强色散光谱特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个通道特征向量；

全局上下文语义编码模块，用于将所述多个通道特征向量通过基于转换器的上下文编码器以得到多个上下文语义通道特征向量；

语义特征增强模块，用于对所述多个上下文语义通道特征向量中各个上下文语义通道特征向量进行特征级数据增强以得到多个增强后上下文语义通道特征向量；

级联模块，用于将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量；以及

检测结果生成模块，用于将所述解码特征向量通过解码器以得到解码值，所述解码值为所述待检测镜片的折射率。

在上述镜片的折射率检测设备中，所述色散光谱特征提取模块，进一步用于：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述色散光谱特征图，所述作为特征提取器的第一卷积神经网络的第一层的输入为所述色散光谱图。

在上述镜片的折射率检测设备中，所述通道注意力模块，包括：深度卷积编码单元，用于将所述色散光谱特征图输入所述通道注意力模块的第二卷积神经网络的多层卷积层以得到第二卷积特征图；全局均值池化单元，用于计算所述第二卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；通道注意力权重计算单元，用于将所述通道特征向量输入所述Sigmoid激活函数以得到通道注意力权重向量；通道注意力施加单元，用于以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述第二卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强色散光谱特征图。

在上述镜片的折射率检测设备中，所述全局上下文语义编码模块，包括：查询向量构造单元，用于将所述多个通道特征向量进行一维排列以得到全局通道特征向量；自注意单元，用于计算所述全局通道特征向量与所述多个通道特征向量中各个通道特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；注意力施加单元，用于分别以所述多个概率值中各个概率值作为权重对所述多个通道特征向量中各个通道特征向量进行加权以得到所述多个上下文语义通道特征向量。

在上述镜片的折射率检测设备中，所述语义特征增强模块，包括：增强因子计算单元，用于以如下公式分别计算所述多个上下文语义通道特征向量中各个上下文语义通道特征向量的类小波函数族能量聚合的高频增强蒸馏因数作为所述多个上下文语义通道特征向量中各个上下文语义通道特征向量的加权权重；

其中，所述公式为：

其中表示所述多个上下文语义通道特征向量中每个上下文语义通道特征向量中各个位置的特征值，表示所述多个上下文语义通道特征向量中每个上下文语义通道特征向量的所有位置特征值集合的方差，是所述多个上下文语义通道特征向量中每个上下文语义通道特征向量的长度，表示以2为底的对数函数值；加权优化单元，用于以所述各个上下文语义通道特征向量的加权权重对所述多个上下文语义通道特征向量中各个上下文语义通道特征向量进行加权优化以得到所述多个增强后上下文语义通道特征向量。

在上述镜片的折射率检测设备中，所述级联模块，进一步用于：以如下公式将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量；

其中，所述公式为：

其中，表示所述多个增强后上下文语义通道特征向量，表示级联函数，表示所述解码特征向量。

在上述镜片的折射率检测设备中，所述检测结果生成模块，进一步用于：使用所述解码器以如下公式将所述解码特征向量通过解码以得到解码值；其中，所述公式为：，其中表示所述解码特征向量，是所述解码值，是权重矩阵，表示矩阵相乘。

根据本申请的另一方面，提供了一种镜片的折射率检测方法，其包括：

获取待检测镜片在白色光照射下的色散光谱图；

将所述色散光谱图通过作为特征提取器的第一卷积神经网络模型以得到色散光谱特征图；

将所述色散光谱特征图通过通道注意力模块以得到通道增强色散光谱特征图；

将所述通道增强色散光谱特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个通道特征向量；

将所述多个通道特征向量通过基于转换器的上下文编码器以得到多个上下文语义通道特征向量；

对所述多个上下文语义通道特征向量中各个上下文语义通道特征向量进行特征级数据增强以得到多个增强后上下文语义通道特征向量；

将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量；以及

将所述解码特征向量通过解码器以得到解码值，所述解码值为所述待检测镜片的折射率。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的镜片的折射率检测方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的镜片的折射率检测方法。

与现有技术相比，本申请提供的一种镜片的折射率检测设备及其方法，其通过采用基于深度学习的人工智能检测算法来对于镜片在白色光照射下的色散光谱图进行隐藏特征挖掘，进而基于白色光不同波段的单色光的色散特征之间的全局性上下文关系特征来进行镜片的折射率检测，也就是，通过无触检测的方式来得到镜片的折射率。这样，能够在对于镜片的折射率进行检测时避免损坏镜片膜层，进而在确保检测准确性的同时保证检测镜片的可利用性，以提高手机摄像模组成像的质量。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的镜片的折射率检测设备的应用场景图；

图2为根据本申请实施例的镜片的折射率检测设备的框图；

图3为根据本申请实施例的镜片的折射率检测设备的***架构图；

图4为根据本申请实施例的镜片的折射率检测设备中第一卷积神经网络编码过程的流程图；

图5为根据本申请实施例的镜片的折射率检测设备中通道注意力模块的框图；

图6为根据本申请实施例的镜片的折射率检测设备中全局上下文语义编码模块的框图；

图7为根据本申请实施例的镜片的折射率检测设备中语义特征增强模块的框图；以及

图8为根据本申请实施例的镜片的折射率检测方法的流程图。

图9为根据本申请实施例的电子设备的示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，当前市场手机摄像模组应用范围越来越广泛，客户对摄像模组品质要求越来越高，摄像模组内部镜片的成型质量极大地决定了手机摄像模组成像的质量。在镜片的成型质量的检测中，镜片折射率是重要的检测指标。

目前测量镜片折射率主要采用最小偏向角法、阿尔折射器临界角度法以及V形棱镜法等方法。对于已经镀膜的镜片来说，使用这些方法都需要将已经镀膜的镜片进行脱模处理，然后将镜片制备成样块，在制备时对样块的厚度、角度、平整度和光洁度等参数均有一定的要求，采用上述各种方法在检测结束后，镜片膜层被损毁，镜片已不可在使用。因此，期待一种优化的用于镜片的折射率检测方案。

相应地，在本申请的技术方案中，考虑到白色光是混合光，在经过镜片折射后会发生光的色散，而不同折射率的镜片会产生不同的色散光谱图，因此，可基于对色散光谱图的分析来确定待检测镜片的折射率。具体地，在本申请的技术方案中，通过采用基于深度学习的人工智能检测算法来对于镜片在白色光照射下的色散光谱图进行隐藏特征挖掘，进而基于白色光不同波段的单色光的色散特征之间的全局性上下文关系特征来进行镜片的折射率检测，也就是，通过无触检测的方式来得到镜片的折射率。这样，能够在对于镜片的折射率进行检测时避免损坏镜片膜层，进而在确保检测准确性的同时保证检测镜片的可利用性，以提高手机摄像模组成像的质量。

具体地，在本申请的技术方案中，首先，获取待检测镜片在白色光照射下的色散光谱图。接着，考虑到不同折射率的镜片会产生不同的色散光谱图，因此，使用在图像的隐含特征提取方面具有优异表现的作为特征提取器的第一卷积神经网络模型来对于所述色散光谱图进行特征挖掘，以提取出所述待检测镜片在白色光照射下的色散光谱图的局部隐含特征在高维空间中的特征分布表示，也就是，提取出所述色散光谱图中关于镜片折射率的隐含特征信息，从而得到色散光谱特征图。

然后，在通过所述第一卷积神经网络模型提取到色散光谱图的特征图后，考虑到在所述色散光谱特征图的各个通道更多表示白色光中不同波段的单色光的色散特征，因此，进一步使用通道注意力来加强不同波段的色散特征。也就是，具体地，在本申请的技术方案中，将所述色散光谱特征图通过通道注意力模块中进行处理，以提取出所述色散光谱特征图在各个通道维度上的表示白色光在不同波段的单色光的色散隐含特征分布，从而得到通道增强色散光谱特征图。接着，进一步再将所述通道增强色散光谱特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个通道特征向量，也就是，将所述通道增强色散光谱特征图展开得到所述白色光中不同波段的单色光的色散增强特征从而得到多个通道特征向量。

进一步地，考虑到在不同的波段的单色光色散特征中，各个波段的单色光色散特征之间会存在着关联性的特征信息，而卷积神经网络之间提取出局部的关联特征，因此，在本申请的技术方案中，进一步将所述多个通道特征向量通过基于转换器的上下文编码器中进行编码，以利用基于转换器的上下文编码器来捕捉不同波段的色散特征之间的长距离上下文关联，即所述不同波段的色散特征之间的基于全局的上下文关联隐藏特征，从而得到多个上下文语义通道特征向量。

继而，在得到用于表示所述不同波段的色散特征之间的长距离上下文关联特征的所述多个增强后上下文语义通道特征向量后，将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量。然后，使用解码器来对于所述解码特征向量进行解码回归，从而得到用于表示所述待检测镜片的折射率的解码值，以此通过无触检测的方式来得到镜片的折射率。

特别地，在本申请的技术方案中，由于是将所述多个上下文语义通道特征向量直接级联以得到解码特征向量，而基于转换器的上下文编码器虽然能够提升所述多个上下文语义通道特征向量之间的上下文语义的关联性，但在表达信息的聚合方面仍存在不足。也就是，由于所述多个上下文语义通道特征向量是从所述通道增强色散光谱特征图的沿通道维度的各个特征矩阵展开得到的，而所述通道增强色散光谱特征图在所述色散光谱特征图通过通道注意力模块时，实质上是增强了每个通道的色散光谱特征矩阵的区分度，即降低了各个上下文语义通道特征向量之间的信息聚合度。因此，为了提升解码特征向量的解码结果的准确性，期望提高所述多个上下文语义通道特征向量之间的信息聚合度。

基于此，对于所述多个上下文语义通道特征向量中的每个上下文语义通道特征向量，分别计算其类小波函数族能量聚合的高频增强蒸馏因数，表示为：

表示特征值集合的方差，是上下文语义通道特征向量的特征值，且是上下文语义通道特征向量的长度。

也就是，考虑到特征分布的信息表示倾向于集中在高频分量上，即，信息倾向于分布在高维流形的流形边缘，由此使用类小波函数族能量聚合的高频增强蒸馏的方式，可以通过特征分布的集合方差的蒸馏来增强高维隐状态特征的高频分量，并约束其低频分量。这样，通过以所述类小波函数族能量聚合的高频增强蒸馏因数对所述多个上下文语义通道特征向量加权后再级联，就可以通过恢复全精度信息表示空间中的基本信息的方式来增强所述多个上下文语义通道特征向量之间的信息聚合度，并提升所述多个上下文语义通道特征向量相对于所述所述通道增强色散光谱特征图的沿通道维度的关联关系的表达效果，提升解码特征向量的解码结果的准确性。这样，能够在对于镜片的折射率进行检测时避免损坏镜片膜层，进而在确保检测准确性的同时保证检测镜片的可利用性，以提高手机摄像模组成像的质量。

基于此，本申请提出了一种镜片的折射率检测设备，其包括：色散数据采集模块，用于获取待检测镜片在白色光照射下的色散光谱图；色散光谱特征提取模块，用于将所述色散光谱图通过作为特征提取器的第一卷积神经网络模型以得到色散光谱特征图；通道注意力模块，用于将所述色散光谱特征图通过通道注意力模块以得到通道增强色散光谱特征图；局部特征展开模块，用于将所述通道增强色散光谱特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个通道特征向量；全局上下文语义编码模块，用于将所述多个通道特征向量通过基于转换器的上下文编码器以得到多个上下文语义通道特征向量；语义特征增强模块，用于对所述多个上下文语义通道特征向量中各个上下文语义通道特征向量进行特征级数据增强以得到多个增强后上下文语义通道特征向量；级联模块，用于将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量；以及，检测结果生成模块，用于将所述解码特征向量通过解码器以得到解码值，所述解码值为所述待检测镜片的折射率。

图1为根据本申请实施例的镜片的折射率检测设备的应用场景图。如图1所示，在该应用场景中，通过色散型光谱仪（例如，如图1中所示意的S1）获取待检测镜片在白色光照射下的色散光谱图。接着，将上述图像输入至部署有用于镜片的折射率检测算法的服务器（例如，图1中的S2）中，其中，所述服务器能够以所述镜片的折射率检测算法对上述输入的图像进行处理，以生成用于表示待检测镜片的折射率的解码值。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性***

图2为根据本申请实施例的镜片的折射率检测设备的框图。如图2所示，根据本申请实施例的镜片的折射率检测设备300，包括：色散数据采集模块310；色散光谱特征提取模块320；通道注意力模块330；局部特征展开模块340；全局上下文语义编码模块350；语义特征增强模块360；级联模块370；以及，检测结果生成模块380。

其中，所述色散数据采集模块310，用于获取待检测镜片在白色光照射下的色散光谱图；所述色散光谱特征提取模块320，用于将所述色散光谱图通过作为特征提取器的第一卷积神经网络模型以得到色散光谱特征图；所述通道注意力模块330，用于将所述色散光谱特征图通过通道注意力模块以得到通道增强色散光谱特征图；所述局部特征展开模块340，用于将所述通道增强色散光谱特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个通道特征向量；所述全局上下文语义编码模块350，用于将所述多个通道特征向量通过基于转换器的上下文编码器以得到多个上下文语义通道特征向量；所述语义特征增强模块360，用于对所述多个上下文语义通道特征向量中各个上下文语义通道特征向量进行特征级数据增强以得到多个增强后上下文语义通道特征向量；所述级联模块370，用于将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量；以及，所述检测结果生成模块380，用于将所述解码特征向量通过解码器以得到解码值，所述解码值为所述待检测镜片的折射率。

图3为根据本申请实施例的镜片的折射率检测设备的***架构图。如图3所示，在所述镜片的折射率检测设备300的***架构中，首先通过所述色散数据采集模块310获取待检测镜片在白色光照射下的色散光谱图；所述色散光谱特征提取模块320将所述色散数据采集模块310获取的色散光谱图通过作为特征提取器的第一卷积神经网络模型以得到色散光谱特征图；接着，所述通道注意力模块330将所述色散光谱特征提取模块320得到的色散光谱特征图通过通道注意力模块以得到通道增强色散光谱特征图；所述局部特征展开模块340将所述通道注意力模块330得到的通道增强色散光谱特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个通道特征向量；然后，所述全局上下文语义编码模块350将所述局部特征展开模块340得到的多个通道特征向量通过基于转换器的上下文编码器以得到多个上下文语义通道特征向量；所述语义特征增强模块360对所述全局上下文语义编码模块350得到的多个上下文语义通道特征向量中各个上下文语义通道特征向量进行特征级数据增强以得到多个增强后上下文语义通道特征向量；所述级联模块370将所述语义特征增强模块360得到的多个增强后上下文语义通道特征向量进行级联以得到解码特征向量；进而，所述检测结果生成模块380将所述级联模块370得到的解码特征向量通过解码器以得到解码值，所述解码值为所述待检测镜片的折射率。

具体地，在所述镜片的折射率检测设备300的运行过程中，所述色散数据采集模块310，用于获取待检测镜片在白色光照射下的色散光谱图。考虑到白色光是混合光，在经过镜片折射后会发生光的色散，而不同折射率的镜片会产生不同的色散光谱图，因此，可基于对色散光谱图的分析来确定待检测镜片的折射率。在本申请的一个具体示例中，可通过色散型光谱仪来获取待检测镜片在白色光照射下的色散光谱图。

具体地，在所述镜片的折射率检测设备300的运行过程中，所述色散光谱特征提取模块320，用于将所述色散光谱图通过作为特征提取器的第一卷积神经网络模型以得到色散光谱特征图。考虑到不同折射率的镜片会产生不同的色散光谱图，因此，使用在图像的隐含特征提取方面具有优异表现的作为特征提取器的第一卷积神经网络模型来对于所述色散光谱图进行特征挖掘，以提取出所述待检测镜片在白色光照射下的色散光谱图的局部隐含特征在高维空间中的特征分布表示，也就是，提取出所述色散光谱图中关于镜片折射率的隐含特征信息，从而得到色散光谱特征图。

图4为根据本申请实施例的镜片的折射率检测设备中第一卷积神经网络编码过程的流程图。如图4所示，在所述第一卷积神经网络编码过程中，包括：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：S210，对输入数据进行卷积处理以得到卷积特征图；S220，对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；以及，S230，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述色散光谱特征图，所述作为特征提取器的第一卷积神经网络的第一层的输入为所述色散光谱图。

具体地，在所述镜片的折射率检测设备300的运行过程中，所述通道注意力模块330，用于将所述色散光谱特征图通过通道注意力模块以得到通道增强色散光谱特征图。在本申请的技术方案中，在通过所述第一卷积神经网络模型提取到色散光谱图的特征图后，考虑到在所述色散光谱特征图的各个通道更多表示白色光中不同波段的单色光的色散特征，因此，进一步使用通道注意力来加强不同波段的色散特征。也就是，具体地，在本申请的技术方案中，将所述色散光谱特征图通过通道注意力模块中进行处理，以提取出所述色散光谱特征图在各个通道维度上的表示白色光在不同波段的单色光的色散隐含特征分布，从而得到通道增强色散光谱特征图。

图5为根据本申请实施例的镜片的折射率检测设备中通道注意力模块的框图。如图5所示，所述通道注意力模块330，包括：深度卷积编码单元331，用于将所述色散光谱特征图输入所述通道注意力模块的第二卷积神经网络的多层卷积层以得到第二卷积特征图；全局均值池化单元332，用于计算所述第二卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；通道注意力权重计算单元333，用于将所述通道特征向量输入所述Sigmoid激活函数以得到通道注意力权重向量；通道注意力施加单元334，用于以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述第二卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强色散光谱特征图。

具体地，在所述镜片的折射率检测设备300的运行过程中，所述局部特征展开模块340，用于将所述通道增强色散光谱特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个通道特征向量。更具体地，将所述通道增强色散光谱特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个通道特征向量，也就是，将所述通道增强色散光谱特征图展开得到所述白色光中不同波段的单色光的色散增强特征从而得到多个通道特征向量。

具体地，在所述镜片的折射率检测设备300的运行过程中，所述全局上下文语义编码模块350，用于将所述多个通道特征向量通过基于转换器的上下文编码器以得到多个上下文语义通道特征向量。考虑到在不同的波段的单色光色散特征中，各个波段的单色光色散特征之间会存在着关联性的特征信息，而卷积神经网络之间提取出局部的关联特征，因此，在本申请的技术方案中，进一步将所述多个通道特征向量通过基于转换器的上下文编码器中进行编码，以利用基于转换器的上下文编码器来捕捉不同波段的色散特征之间的长距离上下文关联，即所述不同波段的色散特征之间的基于全局的上下文关联隐藏特征，从而得到多个上下文语义通道特征向量。

图6为根据本申请实施例的镜片的折射率检测设备中全局上下文语义编码模块的框图。如图6所示，所述全局上下文语义编码模块350，包括：查询向量构造单元351，用于将所述多个通道特征向量进行一维排列以得到全局通道特征向量；自注意单元352，用于计算所述全局通道特征向量与所述多个通道特征向量中各个通道特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化单元353，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算单元354，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；注意力施加单元355，用于分别以所述多个概率值中各个概率值作为权重对所述多个通道特征向量中各个通道特征向量进行加权以得到所述多个上下文语义通道特征向量。

具体地，在所述镜片的折射率检测设备300的运行过程中，所述语义特征增强模块360，用于对所述多个上下文语义通道特征向量中各个上下文语义通道特征向量进行特征级数据增强以得到多个增强后上下文语义通道特征向量。特别地，在本申请的技术方案中，由于是将所述多个上下文语义通道特征向量直接级联以得到解码特征向量，而基于转换器的上下文编码器虽然能够提升所述多个上下文语义通道特征向量之间的上下文语义的关联性，但在表达信息的聚合方面仍存在不足。也就是，由于所述多个上下文语义通道特征向量是从所述通道增强色散光谱特征图的沿通道维度的各个特征矩阵展开得到的，而所述通道增强色散光谱特征图在所述色散光谱特征图通过通道注意力模块时，实质上是增强了每个通道的色散光谱特征矩阵的区分度，即降低了各个上下文语义通道特征向量之间的信息聚合度。因此，为了提升解码特征向量的解码结果的准确性，期望提高所述多个上下文语义通道特征向量之间的信息聚合度。

基于此，对于所述多个上下文语义通道特征向量中的每个上下文语义通道特征向量，分别计算其类小波函数族能量聚合的高频增强蒸馏因数，表示为：

其中表示所述多个上下文语义通道特征向量中每个上下文语义通道特征向量中各个位置的特征值，表示所述多个上下文语义通道特征向量中每个上下文语义通道特征向量的所有位置特征值集合的方差，是所述多个上下文语义通道特征向量中每个上下文语义通道特征向量的长度，表示以2为底的对数函数值。也就是，考虑到特征分布的信息表示倾向于集中在高频分量上，即，信息倾向于分布在高维流形的流形边缘，由此使用类小波函数族能量聚合的高频增强蒸馏的方式，可以通过特征分布的集合方差的蒸馏来增强高维隐状态特征的高频分量，并约束其低频分量。这样，通过以所述类小波函数族能量聚合的高频增强蒸馏因数对所述多个上下文语义通道特征向量加权后再级联，就可以通过恢复全精度信息表示空间中的基本信息的方式来增强所述多个上下文语义通道特征向量之间的信息聚合度，并提升所述多个上下文语义通道特征向量相对于所述所述通道增强色散光谱特征图的沿通道维度的关联关系的表达效果，提升解码特征向量的解码结果的准确性。这样，能够在对于镜片的折射率进行检测时避免损坏镜片膜层，进而在确保检测准确性的同时保证检测镜片的可利用性，以提高手机摄像模组成像的质量。

图7为根据本申请实施例的镜片的折射率检测设备中语义特征增强模块的框图。如图7所示，所述语义特征增强模块360，包括：增强因子计算单元361，用于以如下公式分别计算所述多个上下文语义通道特征向量中各个上下文语义通道特征向量的类小波函数族能量聚合的高频增强蒸馏因数作为所述多个上下文语义通道特征向量中各个上下文语义通道特征向量的加权权重；

其中，所述公式为：

其中表示所述多个上下文语义通道特征向量中每个上下文语义通道特征向量中各个位置的特征值，表示所述多个上下文语义通道特征向量中每个上下文语义通道特征向量的所有位置特征值集合的方差，是所述多个上下文语义通道特征向量中每个上下文语义通道特征向量的长度，表示以2为底的对数函数值；以及，加权优化单元362，用于以所述各个上下文语义通道特征向量的加权权重对所述多个上下文语义通道特征向量中各个上下文语义通道特征向量进行加权优化以得到所述多个增强后上下文语义通道特征向量。

具体地，在所述镜片的折射率检测设备300的运行过程中，所述级联模块370，用于将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量。也就是，在得到用于表示所述不同波段的色散特征之间的长距离上下文关联特征的所述多个增强后上下文语义通道特征向量后，将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量。在本申请的一个具体示例中，所述级联模块，进一步用于：以如下公式将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量；

其中，所述公式为：

其中，表示所述多个增强后上下文语义通道特征向量，表示级联函数，表示所述解码特征向量。

具体地，在所述镜片的折射率检测设备300的运行过程中，所述检测结果生成模块380，用于将所述解码特征向量通过解码器以得到解码值，所述解码值为所述待检测镜片的折射率。也就是，使用解码器来对于所述解码特征向量进行解码回归，从而得到用于表示所述待检测镜片的折射率的解码值，以此通过无触检测的方式来得到镜片的折射率。在本申请的一个具体示例中，所述检测结果生成模块，进一步用于：使用所述解码器以如下公式将所述解码特征向量通过解码以得到解码值；其中，所述公式为：，其中表示所述解码特征向量，是所述解码值，是权重矩阵，表示矩阵相乘。

综上，根据本申请实施例的镜片的折射率检测设备300被阐明，其通过采用基于深度学习的人工智能检测算法来对于镜片在白色光照射下的色散光谱图进行隐藏特征挖掘，进而基于白色光不同波段的单色光的色散特征之间的全局性上下文关系特征来进行镜片的折射率检测，也就是，通过无触检测的方式来得到镜片的折射率。这样，能够在对于镜片的折射率进行检测时避免损坏镜片膜层，进而在确保检测准确性的同时保证检测镜片的可利用性，以提高手机摄像模组成像的质量。

如上所述，根据本申请实施例的镜片的折射率检测设备可以实现在各种终端设备中。在一个示例中，根据本申请实施例的镜片的折射率检测设备300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该镜片的折射率检测设备300可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该镜片的折射率检测设备300同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该镜片的折射率检测设备300与该终端设备也可以是分立的设备，并且该镜片的折射率检测设备300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法

图8为根据本申请实施例的镜片的折射率检测方法的流程图。如图8所示，根据本申请实施例的镜片的折射率检测方法，包括步骤：S110，获取待检测镜片在白色光照射下的色散光谱图；S120，将所述色散光谱图通过作为特征提取器的第一卷积神经网络模型以得到色散光谱特征图；S130，将所述色散光谱特征图通过通道注意力模块以得到通道增强色散光谱特征图；S140，将所述通道增强色散光谱特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个通道特征向量；S150，将所述多个通道特征向量通过基于转换器的上下文编码器以得到多个上下文语义通道特征向量；S160，对所述多个上下文语义通道特征向量中各个上下文语义通道特征向量进行特征级数据增强以得到多个增强后上下文语义通道特征向量；S170，将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量；以及，S180，将所述解码特征向量通过解码器以得到解码值，所述解码值为所述待检测镜片的折射率。

在一个示例中，在上述镜片的折射率检测方法中，所述步骤S120，包括：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述色散光谱特征图，所述作为特征提取器的第一卷积神经网络的第一层的输入为所述色散光谱图。

在一个示例中，在上述镜片的折射率检测方法中，所述步骤S130，包括：将所述色散光谱特征图输入所述通道注意力模块的第二卷积神经网络的多层卷积层以得到第二卷积特征图；计算所述第二卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；将所述通道特征向量输入所述Sigmoid激活函数以得到通道注意力权重向量；以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述第二卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强色散光谱特征图。

在一个示例中，在上述镜片的折射率检测方法中，所述步骤S150，包括：将所述多个通道特征向量进行一维排列以得到全局通道特征向量；计算所述全局通道特征向量与所述多个通道特征向量中各个通道特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；分别以所述多个概率值中各个概率值作为权重对所述多个通道特征向量中各个通道特征向量进行加权以得到所述多个上下文语义通道特征向量。

在一个示例中，在上述镜片的折射率检测方法中，所述步骤S160，包括：以如下公式分别计算所述多个上下文语义通道特征向量中各个上下文语义通道特征向量的类小波函数族能量聚合的高频增强蒸馏因数作为所述多个上下文语义通道特征向量中各个上下文语义通道特征向量的加权权重；

其中，所述公式为：

其中表示所述多个上下文语义通道特征向量中每个上下文语义通道特征向量中各个位置的特征值，表示所述多个上下文语义通道特征向量中每个上下文语义通道特征向量的所有位置特征值集合的方差，是所述多个上下文语义通道特征向量中每个上下文语义通道特征向量的长度，表示以2为底的对数函数值；以及，以所述各个上下文语义通道特征向量的加权权重对所述多个上下文语义通道特征向量中各个上下文语义通道特征向量进行加权优化以得到所述多个增强后上下文语义通道特征向量。

在一个示例中，在上述镜片的折射率检测方法中，所述步骤S170，包括：以如下公式将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量；

其中，所述公式为：

其中，表示所述多个增强后上下文语义通道特征向量，表示级联函数，表示所述解码特征向量。

在一个示例中，在上述镜片的折射率检测方法中，所述步骤S180，包括：使用所述解码器以如下公式将所述解码特征向量通过解码以得到解码值；其中，所述公式为：，其中表示所述解码特征向量，是所述解码值，是权重矩阵，表示矩阵相乘。

综上，根据本申请实施例的镜片的折射率检测方法被阐明，其通过采用基于深度学习的人工智能检测算法来对于镜片在白色光照射下的色散光谱图进行隐藏特征挖掘，进而基于白色光不同波段的单色光的色散特征之间的全局性上下文关系特征来进行镜片的折射率检测，也就是，通过无触检测的方式来得到镜片的折射率。这样，能够在对于镜片的折射率进行检测时避免损坏镜片膜层，进而在确保检测准确性的同时保证检测镜片的可利用性，以提高手机摄像模组成像的质量。

Claims (10)

1.一种镜片的折射率检测设备，其特征在于，包括：

色散数据采集模块，用于获取待检测镜片在白色光照射下的色散光谱图；

色散光谱特征提取模块，用于将所述色散光谱图通过作为特征提取器的第一卷积神经网络模型以得到色散光谱特征图；

通道注意力模块，用于将所述色散光谱特征图通过通道注意力模块以得到通道增强色散光谱特征图；

局部特征展开模块，用于将所述通道增强色散光谱特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个通道特征向量；

全局上下文语义编码模块，用于将所述多个通道特征向量通过基于转换器的上下文编码器以得到多个上下文语义通道特征向量；

语义特征增强模块，用于对所述多个上下文语义通道特征向量中各个上下文语义通道特征向量进行特征级数据增强以得到多个增强后上下文语义通道特征向量；

级联模块，用于将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量；以及

检测结果生成模块，用于将所述解码特征向量通过解码器以得到解码值，所述解码值为所述待检测镜片的折射率。

2.根据权利要求1所述的镜片的折射率检测设备，其特征在于，所述色散光谱特征提取模块，进一步用于：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；以及

对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述色散光谱特征图，所述作为特征提取器的第一卷积神经网络的第一层的输入为所述色散光谱图。

3.根据权利要求2所述的镜片的折射率检测设备，其特征在于，所述通道注意力模块，包括：

深度卷积编码单元，用于将所述色散光谱特征图输入所述通道注意力模块的第二卷积神经网络的多层卷积层以得到第二卷积特征图；

全局均值池化单元，用于计算所述第二卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；

通道注意力权重计算单元，用于将所述通道特征向量输入所述Sigmoid激活函数以得到通道注意力权重向量；

通道注意力施加单元，用于以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述第二卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强色散光谱特征图。

4.根据权利要求3所述的镜片的折射率检测设备，其特征在于，所述全局上下文语义编码模块，包括：

查询向量构造单元，用于将所述多个通道特征向量进行一维排列以得到全局通道特征向量；

自注意单元，用于计算所述全局通道特征向量与所述多个通道特征向量中各个通道特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；

标准化单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；

关注度计算单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；

注意力施加单元，用于分别以所述多个概率值中各个概率值作为权重对所述多个通道特征向量中各个通道特征向量进行加权以得到所述多个上下文语义通道特征向量。

5.根据权利要求4所述的镜片的折射率检测设备，其特征在于，所述语义特征增强模块，包括：

增强因子计算单元，用于以如下公式分别计算所述多个上下文语义通道特征向量中各个上下文语义通道特征向量的类小波函数族能量聚合的高频增强蒸馏因数作为所述多个上下文语义通道特征向量中各个上下文语义通道特征向量的加权权重；

其中，所述公式为：

其中表示所述多个上下文语义通道特征向量中每个上下文语义通道特征向量中各个位置的特征值，表示所述多个上下文语义通道特征向量中每个上下文语义通道特征向量的所有位置特征值集合的方差，是所述多个上下文语义通道特征向量中每个上下文语义通道特征向量的长度，表示以2为底的对数函数值；

加权优化单元，用于以所述各个上下文语义通道特征向量的加权权重对所述多个上下文语义通道特征向量中各个上下文语义通道特征向量进行加权优化以得到所述多个增强后上下文语义通道特征向量。

6.根据权利要求5所述的镜片的折射率检测设备，其特征在于，所述级联模块，进一步用于：以如下公式将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量；

其中，所述公式为：

其中，表示所述多个增强后上下文语义通道特征向量，表示级联函数，表示所述解码特征向量。

7.根据权利要求6所述的镜片的折射率检测设备，其特征在于，所述检测结果生成模块，进一步用于：使用所述解码器以如下公式将所述解码特征向量通过解码以得到解码值；其中，所述公式为：，其中表示所述解码特征向量，是所述解码值，是权重矩阵，表示矩阵相乘。

8.一种镜片的折射率检测方法，其特征在于，包括：

获取待检测镜片在白色光照射下的色散光谱图；

将所述色散光谱图通过作为特征提取器的第一卷积神经网络模型以得到色散光谱特征图；

将所述色散光谱特征图通过通道注意力模块以得到通道增强色散光谱特征图；

将所述通道增强色散光谱特征图的沿通道维度的各个特征矩阵展开为特征向量以得到多个通道特征向量；

将所述多个通道特征向量通过基于转换器的上下文编码器以得到多个上下文语义通道特征向量；

对所述多个上下文语义通道特征向量中各个上下文语义通道特征向量进行特征级数据增强以得到多个增强后上下文语义通道特征向量；

将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量；以及

将所述解码特征向量通过解码器以得到解码值，所述解码值为所述待检测镜片的折射率。

9.根据权利要求8所述的镜片的折射率检测方法，其特征在于，所述将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量，包括：以如下公式将所述多个增强后上下文语义通道特征向量进行级联以得到解码特征向量；

其中，所述公式为：

其中，表示所述多个增强后上下文语义通道特征向量，表示级联函数，表示所述解码特征向量。

10.根据权利要求9所述的镜片的折射率检测方法，其特征在于，所述将所述解码特征向量通过解码器以得到解码值，包括：使用所述解码器以如下公式将所述解码特征向量通过解码以得到解码值；其中，所述公式为：

，其中表示所述解码特征向量，是所述解码值，是权重矩阵，表示矩阵相乘。

Images