CN116894965A - 教师数据收集方法以及收集装置 - Google Patents

Abstract

本发明的课题在于提供一种能够基于最小限度的专家数据，以最小限度的工时完成教师数据的收集的教师数据的收集方法。使用少数的专家数据和许多的非专家数据作为教师数据的缺陷分类模型中的教师数据收集方法具有：将学习了专家数据的变分自动编码器的潜在变量编码为一维的工序；将非专家数据输入到变分自动编码器，将潜在变量编码为一维的工序；计算专家数据和非专家数据各自的一维潜在变量中的最大值以及最小值的工序；以及基于非专家数据的一维潜在变量中的最大值以及最小值的差分与专家数据的一维潜在变量中的最大值以及最小值的差分之比，判定非专家数据的收集的完成的工序。

Description

教师数据收集方法以及收集装置

技术领域

本发明涉及应用于具有使用了神经网络的机器学习功能的检查装置等并用于判定检查对象物的良好与否的学习模型中的教师数据的收集方法以及收集装置。

背景技术

近年来，通过具有使用了神经网络的机器学习功能的检查装置，针对各种工业产品、部件等检查对象物，判定是正常品(合格品)还是异常品(不合格品)的验货作业的自动化技术的开发正在推进。在这样的检查装置中，通过读入许多被分类为合格品和不合格品的检查对象物的外观的图像数据作为教师数据，来进行学习。并且，通过学习了分类基准的检查装置，能够将由摄像机拍摄到的新的检查对象物分类为合格品和不合格品。

如上所述，在检查装置的学习中，使用合格品以及不合格品的图像数据，为了提高检查精度，合格品以及不合格品均需要许多的图像数据。但是，在工业产品等的制造现场，由于一般以尽可能不产生不合格品的方式进行制造，因此虽然合格品的数量多，但不合格品的数量非常少。因此，与能够比较容易地收集的合格品的图像数据(以下称为“合格品数据”。)相比，不合格品的图像数据(以下称为“不合格品数据”。)的收集困难。

此外，不合格品数据有由熟练者、经验年数长的作业者等专家选定的数据(以下称为“专家数据”。)、和由新人、经验年数短的作业者等非专家选定的数据(以下称为“非专家数据”。)。作为通过学习上述那样的专家数据以及非专家数据来生成学习模型的技术，例如已知有专利文献1所记载的技术。

在该专利文献1中，由知识、经验丰富的专家对“专家数据”进行标签标注，并规定为是标签标注的精度(可靠性)高的教师数据，另一方面，对“非专家数据”进行了标签标注，但规定为是其精度(可靠性)不明确的教师数据。此外，参照专家数据对非专家数据赋予可靠度。并且，通过使用专家数据和带可靠度非专家数据进行学习，从而生成作为分类模型的学习模型。

在先技术文献

专利文献

专利文献1：日本特开2009-110064号公报

发明内容

发明所要解决的课题

上述的现有的学习模型的生成方法是通过针对各个非专家数据决定可靠度，将其利用于在后面的学习处理中的数据的加权，由此来提高分类模型的精度的方法，但并未提及收集多少非专家数据就足以构筑分类模型这一点。

如上所述，在用于检查装置的分类模型中，优选收集尽可能多的图像数据作为教师数据，但在现实中，能够分配给教师数据的收集的时间、成本有限，因此要求在得到了在分类模型中能够确保一定精度所需充分的质和量的教师数据的时间点完成教师数据的收集，由此使教师数据收集所花费的工时最小化。

此外，当从教师数据的收集方面来看专家数据和非专家数据时，若想要仅通过前者得到足够量的教师数据，则需要长时间约束熟练者，所以成本方面的效率差，而后者能够取得的异常品的种类、形状容易变得平均，在仅将其作为教师数据的情况下，存在无法准确地进行发生概率低的异常品的分类这样的问题。因此，通过组合最小限度的专家数据和容易收集的非专家数据，在抑制成本的同时收集质量得到了确保的不合格品教师数据变得重要。

本发明为了解决这样的课题而作，其目的在于提供一种能够基于最小限度的专家数据，以最小限度的工时完成教师数据的收集的教师数据的收集方法。

用于解决课题的手段

为了达成该目的，本发明的技术方案1所涉及的发明是使用与各种缺陷形状对应的比较少数的专家数据和对应的缺陷形状不明的比较多的非专家数据作为教师数据来学习的缺陷分类模型中的教师数据收集方法，其特征在于，具有：事前学习工序(图3的步骤4、图4的步骤101～103)，将使用预先从专家数据提取出的特征量进行了学习的变分自动编码器的潜在变量编码为一维；维度削减工序(图3的步骤5～6)，将从所收集到的非专家数据提取出的特征量输入到学习完毕的变分自动编码器，将潜在变量编码为一维；计算工序(图3的步骤7～8)，分别计算从专家数据提取出的特征量的一维的潜在变量中的最大值以及最小值、和从非专家数据提取出的特征量的一维的潜在变量中的最大值以及最小值；以及收集完成判定工序(图3的步骤9～10)，基于从非专家数据提取出的特征量的一维的潜在变量中的最大值以及最小值的差分与从专家数据提取出的特征量的一维的潜在变量中的最大值以及最小值的差分之比，判定是否完成非专家数据的收集。

在该教师数据收集方法中，使用预先从少数的专家数据提取出的特征量进行变分自动编码器的学习，将所得到的潜在变量编码为一维。在此，所谓专家数据，是指例如由熟练的作业者预先选定的数据，是与各种缺陷形状对应的数据、即网罗性地包含可能产生的多种多样的缺陷形状的图案的数据。因此，从其中提取的特征量成为整体上无遗漏地扩散的分布状态，标准偏差较大。因此，在通过维度削减而使这样的专家数据的特征量落入一维的潜在变量的情况下，所得到的潜在变量的最大值与最小值之差较大。

另一方面，非专家数据例如是由制造线中经验浅的新人选定并依次蓄积的数据，设想为包含很多对应的缺陷形状不明确且局限于比较容易检测的平均的缺陷形状的数据。因此，从收集初期的比较少数的非专家数据提取的特征量成为偏在于平均值的附近的分布状态，标准偏差容易成为较小。因此，为了使从非专家数据提取的特征量的标准偏差接近到与从专家数据提取的特征量的标准偏差相同程度，作为教师数据得到具有高质量的非专家数据，需要继续非专家数据的收集，直到检测并蓄积各种各样的图案的缺陷形状为止。

基于这样的见解，在本发明中，将从所收集到的非专家数据提取出的特征量变换为与预先得到的专家数据相同的一维的潜在变量，将其最大值以及最小值的差分与专家数据中的潜在变量的最大值以及最小值的差分进行比较。由此，推定此前收集到的非专家数据与专家数据相比与多种缺陷形状对应何种程度，基于该结果，来判定是否完成非专家数据的收集。因此，能够提供一种能够基于最小限度的专家数据，以最小限度的工时完成教师数据的收集的教师数据的收集方法。

本发明的技术方案2所涉及的发明的特征在于，在技术方案1所述的教师数据收集方法中，在收集完成判定工序中，在将从非专家数据提取出的特征量的一维的潜在变量中的最大值以及最小值分别设为valmax、valmin，将从专家数据提取出的特征量的一维的潜在变量中的最大值以及最小值分别设为trmax、trmin时，

计算定义为quality＝(valmax-valmin)/(trmax-trmin)的quality值，在quality值为给定阈值qref以上的情况下，完成非专家数据的收集。

根据该结构，通过定义为非专家数据的一维的潜在变量中的最大值以及最小值的差分与专家数据的一维的潜在变量中的最大值以及最小值的差分之比的quality值是否为给定阈值qref以上，来判定是否完成非专家数据的收集。由此，能够推定此前收集到的非专家数据是否与多种缺陷形状对应到和专家数据相同程度，基于该结果，来判定是否完成非专家数据的收集，因此能够提供一种能够基于最小限度的专家数据，以最小限度的工时完成教师数据的收集的教师数据的收集方法。

本发明的技术方案3所涉及的发明是使用与各种缺陷形状对应的比较少数的专家数据和对应的缺陷形状不明的比较多的非专家数据作为教师数据来学习的缺陷分类模型中的教师数据收集装置11，其特征在于，具备：事前学习单元(实施方式中的(以下在本项中相同)事前学习部16)，其将使用预先从专家数据提取出的特征量进行了学习的变分自动编码器的潜在变量编码为一维；维度削减单元(最大/最小值计算部17)，其将从所收集到的非专家数据提取出的特征量输入到学习完毕的变分自动编码器，将潜在变量编码为一维；计算单元(最大/最小值计算部17)，其分别计算从专家数据提取出的特征量的一维的潜在变量中的最大值以及最小值、和从非专家数据提取出的特征量的一维的潜在变量中的最大值以及最小值；以及收集判定单元(不合格品图像取得结束判定部18)，其基于从非专家数据提取出的特征量的一维的潜在变量中的最大值以及最小值的差分与从专家数据提取出的特征量的一维的潜在变量中的最大值以及最小值的差分之比，判定是否完成非专家数据的收集。

在该教师数据收集装置中，将从所收集到的非专家数据提取出的特征量变换为与预先得到的专家数据相同的一维的潜在变量，将其最大值以及最小值的差分与专家数据中的潜在变量的最大值以及最小值的差分进行比较。由此，推定此前收集到的非专家数据相比于专家数据与多种缺陷形状对应到何种程度，基于该结果，判定是否完成非专家数据的收集。因此，能够提供一种能够基于最小限度的专家数据，以最小限度的工时完成教师数据的收集的教师数据的收集装置。

附图说明

图1是用于说明在学习中利用由本发明的一个实施方式的教师数据收集装置收集到的教师数据的检查***的概要的图。

图2是表示本发明的一个实施方式的教师数据收集装置的框图。

图3是表示教师数据收集装置的教师数据的收集处理的流程图。

图4是表示教师数据收集装置的事前学习处理的流程图。

图5是用于说明Quality值的计算的图。

图6是用于说明Quality值的计算的图。

图7是表示分类模型的生成处理的流程图。

具体实施方式

以下，参照附图对本发明的优选实施方式详细进行说明。图1示出了具备使用由后述的教师数据收集装置11收集到的许多的不合格品图像的数据(不合格品数据)、以及许多的合格品图像的数据(合格品数据)进行了学习的分类模型的检查***。该检查***1例如设置于车辆部件的制造工厂等，通过检查车辆部件的外观来自动地判别所制造的车辆部件(例如缸体)是正常品(合格品)还是异常品(不合格品)。以下，将要检查的车辆部件称为“检查对象物”。

如图1所示，检查***1具备：输送机2，其沿给定方向以给定速度输送检查对象物G；以及检查装置3，其在检查对象物G到达给定的检查位置时，判定该检查对象物G的良好与否。另外，虽然省略图示，但由检查装置3判定为不合格品的检查对象物G从输送机2去除，或者被输送到不合格品专用的保存场所。

检查装置3主要由计算机所构成的信息处理装置构成，具备控制部4、图像取得部5、存储部6、学习部7、输入部8、输出部9以及摄像机10。

控制部4具备CPU，控制检查装置3的上述各部5～9以及摄像机10等。图像取得部5取得由摄像机10拍摄到的检查对象物G的外观图像作为数字数据。存储部6具有ROM以及RAM，存储有在检查装置3的控制中使用的各种程序，并且存储各种数据。学习部7具有学习了用于判别检查对象物G的良好与否的基准的学习模型。输入部8具有由作业者操作的键盘、鼠标，并且构成为能够从外部输入数据、信号。输出部9具有显示检查对象物G的判定结果的显示器等显示设备。

图2示出了本发明的一个实施方式的教师数据收集装置11。该教师数据收集装置11用于通过由进行检查对象物G的验货作业的作业者操作来收集不合格品数据。教师数据收集装置11与前述的检查装置3同样，由计算机所构成的信息处理装置构成，具备不合格品图像取得部12、非专家数据保存部13、专家数据保存部14、特征量变换部15、事前学习部16(事前学习单元维度削减单元)、最大/最小值计算部17(维度削减单元、计算单元)、不合格品图像取得结束判定部18(收集完成判定单元)。

不合格品图像取得部12针对由与前述的检查装置3的摄像机10同样的摄像机拍摄到的检查对象物G的外观图像，取得由作业者判定为不合格品的图像作为不合格品数据。

非专家数据保存部13保存由非专家(新人、验货作业的经验年数短的作业者)选定的不合格品数据(非专家数据)。另一方面，专家数据保存部14保存由专家(熟练者、验货作业的经验年数长的作业者)选定的不合格品数据(专家数据)。另外，非专家数据以及专家数据除了分别由非专家以及专家选定的实际的不合格品数据以外，也可以包含基于实际的不合格品数据，使用例如VAE(Variational Auto Encoder：变分自动编码器)、GAN(Generative Adversarial Network：对抗式生成网络)而生成的伪不合格品数据。

特征量变换部15将专家数据以及非专家数据分别变换为给定的特征量。具体而言，例如使用SIFT(Scale-Invariant Feature Transform：尺度不变特征转换)、CNN(Convolutional Neural Network：卷积神经网络)，从各不合格品数据提取特征量。特征量变换部15也可以使用VAE的编码器进行特征量的提取。

事前学习部16具有VAE，进行仅将从专家数据得到的特征量用作训练数据的事前学习。在该事前学习中，向VAE的编码器输入从专家数据提取出的特征量，以能够输出与输入的特征量近似的特征量的方式学习潜在变量z(事前学习工序)。特别是，在该事前学习中，特征在于将潜在变量z编码为一维。通过将潜在变量z编码为一维，能够基于其最大值与最小值的差分，推测输入数据的分布的扩散的程度、即该情况下所输入的不合格品数据中的缺陷形状的分布的扩散的程度。

最大/最小值计算部17将从所收集到的非专家数据提取出的特征量输入到学习完毕的VAE，编码为相同的一维的潜在变量z(维度削减工序)。此外，将由事前学习部16编码为一维的潜在变量z的专家数据的特征量的最大值以及最小值分别计算为trmax、trmin，并且将编码为相同的一维的潜在变量z的非专家数据的特征量的最大值以及最小值分别计算为valmax、valmin(计算工序)。

不合格品图像取得结束判定部18基于所计算出的valmax以及valmin的差分与trmax以及trmin的差分之比，来决定是否完成非专家的收集(收集完成判定工序)。

图3示出了由上述的教师数据收集装置11进行的作为教师数据的不合格品数据的收集处理。在本处理中，首先在步骤1(图示为“S1”。以下相同)中，取得不合格品图像。在此，在所取得的不合格品图像是由非专家选定的图像时，该不合格品图像作为非专家数据而保存于非专家数据保存部13中。另一方面，在所取得的不合格品图像是由专家选定的图像时，该不合格品图像作为专家数据而保存于专家数据保存部14中。

关于所取得的不合格品图像是基于专家和非专家中的哪一方的选定的不合格品图像，例如能够构成为基于在操作教师数据收集装置11时输入的操作者的属性值来进行判定。或者，也能够构成为取得事前进行了是基于专家和非专家中的哪一方的选定的标签标注的不合格品图像。在本实施方式中，由于取得的专家数据可以是少数，因此预先对专家数据标注表示是基于专家的选定的数据的标签，通过该标签的有无来进行专家数据/非专家数据的判定。

接着，在步骤2中，判定是否已经进行了事前学习。在已经进行了事前学习的情况下，前进至步骤5。另一方面，在还未进行事前学习的情况下，前进至步骤3。

在步骤3中，进行是否已经取得了预先设定的量的专家数据的判定。在此，专家数据要求是与各种缺陷形状对应的数据、即网罗性地包含可能产生的多种多样的缺陷形状的图案的数据，因此能够设定为取得满足该条件的最小限度的数量的专家数据。这样的最小限度的专家数据的数量例如可以构成为持续取得数据直到从已收集的专家数据提取出的特征量的标准偏差超过给定阈值为止，也可以基于经验法则设定任意的值。在本实施方式中，能够将最小限度的专家数据的数量设定为例如“100”。在步骤3的判定结果为“是”时，前进至步骤4，进行事前学习。另一方面，在步骤3的判定结果为“否”时，返回至步骤1，再次进行不合格品图像的取得。

图4表示步骤4的事前学习的各处理。首先，在步骤101中，例如使用SIFT或CNN，将所取得的专家数据变换为给定的特征量。

接着，在步骤102中，将从专家数据得到的特征量作为训练数据进行VAE的学习。具体而言，向VAE的编码器输入从专家数据得到的特征量，以能够输出与所输入的特征量近似的特征量的方式学习潜在变量z。

另外，上述的步骤101中的特征量的提取可以通过VAE的编码器来进行，也可以构成为通过单一的VAE同时并行地进行步骤101中的特征量的提取和步骤102中的潜在变量z的学习。在该情况下，将作为专家数据的图像数据作为针对VAE的输入值，以能够生成与其近似的图像数据的方式学习潜在变量z，由此同时得到特征量和潜在变量z。

接着，在步骤103中，将所得到的潜在变量z进一步压缩而编码为一维。通过将潜在变量z编码为一维，观察潜在变量z中的最大值与最小值的差分，由此能够推测输入数据的分布的扩散的程度、即专家数据中的缺陷形状的分布的扩散的程度。通过步骤103的处理的结束从而事前学习完成，前进至图3的步骤5。

在步骤5中，例如使用SIFT或CNN，将所取得的非专家数据变换为给定的特征量。接着，在步骤6中，将从非专家数据得到的特征量输入到上述的学习完毕的VAE，将潜在变量z编码为一维。

另外，如上所述，在将作为专家数据的图像数据自身作为输入值进行了VAE的学习的情况下，也可以同样地将作为非专家数据的图像数据自身直接输入到学习完毕VAE，将潜在变量z编码为一维。在该情况下，步骤5和步骤6同时并行地执行。

接着，在步骤7中，分别计算专家数据的特征量的一维的潜在变量z中的最大值trmax和最小值trmin，接着在步骤8中，分别计算非专家数据的特征量的一维的潜在变量z中的最大值valmax和最小值valmin。

接着，在步骤9中，计算由下式定义的quality值。

quality＝(valmax-valmin)/(trmax-trmin)

即，所谓quality值，是指非专家数据的特征量的一维的潜在变量z中的最大值valmax和最小值valmin的差分、与专家数据的特征量的一维的潜在变量z中的最大值trmax和最小值trmin的差分之比。

在本实施方式中，潜在变量z被编码为一维，因此一维的潜在变量z的最大值与最小值的差分反映了输入数据的分布的扩散的程度。如上所述，从不合格品图像的收集初期的比较少数的非专家数据提取的特征量成为偏在于平均值的附近的分布状态，标准偏差容易变得较小。在这样的情况下，如图5所示，由于非专家数据的特征量的潜在变量z中的最大值valmax与最小值valmin的差分比专家数据的特征量的潜在变量z中的最大值trmax与最小值trmin的差分小，因此quality值成为1以下的较小的值(在图5中，quality值≈0.64)。

另一方面，随着非专家数据的蓄积进展而包含各种缺陷形状的数据，从非专家数据的特征量提取的特征量的分布扩散，标准偏差变大。在非专家数据具有充分的扩散的情况下，如图6所示，非专家数据的特征量的潜在变量z中的最大值valmax与最小值valmin的差分成为与专家数据的特征量的潜在变量z中的最大值trmax与最小值trmin的差分相同程度或其以上，因此quality值成为接近1的值或1以上的较大的值(在图6中，quality值≈1.02)。

这样，通过参照quality值，能够推定此前收集到的非专家数据中的缺陷形状的分布接近于专家数据中的缺陷形状的分布到何种程度。此外，由此，能够推定作为非专家数据的教师数据的质量是否充分，能够判定是否可以完成不合格品图像的取得。

基于这样的见解，在步骤10中，进行所计算出的quality值是否为给定阈值qref以上的判别。阈值qref设定为，若quality值为该值以上，则能够推定为非专家数据中的缺陷形状的分布已经充分接近于专家数据中的缺陷形状的分布的值。在本实施方式中，阈值qref例如设定为0.95。

在步骤10的判别结果为“否”、quality值小于阈值qref时，判定为非专家数据还未充分地蓄积，返回至步骤1，继续不合格品图像的取得。

另一方面，在步骤10的判别结果为“是”、quality≥qref时，判定为非专家数据已经充分蓄积，可以完成不合格品图像的取得，在步骤11中将不合格品图像取得完成标志F_COMP设定为“1”，结束教师数据收集处理。另外，通过对上述标志F_COMP设定“1”，在教师数据收集装置11中，通过未图示的显示部等，通知教师数据的收集已完成的情况。

图7示出了在上述的检查***1中，作为检查装置3的学习部7所搭载的学习模型的分类模型的生成处理。在本处理中，在步骤21中，从教师数据收集装置11的专家数据保存部14输出所有的数据(专家数据)，并且在步骤22中，从非专家数据保存部13输出所有的数据(非专家数据)。接着，在步骤23中，将所输出的专家数据与非专家数据结合。由此，生成用于分类模型的生成的许多的不合格品教师数据。

然后，在步骤24中，使用所生成的许多的不合格品教师数据和另外收集到的许多的合格品数据(合格品教师数据)，使分类模型学习。由此，能够得到分类精度高的分类模型，在检查***1中，能够高精度地判定检查对象物G的良好与否。

如以上详述的那样，根据本实施方式，基于非专家数据的特征量的一维的潜在变量z中的最大值valmax和最小值valmin的差分与专家数据的特征量的一维的潜在变量z中的最大值trmax和最小值trmin的差分之比，来判定是否完成不合格品图像的取得。因此，能够基于最小限度的专家数据，以最小限度的工时完成教师数据的收集。

另外，本发明并不限定于所说明的上述实施方式，能够以各种方式实施。例如，在实施方式中，构成为将非专家数据和专家数据分别保存于教师数据收集装置11具备的非专家数据保存部13和专家数据保存部14中，但也可以构成为使非专家数据和专家数据存储于外部的存储装置，根据需要，经由未图示的通信部读入数据，此外，也可以构成为在进行了区分非专家数据与专家数据的标签标注的基础上保存于单一的保存部中。此外，在实施方式中示出的教师数据收集装置11的细微部分的结构等仅为例示，能够在本发明的主旨的范围内适当变更。

符号说明

1检查***

2输送机

3检查装置

4控制部

5图像取得部

6存储部

7学习部

8输入部

9输出部

10摄像机

11教师数据收集装置

12不合格品图像取得部

13非专家数据保存部

14专家数据保存部

15特征量变换部

16事前学习部

17最大/最小值计算部

18不合格品图像取得结束判定部

G检查对象物。

Claims (3)

1.一种教师数据收集方法，是使用与各种缺陷形状对应的比较少数的专家数据和对应的缺陷形状不明的比较多的非专家数据作为教师数据来学习的缺陷分类模型中的教师数据收集方法，其特征在于，具有：

事前学习工序，将使用预先从所述专家数据提取出的特征量进行了学习的变分自动编码器的潜在变量编码为一维；

维度削减工序，将从所收集到的所述非专家数据提取出的特征量输入到学习完毕的所述变分自动编码器，将潜在变量编码为所述一维；

计算工序，分别计算从所述专家数据提取出的特征量的所述一维的潜在变量中的最大值以及最小值、和从所述非专家数据提取出的特征量的所述一维的潜在变量中的最大值以及最小值；以及

收集完成判定工序，基于从所述非专家数据提取出的特征量的所述一维的潜在变量中的最大值以及最小值的差分与从所述专家数据提取出的特征量的所述一维的潜在变量中的最大值以及最小值的差分之比，判定是否完成所述非专家数据的收集。

2.根据权利要求1所述的教师数据收集方法，其特征在于，

在所述收集完成判定工序中，在将从所述非专家数据提取出的特征量的所述一维的潜在变量中的最大值以及最小值分别设为valmax、valmin，将从所述专家数据提取出的特征量的所述一维的潜在变量中的最大值以及最小值分别设为trmax、trmin时，

计算由quality＝(valmax-valmin)/(trmax-trmin)定义的quality值，并在该quality值为给定阈值以上的情况下，完成所述非专家数据的收集。

3.一种教师数据收集装置，是使用与各种缺陷形状对应的比较少数的专家数据和对应的缺陷形状不明的比较多的非专家数据作为教师数据来学习的缺陷分类模型中的教师数据收集装置，其特征在于，具备：

事前学习单元，其将使用预先从所述专家数据提取出的特征量进行了学习的变分自动编码器的潜在变量编码为一维；

维度削减单元，其将从所收集到的所述非专家数据提取出的特征量输入到学习完毕的所述变分自动编码器，将潜在变量编码为所述一维；

FB225304JP-I

计算单元，其分别计算从所述专家数据提取出的特征量的所述一维的潜在变量中的最大值以及最小值、和从所述非专家数据提取出的特征量的所述一维的潜在变量中的最大值以及最小值；以及

收集完成判定单元，其基于从所述非专家数据提取出的特征量的所述一维的潜在变量中的最大值以及最小值的差分与从所述专家数据提取出的特征量的所述一维的潜在变量中的最大值以及最小值的差分之比，判定是否完成所述非专家数据的收集。