CN115861161A - 机器学习***、学习数据收集方法以及存储介质 - Google Patents

Abstract

本发明为一种机器学习***，具有拍摄产品而取得产品图像的拍摄部；根据设定文件而切出检查对象部位的图像来生成检查对象部位图像，并将生成的检查对象部位图像保存在图像保存部中的预处理部；针对良好与否判断对象物的检查对象部位图像，实施良好与否判断处理的检查处理部，良好与否判断对象物通过生产指示信息而被表示为良好与否判断对象，将在图像保存部中保存的检查对象部位图像中的、与通过生产指示信息而被指定为不是良好与否判断对象的学习对象物的产品相关的检查对象部位图像累积在图像保存部中，作为学习用数据。

Description

机器学习***、学习数据收集方法以及存储介质

技术领域

本发明涉及一种机器学习***、学习数据收集方法以及存储介质。例如，涉及一种生成学习模型的机器学习***、学习数据收集方法以及存储介质，该学习模型在人工智能中被使用，该人工智能使用拍摄了检查对象物的图像而实施检查对象物的形状识别。

背景技术

在汽车的生产线中，在对组装的产品是按照规格进行组装的进行检查的检查工序中，有时采用使用了图像的检查。在这样的检查中，近年来，提出了一种使用人工智能并根据包含检查对象物的图像来实施检查对象物的良好与否的判断的技术。这样的识别及检查技术的一例在国际公开第2019/230356中被公开。

关于在国际公开第2019/0230356中记载的学习装置，具有：拍摄产品的样本而取得图像数据的摄像机；取得样本的物理属性信息的物理属性信息取得部；生成学习模型的计算部。计算部被配置为，根据将物理属性信息与类别建立关联的规则信息来确定样本的类别，将确定的类别与图像数据建立关联地生成监督数据，通过使用了监督数据的机器学习而生成学习模型。学习模型针对样本的图像数据的输入，输出样本的类别。

发明内容

但是，在国际公开第2019/0230356中记载的技术中，为了得到物理属性信息，必须单独地设置取得图像的摄像机以外的其他的传感器，***被复杂化或高成本化，也进一步地丧失通用性。

本发明是为了解决这样的问题而完成的，其目的在于，***结构的简化。

本发明的一个方式为一种机器学习***，具有：拍摄部，拍摄产品而取得产品图像；预处理部，针对所述产品图像，根据表示所述产品的检查对象部位的位置及范围的设定文件而切出所述检查对象部位的图像来生成检查对象部位图像，并将生成的检查对象部位图像保存在图像保存部中；检查处理部，针对良好与否判断对象物的所述检查对象部位图像，实施应用了人工智能的良好与否判断处理，所述良好与否判断对象物通过记述了所述产品的规格的生产指示信息而被表示为良好与否判断对象，关于在所述图像保存部中保存的所述检查对象部位图像，在其为与通过所述生产指示信息而被指定为不是良好与否判断对象的学习对象物的产品相关的所述检查对象部位图像的情况下，被累积在所述图像保存部中，作为在所述人工智能中应用的学习模型的学习用数据。

本发明的一个方式为一种学习数据收集方法，使用在生产线中实施产品的良好与否判断处理的检查装置，所述学习数据被用于在人工智能中应用的学习模型的生成，所述学习数据收集方法实施以下的处理：拍摄处理，拍摄在生产线中流动的产品而取得产品图像；预处理，针对所述产品图像，根据表示所述产品的检查对象部位的位置及范围的设定文件而切出所述检查对象部位的图像来生成检查对象部位图像，并将生成的检查对象部位图像保存在图像保存部中；检查处理，针对良好与否判断对象物的所述检查对象部位图像，实施应用了人工智能的良好与否判断处理，所述良好与否判断对象物通过记述了所述产品的规格的生产指示信息而被表示为良好与否判断对象，关于在所述图像保存部中保存的所述检查对象部位图像，在其为与通过所述生产指示信息而被指定为不是良好与否判断对象的学习对象物的产品相关的所述检查对象部位图像的情况下，被累积在所述图像保存部中，作为所述学习模型的学习用数据。

本发明的一个方式为一种存储介质，存储学习数据收集程序，所述学习数据收集程序被设置在检查装置内的计算部执行并实施学习数据的收集，所述检查装置在生产线中实施产品的良好与否判断处理，所述学习数据被用于使用所述检查装置在人工智能中应用的学习模型的生成，所述学习数据收集程序包含：拍摄处理，拍摄在生产线中流动的产品而取得产品图像；预处理，针对所述产品图像，根据表示所述产品的检查对象部位的位置及范围的设定文件而切出所述检查对象部位的图像来生成检查对象部位图像，并将生成的检查对象部位图像保存在图像保存部中；检查处理，针对良好与否判断对象物的所述检查对象部位图像，实施应用了人工智能的良好与否判断处理，所述良好与否判断对象物通过记述了所述产品的规格的生产指示信息而被表示为良好与否判断对象，关于在所述图像保存部中保存的所述检查对象部位图像，在其为与通过所述生产指示信息而被指定为不是良好与否判断对象的学习对象物的产品相关的所述检查对象部位图像的情况下，被累积在所述图像保存部中，作为所述学习模型的学习用数据。

在本发明的机器学习***、学习数据收集方法及存储介质中，在实施检查处理的***中实施用于学习模型的生成的学习数据的收集。

根据本发明，在本发明的机器学习***、学习数据收集方法和存储介质中，能够使***结构简化。

附图说明

以下，参照附图，说明本发明示例性实施例的特征、优点以及技术和工业意义，在附图中相同的符号表示相同的元件。

图1是实施方式1的机器学习***的概要图。

图2是在实施方式1的机器学习***中使用的生产指示信息的一例。

图3是在实施方式1的机器学习***中使用的设定文件的记述内容的一例。

图4是说明实施方式1的机器学习***的预处理的图。

图5是说明实施方式1的机器学习***的动作的流程图。

具体实施方式

为了说明的明确化，以下的记载和附图被适当地省略和简化。此外，作为进行各种处理的功能块，在附图中记载的各要素在硬件上可以由CPU(Central Processing Unit)、存储器、其他电路构成，在软件上可以通过加载到存储器中的程序等来实现。因此，本领域技术人员可以理解的是，这些功能块可以仅通过硬件、仅通过软件、或者通过它们的组合以各种形式实现，并不限定于任一种。此外，在各附图中，对于相同的要素标示相同的符号，根据需要省略重复说明。

此外，上述程序包括指令组(或软件代码)，用于该指令组在被读入到计算机中时使计算机执行在实施方式中说明的一个以上的功能。程序可以存储在非临时计算机可读介质或有实体的存储介质中。作为示例而非限制，计算机可读介质或有实体的存储介质包括random-access memory(RAM)、read-only memory(ROM)、闪存、solid-state drive(SSD)或其它存储技术、CD-ROM、digital versatile disc(DVD)、Blu-ray(注册商标)盘或其它光盘存储、盒式磁带、磁带、磁盘存储或其它磁性存储设备。程序可以在临时计算机可读介质或通信介质上传输。作为示例而非限制，临时计算机可读介质或通信介质包括电、光、声或其它形式的传播信号。

实施方式1

首先，图1表示实施方式1的机器学习***1的概要图。如图1所示，实施方式1的机器学习***1具有通过使用学习模型的人工智能进行产品的良好与否判断的检查装置10。然后，在机器学习***1中，作为设为检查对象的产品，使实际生产的良好与否判断对象物与在检查中使用的学习模型尚未被生成的学习对象物在同一生产线中流动，对良好与否判断对象物进行良好与否判断，与此同时针对学习对象物，收集在学习模型的生成中使用的学习用数据。

详细地说明实施方式1的机器学习***1。如图1所示，实施方式1的机器学习***1具有检查装置10、拍摄部(例如摄像机20)、生产指示服务器30。在此，检查装置10、摄像机20、生产指示服务器30在图1中记载为分离的位置的独立的结构，但这些装置也可以作为一个装置安装。此外，关于生产指示服务器30，大多是经由通信线路与检查装置10进行信息的发送接收的结构。摄像机20拍摄在生产线中流动的产品而取得产品图像。而且，在该产品中包含良好与否判断对象物和学习对象物。

检查装置10具有预处理部11、设定文件保存部12、图像保存部13、学习模型保存部14、检查处理部15、显示部16、学习模型生成部17。在此，设定文件保存部12、图像保存部13、学习模型保存部14例如是计算机的硬盘、SSD(Solid State Drive)等存储装置。此外，预处理部11、检查处理部15、显示部16、学习模型生成部17可以通过由计算机的计算部执行的程序来实现。此外，例如，学习模型生成部17可以配置在云服务器上。

预处理部11针对产品图像，根据表示产品的检查对象部位的位置及范围的设定文件而切出检查对象部位的图像来生成检查对象部位图像，并将生成的检查对象部位图像保存在图像保存部13中。在此，设定文件预先由作业者生成并保存在设定文件保存部12中。此外，更具体而言，预处理部11从生产指示服务器30读入生产指示信息并从设定文件保存部12读入与在该生产指示信息中记述的产品信息对应的设定文件。

在此，详细说明生产指示信息和设定文件。此外，在以下的说明中，对作为产品将车辆或车辆的构成部件作为检查对象产品的示例进行说明。此外，生产指示信息和设定文件都是作业者预先生成并保存在生产指示服务器30和设定文件保存部12中的。

首先，图2表示在实施方式1的机器学习***中使用的生产指示信息的一例。图2所示的示例涉及涂色为白色的车型E1。如图2所示，生产指示信息针对每个产品(例如车型)设置，生产指示服务器30根据生产线的流动，将此时应该检查的车型的生产指示信息适当地发送到预处理部11。在图2所示的示例中，生产指示信息将车型和涂色作为车型信息，车型信息记述与该车型相关的产品规格。在该产品规格中，记述了组装在产品上的部件的有无、部件的种类。在实施方式1的机器学习***1中，将在产品规格中记述的部位作为检查对象部位，针对每个检查对象部位进行良好与否判断。此外，在实施方式1的机器学习***1中，在生产指示信息中表示检查指示标识。该检查指示标识针对每个检查对象部位表示检查对象、未学习中的任一个状态。

接着，图3表示在实施方式1的机器学习***中使用的设定文件的记述内容的一例。图3所示的示例表示与图2所示的车型E1对应的设定文件的一部分。如图3所示，在设定文件中，针对每个检查对象部位，记述用于从预处理部11取得的产品图像切出包含检查对象部位的区域的裁剪坐标、表示保存了学习模型的场所的学习模型路径、保存预处理部11通过切出处理生成的检查对象部位图像的图像保存路径。

在此，参照图4，说明预处理部11中的预处理。因此，图4表示说明实施方式1的机器学习***的预处理的图。在图4所示的示例中，预处理部11根据设定文件针对摄像机20取得的产品图像实施切出处理。如图4所示，预处理部11根据在设定文件中记载的裁剪坐标，生成包含徽标等检查对象部位的部分的切出图像作为检查对象部位图像。然后，预处理部11将生成的检查对象部位图像保存在设定文件中记述的图像保存路径中。

以徽标为例，预处理部11从图3的设定文件所示的裁剪坐标中切出包含徽标的区域的范围，生成徽标的检查对象部位图像。然后，检查处理部15针对良好与否判断对象物的检查对象部位图像，实施应用了人工智能的良好与否判断处理，所述良好与否判断对象物通过记述了产品规格的生产指示信息而被表示为良好与否判断对象。更具体而言，检查处理部15针对在图像保存部13中保存的每个检查对象部位选择学习模型，通过使用了选择的学习模型的人工智能来判断检查对象部位是否与生产指示信息表示的规格一致。显示部16向作业者显示基于检查处理部15的检查结果，显示用于作业者操作检查装置10的用户界面。

此外，检查处理部15在由预处理部11生成了检查对象部位图像的情况下，针对全部的检查对象部位图像进行检查，但针对学习对象物，跳过检查。由此，防止原本正确的产品由于生产指示信息与检查结果的错误的不一致结果而被判断为不良品。

学习模型生成部17从图像保存部13读出在生产指示信息中作为学习对象的检查对象部位图像，将读出的检查对象部位图像作为输入并通过将生产指示信息作为监督数据的机器学习，生成能够判别学习对象的检查对象部位图像的学习模型。由此，应用了学习模型生成部17生成的学习模型的人工智能在输入了学习对象的检查对象部位图像的情况下，能够输出由生产指示信息表示的部位的规格。此外，学习模型生成部17将生成的学习模型保存在设定文件中记述的学习模型保存路径(例如，学习模型保存部14中的存储区域)中。

接着，说明实施方式1的机器学习***1的动作。图5是表示实施方式1的机器学习***1的动作的流程图。此外，在图5中，作为设为检查对象的产品，示出了实际生产的良好与否判断对象物、在检查中使用的学习模型尚未生成的学习对象物在同一生产线中流动时的机器学习***1的动作。此外，在图5所示的机器学习***1的动作中，示出了对良好与否判断对象物进行良好与否判断，与此同时针对学习对象物，收集用于生成学习模型的学习用数据，并使用收集的学习用数据进行学习的情况。但是，关于使用了学习用数据的学习处理，也可以在与机器学习***1的检查装置10不同的装置中进行。

如图5所示，在实施方式1的机器学习***1中，首先，检查装置10读入从生产指示服务器30发送来的生产指示信息(步骤S10)。此外，在机器学习***1中，预处理部11、检查处理部15和学习模型生成部17分别读入生产指示信息。

接着，预处理部11读入在设定文件保存部12中保存的设定文件(步骤S11)。然后，预处理部11使用摄像机20拍摄产品图像(步骤S12)，读入与在步骤S10中读入的生产指示信息中记载的车型对应的设定文件，生成从拍摄的产品图像中切出检查对象部位的检查对象部位图像。此外，预处理部11将生成的检查对象部位图像保存在图像保存部13中(步骤S13)。

该步骤S10～S13的处理在使用了检查装置10的检查处理及学习用数据收集处理中共通地进行。也就是说，在机器学习***1中，预处理部11共通地用于检查和学习数据的收集。

接着，在实施方式1的机器学习***1中，检查处理部15读入在图像保存部13中保存的检查对象部位图像，并执行检查。此时，检查处理部15参照在步骤S10中读入的生产指示信息，参照读入的检查对象部位图像的检查指示标识，如果检查指示标识为检查则进行检查处理，如果为未学习则不实施检查处理而读入下一个检查对象部位图像。也就是说，检查处理部15判断读入的检查对象部位图像是否为良好与否判断对象的部件，如果该判断为真，则实施检查处理，如果该判断为否，则不实施检查(步骤S14)。

在步骤S14中为是的分支之后的检查处理中，检查处理部15参照由设定文件指定的学习模型保存路径，使用读出的学习模型，对检查对象部位图像进行AI检查(步骤S15)。此外，检查处理部15针对在一个产品图像中包含的全部的检查对象部位图像进行检查处理，然后输出检查结果。然后，在检查处理部15中，在生产指示信息与检查结果一致的情况下，判断为检查的产品是良品(步骤S16中为是的分支)，针对在生产指示信息中记载的每个车型、部件以及规格，在由设定文件的保存路径指定的场所保存图像(步骤S17)。在该步骤S17中保存的图像作为生产日志被保存。此外，在步骤S16中，在生产指示信息和检查结果不一致的情况下(步骤S16中为否的分支)，检查处理部15在显示部16中发出产生了不良品的警告之后(步骤S18)，保存用于生产日志的图像(步骤S17)。

另一方面，在步骤S14中为否的分支之后的处理中，进行学习处理。在学习处理中，学习模型生成部17判断是否是学习执行定时(步骤S19)。在实施方式1的机器学习***1中，在预先设定的周期(例如，六个月到一年的周期)、或者在由作业者、***指定的定时，学习模型生成部17执行学习模型的生成和学习模型的再学习。然后，在学习模型生成部17判断为是规定的学习定时的情况下(步骤S19中为是的分支)，学习模型生成部17将生产指示信息作为监督数据并将在由设定文件的保存路径指定的场所保存的检查对象部位图像作为输入，生成学习模型(步骤S20)。此外，学习模型生成部17针对车型与检查对象部位的每个组合，生成学习模型。

然后，在步骤S19中判断为还不是学习执行定时的情况下(步骤S19中为否的分支)，在步骤S20的处理之后，再次从步骤S10进行用于下一个的检查产品的处理。

根据上述说明，在实施方式1的机器学习***1中，通过使用在产品的检查中使用的检查装置10的预处理部11进行在学习模型的生成中使用的学习用数据的收集，不需要为了学习用数据的生成而另外准备***，能够使***结构简单。

此外，在实施方式1的机器学习***1中，通过使学习对象的部件与检查对象产品一起在检查对象产品流动的生产线上流动而能够收集学习用数据，所以不需要另外设置用于收集学习用数据的生产线，所以能够使***结构简单。此外，在实施方式1的机器学习***1中，通过在实际生产的生产线中流动作为学习对象的产品来收集学习用数据而能够在实际的检查和学习状态之间使图像取得条件一致，因此能够生成部件检测精度高的学习模型。

此外，在实施方式1的机器学习***1中，由于能够使用预处理部11通过计算机处理来实施从产品图像切出检查对象部位图像，所以作业者不需要通过手工作业生成学习用数据的检查对象部位图像，能够使学习用数据的收集高效化。

此外，在实施方式1的机器学习***1中，由于能够仅通过光学摄像机作为拍摄部来实施检查对象部位的检查，所以能够防止设置多个种类的传感器等***结构的复杂化。

以上，根据实施方式具体地说明了本发明人完成的发明，但本发明不限于上述的实施方式，在不脱离其主旨的范围内可以进行各种变更是不言自明的。

Claims (9)

1.一种机器学习***，具有：

拍摄部，拍摄产品而取得产品图像；

预处理部，针对所述产品图像，根据表示所述产品的检查对象部位的位置及范围的设定文件而切出所述检查对象部位的图像来生成检查对象部位图像，并将生成的检查对象部位图像保存在图像保存部中；

检查处理部，针对良好与否判断对象物的所述检查对象部位图像，实施应用了人工智能的良好与否判断处理，所述良好与否判断对象物通过记述了所述产品的规格的生产指示信息而被表示为良好与否判断对象，

关于在所述图像保存部中保存的所述检查对象部位图像，在其为与通过所述生产指示信息而被指定为不是良好与否判断对象的学习对象物的产品相关的所述检查对象部位图像的情况下，被累积在所述图像保存部中，作为在所述人工智能中应用的学习模型的学习用数据。

2.根据权利要求1所述的机器学习***，其中，

还具有学习模型生成部，所述学习模型生成部将所述学习用数据作为输入并将与学习对象物相关的所述生产指示信息作为监督数据，生成在所述学习对象物的良好与否判断中使用的所述学习模型。

3.根据权利要求2所述的机器学习***，其中，

所述学习模型针对每个所述检查对象部位被设置，

在所述生产指示信息中，包含针对每个所述检查对象部位而表示检查对象、未学习中的任一个状态的检查指示标识，

在所述检查处理部中，

读入在所述图像保存部中新追加的所述检查对象部位图像，读入与所述检查对象部位对应的所述学习模型，实施所述良好与否判断处理，

针对在所述生产指示信息中检查指示标识成为未学习的部位，跳过所述良好与否判断处理。

4.根据权利要求1至3中任一项所述的机器学习***，其中，

所述预处理部将所述检查对象部位图像与所述生产指示信息建立关联地保存在所述图像保存部中。

5.根据权利要求1至4中任一项所述的机器学习***，其中，

所述预处理部根据所述生产指示信息从设定文件保存部读入与所述产品对应的设定文件，将所述检查对象部位图像保存在所述设定文件中记述的文件路径中。

6.根据权利要求1至5中任一项所述的机器学习***，其中，

所述产品为车辆、或车辆的一部分。

7.根据权利要求1至6中任一项所述的机器学习***，其中，

所述机器学习***被设定为，在生产线中针对所述产品实施良好与否判断处理。

8.一种学习数据收集方法，是学习数据的收集方法，使用在生产线中实施产品的良好与否判断处理的检查装置，所述学习数据被用于在人工智能中应用的学习模型的生成，所述学习数据收集方法实施以下的处理：

拍摄处理，拍摄在生产线中流动的产品而取得产品图像；

预处理，针对所述产品图像，根据表示所述产品的检查对象部位的位置及范围的设定文件而切出所述检查对象部位的图像来生成检查对象部位图像，并将生成的检查对象部位图像保存在图像保存部中；

检查处理，针对良好与否判断对象物的所述检查对象部位图像，实施应用了人工智能的良好与否判断处理，所述良好与否判断对象物通过记述了所述产品的规格的生产指示信息而被表示为良好与否判断对象，

关于在所述图像保存部中保存的所述检查对象部位图像，在其为与通过所述生产指示信息而被指定为不是良好与否判断对象的学习对象物的产品相关的所述检查对象部位图像的情况下，被累积在所述图像保存部中，作为所述学习模型的学习用数据。

9.一种存储介质，存储学习数据收集程序，所述学习数据收集程序被设置在检查装置内的计算部执行并实施学习数据的收集，所述检查装置在生产线中实施产品的良好与否判断处理，所述学习数据被用于使用所述检查装置在人工智能中应用的学习模型的生成，所述学习数据收集程序包含：

拍摄处理，拍摄在生产线中流动的产品而取得产品图像；

预处理，针对所述产品图像，根据表示所述产品的检查对象部位的位置及范围的设定文件而切出所述检查对象部位的图像来生成检查对象部位图像，并将生成的检查对象部位图像保存在图像保存部中；

检查处理，针对良好与否判断对象物的所述检查对象部位图像，实施应用了人工智能的良好与否判断处理，所述良好与否判断对象物通过记述了所述产品的规格的生产指示信息而被表示为良好与否判断对象，

关于在所述图像保存部中保存的所述检查对象部位图像，在其为与通过所述生产指示信息而被指定为不是良好与否判断对象的学习对象物的产品相关的所述检查对象部位图像的情况下，被累积在所述图像保存部中，作为所述学习模型的学习用数据。

Images