CN117063061A - 对象物个数检查用学习模型生成方法及程序 - Google Patents

对象物个数检查用学习模型生成方法及程序 Download PDF

Info

Publication number
CN117063061A
CN117063061A CN202180095962.8A CN202180095962A CN117063061A CN 117063061 A CN117063061 A CN 117063061A CN 202180095962 A CN202180095962 A CN 202180095962A CN 117063061 A CN117063061 A CN 117063061A
Authority
CN
China
Prior art keywords
container
learning model
image data
objects
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180095962.8A
Other languages
English (en)
Inventor
驹池国宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Publication of CN117063061A publication Critical patent/CN117063061A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M11/00—Counting of objects distributed at random, e.g. on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

学习模型生成方法是用于进行自动检查被收容在容器内的对象物的个数的处理的被用于机器学习的学习模型的生成方法。所述方法使所述学习模型的生成装置执行如下步骤：输入以图像表示所述容器及对象物的形状的模型数据的步骤；通过利用所述模型数据，生成多个随意配置有多个对象物的单位配置体，并且将所述单位配置体随意配置在与所述容器对应的容器区域内，来生成以任意的密集度收容着所述对象物的所述容器的形状图像数据的步骤；以及，对所述形状图像数据施加赋予实际的所述容器及所述对象物的质感的处理，生成在构建所述学习模型时所使用的教师图像数据的步骤。

Description

对象物个数检查用学习模型生成方法及程序
技术领域
本发明涉及用于进行自动检查对象物个数的处理的被用于机器学习的学习模型的生成方法以及生成程序。
背景技术
在通过机器人等进行拾取收容在盘(容器)中的元件(对象物)等时，有时会进行确认收容在该盘中的元件的个数的检查，或者进行确认是否有所需个数的元件收容在容器中的检查。此情况下，有时会采用如下的方法：拍摄收容有元件的盘，并且通过图像识别处理而自动地确定所述盘内的元件个数。为了可靠地进行所述图像识别，可考虑将多个收容有元件的盘的图像作为教师图像数据来进行机器学习，生成检查用的学习模型。
专利文献1中公开了如下的技术：以实际拍摄到收容有元件的盘的实际图像为基础，生成元件的位置、朝向等不同的多个教师图像数据，并进行机器学习。然而，各元件未必清晰地可被识别地映现在实际图像中。例如，在通过边缘提取处理来对元件进行图像识别的情况下，若相应的边缘不清晰或者元件彼此重叠，会降低识别性能。因此，即使利用以实际图像为基础而生成的教师图像数据来进行机器学习，有时也不能够得到可靠的学习模型。
现有技术文献
专利文献
专利文献1：日本专利公开公报特开2020-126414号
发明内容
本发明的目的在于提供一种能够可靠地生成用于进行检查对象物个数的处理的被用于机器学习的学习模型的学习模型生成方法。
本发明一个方面所涉及的对象物个数检查用学习模型生成方法是用于进行自动检查被收容在容器内的对象物的个数的处理的被用于机器学习的学习模型的生成方法，其使所述学习模型的生成装置执行如下步骤：输入以图像表示所述容器及对象物的形状的模型数据的步骤；通过利用所述模型数据，生成多个随意配置有多个对象物的单位配置体，并且将所述单位配置体随意配置在与所述容器对应的容器区域内，来生成以任意的密集度收容着所述对象物的所述容器的形状图像数据的步骤；以及，对所述形状图像数据施加赋予实际的所述容器及所述对象物的质感的处理，生成在构建所述学习模型时所使用的教师图像数据的步骤。
本发明另一个方面所涉及的对象物个数检查用学习模型生成程序是用于使指定的学习模型生成装置生成用于进行自动检查被收容在容器内的对象物的个数的处理的被用于机器学习的学习模型的程序，其使所述学习模型生成装置执行如下步骤：受理以图像表示所述容器及对象物的形状的模型数据的输入的步骤；通过利用所述模型数据，生成多个随意配置有多个对象物的单位配置体，并且将所述单位配置体随意配置在与所述容器对应的容器区域内，来生成以任意的密集度收容着所述对象物的所述容器的形状图像数据的步骤；以及，对所述形状图像数据施加赋予实际的所述容器及所述对象物的质感的处理，生成在构建所述学习模型时所使用的教师图像数据的步骤。
附图说明
图1是表示适用本发明涉及的学习模型生成方法的第1实施方式所涉及的个数自动检查***的构成的方块图。
图2是表示教师图像数据生成部的功能构成的方块图。
图3是概略表示第1实施方式的教师图像数据生成处理的流程图。
图4是表示教师图像数据生成处理的实施状况的示意图。
图5的(A)、(B)是表示图3的阶段1中的单位配置体的生成状况的图。
图6的(A)、(B)是表示单位配置体生成时所进行的自由落下处理的图。
图7的(A)至(E)是表示图3的阶段2中对混合区域的单位配置体的配置处理的实施状况的图。
图8是表示对混合区域的单位配置体的配置处理的其它的例子的图。
图9的(A)至(C)是表示图3的阶段3中的混合区域在容器区域的配置处理的实施状况的图。
图10的(A)至(E)是表示教师图像数据的具体例的图。
图11是表示第1实施方式的教师图像数据生成处理的流程图。
图12是表示第2实施方式所涉及的个数自动检查***的构成的方块图。
图13的(A)及(B)是表示合成教师图像与实际图像的类似度的判定状况的图。
图14是表示第3实施方式所涉及的教师图像数据生成处理的实施状况的示意图。
图15的(A)及(B)是表示第4实施方式中的单位配置体的配置处理的实施状况的图。
图16是表示第4实施方式的教师图像数据生成处理的流程图。
图17的(A)至(E)是用于说明根据实际图像生成教师图像数据时的不良情况的图。
具体实施方式
以下，根据附图详细说明本发明所涉及的对象物个数检查用学习模型生成方法的实施方式。本发明中所生成的学习模型在由指定的处理装置通过图像识别处理而自动地执行如下检查时被使用，该检查为把握收容于容器的对象物数量(个数)的检查或者在容器中是否收容有所需个数的对象物的检查等。通过将以多种多样的配置形态收容于容器的对象物的图像作为教师图像数据进行机器学习，生成个数检查用学习模型。在本发明中，作为教师图像并不是使用收容了对象物的容器的实际的图像(实际图像)，而是使用基于CAD数据等形状图像数据而生成的合成图像。
关于本发明的检查对象物并没有特别的限制，作为所拍摄的图像中的个体，只要是能够识别的物体，便可以成为检查对象物。关于容器也没有特别的限制，只要是能够***需数量的对象物且具有能够摄像到所收容的所有的对象物的开口的容器便可。作为对象物，可以例示：机械部件或电子元件等部件；小尺寸的成品；谷物、果实、蔬菜、根菜等农产物；加工食品等。作为容器，可以例示：上面开口的收容箱、上面开口的盘、上面开口的平盘、上面开口的储存箱等。
[第1实施方式/个数自动检查***的构成]
图1是表示适用本发明所涉及的学习模型生成方法的第1实施方式所涉及的个数自动检查***1的构成的方块图。此处，例示进行把握被收容在元件盘等容器T中的元件C(对象物)的个数的检查的个数自动检查***1。在检查后，容器T的元件C例如被机械手拾取。
个数自动检查***1具备学习模型生成装置10、检查摄像机14、检查处理部15及检查显示部16。学习模型生成装置10将以各种各样的配置形态收容了元件C的容器T的合成图像用作教师图像数据，并且执行基于指定的机器学习算法的学习，生成学习模型。检查摄像机14拍摄收容了成为个数检查的对象的元件C的容器T的实际图像。
检查处理部15将学习模型生成装置10所生成的学习模型适用到检查摄像机14所拍摄的实际图像，检测该实际图像中被收容于容器T的元件C的个数。检查处理部15包含图像处理部151及个数识别部152。图像处理部151对检查摄像机14所拍摄的实际图像数据实施对比度或亮度的校正处理、噪音去除处理、放大或缩小处理、边缘强调处理、修剪处理等必要的图像处理。在不实施特别的图像处理的情况下，可以省略图像处理部151。个数识别部152将所述学习模型适用到进行了图像处理后的所述实际图像数据，检测该实际图像数据中被识别为元件C的个数。检查显示部16显示检查处理部15所识别的元件C的个数或者基于所述个数的合格与否判定结果等。
学习模型生成装置10具备教师图像数据生成部11、学习处理部12及学习模型存储部13。教师图像数据生成部11通过图像合成来生成成为学习素材的多种多样的教师图像数据。学习处理部12利用教师图像数据生成部11所生成的多个教师图像数据，通过机器学习算法执行有教师学习，生成学习模型。作为机器学习算法，能够使用作为利用了神经网络的机器学习的CNN(Convolution Neural Network(卷积神经网络))等深度学习。学习模型存储部13存储学习处理部12所生成的学习模型。
图2是表示教师图像数据生成部11的功能构成的方块图。教师图像数据生成部11包含处理装置2、数据输入部26、操作部27及显示部28。例如，处理装置2是个人电脑的主体部，操作部27及显示部28是所述个人电脑的键盘及显视器。安装于所述个人电脑的软件相当于本发明所涉及的对象物个数检查用学习模型生成程序。
数据输入部26将由图像表示的被生成合成图像的元件C及容器T的三维形状的模型数据输入处理装置2。例如数据输入部26是生成三维CAD数据的其它的计算机装置或者是存储所述三维CAD数据的服务器装置等。操作部27在生成成为教师图像数据的合成图像时，从操作人员受理对处理装置2必要的操作。显示部28进行显示所生成的合成图像等。
处理装置2功能性地具备约束区域设定部21、单位配置体生成部22、元件配置图像生成部23、渲染部24及数据存储部25。约束区域设定部21生成成为收容由模型数据生成的任意数量的元件C的单位区域的约束区域。单位配置体生成部22通过物理模拟而执行让任意数量的元件C自由落下到所述约束区域的处理。基于该处理而生成在所述约束区域内随意地配置有任意数量的元件C的单位配置体3(图4)。
元件配置图像生成部23通过在与容器T对应的容器区域内随意配置单位配置体3，生成以任意的密集度收容着元件C的容器T的形状图像数据。渲染部24生成施加了对所述形状图像数据赋予实际的容器T及元件C的质感的处理的合成图像。该合成图像的数据成为学习处理部12构建学习模型时所使用的教师图像数据。数据存储部25将表示所述形状图像数据中的元件C各自的配置的信息作为表示存在于所述教师图像数据的元件C的配置的真实数据(true data)来存储。
[教师图像数据生成的整体流程]
图3是概略表示第1实施方式的教师图像数据生成处理的流程图，图4是表示所述教师图像数据生成处理的实施状况的示意图。本实施方式的教师图像数据生成处理进行：多个单位配置体3的生成处理(阶段1)、多个单位配置体3的在混合区域4的配置处理(阶段2)、以及在混合区域4的容器区域的配置及质感赋予处理亦即对教师图像5的完成处理(阶段3)这三个阶段的处理。
在阶段1生成的单位配置体3包含：以三维CAD数据生成的元件CA；以及限制其配置区域的约束区域31。在阶段1中，生成由任意数量的元件CA以不同的形态配置的多个单位配置体3。具体而言，生成约束区域31的尺寸、元件CA的配置个数、以及元件CA的配置方向不同的多个单位配置体3。但是，约束区域31被设定为比与容器T对应的容器区域TA小的尺寸。
在图4中，类型A至D的4种单位配置体3A至3D分别被例示了多个。类型A的单位配置体3A在具有指定尺寸的约束区域31A随机地配置有2个元件CA。类型B的单位配置体3B在与类型A同尺寸的约束区域31A随机地配置有3个元件CA。也就是说，单位配置体3B以比单位配置体3A高的密集度配置元件CA。类型C的单位配置体3C在比约束区域31A大的约束区域31B随机地配置有4个元件CA。类型D的单位配置体3D在比约束区域31B更大的约束区域31C随机地配置有5个元件CA。
在阶段2中，将在阶段1所生成的单位配置体3随意组合并配置于混合区域4，创建元件CA的配置的多样性。混合区域4等于或小于容器区域TA，被设定为比约束区域31大的尺寸。在单位配置体3A至3D中，生成在混合区域4内的单位配置体3的配置数量、配置位置、配置方向、疏密状态等不同的多个混合区域4。
在图4中，例示了配置模式A至C的3种混合区域4A至4C。在配置模式A的混合区域4A中，通过组合类型A、B的单位配置体3A、3B而形成元件CA的配置模式。在配置模式B的混合区域4B中，通过组合类型A、B、C的单位配置体3A、3B、3C而形成元件CA的配置模式。在配置模式C的混合区域4C中，通过组合类型B、C、D的单位配置体3B、3C、3D而形成元件CA的配置模式。通过采用这样的混合区域4的形成方法，不仅能够生成元件CA在混合区域4内均匀地分散配置的合成图像数据，而且还能够生成元件CA偏置配置的合成图像数据。因此，能够生成以多种多样的密集度或者疏密程度配置有元件CA的合成图像数据。
在阶段3中，将在阶段2所生成的混合区域4以任意的方向配置在容器区域TA内的任意的位置，生成形状图像数据。而且，对所述形状图像数据实施渲染处理，赋予与实际的元件C及容器T匹配的质感。通过阶段3的处理，生成教师图像5的数据。该教师图像5的数据包含与拍摄收容了元件C的容器T而得的实际图像毫不逊色的图像。
在图4中，例示了2种教师图像5A、5B。教师图像5A是将配置模式A的混合区域4A靠容器区域TA的左上地配置而生成的形状图像数据，是通过渲染处理而被赋予质感的图像。教师图像5B是对将配置模式B的混合区域4B靠容器区域TA的右下地配置而生成的形状图像数据实施了渲染处理而得的图像。包含在所述形状图像数据中的元件CA在教师图像5A、5B中被加工为具有实际的质感的元件CAR。容器区域TA也被赋予了实际的容器T所具有的质感。
[在各阶段中的处理的详细情况]
以下，说明上述的阶段1至3中所执行的处理的具体例。在进行这些处理时，使用物理模拟器。
＜阶段1＞
图5的(A)、(B)是表示图3的阶段1中的单位配置体3的生成状况的图。约束区域31在物理模拟器上作为约束容器32来表示。约束容器32具有XY方向的4个侧边321和相对于侧边321而被配置在下侧的底壁322以及侧边321与底壁322之间的锥形部323。约束区域31的XY方向的尺寸例如能够以下式自动设定或手动设定。
X＝元件CA的长边方向尺寸×扩张系数β
Y＝元件CA的短边方向尺寸×元件CA的个数×扩张系数β
上式的扩张系数β成为设定约束区域31中的每一单位面积的元件CA的密集度的系数。扩张系数β例如能够以0.1的刻度设定在1.0至2.0的范围。元件CA反映了实际的元件C的公差。此外，在正方形的元件CA的情况下，可以通过将扩张系数β乘以一个边的尺寸来决定XY方向的尺寸。此外，在圆形的元件CA的情况下，可以通过将扩张系数β乘以直径的尺寸来决定XY方向的尺寸。
单位配置体3通过在约束区域31内随意配置任意数量的元件CA而被生成。作为该随意配置的方法，在本实施方式中，基于物理模拟而采用使任意数量的元件CA自由落下到约束区域31(约束容器32)内的方法。利用自由落下来形成元件CA的配置状态是为了防止元件CA形成违背物理现象那样的配置状态。但是，通过设定约束区域31，来限制自由落下后的元件CA的无秩序的滚动，随意配置元件CA的范围被限制在约束区域31内。因此，容易生成每一单位面积的元件CA的配置密度相同而配置姿势不同的单位配置体3的组(例如图4的单位配置体3A的组)或容易生成配置密度不同并且配置姿势不同的单位配置体3的组(例如单位配置体3A和3B的组)。此外，由于单位配置体3的框体被定型化，因此易于进行此后的往混合区域4的配置。
若使具有一定高度、姿势的元件CA自由落下到约束容器32，元件CA会在约束容器32内成为各种各样的姿势。图5的(A)是使2个元件CA自由落下到约束容器32的例子。在该例子中，2个元件CA收容在约束容器32的底壁322上。图5的(B)是使3个元件CA自由落下到相同尺寸的约束容器32的例子。在该例子中，一部分的元件CA靠在锥形部323上，成为不自然的状态。自然落下后，在物理模拟器上约束容器32被去除。
图5的(A)及(B)的右图表示了去除了约束容器32后的约束区域31内的元件CA的配置。包含在该约束区域31内的多个元件CA成为一个单位配置体3的元件组。在图5的(A)的约束区域31中，在约束容器32的去除前后，元件CA的姿势没有变更。另一方面，在图5的(B)的约束区域31中，在约束容器32的去除前后，一部分的元件CA的姿势发生了变化。这样，元件姿势有时会发生变化，因此，在约束容器32的去除后，将指定的时间设定为待机时间，以等待元件CA的位置及姿势的变动成为稳定。在经过所述待机时间后，以约束区域31的中心作为在该单位配置体3的元件组中心GC，并且将各元件CA的相对于该元件组中心GC的相对位置及姿势的数据存储。
图6的(A)、(B)是表示元件CA的自由落下的执行例的示意图。多个元件CA之间的开始该多个元件CA相对于一个约束容器32的自由落下时的状态可以是相同，也可以是不相同。图6的(A)表示了使二个元件C11、C12从同一高度的相同位置以同一转动状态及姿势自由落下的例子。元件C11、C12的所述转动是绕Z轴的转动，所述姿势是绕X轴及/或Y轴的转动。
图6的(A)的(A1)图所示的元件C11从比约束容器32(约束区域31)的平面高度亦即基准高度h0高Δh1的落下开始高度h1，沿着相对于元件组中心GC向铅锤上方延伸的落下轴R自由落下。对于元件C11，以该元件C11的长边方向沿X轴的方式赋予绕Z轴的转动，而不赋予绕X轴及Y轴的转动。(A2)图所示的元件C12从与元件C11相同的落下开始高度h1，以相同的转动及姿势沿着落下轴R自由落下。在约束容器32上，元件C12成为落在元件C11上的状态。
图6的(B)表示了使二个元件C13、C14从相同的落下开始高度但不同的位置，以不同的姿势自由落下的例子。图6的(B)的(B1)图所示的元件C13从相对于落下轴R偏移的位置，以与前述的元件C11相同的转动状态及姿势自由落下到约束容器32。另一方面，(B2)图所示的元件C14不同于元件C13而以绕Y轴转动的姿势，从与元件C13不同的位置自由落下到约束容器32。在约束容器32上，元件C13与元件C14成为位置偏移而并排的状态。
如上所述，在本实施方式中，由于采用基于物理模拟的元件CA的自由落下的方法，因此，在生成多个在约束区域31随意配置有任意数量的元件CA的单位配置体3时，元件配置状态难以发生特定的偏差。因此，能够生成在约束区域31内成为各种各样的配置姿势的单位配置体3，能够生成具有元件CA的多种多样的密集度或疏密程度的形状图像数据。
＜阶段2＞
图7的(A)至(E)是表示图3的阶段2中对混合区域4的单位配置体3的配置处理的实施状况的图。在物理模拟器上，混合区域4被设定为等于或小于容器区域TA。混合区域4的尺寸例如能够以下式自动设定。
混合区域4的尺寸＝容器区域TA的尺寸×缩小系数α
缩小系数α是用于将混合区域4设定为能够在容器区域TA内配置多个单位配置体3的尺寸的系数。例如，在容器区域TA为具有XY的边的矩形区域的情况下，混合区域4被设定为具有将缩小系数α乘以所述XY的边长而得的XY的边长的尺寸。缩小系数α能够设定在例如0.8至1.0的范围。
在阶段1所生成的多个单位配置体3随意配置在混合区域4内。在图7的(A)中表示了4个单位配置体3配置在混合区域4内的例子。这4个单位配置体3分别被称作元件组G1、G2、G3、G4。元件组G1至G4的配置以元件组中心GC为基准而被决定。首先，随意决定元件组G1的元件组中心GC在混合区域4内的配置坐标并且使之绕元件组中心GC随意转动，从而决定元件组G1的配置。元件组G1的配置被设定为不让元件CA从混合区域4突出。但是，作为元件组G1的配置框体的约束区域31可以从混合区域4突出。
接着，元件组G2被配置到混合区域4内。与上述同样，随意设定元件组G2的元件组中心GC在混合区域4内的配置坐标和转动。此后，进行确认元件组G2的元件CA与在先配置的元件组G1的元件CA是否干涉的干涉检查。关于单位配置体3，如图5的(B)所例示的那样，假定元件CA彼此的干涉配置，因此，在对混合区域4的单位配置体3的配置阶段中，为了使处理简洁化而设为不产生元件组G1至G4彼此的干涉的配置。
所述干涉检查的结果，如果未发生干涉，接着，元件组G3被配置到混合区域4内。接着，在所述干涉检查之后，元件组G4被配置到混合区域4内。在图7的(A)中表示了元件组G1至G4的元件CA彼此互不干涉地被配置的例子。此外，约束区域31彼此也可以互不干涉。
图7的(B)表示了配置在混合区域4内的元件组G1至G4的元件CA的一部分产生了干涉的例子。具体而言，元件组G3与元件组G4的元件CA彼此产生了重叠。在产生了这样的干涉的情况下，进行下述(a)或(b)的变更处理。
(a)进行使元件组G3和元件组G4中的任一者的元件组中心GC的配置坐标移动的处理，或者使之绕元件组中心GC转动的处理，以能够避免干涉。
(b)取消元件组G3或元件组G4的元件组中心GC的配置坐标，进行设定新的配置坐标及转动的处理。
图7的(C)表示了上述(a)的变更处理的例子，通过使元件组G3的配置坐标向右斜上方移动，来避免元件组G3和元件组G4的干涉。也可以替代图7的(C)的例子，而使元件组G4的配置坐标移动，或者使元件组G3或元件组G4绕元件组中心GC转动，以避免所述干涉。图7的(D)表示了上述(b)的变更处理的例子。取消在图7的(B)所设定的元件组G3的配置坐标，设定新的元件组G3的配置坐标及转动。当然，也可以取消元件组G4的配置坐标，设定新的元件组G4的配置坐标及转动。基于以上的步骤，能够在维持着在阶段1所生成的元件组G1至G4各自的元件配置关系的情况下，在混合区域4内多种多样地配置元件CA。
接着，如图7的(E)所示，进行在数据上去除在混合区域4未配置有元件CA的区域的处理。由此，能够提高被配置在混合区域4内的元件组G1至G4的对容器区域TA的配置自由度。在图7的(E)中表示了将能够包围元件组G1至G4的最小矩形区域(最外形状)设定为混合元件组区域41并且删除位于该区域41外侧的区域的例子。此外，去除位于最外形状的外侧的区域的处理的形态并不限于设定最小矩形区域，可以采用任意的去除方法。此外，也可以省略去除作业自身而直接使用混合区域4。
此后，存储混合元件组区域41内的元件组G1至G4的配置状态。具体而言，以混合元件组区域41的中心坐标亦即混合元件组中心MGC作为基准坐标，将元件组G1至G4的各元件组中心GC的配置坐标和转角存储于存储装置。所存储的数据是表示以混合元件组中心MGC为基准的x方向及y方向的坐标值、以及元件组中心GC的绕z轴的转角θ的“xn，yn，θn”的值。
图8是表示对混合区域4的单位配置体3的配置处理的其它例子的图。在图7的(A)至(E)的例子中表示了将混合区域4的整个区域用作单位配置体3的可配置区域的例子。也可以取代此，在图8中，表示了在混合区域4内设定有不配置单位配置体3的不可配置区域42的例子。在该例子的情况下，为了不仅避免单位配置体3的元件CA彼此的干涉而且还避免元件CA与不可配置区域42的干涉，而将单位配置体3配置在混合区域4内的可配置区域。在实际的元件C的补充作业中，还假定元件C偏向于容器T的边缘附近而被配置的情况。不可配置区域42的设定有助于假定了这样的配置的教师图像数据的生成。
＜阶段3＞
在阶段3，执行将在阶段2所生成的混合元件组区域41或混合区域4配置在容器区域TA内的处理。图9的(A)至(C)是表示混合元件组区域41在容器区域TA的配置处理的实施状况的图。混合元件组区域41通过随意设定混合元件组中心MGC的配置坐标(xn，yn)和绕混合元件组中心MGC轴的转角(θn)而被配置于容器区域TA。但是，配置坐标的设定范围是容器区域TA与混合元件组区域41的差分的范围。
图9的(A)是混合元件组区域41靠容器区域TA的左上地被配置的例子。图9的(B)是混合元件组区域41靠容器区域TA的右下地被配置的例子。在容器区域TA中设定有侧壁区域TAW和实际让元件载置的底壁区域TAB。图9的(A)及(B)的混合元件组区域41均收容在底壁区域TAB内，是满足了配置要求的例子(配置OK)。
另一方面，图9的(C)是不满足配置要求的例子(配置NG)。混合元件组区域41的混合元件组中心MGC的配置坐标是容器区域TA的中心。然而，在图9的(C)的例子中，由于相对于图9的(A)的混合元件组区域41而绕中心MGC轴往顺时针方向转动了90度，因此，元件组G1及G4来到了侧壁区域TAW。在成为这样的配置的情况下，执行变更混合元件组区域41的转角或者重新设定混合元件组中心MGC的配置坐标及转角的处理。
在阶段3，接着执行基于渲染(rendering)来对容器区域TA及元件CA赋予质感的处理。在该处理中，较为理想的是采用基于物理的渲染工具(physically based renderingtool)。渲染处理的一个是拍摄配置有元件CA的容器区域TA的光学***的设定。该摄像光学***的设定假定由检查摄像机14(图1)拍摄实际配置有元件C的容器区域TA的情形来进行。也就是说，设定假定了检查摄像机14的虚拟摄像机、及假定了检查室环境的虚拟照明。
关于虚拟摄像机，设定有曝光(光圈、快门速度及ISO灵敏度)、景深、视角、摄像机配置角等参数。在由实际的检查摄像机14进行摄像的情况下，假定以下的情形：拍摄对焦度不同的图像或拍摄方向变动的图像等，不能够获取一致的图像。因此，针对上述参数中被预料发生变动而对画质产生影响的参数设定偏差范围。但是，这只不过是在切合了物理现象的范围的偏差值。由此，能够覆盖有可能由检查摄像机14获取的图像，生成符合实际情况的教师图像数据。
关于虚拟照明，设定有所使用的照明的类型、亮度、色调、照明方向、检查室的反射条件等参数。照明条件也因种种因素而有可能变动。例如，基于作业人员经过检查摄像机14的摄像位置附近时的影子，会使照明条件暂时性地变动。因此，针对上述参数中被预料发生变动的参数设定偏差范围。
渲染处理的另一个是元件CA及容器区域TA的材质设定。例如，在实际的元件C为金属螺栓的情况下，进行基于金属光泽、螺纹部分的凹凸而产生的反射感、粗糙感等参数的设定。关于元件CA也进行设定实际的容器T的材质、颜色、表面光泽等参数。这些材质的设定也成为元件CA及容器区域TA的质感调整。此外，由于实际的元件C及容器T的质感存在偏差，因此对材质参数设定偏差范围。
如上所述，当元件CA及容器区域TA的渲染设定完毕时，执行基于物理的渲染而生成教师图像5，并存储该教师图像数据。图10的(A)至(E)是表示教师图像5的具体例的图。使元件数量或配置状态不同来生成多个由合成图像构成的教师图像5，该合成图像中在被赋予了质感的容器区域TA的底壁区域TAB载置有被赋予了质感的多个元件CAR。
图10的(A)是元件CAR均匀地配置于容器区域TA的底壁区域TAB的合成图像。图10的(B)是元件CAR沿着侧壁区域TAW配置的合成图像。图10的(C)是元件CAR密集地配置在底壁区域TAB的大约半个面的合成图像。图10的(D)及(E)是一对元件CAR密接地配置在底壁区域TAB的合成图像。由于在生成单位配置体3及混合区域4并且使元件配置多样化的基础上执行基于物理的渲染，因此，能够生成切合物理现象且元件配置富于变化的教师图像5。
[教师图像数据生成处理的流程]
图11是表示图2所示的教师图像数据生成部11所执行的第1实施方式所涉及的教师图像数据生成处理的流程图。教师图像数据生成部11的处理装置2从数据输入部26受理模型数据的输入(步骤S1)，该模型数据以图像表示生成成为教师图像5的合成图像的各种元件C及容器T的三维形状。所述模型数据例如以CAD文件的形式输入处理装置2。
接着，单位配置体生成部22选择构成由物理模拟器生成的单位配置体3(图4)的元件CA的类别及个数(步骤S2)。另一方面，约束区域设定部21如上述那样利用所选择的元件CA的长边及短边方向尺寸以及扩张系数β，设定具备所需的XY方向的尺寸的约束区域31。而且，约束区域设定部21根据该约束区域31，在物理模拟器上生成约束容器32(图5)(步骤S3)。
其次，单位配置体生成部22对在步骤S3所生成的约束容器32设定在步骤S2所选择的元件CA的自由落下条件(步骤S4)。所设定的是元件CA的自由落下开始位置及元件姿势。自由落下开始位置由表示XY平面上的位置的XY坐标位置和与落下开始高度h1(图6的(A))相当的Z坐标位置而被设定。元件姿势由绕XYZ的各轴的转角而被设定。此后，单位配置体生成部22通过物理模拟并且以所设定的自由落下条件而使个数分量的元件CA自由落下到约束容器32内(步骤S5)。
在自由落下的元件CA的姿势稳定后，单位配置体生成部22进行约束容器32的去除处理，而且在所述去除处理后，等待指定的待机时间过去。在元件CA已没有变动的时刻，一个单位配置体3的生成完毕。此后，单位配置体生成部22将相对于所生成的单位配置体3的元件组中心GC的各元件CA的相对的XY位置坐标及绕各轴的转角的数据存储于数据存储部25(步骤S6)。上述那样的单位配置体3的生成处理被执行与所需的单位配置体3的个数相当的次数。
其次，元件配置图像生成部23设定配置到混合区域4(图4)的单位配置体3及其个数(步骤S7)。此后，元件配置图像生成部23在物理模拟器上设定混合区域4(步骤S8)。混合区域4的尺寸如上述那样利用容器区域TA的尺寸和缩小系数α而被设定。
接着，元件配置图像生成部23如图7所例示的那样执行将单位配置体3以任意的位置及转角配置到混合区域4的处理(步骤S9)。在进行该处理时，元件配置图像生成部23进行与各单位配置体3对应的元件组G1至G4彼此的干涉检查。在产生所述干涉的情况下，元件配置图像生成部23执行让元件组G1至G4中的任一者移动或重新配置(图7的(C)、(D))，以消除该干涉。
此后，元件配置图像生成部23根据各元件的最外形状来判断并去除在混合区域4未配置有元件CA的区域，从而设定混合元件组区域41(图7的(E))(步骤S10)。而且，元件配置图像生成部23以混合元件组中心MGC作为基准坐标，将元件组G1至G4的各元件组中心GC的配置坐标和转角存储于数据存储部25(步骤S11)。
此外，元件配置图像生成部23如图9所例示那样执行将混合元件组区域41随机地配置在容器区域TA内的处理(步骤S12)。元件配置图像生成部23将混合元件组区域41的配置后的混合元件组中心MGC的配置坐标(xn，yn)及绕混合元件组中心MGC轴的转角(θn)存储于数据存储部25。所存储的配置信息成为表示存在于教师图像数据的元件CA的配置的真实数据。元件配置图像生成部23将教师图像数据的识别码与该真实数据相关联并且使之存储于数据存储部25。
接着，渲染部24执行通过基于物理的渲染对容器区域TA及元件CA赋予质感的处理。具体而言，渲染部24进行对拍摄配置有元件CA的容器区域TA的光学***(摄像机及照明)的设定、以及对其的偏差范围的设定(步骤S13)。此外，渲染部24进行对元件CA及容器区域TA的材质的设定、以及对其的偏差范围的设定(步骤S14)。
然后，渲染部24执行基于物理的渲染处理，生成成为教师图像5的合成图像数据(教师图像数据)(步骤S15)。所生成的教师图像数据被存储于数据存储部25(步骤S16)。数据存储部25的教师图像数据根据需要而被提供给学习模型生成装置10。
[第2实施方式]
图12是表示第2实施方式所涉及的个数自动检查***1A的构成的方块图。个数自动检查***1A相比于第1实施方式的个数自动检查***1，在追加了模型更新处理部17这一点有所不同。模型更新处理部17对成为存储于学习模型存储部13的学习模型的生成源的教师图像和在最近的个数检查中由检查摄像机14所拍摄的实际图像进行比较。而且，在两图像的倾向发生偏差的情况下，模型更新处理部17使学习模型生成装置10执行学习模型的更新处理。
基于作业人员(或者机器人)的原因，元件C载置到容器T的倾向有时会有变化。例如，假定先前的作业人员A有将元件C均匀地分散并载置于容器T的作业倾向。另一方面，假定接手该作业的作业人员B有将元件C以密集状态载置于容器T的偏倚位置的作业倾向。即使当前存储于学习模型存储部13的学习模型的个数判定精度在作业人员A进行作业的情况下较高，但是在作业倾向不同的作业人员B进行作业的情况下，该个数判定精度也不一定高。假定这样的现象，模型更新处理部17定期地判定学习模型的精度。
模型更新处理部17功能性地具备图像类似度评价部171及重新学习判定部172。图像类似度评价部171对收容了在个数自动检查时实际上由检查摄像机14所获取的元件C的容器T的实际图像与由教师图像数据生成部11所生成的教师图像5进行比较，评价两者的图像类似度。图像类似度例如能够以模板匹配等方法进行评价，例如能够利用SWD(SlicedWasserstein Distance)进行评价。
重新学习判定部172根据图像类似度评价部171的评价结果，判定学习模型的更新也就是利用教师图像数据的重新学习的必要性。重新学习判定部172在图像类似度低于指定的阈值的情况下，给予学习模型生成装置10指示，以追加生成依照当前所获取的实际图像的倾向的教师图像数据并且更新学习模型。
图13的(A)及(B)是表示合成教师图像和实际图像的类似度的判定状况的图。在图13的(A)中例示了5种合成教师图像T1至T5。合成教师图像T1至T5和例示于图10的(A)至(E)的教师图像相同。图13的(B)的左侧的实际图像AD1中，元件C比较分散地被收容于容器T。另一方面，右侧的实际图像AD2中，元件C密集在中央附近地被收容于容器T。
合成教师图像T1至T5中相对于实际图像AD1类似度最高的是合成教师图像T1，类似度次高的是合成教师图像T2。对此，合成教师图像T3、T4、T5相对于实际图像AD1类似度低。另一方面，相对于实际图像AD2类似度最高的是合成教师图像T3，类似度次高的是合成教师图像T4、T5。对此，合成教师图像T1、T2相对于实际图像AD2类似度低。
在实际的个数检查中所获取的图像为实际图像AD1的倾向的情况下，如果更多地学习合成教师图像T1、T2所示那样的元件分散型教师图像，能够提高学习模型的性能。相反，在所获取的图像为实际图像AD2的倾向的情况下，如果更多地学习合成教师图像T3至T5所示那样的密集型教师图像，能够提高学习模型的性能。
例如，在检查摄像机14所拍摄的图像的倾向为从实际图像AD1变化到实际图像AD2的情况下，模型更新处理部17给予学习模型生成装置10指示，以生成多个依照合成教师图像T3至T5尤其是T3的倾向的合成图像的种类且进行重新学习，并且更新学习模型。根据以上的第2实施方式，在实际进行元件个数的自动检查的过程中，当发生了教师图像数据与实际图像相差悬殊的倾向那样的情况时，能够按照实际情况更新学习模型提高其性能。
[第3实施方式]
图14是表示第3实施方式所涉及的教师图像数据生成处理的实施状况的示意图。在第3实施方式中表示了夹杂了本来的元件CA以外的异物而生成教师图像数据的例子。由此，个数自动检查***1不仅能够进行个数检查而且还能够附加有无异物检查功能。
在第3实施方式中，在图3的阶段1的阶段，模仿实际的异物以三维数据生成的异物61与单位配置体3一起由教师图像数据生成部11生成。作为异物61较为理想的是在收容单位配置体3的元件CA的容器T中生成实际有可能混入的其它类别的元件。在图14中表示了通过物理模拟器生成多个包含一个异物61的异物块6的例子。
在阶段2的对混合区域4的配置步骤中，还将异物块6与多个单位配置体3一起配置。在图14中表示了在混合区域4内不仅配置有2种类的单位配置体3A、3B而且还配置有2个异物块6的例子。
在接着的阶段3中，将包含异物块6的混合区域4随意配置在容器区域TA，生成形状图像数据。而且，通过对该形状图像数据实施渲染而执行赋予质感的处理，生成教师图像5。在教师图像5中，由于对异物61赋予了作为模型的实际的异物所具有的质感，因此元件CA及异物61作为分别具有质感的元件CAR及异物61R而被表示。
若预先生成收容有异物61R的教师图像5，则在由检查摄像机14获取的检查图像中含有预想的异物时，检查处理部15便能够识别到所述异物混入了容器T。因此，能够检查到在元件C中混入有异物的容器，让其不会流到下一阶段的工序。
[第4实施方式]
在第4实施方式中表示了简化实施渲染处理前的形状图像数据的生成处理的例子。在第1实施方式中表示了将让元件CA自由落下而生成的单位配置体3随意配置于混合区域4并且将此随意配置于容器区域TA而生成形状图像数据的例子。对此，在第4实施方式中表示了通过使元件CA直接自由落下到容器区域TA来生成形状图像数据的例子。
图15是表示第4实施方式中的单位配置体3的配置处理的实施状况的图。在第1实施方式中，通过约束容器32约束了自由落下的元件CA的配置范围。作为其替代，在第4实施方式中，通过限制自由落下开始位置来约束元件CA的配置范围。如图15的(A)所示，将开始元件C11及C12的自由落下的落下开始高度h2设定在相对于自由落下面32A的基准高度h0高Δh2的高度(能够维持对象物的任意位置状态的落下开始高度)上。
落下开始高度h2是比图6的(A)所示的落下开始高度h1低的高度(Δh1>Δh2)且是在与自由落下面32A碰撞后不会大幅度扰乱元件C11、C12的配置关系的高度。因此，当预先决定元件C11、C12的配置关系使其自由落下时，能够将元件C11、C12配置在图15的(A)所示的具有配置区域的自由落下面32A的范围内。因此，能够将自由落下面32A作为单位配置体3来处理。此外，由于能够在一定程度上维持自由落下前的元件C11、C12的配置关系，因此能够省略对混合区域4的配置步骤，即使直接自由落下到容器区域TA，也能够生成一定程度元件密集度的多种多样的形状图像数据。
图15的(B)是表示使元件组C31、C32、C33、C34直接自由落下到容器区域TA的例子的图。元件组C31至C34的元件配置关系在自由落下前被预先决定，在物理模拟器上从与上述的落下开始高度h2相当的高度位置自由落下。自由落下后的元件组C31至C34的元件配置关系基本上维持自由落下前的元件配置关系。基于该自由落下处理，生成多个元件随意配置在容器区域TA的形状图像数据。此后，对该形状图像数据实施图3的阶段3的质感赋予处理，生成教师图像数据。
图16是表示第4实施方式的教师图像数据生成处理的流程图。在本实施方式中也由图2所示的教师图像数据生成部11生成教师图像数据。处理装置2从数据输入部26受理以图像表示生成成为教师图像5的合成图像的各种元件C及容器T的三维形状的模型数据的输入(步骤S21)。接着，单位配置体生成部22选择构成以物理模拟器生成的元件组C31至C34的元件的类别及个数(步骤S22)。
其次，单位配置体生成部22设定在步骤S22所选择的元件组C31至C34的自由落下条件(步骤S23)。所设定的是元件组C31至C34的自由落下开始位置及元件姿势。自由落下开始位置由表示XY平面上的位置的XY坐标位置和与落下开始高度h2相当的Z坐标位置而被设定。元件姿势由绕XYZ的各轴的转角而被设定。
此后，单位配置体生成部22通过物理模拟并且以所设定的自由落下条件使元件组C31至C34自由落下到容器区域TA(步骤S24)。在自由落下的元件组C31至C34的姿势稳定后，将构成元件组C31至C34的各元件的XY位置坐标及绕各轴的转角的数据存储于数据存储部25(步骤S25)。
此后，渲染部24执行通过基于物理的渲染对容器区域TA及元件组C31至C34赋予质感的处理(步骤S26至S28)。所执行的渲染处理由于与在图11的步骤S13至S15所说明的处理相同，因此省略其说明。所生成的教师图像数据被存储于数据存储部25(步骤S29)。
[作用效果]
根据以上所说明的实施方式，利用由模型数据生成的容器区域TA及元件CA，生成图9的(A)、(B)所示那样的模拟的形状图像数据。所述形状图像数据通过将多个单位配置体3配置于混合区域4并且将混合元件组区域41随意配置在容器区域TA内而被生成。由于单位配置体3自身通过随意配置多个元件CA而被生成，因此能够容易地合成元件CA的密集度或疏密多种多样的形状图像数据(第1实施方式)。此外，若如第4实施方式那样使元件组C31至C34直接自由落下到容器区域TA，则即使元件配置的种类略有降低，也能够简易地合成形状图像数据。而且，通过对所述形状图像数据施加赋予实际的容器T及元件C的质感的处理来生成教师图像5的数据。由此，能够得到与实际拍摄收容有元件C的容器T而得的实际图像毫不逊色的教师图像数据。因此，能够提高利用该教师图像数据进行机器学习而生成的学习模型的性能。
此外，由于不是根据实际图像来生成教师图像，而是从最初便通过图像合成来生成教师图像，因此能够生成更适合于学习的教师图像数据。图17是用于说明根据实际图像来生成教师图像数据时的不良情况的图。在根据实际图像来生成教师图像的情况下，需要以所获取的二维实际图像为基础进行图像合成。当然，也可以获取大量的实际图像并且将此作为教师图像，但是在摄像时需要庞大的劳力和时间。
为了根据二维图像来识别元件等对象物，便需要边缘提取等图像处理。图17的(A)表示了从某实际图像抽出的螺栓型对象物。在该被抽出的图像中，清晰地识别到对象物的原始形状的边缘。然而，在从二维实际图像抽出了对象物和其背景的图像中，许多情况下无法明确地识别到对象物的边缘。图17的(B)是对象物的边缘不清晰的例子，图17的(C)是边缘欠缺的例子。此外，若对象物彼此叠合或者接近，则会识别到与对象物的原始形状不同的形状。图17的(D)是对象物彼此重叠时被识别的边缘的例子，图17的(E)是对象物彼此相邻时被识别的边缘的例子。对此，若如上述实施方式那样，在三维合成图像的情况下，不仅在对象物以单体配置的情况下，而且在多个对象物以重叠或相邻的状态配置的情况下，也能够明确地把握到其配置关系。因此，根据本实施方式，能够生成与表示对象物的配置的真实数据正确地对应的教师图像数据。
[上述实施方式包括的发明]
本发明一个方面所涉及的对象物个数检查用学习模型生成方法是用于进行自动检查被收容在容器内的对象物的个数的处理的被用于机器学习的学习模型的生成方法，其使所述学习模型的生成装置执行如下步骤：输入以图像表示所述容器及对象物的形状的模型数据的步骤；通过利用所述模型数据，生成多个随意配置有多个对象物的单位配置体，并且将所述单位配置体随意配置在与所述容器对应的容器区域内，来生成以任意的密集度收容着所述对象物的所述容器的形状图像数据的步骤；以及，对所述形状图像数据施加赋予实际的所述容器及所述对象物的质感的处理，生成在构建所述学习模型时所使用的教师图像数据的步骤。
本发明另一个方面所涉及的对象物个数检查用学习模型生成程序是用于使指定的学习模型生成装置生成用于进行自动检查被收容在容器内的对象物的个数的处理的被用于机器学习的学习模型的程序，其使所述学习模型生成装置执行如下步骤：受理以图像表示所述容器及对象物的形状的模型数据的输入的步骤；通过利用所述模型数据，生成多个随意配置有多个对象物的单位配置体，并且将所述单位配置体随意配置在与所述容器对应的容器区域内，来生成以任意的密集度收容着所述对象物的所述容器的形状图像数据的步骤；以及，对所述形状图像数据施加赋予实际的所述容器及所述对象物的质感的处理，生成在构建所述学习模型时所使用的教师图像数据的步骤。
根据该学习模型生成方法或学习模型生成程序，利用容器及对象物的模型数据，生成模拟的形状图像数据。该形状图像数据通过将多个单位配置体随意配置在容器区域内而被生成。由于所述单位配置体自身通过随意配置多个对象物而被生成，因此能够容易地合成所述对象物的密集度或疏密多种多样的形状图像数据。而且，通过对所述形状图像数据施加赋予实际的所述容器及所述对象物的质感的处理来生成教师图像数据。由此，能够得到与实际拍摄收容有对象物的容器而得的实际图像毫不逊色的教师图像数据。因此，能够提高利用该教师图像数据进行机器学习而生成的学习模型的性能。
在上述的学习模型生成方法中，较为理想的是通过预先设定比所述容器区域小的约束区域，并且将任意数量的所述对象物随意配置在所述约束区域内，来生成所述单位配置体。
根据该学习模型生成方法，由于单位配置体的范围基于约束区域而被定型化，因此易于进行此后的往容器区域内的所述单位配置体的配置。
在上述的学习模型生成方法中，较为理想的是基于物理模拟，通过使所述任意数量的对象物自由落下到所述约束区域内，来将该对象物随意配置在所述约束区域内。
根据该学习模型生成方法，由于利用基于物理模拟的自由落下，因此在任意数量的对象物的往所述约束区域内的随意配置中，难以发生特定的偏离。因此，能够生成在约束区域内成为各种各样的配置姿势的单位配置体，能够生成具有对象物的多种多样的密集度或疏密程度的形状图像数据。
在上述的学习模型生成方法中，较为理想的是生成所述形状图像数据的步骤包含：设定等于或小于所述容器区域且大于所述约束区域的混合区域，并且将所述多个单位配置体随意配置在所述混合区域内的步骤；以及，将配置有所述单位配置体的所述混合区域以任意的方向配置在所述容器区域内的任意的位置的步骤。
根据该学习模型生成方法，在将多个单位配置体随意配置在混合区域内之后，进一步将该混合区域随意配置在容器区域内。因此，能够生成对象物分散在容器内的配置或偏倚的配置的形状图像数据等，能够生成更具有对象物的多种多样的密集度或疏密程度的形状图像数据。
在上述的学习模型生成方法中，基于物理模拟，通过使所述多个单位配置体从能够维持所述对象物的随意配置状态的落下开始位置自由落下到所述容器区域内，能够将所述单位配置体随意配置在容器区域内。
根据该学习模型生成方法，在维持对象物的随意配置状态的情况下，直接将所述单位配置体随意配置在容器区域内。因此，能够简化形状图像数据的生成。
在上述的学习模型生成方法中，较为理想的是将表示所述形状图像数据中的所述对象物各自的配置的信息作为表示存在于所述教师图像数据的所述对象物的配置的真实数据来处理，使所述教师图像数据与所述真实数据相关联地存储于所述学习模型的生成装置所具备的存储装置。
根据该学习模型生成方法，与基于实际图像导出真实数据的情形相比，能够正确地将教师图像数据中的对象物的配置与所述真实数据相关联。
在上述的学习模型生成方法中，较为理想的是赋予所述质感的处理包含所述对象物及所述容器的摄像光学***的设定及其偏差范围的设定、以及所述对象物及所述容器的材质及其偏差范围的设定，并且通过基于物理的渲染(physically based rendering)而被执行。
根据该学习模型生成方法，能够将与实际的个数检查的状况对应的质感赋予所述对象物及所述容器。因此，能够生成更接近实际图像的教师图像数据。
在上述的学习模型生成方法中，较为理想的是将在所述对象物的个数的自动检查时实际获取的收容有所述对象物的容器的实际图像和所述教师图像数据进行对比，在两者的类似度低于指定的阈值的情况下，追加生成依照所述实际图像的倾向的教师图像数据并且更新所述学习模型。
根据该学习模型生成方法，在实际进行所述对象物的个数的自动检查的过程中，当发生了教师图像数据与实际图像相差悬殊的倾向那样的情况时，能够按照实际情况更新学习模型提高其性能。
在上述的学习模型生成方法中，较为理想的是生成所述形状图像数据的步骤包含将所述对象物以外的异物配置在所述容器区域内的步骤。
根据该学习模型生成方法，生成包含异物的形状图像数据。因此，学习模型不仅能够适用于个数检查，而且还能够适用于有无异物的检查。
根据以上所说明的本发明，能够提供一种能够可靠地生成用于进行检查对象物个数的处理的被用于机器学习的学习模型的学习模型生成方法、以及学习模型生成程序。

Claims (10)

1.一种对象物个数检查用学习模型生成方法，是用于进行自动检查被收容在容器内的对象物的个数的处理的被用于机器学习的学习模型的生成方法，其特征在于使所述学习模型的生成装置执行如下步骤：
输入以图像表示所述容器及对象物的形状的模型数据的步骤；
通过利用所述模型数据，生成多个随意配置有多个对象物的单位配置体，并且将所述单位配置体随意配置在与所述容器对应的容器区域内，来生成以任意的密集度收容着所述对象物的所述容器的形状图像数据的步骤；以及，
对所述形状图像数据施加赋予实际的所述容器及所述对象物的质感的处理，生成在构建所述学习模型时所使用的教师图像数据的步骤。
2.根据权利要求1所述的对象物个数检查用学习模型生成方法，其特征在于，
通过预先设定比所述容器区域小的约束区域，并且将任意数量的所述对象物随意配置在所述约束区域内，来生成所述单位配置体。
3.根据权利要求2所述的对象物个数检查用学习模型生成方法，其特征在于，
基于物理模拟，通过使所述任意数量的对象物自由落下到所述约束区域内，来将该对象物随意配置在所述约束区域内。
4.根据权利要求2或3所述的对象物个数检查用学习模型生成方法，其特征在于，
生成所述形状图像数据的步骤包含：
设定等于或小于所述容器区域且大于所述约束区域的混合区域，并且将所述多个单位配置体随意配置在所述混合区域内的步骤；以及，
将配置有所述单位配置体的所述混合区域以任意的方向配置在所述容器区域内的任意的位置的步骤。
5.根据权利要求1所述的对象物个数检查用学习模型生成方法，其特征在于，
基于物理模拟，通过使所述多个单位配置体从能够维持所述对象物的随意配置状态的落下开始位置自由落下到所述容器区域内，来将所述单位配置体随意配置在容器区域内。
6.根据权利要求1至5中任一项所述的对象物个数检查用学习模型生成方法，其特征在于，
将表示所述形状图像数据中的所述对象物各自的配置的信息作为表示存在于所述教师图像数据的所述对象物的配置的真实数据来处理，
使所述教师图像数据与所述真实数据相关联地存储于所述学习模型的生成装置所具备的存储装置。
7.根据权利要求1至6中任一项所述的对象物个数检查用学习模型生成方法，其特征在于，
赋予所述质感的处理包含所述对象物及所述容器的摄像光学***的设定及其偏差范围的设定、以及所述对象物及所述容器的材质及其偏差范围的设定，并且通过基于物理的渲染而被执行。
8.根据权利要求1至7中任一项所述的对象物个数检查用学习模型生成方法，其特征在于，
将在所述对象物的个数的自动检查时实际获取的收容有所述对象物的容器的实际图像和所述教师图像数据进行对比，
在两者的类似度低于指定的阈值的情况下，追加生成依照所述实际图像的倾向的教师图像数据并且更新所述学习模型。
9.根据权利要求1至8中任一项所述的对象物个数检查用学习模型生成方法，其特征在于，
生成所述形状图像数据的步骤包含将所述对象物以外的异物配置在所述容器区域内的步骤。
10.一种对象物个数检查用学习模型生成程序，是用于使指定的学习模型生成装置生成用于进行自动检查被收容在容器内的对象物的个数的处理的被用于机器学习的学习模型的程序，其特征在于使所述学习模型生成装置执行如下步骤：
受理以图像表示所述容器及对象物的形状的模型数据的输入的步骤；
通过利用所述模型数据，生成多个随意配置有多个对象物的单位配置体，并且将所述单位配置体随意配置在与所述容器对应的容器区域内，来生成以任意的密集度收容着所述对象物的所述容器的形状图像数据的步骤；以及，
对所述形状图像数据施加赋予实际的所述容器及所述对象物的质感的处理，生成在构建所述学习模型时所使用的教师图像数据的步骤。
CN202180095962.8A 2021-03-29 2021-03-29 对象物个数检查用学习模型生成方法及程序 Pending CN117063061A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/013359 WO2022208623A1 (ja) 2021-03-29 2021-03-29 対象物員数検査用の学習モデル生成方法及びプログラム

Publications (1)

Publication Number Publication Date
CN117063061A true CN117063061A (zh) 2023-11-14

Family

ID=83455786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180095962.8A Pending CN117063061A (zh) 2021-03-29 2021-03-29 对象物个数检查用学习模型生成方法及程序

Country Status (5)

Country Link
US (1) US20240153253A1 (zh)
JP (1) JP7481575B2 (zh)
CN (1) CN117063061A (zh)
DE (1) DE112021007085T5 (zh)
WO (1) WO2022208623A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111630519B (zh) 2018-02-14 2024-05-24 株式会社石田 检查装置
JP7017462B2 (ja) 2018-04-26 2022-02-08 株式会社神戸製鋼所 学習画像生成装置及び学習画像生成方法、並びに画像認識装置及び画像認識方法
JP2019200533A (ja) 2018-05-15 2019-11-21 パナソニックＩｐマネジメント株式会社 計数装置、会計システム、学習装置、及び、制御方法
US10853943B2 (en) 2018-07-31 2020-12-01 Element Ai Inc. Counting objects in images based on approximate locations
JP7300699B2 (ja) 2018-11-12 2023-06-30 株式会社イシダ 教師データ生成方法、教師データ生成プログラム、教師データ生成装置、及び商品識別装置
JP6703679B1 (ja) 2019-02-01 2020-06-03 株式会社計数技研 計数装置、学習器製造装置、計数方法、学習器製造方法、及びプログラム
JP7200713B2 (ja) 2019-02-04 2023-01-10 株式会社島津製作所 機械学習用教師データ作成支援方法、及び機械学習用教師データ作成支援プログラム

Also Published As

Publication number Publication date
DE112021007085T5 (de) 2023-12-14
US20240153253A1 (en) 2024-05-09
JPWO2022208623A1 (zh) 2022-10-06
WO2022208623A1 (ja) 2022-10-06
JP7481575B2 (ja) 2024-05-10

Similar Documents

Publication Publication Date Title
EP3575742B1 (en) A 3d object scanning using structured light
US20210012524A1 (en) Learning dataset creation method and device
CN107680125A (zh) 在视觉***中自动选择三维对准算法的***和方法
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
EP1658579A1 (en) Computer-vision system for classification and spatial localization of bounded 3d-objects
JP2001256483A (ja) 物体認識装置
JPWO2020144784A1 (ja) 画像処理装置、作業ロボット、基板検査装置および検体検査装置
JP6233824B1 (ja) 画像検査装置、生産システム、画像検査方法、プログラム及び記憶媒体
CN108931536A (zh) 用于评估涂覆表面质量的方法和装置
JPWO2008069191A1 (ja) ウエーハ収納カセット検査装置及び方法
JP2006308372A (ja) 外観検査装置及び外観検査方法
CN114651276A (zh) 制造方法
EP1946332A2 (en) A method and a system for creating a reference image using unknown quality patterns
CN117063061A (zh) 对象物个数检查用学习模型生成方法及程序
JP5476943B2 (ja) 姿勢認識方法およびこの方法を用いた３次元視覚センサ
WO2021255819A1 (ja) 画像処理方法、形状検査方法、画像処理システム及び形状検査システム
CN114005007A (zh) 基于深度学习的图像扩充方法和装置、存储介质和计算机
WO2006131701A1 (en) Comparison of patterns
JP3713156B2 (ja) テンプレートの作成方法
EP3986197B1 (en) Gemstone planning
WO2017108074A1 (en) An identification method and apparatus of the most probable poses of an object
WO2022153743A1 (ja) 判定システム、判定方法及びプログラム
KR101190869B1 (ko) 칩 마운터용 전자 부품 인식 장치 및 이를 사용한 전자부품 인식 방법
JPH0241789B2 (zh)
JP2008004843A (ja) 部品位置決め方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination