CN113196337B - 图像处理装置、作业机器人、基板检查装置及检体检查装置 - Google Patents

Abstract

图像处理装置具备：存储部，存储将对象物具有的多个特征点的特征量及三维的位置信息建立了对应的三维形状模型；提取处理部，从由相机拍摄到的对象物的二维图像提取特征点的特征量及二维的位置信息；及识别处理部，通过使用特征量来进行二维图像的特征点与三维形状模型的特征点的匹配，而确定二维图像的特征点的三维的位置信息并识别对象物的位置及姿势。

Description

图像处理装置、作业机器人、基板检查装置及检体检查装置

技术领域

本说明书公开图像处理装置、作业机器人、基板检查装置及检体检查装置。

背景技术

以往，作为图像处理装置，提出了取得对象物的二维图像(平面图像)的图像数据并基于该图像数据来检测三维空间中的对象物的位置及姿势的图像处理装置(例如，参照专利文献1)。在该装置中，预先准备对象物的各面的模板图像，从取得的图像数据中包含的对象物的图像检测可视面并分别读入与各可视面对应的模板图像，生成针对每个模板图像配合图像数据的视线方向变更视线方向而得到的变换图像数据。并且，图像处理装置计算图像数据与变换图像数据的一致度，基于一致度超过阈值而被设为有效的面中的可靠性最高的面来求出对象物的位置及姿势。

现有技术文献

专利文献1：日本特开2012-185752号公报

发明内容

发明所要解决的课题

在上述图像处理装置中，关于存在于拍摄到的图像数据的可视面的全部点实施使用了变换矩阵的变换处理来生成变换图像数据。因此，图像处理装置的处理负担变大，有时识别位置和姿势会花费时间。

本公开的主要目的在于抑制处理负担并高精度地识别对象物的位置和姿势。

用于解决课题的手段

本公开为了达成上述的主要目的而采用了以下的手段。

本公开的图像处理装置的主旨在于，具备：存储部，存储将对象物的多个特征点的特征量及三维的位置信息建立了对应的三维形状模型；提取处理部，从由相机拍摄到的上述对象物的二维图像提取特征点的特征量及二维的位置信息；及识别处理部，通过使用上述特征量来进行上述二维图像的特征点与上述三维形状模型的特征点的匹配，而确定上述二维图像的特征点的三维的位置信息并识别上述对象物的位置及姿势。

本公开的图像处理装置从由相机拍摄到的对象物的二维图像提取特征点的特征量及二维的位置信息，通过使用特征量进行二维图像的特征点与三维形状模型的特征点的匹配而识别对象物的位置及姿势。由此，在识别对象物的位置及姿势时，进行从对象物的二维图像提取出的特征点与三维形状模型的特征点的匹配即可，由于无需进行图像内的全部点的处理，所以能够减轻处理负担。另外，能够使用各特征点的特征量来适当地进行匹配。因此，能够抑制处理负担并高精度地识别对象物的位置和姿势。

附图说明

图1是示出第一实施方式的机器人***10的结构的概略的结构图。

图2是示出准备处理的一例的流程图。

图3是示出图像取得处理的一例的流程图。

图4是示出模型生成处理的一例的流程图。

图5是示出图像取得处理中的多个视点的一例的说明图。

图6是示出多个二维图像Gi的一例的说明图。

图7是示出根据二维图像Gi生成的三维形状模型M的一例的说明图。

图8是示出识别处理的一例的流程图。

图9是示出二维图像Ga的一例的说明图。

图10是示出匹配处理的一例的流程图。

图11是示出匹配处理的情形的一例的说明图。

图12是示出第二实施方式的基板作业线100的结构的概略的结构图。

图13是示出第三实施方式的检体检查装置200的结构的概略的结构图。

具体实施方式

接着，参照附图并对用于实施本公开的方式进行说明。

[第一实施方式]

图1是示出第一实施方式的机器人***10的结构的概略的结构图。另外，图1中的左右方向是X轴方向，前后方向是Y轴方向，上下方向是Z轴方向。如图所示，第一实施方式的机器人***10具备：供给装置12、输送装置14、作业机器人20及控制装置18。供给装置12具备架设于在前后方向(Y轴方向)上分离配置的驱动辊及从动辊的输送带12a，通过驱动辊的旋转驱动，将输送带12a上的机械元件或电子元件等多个工件W从后方向前方供给。输送装置14由输送带构成，沿着与工件W的供给方向正交的方向(X轴方向)输送托盘T，并在中央位置处进行定位保持。控制装置18具备CPU、ROM、RAM、HDD、输入输出端口等，控制供给装置12、输送装置14及作业机器人20的各动作。

作业机器人20具备在前端具备作为作业工具的夹头的垂直多关节的机械手臂22、安装于机械手臂22的前端的相机24及对由相机24拍摄到的图像进行处理的图像处理装置30。作业机器人20通过机械手臂22的工作利用夹头拾取输送带12a上的工件W，并进行向托盘T上放置的作业或向预定部位组装的作业等。相机24为了识别工件W的位置及姿势而拍摄二维图像，并向图像处理装置30输出。图像处理装置30由HDD等构成，具备存储图像处理所需的程序和三维形状模型M等的存储部32，连接有键盘或鼠标等输入装置38和显示器等输出装置39。

接着，说明机器人***10用于识别工件W的位置及姿势的各种处理。首先，说明用于识别的准备处理。图2是示出准备处理的一例的流程图，主要通过图像处理装置30的功能来执行。在该处理中，图像处理装置30执行取得成为基准的工件W的多个二维图像Gi的图像取得处理(S100)，提取多个各二维图像Gi的特征点P(S110)。并且，图像处理装置30执行根据各特征点P而生成三维模型M的模型生成处理(S120)，并结束准备处理。S100的图像取得处理基于图3的流程图而执行，S120的模型生成处理基于图4的流程图而执行。另外，图5是示出图像取得处理中的多个视点的一例的说明图，图6是示出多个二维图像Gi的一例的说明图，图7是示出根据二维图像Gi生成的三维形状模型M的一例的说明图。在本实施方式中，示出简化了形状的立方体形状的工件W。

在图3(S100)的图像取得处理中，图像处理装置30首先以在预定的拍摄区域的中心配置工件W的方式向输出装置39输出指示(S200)。在本实施方式中，设为作业者基于该指示来配置工件W。接着，图像处理装置30通过控制装置18对作业机器人20的控制而使相机24向拍摄区域的中心的视点E0上的预定高度位置移动(S210)，在视点E0上利用相机24拍摄二维图像G0(S220，图5A)。二维图像G0成为从正上方拍摄工件W而得到的图像。接着，图像处理装置30算出二维图像G0中的工件W的中心位置的位置偏差量(S230)，判定位置偏差量是否小于预定量(S240)。另外，由于工件W在S200中被指示向拍摄区域的中心的配置，所以在S220中拍摄到的二维图像G0的图像中心和二维图像G0内的工件W的中心基本上一致。不过，若工件W偏离拍摄区域的中心地配置，则有时位置偏差量成为预定量以上。

图像处理装置30当在S240中判定为位置偏差量为预定量以上时，向输出装置39输出工件W的位置偏差的警告(S250)，等待由作业者重新向拍摄区域的中心配置工件W(S260)。当作业者重新配置了工件W时，使用输入装置38来输入该意思。图像处理装置30当判定为工件W已被重新配置，返回S220并进行处理。另一方面，图像处理装置30当在S240中判定为位置偏差量小于预定量时，通过控制装置18对作业机器人20的控制而使相机24向多个视点Ei上依次水平移动并拍摄多个二维图像Gi(S270)，然后结束图像取得处理。如图5所示，多个视点Ei是视点E0和被确定在以视点E0为中心的矩形区域(例如正方形区域)的各顶点、各边的中点等的视点E1～E8这合计9个视点，各视点E1～E8间的距离预先确定。图5B示出从视点E0上水平移动到视点E1上的相机24拍摄二维图像G1的情形。在二维图像G1中，与二维图像G0不同，工件W的侧面也被拍上。另外，图6示出在各视点E0～E8处分别拍摄到的二维图像G0～G8。如图所示，在不同的视点处取得各种各样的视差的二维图像Gi。另外，本实施方式作为拍摄二维图像Gi的多个视点而例示9个视点，但只要是2个以上的视点即可。另外，只要工件W与相机24相对移动而在多个视点处拍摄二维图像Gi即可，也可以不是相机24移动而是工件W移动。

当这样在S100中取得了二维图像Gi后，图像处理装置30在S110中从各二维图像Gi提取作为关键点的特征点P(特征数据2Di(x，y；f))。图像处理装置30例如根据各二维图像Gi中的各像素的亮度值来求出互相正交的两个方向的亮度分布，将它们的变化量成为预定量以上的点作为特征点P而提取。因此，特征点P容易出现于工件W的顶点、工件W的不同材质的分界点、工件W的不同表面性状的分界点等，容易抑制光的反射和噪声的影响等。在图7中，用圆形标记示出特征点P。如图所示，特征点P的大部分从工件W的顶点提取，但由于光的反射和噪声的影响等，也存在从工件W的面内提取的特征点P。在本实施方式中，使用例如DNN(深度神经网络)等机器学习来进行从各二维图像Gi的特征点P的提取，特征点附近的固有的亮度分布作为各特征点P的特征描述符f(特征量)而输出。图像处理装置30作为各特征点P的特征数据2Di(x，y；f)而提取包含以二维图像Gi内的预定位置为基准的各特征点P的位置坐标(x，y)和各特征点P的特征描述符f的数据。另外，成为位置坐标(x，y)的基准的预定位置能够适当确定为例如二维图像Gi内的成为工件W的正面的中心的位置或成为工件W的重心的位置等。

在图4(S120)的模型生成处理中，图像处理装置30首先对从不同的二维图像Gi提取出的特征点P建立对应(S300)，并且对建立了对应的特征点P在各二维图像Gi中出现的次数即出现数进行计数(S310)。在S300、S310中，图像处理装置30主要基于特征点P的特征描述符f，参照位置坐标(x，y)并对特征点P建立对应，对建立了对应的特征点P的出现数进行计数。在图7中，二维图像G0的工件W正面的四角的特征点P(例如Ps)与二维图像G1～G8的工件W正面的四角的特征点P分别建立对应，在各二维图像G0～G8中出现，因此出现数分别被计数为值9。另外，二维图像G1的工件W侧面中的里侧的2个特征点P(Pt、Pu)与在二维图像G1～G4、G8这5个图像中出现的特征点P(Pt)或在二维图像G1、G2、G6～G8这5个图像中出现的特征点P(Pu)分别建立对应，因此出现数分别被计数为值5。另外，二维图像G4、G5的工件W正面的面内的特征点P均只出现于该图像，不与其他的二维图像Gi的特征点P建立对应，因此出现数分别被计数为值1。如上所述，这样的出现数少的特征点P由于光的反射或噪声的影响等而被提取。

接着，图像处理装置30判定特征点P的出现数是否是预定数以上(S320)，当判定为是预定数以上时，将该特征点P设定为三维形状模型M的登记对象的特征点Pm(S330)，当判定为不是预定数以上时，将该特征点P从三维形状模型M的登记对象排除(S340)。预定数被适当确定为能够排除仅在图7的二维图像G4、G5中出现的特征点P的值。由此，图像处理装置30能够排除光的反射和噪声的影响而适当地设定三维形状模型M的登记对象的特征点Pm。另外，图像处理装置30根据二维图像Gi彼此的视差而算出设定为登记对象的特征点Pm的高度z，并生成三维信息(x，y，z)(S350)。如上所述，各视点Ei之间的距离被确定，另外，相机24拍摄二维图像Gi时的预定高度位置也被确定。因此，图像处理装置30能够通过所谓的立体相机的原理，根据二维图像Gi彼此的视差来算出特征点P的高度z。并且，图像处理装置30判定关于各特征点P的处理是否已完成(S360)，当判定为未完成时，返回S300而反复进行处理。另一方面，图像处理装置30当在S360中判定为各特征点P的处理已完成时，生成由具有三维信息(x，y，z)和特征描述符f的特征点Pm的特征数据3Di(x，y，z；f)构成的三维形状模型M并向存储部32存储(S370，参照图7)，然后结束模型生成处理。这样，图像处理装置30根据多个视点的二维图像Gi来生成三维形状模型M。

接着，说明在机器人***10进行对于工件W的作业时用于识别作为对象物的工件W的位置及姿势的处理。图8是示出识别处理的一例的流程图，主要通过图像处理装置30的功能来执行。当该处理开始后，图像处理装置30首先通过相机24拍摄输送带12a上的作为作业对象的工件W的二维图像Ga(S400)。另外，相机24通过控制装置18的控制而在上述预定高度位置处拍摄。接着，图像处理装置30从二维图像Ga提取工件W的特征点P的特征数据2Di(x，y；f)(S410)。图9是示出二维图像Ga的一例的说明图。在图9的二维图像Ga中，从4个工件W分别提取特征点P(圆形标记)。另外，特征点P除了各工件W的顶点以外，也从正面的面内提取。接着，图像处理装置30执行对二维图像Ga的各特征点P与三维模型M的特征点Pm进行匹配的匹配处理(S420)，然后结束识别处理。S420的匹配处理基于图10的流程图而执行。另外，图11是示出匹配处理的情形的一例的说明图。

在图10(S420)的匹配处理中，图像处理装置30首先对在S410中提取出的二维图像Ga的特征点P和三维形状模型M的特征点Pm进行匹配(S500，参照图11A)。在S500中，图像处理装置30使用上述特征描述符f对二维图像Ga内的任一工件W的各特征点P的特征数据2Di(x，y；f)与三维形状模型M的各特征点Pm的特征数据3Di(x，y，z；f)进行匹配。图像处理装置30通过匹配而选定与二维图像Ga的特征点P相同或相似度更高的三维形状模型M的特征点Pm，并设定各特征点P的粗略位置Pr(x，y，z，Rx，Ry，Rz)(S510)。Rx、Ry、Rz分别表示相对于X轴、Y轴、Z轴的旋转量(旋转角度)。图像处理装置30以使位置坐标的误差、旋转量的误差尽量均等地分散的方式设定粗略位置Pr(x，y，z，Rx，Ry，Rz)。

接着，图像处理装置30基于设定的粗略位置Pr而将三维形状模型M的图像向二维图像Ga上投影(S520，参照图11B)。另外，在图11B中，将投影图像以虚线示出。接着，图像处理装置30以使三维形状模型M的投影图像与二维图像Ga内的工件W的重叠度变大的方式进行位置调整(S530)，将重叠度成为最大的位置(x，y，z，Rx，Ry，Rz)确定为特征点P的三维的位置并识别工件W的位置及姿势(S540)，然后结束匹配处理。图像处理装置30例如在S530、S540中，对投影图像以像素单位进行位置调整并取得着眼像素和与其重叠的像素的亮度差，通过将对该点进行了插值的波形的变化率成为值0的位置以子像素单位进行检测而确定重叠度成为最大的位置。在图11B的例子中，沿着图中的箭头方向调整投影图像的位置。这样，图像处理装置30能够根据二维图像Ga和三维形状模型M来识别工件W的位置及姿势。另外，控制装置18基于识别出的工件W的位置及姿势来控制机械手臂22，因此能够适当地拾取工件W。

在此，明确第一实施方式的构成要素与本公开的构成要素的对应关系。第一实施方式的存储部32相当于存储部，执行图8的识别处理的S410的图像处理装置30相当于提取处理部，执行识别处理的S420的图像处理装置30相当于识别处理部，图像处理装置30相当于图像处理装置。执行图2的准备处理的S120的图像处理装置30相当于生成处理部。执行图3的图像取得处理的S230～S250的图像处理装置30和输出装置39相当于报知部。另外，相机24相当于相机，作业机器人20相当于作业机器人。

在以上说明的第一实施方式的作业机器人20中，图像处理装置30通过由相机24拍摄到的工件W的二维图像Ga的特征点P与三维形状模型M的特征点Pm的匹配来识别工件W的位置及姿势。因此，图像处理装置30无需进行二维图像Ga内的全部点的处理，能够基于特征点P的特征描述符f而适当地进行匹配，因此能够抑制处理负担并高精度地识别工件W的位置和姿势。另外，作业机器人20能够适当地拾取工件W而使作业精度提高。另外，作业机器人20无需具备用于拍摄三维图像的比较大型的相机或比较昂贵的相机。

另外，图像处理装置30即使在无法取得工件W的三维形状数据的情况下，也能够根据工件W的多个二维图像Gi来生成三维形状模型M。另外，图像处理装置30由于在工件W偏离了中心位置的情况下报知警告，所以能够根据视差适当地出现的二维图像Gi而适当地求出特征点P的高度z。另外，图像处理装置30由于排除出现数较少的特征点P来生成三维形状模型M，所以能够减轻匹配的处理负担并使工件W的识别精度进一步提高。另外，图像处理装置30由于以使三维形状模型M的投影图像和二维图像Ga的重叠程度变得更大的方式调整粗略位置Pr，所以能够适当地修正匹配的误差。另外，图像处理装置30能够通过DNN等机器学习而使特征点P的特征描述符f的提取精度提高。

[第二实施方式]

接着，对第二实施方式进行说明。图12是示出第二实施方式的基板作业线100的结构的概略的结构图。基板作业线100具备向基板B印刷作为粘性流体的焊料的印刷装置110、检查印刷状态的印刷检查装置115、向基板B安装元件的安装装置120及检查元件的安装状态的安装检查装置125。各装置连接于未图示的管理装置，基于从管理装置接收到的作业指示来执行各作业，将各作业的执行状况向管理装置发送。另外，各装置除了下述的结构以外，还分别具备输入装置和输出装置。

印刷装置110具备：印刷控制装置111、印刷部112及相机113。印刷部112使用刮刀将焊料向丝网掩模的图案孔压入而向基板B印刷焊料。印刷控制装置111基于由相机113拍摄到的二维图像而以向预定的印刷位置印刷焊料的方式控制印刷部112。印刷检查装置115具备：检查控制装置116、图像处理装置117及相机119。图像处理装置117对由相机119拍摄到的基板B的二维图像进行各种图像处理，具备存储印刷于基板B的焊料的三维形状模型Mb等的存储部118。检查控制装置116基于对由相机119拍摄到的二维图像进行的图像处理装置117的处理结果而检查印刷状态和控制印刷检查装置115的整体。

安装装置120具备：安装控制装置121、安装部122及相机123。安装部122具备具有吸嘴的头，利用吸嘴吸附由未图示的供给单元供给的元件，使头向基板B上移动而向基板B安装元件。安装控制装置121基于由相机123拍摄到的二维图像而以向预定的安装位置安装元件的方式控制安装部122。安装检查装置125具备：检查控制装置126、图像处理装置127及相机129。图像处理装置127对由相机129拍摄到的基板B的二维图像进行各种图像处理，具备存储安装于基板B的元件的三维形状模型Mc等的存储部128。检查控制装置116基于对由相机129拍摄到的二维图像进行的图像处理装置127的处理结果来检查元件的安装状态和控制安装检查装置125的整体。

在该第二实施方式中，例如，将印刷于基板B的焊料等印刷物(结果物)设为对象物，通过印刷检查装置115(基板检查装置)的图像处理装置117执行与上述准备处理和识别处理相同的处理。在准备处理中，图像处理装置117将成为基准的印刷物设为对象物，拍摄多个二维图像Gi，从各二维图像Gi提取印刷物的顶点等特征点P。并且，图像处理装置117生成提取出的各特征点P的特征数据3Di(x，y，z；f)，生成三维形状模型Mb并向存储部118存储。另外，在识别处理中，图像处理装置117拍摄形成有印刷物的基板B的二维图像Ga并提取特征点P，使用特征描述符f对特征点P与三维形状模型Mb的特征点Pm进行匹配，识别印刷物的各顶点位置和姿势等。基于该识别结果，检查控制装置116能够进行印刷于基板B的焊料的高度是否适当、焊料的量(体积)是否适当等印刷状态的检查。即，印刷检查装置115能够根据印刷物的二维图像来进行基板B的立体的印刷状态的检查。

另外，在第二实施方式中，不限于将印刷物设为对象物，也可以设为以下这样。例如，将安装于基板B的元件(结果物)设为对象物，安装检查装置125(基板检查装置)的图像处理装置127执行准备处理并将三维形状模型Mc向存储部128存储。另外，也可以设为，根据基于元件的二维图像Ga与三维形状模型Mc的图像处理装置127的识别处理的结果，检查控制装置126进行安装于基板B的元件的高度是否正常或倾斜程度是否在容许范围内等安装状态的检查。另外，检查控制装置126也能够基于在与三维形状模型Mc的特征点Pm不同的位置是否出现特征点P来检查元件有无瑕疵。或者，也可以是，安装装置120具备图像处理装置，将被供给的元件作为对象物而执行准备处理和识别处理。在这样的安装装置120中，存在将多个元件以零散的状态收容且一边使它们整齐排列一边供给的散装供料器和将多个元件收容于平板状的托盘并供给的托盘供料器等。能够适当地识别从这样的供料器供给的元件的位置和姿势，而适当地拾取(吸附)元件。

[第三实施方式]

接着，对第三实施方式进行说明。图13是示出第三实施方式的检体检查装置200的结构的概略的结构图。检体检查装置200具备：显微镜装置210、图像处理装置230及检查控制装置202。显微镜装置210具备：用于将作为检查对象物的检体的像放大的显微镜部212和内置于显微镜装置210并拍摄放大后的检体的二维图像的相机213。显微镜部212除了载置检体的载台212a和物镜212b以外，虽然图示省略，但还具备使载台212a在水平方向和垂直方向上移动的载台驱动部、使物镜212b进行对焦的对焦部、向检体照射光的照射部、将检体的观察光向相机213引导的光学***等。图像处理装置230对由相机213拍摄到的检体的二维图像进行各种图像处理。另外，图像处理装置230具备存储检体的三维形状模型Md等的存储部232，连接有键盘、鼠标等输入装置238和显示器等输出装置239。检查控制装置202基于对由相机213拍摄到的二维图像进行的图像处理装置230的处理结果来进行检体的检查和控制检体检查装置200的整体。

在该第三实施方式中，例如，将检体中的特定的检查对象设为对象物，通过图像处理装置230执行与上述准备处理和识别处理相同的处理。另外，作为对象物(特定的检查对象)，例如可举出细菌、病毒、蛋白质等，但不限定于此。图像处理装置230拍摄成为基准的对象物的多个二维图像Gi，从各二维图像Gi提取对象物的顶点等特征点P。并且，图像处理装置230生成提取出的各特征点P的特征数据3Di(x，y，z；f)，生成三维形状模型Md并向存储部232存储。另外，在识别处理中，图像处理装置230拍摄检体的二维图像Ga并提取特征点P，使用特征描述符f对特征点P与三维形状模型Md的特征点Pm进行匹配，识别检测物的各顶点位置和姿势等。基于该识别结果，检查控制装置202能够进行检体中的对象物的检测和检查。即，检体检查装置200能够根据检体的二维图像而高精度地进行检体中的三维形状的对象物的检查。另外，在这样的检查中，难以取得对象物的三维CAD数据等，但能够根据多个二维图像Gi而适当地生成三维形状模型Md。

另外，本公开丝毫不限定于上述实施方式，只要属于本公开的技术范围就能够以各种各样的方案来实施，这是不言而喻的。

例如，在上述实施方式中，设为根据多个二维图像Gi来生成三维形状模型M，但不限于此，也可以根据对象物的CAD数据等图纸数据来生成三维形状模型M。另外，不限于图像处理装置30生成三维形状模型M，也可以设为由其他装置制生成的三维形状模型M向存储部32等存储。

在上述实施方式中，设为在拍摄多个二维图像Gi时工件W偏离了中心位置的情况下报知警告，但不限于此，也可以设为不报知这样的警告。不过，为了取得视差适当地出现的二维图像Gi，优选进行报知。

在上述实施方式中，设为排除出现数较少的特征点P来生成三维形状模型M，但不限于此，也可以设为与出现数无关地生成包含提取出的特征点P的三维形状模型M。

在上述实施方式中，设为以使对三维形状模型M进行投影而得到的投影图像与二维图像Ga的重叠程度变得更大的方式调整粗略位置Pr并确定特征点P的三维的位置信息，但不限于此。也可以设为不进行这样的重叠而通过匹配来确定特征点P的位置等。

在上述实施方式中，设为使用DNN等机器学习来提取特征量，但不限于此，只要提取SURF特征量、SIFT特征量等特征点P的特征量即可，不管使用何种手法都行。

在上述第一实施方式中，例示了垂直多关节的作业机器人20，但不限于此，也可以是水平多关节机器人或平行连杆机器人等。另外，不限于将本公开的内容应用于作业机器人、基板检查装置、检体检查装置，也可以应用于机床等其他装置。另外，图像处理装置不限于由这些装置具备，也可以构成为独立的装置。在上述第三实施方式中，例示了将本公开的内容应用于蛋白质等的检测，但不限于此，只要对微米级、纳米级等微小的对象物的图像处理应用即可。另外，也可以对在对这样的微小的对象物进行使用了显微操纵器等的预定操作时的图像处理应用本公开的内容。

在此，本公开的图像处理装置也可以如以下这样构成。例如，在本公开的图像处理装置中，也可以设为，上述提取处理部取得在成为基准的上述对象物配置于预定位置的状态下通过上述相机在多个视点处拍摄到的上述对象物的多个二维图像，从该多个二维图像提取上述特征点的特征量及二维的位置信息，上述图像处理装置具备生成处理部，该生成处理部取得根据上述二维图像间的视差来求出上述特征点的高度信息并生成三维的位置信息，生成将特征量及三维的位置信息与上述特征点建立了对应的上述三维形状模型并向上述存储部存储。这样一来，即使在无法取得对象物的三维形状数据的情况下也能够生成三维形状模型。

在本公开的图像处理装置中，也可以设为，上述提取处理部取得在成为基准的上述对象物配置于上述预定位置的状态下上述相机向以上述预定位置为基准的上述多个视点依次移动而拍摄到的图像作为上述多个二维图像，上述图像处理装置具备报知部，该报知部在上述对象物相对于上述预定位置的位置偏差量为预定的容许量以上的情况下报知警告。这样一来，能够根据视差适当地出现的二维图像来求出特征点的高度信息，因此能够高精度地生成三维形状模型。

在本公开的图像处理装置中，也可以设为，上述生成处理部关于从上述多个二维图像提取出的各上述特征点，对在上述多个二维图像中出现的次数进行计数，使用所计数到的次数成为预定数以上的上述特征点来生成上述三维形状模型。这样一来，能够生成排除了出现的次数较少而可靠性较低的特征点的三维形状模型，因此能够减轻匹配的处理负担并使对象物的识别精度进一步提高。

在本公开的图像处理装置中，也可以设为，上述识别处理部通过上述匹配来设定上述特征点的粗略位置，基于所设定的粗略位置而向上述二维图像上投影上述三维形状模型的图像，以使所投影的图像与上述二维图像的重叠程度变得更大的方式调整上述粗略位置并确定上述特征点的三维的位置信息。这样一来，能够适当地修正匹配的误差，而更高精度地识别对象物的位置及姿势。

在本公开的图像处理装置中，也可以设为，上述提取处理部通过预定的机器学习来进行上述特征量的提取。这样一来，能够使特征点的特征量的提取精度提高并适当地进行匹配。

本公开的作业机器人具备：上述任一个图像处理装置；及相机，拍摄作为上述对象物的工件的上述二维图像，上述作业机器人基于根据由上述相机拍摄到的上述二维图像而由上述图像处理装置识别到的上述工件的识别结果来拾取上述工件并进行预定作业。本公开的作业机器人因为基于由上述任一个图像处理装置识别到的工件的识别结果来拾取工件并进行预定作业，所以能够适当地拾取工件而使作业精度提高。

本公开的基板检查装置具备：上述任一个图像处理装置；及相机，将通过对于基板的预定作业而设于该基板的结果物作为上述对象物来拍摄二维图像，上述基板检查装置基于根据由上述相机拍摄到的上述二维图像而由上述图像处理装置识别到的上述结果物的识别结果来进行上述基板的检查。本公开的基板检查装置因为基于由上述任一个图像处理装置识别到的结果物的识别结果来进行基板的检查，所以能够使用结果物的二维图像来高精度地进行基板的检查。

本公开的检体检查装置具备：上述任一个图像处理装置；显微镜装置，将作为上述对象物的检体的像放大；及相机，拍摄由上述显微镜装置放大后的上述检体的二维图像，上述检体检查装置基于根据由上述相机拍摄到的上述二维图像而由上述图像处理装置识别到的上述检体的识别结果来进行该检体的检查。本公开的检体检查装置因为基于由上述任一个图像处理装置识别到的检体的识别结果来进行检体的检查，所以能够使用由显微镜装置放大后的检体的二维图像来高精度地进行检体的检查。

产业上的可利用性

本公开能够利用于图像处理装置、作业机器人、基板检查装置及检体检查装置的制造产业等。

附图标记说明

10机器人***，12供给装置，12a输送带，14输送装置，18控制装置，20作业机器人，22机械手臂，24、113、119、123、129、213相机，30、117、127、230图像处理装置，32、118、128、232存储部，38、238输入装置，39、239输出装置，100基板作业线，110印刷装置，111印刷控制装置，112印刷部，115印刷检查装置，116、126、202检查控制装置，120安装装置，121安装控制装置，122安装部，125安装检查装置，200检体检查装置，210显微镜装置，212显微镜部，212a载台，212b透镜，M、Mb、Mc、Md三维形状模型，B基板，T托盘，W工件。

Claims (9)

1.一种图像处理装置，具备：

存储部，存储将对象物的多个特征点的特征量及三维的位置信息建立了对应的三维形状模型；

提取处理部，从由相机拍摄到的所述对象物的二维图像提取特征点的特征量及二维的位置信息；及

识别处理部，通过使用所述特征量来进行所述二维图像的特征点与所述三维形状模型的特征点的匹配，来确定所述二维图像的特征点的三维的位置信息并识别所述对象物的位置及姿势，

所述提取处理部取得在将作为基准的所述对象物配置于预定位置的状态下由所述相机在多个视点处拍摄到的所述对象物的多个二维图像，从所述多个二维图像提取所述特征点的特征量及二维的位置信息，

所述图像处理装置具备生成处理部，所述生成处理部根据所述二维图像间的视差而求出所述特征点的高度信息并生成三维的位置信息，生成将特征量及三维的位置信息与所述特征点建立了对应的所述三维形状模型并向所述存储部存储。

2.根据权利要求1所述的图像处理装置，其中，

所述提取处理部取得在将作为基准的所述对象物配置于所述预定位置的状态下所述相机向以所述预定位置为基准的所述多个视点依次移动而拍摄到的图像作为所述多个二维图像，

所述图像处理装置具备报知部，所述报知部在所述对象物相对于所述预定位置的位置偏差量为预定的容许量以上的情况下报知警告。

3.根据权利要求1所述的图像处理装置，其中，

所述生成处理部对于从所述多个二维图像提取出的各所述特征点，对在所述多个二维图像中出现的次数进行计数，使用所计数到的次数为预定数以上的所述特征点来生成所述三维形状模型。

4.根据权利要求2所述的图像处理装置，其中，

所述生成处理部对于从所述多个二维图像提取出的各所述特征点，对在所述多个二维图像中出现的次数进行计数，使用所计数到的次数为预定数以上的所述特征点来生成所述三维形状模型。

5.根据权利要求1～4中任一项所述的图像处理装置，其中，

所述识别处理部通过所述匹配来设定所述特征点的粗略位置，基于所设定的粗略位置而向所述二维图像上投影所述三维形状模型的图像，以使所投影的图像与所述二维图像的重叠程度进一步变大的方式调整所述粗略位置并确定所述特征点的三维的位置信息。

6.根据权利要求1～4中任一项所述的图像处理装置，其中，

所述提取处理部通过预定的机器学习来进行所述特征量的提取。

7.一种作业机器人，具备：

权利要求1～6中任一项所述的图像处理装置；及

相机，拍摄作为所述对象物的工件的所述二维图像，

所述作业机器人基于根据由所述相机拍摄到的所述二维图像而由所述图像处理装置识别到的所述工件的识别结果来拾取所述工件并进行预定作业。

8.一种基板检查装置，具备：

权利要求1～6中任一项所述的图像处理装置；及

相机，将通过对于基板的预定作业而设于该基板的结果物作为所述对象物来拍摄二维图像，

所述基板检查装置基于根据由所述相机拍摄到的所述二维图像而由所述图像处理装置识别到的所述结果物的识别结果来进行所述基板的检查。

9.一种检体检查装置，具备：

权利要求1～6中任一项所述的图像处理装置；

显微镜装置，将作为所述对象物的检体的像放大；及

相机，拍摄由所述显微镜装置放大后的所述检体的二维图像，

所述检体检查装置基于根据由所述相机拍摄到的所述二维图像而由所述图像处理装置识别到的所述检体的识别结果来进行该检体的检查。