CN115697653A - 图像处理方法、图像处理装置、机器人搭载型输送装置以及*** - Google Patents

Abstract

设置有机床(10)、具有摄像头(31)的机器人(25)、搭载了机器人(25)的输送装置(35)，在机床(10)的加工区域内配置有识别图形。

Description

图像处理方法、图像处理装置、机器人搭载型输送装置以及 ***

技术领域

本公开涉及一种由加工工件的机床、对机床进行作业的机器人以及搭载该机器人并移动的输送装置等构成的机器人搭载型输送装置、具备该机器人搭载型输送装置的***、图像处理方法以及图像处理装置。

背景技术

以往，作为上述***的一例，已知有一种在日本特开2017-132002号公报(日本专利申请公开公报)中公开的***。在该***中，搭载了机器人的无人输送车移动至相对于机床设定的作业位置，在该作业位置通过机器人对机床执行工件的装拆等作业。

在这样的***中，能够通过借助无人输送车移动的一台机器人对多个机床实施工件的装拆等作业，因此与在将机器人相对于机床固定的状态下进行配置的情况相比，提高了机床布局的自由度，因此能够将机床的布局设定为可以提高生产效率的布局。另外，与在固定状态下配置机器人的以往的***相比，能够通过一台机器人对更多的机床进行作业，因此能够实现设备费用的降低。

另一方面，无人输送车是使用车轮自动行驶的构造，因此无人输送车在所述作业位置停止的定位精度并不一定很高。因此，为了使机器人对机床进行准确的作业，需要对将无人输送车定位到所述作业位置时的机器人的姿势、作为控制上的基准的在所谓的示教时设定的机器人的基准姿势进行比较，检测误差量并根据该误差量修正机器人的作业姿势。

作为对机器人的姿势进行修正的技术，以往，已知有一种在日本特开2016-221622号公报(日本专利申请公开公报)中公开的位置修正方法。具体而言，该位置修正方法将由两个校正用标记构成的视觉目标配置于机床的外表面，通过设置于机器人的可动部的摄像头对所述视觉目标进行拍摄，根据得到的图像和摄像头的位置及姿势，测量机器人与机床的相对位置关系，根据测量的位置关系修正机器人的作业姿势。

现有技术文献

专利文献

专利文献1：日本特开2017-132002号公报

专利文献2：日本特开2016-221622号公报

发明内容

发明要解决的技术问题

然而，在上述以往的位置修正方法中，例如，在使机器人的机械手等进入到机床内，使用该机械手对机床的卡盘等进行工件的装拆时，不能够准确地对进行该装拆作业的机器人的姿势进行修正。

即，所述无人输送车以通过自由度较高的车轮的动作而移动的方式构成，因此具有以下特性：搭载了机器人的载置面容易相对于地面倾斜，另外，随着搭载的机器人的姿势的变化，换言之，随着机器人的重心位置的变化，该倾斜容易变动。

因此，在进行上述工件的装拆时，在机器人采取使其机械手进入到机床内的姿势时，换言之，机器人的臂从所述无人输送车大幅度悬伸的状态时的所述载置面的倾斜比机器人的机械手位于机床的机外，臂没有从所述无人输送车悬伸或者少量悬伸的情况下的倾斜大。

因此，即使像上述以往的位置修正方法那样，将作为校正用标记的视觉目标配置于机床的外表面，在机器人位于机床的机外的状态下获取机器人的位置修正量(姿势修正量)，对于在机器人的机械手位于机床内时执行的工件的装拆动作而言，使用得到的位置修正量也不能够准确地修正该机器人的姿势。

而且，如果不能够准确地修正装拆工件时的机器人的姿势，那么就不能够将机器人的机械手相对于卡盘准确地定位，例如，在所述卡盘是吸嘴卡盘等握持部的移动量(行程)极小，即工件与卡盘之间的间隙极小的卡盘的情况下，有可能发生不能够将工件可靠地握持在该卡盘的情况。

另外，如果不能够可靠地执行工件的装拆，则该***的运转率下降。

用于解决技术问题的方案

因此，本公开提供一种权利要求书中记载的***、输送装置、图像处理方法以及图像处理装置等。

发明效果

根据本公开，根据描绘有识别图形的图像修正机器人动作姿势，由此能够更精确地修正机器人的动作姿势。

另外，根据本公开，根据描绘有机床的内部构造的图像修正机器人动作姿势，能够更精确地修正机器人的动作姿势。

附图说明

图1是表示本发明的一个实施方式所涉及的***的概略结构的俯视图。

图2是表示本实施方式所涉及的***的结构的框图。

图3是表示本实施方式所涉及的无人输送车以及机器人的立体图。

图4是用于说明本实施方式所涉及的机器人的拍摄姿势的说明图。

图5是表示在本实施方式中设定的各坐标系的关系的说明图。

图6是表示本实施方式所涉及的识别图形的说明图。

图7是表示在示教操作时和实际动作时摄像头的拍摄姿势没有误差的情况下，根据在实际动作时拍摄的识别图形的图像修正的机械手的作业姿势的说明图。

图8是表示在示教操作时通过摄像头拍摄的识别图形的图像的说明图。

图9是表示在示教操作时和实际动作时摄像头的拍摄姿势存在误差的情况的说明图。

图10是表示在示教操作时和实际动作时摄像头的拍摄姿势存在误差的情况下，在各个姿势下拍摄的识别图形的图像的说明图。

图11是表示在示教操作时和实际动作时摄像头的拍摄姿势存在误差的情况下，根据实际动作时拍摄的识别图形的图像修正的机械手的作业姿势的说明图。

图12是表示在示教操作时和实际动作时摄像头的拍摄姿势存在误差的情况下，以使实际动作时的摄像头的拍摄姿势接近示教操作时的拍摄姿势的方式进行修正的方式的说明图。

图13是表示根据在修正了实际动作时的摄像头的拍摄姿势的状态下拍摄的识别图形的图像，修正机械手的动作姿势的方式的说明图。

图14是表示在本实施方式中，通过自动运转控制执行的无人输送车以及机器人的动作方式的流程图。

图15是表示将识别图形配置到机床中的变形例的说明图。

图16是表示将识别图形配置到机床中的其他变形例的说明图。

具体实施方式

以下，参照附图对具体实施方式进行说明。

[本实施方式所涉及的***的结构]

如图1以及图2所示，本实施方式所涉及的***1由机床10、作为***装置的材料储料器20以及产品储料器21、无人输送车35、搭载于该无人输送车35的机器人25、装配于机器人25的摄像头31、以及控制机器人25和无人输送车35的控制装置40等构成。此外，通过机器人25、无人输送车35以及控制装置40构成机器人搭载型输送装置。

如图4所示，所述机床10是具备主轴11并且该主轴11沿铅垂方向设置的立式的NC(数值控制)车床，能够对工件W(W’)进行车削加工，所述主轴11装配有卡盘12，所述卡盘12握持工件W(W’)。另外，在主轴11附近设置有工具预调仪13，该工具预调仪13具备触头14以及对触头14进行支承的支承杆15，该支承杆15被设置为能够沿着该主轴11的轴线相对于加工区域进退，在加工区域侧的端面设置有陶瓷制(只是一例，本发明并不限于此。)的显示板16，在该显示板16描绘有图6所示的识别图形。此外，显示板16以位于水平面上的方式设置。像这样，在本实施方式中，在机床10内配置识别图形，作为特别优选的方式，在加工区域内配置识别图形。

另外，在图4中，图示了支承杆15以及触头14前进到加工区域内的状态，但是在支承杆15以及触头14后退，触头14以及显示板16收纳到收纳区域内的状态下，通过关闭闸门17，触头14以及显示板16离开加工区域。

本例的识别图形具有多个正方向的像素二维排列的矩阵构造，各像素以白或者黑来显示。在图6中，对黑色的像素标记斜线。在这样的识别图形中存在被称作AR标记或者AprilTag的标记。另外，在识别图形较小的情况下，也可以在该识别图形上设置透镜等，通过下文叙述的摄像头31对扩大的图像进行拍摄。

所述材料储料器20在图1中配置于机床10的左边，是对利用该机床10加工的多个材料(加工前工件W)进行贮存的装置。另外，所述产品储料器21在图1中配置于机床10的右边，是对利用该机床10加工完成的多个产品或者半成品(加工后工件W’)进行贮存的装置。

如图1所示，在所述无人输送车35的上表面即载置面36搭载有所述机器人25，另外，附设有操作盘37，该操作盘37能够携带操作员。此外，该操作盘37具备进行数据的输入/输出的输入/输出部、对该无人输送车35以及机器人25进行手动操作的操作部、以及能够进行画面显示的显示器等。

另外，无人输送车35具备能够识别自身在工场内的位置的传感器(例如，使用激光的距离测量传感器)，在所述控制装置40的控制下，以在包括配置有所述机床10、材料储料器20以及产品储料器21的区域的工场内无轨行驶的方式构成，在本例中，经由相对于所述机床10、材料储料器20以及产品储料器21分别设定的各作业位置。

如图1以及图3所示，本实施方式的机器人25是具备第1臂26、第2臂27以及第3臂28这三个臂的多关节型的机器人，在第3臂28的末端部装配有作为末端执行器的机械手29，另外，经由支承杆30装配有一个摄像头31。但是，能够应用的机器人不限定于这样的结构。机器人只要具有(i)摄像头、(ii)用于握持工件或者工具的机械手部、(iii)与所述机械手部可动地相连的第2臂部、以及(iv)与第2臂部可动地相连的第1臂部即可。如果与本实施方式的机器人25进行比较，机械手部相当于机械手29，第2臂部相当于第2臂27和可旋转(可动)地结合的接头部，第1臂部相当于第1臂26和可旋转(可动)地结合的接头部。此外，也可以本实施方式的机器人的第3臂28和可旋转或者可进退(可动)地结合的接头部相当于第2臂部。也就是说，在本实施方式中，有3个臂，但是至少有2个臂即可。

如图2所示，本实施方式的控制装置40由动作程序存储部41、移动位置存储部42、动作姿势存储部43、地图信息存储部44、识别图形图像存储部45、手动运转控制部46、自动运转控制部47、地图信息生成部48、位置识别部49以及输入/输出接口50构成。而且，控制装置40经由该输入/输出接口50与所述机床10、材料储料器20、产品储料器21、机器人25、摄像头31、无人输送车35以及操作盘37连接。此外，控制装置40并不限定于该方式。控制装置40只要至少具有用于控制机器人25的功能部即可，其他功能部也可以由其他装置具有。

此外，控制装置40由包括CPU、RAM、ROM等的计算机构成，所述手动运转控制部46、自动运转控制部47、地图信息生成部48、位置识别部49以及输入/输出接口50通过计算机程序来实现其功能，执行下文叙述的处理。另外，动作程序存储部41、移动位置存储部42、动作姿势存储部43、地图信息存储部44以及识别图形图像存储部45通过RAM等适当的存储介质构成。在本例中，控制装置40附设于无人输送车35，通过适当的通信构件与机床10、材料储料器20以及产品储料器21连接，并且通过有线或者无线的方式与机器人25、摄像头31、无人输送车35以及操作盘37连接。但是，并不限定于这样的方式，控制装置40也可以配置于除了无人输送车35以外的适当位置。在该情况下，控制装置40通过适当的通信构件与各部连接。

所述手动运转控制部46是按照操作员从所述操作盘37输入的操作信号使所述无人输送车35、机器人25以及摄像头31动作的功能部。即，操作员能够在该手动运转控制部46的控制下使用操作盘37执行所述无人输送车35、机器人25以及摄像头31的手动操作。

所述动作程序存储部41是存储自动运转用程序和地图生成用程序的功能部，所述自动运转用程序用于在生产时使所述无人输送车35以及所述机器人25自动运转，所述地图生成用程序用于在生成下文叙述的工场内的地图信息时使所述无人输送车35动作。自动运转用程序以及地图生成用程序例如从设置于所述操作盘37的输入/输出部输入，储存在该动作程序存储部41中。

此外，在该自动运转用程序中包括指令代码，该指令代码关于作为无人输送车35移动的目标位置的移动位置、移动速度以及无人输送车35的朝向，另外，包括机器人25依次动作的该动作相关的指令代码以及所述摄像头31的操作相关的指令代码。另外，地图生成用程序包含指令代码，该指令代码以能够在所述地图信息生成部48生成地图信息的方式使无人输送车35在工场内无死角地无轨行驶。

所述地图信息存储部44是存储地图信息的功能部，所述地图信息包括配置于无人输送车35所行驶的工场内的机械、装置、设备等(装置等)的配置信息，该地图信息通过所述地图信息生成部48生成。

所述地图信息生成部48在详细情况在下文叙述的所述控制装置40的自动运转控制部47的控制下，按照储存在所述动作程序存储部41中的地图生成用程序使无人输送车35行驶时，根据通过所述传感器检测的距离数据获取工场内的空间信息，并且识别配置于工场内的装置等的平面形状，例如，根据预先登记的装置等的平面形状，识别配置于工场内的具体的装置，在本例中，机床10、材料储料器20以及产品储料器21的位置、平面形状等(配置信息)。而且，地图信息生成部48将得到的空间信息以及装置等的配置信息作为工场内的地图信息储存在所述地图信息存储部44中。

所述位置识别部49是根据通过所述传感器检测的距离数据以及储存在所述地图信息存储部44中的工场内的地图信息，识别无人输送车35在工场内的位置的功能部，根据通过该位置识别部49识别的无人输送车35的位置，通过所述自动运转控制部47控制该无人输送车35的动作。

所述移动位置存储部42是存储具体的移动位置的功能部，所述移动位置是所述无人输送车35移动的具体的目标位置，并且与所述动作程序中的指令代码对应，在该移动位置中包括相对于上述机床10、材料储料器20以及产品储料器21设定的各作业位置。此外，该移动位置例如通过以下操作而设定：在所述手动运转控制部46的控制下，通过所述操作盘37手动运转所述无人输送车35，在移动至作为目标的各位置后，将通过所述位置识别部49识别的位置数据储存到所述移动位置存储部42中。该操作被称作所谓的示教操作。

所述动作姿势存储部43是存储动作姿势所涉及的数据的功能部，所述动作姿势是通过所述机器人25按照规定的顺序动作而依次变化的机器人25的姿势，并且与所述动作程序中的指令代码对应。该动作姿势所涉及的数据是在所述手动运转控制部46的控制下，通过使用了所述操作盘37的示教操作而手动运转该机器人25，在采取了作为目标的各姿势时，在该各姿势中机器人25的各关节(马达)的旋转角度数据，该旋转角度数据作为动作姿势所涉及的数据储存在所述动作姿势存储部43中。

机器人25的具体的动作姿势分别在所述材料储料器20、机床10以及产品储料器21中设定。例如，在材料储料器20中，将在该材料储料器20中开始作业时的作业开始姿势(取出开始姿势)、用于通过机械手29对收纳于该材料储料器20的加工前工件W进行握持，并从该材料储料器20中取出的各作业姿势(各取出姿势)以及完成取出时的姿势(是取出完成姿势，在本例中，是与取出开始姿势相同的姿势)设定为取出动作姿势。

另外，在机床10中，设定从机床10取出加工后的工件W’的工件取出动作姿势、以及将加工前工件W安装于机床10的工件安装动作姿势。

具体而言，在工件取出动作姿势中，例如，设定进入机床10前的作业开始姿势、使机械手29以及摄像头31进入机床10的加工区域内，通过该摄像头31对设置于支承杆15的识别图形进行拍摄的姿势(拍摄姿势)(参照图4)、使机械手29与握持在机床10的卡盘12中的加工后工件W’相向的姿势(取出准备姿势)、使机械手29向卡盘12侧移动，通过机械手29对握持在该卡盘12中的加工后工件W’进行握持的姿势(握持姿势)、使机械手29离开卡盘12并将加工后工件W’从卡盘12拆卸的姿势(拆卸姿势)、使机械手29以及摄像头31脱离机床10姿势(作业完成姿势)的各姿势。

另外，在工件安装动作姿势中，例如，设定进入机床10前的作业开始姿势、使机械手29以及摄像头31进入机床10的加工区域内，通过该摄像头31对设置于支承杆15的识别图形进行拍摄的姿势(拍摄姿势)(参照图4)、使握持于机械手29的加工前工件W与机床10的卡盘12相向的姿势(安装准备姿势)、使机械手29朝向卡盘12侧移动，以能够通过该卡盘12握持加工前工件W的姿势(安装姿势)、使机械手29离开卡盘12的姿势(离开姿势)、使机械手29以及摄像头31脱离机床10的姿势(作业完成姿势)的各姿势。

在所述产品储料器21中，将在该产品储料器21中开始作业时的作业开始姿势(收纳开始姿势)、用于将握持在机械手29中的加工后工件W’收纳于产品储料器21内的各作业姿势(收纳姿势)以及完成收纳时的姿势(是收纳完成姿势，在本例中，是与收纳开始姿势相同的姿势)设定为收纳动作姿势。

所述识别图形图像存储部45是存储图像的功能部，所述图像是通过在示教操作时以及自动运转时，无人输送车35位于相对于机床10设定的作业位置，在机器人25处于所述拍摄姿势时，通过所述摄像头31对设置于所述工具预调仪13的支承杆15的识别图形进行拍摄而得到的。此外，在示教操作时拍摄的识别图形的图像作为基准图像储存在该识别图形图像存储部45中。另外，图形坐标系中的拍摄姿势位置或者安装姿势位置等存储在适当的存储部中。

所述自动运转控制部47是使用储存在所述动作程序存储部41中的自动运转用程序以及地图生成用程序中的任意一个，按照该程序使无人输送车35、机器人25以及摄像头31动作的功能部。此时，根据需要使用储存在所述移动位置存储部42以及动作姿势存储部43中的数据。

[根据本实施方式的***的无人自动生产]

根据本实施方式所涉及的***1，在所述自动运转控制部47的控制下，以下文叙述方式执行无人自动生产。

即，通过所述自动运转控制部47执行储存在所述动作程序存储部41中的自动运转用程序，例如，无人输送车35以及机器人25以下文叙述的方式动作。

首先，无人输送车35移动至相对于机床10设定的作业位置，并且机器人25采取上述工件取出动作的作业开始姿势。此外，此时机床10完成规定的加工，以机器人25能够进入加工区域内的方式打开门罩，另外，接收到来自自动运转控制部47的指令，使所述工具预调仪13的支承杆15前进到加工区域内。

接下来，自动运转控制部47使所述机器人25执行之后的工件取出动作，将握持在机床10的卡盘12中的加工后工件W’握持在机械手29中，并从该机床10中取出。此时，自动运转控制部47在使机器人25采取拍摄姿势的状态下，通过所述摄像头31拍摄所述识别图形，并根据得到的图像修正以后的取出准备姿势、握持姿势以及拆卸姿势。如上文所述，无人输送车35是使用车轮自动行驶的构造，因此在所述作业位置停止的定位精度较低。因此，在实际动作时，需要对通过示教操作事先设定的各动作姿势进行修正。该修正的详细方式在下文叙述。此外，在使机器人25采取所述握持姿势后，通过从自动运转控制部47向机床10发送卡盘打开指令，打开该卡盘12。

接下来，自动运转控制部47使无人输送车35移动至相对于产品储料器21设定的作业位置，并且使机器人25依次采取在该产品储料器21中开始作业时的收纳开始姿势、用于将握持在机械手29中的加工后工件收纳在产品储料器21内的各收纳姿势以及完成收纳时的收纳完成姿势，将握持在机械手29中的加工后工件收纳在产品储料器21中。

接着，自动运转控制部47使无人输送车35移动至相对于材料储料器20设定的作业位置，并且使机器人25依次采取在该材料储料器20中开始作业时的取出开始姿势、用于通过机械手29对收纳于该材料储料器20的加工前工件进行握持，从该材料储料器20取出的各取出姿势以及完成取出时的取出完成姿势，使加工前工件握持在机械手29中。

接下来，自动运转控制部47再次使无人输送车35移动至相对于机床10设定的作业位置后，使机器人25执行上文叙述的工件安装动作，将握持在机械手29中的加工前工件W安装于机床10的卡盘12后，退出到机外。此时，自动运转控制部47根据在使机器人25采取拍摄姿势的状态下，通过所述摄像头31拍摄的所述识别图形的图像，修正以后的安装准备姿势、安装姿势、离开姿势。然后，自动运转控制部47向机床10发送加工开始指令，使机床10进行加工动作。此外，在使机器人25采取所述安装姿势后，从自动运转控制部47向机床10发送卡盘关闭指令，由此关闭该卡盘12，通过该卡盘12握持加工前工件W。

在本例的***1中，通过重复上述内容，连续执行无人自动生产。

[动作姿势的修正]

以下，关于机器人25相对于机床10执行的动作姿势，对上文叙述的姿势修正的方式进行说明。

＜修正的基本考虑方法＞

首先，对本例中的姿势修正的基本考虑方法进行说明。如图5所示，相对于机器人25、摄像头31、识别图形以及作为目标的动作位置(目标动作位置)，分别设定通过正交的3轴的x轴、y轴以及z轴确定的机器人坐标系、摄像头坐标系、图形坐标系以及目标坐标系。而且，机器人坐标系的原点在自动运转控制部47的控制空间中任意设定(在本例中，设定在相当于机器人臂的根部的部分)，摄像头坐标系的原点例如设定在摄像头31的配置为二维平面状的拍摄元件的中心，图形坐标系的原点设定在识别图形的中心，目标坐标系的原点设定在目标动作位置。此外，在图5中，为了方便，仅对机器人坐标系标记符号。另外，在图5中，机器人25的目标动作位置是使工件W握持在卡盘12中的跟前位置，是在卡盘12的跟前位置中，工件W的轴心与卡盘12的轴心同轴的机械手29的位置。然后，使机械手29朝向z轴负方向移动，能够将工件W握持在卡盘12中。

而且，将根据自动运转控制部47的控制空间信息、以及机器人25和摄像头31的机械设计上的数据(例如，CAD数据)获取的机器人坐标系中的摄像头31的坐标值(x、y、z)以及绕各坐标轴的旋转角度值(rx、ry、rz)计算的从机器人坐标系向摄像头坐标系的变换矩阵定义为

同样地，还能够计算(获取)从摄像头坐标系向机器人坐标系的变换矩阵

另外，将能够根据摄像头31的内部参数、根据拍摄的识别图形的图像识别的单应矩阵、中心坐标、角坐标以及识别图形的大小等获取的、根据摄像头坐标系中的识别图形的坐标值(x、y、z)以及绕各坐标轴的旋转角度值(rx、ry、rz)计算的从摄像头坐标系向图形坐标系的变换矩阵定义为

同样地，将从图形坐标系向摄像头坐标系的变换矩阵定义为

＜通过示教操作得到的数据的处理＞

自动运转控制部47首先根据在所述示教操作时(以下，称为“示教时”)获取的、储存在所述识别图形图像存储部45中的识别图形的图像(基准图像)，获取从图形坐标系向示教时的摄像头坐标系的变换矩阵

和从示教时的摄像头坐标系向图形坐标系的变换矩阵

接下来，自动运转控制部47对于通过所述示教操作获取的并储存在所述动作姿势存储部43中的各动作姿势，按照控制上设定的规定的转换式，计算从机械手29的目标坐标系向示教时的机器人坐标系的变换矩阵

根据计算的变换矩阵

通过以下公式1计算从目标坐标系向图形坐标系的变换矩阵

(公式1)

在此，

是从示教时的机器人坐标系向图形坐标系的变换矩阵，能够通过以下的公式2计算。

(公式2)

此外，变换矩阵

如上文所述根据示教时拍摄的识别图形的图像计算。另外，变换矩阵

也如上文所述，根据自动运转控制部47的控制空间信息、以及机器人25和摄像头31的机械设计上的数据(例如，CAD数据)获取。

＜实际动作姿势的修正＞

自动运转控制部47首先根据实际动作时(以下，有时称作“当前”。)通过摄像头31拍摄的识别图形的图像，计算(获取)从图形坐标系向实际动作时的摄像头坐标系的变换矩阵

以及从实际动作时的摄像头坐标系向图形坐标系的变换矩阵

接下来，自动运转控制部47根据通过上述公式1计算的从目标坐标系向图形坐标系的变换矩阵

通过以下的公式3计算从目标坐标系向实际动作时的机器人坐标系的变换矩阵

(公式3)

在此，

是从图形坐标系向实际动作时的机器人坐标系的变换矩阵，能够通过以下的公式4计算。

(公式4)

此外，变换矩阵

是从实际动作时的摄像头坐标系向实际动作时的机器人坐标系的变换矩阵，如上文所述，根据自动运转控制部47的控制空间信息、以及机器人25和摄像头31的机械设计上的数据(例如，CAD数据)获取。另外，如上文所述，变换矩阵

根据在实际动作时拍摄的识别图形的图像获取。

而且，根据从计算(修正)的目标坐标系向实际动作时的机器人坐标系的变换矩阵

按照以下的公式5、6、7计算实际动作时的机器人坐标系中的机械手29的目标动作位置

和目标动作角度

(公式5)

(公式6)

(公式7)

但是，在公式7中将ψ设定为

将θ设定为

将φ设定为

机械手29向修正后的目标动作位置

例如，图7示出的位置移动，而且向目标动作角度

旋转。图7示出的例子示出了在机器人25的机械手29没有产生位置误差地被定为到目标动作位置，即，在卡盘12的跟前位置工件W的轴心与卡盘12的轴心同轴的位置上的状态。

＜实际动作时的拍摄姿势的修正＞

然而，关于在示教时通过摄像头31拍摄识别图形的姿势，考虑实际动作时的定位误差等，通常如图8所示，设定为识别图形位于摄像头框架的大致中央部的姿势。然而，在实际动作时的无人输送车35的定位精度较差的情况下，如图9所示，有时实际动作时(实线)的摄像头31的姿势与示教时(点划线)的摄像头31的姿势大不相同，如果摄像头31的姿势大幅度位移，则如图10所示，识别图形向实际动作时的摄像头框架的端偏移，或者摄像头31靠近识别图形或者反而远离识别图形。

而且，如果变成这样的状态，通过摄像头31拍摄的识别图形的图像不清晰或者其大小发生扩大或者缩小，因此根据该识别图形获取的上述变换矩阵

中包含误差，据此计算的从目标坐标系向实际动作时的机器人坐标系的变换矩阵

实际动作时的机器人坐标系中的机械手29的目标动作位置

和目标动作角度

也包含误差。其结果是，如图11所示，不能够将机器人25的机械手29准确地定位到作为目标的动作位置。在图11示出的例子中，示出了机器人25的机械手29定为在从目标动作位置偏离的位置，即，在卡盘12的跟前位置工件W的轴心离开卡盘12的轴心的位置的状态。然后，如果使机械手29朝向z轴负方向移动，则工件W会与卡盘12碰撞，因此卡盘12不能够握持工件W。

因此，在本实施方式中，在通过所述自动运转控制部47进行自动运转时，比较所述实际动作时的拍摄姿势和示教时的拍摄姿势，在拍摄姿势的误差不在预定的容许范围内(阈值内)的情况下，以使该误差在该容许范围内的方式执行对实际动作时的拍摄姿势进行修正的处理。此外，在通过一次修正没有使误差在容许范围内的情况下，反复执行拍摄姿势的修正处理以使误差在容许范围内。

＜拍摄姿势的确认＞

所述自动运转控制部47根据示教时拍摄的识别图形的图像，基于从图形坐标系向示教时的摄像头坐标系的变换矩阵

获取示教时的摄像头坐标系中的图形位置和角度

另外，根据实际动作时拍摄的识别图形的图像，获取从图形坐标系向实际动作时的摄像头坐标系的变换矩阵

计算实际动作时的摄像头坐标系中的图形位置与角度

接着，计算它们的差值(Δx、Δy、Δz、Δrx、Δry、Δrz)。而且，在各差值在预定的容许范围外，即，不满足以下全部条件的情况下，修正拍摄姿势。

-0.05mm≦Δx≦0.05mm

-0.05mm≦Δy≦0.05mm

-0.05mm≦Δz≦0.05mm

-0.05°≦Δrx≦0.05°

-0.05°≦Δry0.05°

-0.05°≦Δrz≦0.05°

此外，各差值的阈值是一例，并不限定于此，能够以可以得到高精度的识别图形的图像的方式适当地根据经验设定。另外，在本例中，以使各差值全部在容许范围内的方式修正拍摄姿势，但是并不限于此，可以使坐标值(x、y、z)或者旋转角度值(rx、ry、rz)中的任意一方的差值在容许范围内的方式修正拍摄姿势。

＜拍摄姿势的修正＞

自动运转控制部47根据从示教时的摄像头坐标系向图形坐标系的变换矩阵

通过以下的公式8计算从示教时的摄像头坐标系向实际动作时的机器人坐标系的变换矩阵

(公式8)

在此，

是从图形坐标系向实际动作时的机器人坐标系的变换矩阵，能够通过上述的公式4计算。

而且，自动运转控制部47使摄像头31的位置移动至根据从示教时的摄像头坐标系向实际动作时的机器人坐标系的变换矩阵

计算的摄像头位置

和角度

修正机器人25的拍摄姿势(参照图12。在图12中，摄像头31的位置(姿势)被从点划线示出的位置(姿势)修正为实线示出的位置(姿势)。)。此外，该修正后的摄像头位置是实际动作时的机器人坐标系中的示教时的摄像头位置，在通常状态下，通过该修正实际动作时的摄像头31的位置(姿势)成为与示教时的位置(姿势)相同的位置，但是通过修正变更了机器人25的姿势，因此会发生因无人输送车35的动作导致修正后的摄像头位置与示教时的摄像头位置之间的差不在容许范围内的情况。在该情况下，反复执行该修正处理，直到使实际动作时的拍摄姿势与示教时的拍摄姿势的误差在上述容许范围内。

像这样，自动运转控制部47在实际动作时的摄像头位置与示教时的摄像头位置不同的情况下，以实际动作时的摄像头位置与示教时的摄像头位置几乎一致的方式修正机器人25的拍摄姿势后，通过该摄像头31拍摄识别图形，根据得到的图像按照所述公式3修正以后的各动作姿势中的机械手29的目标动作位置，以机械手29移动至修正后的目标动作位置

和目标动作角度

的方式控制机器人25。由此，机械手29例如如图13所示，移动至示教时设定的目标动作位置。此外，在图13中示出了机器人25的机械手29没有产生位置误差地被定位到目标动作位置，被定位到在卡盘12的跟前位置工件W的轴心与卡盘12的轴心同轴的位置的状态。

[机器人搭载型输送装置对机床的动作控制相关的总结性说明]

接下来，在上文叙述的基础上，根据图14，对机器人搭载型输送装置对机床10的动作控制进行总结性说明。

在通过机器人搭载型输送装置对机床10进行作业时，自动运转控制部47以下文叙述的方式控制机器人搭载型输送装置的动作。

即，自动运转控制部47首先使无人输送车35移动至相对于机床设定的作业位置后使其停止(步骤S1)。接下来，自动运转控制部47使机器人25采取作业开始姿势后(步骤S2)，使其采取拍摄姿势(步骤S3)，在该状态下通过摄像头31拍摄识别图形的图像(步骤S4)。而且，根据得到的当前的识别图形与示教时拍摄的识别图形的图像，获取当前的摄像头坐标系中的图形位置/角度

以及示教时的摄像头坐标系中的图形位置/角度

，接着，计算它们的差值(Δx、Δy、Δz、Δrx、Δry、Δrz)，验证(判别)各差值是否分别在上述容许范围内(步骤S5)。

然后，在步骤S5中判断各差值没有分别在上述容许范围内的情况下，一边修正拍摄姿势(步骤S6)，一边反复执行步骤S4以及S5，直到使各差值分别在上述容许范围内。

另一方面，在全部差值均在容许范围内的情况下，自动运转控制部47按照上述公式3，计算与修正了示教时的各动作姿势的动作姿势对应的目标动作位置/角度

(步骤S7)，使机器人25依次采取与计算的目标动作位置/角度

对应的各动作姿势(步骤S8)，接着，在采取作业完成姿势后(步骤S9)结束处理。

如上文详细叙述的那样，根据本实施方式所涉及的***1，根据通过摄像头31拍摄的识别图形的图像，修正机器人25的动作姿势时，以使实际动作时的拍摄姿势与摄像头31在示教时的拍摄姿势之间的误差在容许范围内的方式修正实际动作时的摄像头31的拍摄姿势，因此能够使实际动作时拍摄的识别图像的图像为清晰且高精度的图像，其结果是，能够使用该图像更高精度地对机器人25的动作姿势进行修正。

另外，在本例的***1中，使用配置于机器人25实际作业的机床10的加工区域内的识别图形修正机器人25的作业姿势，因此能够准确地修正该作业姿势，由此，对于要求高动作精度的作业，机器人25也能够高精度地执行该作业。

另外，像这样，通过机器人25执行高精度的作业，该***1避免了非必要的中断，以高运转率进行运转，其结果是，根据该***1，能够实现可靠性高、生产效率高的无人化。

另外，在本例中，在机床10执行加工时，在收纳于加工区域外的工具预调仪13的支承杆15设置识别图形，因此能够防止加工时产生的切屑等污损该识别图形，其结果是，能够高精度地进行上述修正。

另外，在本例中，将所述识别图形设定为具有多个像素二维排列的矩阵构造的图形，因此能够高精度地进行动作姿势的修正。

以上，对本发明的一实施方式进行了说明，但是本发明能够采取的具体方式并不限定于此。

例如，在上述实施方式中，采用了具备多个像素二维排列的矩阵构造的图形作为所述识别图形，但是并不限于此，只要能够根据拍摄图像修正机器人25的姿势，则可以选择各种各样的图形。

另外，在本实施方式中，不必计算机器人25的实际动作时的动作姿势与示教时的姿势这两者之间的误差量，根据所述识别图形的拍摄图像，对机器人25的实际动作时的动作姿势进行修正，但是并不限于此，机器人25的实际动作时的动作姿势可以使用所有其他可行的方法进行修正。例如，也可以计算机器人25拍摄识别图形时的示教时的拍摄姿势与实际动作时的拍摄姿势之间的误差量，并基于该误差量修正机器人25的其他动作姿势。

另外，在本实施方式中，修正了机器人25的动作姿势的三维空间内的误差，但是并不限于此，也可以对通过特定的正交的两轴定义的平面内的误差进行修正。例如，也可以将所述识别图形水平配置，对包含识别图形的平面内的第1轴以及第2轴方向上的位置误差、以及绕与平面正交的轴的旋转误差进行修正。

另外，在上述各实施方式中，例示了使用无人输送车35的方式，但是并不限于此。也可以是一般台车那样的可以由人推着移动的输送装置。也可以是在该输送装置上搭载机器人25，通过人力将该输送装置输送至机床10的作业位置，通过该机器人25对机床10执行工件的装拆的方式。

另外，在上例中，将显示板16即识别图形在机床10内水平地配置，但是并不限于此，也可以与铅垂面平行的方式配置。

另外，在上述各实施方式中，作为机床例示了立式车床，但是并不限于此，除了能够应用卧式车床、立式以及卧式加工中心之外，还能够应用具备工具主轴和工件主轴的复合加工型的加工机械等以往公知的所有机床。

例如，在如图15所示的具备使工具旋转的工具主轴105的卧式车床100的情况下，如该图15所示，能够采用通过保持架106水平地支承所述显示板16，并且将该保持架106装配到工具主轴105的方式。或者如图16所示，还能够通过保持架111铅垂地支承所述显示板112。在该情况下，在通过车床100、110进行加工时，预先将保持架106、111收纳在作为工具收容部的工具库中，在通过所述机器人25进行作业时，将保持架106、111从工具库中取出并装配到工具主轴105。此外，在图15、图16中，符号101是第1主轴，符号103是第2主轴，它们同轴并且以彼此相向的方式配置。另外，符号102是装配于第1主轴101的第1卡盘，符号104是装配于第2主轴103的第2卡盘。另外，符号107是刀架，符号108是设置于刀架107的转塔，符号109是支承工件W”的支承工具，安装于转塔108的外表面。

另外，在上述实施方式中，在机器人坐标系、摄像头坐标系、图形坐标系以及目标坐标系中，将x轴以及y轴设定在水平面内，将z轴设定为垂直方向，但是并不限于此，可以任意设定坐标轴的方向。

另外，在上述实施方式中，只要对通过机器人25装拆工件W(W’)的例子进行了说明，但是并不限于此，机器人25处理的对象物除了工件W(W’)之外，还包括ATC摄像头、测量器等相对于机床10能够装拆的部件。

另外，考虑了以下变形例。

(变形例)

在上述的实施方式中，以拍摄包括识别图形的图像，根据识别图形在图像中的位置计算拍摄的摄像头的位置，进行使摄像头朝向预先设定的摄像头位置移动的控制为例进行了说明。但是并不限定于该方式。

在本实施方式中，不使用识别图形，根据拍摄的图像检测摄入到二维图像内的机床的内部形状的轮廓，与预先设定的形状的CAD数据进行比较。评价从图像提取的轮廓数据与根据CAD数据生成的二维形状据之间的一致点的比例，确定具有与预先设定的形状一致的点较多的(一致度高)的轮廓的形状，根据该形状的位置计算摄像头的位置。如果采取这样的方式，由于不使用识别图形，因此能够以机床的内部构造的形状为基准。例如，作为内部构造具有卡盘、工具、主轴、转塔、工具预调仪、工作台以及托盘。当然，内部构造也可以是识别图形。

基于内部构造的轮廓(形状)的三维识别也可以通过评价从图像中提取的边缘和将由三维CAD等制作的三维模型投影成二维图像所得的轮廓之间的一致点的个数来进行判断。基于三维点群的三维识别可以根据通过规定方法测量的三维点群与三维模型之间的一致点的个数来进行评价、判断。

而且，能够进行以下的图像处理。

一种图像处理方法，其对通过机器人搭载型输送装置的摄像头拍摄的图像进行处理，所述机器人搭载型输送装置具备：(i)摄像头，其对图像进行拍摄；(ii)机器人，其安装有所述摄像头，并具有作用于对象物的作用部；(iii)移动装置，其构成为能够搭载所述机器人并移动；以及(iv)控制装置，其控制所述作用部的位置，所述图像处理方法具备：

第1计算工序，对通过所述摄像头拍摄机床内的内部构造所得的第1图像进行解析，根据描绘在所述第1图像内的所述内部构造的解析计算所述摄像头的当前位置；

第1控制工序，控制机器人的动作,以使摄像头从所述当前位置移动至预先设定的摄像头的设定位置；

第2计算工序，在使所述摄像头移动后，通过所述摄像头拍摄所述机床内的内部构造，对拍摄的第2图像内的所述内部构造进行解析，计算所述作用部的当前位置；

第2控制工序，控制机器人的动作,以使作用部从所述作用部的当前位置移动至预先设定的所述对象物的位置或者输送所述对象物的输送位置。

另外，还能够提供一种以下的图像处理装置。

一种图形处理装置，其对通过机器人搭载型输送装置的摄像头拍摄的图像进行处理，所述机器人搭载型输送装置具备：(i)摄像头，其拍摄图像；(ii)机器人，其安装有所述摄像头并具有作用于对象物作用部；(iii)移动装置，其构成为搭载所述机器人并移动；以及(iv)控制装置，其控制所述作用部的位置，所述图像处理装置具备：

第1计算部，其对通过所述摄像头拍摄机床内的内部构造所得的第1图像进行解析，根据描绘在所述第1图像内的所述内部构造的解析计算所述摄像头的当前位置；

第1控制部，其控制机器人的动作,以使摄像头从所述当前位置移动至预先设定的摄像头的设定位置；

第2计算部，其在使所述摄像头移动后，利用所述摄像头拍摄所述机床内的内部构造，并对拍摄的第2图像内的所述内部构造进行解析，计算所述作用部的当前位置；以及

第2控制部，其控制机器人的动作,以使作用部从所述作用部的当前位置移动至预先设定的所述对象物的位置或者输送所述对象物的输送位置。

在此，不使用识别图像而是使用机床的内部构造确定摄像头的位置，但是其他结构或者控制、在拍摄包括识别图形的图像的情况下的处理中能够利用的处理当然能够用于本实施方式。

虽然为重复说明，但是上述实施方式的说明的全部方面是例示性的而非限制性的。本领域技术人员能够适当进行变形以及变更。本发明的范围通过权利要求示出而非通过上述实施方式示出。而且，本发明的范围包括在与权利要求等同的范围内根据实施方式的变更。

【附图标记说明】

1 ***

10 机床

11 主轴

12 卡盘

13 工具预调仪

14 触头

15 支承杆

16 显示板

20 材料储料器

21 产品储料器

25 机器人

29 机械手

31 摄像头

35 无人输送车

37 操作盘

40 控制装置

41 动作程序存储部

42 移动位置存储部

43 动作姿势存储部

44 地图信息存储部

45 识别图形图像存储部

46 手动运转控制部

47 自动运转控制部

48 地图信息生成部

49 位置识别部

50 输入/输出接口

W 加工前工件

W’ 加工后工件

Claims (8)

1.一种图像处理方法，其对通过机器人搭载型输送装置的摄像头拍摄的图像进行处理，所述机器人搭载型输送装置具备：

(i)摄像头，其拍摄图像；

(ii)机器人，其安装有所述摄像头，并具有作用于对象物的作用部；

(iii)移动装置，其构成为能够搭载所述机器人并移动；以及

(iv)控制装置，其控制所述作用部的位置，所述图像处理方法具备：

第1计算工序，对通过所述摄像头拍摄机床内的内部构造所得的第1图像进行解析，根据描绘在所述第1图像内的所述内部构造的解析计算所述摄像头的当前位置；

第1控制工序，控制机器人的动作,以使摄像头从所述当前位置移动至预先设定的摄像头的设定位置；

第2计算工序，在使所述摄像头移动后，利用所述摄像头拍摄所述机床内的内部构造，对拍摄的第2图像内的所述内部构造进行解析，计算所述作用部的当前位置；以及

第2控制工序，控制机器人的动作,以使作用部从所述作用部的当前位置移动至预先设定的所述对象物的位置或者输送所述对象物的输送位置。

2.根据权利要求1所述的图像处理方法，其中，

所述内部构造是识别图形、卡盘、工具、主轴、转塔、工具预调仪、工作台以及托盘中的任意一个。

3.一种图像处理装置，其对通过机器人搭载型输送装置的摄像头拍摄的图像进行处理，所述机器人搭载型输送装置具备：

(i)摄像头，其拍摄图像；

(ii)机器人，其安装有所述摄像头，并具有作用于对象物的作用部；

(iii)移动装置，其构成为能够搭载所述机器人并移动；以及

(iv)控制装置，其控制所述作用部的位置，所述图像处理装置具备：

第1计算部，其对通过所述摄像头拍摄机床内的内部构造所得的第1图像进行解析，根据描绘在所述第1图像内的所述内部构造的解析计算所述摄像头的当前位置；

第1控制部，其控制机器人的动作,以使摄像头从所述当前位置移动至预先设定的摄像头的设定位置；

第2计算部，其在使所述摄像头移动后，利用所述摄像头拍摄所述机床内的内部构造，对拍摄的第2图像内的所述内部构造进行解析，计算所述作用部的当前位置；

第2控制部，其控制机器人的动作,以使作用部从所述作用部的当前位置移动至预先设定的所述对象物的位置或者输送所述对象物的输送位置。

4.一种机器人搭载型输送装置，具备：

机器人，其具有拍摄图像的摄像头以及作用于作业对象物的作用部；

输送装置，其构成为能够搭载所述机器人并移动至相对于所述作业对象物设定的作业位置；以及

控制装置，其构成为按照包括预先设定的动作指令的动作程序，使所述机器人依次采取作业开始姿势、通过所述摄像头对设置于所述作业对象物的姿势修正用的识别图形进行拍摄的拍摄姿势、以及用于使所述作用部作用于所述作业对象物的一个以上的作业姿势，

所述作业开始姿势、拍摄姿势以及作业姿势通过对所述机器人进行示教操作而预先设定，

所述识别图形形成在规定的平面上并且配置于所述作业对象物，

所述控制装置构成为执行以下处理，所述处理包括：

在所述示教操作时，在使所述机器人转至拍摄姿势的状态下，根据通过所述摄像头拍摄的所述识别图形的图像，获取示教操作时的所述识别图形与所述摄像头之间的位置关系信息的处理；

按照所述动作程序使所述机器人实际动作时，所述输送装置移动至所述作业位置，并且在所述机器人从所述作业开始姿势转至所述拍摄姿势的状态下，根据通过所述摄像头拍摄的所述识别图形的图像，获取实际动作时的所述识别图形与所述摄像头之间的位置关系信息的处理；

对得到的实际动作时的所述位置关系信息与所述示教操作时的所述位置关系信息进行比较，验证其差值是否在预定的容许范围内的处理；以及

在所述差值不在容许范围内的情况下，以使该差值在容许范围内的方式对所述摄像头相对于所述识别图形的拍摄姿势进行修正的处理，

而且，所述控制装置在所述识别图形与所述摄像头之间的位置关系信息的差值在所述容许范围内时，根据刚得到的识别图形的图像，使所述机器人动作以采取对示教操作时的作业姿势进行了修正的修正作业姿势。

5.一种***，具备：

机床，其对工件进行规定的加工；

机器人，其具有对图像进行拍摄的摄像头以及作用于所述工件的作用部，并对所述机床进行作业；

输送装置，其构成为能够搭载所述机器人并移动至相对于所述机床设定的作业位置；以及

控制装置，其构成为按照包括预先设定的动作指令的动作程序，使所述机器人依次采取作业开始姿势、通过所述摄像头对设置于所述机床的姿势修正用的识别图形进行拍摄的拍摄姿势、以及用于使所述作用部作用于所述工件的一个以上的作业姿势，

所述作业开始姿势、拍摄姿势以及作业姿势通过对所述机器人进行示教操作而预先设定，

所述识别图形形成在规定的平面上，并且配置于所述机床的加工区域内，

所述控制装置构成为执行以下处理，所述处理包括：

在所述示教操作时，在使所述机器人转至拍摄姿势的状态下，根据通过所述摄像头拍摄的所述识别图形的图像，获取示教操作时的所述识别图形与所述摄像头之间的位置关系信息的处理；

按照所述动作程序使所述机器人实际动作时，所述输送装置移动至所述作业位置，并且在所述机器人从所述作业开始姿势转至所述拍摄姿势的状态下，根据通过所述摄像头拍摄的所述识别图形的图像，获取实际动作时的所述识别图形与所述摄像头之间的位置关系信息的处理；

对得到的实际动作时的所述位置关系信息与所述示教操作时的所述位置关系信息进行比较，验证其差值是否在预定的容许范围内的处理；以及

在所述差值不在容许范围内的情况下，以使该差值在容许范围内的方式对所述摄像头相对于所述识别图形的拍摄姿势进行修正的处理，

而且，所述控制装置在所述识别图形与所述摄像头之间的位置关系信息的差值在所述容许范围内时，根据刚得到的识别图形的图像，使所述机器人动作以采取对示教操作时的作业姿势进行了修正的修正作业姿势。

6.根据权利要求5所述的***，

所述控制装置构成为多次反复执行修正所述摄像头相对于所述识别图形的拍摄姿势的处理，直到使所述差值在容许范围内。

7.根据权利要求5所述的***，

所述输送装置是通过所述控制装置控制的无人输送车，构成为在所述控制装置的控制下经由相对于所述机床设定的所述作业位置。

8.根据权利要求5所述的***，

所述识别图形是具有多个像素二维排列的矩阵构造的图形。

Images