CN116917093A - 模拟装置、控制***以及建模方法 - Google Patents

Abstract

模拟装置(100)包括：实际形状模型生成部(112)，基于实测数据生成表示包含机器人(4A、4B)的机器***(2)的三维实际形状的实际形状模型；以及模型校正部(113)，基于机器***(2)的模拟模型(310)与实际形状模型(210)的比较来校正模拟模型(310)。

Description

模拟装置、控制***以及建模方法

技术领域

本公开涉及模拟装置、控制***以及建模方法。

背景技术

在专利文献1中公开了一种机器人模拟器，其包括：模型存储部，存储有与机器人及障碍物有关的模型信息；以及信息处理部，其基于模型信息生成能够避免机器人与障碍物的碰撞并且能够使机器人的前端部从开始位置移动到结束位置的路径。

现有技术文献

专利文献

专利文献1：日本特开2018-134703号公报。

发明内容

发明所要解决的问题

本公开提供一种有效提高模拟的可靠性的模拟装置。

用于解决问题的手段

本公开的一方面涉及的模拟装置包括：实际形状模型生成部，基于实测数据生成实际形状模型，所述实际形状模型表示包含机器人的机器***的三维实际形状；以及模型校正部，基于机器***的模拟模型与实际形状模型的比较来校正模拟模型。

本公开的另一方面涉及的控制***包括：上述模拟装置，还包括模拟器，该模拟器基于模拟模型来模拟机器***的动作；以及控制装置，基于模拟器的模拟结果来控制机器***。

本公开的又一方面涉及的建模方法包括：基于实测数据生成实际形状模型，所述实际形状模型表示包含机器人的机器***的三维实际形状；以及基于机器***的模拟模型与实际形状模型的比较来校正模拟模型。

发明效果

根据本公开，能够提供一种有效提高模拟的可靠性的模拟装置。

附图说明

图1是例示自动化***的结构的示意图。

图2是例示机器人的结构的示意图。

图3是例示模拟装置的功能性结构的框图。

图4是例示基于三维相机的拍摄对象的图。

图5是例示图4中的目标的三维图像的图。

图6是例示通过三维图像的合成而得到的实际形状模型的图。

图7是例示实际形状模型的图。

图8是例示模拟模型的图。

图9是例示匹配的图。

图10是例示匹配的图。

图11是例示匹配的图。

图12是例示匹配的图。

图13是例示匹配的图。

图14是例示匹配的图。

图15是例示匹配的图。

图16是例示已校正的模拟模型的图。

图17是例示基于三维相机的拍摄对象的图。

图18是例示图17中的拍摄对象的实际形状模型的图。

图19是例示图17中的拍摄对象的预处理完毕模型的图。

图20是例示模拟装置的硬件结构的框图。

图21是示出建模过程的流程图。

图22是示出建模过程的流程图。

具体实施方式

以下，参照附图对实施方式进行详细说明。在说明中，对相同要素或具有相同功能的要素标注相同的附图标记，并省略重复的说明。

[自动化***]

图1所示的自动化***1是在至少包括机器人的机器***中至少使机器人动作的***。作为自动化***1的具体例子，可列举出至少使机器人动作以在机器***中生产产品的生产***，但是机器***的用途未必限定于产品的生产。

自动化***1包括机器***2和控制***50。机器***2包括多个目标3。多个目标3分别是占据三维实际空间的一部分的实体目标。多个目标3包含成为控制对象的至少一个控制对象目标4和至少一个周边目标5。

至少一个控制对象目标4包括至少一个机器人。在图1中，作为至少一个控制对象目标4，示出了两个机器人4A、4B，作为至少一个周边目标5，示出了主载物台5A、副载物台5B、5C以及框架5D。

图2是例示机器人4A、4B的概略结构的示意图。例如机器人4A、4B是六轴的垂直多关节机器人，具有基部11、回转部12、第一臂13、第二臂14、第三臂17、前端部18以及致动器41、42、43、44、45、46。基部11设置于输送机3A的周围。回转部12以绕铅垂的轴线21回转的方式设置在基部11上。第一臂13以绕与轴线21交叉(例如正交)的轴线22摆动的方式与回转部12连接。交叉也包含所谓立体交叉那样处于扭转的关系的情况。第二臂14以绕与轴线22实质上平行的轴线23摆动的方式与第一臂13的前端部连接。第二臂14包括臂基部15和臂端部16。臂基部15与第一臂13的前端部连接，沿着与轴线23交叉(例如正交)的轴线24延伸。臂端部16以绕轴线24回转的方式与臂基部15的前端部连接。第三臂17以绕与轴线24交叉(例如正交)的轴线25摆动的方式与臂端部16的前端部连接。前端部18以绕与轴线25交叉(例如正交)的轴线26回转的方式与第三臂17的前端部连接。

这样，机器人4A、4B具有：关节31，连接基部11和回转部12；关节32，连接回转部12和第一臂13；关节33，连接第一臂13和第二臂14；关节34，其在第二臂14连接臂基部15和臂端部16；关节35，连接臂端部16和第三臂17；以及关节36，连接第三臂17和前端部18。

致动器41、42、43、44、45、46例如包括电动马达及减速器，分别驱动关节31、32、33、34、35、36。例如，致动器41使回转部12绕轴线21回转，致动器42使第一臂13绕轴线22摆动，致动器43使第二臂14绕轴线23摆动，致动器44使臂端部16绕轴线24回转，致动器45使第三臂17绕轴线25摆动，致动器46使前端部18绕轴线26回转。

另外，机器人4A、4B的具体结构能够适当变更。例如，机器人4A、4B可以是在上述6轴的垂直多关节机器人上进一步追加了1轴的关节的7轴的冗余型机器人，也可以是所谓的标量型的多关节机器人。

主载物台5A支承机器人4A、4B、副载物台5B、5C以及框架5D。副载物台5B支承机器人4A的作业对象物。副载物台5C支承机器人4B的作业对象物。框架5D将省略了图示的各种目标保持于主载物台5A的上部空间。作为框架5D所保持的目标的具体例子，可列举出激光传感器等环境传感器、或机器人4A、4B所使用的工具等。

另外，图1所示的机器***2的结构是一例。只要包含至少一个机器人即可，机器***2的结构能够适当变更。例如，机器***2也可以包括三个以上的机器人。

控制***50基于预先准备的动作程序对机器***2所包含的至少一个控制对象目标4进行控制。控制***50可以包括：分别控制多个控制对象目标4的多个控制器；和向多个控制器输出控制指令以使多个控制对象目标4协调的上级控制器。在图1中示出了分别控制机器人4A、4B的控制器51、52和上级控制器53。上级控制器53向控制器51、52输出控制指令，以使机器人4A、4B协调。

控制***50还包括模拟装置100。模拟装置100模拟机器***2的状态。模拟机器***2的状态包括模拟多个目标3的静态配置关系。模拟机器***2的状态还可以包括模拟多个目标3的动态配置关系，所述多个目标3的动态配置关系根据机器人4A、4B等的控制对象目标4的动作而变化。

模拟对于在使机器人4A、4B实际动作之前评价基于动作程序的机器人4A、4B的动作的适当性而言是有用的。然而，若模拟的可靠性低，则即使是根据模拟结果被评价为适当的动作，若使机器人4A、4B实际执行该动作，则也可能产生目标3彼此的碰撞等不良情况。

机器人4A、4B的动作通过针对包含机器人4A、4B的多个目标3的配置信息和多个目标3各自的结构/尺寸信息的模拟模型使反映机器人4A、4B的动作结果的运动学运算来进行模拟。

为了提高模拟的可靠性，重要的是提高模拟模型的精度。对此，模拟装置100构成为执行：基于实测数据生成表示机器***2的三维实际形状的实际形状模型；以及基于机器***2的模拟模型与实际形状模型的比较来校正模拟模型。由此，能够容易提高模拟模型的精度。

例如，如图3所示，模拟装置100作为功能上的结构而具有模拟模型存储部111、实际形状模型生成部112以及模型校正部113。

模拟模型存储部111存储机器***2的模拟模型。模拟模型至少包含多个目标3的配置信息和多个目标3的各自的结构/尺寸信息。模拟模型基于三维CAD数据等机器***2的设计数据而被预先准备。模拟模型可以包括与多个目标3分别对应的多个目标模型。多个目标模型分别包括对应的目标3的配置信息和结构/尺寸信息。目标3的配置信息包括目标3在预定的模拟坐标系中的位置和姿势。

实际形状模型生成部112基于实测数据生成表示机器***2的三维实际形状的实际形状模型。实测数据是通过在实际空间中实际测量机器***2而得到的数据。作为实测数据的具体例子，可列举出由三维相机拍摄的机器***2的三维实际图像。作为三维相机的具体例子，可以列举出立体相机或者TOF(Time of Flight：飞行时间)相机等。三维相机也可以是三维激光位移计。

作为一例，控制***50具有至少一个三维相机54，实际形状模型生成部112基于由三维相机54拍摄到的机器***2的三维实际图像来生成实际形状模型。实际形状模型生成部112也可以生成以点群表示机器***2的表面的三维形状的实际形状模型。实际形状模型生成部112也可以生成以微细的多边形群表示机器***2的表面的三维形状的实际形状模型。

控制***50可以具有多个三维相机54，实际形状模型生成部112也可以从多个三维相机54获取多个三维实际图像，并将多个三维实际图像组合来生成实际形状模型。实际形状模型生成部112也可以从多个三维相机54获取包含共同的合成用目标的图像的多个三维实际图像，并将多个三维实际图像组合而生成实际形状模型以使得在多个三维实际图像的各个中与合成用目标对应的部分与合成用目标的已知的形状匹配。

图4是例示基于两个三维相机54的拍摄对象的示意图。为了简化说明，在图4中，通过简化了形状的目标6A、6B来表示机器***2。如图5所示，根据图4的左上的三维相机54A获取三维图像221，根据图4的右下的三维相机54B获取三维图像222。三维图像221包括机器***2中的至少面向三维相机54A的部分的三维形状。三维图像222包括机器***2中的至少面向三维相机54B的部分的三维形状。

例如，实际形状模型生成部112将目标6B作为上述的合成用目标，将三维图像221与三维图像222组合来生成实际形状模型220。例如，实际形状模型生成部112使三维图像221、222所包含的目标6B的三维形状与目标6B的已知的三维形状匹配。此处的匹配是指使三维图像221、222分别移动，以使三维图像221、222所包含的目标6B的三维形状适合于目标6B的已知的三维形状。通过使三维图像221、222分别移动以使三维图像221、222所包含的目标6B的三维形状适合于目标6B的已知的三维形状，从而如图6所示地组合三维图像221、222，生成目标6A、目标6B的实际形状模型220。此外，实际形状模型生成部112也可以将机器人4A、4B、主载物台5A、副载物台5B、副载物台5C以及框架5D中的任意一个作为合成用目标，合成多个三维相机54的三维图像。

模型校正部113基于模拟模型存储部111存储的模拟模型与由实际形状模型生成部112生成的实际形状模型的比较来校正模拟模型。模型校正部113也可以使多个目标模型分别与实际形状模型匹配来校正模拟模型。这里的匹配意味着以将多个目标模型各自的位置/姿势适合于实际形状模型的方式进行校正。模型校正部113也可以反复进行包括从多个目标模型中选择一个匹配对象模型和使匹配对象模型与实际形状模型匹配的匹配处理来校正模拟模型。

模型校正部113也可以在匹配处理中将已经与其他目标模型匹配的部分从实际形状模型中排除，使匹配对象模型与实际形状模型匹配。模型校正部113也可以在匹配处理中将未被选择为匹配对象模型的一个以上的目标模型中的最大的目标模型选择为匹配对象模型。

通过重复匹配处理，多个目标模型的配置被单独地校正。然而，在模拟模型与实际形状模型之间，有时会残留仅通过多个目标模型的配置校正而无法消除的差异。例如，实际形状模型可能存在包括不与多个目标模型中的任何一个对应的部分的情况。另外，可能存在多个目标模型中的某一个包含不与实际形状模型对应的部分的情况。

对此，模拟装置100可以还具有目标追加部114和目标删除部115。目标追加部114在对多个目标模型全部完成匹配处理之后，从实际形状模型中提取与任何目标模型都不匹配的部分，基于提取出的部分将新的目标模型追加到模拟模型中。目标删除部115在对多个目标模型全部完成匹配处理之后，从模拟模型中提取未与实际形状模型匹配的部分，并从模拟模型中删除所提取的部分。

以下，参照附图具体例示模型校正部113对模拟模型的校正、目标追加部114对目标模型的追加、目标删除部115对模拟模型的不需要部分的删除。

图7是例示机器***2的实际形状模型的图，图8是例示机器***2的模拟模型的图。图7所示的实际形状模型210包括与机器人4A对应的部分211、与机器人4B对应的部分212、与主载物台5A对应的部分213、与副载物台5B对应的部分214、与副载物台5C对应的部分215以及与框架5D对应的部分216。

图8所示的模拟模型310包括与机器人4A对应的机器人模型312A、与机器人4B对应的机器人模型312B、与主载物台5A对应的主载物台模型313A、与副载物台5B对应的副载物台模型313B、以及与框架5D对应的框架模型313D。模拟模型310不包含与副载物台5C对应的副载物台模型313C(参照图15)。

模型校正部113首先选择机器人模型312A、机器人模型312B、主载物台模型313A、副载物台模型313B以及框架模型313D中的最大的主载物台模型313A。这里的“大”是指三维空间中的占有区域大。

如图9及图10所示，模型校正部113使主载物台模型313A与实际形状模型210匹配。如图10中阴影部分所示，主载物台模型313A与实际形状模型210中的对应于主载物台5A的部分213匹配。

如图11所示，模型校正部113将已经与主载物台模型313A匹配的部分213从实际形状模型210中排除。此外，在图11中，消去了部分213，但将部分213从实际形状模型210中排除并不意味着从实际形状模型210删除部分213。对于部分213，不删除部分213而残留在实际形状模型210中，并且在下次以后的匹配处理中将部分213从匹配的对象中排除即可，关于实际形状模型210的其他部分的排除也是同样的。

接下来，模型校正部113选择机器人模型312A、机器人模型312B、副载物台模型313B以及框架模型313D中的最大的副载物台模型313B，如图12所示，使副载物台模型313B与实际形状模型210匹配。如图12中阴影部分所示，副载物台模型313B与实际形状模型210中的对应于副载物台5B的部分214匹配。如图12中标注了点图案的部分所示，副载物台模型313B包含不与部分214匹配的部分313b。

如图13所示，模型校正部113将已经与副载物台模型313B匹配的部分214从实际形状模型210中排除。接着，模型校正部113选择机器人模型312A、机器人模型312B以及框架模型313D中的最大的机器人模型312B，使机器人模型312B与实际形状模型210匹配。如图13中阴影部分所示，机器人模型312B与实际形状模型210中的对应于机器人4B的部分212匹配。

如图14所示，模型校正部113将已经与机器人模型312B匹配的部分212从实际形状模型210中排除。接下来，模型校正部113选择机器人模型312A及框架模型313D中的最大的机器人模型312A，使机器人模型312A与实际形状模型210匹配。如图14中阴影部分所示，机器人模型312A与实际形状模型210中的对应于机器人4A的部分211匹配。

如图15所示，模型校正部113将已经与机器人模型312A匹配的部分211从实际形状模型210中排除。接着，模型校正部113选择框架模型313D，使框架模型313D与实际形状模型210匹配。如图15中阴影部分所示，框架模型313D与实际形状模型210中的对应于框架5D的部分216匹配。

以上，机器人4A、4B、主载物台5A、副载物台5B以及框架5D的全部匹配处理完成，但由于在模拟模型310中不包含与副载物台5C对应的目标模型，因此实际形状模型210的部分215与模拟模型310所包含的任何目标模型都不匹配而残留。

对此，目标追加部114提取部分215，如图16所示，基于部分215将与副载物台5C对应的副载物台模型313C追加到模拟模型310。

另外，未与实际形状模型210匹配的部分313b不与实际形状模型210的任意部分匹配而残留。对此，目标追加部114提取部分313b，从模拟模型310删除部分313b。如上，完成了模型校正部113对模拟模型的校正、目标追加部114对目标模型的追加以及目标删除部115对不需要部分的删除。

这里，在基于由三维相机54拍摄到的机器***2的三维实际图像来生成实际形状模型的情况下，实际形状模型能够包含未被三维相机54拍到的隐藏部分。即使在基于由多个三维相机54分别拍摄到的机器***2的多个三维实际图像来生成实际形状模型的情况下，实际形状模型也能够包含未被多个三维相机54中的任一个拍到的重叠隐藏部分。

图17是例示基于两个三维相机54的拍摄对象的示意图。为了简化说明，在图17中，通过简化了形状的目标7A、7B、7C、7D来表示机器***2。

图18表示基于由图17的左侧三维相机54A拍摄的三维图像和由图17的右侧三维相机54B拍摄的三维图像生成的实际形状模型230。

实际形状模型230包括未被三维相机54A拍到的隐藏部分230a和未被三维相机54B拍到的隐藏部分230b，并包括未被三维相机54A、54B中的任一个拍到的重叠隐藏部分230c。重叠隐藏部分230c是隐藏部分230a与隐藏部分230b重叠的部分。

在尽管实际形状模型包含隐藏部分但模拟模型不包含隐藏部分的情况下，目标模型相对于实际形状模型的匹配的精度有可能降低。对此，模拟装置100也可以生成将与未被三维相机54拍到的隐藏部分对应的虚拟隐藏部分从模拟模型排除的预处理完毕模型，基于预处理完毕模型与实际形状模型的比较来校正模拟模型。

在基于由多个三维相机54拍摄到的机器***2的三维实际图像来生成实际形状模型的情况下，模拟装置100也可以生成将与未被多个三维相机54中的任一个拍到的重叠隐藏部分对应的虚拟重叠隐藏部分从模拟模型中排除的预处理完毕模型，基于预处理完毕模型与实际形状模型的比较来校正模拟模型。

例如，模拟装置100还可以包括相机位置计算部121、预处理部122、重新分割部123和预处理完毕模型存储部124。

相机位置计算部121计算三维虚拟相机的位置，以使得通过利用与三维相机54对应的三维虚拟相机拍摄模拟模型而得到的三维虚拟图像与三维实际图像匹配。相机位置计算部121也可以计算三维虚拟相机的位置，以使得三维虚拟图像中的对应于规定的校准用目标的部分与三维实际图像中的对应于校准用目标的部分匹配。

相机位置计算部121可以将多个目标3中的任意一个作为校准用目标，也可以将多个目标3中的两个以上作为校准用目标。例如，相机位置计算部121也可以将机器人4A或机器人4B作为校准用目标。

例如，相机位置计算部121反复进行以下处理直到差异的评价结果低于规定水平为止，由此计算三维虚拟相机的位置，该处理包括在以在预先决定的初始位置配置有三维虚拟相机的条件计算出三维虚拟图像之后，评价三维化虚拟图像中的校准用目标与三维实际图像中的校准用目标之间的差异；以及变更三维虚拟相机的位置。另外，三维虚拟相机的位置还包括三维虚拟相机的姿势。

相机位置计算部121也可以计算多个三维虚拟相机的位置，以使得通过利用分别与多个三维相机54对应的多个三维虚拟相机拍摄模拟模型而得到的多个三维虚拟图像与多个三维实际图像匹配。

预处理部122基于三维虚拟相机的位置和模拟模型来计算虚拟隐藏部分，生成将虚拟隐藏部分从模拟模型中排除的预处理完毕模型并保存于预处理完毕模型存储部124。例如，预处理部122提取模拟模型中的与三维虚拟相机对置的可视觉辨认面，计算位于可视觉辨认面的背后的部分作为虚拟隐藏部分。

预处理部122也可以基于多个三维虚拟相机的位置和模拟模型来计算虚拟重叠隐藏部分，生成将虚拟重叠隐藏部分从模拟模型中排除的预处理完毕模型并保存于预处理完毕模型存储部124。

图19是例示对图17的机器***2生成的预处理完毕模型410的图。预处理部122基于与图17的三维相机54A对应的三维虚拟相机321A的位置和模拟模型来计算与隐藏部分230a对应的虚拟隐藏部分410a。另外，预处理部122基于与图17的三维相机54B对应的三维虚拟相机321B的位置和模拟模型来计算与隐藏部分230b对应的虚拟隐藏部分410b。并且，预处理部122计算在三维虚拟相机321A、321B中均未拍到的虚拟重叠隐藏部分410c。虚拟重叠隐藏部分410c是虚拟隐藏部分410a与虚拟隐藏部分410b重叠的部分。

预处理部122可以以与实际形状模型相同的数据格式生成预处理完毕模型。例如，在实际形状模型生成部112生成以点群表示机器***2的表面的三维形状的实际形状模型的情况下，预处理部122也可以生成以点群表示机器***2的表面的三维形状的预处理完毕模型。在实际形状模型生成部112生成以微细的多边形群表示机器***2的表面的三维形状的实际形状模型的情况下，预处理部122也可以生成用微细的多边形群表示机器***2的表面的三维形状的预处理完毕模型。

通过预先使预处理完毕模型与实际形状模型的数据格式一致，预处理完毕模型与实际形状模型的比较变得容易。即使在预处理完毕模型与实际形状模型中的数据格式不同，也能够进行预处理完毕模型与实际形状模型的比较，因此并不是必须使预处理完毕模型的数据格式与实际形状模型的数据格式一致。

重新分割部123将预处理完毕模型分割为与多个目标3分别对应的多个预处理完毕目标模型。例如，重新分割部123基于由模拟模型存储部111存储的多个目标模型中的每个目标模型与预处理完毕目标模型之间的比较，将预处理完毕模型分割为多个预处理完毕目标模型。

例如，重新分割部123将预处理完毕模型410中的与目标7A的目标模型对应的部分设为目标7A的预处理完毕目标模型411，将预处理完毕模型410中的与目标7B的目标模型对应的部分设为目标7B的预处理完毕目标模型412，将预处理完毕模型410中的与目标7C的目标模型对应的部分设为目标7C的预处理完毕目标模型413，将预处理完毕模型410中的与目标7D的目标模型对应的部分设为目标7D的预处理完毕目标模型414。

在模拟装置100具有相机位置计算部121、预处理部122、重新分割部123、以及预处理完毕模型存储部124的情况下，模型校正部113基于预处理完毕模型存储部124存储的预处理完毕模型与实际形状模型生成部112生成的实际形状模型的比较来校正模拟模型。例如，模型校正部113使多个目标模型分别基于对应的预处理完毕目标模型与实际形状模型的比较而与实际形状模型匹配。

此外，在实际形状模型不包含隐藏部分的情况下，或者在能够忽略隐藏部分对目标模型相对于实际形状模型的匹配精度产生的影响的情况下，在模拟模型中生成将虚拟隐藏部分从模拟模型中排除的预处理完毕模型不是必须的。即使在这样的情况下，也可以进行使模拟模型的数据格式与实际形状模型的数据格式一致的预处理。

模拟装置100还可以具有模拟器125。模拟器125基于由模型校正部113校正后的模拟模型来模拟机器***2的动作。例如，模拟器125通过针对模拟模型使其反映机器人4A、4B等的控制对象目标4的动作结果的运动学运算(例如正向运动学运算)来模拟机器***2的动作。

模拟装置100还可以具有程序生成部126。程序生成部126(规划辅助装置)基于模拟器125的模拟结果来辅助机器***2的动作规划。例如，程序生成部126基于模拟器125的模拟结果来评价用于控制机器人4A、4B等的控制对象目标4的动作程序，并反复基于评价结果来校正动作程序，由此生成动作程序。

程序生成部126也可以将该动作程序发送给上级控制器53，以基于生成的动作程序对控制对象目标4进行控制。由此，上级控制器53(控制装置)基于模拟器125的模拟结果来控制机器***。

图20是例示模拟装置100的硬件结构的框图。如图20所示，模拟装置100具有电路190。电路190包括一个或多个处理器191、内存192、存储器193、输入输出端口194和通信端口195。存储器193例如具有非易失性的半导体存储器等能够由计算机读取的存储介质。存储器193至少存储有程序，该程序使模拟装置100执行基于实测数据生成表示机器***2的三维实际形状的实际形状模型、基于机器***2的模拟模型与实际形状模型的比较来校正模拟模型。例如，存储器193存储有用于使模拟装置100构建上述功能上的结构的程序。

内存192暂时存储从存储器193的存储介质加载的程序以及处理器191的运算结果。处理器191通过与内存192协作执行上述程序，构成模拟装置100的各功能块。输入输出端口194按照来自处理器191的指令，在与三维相机54之间进行信息的输入输出。通信端口195按照来自处理器191的指令在与上级控制器53之间进行通信。

此外，电路190不一定限于由程序构成各功能。例如，电路190也可以通过专用的逻辑电路或者集成了该逻辑电路的ASIC(Application Specific Integrated Circuit：专用集成电路)来构成至少一部分的功能。

[建模过程]

接着，作为建模方法的一例，例示了模拟装置100执行的模拟模型的校正过程。该过程包括：基于实测数据生成表示机器***2的三维实际形状的实际形状模型；以及基于机器***2的模拟模型与实际形状模型的比较来校正模拟模型。

如图21所示，模拟装置100首先依次执行步骤S01、S02、S03、S04、S05、S06、S07、S08。在步骤S01中，实际形状模型生成部112获取由多个三维相机54分别拍摄到的机器***2的多个三维实际图像。在步骤S02中，实际形状模型生成部112在步骤S01中获取的多个三维实际图像的每一个中，识别与上述的合成用目标对应的部分。在步骤S03中，实际形状模型生成部112将多个三维实际图像组合而生成实际形状模型，以使的在多个三维实际图像的各个中对应于合成用目标的部分与合成用目标的已知的形状匹配。

在步骤S04中，相机位置计算部121分别在多个三维实际图像中识别与上述校准用目标对应的部分。在步骤S05中，相机位置计算部121针对多个三维虚拟相机的每一个，执行计算三维虚拟相机的位置，以使得三维虚拟图像中的对应于校准用目标的部分与三维实际图像中的对应于校准用目标的部分匹配。在步骤S06中，预处理部122针对多个三维虚拟相机中的每一个执行以下处理：基于三维虚拟相机的位置和模拟模型来计算模拟模型中的未被三维虚拟相机拍到的虚拟隐藏部分。

在步骤S07中，预处理部122基于步骤S06中的虚拟隐藏部分的计算结果，生成将未被多个三维虚拟相机中的任一个拍到的虚拟重叠隐藏部分从模拟模型中排除的预处理完毕模型，并保存于预处理完毕模型存储部124。在步骤S08中，重新分割部123将保存在预处理完毕模型存储部124中的预处理完毕模型分割成与多个目标3分别对应的多个预处理完毕目标模型。

接着，如图22所示，模拟装置100执行步骤S11、S12、S13、S14。在步骤S11中，模型校正部113在多个目标模型中选择未被选择为匹配对象模型的一个以上的目标模型中的最大的目标模型作为匹配对象模型。在步骤S12中，模型校正部113基于与匹配对象模型对应的预处理完毕目标模型与实际形状模型的比较，使匹配对象模型与实际形状模型匹配。

在步骤S13中，模型校正部113将实际形状模型中的与匹配对象模型匹配的部分从下次以后的匹配处理的对象中排除。在步骤S14中，模型校正部113确认针对全部的目标模型的匹配处理是否完成。

在步骤S14中判定为残留有未完成匹配处理的目标模型的情况下，模拟装置100使处理返回到步骤S11。以后，重复进行匹配对象模型的选择和匹配对象模型相对于实际形状模型的匹配，直到针对全部的目标模型的匹配完成为止。

在步骤S14中判定为针对全部的目标模型的匹配处理完成的情况下，模拟装置100执行步骤S15。在步骤S15中，目标追加部114从实际形状模型中提取与任何目标模型都不匹配的部分，基于提取出的部分将新的目标模型追加到模拟模型中。另外，目标删除部115从模拟模型中提取与实际形状模型不匹配的部分，并从模拟模型中删除所提取的部分。以上，模拟模型的校正过程完成。

[本实施方式的效果]

如以上说明的那样，模拟装置100包括：实际形状模型生成部112，基于实测数据生成实际形状模型210，实际形状模型210表示包含机器人4A、4B的机器***2的三维实际形状；以及模型校正部113，基于机器***2的模拟模型310与实际形状模型210的比较来校正模拟模型310。

根据该模拟装置100，能够容易提高模拟模型310的精度。因此，该模拟装置100可有效提高模拟的可靠性。

机器***2包括多个目标3，该多个目标3包括机器人4A、4B，模拟模型310包括分别与多个目标3对应的多个目标模型，模型校正部113也可以使多个目标模型单独地与实际形状模型210匹配来校正模拟模型310。在该情况下，通过针对多个目标模型的每一个进行针对实际形状模型210的匹配，能够以更高的精度校正模拟模型310。

模型校正部113也可以反复进行匹配处理来校正模拟模型310，所述匹配处理包括从多个目标模型中选择一个匹配对象模型以及使匹配对象模型与实际形状模型210匹配。在该情况下，能够容易且可靠地执行多个目标的每个的匹配。

模型校正部113也可以在匹配处理中将已经与其他目标模型匹配的部分从实际形状模型210中排除，来使匹配对象模型与实际形状模型210匹配。在该情况下，能够使新的匹配对象模型与实际形状模型210匹配，而不会受到已经与其他目标模型匹配的部分的影响。因此，能够以更高的精度校正模拟模型310。

模型校正部113也可以在匹配处理中将尚未被选择为匹配对象模型的一个以上的目标模型中的最大的目标模型选择为匹配对象模型。在该情况下，通过从较大的目标模型起依次进行匹配，并将与目标模型匹配的部分从实际形状模型210中排除，从而在各匹配处理中，容易锁定应使匹配对象模型匹配的部分。因此，能够以更高的精度校正模拟模型310。

模拟装置100也可以还包括目标追加部114，在对多个目标模型全部完成匹配处理之后，该目标追加部114从实际形状模型210提取与任何目标模型都不匹配的部分，基于提取出的部分将新的目标模型追加到模拟模型310。在该情况下，能够以更高的精度校正模拟模型310。

模拟装置100也可以还包括目标删除部115，在对多个目标模型全部完成匹配处理之后，该目标删除部115从模拟模型310提取未与实际形状模型210匹配的部分，并从模拟模型310删除所提取的部分。在该情况下，能够以更高的精度校正模拟模型310。

实际形状模型生成部112基于由三维相机54拍摄到的机器***2的三维实际图像来生成实际形状模型230，模拟装置100还包括预处理部122，该预处理部122生成将与未被三维相机54拍到的隐藏部分230a、230b对应的虚拟隐藏部分410a、410b从模拟模型310中排除的预处理完毕模型410，模型校正部113可以基于预处理完毕模型410与实际形状模型210的比较来校正模拟模型310。在该情况下，通过将预处理完毕模型410作为与实际形状模型230的比较对象，能够以更高的精度校正模拟模型310，预处理完毕模型410从模拟模型310中排除了多个目标3中的无法由三维相机54拍到而无法由实际形状模型210表示的部分。

也可以是，实际形状模型生成部112基于由三维相机54拍摄到的机器***2的三维实际图像来生成实际形状模型230，模拟装置100还包括：预处理部122，生成将与机器***2中的未被三维相机54拍到的隐藏部分230a、230b对应的虚拟隐藏部分410a、410b从模拟模型310排除的预处理完毕模型410；以及重新分割部123，将预处理完毕模型410分割为与多个目标3分别对应的多个预处理完毕目标模型，模型校正部113可以使多个目标模型分别基于对应的预处理完毕目标模型与实际形状模型的比较而与实际形状模型210匹配。在该情况下，通过提高多个目标模型的每个的匹配的精度，能够以更高的精度校正模拟模型310。

也可以是，模拟装置100还包括相机位置计算部121，相机位置计算部121计算三维虚拟相机321A、321B的位置，以使得通过利用与三维相机54对应的三维虚拟相机321A、321B拍摄模拟模型310而得到的三维虚拟图像与三维实际图像匹配，预处理部122基于三维虚拟相机321A、321B的位置和模拟模型310来计算虚拟隐藏部分410a、410b。在该情况下，通过使虚拟隐藏部分410a、410b以更高的精度与隐藏部分230a、230b对应，能够以更高的精度校正模拟模型310。

相机位置计算部121也可以计算三维虚拟相机321A、321B的位置，以使得三维虚拟图像中的对应于规定的校准用目标的部分与三维实际图像中的对应于校准用目标的部分匹配。在该情况下，通过限定于与校准用目标对应的部分，进行三维虚拟图像与三维实际图像的匹配，能够更容易校正三维虚拟相机321A、321B的位置。

也可以是，实际形状模型生成部112从包含三维相机54A、54B的多个三维相机54获取多个三维实际图像，将多个三维实际图像组合而生成实际形状模型210，预处理部122生成将与未被多个三维相机54A、54B中的任一个拍到的重叠隐藏部分230c对应的虚拟重叠隐藏部分410c从模拟模型310中排除的预处理完毕模型410。在该情况下，通过虚拟重叠隐藏部分410c的削减，能够以更高的精度校正模拟模型310。

实际形状模型生成部112也可以从包含三维相机54A、54B的多个三维相机54获取包含共同的合成用目标的图像的多个三维实际图像，并将多个三维实际图像组合而生成实际形状模型210，以使在多个三维实际图像的各个中与合成用目标对应的部分与合成用目标的已知的形状匹配。在该情况下，能够容易合成多个三维实际图像，生成隐藏部分少的实际形状模型210。

也可以是，模拟装置100还包括相机位置计算部121，该相机位置计算部121计算多个三维虚拟相机321A、321B的位置，以使得通过利用分别与多个三维相机54A、54B对应的多个三维虚拟相机321A、321B拍摄模拟模型310而得到的多个三维虚拟图像与多个三维实际图像匹配，预处理部122基于多个三维虚拟相机321A、321B的位置和模拟模型310来计算虚拟重叠隐藏部分410c。在该情况下，通过使虚拟重叠隐藏部分410c以更高的精度与重叠隐藏部分230c对应，能够以更高的精度校正模拟模型310。

也可以是，实际形状模型生成部112生成以点群表示机器***2的三维实际形状的实际形状模型210，预处理部122生成用虚拟点群表示模拟模型310的三维虚拟形状的预处理完毕模型410。在该情况下，能够容易评价实际形状模型210与预处理完毕模型410的差异。

也可以是，实际形状模型生成部112生成以点群表示机器***2的三维实际形状的实际形状模型210，模拟装置100还包括预处理部，该预处理部生成以虚拟点群表示模拟模型310的三维虚拟形状的预处理完毕模型410，模型校正部113基于预处理完毕模型410与实际形状模型210的比较来校正模拟模型310。在该情况下，能够容易评价实际形状模型210与预处理完毕模型410的差异。

以上，对实施方式进行了说明，但本公开未必限定于上述的实施方式，在不脱离其主旨的范围内能够进行各种变更。

附图标记说明

2…机器***、3…目标、4A、4B…机器人、50…控制***、53…上级控制器(控制装置)、54、54A、54B…三维相机、100…模拟装置、112…实际形状模型生成部、113…模型校正部、114…目标追加部、115…目标删除部、121…相机位置计算部、122…预处理部、123…重新分割部、125…模拟器、126…程序生成部(规划辅助装置)、210、220、230…实际形状模型、230a、230b…隐藏部分、230c…重叠隐藏部分、310…模拟模型、321A、321B…三维虚拟相机、410…预处理完毕模型、410a、410b…虚拟隐藏部分、410c…虚拟重叠隐藏部分、411、412、413、414…预处理完毕目标模型。

Claims (19)

1.一种模拟装置，包括：

实际形状模型生成部，基于实测数据生成实际形状模型，所述实际形状模型表示包含机器人的机器***的三维实际形状；以及

模型校正部，基于所述机器***的模拟模型与所述实际形状模型的比较来校正所述模拟模型。

2.根据权利要求1所述的模拟装置，其中，

所述机器***包含多个目标，该多个目标包含所述机器人，

所述模拟模型包含分别与所述多个目标对应的多个目标模型，

所述模型校正部将所述多个目标模型单独地与所述实际形状模型匹配来校正所述模拟模型。

3.根据权利要求2所述的模拟装置，其中，

所述模型校正部反复进行匹配处理来校正所述模拟模型，所述匹配处理包含从所述多个目标模型中选择一个匹配对象模型和将所述匹配对象模型与所述实际形状模型匹配。

4.根据权利要求3所述的模拟装置，其中，

所述模型校正部在所述匹配处理中将已与其他目标模型匹配的部分从所述实际形状模型中排除，使所述匹配对象模型与所述实际形状模型匹配。

5.根据权利要求4所述的模拟装置，其中，

所述模型校正部在所述匹配处理中将尚未被选择为所述匹配对象模型的一个以上的目标模型中的最大的目标模型选择为所述匹配对象模型。

6.根据权利要求2至5中任一项所述的模拟装置，还包括：

目标追加部，在对所述多个目标模型全部完成匹配处理之后，所述目标追加部从所述实际形状模型中提取与任何目标模型都不匹配的部分，并基于提取出的部分将新的目标模型追加到所述模拟模型中。

7.根据权利要求2至6中任一项所述的模拟装置，还包括：

目标删除部，该目标删除部在对所述多个目标模型全部完成匹配处理之后，从所述模拟模型中提取未与所述实际形状模型匹配的部分，并从所述模拟模型中删除所提取的部分。

8.根据权利要求1至7中任一项所述的模拟装置，其中，

所述实际形状模型生成部基于由三维相机拍摄到的所述机器***的三维实际图像来生成所述实际形状模型，

所述模拟装置还包括预处理部，所述预处理部生成将与未被所述三维相机拍到的隐藏部分对应的虚拟隐藏部分从所述模拟模型中排除的预处理完毕模型，

所述模型校正部基于所述预处理完毕模型与所述实际形状模型的比较来校正所述模拟模型。

9.根据权利要求2至7中任一项所述的模拟装置，其中，

所述实际形状模型生成部基于由三维相机拍摄到的所述机器***的三维实际图像来生成所述实际形状模型，

所述模拟装置还包括：

预处理部，生成将与所述机器***中的未被所述三维相机拍到的隐藏部分对应的虚拟隐藏部分从所述模拟模型排除的预处理完毕模型；以及

重新分割部，将所述预处理完毕模型分割为与所述多个目标分别对应的多个预处理完毕目标模型，

所述模型校正部使所述多个目标模型分别基于对应的预处理完毕目标模型与所述实际形状模型的比较而与所述实际形状模型匹配。

10.根据权利要求8或9所述的模拟装置，还包括：

相机位置计算部，计算所述三维虚拟相机的位置，以使通过利用与所述三维相机对应的三维虚拟相机拍摄所述模拟模型而得到的三维虚拟图像与所述三维实际图像匹配，

所述预处理部基于所述三维虚拟相机的位置和所述模拟模型来计算所述虚拟隐藏部分。

11.根据权利要求10所述的模拟装置，其中，

所述相机位置计算部计算所述三维虚拟相机的位置，以使得所述三维虚拟图像中的对应于规定的校准用目标的部分与所述三维实际图像中的对应于所述校准用目标的部分匹配。

12.根据权利要求8或9所述的模拟装置，其中，

所述实际形状模型生成部从包含所述三维相机的多个三维相机获取多个三维实际图像，并将多个三维实际图像组合而生成所述实际形状模型，

所述预处理部生成预处理完毕模型，所述预处理完毕模型是将与未被所述多个三维相机中的任一个拍到的重叠隐藏部分对应的虚拟重叠隐藏部分从所述模拟模型中排除后的模型。

13.根据权利要求12所述的模拟装置，其中，

所述实际形状模型生成部从包含所述三维相机的多个三维相机获取包含共同的合成用目标的图像的多个三维实际图像，并将所述多个三维实际图像组合而生成所述实际形状模型，以使得在所述多个三维实际图像的每一个中对应于所述合成用目标的部分与所述合成用目标的已知形状匹配。

14.根据权利要求12或13所述的模拟装置，还包括：

相机位置计算部，计算所述多个三维虚拟相机的位置，以使得通过利用分别与所述多个三维相机对应的多个三维虚拟相机拍摄所述模拟模型而得到的多个三维虚拟图像与所述多个三维实际图像匹配，

所述预处理部基于所述多个三维虚拟相机的位置和所述模拟模型来计算所述虚拟重叠隐藏部分。

15.根据权利要求8至14中任一项所述的模拟装置，其中，

所述实际形状模型生成部生成以点群表示所述机器***的三维实际形状的所述实际形状模型，

所述预处理部生成用虚拟点群表示所述模拟模型的三维虚拟形状的所述预处理完毕模型。

16.根据权利要求1至7中任一项所述的模拟装置，其中，

所述实际形状模型生成部生成以点群表示所述机器***的三维实际形状的所述实际形状模型，

所述模拟装置还包括预处理部，该预处理部生成以虚拟点群表示所述模拟模型的三维虚拟形状的预处理完毕模型，

所述模型校正部基于所述预处理完毕模型与所述实际形状模型的比较来校正所述模拟模型。

17.根据权利要求1至16中任一项所述的模拟装置，还包括：

模拟器，基于所述模拟模型来模拟所述机器***的动作。

18.一种控制***，包括：

权利要求17所述的模拟装置；以及

控制装置，基于所述模拟器的模拟结果来控制所述机器***。

19.一种建模方法，包含以下步骤：

基于实测数据生成实际形状模型，所述实际形状模型表示包含机器人的机器***的三维实际形状；以及

基于所述机器***的模拟模型与所述实际形状模型的比较来校正所述模拟模型。