CN107914124A - 具有机械学习部的操作辅助*** - Google Patents

具有机械学习部的操作辅助*** Download PDF

Info

Publication number
CN107914124A
CN107914124A CN201710908675.XA CN201710908675A CN107914124A CN 107914124 A CN107914124 A CN 107914124A CN 201710908675 A CN201710908675 A CN 201710908675A CN 107914124 A CN107914124 A CN 107914124A
Authority
CN
China
Prior art keywords
operator
mode
attitude
auxiliary system
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710908675.XA
Other languages
English (en)
Other versions
CN107914124B (zh
Inventor
大场雅文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN107914124A publication Critical patent/CN107914124A/zh
Application granted granted Critical
Publication of CN107914124B publication Critical patent/CN107914124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423—Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40198—Contact with human allowed if under pain tolerance limit
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40409—Robot brings object near operator, operator places object in correct position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Multimedia (AREA)
  • General Factory Administration (AREA)
  • Numerical Control (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)

Abstract

本发明提供操作辅助***，即使操作的方法和时机根据操作员的个人差异而不同，也灵活判断状况而辅助操作。操作辅助***(1)具有：传感器部(2)，对操作员(5)的身体中至少一个部位的位置姿态进行检测：供给部(4)，向操作员(5)供给部件或者工具；以及单元控制器(3)，控制供给部(4)，单元控制器(3)具有：基于检测的位置姿态学习操作员(5)的操作状态并组建模型的机械学习部(31)、以及利用组建的模型而判断操作员(5)的操作状态的操作状态判断部(32)，供给部(4)基于判断的操作状态而选择部件或者工具，并基于至少一个部位的上述位置姿态，使部件或者工具的位置姿态发生变化。

Description

具有机械学习部的操作辅助***
技术领域
本发明涉及具有机械学习部的操作辅助***。
背景技术
以往，在生产现场中，在操作员进行装配操作的情况下，操作员自身需要到部件和工具等的保管场所取装配操作所需的这些部件和工具等。其结果，产生时间损耗，存在操作效率降低之类的问题。
为了解决上述问题，专利文献1公开了一种操作支援***，其对操作员的位置进行统计性处理，从而预测操作状况，并根据该操作状况，供给部件和工具。
现有技术文献
专利文献
专利文献1：日本专利第5717033号公报
发明内容
发明要解决的问题
然而，在专利文献1中，不得不考虑根据操作员的个人差异而有可能发生变化的操作的方法和时机，并需要对在操作中有可能产生的各种状况进行预先假定。由此，需要进行每个操作员的手和脚的动作等与操作的各工序的精细的相互对应。
本发明是鉴于上述情况而做出的，其目的在于提供一种操作辅助***，即使操作的方法和时机根据操作员的个人差异等而不同，也能够灵活判断操作状态而辅助操作。
用于解决问题的方案
为了达到上述目的，本发明提供如下方案。
本发明的一个方案是一种操作辅助***，具有：传感器部，对操作员的身体中至少一个部位的位置姿态进行检测；供给部，向所述操作员供给部件或者工具；以及单元控制器，控制该供给部，该单元控制器具有：机械学习部，基于检测的所述位置姿态学习所述操作员的操作状态并组建模型；以及操作状态判断部，利用组建的所述模型而判断所述操作员的操作状态，所述供给部基于判断的所述操作状态而选择所述部件或者工具，并基于所述至少一个部位的所述位置姿态，使所述部件或者工具的位置姿态发生变化。
根据上述本发明的一个方案中的操作辅助***，利用传感器部检测操作员的身体中至少一个部位的位置姿态。基于该检测的位置姿态，利用单元控制器所具备的机械学习部，学习操作员的操作状态并组建模型。而且，使用组建的模型，利用单元控制器所具备的操作状态判断部，判断操作员的操作状态。而且，在供给部中，基于该判断的操作状态，选择应该向操作员供给的部件或者工具。而且，基于操作员的至少一个部位的位置姿态，使部件或者工具的位置姿态发生变化并向操作员供给部件或者工具。
如此，利用通过机械学习而组建的模型，对操作员的操作状态进行判断，因此即使操作的方法和时机根据操作员的个人差异等而不同，也能够灵活判断操作状态而辅助操作。另外，由于不需要所谓操作员与操作的各工序之间的精细的相互对应的事先准备，因此能够提高操作辅助***的导入容易性。
在上述本发明的一个方案的操作辅助***中，利用所述机械学习部组建的所述模型，还可以作为利用经由网络与所述单元控制器连接的其他单元控制器组建的模型而共有。
通过如此，能够提高机械学习的学习效率。
在上述本发明的一个方案的操作辅助***中，还可以是所述供给部具有机器人的结构。
在上述本发明的一个方案的操作辅助***中，还可以是所述机械学习部具有神经网络的结构。
发明效果
根据本发明，起到如下效果：即使操作的方法和时机根据操作员的个人差异而不同，也能够灵活判断状况而辅助操作。另外，起到如下效果：能够提高操作辅助***的导入容易性。
附图说明
图1是表示本发明的一个实施方式的操作辅助***的概略结构的图。
图2是表示图1的操作辅助***所具备的单元控制器的机械学习部的概略结构的框图。
图3是对机械学习部所具备的神经网络进行说明的模式图。
图4是表示在本发明的一个实施方式的操作辅助***中执行的处理的流程图。
图5是表示在本发明的一个实施方式的操作辅助***中使用的操作表的一例的图表。
图6是与图5的操作表相对应的状态转变图。
附图标记说明
1：操作辅助***
2：传感器部
3：单元控制器
4：供给部
5：操作员
31：机械学习部
32：操作状态判断部
41：协作机器人
具体实施方式
下面，对本发明的一个实施方式的操作辅助***，参照附图进行说明。
如图1所示，操作辅助***1具有传感器部2、连接传感器部2的单元控制器3、以及连接单元控制器3的供给部4。
传感器部2具有多个作为视觉传感器的摄像机21，并构成为依次检测操作员5的身体的各部位(例如，手、脚、头等)的位置姿态。在本实施方式中，具有两台摄像机21，但具有一台以上的摄像机21即可。
单元控制器3基于由传感器部2检测出的操作员5的身体的各部位的位置姿态，判断操作员现处在何种操作状态。单元控制器3具有未图示的处理器、以及未图示的ROM(ReadOnly Memory)、RAM(Random Access Memory)等存储装置，并利用处理器对下述的各功能进行处理。单元控制器3具有作为功能块的机械学习部31、操作状态判断部32。
如图2所示，机械学习部31具有输入数据接收部311、标记获取部312、以及学习部313。
输入数据接收部311接收由传感器部2检测出的操作员5的身体的各部位的位置姿态作为输入数据，实施用于进行机械学习的正规化等的前处理，并将实施前处理之后的学习用数据X＝{x1，x2，...xn}供给到学习部313中。
标记获取部312获取有教师的学习时所需的教师数据、即标记，实施用于进行机械学习的正规化等的前处理，并将实施前处理之后的学习用标记D＝{d1，d2，...dm}供给到学习部313中。
学习部313基于输入数据接收部311的学习用数据X、以及用标记获取部312实施前处理之后的学习用标记D，组建学习模型(模型)3131。学习模型3131通过将大量的学习用输入数据X与学习用标记D的组提供给学习部313中而组建。
在组建学习模型3131时，使用如图3所示的神经网络。如图3所示，将中间层做成三层以上，从而适于进行通过深层学习的学习。
通过学习，对于提供给图3所示的神经网络的所有的学习用输入数据X与学习用标记D的组，确定误差||D－Y||2的合计为最小的权重W，并组建学习模型3131。
此外，提供给机械学习部31的输入数据，是操作员5的身体中至少一个部位的位置姿态，例如是手和脚的位置姿态。另外，提供给机械学习部31的标记是操作状态。而且，机械学习部31的输出、即、学习模型的输出Y＝{y1，y2，...ym}，例如是有可能为相应的操作状态的概率。
另外，如图2所示，学习模型3131也可以经由网络与其他单元控制器连接，作为该其他单元控制器所具备的机械学习部的学习模型而共有。
通过如此，能够提高学习模型3131的学习效率。
如图1所示，操作状态判断部32基于由传感器部2检测出的操作员5的身体的各部位的位置姿态、以及由机械学习部31组建的学习模型3131，判断当前的操作状态。
供给部4基于由单元控制器3判断的当前的操作状态，向操作员5提供工具或者部件。具体而言，供给部4具有协作机器人41、对协作机器人41进行控制的机器人控制装置42、以及放置台43。
在协作机器人41的臂前端部安装有作为末端执行器的手6和未图示的摄像机，协作机器人41根据来自机器人控制装置42的指令，把持放置台43上的部件，并提供给操作员5。
机器人控制装置42具有互相经由总线而连接的未图示的处理器、ROM(Read OnlyMemory)、RAM(Random Access Memory)等存储装置、在与协作机器人41之间进行各种数据的交换的外部接口等，利用处理器执行针对协作机器人41的控制命令。机器人控制装置42基于由单元控制器3判断的操作状态、储存于存储装置中的操作表、来自安装于协作机器人41上的摄像机的信息，控制协作机器人41。更具体而言，机器人控制装置42在储存于存储装置中的操作表内检索从单元控制器3接收的操作状态，并命令协作机器人41执行与相应的操作状态相互对应的机器人动作。另外，机器人控制装置42基于利用安装于协作机器人41上的摄像机进行拍摄的操作员5的手掌的图像，检测出手掌的位置姿态，并以针对每个部件和工具预先设定的坐标系和表现手掌的位置姿态的坐标系相一致的方式使协作机器人41进行动作。
放置台43是放置操作所需的工具和部件的台，但还可以是部件搁架、托盘、工具箱等。
另外，也可以不在协作机器人41上设置摄像机，而在固定位置上安装摄像机，并且摄像机与机器人控制装置42连接，然后基于来自摄像机的信息，把持放置台43上的部件，并向操作员5供给。
下面，对利用如上所述构成的操作辅助***1进行的操作辅助方法，参照图1以及图4进行说明。
首先，利用传感器部2，依次测量操作员5的各部位的位置姿态(图4的步骤S1)。然后，利用单元控制器3的操作状态判断部32，基于所测量的操作员5的各部位的位置姿态，判断操作姿态(图4的步骤S2)。其次，利用机器人控制装置42，依次监控从单元控制器3接收的操作状态，判断操作状态是否已替换(图4的步骤S3)。在判断出操作状态无变化的情况下，重复步骤S1以及步骤S2，在判断出操作状态已替换的情况下，进入下一个处理。
若判断出操作状态已替换，则利用机器人控制装置42，在储存于存储装置中的操作表内检索替换之后的操作状态。而且，对协作机器人41发送控制命令，以使协作机器人41进行与相应的操作状态相互对应的机器人动作。
原则上，机器人动作是向操作员5供给工具或者部件的动作。从而，首先，协作机器人41按照来自机器人控制装置42的控制命令，从放置台43选择工具或者部件并利用手6进行把持，从而进行用于向操作员5供给工具或者部件的准备(图4的步骤S4)。
之后，利用安装于协作机器人41上的摄像机拍摄包含操作员5的手掌的图像，利用机器人控制装置42测量操作员5的手掌的位置状态(图4的步骤S5)。而且，利用机器人控制装置42控制协作机器人41，以操作员5的手掌的位置姿态与预先设定于工具或者部件上的坐标系相一致的方式，使协作机器人41进行移动(图4的步骤S6)。
接着，判断工具或者部件是否到达操作员5的手掌的位置(图4的步骤S7)。此外，该判断既可以基于利用协作机器人41的摄像机拍摄的图像而进行，也可以在协作机器人41的手6上安装力传感器，并基于来自该力传感器的反馈而进行。
在判断出未到达操作员5的手掌的位置的情况下，重复步骤S5以及步骤S6，在判断出已到达操作员5的手掌的位置的情况下结束处理。
实施例
下面，作为适用本实施方式的操作辅助***1的实施例，举例说明以下操作，在一个底盘上用手安装一个盖，之后，利用一个旋具以及四个螺钉进行四个部位的螺纹紧固。
作为该操作的工序，如图5所示，包括盖安装工序、和螺纹紧固工序。盖安装工序中的操作员5的操作状态是等待底盘状态、等待盖状态、盖安装操作中的状态。螺纹紧固工序中的操作员5的操作状态是等待旋具状态、等待螺钉状态、螺纹紧固操作中的状态。由于有四个螺钉，因此等待螺钉状态以及螺纹紧固操作中的状态分别为各四个。
如图6所示，上述各操作状态通过预定的动作，在各操作状态之间转变。即，若利用协作机器人41供给底盘，则等待底盘状态转变为等待盖状态。若利用协作机器人41供给盖，则等待盖状态转变为盖安装操作中的状态。通过操作员5的操作结束，从而盖安装操作中的状态转变为等待旋具状态。若利用协作机器人41供给旋具，则等待旋具状态转变为等待螺钉状态。若利用协作机器人41供给螺钉，则等待螺钉状态转变为螺纹紧固操作中的状态。通过操作员5的操作结束，从而螺纹紧固操作中的状态转变为等待螺钉状态。在本实施例中，由于进行四个部位的螺纹紧固，因此重复四次的等待螺钉状态以及螺纹紧固操作中的状态之间的转变之后，完成操作。
在图5所示的操作表上，相对于各操作状态，相互对应有用于使该操作状态转变为其他操作状态的机器人动作。此外，由于盖安装操作中的状态以及螺纹紧固操作中的状态，通过操作员5的动作而转变为下一个状态，因此作为机器人动作，成为待机状态。只是，为了实现操作的效率化，优选选择工具或者部件并把持之后，进入待机状态，以便能够立刻向操作员5供给在下一个操作中使用的工具或者部件。
图5所示的操作表预先制作，并储存于机器人控制装置42的存储装置中。
在本实施例中，作为学习用数据X，使用对操作员5的手、头部以及脚尖的位置姿态进行正规化的数据。学习用标记D是对“等待底盘”、“等待盖”、“盖安装操作中”、“等待旋具”、“等待螺钉”以及“螺纹紧固操作中”这六个操作状态进行正规化的标记。将大量的这些学习用数据X与学习用标记D的组提供给学习部313，从而组建学习模型3131。
由此，在操作状态判断部32中，若对学习模型3131输入在实际操作中获取的操作员5的手、头部以及脚尖的位置姿态的数据，则作为输出Y，输出当前的操作处于何种操作状态的概率。操作状态判断部32判断具有最高概率的操作状态是当前的操作状态，并将当前的操作状态发送到机器人控制装置42。例如，在“等待底盘”的概率为最高的情况下，将“等待底盘”作为当前的操作状态并发送到机器人控制装置42。
机器人控制装置42从储存于内部的存储装置中的操作表中检索“等待底盘”，作为与此相互对应的机器人动作而得到“底盘供给”。然后，机器人控制装置42控制协作机器人41，以使协作机器人41进行“底盘供给”。
协作机器人41从放置台43拾取底盘，并向操作员5供给。在该情况下，以操作员5的手掌的位置姿态与预先设定于底盘上的坐标系相一致的方式，向操作员5供给底盘。
以相同的方式，反复进行上述的处理，直至操作表上的所有的操作状态结束。
如此，由于使用通过机械学习而组建的学习模型3131来判断操作员5的操作状态，因此即使操作的方法和时机根据操作员5的个人差异等而不同，也能够灵活判断操作状态而辅助操作。另外，由于不需要所谓操作员5与操作的各工序之间的精细的相互对应的事先准备，因此能够提高操作辅助***1的导入容易性。
如上所述，对本发明的实施方式参照附图进行了详细说明，但具体的结构不限于这些实施方式，还包含不脱离本发明的宗旨的范围的设计变更等。
例如，在上述实施方式中，由安装于协作机器人41上的摄像机拍摄了用于测量操作员5的手掌的位置姿态的图像，但代替安装于协作机器人41上的摄像机，也可以使用传感器部2所具备的摄像机21。

Claims (4)

1.一种操作辅助***，其特征在于，具有：
传感器部，对操作员的身体中至少一个部位的位置姿态进行检测；
供给部，向所述操作员供给部件或者工具；以及
单元控制器，控制该供给部，
该单元控制器具有：
机械学习部，基于检测的所述位置姿态，学习所述操作员的操作状态并组建模型；以及操作状态判断部，利用组建的所述模型而判断所述操作员的操作状态，
所述供给部基于判断的所述操作状态而选择所述部件或者工具，并基于所述至少一个部位的所述位置姿态，使所述部件或者工具的位置姿态发生变化。
2.根据权利要求1所述的操作辅助***，其特征在于，
利用所述机械学习部组建的所述模型，作为利用经由网络与所述单元控制器连接的其他单元控制器组建的模型而共有。
3.根据权利要求1或2所述的操作辅助***，其特征在于，
所述供给部具有机器人。
4.根据权利要求1至3中任一项所述的操作辅助***，其特征在于，
所述机械学习部具有神经网络。
CN201710908675.XA 2016-10-07 2017-09-29 具有机械学习部的操作辅助*** Active CN107914124B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016198717A JP6662746B2 (ja) 2016-10-07 2016-10-07 機械学習部を備えた作業補助システム
JP2016-198717 2016-10-07

Publications (2)

Publication Number Publication Date
CN107914124A true CN107914124A (zh) 2018-04-17
CN107914124B CN107914124B (zh) 2021-11-19

Family

ID=61695695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710908675.XA Active CN107914124B (zh) 2016-10-07 2017-09-29 具有机械学习部的操作辅助***

Country Status (4)

Country Link
US (1) US10603793B2 (zh)
JP (1) JP6662746B2 (zh)
CN (1) CN107914124B (zh)
DE (1) DE102017123088B4 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10675766B1 (en) * 2017-08-28 2020-06-09 Disney Enterprises, Inc. System for introducing physical experiences into virtual reality (VR) worlds
IT201800006156A1 (it) * 2018-06-08 2019-12-08 Metodo di controllo predittivo di un robot e relativo sistema di controllo
WO2020066850A1 (ja) * 2018-09-27 2020-04-02 パナソニックＩｐマネジメント株式会社 搬送システム、搬送装置の制御方法及びプログラム
JP6826086B2 (ja) 2018-09-28 2021-02-03 ファナック株式会社 状態判定装置及び状態判定方法
US11077559B2 (en) * 2018-12-05 2021-08-03 Honda Motor Co., Ltd. Support robot and methods of use thereof
US10866579B2 (en) * 2019-03-01 2020-12-15 Toyota Motor Engineering & Manufacturing North America, Inc. Automated manufacturing process tooling setup assist system
JP6940542B2 (ja) * 2019-03-14 2021-09-29 ファナック株式会社 把持力調整装置及び把持力調整システム
JP7021158B2 (ja) * 2019-09-04 2022-02-16 株式会社東芝 ロボットシステムおよび駆動方法
JP7448327B2 (ja) 2019-09-26 2024-03-12 ファナック株式会社 作業員の作業を補助するロボットシステム、制御方法、機械学習装置、及び機械学習方法
JP7362107B2 (ja) * 2019-09-30 2023-10-17 Ｊｏｈｎａｎ株式会社 制御装置、制御方法およびプログラム
JP2022156507A (ja) * 2021-03-31 2022-10-14 Ｊｏｈｎａｎ株式会社 ロボット制御システム、および制御装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005199383A (ja) * 2004-01-15 2005-07-28 Sony Corp 動的制御装置および動的制御装置を用いた２足歩行移動体
CN101669084A (zh) * 2007-03-15 2010-03-10 诺基亚公司 用于姿态检测的装置、方法和***
EP2286963A1 (en) * 2009-05-22 2011-02-23 Kanto Auto Works, Ltd. Work-assisting robot system
CN102402712A (zh) * 2011-08-31 2012-04-04 山东大学 基于神经网络的机器人强化学习初始化方法
CN103170973A (zh) * 2013-03-28 2013-06-26 上海理工大学 基于Kinect摄像机的人机协作装置及方法
CN203062094U (zh) * 2012-12-31 2013-07-17 徐州润物科技发展有限公司 激光切割工业机器人
CN103249368A (zh) * 2010-11-11 2013-08-14 约翰霍普金斯大学 人机协作机器人***
CN103347662A (zh) * 2011-01-27 2013-10-09 松下电器产业株式会社 机器人手臂的控制装置及控制方法、机器人、机器人手臂控制程序以及集成电路
JP2014018927A (ja) * 2012-07-19 2014-02-03 Toyota Motor East Japan Inc 作業支援システム
US8718822B1 (en) * 2011-05-06 2014-05-06 Ryan Hickman Overlaying sensor data in a user interface
US20150217444A1 (en) * 2014-01-13 2015-08-06 Massachusetts Institute Of Technology Wearable Robot Assisting Manual Tasks
CN104985599A (zh) * 2015-07-20 2015-10-21 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人控制方法、***及智能机器人
US20150352719A1 (en) * 2014-06-05 2015-12-10 Canon Kabushiki Kaisha Apparatus, method for controlling apparatus, and storage medium
CN105718857A (zh) * 2016-01-13 2016-06-29 兴唐通信科技有限公司 一种人体异常行为检测方法及***
US20160224892A1 (en) * 2015-01-29 2016-08-04 Panasonic Intellectual Property Management Co., Ltd. Transfer learning apparatus, transfer learning system, transfer learning method, and recording medium
CN105913117A (zh) * 2016-04-04 2016-08-31 北京工业大学 一种计算机智能识别的相关神经网络方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56135588A (en) * 1980-03-28 1981-10-23 Kunimine Kogyo Kk Bentonite for drilling mud and production thereof
JPS5717033A (en) 1980-07-02 1982-01-28 Mitsubishi Electric Corp Voltage stabilizing circuit
JPH01199753A (ja) * 1988-02-05 1989-08-11 Fanuc Ltd 工具交換の制御方法
JP2003080484A (ja) 2001-09-07 2003-03-18 Tomy Co Ltd 動作反応玩具
JP2005219161A (ja) * 2004-02-05 2005-08-18 Matsushita Electric Ind Co Ltd ロボット把持制御装置及びロボット把持制御システム
JP4682217B2 (ja) * 2007-03-07 2011-05-11 パナソニック株式会社 行動制御装置、方法、プログラム
JP5022868B2 (ja) * 2007-11-16 2012-09-12 キヤノン株式会社 情報処理装置、情報処理方法
JP5201968B2 (ja) * 2007-12-10 2013-06-05 サンデン株式会社 コンプレッサトルク推定装置
JP4803212B2 (ja) 2008-05-28 2011-10-26 ソニー株式会社 データ処理装置、データ処理方法、及びプログラム
JP5336896B2 (ja) * 2009-03-24 2013-11-06 株式会社国際電気通信基礎技術研究所 対物行動推定装置およびサービス提供システム
US20130245882A1 (en) 2012-03-14 2013-09-19 Christopher P. Ricci Removable, configurable vehicle console
JP2013184273A (ja) 2012-03-09 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
JP2015071206A (ja) * 2013-10-03 2015-04-16 セイコーエプソン株式会社 制御装置、ロボット、教示データ生成方法及びプログラム
JP6291922B2 (ja) * 2014-03-11 2018-03-14 アイシン精機株式会社 睡眠深度判定装置
US10311303B2 (en) 2014-05-22 2019-06-04 Sony Corporation Information processing apparatus, information processing method, and program
WO2015186436A1 (ja) * 2014-06-06 2015-12-10 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US9469028B2 (en) * 2014-09-30 2016-10-18 Toyota Jidosha Kabushiki Kaisha Robotic handover system natural for humans

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005199383A (ja) * 2004-01-15 2005-07-28 Sony Corp 動的制御装置および動的制御装置を用いた２足歩行移動体
CN101669084A (zh) * 2007-03-15 2010-03-10 诺基亚公司 用于姿态检测的装置、方法和***
EP2286963A1 (en) * 2009-05-22 2011-02-23 Kanto Auto Works, Ltd. Work-assisting robot system
CN103249368A (zh) * 2010-11-11 2013-08-14 约翰霍普金斯大学 人机协作机器人***
CN103347662A (zh) * 2011-01-27 2013-10-09 松下电器产业株式会社 机器人手臂的控制装置及控制方法、机器人、机器人手臂控制程序以及集成电路
US8718822B1 (en) * 2011-05-06 2014-05-06 Ryan Hickman Overlaying sensor data in a user interface
CN102402712A (zh) * 2011-08-31 2012-04-04 山东大学 基于神经网络的机器人强化学习初始化方法
JP2014018927A (ja) * 2012-07-19 2014-02-03 Toyota Motor East Japan Inc 作業支援システム
CN203062094U (zh) * 2012-12-31 2013-07-17 徐州润物科技发展有限公司 激光切割工业机器人
CN103170973A (zh) * 2013-03-28 2013-06-26 上海理工大学 基于Kinect摄像机的人机协作装置及方法
US20150217444A1 (en) * 2014-01-13 2015-08-06 Massachusetts Institute Of Technology Wearable Robot Assisting Manual Tasks
US20150352719A1 (en) * 2014-06-05 2015-12-10 Canon Kabushiki Kaisha Apparatus, method for controlling apparatus, and storage medium
US20160224892A1 (en) * 2015-01-29 2016-08-04 Panasonic Intellectual Property Management Co., Ltd. Transfer learning apparatus, transfer learning system, transfer learning method, and recording medium
CN104985599A (zh) * 2015-07-20 2015-10-21 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人控制方法、***及智能机器人
CN105718857A (zh) * 2016-01-13 2016-06-29 兴唐通信科技有限公司 一种人体异常行为检测方法及***
CN105913117A (zh) * 2016-04-04 2016-08-31 北京工业大学 一种计算机智能识别的相关神经网络方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄彬: "《智能空间中人的行为识别与理解》", 《中国优秀博士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
DE102017123088A1 (de) 2018-04-12
JP6662746B2 (ja) 2020-03-11
DE102017123088B4 (de) 2021-01-28
US20180126558A1 (en) 2018-05-10
JP2018058178A (ja) 2018-04-12
US10603793B2 (en) 2020-03-31
CN107914124B (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN107914124A (zh) 具有机械学习部的操作辅助***
US11279030B2 (en) Systems, devices, articles, and methods for using trained robots
CN104589354B (zh) 机器人控制装置、机器人***以及机器人
CN109333506B (zh) 一种人形智能机器人***
JP6873941B2 (ja) ロボット作業システム、及びロボット作業システムの制御方法
CN104552291B (zh) 机器人控制装置、机器人***、机器人以及机器人控制方法
JP6312264B2 (ja) 冗長自由度を伴うロボットマニピュレータの制約
JP5512048B2 (ja) ロボットアームの制御装置及び制御方法、ロボット、制御プログラム、並びに、集積電子回路
JP2019093461A (ja) 把持システム、学習装置、把持方法、及び、モデルの製造方法
CN107921620A (zh) 远程操作机器人***
CN106737662A (zh) 机器人***
JP2011067941A (ja) 人間型ロボットのための視覚認知システムおよび方法
US20170277167A1 (en) Robot system, robot control device, and robot
JP2019084601A (ja) 情報処理装置、把持システムおよび情報処理方法
CN108927801B (zh) 一种机械臂末端姿态调整方法及装置
US20220212340A1 (en) Control device, control system, mechanical apparatus system, and controlling method
JP2020082322A (ja) 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
JP2019069493A (ja) ロボットシステム
CN108066008B (zh) 辅助手术的医疗仪器控制方法及***
JP2008009899A (ja) 組立作業用ロボットの自動教示システム及び教示方法
JPH05108108A (ja) コンプライアンス制御方法及び制御装置
JPWO2019239562A1 (ja) 機械学習装置及びこれを備えたロボットシステム
CN106647248B (zh) 一种确定串联机器人反解结果的方法及装置
CN114080304A (zh) 控制装置、控制方法及控制程序
JP4285279B2 (ja) ロボットに搭載されたステレオ・カメラの診断用装置、並びにロボット装置に搭載されたステレオ・カメラの診断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant