CN114728396A - 控制装置、控制***、机器人***以及控制方法 - Google Patents

控制装置、控制***、机器人***以及控制方法 Download PDF

Info

Publication number
CN114728396A
CN114728396A CN202080079029.7A CN202080079029A CN114728396A CN 114728396 A CN114728396 A CN 114728396A CN 202080079029 A CN202080079029 A CN 202080079029A CN 114728396 A CN114728396 A CN 114728396A
Authority
CN
China
Prior art keywords
grinding
robot
command
data
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080079029.7A
Other languages
English (en)
Other versions
CN114728396B (zh
Inventor
米本臣吾
上月崇功
赤松政彦
莲沼仁志
扫部雅幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Publication of CN114728396A publication Critical patent/CN114728396A/zh
Application granted granted Critical
Publication of CN114728396B publication Critical patent/CN114728396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q15/00—Automatic control or regulation of feed movement, cutting velocity or position of tool or work
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B27/00—Other grinding machines or devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/005—Manipulators for mechanical processing tasks
    • B25J11/0065—Polishing or grinding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B25J13/065—Control stands, e.g. consoles, switchboards comprising joy-sticks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39298—Trajectory learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40391—Human to robot skill transfer
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

控制装置(20)具备：自动指令生成部(20g)，其生成使机器人(10)自动地磨削磨削对象部分的指令；手动指令生成部(20f)，其根据操作装置(40)的操作信息生成使上述机器人磨削磨削对象部分的指令；动作控制部(20h)，其根据上述指令控制上述机器人的动作；存储部(20r)，其存储磨削对象部分的图像数据以及上述机器人的与针对上述图像数据的状态的上述磨削对象部分的上述指令对应的动作数据；以及学习部(20a)，其使用磨削对象部分的图像数据与针对上述图像数据的状态的上述磨削对象部分的上述动作数据进行机械学习，以上述图像数据为输入数据且以与上述动作数据对应的动作对应指令为输出数据，上述自动指令生成部基于上述动作对应指令生成上述指令。

Description

控制装置、控制***、机器人***以及控制方法
相关申请的交叉引用
本申请主张于2019年11月15日在日本专利局申请的日本特愿2019－207333号的优先权，通过参照将其整体引用为本申请的一部分。
技术领域
本发明涉及控制装置、控制***、机器人***以及控制方法。
背景技术
以往，公开了一种根据作业内容来切换机器人的自动运转与手动运转的技术。例如，专利文献1公开了机器人的远程操作控制装置。远程操作控制装置当在环境模型中的对象物体的位置姿势与由照相机捕捉的作业环境中的对象物体的位置姿势之间检测出阈值以上的错位的情况下，使机器人从自动运转自动地移至手动运转。环境模型包含与作业环境中的对象物体的位置姿势以及机器人的操作所需的作业环境中的定位有关的信息等。
专利文献1：日本特开2003－311661号公报
近年来，研究了不包含手动运转的机器人的作业的自动化。然而，例如，在焊接部分的磨削作业中，凹凸状态等的焊接部分的状态并非一样。另外，焊接部分的状态在每个焊接部分都不同，并非千篇一律。这样的磨削作业的内容可能在每个焊接部分都变化，因此机器人的自动化较困难。
发明内容
本发明的目的在于，提供实现使用了机器人的磨削作业的自动化的控制装置、控制***、机器人***以及控制方法。
为了实现上述目的，本发明的一个方式的控制装置是使用磨削装置进行磨削作业的机器人的控制装置，具备：自动指令生成部，其生成用于使上述机器人自动地磨削磨削对象部分的自动动作指令；手动指令生成部，其根据从用于操作上述机器人的操作装置输出的操作信息，生成用于使上述机器人磨削磨削对象部分的手动动作指令；动作控制部，其根据上述动作指令控制上述机器人的磨削作业的动作；存储部，其存储磨削对象部分的图像数据以及上述机器人的与针对上述图像数据的状态的上述磨削对象部分生成的上述动作指令对应的动作数据；以及学习部，其使用磨削对象部分的图像数据与针对上述图像数据的状态的上述磨削对象部分的上述动作数据进行机械学习，以上述图像数据为输入数据且以与上述动作数据对应的动作对应指令为输出数据，上述自动指令生成部基于上述学习部的上述动作对应指令生成上述自动动作指令。
另外，本发明的一个方式的控制***具备本发明的一个方式的控制装置与用于操作上述机器人的上述操作装置。
另外，本发明的一个方式的机器人***具备：本发明的一个方式的控制装置、上述机器人、用于操作上述机器人的上述操作装置以及拍摄装置，上述拍摄装置将拍摄到磨削对象部分的图像数据输出至上述控制装置。
另外，本发明的一个方式的控制方法向学习模型输入磨削对象部分的图像数据作为输入数据，使学习模型输出机器人的动作对应指令作为输出数据，基于上述动作对应指令生成用于使上述机器人自动地磨削上述磨削对象部分的自动动作指令，根据从用于操作上述机器人的操作装置输出的操作信息生成用于使上述机器人磨削上述磨削对象部分的手动动作指令，根据上述动作指令控制上述机器人的磨削作业的动作，使上述学习模型使用上述磨削对象部分的图像数据以及与针对上述图像数据的状态的上述磨削对象部分生成的上述动作指令对应的上述机器人的动作数据进行机械学习，由上述学习模型输出的上述动作对应指令是与上述机器人的动作数据对应的指令。
根据本发明的技术，能够进行使用了机器人的磨削作业的自动化。
附图说明
图1是表示实施方式的机器人***的一个例子的简图。
图2是表示实施方式的机器人***的功能构成的一个例子的框图。
图3是表示实施方式的末端执行器的结构的一个例子的侧视图。
图4是表示实施方式的操作装置的结构的一个例子的立体图。
图5是表示实施方式的控制装置的硬件构成的一个例子的框图。
图6是表示神经网络的模型的一个例子的图。
图7是表示神经网络的模型的另一个例子的图。
图8是表示实施方式的学习部的功能构成的一个例子的框图。
图9是表示实施方式的机器人***的第2自动运转模式下的动作的一个例子的流程图。
图10是表示实施方式的机器人***的第1学习模式下的动作的一个例子的流程图。
图11是表示机器人的磨削对象区域的根据教示数据的磨削动作的一个例子的图。
图12是表示机器人的磨削对象区域的根据操作信息的磨削作业结果的一个例子的图。
图13是表示实施方式的机器人***的第2学习模式下的动作的一个例子的流程图。
图14是表示包含多个磨削对象区域的对象物的一个例子的俯视图。
图15是表示图1的机器人***中的各坐标系的一个例子的图。
具体实施方式
首先，对本发明的示例进行说明。本发明的一个方式的控制装置是使用磨削装置进行磨削作业的机器人的控制装置，具备：自动指令生成部，其生成用于使上述机器人自动地磨削磨削对象部分的自动动作指令；手动指令生成部，其根据从用于操作上述机器人的操作装置输出的操作信息，生成用于使上述机器人磨削磨削对象部分的手动动作指令；动作控制部，其根据上述动作指令控制上述机器人的磨削作业的动作；存储部，其存储磨削对象部分的图像数据以及上述机器人的与针对上述图像数据的状态的上述磨削对象部分生成的上述动作指令对应的动作数据；以及学习部，其使用磨削对象部分的图像数据与针对上述图像数据的状态的上述磨削对象部分的上述动作数据进行机械学习，以上述图像数据为输入数据且以与上述动作数据对应的动作对应指令为输出数据，上述自动指令生成部基于上述学习部的上述动作对应指令生成上述自动动作指令。
根据上述方式，学习部使用磨削对象部分的图像数据以及机器人的与针对该图像数据的状态的磨削对象部分的动作指令对应的动作数据作为学习用数据来进行机械学习。由此，学习部能够根据图像数据所表示的各种磨削对象部分的状态使用适当的机器人的动作数据来进行机械学习。这样的学习部若被输入磨削对象部分的图像数据，则根据该磨削对象部分的状态输出与适当的动作数据对应的动作对应指令。自动指令生成部能够基于由上述那样的学习部输出的动作对应指令，生成提高了磨削精度的自动动作指令。因此，控制装置能够进行使用了机器人的磨削作业的自动化，另外，能够提高自动化的磨削作业的精度。
在本发明的一个方式的控制装置中，上述学习部也可以使用磨削对象部分的图像数据以及与针对上述图像数据的状态的上述磨削对象部分生成的上述手动动作指令对应的上述动作数据来进行机械学习。
根据上述方式，学习部能够使用反映了作为机器人的操作人员的用户的熟练的磨削作业技术的动作数据进行机械学习。由这样的学习部输出的动作对应指令能够针对输入图像数据所表示的磨削对象部分的状态反映出适当的磨削作业技术。自动指令生成部能够基于上述那样的动作对应指令，生成反映了熟练的磨削作业技术的高磨削精度的自动动作指令。
在本发明的一个方式的控制装置中，上述学习部也可以使用磨削对象部分的图像数据、以及与针对上述图像数据的状态的上述磨削对象部分生成的上述自动动作指令和上述手动动作指令对应的上述动作数据来进行机械学习。
根据上述方式，在机器人对磨削对象部分执行了自动运转以及手动运转的情况下，学习部能够使用与针对该磨削对象部分的自动动作指令和手动动作指令对应的动作数据来进行机械学习。
在本发明的一个方式的控制装置中，也可以是：上述手动指令生成部在上述机器人的根据上述自动动作指令的动作中，经由上述操作装置接受修正操作信息的输入，根据上述修正操作信息生成作为上述手动动作指令的修正手动动作指令，上述修正操作信息是用于修正上述机器人的动作的上述操作信息，上述学习部使用上述磨削对象部分的图像数据、以及与针对上述图像数据的状态的上述磨削对象部分生成的上述自动动作指令和上述修正手动动作指令对应的上述动作数据来进行机械学习。
根据上述方式，在对机器人的自动运转施加了基于手动运转的修正的情况下，学习部能够使用与自动动作指令和修正手动动作指令对应的动作数据来进行机械学习。因此，自动指令生成部能够生成反映了对自动运转的动作的修正的自动动作指令。
在本发明的一个方式的控制装置中，也可以是：上述自动指令生成部生成：第1自动动作指令，其是上述机器人根据预先决定的动作顺序自动地磨削磨削对象部分的第1磨削作业用的上述自动动作指令；以及第2自动动作指令，其是上述机器人在上述第1磨削作业后基于上述学习部的上述动作对应指令自动地磨削上述磨削对象部分的第2磨削作业用的上述自动动作指令，上述自动指令生成部基于上述学习部以上述磨削对象部分的图像数据为输入数据而输出的上述动作对应指令来生成上述第2自动动作指令。
根据上述方式，第2磨削作业能够进行与第1磨削作业后的磨削对象部分的状态对应的磨削作业。例如，第2磨削作业能够应用于针对第1磨削作业后的磨削对象部分的修整或者精磨用的磨削。因此，能够提高磨削对象部分的完成的结果。另外，第1磨削作业后的第2磨削作业的磨削处理量能够变少，因此能够减少学习部的处理量。因此，能够减少磨削作业的所需时间。
在本发明的一个方式的控制装置中，也可以是：上述自动指令生成部生成第3自动动作指令，其是自动地磨削未磨削的磨削对象部分的第3磨削作业用的上述自动动作指令，上述自动指令生成部基于上述学习部以上述磨削对象部分的图像数据为输入数据而输出的上述动作对应指令来生成上述第3自动动作指令。
根据上述方式，第3磨削作业能够进行与未磨削的磨削对象部分的状态对应的磨削作业。例如，第3磨削作业能够应用于对磨削对象部分进行的从粗磨到精磨用的磨削。此外，未磨削的磨削对象部分可以是完全未磨削的磨削对象部分，也可以是稍微被磨削的磨削对象部分。例如，未磨削的磨削对象部分也可以是未接受自动运转下的机器人的磨削的磨削对象部分。
在本发明的一个方式的控制装置中，上述学习部也可以使用包含神经网络在内的学习模型进行机械学习以及输入输出。
根据上述方式，包含神经网络的学习模型能够进行灵活且高精度的处理。因此，学习部能够相对于多样的输入数据输出高精度的输出数据。
在本发明的一个方式的控制装置中，上述学习部也可以使用表示磨削对象部分的各位置的三维位置的数据作为上述图像数据。
根据上述方式，学习部的机械学习以及输入数据的图像数据所表示的、磨削对象部分的状态的精度提高。例如，图像数据能够表示磨削对象部分的凹凸形状等三维形状。由此，学习部的机械学习的精度提高。因此，自动指令生成部能够根据磨削的完成的结果等生成较高的磨削精度的自动动作指令。
本发明的一个方式的控制装置也可以还包括第1图像处理部，该第1图像处理部对磨削对象部分的图像进行处理，由此检测上述磨削对象部分的各位置的三维位置，并且生成表示上述各位置的三维位置的上述图像数据。
根据上述方式，控制装置能够生成表示磨削对象部分的各位置的三维位置的图像数据。
本发明的一个方式的控制装置也可以还包括第1图像处理部，该第1图像处理部基于使用包含无反射光源与照相机的拍摄装置而拍摄到的上述磨削对象部分的图像所表示的浓淡以及色彩中的至少一者，检测从上述照相机到上述磨削对象部分的各位置的距离，并且生成表示到上述各位置的距离的上述图像数据。
根据上述方式，拍摄装置能够对抑制了阴影、反射、光晕以及金属光泽等的图像进行拍摄。这样的图像所表示的浓淡以及色彩能够表示磨削对象部分的凹凸等状态。第1图像处理部对磨削对象部分的上述那样的图像进行处理，由此能够检测从照相机到磨削对象部分的各位置的距离。
本发明的一个方式的控制装置也可以是：还具备拍摄控制部，该拍摄控制部控制对磨削对象部分进行拍摄的拍摄装置的动作并取得上述磨削对象部分的图像数据，上述拍摄控制部在对磨削对象部分的磨削作业开始前的时机以及磨削作业中的规定的时机使上述拍摄装置对上述磨削对象部分进行拍摄，上述学习部以由上述拍摄控制部取得的图像数据为输入数据，输出上述动作对应指令。
根据上述方式，学习部能够输出与磨削作业的开始前的时机以及磨削作业中的规定的时机的磨削对象部分的状态对应的动作对应指令。而且，自动指令生成部能够生成与磨削作业的进展对应的自动动作指令。
在本发明的一个方式的控制装置中，也可以是：上述动作控制部使上述机器人根据上述自动动作指令而对由多个磨削对象部分构成的磨削对象组的全部的上述磨削对象部分进行磨削，上述拍摄控制部在根据上述自动动作指令针对上述全部的磨削对象部分进行的磨削作业结束后，使上述拍摄装置对上述全部的磨削对象部分进行拍摄，上述控制装置使提示装置提示上述全部的磨削对象部分的图像。
根据上述方式，用户能够对多个磨削对象部分的磨削后的状态进行识别并进行比较。因此，用户容易判断多个磨削对象部分的磨削的完成的结果，从而能够判断有无追加的磨削的必要性。
本发明的一个方式的控制装置也可以还具备第2图像处理部，上述第2图像处理部对由上述拍摄装置拍摄到的磨削对象部分的图像数据进行处理，生成使用颜色、花纹以及浓淡中的至少一者表示上述磨削对象部分的三维形状的图像数据，并使提示装置进行提示。
根据上述方式，控制装置能够向用户提示磨削对象部分的状态的视觉上的识别较容易的图像。
本发明的一个方式的控制装置也可以还具备移动控制部，该移动控制部控制使上述机器人移动的移动装置的动作，上述移动控制部使上述移动装置相对于将多个磨削对象部分划分而成的多个磨削对象分区移动上述机器人，以上述机器人按规定的顺序磨削上述多个磨削对象分区。
根据上述方式，控制装置针对每个磨削对象分区使机器人移动，并且使机器人进行磨削作业，由此能够进行减少了机器人的移动次数的高效的磨削作业。例如，一个磨削对象分区的范围也可以为静止的机器人的机器人手臂的到达范围内。由此，能够实现机器人的高效的移动。
本发明的一个方式的控制装置也可以构成为：从检测磨削反作用力的力传感器接受上述磨削反作用力的信息，上述磨削反作用力为上述磨削装置所受到的反作用力，使上述操作装置产生与上述磨削反作用力对应的操作反作用力，上述操作反作用力为针对向上述操作装置输入的操作的反作用力。
根据上述方式，控制装置能够使对操作装置进行操作的用户切身感受磨削装置从磨削对象部分等所受到的反作用力。例如，用户能够与磨削对象部分的表面状态对应地感受到不同的磨削装置的状态。因此，能够进行磨削装置的力觉控制。
本发明的一个方式的控制装置也可以构成为：使上述操作装置产生与经由滤波器而获得的上述磨削反作用力对应的上述操作反作用力，上述滤波器使由上述力传感器检测的上述磨削反作用力的高频成分减少。
根据上述方式，控制装置能够使对操作装置进行操作的用户切身感受磨削装置的振动被除去的状态下的磨削装置所受的反作用力。由此，能够抑制振动向用户的传递，因此能够由用户进行操作装置的准确的操作，还能够抑制振动导致的用户疲劳。
在本发明的一个方式的控制装置中，也可以是：上述操作信息包含输入上述操作装置的位置、姿势以及力的指令，上述手动指令生成部生成包含上述磨削装置的对上述操作信息所含的位置、姿势以及力的指令进行了增额的位置、姿势以及作用力的指令的上述手动动作指令。
根据上述方式，控制装置利用由输入操作装置的位置的变化、姿势的变化以及力的大小增额而得的位置的变化、姿势的变化以及作用力的大小来控制磨削装置。由此，不需要对操作装置进行的较大的输入，因此用户应该进行的操作变得容易。例如，用户能够维持自身的姿势不变地操作操作装置而经由机器人自如地控制磨削装置。
本发明的一个方式的控制装置也可以构成为：决定第1坐标系关系，该第1坐标系关系是设定于上述机器人的机器人坐标系与设定于上述磨削对象部分的对象物坐标系的关系，并决定第2坐标系关系，该第2坐标系关系是设定于上述操作装置的操作坐标系与上述对象物坐标系的关系，上述手动指令生成部根据上述操作信息、上述第1坐标系关系以及上述第2坐标系关系，生成上述手动动作指令，上述控制装置构成为在上述对象物坐标系被移动的情况下，基于移动后的上述对象物坐标系与上述机器人坐标系，重新决定移动后的上述第1坐标系关系，并将移动后的上述对象物坐标系与上述主坐标系的移动后的上述第2坐标系关系决定为与移动前的上述第2坐标系关系相同的关系。
根据上述方式，若对象物坐标系与磨削对象部分的位置变化等重要因素对应地被移动，则机器人与磨削对象部分的相对的位置变化，因此控制装置变更第1坐标系关系。然而，控制装置将第2坐标系关系维持为移动前的状态。例如，若在对象物坐标系的移动前，将对操作坐标系的第1方向的移动进行指令的操作信息输入操作装置，则控制装置输出使磨削装置向对象物坐标系的第2方向移动的动作指令。若在对象物坐标系的移动后，将对操作坐标系的第1方向的移动进行指令的操作信息输入操作装置，则控制装置输出使磨削装置向对象物坐标系的第2方向移动的动作指令。因此，控制装置当在移动前后输入相同的操作的情况下，磨削装置相对于对象物坐标系的动作在移动前后不变化。因此，操作人员即便在对象物坐标系移动了的情况下，也无需与对象物坐标系的移动相应地改变输入操作装置的操作，从而能够容易地操作操作装置。
本发明的一个方式的控制***具备本发明的一个方式的控制装置与用于操作上述机器人的上述操作装置。根据上述方式，能够获得与本发明的一个方式的控制装置相同的效果。
本发明的一个方式的机器人***具备：本发明的一个方式的控制装置、上述机器人、用于操作上述机器人的上述操作装置以及拍摄装置，上述拍摄装置构成为将拍摄到磨削对象部分的图像数据输出至上述控制装置。根据上述方式，能够获得与本发明的一个方式的控制装置相同的效果。
本发明的一个方式的机器人***也可以还具备提示装置，上述提示装置构成为将由上述拍摄装置拍摄到的图像以及从上述控制装置输出的图像中的至少一者提示给上述机器人***的用户。
根据上述方式，机器人***能够使用户识别磨削作业前、磨削作业中以及磨削作业后的磨削对象部分的状态。由此，用户即使位于远离磨削对象部分的位置，也能够识别磨削对象部分。
本发明的一个方式的控制方法向学习模型输入磨削对象部分的图像数据作为输入数据，使学习模型输出机器人的动作对应指令作为输出数据，基于上述动作对应指令生成用于使上述机器人自动地磨削上述磨削对象部分的自动动作指令，根据从用于操作上述机器人的操作装置输出的操作信息生成用于使上述机器人磨削上述磨削对象部分的手动动作指令，根据上述动作指令控制上述机器人的磨削作业的动作，使上述学习模型使用上述磨削对象部分的图像数据以及与针对上述图像数据的状态的上述磨削对象部分生成的上述动作指令对应的上述机器人的动作数据进行机械学习，由上述学习模型输出的上述动作对应指令是与上述机器人的动作数据对应的指令。根据上述方式，能够获得与本发明的一个方式的控制装置相同的效果。
(实施方式)
以下，参照附图，对本发明的实施方式进行说明。此外，以下说明的实施方式均表示总括或者具体的例子。另外，以下的实施方式的构成要素中的、未记载于表示最上位概念的独立权利要求的构成要素被说明为是任意的构成要素。另外，附图中的各图是示意图，并非一定严格地图示。另外，在各图中，存在对实际相同的构成要素标注相同的附图标记，省略或者简化重复的说明的情况。另外，在本说明书以及权利要求书中，“装置”不仅意味着一个装置，也可能意味着由多个装置构成的***。
[机器人***的构成]
对实施方式的机器人***1的构成进行说明。图1是表示实施方式的机器人***1的一个例子的简图。图2是表示实施方式的机器人***1的功能构成的一个例子的框图。在图2中，实线的箭头表示用于使机器人***1的机器人10动作的指令、数据以及信息等的流向，虚线的箭头表示机器人***1的控制装置20用于进行机械学习的指令、数据以及信息等的流向。
如图1所示，实施方式的机器人***1具备：机器人10、控制装置20、拍摄装置30、输入装置40及提示装置50。控制装置20控制机器人***1的整体的动作。在本实施方式中，机器人10是工业用机器人。机器人10具备对处理的对象物施加作用的末端执行器11、使末端执行器11动作以执行该作用的机器人手臂12以及使机器人10移动以改变机器人10的位置的输送装置13。末端执行器11具备对对象物实施磨削的磨削装置11a，并且末端执行器11安装于机器人手臂12的前端。输送装置13供机器人手臂12搭载。
在本说明书以及权利要求书中，“磨削”能够包含：作为除去对象物的不需要的部分由此形成所需的尺寸以及形状等的加工的切削、作为削掉对象物的表面由此形成所需的尺寸、形状以及表面粗糙度等的加工的磨削以及作为使对象物的表面变得光滑的加工的研磨。
磨削装置11a的例子是砂轮机、轨道式打磨机、随机轨道砂光机、三角砂磨机以及砂带打磨机等以电力或者空气压力为动力源的磨削装置，但不限定于此。砂轮机也可以是使圆盘状的磨削砂轮旋转的类型、使圆锥状或者柱状的磨削砂轮旋转的类型等的砂轮机。
在本实施方式中，“磨削”是将金属制的对象物W的磨削对象区域WA内的不需要的部分削掉，而使磨削对象区域WA的表面变得平滑的加工，磨削装置11a是具备圆盘状的磨削砂轮11b的电动圆盘砂轮机，以此为前提进行以下的说明。磨削对象区域WA内的不需要的部分的例子是对象物W的焊道那样的焊痕等。磨削装置11a通过旋转的磨削砂轮11b被推碰到磨削对象区域WA内的焊痕等，而对该焊痕及其周边进行磨削。
机器人手臂12只要具有能够使其前端的磨削装置11a的位置及/或姿势变更的结构，则不被特别地限定，但在本实施方式中，是垂直多关节型机器人手臂。此外，机器人手臂12例如也可以构成为水平多关节型、极坐标型、圆筒坐标型、直角坐标型或者其他型式的机器人手臂。
机器人手臂12具备从其基部朝向前端依次配置的连杆12a～12f、将连杆12a～12f依次可旋转地连接的关节JT1～JT6、以及分别旋转驱动关节JT1～JT6的手臂驱动装置M1～M6。连杆12a经由关节JT1安装于输送装置13。连杆12f的前端部构成机械式接口，与末端执行器11连接。手臂驱动装置M1～M6的动作由控制装置20控制。手臂驱动装置M1～M6分别以电力为动力源，具有伺服马达作为驱动上述手臂的电动马达，但不限定于此。此外，机器人手臂12的关节的数量不限定于6个，可以为7个以上，也可以为1个以上5个以下。
输送装置13具备行驶装置13a与驱动行驶装置13a的输送驱动装置13b(参照图2)，能够使机器人10在地面等上移动。在本实施方式中，行驶装置13a是履带，但也可以是驱动车轮的行驶装置以及在轨道上行驶的行驶装置等其他的行驶装置。输送驱动装置13b以电力为动力源，具有伺服马达作为电动马达，但不限定于此。输送装置13是移动装置的一个例子。
图3是表示实施方式的末端执行器11的结构的一个例子的侧视图。如图3所示，末端执行器11具备：磨削装置11a、磨削砂轮11b、安装工具11c、缓冲部件11d以及力传感器11e。安装工具11c构成为对磨削装置11a进行支承且与连杆12f连接，从而将磨削装置11a安装于连杆12f。缓冲部件11d夹设于安装工具11c与磨削装置11a之间地配置，安装工具11c经由缓冲部件11d对磨削装置11a进行支承。缓冲部件11d衰减或者减少从磨削装置11a向安装工具11c传递的振动以及冲击。例如，缓冲部件11d由衰减振动以及冲击的减振材料，或者减少振动以及冲击的防振材料构成。缓冲部件11d的构成材料可以是具有弹性或者挠性的材料，例如也可以是橡胶以及高分子材料等树脂。
力传感器11e配置于安装工具11c与连杆12f之间，对作为从安装工具11c作用于连杆12f的力的反作用力进行检测，并输出至控制装置20。反作用力是磨削装置11a在磨削作业时从对象物W受到的力。在本实施方式中，力传感器11e对正交的3个轴向的力与作为绕该3个轴的旋转力的力矩的6个轴的力进行检测，但不局限于此，例如，也可以仅对1个轴、两个轴或者3个轴向的力进行检测。例如，上述3个轴中的1个也可以与连杆12f的扭转旋转轴S1相同。
如图1以及图2所示，拍摄装置30配置于机器人手臂12的连杆12e。拍摄装置30具备对对象物W的磨削对象区域WA进行拍摄的照相机31与对该磨削对象区域WA进行照明的光源32。照相机31以及光源32指向沿着扭转旋转轴S1的轴向且朝向末端执行器11的方向，从而能够对磨削对象区域WA及其周边进行拍摄以及照明。此外，照相机31以及光源32的位置只要是能够对磨削对象区域WA进行拍摄以及照明的位置即可，也可以是机器人手臂12上的除了连杆12e之外的位置或者机器人手臂12的外部的位置。照相机31以及光源32分别根据控制装置20的指令进行拍摄动作以及照明动作。照相机31将拍摄到的图像的信号等输送至控制装置20。
照相机31是对用于检测三维位置等的图像进行拍摄的照相机，该三维位置是到被拍摄体的距离等被拍摄体相对于照相机31的三维空间内的位置。例如，照相机31是对数字图像进行拍摄的照相机，也可以具有立体照相机、单眼照相机、TOF照相机(Time-of-Flight-Camera)、条纹投影等图案光投影照相机，或者使用了光切断法的照相机等的结构。在本实施方式中，照相机31是立体照相机。
光源32的例子是LED(light emitting diode)以及闪光灯等。在本实施方式中，光源32是使用了LED的圆顶照明或者平顶照明。圆顶照明以及平顶照明均能够向对象物W的表面照射扩散光，而抑制该表面的反射光。由此，由照相机31拍摄到的图像能够抑制对象物W的表面的曲面以及凹凸等处的光晕以及阴影等，从而能够在视觉上准确地表示该表面的凹凸形状等表面形状。在圆顶照明中，LED向圆顶状的反射板的内侧出射光，由该反射板反射并扩散的反射光对对象物W进行照射。在平顶照明中，LED从导光板的边缘向该导光板内出射光，光在该导光板内通过的过程中扩散，之后从该导光板出射，而对对象物W进行照射。此外，光源32也可以是能够照射扩散光的其他的照明。光源32是无反射光源的一个例子。
输入装置40接受对机器人***1进行管理的用户P的指令、数据以及信息等的输入，并将该指令、数据以及信息等输出至控制装置20。输入装置40经由有线通信、无线通信或者它们的组合与控制装置20连接。有线通信以及无线通信的形式也可以是任意的形式。例如，输入装置40接受指定使机器人10执行的运转模式的指令。另外，输入装置40包含操作装置400，经由操作装置400接受用于以手动运转的形式对机器人10进行操作的输入，并将作为与该输入对应的信息的操作信息输出至控制装置20。另外，输入装置40接受磨削的对象物的信息以及磨削对象区域的信息等的输入。磨削对象区域的信息也可以包含磨削对象区域的数量、位置、形状以及尺寸等的信息。
图4是表示实施方式的操作装置400的结构的一个例子的立体图。如图4所示，操作装置400具备：把持部401、支承部402、手臂403、马达404以及力传感器405。
把持部401构成为能够由作为操作人员的用户P把持。在本实施方式中，把持部401具有与作为磨削装置11a的砂轮机相同的形状，但不限定于此。把持部401包含能够供用户P握持的两个手柄部401a以及401b。用户P以把持磨削装置11a并实际进行磨削的方式在握住手柄部401a以及401b的状态下使把持部401移动，由此对机器人10进行操作而进行磨削动作。另外，把持部401包含磨削装置11a的操作等所用的按钮等的输入部401c。
支承部402对把持部401进行支承。力传感器405配置于把持部401与支承部402之间，对作用于其间的力进行检测。具体而言，力传感器405对正交的3个轴向的力与作为绕该3个轴的旋转力的力矩的6个轴的力进行检测。例如，上述3个轴中的1个也可以是从把持部401朝向支承部402的轴。
支承部402被6个手臂403支承为能够移动。6个手臂403由3对构成。3对手臂403从支承部402向3个方向呈放射状延伸。各手臂403具有关节403a，能够以关节403a为中心屈曲。各手臂403的一端经由球窝接头等万向接头，以能够绕正交的3个轴转动的方式与支承部402连接。各手臂403的另一端经由未图示的减速机等与配置于支承部402的下方的支承台406上的马达404的旋转轴连接。各手臂403的关节403a将构成该手臂403的两个柱状部件经由球窝接头等万向接头连接为能够绕正交的3个轴转动。
6个马达404配置于支承台406上。6个马达404由3对构成。各对马达404配置为各自的旋转轴成为同轴，并与1对手臂403连接。3对马达404配置为各自的旋转轴构成三角形的各边。各马达404由伺服马达等构成。
上述那样的把持部401在三维空间内能够取得各种位置以及姿势。而且，各手臂403与把持部401的位置以及姿势对应地动作，而使各马达404旋转。与把持部401的位置以及姿势对应的6个马达404的旋转量，换句话说旋转角唯一地决定。
在本实施方式中，控制装置20以在操作装置400与机器人10之间使位置、姿势以及力的状态对应的方式进行双向方式的力觉控制。虽不限定于此，但各马达404具备对伺服马达的转子的旋转量进行检测的编码器等旋转传感器(省略图示)与对伺服马达的驱动电流进行检测的电流传感器(省略图示)。操作装置400将包含力传感器405的6个轴的力的检测信号(以下，也称为“力信号”)的操作信息作为位置、姿势、位置以及姿势的移动速度和力的指令输出至控制装置20，将各马达404的旋转传感器以及电流传感器的检测信号(以下，也称为“旋转信号”以及“电流信号”)作为反馈信息输出至控制装置20。此外，控制装置20也可以将伺服马达的驱动电路供给至该伺服马达的电流的指令值使用为反馈信息。
控制装置20使用操作信息生成后述的手动动作指令等。手动动作指令包含与操作信息对应的末端执行器11的三维位置、姿势、位置以及姿势的移动速度和作用力的指令。另外，控制装置20基于末端执行器11的力传感器11e的检测信号表示的6个轴的力数据与操作装置400的反馈信息，对各马达404的输出扭矩进行控制。换句话说，控制装置20对6个马达404进行伺服控制。控制装置20以相对于用户P对把持部401的操作产生与上述力数据对应的反作用力的方式对各马达404的输出扭矩进行控制。
通过上述那样的操作装置400的操作，机器人10如以下说明那样进行动作。换句话说，用户P握住把持部401的手柄部401a以及401b，使把持部401向朝向末端执行器11的磨削装置11a的目标位置的移动方向以及朝向目标姿势的转动方向移动，而改变姿势。另外，用户P向把持部401的输入部401c给予输入，由此使磨削装置11a起动。
支承部402与把持部401一同移动，并且改变姿势，使6个手臂403分别进行屈曲以及姿势变化等动作，而使与该手臂403连接的马达404的旋转轴旋转。该马达404的旋转传感器将旋转信号输出至控制装置20，力传感器405将力信号输出至控制装置20。
控制装置20基于力信号生成手动动作指令等，根据该手动动作指令等使机器人10动作。控制装置20以末端执行器11的位置的变化、姿势的变化以及经由磨削装置11a的向对象物W的作用力反映力信号的方式使机器人手臂12动作。由此，用户P对操作装置400的把持部401进行操作，能够使机器人10进行期望的动作。
另外，控制装置20为了将与基于末端执行器11的力传感器11e的检测信号的力数据对应的反作用力给予把持部401，而使各马达404产生与该反作用力对应的旋转负荷(也称为“负荷扭矩”)。由此，用户P例如能够好像从对象物W受到反作用力那样从把持部401感到反作用力，并且对把持部401的位置以及姿势进行操作。
把持部401的反作用力反映由力传感器11e检测的力的大小以及方向。这样的把持部401的反作用力能够使用户P的手感受到与对象物的表面状态对应地不同的磨削中的磨削装置11a的状态。例如，把持部401的反作用力能够使用户P的手感受到在用户P手持磨削装置11a进行磨削的情况下用户P的手受到的触感。另外，把持部401的反作用力能够使用户P的手感受到磨削中的磨削装置11a的振动。在本实施方式中，缓冲部件11d使从磨削装置11a向力传感器11e传递的振动衰减或者减少，从而抑制用户P的手所感受到的振动。
另外，相对于力传感器405的力信号表示的位置的变化量、姿势的变化量以及力的大小的指令，末端执行器11的位置的变化量、姿势的变化量以及作用力的大小的指令被增额。由此，机器人手臂12能够以大幅超过把持部401的可动范围的方式改变末端执行器11的位置以及姿势。另外，机器人手臂12能够使末端执行器11产生大幅超过施加于把持部401的力的作用力。例如，用户P在直立的状态下移动把持部401，由此控制装置20能够使机器人手臂12将磨削装置11a的姿势变更为磨削砂轮11b朝向下方、侧方或者上方的姿势。因此，能够将用户P的姿势维持为直立状态，并且进行向各种朝向的磨削作业，从而能够减少用户P的负担。此外，相对于把持部401的上述指令，末端执行器11的上述指令可以被打折扣，也可以相同。
另外，操作装置400的结构不限定于图4的结构，例如，只要是能够改变特定的部位的位置以及姿势的结构即可。例如，操作装置400也可以由与机器人手臂12类似的主机器人构成，并构成为机器人10作为从机器人被控制。操作装置400也可以是操纵杆。
提示装置50向机器人***1的用户P提示从控制装置20接受的用于使机器人***1动作的图像以及声音等。提示装置50的例子是液晶显示器(Liquid Crystal Display)以及有机或者无机EL显示器(Electro-Luminescence Display)等，但不限定于这些。提示装置50也可以具备产生声音的扬声器。
虽不限定于此，但在本实施方式中，控制装置20能够在手动运转模式、自动运转模式、学习模式中使机器人***1进行动作。本实施方式中的手动运转模式、自动运转模式以及学习模式不含将磨削作业所含的各个动作教给机器人10的教示(也称为“示教”)动作。
在手动运转模式中，控制装置20使机器人10执行根据用户P亦即操作人员输入操作装置400的操作的动作，换句话说追踪该操作的动作。通过操作人员使机器人10手动运转。控制装置20根据从操作装置400输出的操作信息，生成用于使机器人10对对象物W的磨削对象区域WA进行磨削的手动动作指令，根据该手动动作指令使机器人10执行磨削动作。此外，手动动作指令包含使末端执行器11以及机器人手臂12等动作的指令，也可以还包括使输送装置13动作的指令。
自动运转模式包含第1自动运转模式与第2自动运转模式。在第1自动运转模式中，控制装置20根据预先决定的动作顺序的数据使机器人10自动地执行磨削作业。预先决定的动作顺序的数据预先存储于控制装置20，例如，作为教示给机器人10的顺序的数据亦即教示数据存储于控制装置20。控制装置20根据教示数据生成用于使机器人10自动地磨削磨削对象区域WA的自动动作指令，根据该自动动作指令使机器人10执行磨削动作。自动动作指令包含使末端执行器11以及机器人手臂12等动作的指令，也可以还包括使输送装置13动作的指令。第1自动运转模式的磨削作业是第1磨削作业的一个例子，第1自动运转模式的自动动作指令是第1自动动作指令的一个例子。
在第2自动运转模式中，控制装置20根据由后述的学习部20a输出的动作对应指令使机器人10自动地执行磨削作业。学习部20a以对象物W的磨削对象区域WA的由拍摄装置30拍摄到的图像数据为输入数据，以与机器人10的动作数据对应的动作对应指令为输出数据。控制装置20基于学习部20a通过被输入上述图像数据而输出的动作对应指令，生成自动动作指令，并根据该自动动作指令使机器人10执行磨削动作。
另外，在本实施方式中，控制装置20能够在自动运转中接受末端执行器11以及机器人手臂12的使用了操作装置400的动作的修正。控制装置20施加与输入操作装置400的操作对应的修正动作，由此对末端执行器11以及机器人手臂12的动作进行修正。
这里，在第1自动运转模式的磨削作业后对同一磨削对象区域WA执行的第2自动运转模式的磨削作业是第2磨削作业的一个例子，该第2自动运转模式的自动动作指令是第2自动动作指令的一个例子。另外，自动运转模式下的对磨削前的磨削对象区域WA执行的第2自动运转模式的磨削作业是第3磨削作业的一个例子，该第2自动运转模式的自动动作指令是第3自动动作指令的一个例子。
学习模式与手动运转模式或者自动运转模式一同被执行。在学习模式中，控制装置20存储并积蓄磨削对象区域WA的图像数据以及机器人10的与针对该图像数据的状态的磨削对象区域WA生成的手动动作指令及/或自动动作指令对应的动作数据。另外，控制装置20使学习部20a使用磨削对象区域WA的图像数据以及针对该图像数据的状态的磨削对象区域WA的动作数据进行机械学习。学习模式包含第1学习模式以及第2学习模式。控制装置20在第1学习模式中，使学习部20a机械学习手动运转下的机器人10的动作数据，在第2学习模式中，使学习部20a机械学习机器人10的对自动运转的动作施加了基于手动运转的修正而成的动作数据。
手动运转下的机器人10的动作数据是针对未磨削的磨削对象区域WA的手动运转模式、第1自动运转模式的磨削作业结束后或者中断后被执行的手动运转模式、以及第2自动运转模式的磨削作业结束后或者中断后被执行的手动运转模式下的机器人10的动作数据。这样的动作数据包含机器人10的与手动动作指令对应的动作数据。
机器人10的对自动运转的动作施加了基于手动运转的修正的动作数据是机器人10的在第1自动运转模式的磨削作业中以及第2自动运转模式的磨削作业中施加了基于手动运转的修正的动作数据。这样的动作数据能够包含机器人10的与自动动作指令以及手动动作指令对应的动作数据。
机器人10的与手动动作指令对应的动作数据可以是输入操作装置400的操作信息，可以是用于与该操作信息对应地使机器人10动作的指令亦即手动动作指令，可以是根据该手动动作指令而从控制装置20向机器人10输出的控制指令，也可以是表示根据该控制指令而动作的机器人10的动作结果的信息。
机器人10的与自动动作指令对应的动作数据可以是作为用于使机器人10自动地动作的指令的自动动作指令，可以是根据该自动动作指令而从控制装置20向机器人10输出的控制指令，也可以是根据该控制指令而动作的机器人10的动作结果的信息。
[控制装置的硬件构成]
对控制装置20的硬件构成进行说明。图5是表示实施方式的控制装置20的硬件构成的一个例子的框图。如图5所示，控制装置20包含CPU(Central Processing Unit：中央处理器)201、ROM(Read Only Memory：只读存储器)202、RAM(Random Access Memory：随机存取存储器)203、存储器204、拍摄元件I/F(接口：Interface)205、输入输出I/F206以及207、手臂驱动电路208、磨削驱动电路209、输送驱动电路210，来作为构成要素。上述构成要素彼此经由总线、有线通信或者无线通信地连接。此外，并非上述构成要素都是必须的。
例如，CPU201是处理器，对控制装置20的动作的整体进行控制。ROM202由非易失性半导体存储器等构成，对用于使CPU201控制动作的程序以及数据等进行储存。RAM203由易失性半导体存储器等构成，对由CPU201执行的程序以及处理中途或者处理完毕的数据等暂时地进行存储。存储器204由易失性存储器以及非易失性存储器等半导体存储器、硬盘(HDD：Hard Disc Drive)以及SSD(Solid State Drive：固态硬盘)等存储装置构成，对各种信息进行存储。
例如，用于CPU201进行动作的程序预先保持于ROM202或者存储器204。CPU201将程序从ROM202或者存储器204读出并展开于RAM203。CPU201执行展开于RAM203的程序中的被代码化的各命令。
控制装置20的各功能可以由CPU201、ROM202以及RAM203等所构成的计算机***实现，可以由电子电路或者集成电路等专用的硬件电路实现，也可以由上述计算机***以及硬件电路的组合实现。
这样的控制装置20例如也可以由微型控制器、MPU(Micro Processing Unit：微处理单元)、LSI(Large Scale Integration：大规模集成电路)、***LSI、PLC(ProgrammableLogic Controller：可编程逻辑控制器)、逻辑电路等构成。控制装置20的多个功能可以单独地被集成为1个芯片而实现，也可以通过以包含一部分或者全部的方式被集成为1个芯片而实现。另外，各电路可以是通用的电路，也可以是专用的电路。作为LSI，也可以利用在LSI制造后能够进行编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、能够重建LSI内部的电路单元的连接及/或设定的可重构处理器，或者面向特定用途的多个功能的电路汇集成一个的ASIC(Application Specific Integrated Circuit：专用集成电路)等。
拍摄元件I/F205根据CPU201的指令而对拍摄装置30的照相机31的拍摄元件(省略图示)以及光源32的驱动进行控制。拍摄元件I/F205将由照相机31拍摄到的图像的信号导入RAM203或者存储器204。拍摄元件I/F205也可以包含照相机31以及光源32的驱动用的电路等。
第1输入输出I/F206与输入装置40连接，相对于输入装置40输入输出信息、数据以及指令等。第2输入输出I/F207与提示装置50连接，相对于提示装置50输入输出画面数据、声音数据、信息以及指令等。输入输出I/F206以及207也可以包含转换信号的电路等。
手臂驱动电路208根据CPU201的指令向机器人10的手臂驱动装置M1～MA6的伺服马达供给电力而对各伺服马达的驱动进行控制。磨削驱动电路209根据CPU201的指令向磨削装置11a供给电力而对磨削装置11a的驱动进行控制。输送驱动电路210根据CPU201的指令向输送装置13的输送驱动装置13b供给电力而对输送驱动装置13b的驱动进行控制。
[控制装置的功能构成]
对控制装置20的功能构成进行说明。如图2所示，控制装置20包含学习部20a、模式决定部20b、拍摄控制部20c、图像处理部20d～20e、手动指令生成部20f、自动指令生成部20g、动作控制部20h、动作信息处理部20i、数据积蓄部20j、存储部20p～20s，来作为功能上的构成要素。另外，动作控制部20h包含驱动控制部20ha与输送控制部20hb。此外，并非上述功能上的构成要素都是必须的。
除了存储部20p～20s之外的功能上的构成要素的功能由CPU201等实现，存储部20p～20s的功能由存储器204、ROM202及/或RAM203实现。
存储部20p～20s对各种信息进行存储，能够读出存储的信息。第1存储部20p对用于使机器人10按预先决定的动作顺序执行磨削作业的教示数据20pa进行存储。第2存储部20q对学习部20a进行机械学习的学习模型20qa进行存储。第3存储部20r对学习模型20qa的机械学习所用的学习用数据20ra进行存储。学习用数据20ra是将磨削对象部分的图像数据以及机器人10的与针对该图像数据的状态的磨削对象部分生成的手动动作指令及/或自动动作指令对应的动作数据关联并包含数据。学习用数据20ra被控制装置20积蓄于第3存储部20r。
第4存储部20s对各种信息进行存储。例如，第4存储部20s对照相机31的照相机参数进行存储。第4存储部20s将被机器人10磨削处理的对象物与该对象物的磨削对象区域的位置、形状以及尺寸等关联并存储。第4存储部20s也可以对由照相机31拍摄到的图像、该图像的处理图像及/或程序等进行存储。照相机参数包含外部参数与内部参数。外部参数的例子是表示照相机31的位置(三维位置)以及朝向(光轴中心的朝向)等的参数。内部参数的例子是表示照相机31的透镜的失真、焦距、拍摄元件的1个像素的尺寸以及光轴中心的像素坐标等的参数。像素坐标是以图像上的像素为单位的二维坐标。
模式决定部20b根据经由了输入装置40的指定模式的指令，从手动运转模式、第1自动运转模式、第2自动运转模式、第1学习模式以及第2学习模式中决定机器人***1要执行的模式，根据决定出的模式，使其他的功能上的构成要素动作。
拍摄控制部20c在各模式的执行中，对照相机31以及光源32的动作进行控制，取得由照相机31拍摄到的图像。通过照相机31拍摄图像以及取得由照相机31拍摄到的图像包含取得由照相机31拍摄到的一个静止图像以及从由照相机31拍摄到的动画取得1帧的静止图像的情况。拍摄控制部20c使由作为立体照相机的照相机31在同一时刻拍摄到的两个图像关联起来并输出至第1图像处理部20d等。拍摄控制部20c使照相机31与光源32同步地动作，例如，在光源32的照明中使照相机31进行拍摄。例如，拍摄控制部20c在各模式的执行中，在规定的时机使拍摄装置30对对象物W的磨削对象区域WA进行拍摄。例如，规定的时机可以是连续的时机，也可以是间歇地或者单独的时机。拍摄装置30进行拍摄是指照相机31以及光源32同步地进行拍摄。
虽不限定于此，但在本实施方式中，拍摄控制部20c分别在自动运转模式以及手动运转模式，在该运转模式的磨削作业前、磨削作业中以及磨削作业后的时机，使拍摄装置30对磨削对象区域WA进行拍摄。例如，拍摄控制部20c在磨削作业中，以规定的时间间隔使拍摄装置30间歇地拍摄。
第1图像处理部20d对由拍摄装置30拍摄到的图像进行处理，由此对磨削对象区域WA的各位置的三维位置进行检测，从而生成作为表示各位置的三维位置的图像数据的三维图像数据。
具体而言，第1图像处理部20d确定由拍摄装置30在同一时刻拍摄到的两个图像分别所描绘的磨削对象区域WA。例如，第1图像处理部20d也可以通过与存储于第4存储部20s的磨削对象区域WA的形状的图案匹配方法等进行比较，由此提取磨削对象区域WA的边缘。另外，第1图像处理部20d通过使用了存储于第4存储部20s的照相机参数的立体匹配方法等进行图像处理，由此对该两个图像中的至少一图像的各像素所描绘的被拍摄体与照相机31的距离进行检测。另外，第1图像处理部20d针对各像素所描绘的被拍摄体，对机器人***1所在的三维空间内的三维位置进行检测。
第1图像处理部20d在各模式下生成三维图像数据，并输出至学习部20a、数据积蓄部20j及/或第2图像处理部20e。三维图像数据是将各像素所描绘的被拍摄体的三维的位置与该被拍摄体是否是磨削对象区域WA的区域相应信息关联并包含的信息作为各像素的信息包含的图像数据。
此外，第1图像处理部20d也可以不通过立体匹配方法等的图像处理地生成三维图像数据。拍摄装置30能够对抑制了阴影、反射、光晕以及金属光泽等的图像进行拍摄，这样的图像所表示的浓淡能够表示磨削对象区域WA的凹凸等表面状态。第1图像处理部20d能够基于像素的亮度值的差异，对各像素所描绘的被拍摄体之间的在照相机31的视线方向上的相对的位置关系进行检测。第1图像处理部20d能够基于上述的相对的位置关系，对磨削对象区域WA内的各像素的被拍摄体与照相机31的距离进行检测，从而生成三维图像数据。
第2图像处理部20e使用由第1图像处理部20d生成的三维图像数据，生成表示磨削对象区域WA的三维形状的图像数据。例如，第2图像处理部20e生成磨削对象区域WA的距离图像。作为距离图像的各像素的像素值的亮度值是该像素所描绘的被拍摄体与照相机31的距离值。距离图像被表示为像素的浓淡与距离对应地变化的灰度的图像。然而，第2图像处理部20e也可以对距离图像进行图像处理由此生成彩色距离图像。彩色距离图像是像素所表示的颜色与作为像素值的距离值对应地变化的图像。第2图像处理部20e使生成的距离图像向提示装置50输出来进行显示。由此，机器人***1的用户P能够在视觉上识别磨削对象区域WA的三维形状。另外，第2图像处理部20e也可以在距离图像的基础上，或者代替距离图像，使磨削对象区域WA的拍摄图像向提示装置50输出来进行显示。由此，用户P也能够识别磨削对象区域WA的实物的状态。用户P能够识别这些图像，并且对机器人10进行手动运转。
手动指令生成部20f根据从操作装置400输出的操作信息生成用于使机器人10磨削磨削对象区域WA的手动动作指令，并输出至动作控制部20h。手动指令生成部20f生成用于使机器人10进行与操作信息对应的动作的动作指令作为手动动作指令。
动作指令包含表示机器人10的末端执行器11施加于对象物的力的力指令与表示末端执行器11的位置的位置指令中中的至少一者，在本实施方式中两者都包含。力指令也可以包含力的大小以及力的方向的指令。另外，力指令也可以包含力的大小以及方向的指令的执行时刻。位置指令也可以包含末端执行器11的三维位置以及三维姿势的指令。另外，位置指令也可以包含三维位置以及三维姿势的指令的执行时刻。三维姿势是在三维空间内的姿势。
在本说明书以及权利要求书中，“力”是指能够包含力的大小以及方向中的至少力的大小，“位置”是指能够包含三维位置以及三维姿势中的至少三维位置。另外，动作指令也可以包含磨削装置11a的驱动及驱动停止的指令，和输送装置13的位置指令。输送装置13的位置指令包含输送装置13的三维位置以及三维姿势中的至少三维位置。
自动指令生成部20g生成用于使机器人10自动地磨削磨削对象区域WA的自动动作指令，并输出至动作控制部20h。自动动作指令包含位置指令以及力指令等。自动指令生成部20g在第1自动运转模式中，读出第1存储部20p的教示数据20pa，根据该教示数据20pa生成使机器人10动作的自动动作指令。自动指令生成部20g在第2自动运转模式中，根据以磨削对象区域WA的三维图像数据为输入数据而由学习部20a输出的动作对应指令，生成使机器人10动作的自动动作指令。
动作控制部20h根据自动动作指令以及手动动作指令，对机器人10的磨削作业的动作进行控制。动作控制部20h根据自动动作指令以及手动动作指令生成用于使机器人10的各部动作的控制指令，并输出至机器人10。动作控制部20h从动作信息处理部20i取得机器人10的各部的动作状态的信息，并将该信息用作反馈信息来生成控制指令。
动作控制部20h的驱动控制部20ha生成用于使机器人手臂12的手臂驱动装置M1～M6的伺服马达与末端执行器11的磨削装置11a的马达动作的控制指令。动作控制部20h的输送控制部20hb生成用于使输送装置13的输送驱动装置13b的伺服马达动作的控制指令。
动作信息处理部20i对机器人10的动作信息进行检测并处理。动作信息处理部20i基于磨削装置11a的通电状态等将磨削装置11a的开启状态以及关闭状态作为动作信息进行检测。虽不限定于此，但在本实施方式中，动作信息处理部20i将手臂驱动装置M1～M6各自的伺服马达的旋转传感器(省略图示)的检测值、该伺服马达的电流传感器(省略图示)的检测值及末端执行器11的力传感器11e的检测值作为动作信息而取得。另外，动作信息处理部20i将输送装置13的输送驱动装置13b的伺服马达的旋转传感器(省略图示)的检测值与该伺服马达的电流传感器(省略图示)的检测值作为动作信息而取得。此外，动作信息处理部20i也可以将手臂驱动电路208以及输送驱动电路210分别供给至手臂驱动装置M1～M6的伺服马达以及输送驱动装置13b的伺服马达的电流的指令值作为动作信息而取得。动作信息处理部20i将上述动作信息作为反馈信息输出至动作控制部20h。
此外，输送装置13可以具备GPS(Global Positioning System)接收机以及IMU(惯性测量装置：Inertial Measurement Unit)等位置测量装置，也可以具备从埋设于地面的电线对微弱的感应电流进行检测的检测装置。动作信息处理部20i也可以将位置测量装置以及检测装置的检测值作为动作信息而取得。
另外，动作信息处理部20i除了动作控制部20h之外，还将机器人10的动作信息输出至数据积蓄部20j以及输入装置40。动作信息处理部20i也可以将动作信息转换成适合于向动作控制部20h、数据积蓄部20j以及输入装置40分别输入的信息。例如，动作信息处理部20i也可以针对动作控制部20h，将动作信息转换成与机器人10的控制指令对应的信息，针对数据积蓄部20j，将动作信息转换成与机器人10的动作数据对应的信息，针对输入装置40，将动作信息转换成与操作装置400的各马达404的控制指令对应的信息。此外，动作信息处理部20i也可以从动作控制部20h、自动指令生成部20g以及手动指令生成部20f等接受机器人10的动作数据，并输出至数据积蓄部20j等。
数据积蓄部20j将用于在学习模型20qa的机械学习中使用的学习用数据20ra积蓄于第3存储部20r。数据积蓄部20j从第1图像处理部20d取得磨削对象区域WA的三维图像数据。另外，数据积蓄部20j经由动作信息处理部20i取得机器人10的与针对上述三维图像数据的状态的磨削对象区域WA生成的手动动作指令以及自动动作指令对应的动作数据。上述动作数据的例子是操作装置400的操作信息、自动指令生成部20g的自动动作指令、手动指令生成部20f的手动动作指令、驱动控制部20ha的控制指令，或者机器人10的动作信息等。
上述动作数据是与在从拍摄到上述三维图像数据的基础的图像的时刻至拍摄接下来的图像的时刻的期间生成的手动动作指令以及自动动作指令对应的动作数据。数据积蓄部20j使上述三维图像数据与上述动作数据关联并存储于第3存储部20r。由此，例如，在对磨削对象区域WA进行时刻T0～时刻Tn(n：1以上的整数)的磨削作业的情况下，将在时刻Tk(k：0，1，···，n－1)的磨削对象区域WA的三维图像数据与时刻Tk～时刻Tk+1的期间的动作数据关联并存储于第3存储部20r。例如，时刻Tk也可以是拍摄时机的时刻。
学习部20a使用第2存储部20q的学习模型20qa，以磨削对象区域WA的三维图像数据为输入数据，以与机器人10的针对该三维图像数据的状态的磨削对象区域WA的动作数据对应的动作对应指令为输出数据进行输出，并发送至自动指令生成部20g。动作对应指令是将机器人10的动作数据转换为适合于向自动指令生成部20g输入的数据。例如，学习部20a向学习模型20qa输入三维图像数据的各像素的信息，使学习模型20qa输出机器人10的针对该三维图像数据的状态的磨削对象区域WA的动作数据。学习部20a将该动作数据转换成动作对应指令。
另外，学习部20a使学习模型20qa使用存储于第3存储部20r的学习用数据20ra进行机械学习。执行学习模型20qa的机械学习的时机也可以是任意的时机。例如，学习部20a可以每当对一个磨削对象区域的磨削作业结束时执行机械学习，也可以在对多个磨削对象区域所构成的区域组的磨削作业结束时执行机械学习。另外，学习部20a也可以根据规定的时间、规定的天数、规定的周数以及规定的月数等规定的时间的时机来执行机械学习。
学习模型20qa是进行机械学习的模型，使用学习用数据20ra进行学习，由此提高输出数据相对于输入数据的精度。学习模型20qa由神经网络(Neural Network)、RandomForest(随机森林)、Genetic Programming(遗传编程)、回归模型、树模型、贝叶斯模型、时间序列模型、聚类模型、集成学习模型等学习模型构成。在本实施方式中，学习模型20qa由神经网络构成。
学习模型20qa使用磨削对象区域的三维图像数据以及机器人10的与针对该三维图像数据的状态的磨削对象区域生成的自动动作指令和手动动作指令对应的动作数据进行机械学习。例如，在机械学习中，以上述三维图像数据为输入数据，以上述动作数据为教师数据。另外，以在学习模型20qa在被输入输入数据的情况下输出的机器人10的动作数据(输出数据)与教师数据之间一致或者误差最小化等的方式，调整后述的神经网络内的节点间的连接的加权。这样的加权调整后的学习模型20qa若被输入磨削对象区域的三维图像数据，则能够输出机器人10的能够针对该三维图像数据的状态的磨削对象区域实现适当的磨削作业的动作数据。
神经网络由包含输入层以及输出层在内的多个节点层构成。在节点层包含有一个以上的节点。例如，学习模型20qa也可以由图6所示那样的神经网络构成。图6是表示神经网络的模型的一个例子的图。在神经网络由输入层、中间层以及输出层构成的情况下，神经网络针对输入到输入层的节点的信息，依次进行从输入层向中间层的输出处理、从中间层向输出层的输出处理，从而输出适合于输入信息的输出结果。此外，一个层的各节点与接下来的层的各节点连接，对节点间的连接进行加权。一个层的节点的信息被赋予节点间的连接的加权，并输出至接下来的层的节点。
另外，学习模型20qa也可以由图7所示的递归神经网络(Recurrent NeuralNetwork)(也被称为“循环神经网络”)构成。图7是表示神经网络的模型的另一个例子的图。递归神经网络处理时间序列信息。递归神经网络的输入数据包含当前的时刻tp的数据与时刻tp之前的时刻tp－1的递归神经网络的中间层的输出数据。这样递归神经网络具有考虑了时间序列信息的网络构造。这样的递归神经网络进行考虑了输入数据的随时间推移的动作的输出，因此能够提高输出数据的精度。学习模型20qa的神经网络如以下那样处理时间序列数据，因此优选是递归神经网络。
对学习部20a的构成的一个例子进行说明。图8是表示实施方式的学习部20a的功能构成的一个例子的框图。如图8所示，学习部20a包含从第2存储部20q读出的学习模型20qa的神经网络20aa、数据生成部20ab、数据输入部20ac、学习评价部20ad以及转换部20ae。
数据输入部20ac在数据的输入输出时以及机械学习时，向神经网络20aa的输入层的各节点依次输入磨削对象区域的三维图像数据的各像素的信息。
数据生成部20ab在第1学习模式以及第2学习模式中，使用存储于第3存储部20r的学习用数据20ra，生成在机械学习中使用的输入学习数据以及教师数据。数据生成部20ab根据磨削对象区域的三维图像数据生成输入学习数据，根据机器人10的针对该三维图像数据的状态的磨削对象区域生成的动作数据生成教师数据。例如，输入学习数据是上述三维图像数据的各像素的信息。在第1学习模式中，动作数据是与针对磨削对象区域的手动动作指令对应的动作数据。在第2学习模式中，动作数据是与针对磨削对象区域的手动动作指令以及自动动作指令对应的动作数据。
学习评价部20ad使用学习用数据20ra使神经网络20aa最佳化。神经网络20aa被输入作为输入学习数据的三维图像数据的各像素的信息，由此以针对该三维图像数据的状态的磨削对象区域的动作数据为输出数据进行输出。学习评价部20ad以学习用数据20ra的教师数据与输出数据之间一致或者误差最小化等的方式通过反向运算来调节神经网络20aa的节点间的权重。
转换部20ae对神经网络20aa的输出数据进行转换，并输出至自动指令生成部20g。转换部20ae将神经网络20aa的输出数据转换成作为适合于向自动指令生成部20g输入的数据的动作对应指令。
接下来，对学习模式下的机械学习时的学习部20a的各构成要素的处理进行说明。在本例中，在学习模式下的机器人10的磨削作业中，磨削对象区域的拍摄图像以规定的取样周期Ts被取得，各指令以及各数据以取样周期Ts内的规定的取样间隔被取得。例如，拍摄控制部20c在每个取样周期Ts的时刻T0、T1、···、Tn(n：1以上的整数)取得磨削对象区域的拍摄图像，第1图像处理部20d生成各拍摄图像的三维图像数据Id0、Id1、···、Idn。
数据积蓄部20j在时刻Tk～Tk+1(k：0，1，···，n－1)的期间的一个取样周期Ts内，在时刻Tk+t0、Tk+t1、···、Tk+tu(u：1以上的整数)的取样时刻分别取得动作数据Pdk0、Pdk1、···、Pdku。动作数据Pdk0～Pdku是时间序列数据。各时间序列数据中的注脚的数字表示取样周期或者取样时刻的顺序。数据积蓄部20j使各时刻Tk的三维图像数据Idk与时刻Tk～时刻Tk+1的期间的动作数据Pdk0～Pdku关联并作为学习用数据20ra存储于第3存储部20r。
数据生成部20ab根据各时刻Tk的三维图像数据Idk生成作为各像素的信息的输入学习数据Ipdk，根据动作数据Pdk0～Pdku生成教师数据Pmk0～Pmku。
数据输入部20ac向神经网络20aa的输入层的各节点依次进行输入学习数据Ipdk的各像素的信息的输入。神经网络20aa通过正向运算，输出时刻Tk～Tk+1的期间的取样周期内的预测动作数据PPdk0～PPdku。
学习评价部20ad以在时刻Tk的教师数据Pmk0～Pmku与预测动作数据PPdk0～PPdku之间一致或者误差最小化等的方式通过反向运算来调节神经网络20aa的节点间的权重。例如，学习评价部20ad也可以相对于与取样时刻Tki(i：0～u的整数)对应的教师数据Pmki和预测动作数据PPdki的组合进行上述处理，并且，针对全部的取样时刻的组合进行上述处理，由此使节点间的权重最佳化。
接下来，对第2自动运转模式下的数据的输入输出时的学习部20a的各构成要素的处理进行说明。在机器人10的磨削作业中，拍摄控制部20c在每个规定的取样周期Ts的时刻T0～Tm(m：1以上的整数)对磨削对象区域进行拍摄。第1图像处理部20d生成各图像的三维图像数据Id0～Idm。
例如，第1图像处理部20d对在时刻Tj(j：0～m的整数)拍摄到的图像进行处理，生成三维图像数据Idj，并输出至学习部20a。数据输入部20ac将三维图像数据Idj的各像素的信息输入神经网络20aa。神经网络20aa以上述信息为输入数据，由此以时刻Tj～Tj+1的期间的取样时刻Tj+t0～Tj+tu各自的机器人10的动作数据PPdj0～PPdju为输出数据进行输出。此外，在不需要对上述磨削对象区域的磨削的情况下，神经网络20aa输出不使机器人10动作的动作数据，或者不输出动作数据。
转换部20ae将神经网络20aa的输出数据转换成动作对应指令，并输出至自动指令生成部20g。自动指令生成部20g生成反映了取样时刻Tj+t0～Tj+tu各自的动作数据PPdj0～PPdju的自动动作指令。这样，神经网络20aa以各拍摄时刻Tj的三维图像数据Idi为输入数据而输出动作数据PPdj0～PPdju，由此生成反映了该动作数据的自动动作指令。
此外，神经网络20aa也可以构成为：作为输入数据，而输入拍摄时刻Tk的三维图像数据Idk与拍摄时刻Tk以前的时刻Tk－1～Tk－s(s：规定的自然数)的三维图像数据Idk－1～Idk－s。
在该情况下，在机械学习时，数据输入部20ac将三维图像数据Idk、Idk－1～Idk－s输入神经网络20aa作为拍摄时刻Tk的学习用数据20ra，神经网络20aa输出时刻Tk～Tk+1的动作数据。关于被输出的动作数据与教师数据Pmk0～Pmku，学习评价部20ad调节神经网络20aa的节点间的权重。另外，在数据的输入输出时，神经网络20aa输入时刻Tj、Tj－1～Tj－s的三维图像数据Idj、Idj－1～Idj－s作为时刻Tj的输入数据，从而输出时刻Tj～Tj+1的动作数据。
这样的神经网络20aa能够提高其学习效率以及学习精度。神经网络20aa不仅基于当前时刻的瞬间的三维图像数据，也基于此前的一系列的三维图像数据，对机器人10的动作进行预测，因此能够进行准确的预测。
[机器人***的动作]
对实施方式的机器人***1的动作进行说明。具体而言，对第2自动运转模式、第1学习模式以及第2学习模式下的动作进行说明。
[第2自动运转模式]
图9是表示实施方式的机器人***1的第2自动运转模式下的动作的一个例子的流程图。如图9所示，首先，在步骤S101中，操作人员等用户P向输入装置40输入执行第2自动运转模式的指令。控制装置20接受该指令，开始第2自动运转模式下的控制。
接下来，在步骤S102中，控制装置20接受由用户P向输入装置40输入的指定对象物W的磨削对象区域WA的指令。该指令例如也可以包含表示磨削对象区域WA的位置的信息等。
接下来，在步骤S103中，控制装置20对机器人10进行控制而使拍摄装置30移动，使拍摄装置30对磨削对象区域WA进行拍摄。控制装置20也可以将拍摄到的图像经由提示装置50提示给用户P。
接下来，在步骤S104中，控制装置20对磨削对象区域WA的图像进行处理，由此生成该图像的三维图像数据。接下来，在步骤S105中，控制装置20将三维图像数据输入学习模型20qa，而使学习模型20qa输出针对该三维图像数据的数据。
接下来，在步骤S106中，控制装置20对被输出的数据是否是机器人10的动作数据进行判定。控制装置20在是机器人10的动作数据的情况下(在步骤S106中为是)进入步骤S107，在不是机器人10的动作数据的情况下(在步骤S106中为否)进入步骤S108。学习模型20qa在不需要对磨削对象区域WA的磨削的情况下，输出机器人10的动作数据以外的数据，或者不输出数据。
接下来，在步骤S107中，控制装置20根据上述动作数据，使机器人10通过自动运转执行磨削对象区域WA的磨削。具体而言，控制装置20生成反映了与上述动作数据对应的动作对应指令的自动动作指令，将基于自动动作指令的控制指令输出至机器人10，而使手臂驱动装置M1～M6以及磨削装置11a进行所希望的动作。
接下来，在步骤S109中，控制装置20判定是否到达接下来的拍摄时机。该拍摄时机是在磨削对象区域WA的拍摄后经过了一个取样周期的时间的时机。控制装置20在到达的情况下(在步骤S109中为是)进入步骤S103并反复步骤S103及之后步骤的处理，在不到达的情况下(在步骤S109中为否)返回步骤S107。此外，控制装置20也可以具备测定时间的计时器或者时钟等，对每个规定的时间周期的拍摄时机进行计时。
在步骤S108中，控制装置20将在最近的步骤S103中拍摄到的图像经由提示装置50提示给用户P，结束第2自动运转模式的磨削作业。
通过上述那样的步骤S101～S109的处理，控制装置20与三维图像数据所表示的磨削作业区域的状态对应地控制机器人10，能够自动地进行适于该状态的磨削作业。另外，控制装置20能够与磨削的进展状况对应地控制机器人10，自动地进行磨削作业。
第2自动运转模式下的磨削作业能够应用于对根据第1自动运转模式下的教示数据的磨削作业(例如，粗磨作业)结束后的磨削作业区域进行的磨削作业(例如，精磨)。或者，第2自动运转模式下的磨削作业能够应用于对第2自动运转模式下的磨削作业结束后的磨削作业区域进行的磨削作业(例如，精磨或者修整磨削)。或者，第2自动运转模式下的磨削作业能够应用于对手动运转模式下的磨削作业结束后的磨削作业区域进行的磨削作业(例如，精磨或者修整磨削)。或者，第2自动运转模式下的磨削作业能够应用于对未磨削的磨削作业区域进行的磨削作业。
[第1学习模式]
图10是表示实施方式的机器人***1的第1学习模式下的动作的一个例子的流程图。图10表示针对磨削对象区域WA，在第1运转模式的磨削结束后将第1学习模式与手动运转模式一同执行的例子。
如图10所示，首先，在步骤S201中，控制装置20接受由用户P向输入装置40输入的第1自动运转模式的执行指令，开始第1自动运转模式下的控制。
接下来，在步骤S202中，控制装置20接受向输入装置40输入的磨削对象区域WA的指定。
接下来，在步骤S203中，控制装置20读出第1存储部20p的教示数据20pa，根据教示数据20pa，使机器人10通过自动运转执行磨削对象区域WA的磨削。具体而言，控制装置20生成根据教示数据20pa的自动动作指令，将基于自动动作指令的控制指令发送至机器人10，而使其进行根据教示数据20pa的动作。例如，如图11所示，控制装置20对机器人10进行控制，以在磨削对象区域WA上，将磨削砂轮11b按压于磨削对象区域WA的表面并使磨削装置11a向空心箭头的方向沿着规定的路径Ra(虚线显示)移动。此外，图11是表示机器人10的磨削对象区域WA的根据教示数据20pa的磨削动作的一个例子的图。
接下来，在步骤S204中，控制装置20判定对磨削对象区域WA的磨削作业是否已结束。在机器人10执行完毕教示数据20pa所含的全部的动作的情况下，磨削作业结束。控制装置20在结束的情况下(在步骤S204中为是)进入步骤S205，在未结束的情况下(在步骤S204中为否)返回步骤S203。
在步骤S205中，控制装置20使拍摄装置30对磨削对象区域WA进行拍摄，将拍摄到的图像经由提示装置50提示给用户P，结束第1自动运转模式下的磨削作业。
在步骤S206中，用户P将执行手动运转模式以及第1学习模式的指令向输入装置40输入。控制装置20接受该指令，开始执行手动运转模式并且执行第1学习模式的控制。步骤S206的处理在用户P判断为需要磨削对象区域WA的进一步的磨削的情况下被执行。
接下来，在步骤S207中，控制装置20使拍摄装置30对磨削对象区域WA的动画进行拍摄，并将该动画经由提示装置50提示给用户P。控制装置20使该动画的提示继续直至磨削作业结束。另外，控制装置20从该动画取得1帧的图像。
接下来，在步骤S208中，控制装置20对取得的图像进行处理，由此生成该图像的三维图像数据。控制装置20使该三维图像数据作为学习用数据20ra存储于第3存储部20r。另外，控制装置20也可以使用三维图像数据生成距离图像并提示给提示装置50。
接下来，在步骤S209中，控制装置20根据由用户P输入操作装置400的操作信息，使机器人10通过手动运转执行磨削对象区域WA的磨削。例如，如图12所示，控制装置20根据操作信息对机器人10进行控制，以将磨削砂轮11b按压于磨削对象区域WA的表面并且使磨削装置11a在磨削对象区域WA上向涂黑箭头的方向沿着路径Rb(实线显示)移动。此外，图12是表示磨削对象区域WA的根据操作信息的机器人10的磨削作业结果的一个例子的图。
接下来，在步骤S210中，在磨削的执行中，控制装置20取得与根据操作信息而生成的手动动作指令对应的动作数据，并与步骤S208中的三维图像数据关联，并作为学习用数据20ra存储于第3存储部20r。
接下来，在步骤S211中，控制装置20判定是否由用户P向输入装置40输入了结束磨削作业的指令。控制装置20在已输入的情况下(在步骤S211中为是)进入步骤S213，在未输入的情况下(在步骤S211中为否)进入步骤S212。
在步骤S212中，控制装置20判定是否已到达图像的接下来的取得时机。该取得时机是取得1帧的图像后经过了一个取样周期的时间的时机。控制装置20在到达的情况下(在步骤S212中为是)进入步骤S207并反复步骤S207及之后步骤的处理，在未到达的情况下(在步骤S212中为否)返回步骤S209。
在步骤S213中，控制装置20结束手动运转模式。另外，控制装置20以学习用数据20ra的三维图像数据为输入数据，以与该三维图像数据关联的动作数据为教师数据，使学习模型20qa进行机械学习，而结束第1学习模式。此外，学习模型20qa的机械学习也可以在任意的时刻进行。
执行步骤S201～S213的处理，由此控制装置20能够使学习模型20qa对基于用户P的手动运转进行的磨削作业技术进行机械学习。例如，控制装置20能够使学习模型20qa机械学习针对图12的路径Rb的全部的手动运转的磨削作业内容。
第1学习模式能够应用于对根据第1自动运转模式下的教示数据的磨削作业(例如，粗磨作业)结束后的磨削作业区域进行的手动运转模式(例如，精磨)。或者，第1学习模式能够应用于对使用了第2自动运转模式下的学习模型20qa的磨削作业结束后的磨削作业区域进行的手动运转模式(例如，精磨或者修整磨削)。或者，第1学习模式能够应用于对手动运转模式下的磨削作业结束后的磨削作业区域进行的手动运转模式(例如，精磨或者修整磨削)。或者，第1学习模式能够应用于对未磨削的磨削作业区域进行的手动运转模式。
[第2学习模式]
图13是表示实施方式的机器人***1的第2学习模式下的动作的一个例子的流程图。图13表示针对磨削对象区域WA，将第2学习模式与第2自动运转模式一同执行的例子。
如图13所示，首先，在步骤S301中，控制装置20接受由用户P输入的第2自动运转模式以及第2学习模式的执行指令，开始执行第2自动运转模式并且执行第2学习模式的控制。在该情况下，控制装置20在机器人10的自动运转的动作中，接受经由了操作装置400的操作输入，根据操作信息对机器人10的动作进行修正。
接下来，在步骤S302中，控制装置20接受向输入装置40输入的磨削对象区域WA的指定。
接下来，在步骤S303中，控制装置20对机器人10进行控制而使拍摄装置30对磨削对象区域WA的动画进行拍摄。控制装置20将该动画经由提示装置50提示给用户P，直至磨削作业结束。另外，控制装置20从该动画取得1帧的图像。
接下来，在步骤S304中，控制装置20对取得的图像进行处理，由此生成该图像的三维图像数据。接下来，在步骤S305中，控制装置20将上述三维图像数据作为学习用数据20ra存储于第3存储部20r。接下来，在步骤S306中，控制装置20将上述三维图像数据输入学习模型20qa，而输出相对于该三维图像数据的数据。
接下来，在步骤S307中，控制装置20判定被输出的数据是否是机器人10的动作数据。控制装置20在是机器人10的动作数据的情况下(在步骤S307中为是)进入步骤S308，在不是机器人10的动作数据的情况下(在步骤S307中为否)进入步骤S309。
在步骤S308中，控制装置20生成与在步骤S306中输出的动作数据对应的自动动作指令。
接下来，在步骤S310中，控制装置20判定是否存在来自操作装置400的修正操作信息的输出。修正操作信息是与为了修正机器人10的动作而由用户P输入操作装置400的修正操作对应的操作信息。控制装置20在存在输出的情况下(在步骤S310中为是)进入步骤S311，在没有输出的情况下(在步骤S310中为否)进入步骤S312。
在步骤S311中，控制装置20生成与修正操作信息对应的手动动作指令，另外，基于该手动动作指令与步骤S308中的自动动作指令，生成作为新的动作指令的修正动作指令。例如，控制装置20也可以将手动动作指令与自动动作指令置换或者相加，由此生成修正动作指令。
在步骤S312中，控制装置20根据步骤S308中的自动动作指令或者步骤S311中的修正动作指令，使机器人10通过自动运转执行磨削对象区域WA的磨削。
接下来，在步骤S313中，控制装置20取得与自动动作指令或者修正动作指令对应的动作数据，与步骤S305中的三维图像数据关联，并作为学习用数据20ra存储于第3存储部20r。
接下来，在步骤S314中，控制装置20判定是否到达图像的接下来的取得时机。控制装置20在到达的情况下(在步骤S314中为是)进入步骤S303并反复步骤S303及之后步骤的处理，在未到达的情况下(在步骤S314中为否)返回步骤S308。
在步骤S309中，控制装置20结束第2自动运转模式的磨削作业。另外，控制装置20与第1学习模式下的步骤S213相同地，使用存储于第3存储部20r的学习用数据20ra使学习模型20qa进行机械学习，结束第2学习模式。机械学习也可以在任意的时刻进行。
执行步骤S301～S314的处理，由此控制装置20能够使学习模型20qa对用户P的施加于机器人10的自动运转的动作的修正操作进行机械学习。而且，第2学习模式能够应用于能够在第1自动运转模式以及第2运转模式下进行对机器人10的自动运转的动作施加的手动操作的修正的情况。
(其他的实施方式)
以上，对本发明的实施方式的例子进行了说明，但本发明不限定于上述实施方式。即，能够在本发明的范围内进行各种变形以及改进。例如，对实施方式施加各种变形而得的方式以及将不同的实施方式中的构成要素组合而构建的方式也包含于本发明的范围内。
例如，实施方式的控制装置20构成为能够分别在手动运转模式、第1自动运转模式、第2自动运转模式、第1学习模式以及第2学习模式下进行动作，但也可以构成为能够在它们中的几个模式下进行动作。例如，控制装置20也可以构成为能够仅在第1学习模式和第2学习模式中的一方下进行动作。
另外，实施方式的控制装置20构成为在第1学习模式以及第2学习模式中，将针对每个取样周期Ts取得的三维图像数据以及动作数据作为学习用数据20ra进行积蓄，在第2自动运转模式中，使用针对每个取样周期Ts取得的三维图像数据来生成动作对应指令。取样周期Ts的长度也可以根据学习模型20qa的能力来决定。取样周期Ts相对较长，由此控制装置20能够减少对磨削对象区域WA的拍摄次数，由此，能够减少用于生成三维图像数据的处理量，从而提高处理速度。
另外，在实施方式的控制装置20中，第1图像处理部20d执行对三维图像数据的图像处理，学习模型20qa将三维图像数据作为输入数据，但不限定于此。例如，学习模型20qa也可以具备将由照相机31拍摄到的图像数据向三维图像数据进行图像处理的功能。在该情况下，学习模型20qa以由照相机31拍摄到的图像数据为输入数据，以动作数据为输出数据。
另外，在实施方式的机器人***1中，从磨削装置11a传递至机器人手臂12的振动以及冲击被作为物理性的滤波器的一个例子的缓冲部件11d物理性地衰减或者减少，但不限定于此。例如，上述振动以及冲击也可以被电气的滤波器衰减或者减少。具体而言，也可以设置包含除去末端执行器11的力传感器11e的检测信号的高频成分的低通滤波器等电路。或者，也可以设置以抵消振动以及冲击的方式使马达404动作的电路。上述电路是电气的滤波器的一个例子，可以设置于控制装置20，也可以设置于操作装置400。
另外，实施方式的控制装置20构成为在对1个磨削对象区域WA进行的第1自动运转模式或者第2自动运转模式的磨削作业的结束后，接受对该磨削对象区域WA的手动运转模式的执行，但不限定于此。例如，控制装置20也可以构成为在对作为多个磨削对象区域WA所构成的1个组的磨削对象组的全部的磨削对象区域WA执行了第1自动运转模式或者第2自动运转模式的磨削作业后，接受对各磨削对象区域WA的手动运转模式的执行。在该情况下，也可以构成为在对全部的磨削对象区域WA进行的第1自动运转模式或者第2自动运转模式的磨削作业结束后，控制装置20使拍摄装置30对全部的磨削对象区域WA的图像进行拍摄，并提示给提示装置50。由此，用户能够将全部的磨削对象区域WA的磨削的完成的结果相互比较并进行确认，从而容易地判断是否需要对各磨削对象区域WA追加磨削作业。
另外，控制装置20也可以构成为使机器人10的位置移动，并且对多个磨削对象区域WA进行磨削作业。例如，如图14所示，控制装置20也可以构成为将多个磨削对象区域WA划分成多个磨削对象分区WD1～WD4进行处理。图14是表示包含多个磨削对象区域WA的对象物W的一个例子的俯视图。在图14中，对象物W是圆筒状的大型罐，多个磨削对象区域WA是大型罐W的沿轴向延伸的焊接部。多个磨削对象区域WA分别是将焊接部以规定的形状以及大小划分而形成的区域，沿大型罐W的轴向亦即方向D1排列为一列。磨削对象分区WD1～WD4分别包含至少一个磨削对象区域WA。磨削对象分区WD1～WD4沿方向D1排列，各磨削对象分区WD1～WD4的范围的大小是机器人手臂12的动作范围以下。控制装置20例如也可以构成为以机器人10对磨削对象分区WD1～WD4依序进行磨削的方式使输送装置13移动机器人10。控制装置20使位于磨削对象分区WD1的正面的位置P1的机器人10结束了磨削对象分区WD1内的全部的磨削对象区域WA的磨削作业后，使机器人10向邻接的磨削对象分区WD2的正面的位置P2移动，而使机器人10执行磨削对象分区WD2内的磨削对象区域WA的磨削。对磨削对象分区WD3以及WD4的磨削也相同。由此，能够减少使机器人10移动的处理次数。
另外，实施方式的学习模型20qa也可以包含1个以上的学习模型。例如，学习模型20qa也可以包含与磨削对象物的种类、磨削对象物的材质、磨削对象物的表面形状、磨削装置11a的种类以及能力、磨削装置11a的磨削砂轮11b等磨削体的种类、磨削对象区域的形状以及尺寸、焊痕等磨削对象区域的状态等对应地生成的各种学习模型。控制装置20也可以构成为基于经由输入装置40输入的磨削对象物、磨削对象区域、磨削装置、磨削体等的信息来决定适当的学习模型，并使用该学习模型生成自动动作指令。
另外，实施方式的控制装置20也可以构成为决定设定于机器人10的机器人坐标系与设定于磨削对象区域WA的对象物坐标系的第1坐标系关系，决定设定于输入装置40的操作坐标系与对象物坐标系的第2坐标系关系。而且，控制装置20也可以构成为根据输入装置40的操作信息、第1坐标系关系及第2坐标系关系，来生成手动动作指令。另外，控制装置20也可以构成为在对象物坐标系被移动的情况下，基于移动后的对象物坐标系与机器人坐标系，重新决定移动后的第1坐标系关系，将移动后的对象物坐标系与操作坐标系的移动后的第2坐标系关系决定为与移动前的第2坐标系关系相同的关系。
例如，如图15所示，能够设定机器人坐标系Cr、对象物坐标系Cw以及操作坐标系Cc。图15是表示图1的机器人***1中的各坐标系的一个例子的图。机器人坐标系Cr是以机器人10为基准的坐标系，由正交的Xr轴、Yr轴以及Zr轴，和它们的原点Or定义。对象物坐标系Cw是以磨削对象区域WA为基准的坐标系，由正交的Xw轴、Yw轴以及Zw轴，和它们的原点Ow定义。操作坐标系Cc是以输入装置40的操作装置400为基准的坐标系，由正交的Xc轴、Yc轴以及Zc轴，和它们的原点Oc定义。例如，Xr轴、Yr轴以及Zr轴的方向矢量以及原点Or的位置使用世界坐标系来定义。Xw轴、Yw轴以及Zw轴的方向矢量以及原点Ow的位置使用世界坐标系来定义。世界坐标系是在配置机器人***1的空间设定的坐标系。
例如，第1坐标系关系也可以是机器人坐标系Cr与对象物坐标系Cw的位置以及姿势的关系。例如，上述关系也可以是坐标轴的位置以及姿势的关系。坐标轴的位置以及姿势的关系可以是以世界坐标系为基准的关系，也可以是以机器人坐标系Cr为基准的关系。
第2坐标系关系也可以是操作坐标系Cc与对象物坐标系Cw之间的坐标的对应关系。坐标的对应关系可以是操作坐标系Cc的坐标轴与对象物坐标系Cw的坐标轴的对应关系等坐标轴的对应关系，也可以是操作坐标系Cc与对象物坐标系Cw之间的坐标点的对应关系。例如，操作坐标系Cc的Xc轴、Yc轴以及Zc轴可以分别与对象物坐标系Cw的Xw轴、Yw轴以及Zw轴对应，可以以与此不同的组合与Xw轴、Yw轴以及Zw轴对应，也可以与Xw轴、Yw轴以及Zw轴以外的对象物坐标系Cw内的轴对应。
例如，控制装置20若现状的对象物坐标系Cw被移动，则基于移动后的对象物坐标系Cwd与机器人坐标系Cr的位置以及姿势的关系等，将移动后的对象物坐标系Cwd与机器人坐标系Cr的关系决定为新的第1坐标系关系。对象物坐标系Cwd由Xwd轴、Ywd轴以及Zwd轴定义。例如，控制装置20将表示现状的关系的式子定义为“Cw＝M1p·Cr”，运算函数“M1p”，将表示新的关系的式子定义为“Cwd＝M1d·Cr”，运算函数“M1d”，置换关系式，由此进行更新作为第1坐标系关系。例如，函数“M1d”以及“M1p”也可以是使坐标轴平行移动及/或旋转的坐标转换的函数。
因此，在将对象物坐标系Cw向对象物坐标系Cwd移动了的情况下，控制装置20将移动后的对象物坐标系Cwd与机器人坐标系Cr的关系决定为第1坐标系关系。
另外，若现状的对象物坐标系Cw被移动，则控制装置20使移动后的对象物坐标系Cwd与操作坐标系Cc的关系为和现状的对象物坐标系Cw与操作坐标系Cc的关系相同的关系，并决定为新的第2坐标系关系。例如，控制装置20也可以使新的对象物坐标系Cwd与操作坐标系Cc的坐标轴及/或坐标点的对应关系为和现状的对象物坐标系Cw与操作坐标系Cc的坐标轴及/或坐标点的对应关系相同的关系，并决定为新的第2坐标系关系。
例如，控制装置20将表示现状的关系的式子定义为“Cw＝M2·Cc”，将表示新的关系的式子定义为“Cwd＝M2·Cc”，置换关系式，由此进行更新作为第2坐标系关系。例如，函数“M2”也可以是在各坐标轴方向乘以常量的函数。
因此，控制装置20在将对象物坐标系Cw向对象物坐标系Cwd移动了的情况下，在移动的前后维持第2坐标系关系。
而且，控制装置20在生成手动动作指令的情况下，使用关系式“Cwd＝M1d·Cr”与关系式“Cwd＝M2·Cc”，运算关系式“Cr＝M1d－1M2·Cc”，向该关系式“Cr＝M1d－1M2·Cc”输入操作信息等，由此生成手动动作指令。
因此，若用户P在操作装置400中例如对把持部401施加向Yc轴正方向的力，则控制装置20在移动前的对象物坐标系Cw中，使机器人10将末端执行器11向Yw轴正方向移动，在移动后的对象物坐标系Cwd中，使机器人10将末端执行器11向Ywd轴正方向移动。因此，即便是磨削对象区域WA的位置及/或姿势变化的情况下，用户P也能够不大幅改变姿势地对操作装置400进行操作。
另外，本发明的技术也可以是控制方法。例如，本发明的一个方式的控制方法向学习模型输入磨削对象部分的图像数据作为输入数据，使学习模型输出机器人的动作对应指令作为输出数据，基于上述动作对应指令，生成用于使上述机器人自动地磨削上述磨削对象部分的自动动作指令，根据从用于操作上述机器人的操作装置输出的操作信息生成用于使上述机器人磨削上述磨削对象部分的手动动作指令，根据上述动作指令对上述机器人的磨削作业的动作进行控制，使上述学习模型使用上述磨削对象部分的图像数据以及上述机器人的与针对上述图像数据的状态的上述磨削对象部分生成的上述动作指令对应的动作数据来进行机械学习，由上述学习模型输出的上述动作对应指令是与上述机器人的动作数据对应的指令。根据该控制方法，能够获得与上述机器人***等相同的效果。这样的控制方法也可以通过CPU、LSI等电路、IC卡或者单体的模块等实现。
另外，本发明的技术也可以是用于执行上述控制方法的程序，也可以是记录了上述程序的非暂时的计算机可读取的存储介质。另外，上述程序不言而喻能够经由网络等传送介质进行流通。
另外，以上使用的序数、数量等的数字全部是为了具体地说明本发明的技术而例示的，本发明不受例示的数字限制。另外，构成要素之间的连接关系是为了具体地说明本发明的技术而例示的，实现本发明的功能的连接关系不限定于此。
另外，功能框图中的方框的分割是一个例子，也可以将多个方框作为1个方框来实现、将1个方框分割成多个，及/或将一部分的功能转移给其他的方框。另外，单一的硬件或者软件也可以并行或者分时地处理具有类似的功能的多个方框的功能。
附图标记的说明
1…机器人***；10…机器人；11a…磨削装置；13…输送装置(移动装置)；20…控制装置；20a…学习部；20qa…学习模型；20c…拍摄控制部；20d、20e…图像处理部；20f…手动指令生成部；20g…自动指令生成部；20h…动作控制部；20ha…驱动控制部；20hb…输送控制部(移动控制部)；20p～20s…存储部；30…拍摄装置；31…照相机；32…光源(无反射光源)；40…输入装置(操作装置)；50…提示装置。

Claims (22)

1.一种控制装置，其是使用磨削装置进行磨削作业的机器人的控制装置，其特征在于，具备：
自动指令生成部，其生成用于使所述机器人对磨削对象部分自动地进行磨削的自动动作指令；
手动指令生成部，其根据从用于操作所述机器人的操作装置输出的操作信息，生成用于使所述机器人对磨削对象部分进行磨削的手动动作指令；
动作控制部，其根据所述动作指令，控制所述机器人的磨削作业的动作；
存储部，其对磨削对象部分的图像数据以及所述机器人的与针对所述图像数据的状态的所述磨削对象部分生成的所述动作指令对应的动作数据进行存储；以及
学习部，其使用磨削对象部分的图像数据与针对所述图像数据的状态的所述磨削对象部分的所述动作数据进行机械学习，以所述图像数据为输入数据且以与所述动作数据对应的动作对应指令为输出数据，
所述自动指令生成部基于所述学习部的所述动作对应指令生成所述自动动作指令。
2.根据权利要求1所述的控制装置，其特征在于，
所述学习部使用磨削对象部分的图像数据以及与针对所述图像数据的状态的所述磨削对象部分生成的所述手动动作指令对应的所述动作数据来进行机械学习。
3.根据权利要求1或2所述的控制装置，其特征在于，
所述学习部使用磨削对象部分的图像数据、以及与针对所述图像数据的状态的所述磨削对象部分生成的所述自动动作指令和所述手动动作指令对应的所述动作数据来进行机械学习。
4.根据权利要求1～3中任一项所述的控制装置，其特征在于，
所述手动指令生成部在所述机器人的根据所述自动动作指令的动作中，经由所述操作装置接受修正操作信息的输入，根据所述修正操作信息生成作为所述手动动作指令的修正手动动作指令，所述修正操作信息是用于修正所述机器人的动作的所述操作信息，
所述学习部使用所述磨削对象部分的图像数据、以及与针对所述图像数据的状态的所述磨削对象部分生成的所述自动动作指令和所述修正手动动作指令对应的所述动作数据来进行机械学习。
5.根据权利要求1～4中任一项所述的控制装置，其特征在于，
所述自动指令生成部生成：
第1自动动作指令，其是所述机器人根据预先决定的动作顺序对磨削对象部分自动地进行磨削的第1磨削作业用的所述自动动作指令；以及
第2自动动作指令，其是所述机器人在所述第1磨削作业后基于所述学习部的所述动作对应指令对所述磨削对象部分自动地进行磨削的第2磨削作业用的所述自动动作指令，
所述自动指令生成部基于所述学习部以所述磨削对象部分的图像数据为输入数据而输出的所述动作对应指令来生成所述第2自动动作指令。
6.根据权利要求1～4中任一项所述的控制装置，其特征在于，
所述自动指令生成部生成第3自动动作指令，其是对未磨削的磨削对象部分自动地进行磨削的第3磨削作业用的所述自动动作指令，
所述自动指令生成部基于所述学习部以所述磨削对象部分的图像数据为输入数据而输出的所述动作对应指令来生成所述第3自动动作指令。
7.根据权利要求1～6中任一项所述的控制装置，其特征在于，
所述学习部使用包含神经网络在内的学习模型进行机械学习以及输入输出。
8.根据权利要求1～7中任一项所述的控制装置，其特征在于，
所述学习部使用表示磨削对象部分的各位置的三维位置的数据作为所述图像数据。
9.根据权利要求8所述的控制装置，其特征在于，
还包括第1图像处理部，所述第1图像处理部对磨削对象部分的图像进行处理，由此检测所述磨削对象部分的各位置的三维位置，并且生成表示所述各位置的三维位置的所述图像数据。
10.根据权利要求1～7中任一项所述的控制装置，其特征在于，
还包括第1图像处理部，所述第1图像处理部基于使用包含无反射光源与照相机的拍摄装置而拍摄到的所述磨削对象部分的图像所表示的浓淡以及色彩中的至少一者，检测从所述照相机到所述磨削对象部分的各位置的距离，并且生成表示到所述各位置的距离的所述图像数据。
11.根据权利要求1～10中任一项所述的控制装置，其特征在于，
还具备拍摄控制部，所述拍摄控制部控制对磨削对象部分进行拍摄的拍摄装置的动作并取得所述磨削对象部分的图像数据，
所述拍摄控制部在对磨削对象部分的磨削作业开始前的时机以及磨削作业中的规定的时机使所述拍摄装置对所述磨削对象部分进行拍摄，
所述学习部以由所述拍摄控制部取得的图像数据为输入数据，输出所述动作对应指令。
12.根据权利要求11所述的控制装置，其特征在于，
所述动作控制部使所述机器人根据所述自动动作指令而对由多个磨削对象部分构成的磨削对象组的全部的所述磨削对象部分进行磨削，
所述拍摄控制部在根据所述自动动作指令针对所述全部的磨削对象部分进行的磨削作业结束后，使所述拍摄装置对所述全部的磨削对象部分进行拍摄，
所述控制装置使提示装置提示所述全部的磨削对象部分的图像。
13.根据权利要求11或12所述的控制装置，其特征在于，
还具备第2图像处理部，
所述第2图像处理部对由所述拍摄装置拍摄到的磨削对象部分的图像数据进行处理，生成使用颜色、花纹以及浓淡中的至少一者表示所述磨削对象部分的三维形状的图像数据，并使提示装置进行提示。
14.根据权利要求1～13中任一项所述的控制装置，其特征在于，
还具备移动控制部，所述移动控制部控制使所述机器人移动的移动装置的动作，
所述移动控制部使所述移动装置相对于将多个磨削对象部分划分而成的多个磨削对象分区移动所述机器人，以所述机器人按规定的顺序磨削所述多个磨削对象分区。
15.根据权利要求1～14中任一项所述的控制装置，其特征在于，构成为：
从检测磨削反作用力的力传感器接受所述磨削反作用力的信息，所述磨削反作用力为所述磨削装置所受到的反作用力，
使所述操作装置产生与所述磨削反作用力对应的操作反作用力，所述操作反作用力是针对向所述操作装置输入的操作的反作用力。
16.根据权利要求15所述的控制装置，其特征在于，构成为：
使所述操作装置产生与经由滤波器而获得的所述磨削反作用力对应的所述操作反作用力，所述滤波器使由所述力传感器检测的所述磨削反作用力的高频成分减少。
17.根据权利要求1～16中任一项所述的控制装置，其特征在于，
所述操作信息包含输入所述操作装置的位置、姿势以及力的指令，
所述手动指令生成部生成包含所述磨削装置的对所述操作信息所含的位置、姿势以及力的指令进行了增额的位置、姿势以及作用力的指令的所述手动动作指令。
18.根据权利要求1～17中任一项所述的控制装置，其特征在于，
所述控制装置构成为：
决定第1坐标系关系，该第1坐标系关系是设定于所述机器人的机器人坐标系与设定于所述磨削对象部分的对象物坐标系的关系，
决定第2坐标系关系，该第2坐标系关系是设定于所述操作装置的操作坐标系与所述对象物坐标系的关系，
所述手动指令生成部根据所述操作信息、所述第1坐标系关系及所述第2坐标系关系，生成所述手动动作指令，
所述控制装置构成为在所述对象物坐标系被移动的情况下，基于移动后的所述对象物坐标系与所述机器人坐标系，重新决定移动后的所述第1坐标系关系，并将移动后的所述对象物坐标系与所述主坐标系的移动后的所述第2坐标系关系决定为与移动前的所述第2坐标系关系相同的关系。
19.一种控制***，其特征在于，
具备权利要求1～18中任一项所述的控制装置、以及
用于操作所述机器人的所述操作装置。
20.一种机器人***，其特征在于，具备：
权利要求1～18中任一项所述的控制装置、
所述机器人、
用于操作所述机器人的所述操作装置、以及
拍摄装置，
所述拍摄装置构成为将拍摄到磨削对象部分的图像数据输出至所述控制装置。
21.根据权利要求20所述的机器人***，其特征在于，
还具备提示装置，
所述提示装置构成为将由所述拍摄装置拍摄到的图像以及从所述控制装置输出的图像中的至少一者提示给所述机器人***的用户。
22.一种控制方法，其特征在于，
向学习模型输入磨削对象部分的图像数据作为输入数据，使学习模型输出机器人的动作对应指令作为输出数据，
基于所述动作对应指令，生成用于使所述机器人对所述磨削对象部分自动地进行磨削的自动动作指令，
根据从用于操作所述机器人的操作装置输出的操作信息，生成用于使所述机器人对所述磨削对象部分进行磨削的手动动作指令，
根据所述动作指令，控制所述机器人的磨削作业的动作，
使所述学习模型使用所述磨削对象部分的图像数据以及与针对所述图像数据的状态的所述磨削对象部分生成的所述动作指令对应的所述机器人的动作数据进行机械学习，
由所述学习模型输出的所述动作对应指令是与所述机器人的动作数据对应的指令。
CN202080079029.7A 2019-11-15 2020-11-16 控制装置、控制***、机器人***以及控制方法 Active CN114728396B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019207333A JP7518610B2 (ja) 2019-11-15 2019-11-15 制御装置、制御システム、ロボットシステム及び制御方法
JP2019-207333 2019-11-15
PCT/JP2020/042651 WO2021095886A1 (ja) 2019-11-15 2020-11-16 制御装置、制御システム、ロボットシステム及び制御方法

Publications (2)

Publication Number Publication Date
CN114728396A true CN114728396A (zh) 2022-07-08
CN114728396B CN114728396B (zh) 2024-06-21

Family

ID=75912422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080079029.7A Active CN114728396B (zh) 2019-11-15 2020-11-16 控制装置、控制***、机器人***以及控制方法

Country Status (4)

Country Link
US (1) US20220388160A1 (zh)
JP (1) JP7518610B2 (zh)
CN (1) CN114728396B (zh)
WO (1) WO2021095886A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116967939A (zh) * 2023-09-22 2023-10-31 大儒科技(苏州)有限公司 一种打磨抛光专用力控制***
CN117697769A (zh) * 2024-02-06 2024-03-15 成都威世通智能科技有限公司 一种基于深度学习的机器人控制***和方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3718707A4 (en) * 2017-11-28 2021-08-25 Kawasaki Jukogyo Kabushiki Kaisha SKILLS TRANSFER MACHINE
TWI789926B (zh) * 2021-09-28 2023-01-11 中國砂輪企業股份有限公司 研磨系統、研磨狀態感測系統及其資料庫與方法
JP2023062361A (ja) * 2021-10-21 2023-05-08 株式会社日立製作所 動作指令生成装置および動作指令生成方法
CN114589631B (zh) * 2022-01-10 2023-04-07 黄山飞黄精密齿轮刀具制造有限公司 一种数控铲磨床控制***和方法
WO2023166846A1 (ja) * 2022-03-04 2023-09-07 Ｊｆｅスチール株式会社 遠隔操作システム及び遠隔操作方法
US11951635B1 (en) * 2022-10-05 2024-04-09 Wilder Systems Inc Automatically identifying locations to apply sealant and applying sealant to a target object

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07246561A (ja) * 1994-03-10 1995-09-26 Noritake Co Ltd 被研削材の自動疵取り装置
JP2008221281A (ja) * 2007-03-13 2008-09-25 Daihen Corp 自動溶接機の位置検出システム
JP2012206200A (ja) * 2011-03-29 2012-10-25 Daihen Corp ロボットシステム及び可搬式教示操作装置
JP2017020874A (ja) * 2015-07-09 2017-01-26 キヤノン株式会社 被計測物の形状を計測する計測装置
WO2018225862A1 (ja) * 2017-06-09 2018-12-13 川崎重工業株式会社 動作予測システム及び動作予測方法
WO2019107455A1 (ja) * 2017-11-28 2019-06-06 川崎重工業株式会社 技能伝承機械装置
JP2019162712A (ja) * 2018-03-20 2019-09-26 ファナック株式会社 制御装置、機械学習装置及びシステム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6546618B2 (ja) 2017-05-31 2019-07-17 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習装置、学習方法、学習モデル、検出装置及び把持システム
JP6695843B2 (ja) 2017-09-25 2020-05-20 ファナック株式会社 装置、及びロボットシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07246561A (ja) * 1994-03-10 1995-09-26 Noritake Co Ltd 被研削材の自動疵取り装置
JP2008221281A (ja) * 2007-03-13 2008-09-25 Daihen Corp 自動溶接機の位置検出システム
JP2012206200A (ja) * 2011-03-29 2012-10-25 Daihen Corp ロボットシステム及び可搬式教示操作装置
JP2017020874A (ja) * 2015-07-09 2017-01-26 キヤノン株式会社 被計測物の形状を計測する計測装置
WO2018225862A1 (ja) * 2017-06-09 2018-12-13 川崎重工業株式会社 動作予測システム及び動作予測方法
WO2019107455A1 (ja) * 2017-11-28 2019-06-06 川崎重工業株式会社 技能伝承機械装置
JP2019162712A (ja) * 2018-03-20 2019-09-26 ファナック株式会社 制御装置、機械学習装置及びシステム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116967939A (zh) * 2023-09-22 2023-10-31 大儒科技(苏州)有限公司 一种打磨抛光专用力控制***
CN116967939B (zh) * 2023-09-22 2023-12-26 大儒科技(苏州)有限公司 一种打磨抛光专用力控制***
CN117697769A (zh) * 2024-02-06 2024-03-15 成都威世通智能科技有限公司 一种基于深度学习的机器人控制***和方法
CN117697769B (zh) * 2024-02-06 2024-04-30 成都威世通智能科技有限公司 一种基于深度学习的机器人控制***和方法

Also Published As

Publication number Publication date
JP7518610B2 (ja) 2024-07-18
CN114728396B (zh) 2024-06-21
WO2021095886A1 (ja) 2021-05-20
US20220388160A1 (en) 2022-12-08
JP2021079468A (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
CN114728396B (zh) 控制装置、控制***、机器人***以及控制方法
CN106863295B (zh) 机器人***
TWI609748B (zh) 遠端操作機器人系統
JP6499273B2 (ja) ティーチング装置及び制御情報の生成方法
CN102802867B (zh) 用于在空间上定向至少两个子组件部件的装置和方法
US8306661B2 (en) Method and system for establishing no-entry zone for robot
CN110958425A (zh) 信息处理装置、信息处理方法和***
US20150202776A1 (en) Data generation device for vision sensor and detection simulation system
EP2868442A3 (en) Robot control device and robot
JP2015014600A5 (zh)
RU2011131519A (ru) Способ автономного программирования манипулятора с цифровым управлением
US11358286B2 (en) Robot system and method of operating the same
JP2021024025A (ja) 制御装置、制御システム、ロボットシステム及び制御方法
JP2017521275A (ja) 産業用ロボットの５軸６軸混合制御方法及びそのシステム
JP2021133470A (ja) ロボットの制御方法およびロボットシステム
JP6499272B2 (ja) ティーチング装置及び制御情報の生成方法
CN114829076B (zh) 主从***以及控制方法
JP2020026002A (ja) ロボットシステム
JP7367438B2 (ja) 眼鏡レンズ周縁加工システム
CN114599485B (zh) 主从***以及控制方法
TW201808561A (zh) 機械手臂的教導系統及其控制方法
WO2023277095A1 (ja) 補正システム及び教示データの補正方法
KR102196756B1 (ko) 로봇의 원점 재설정 방법
JP2012240144A (ja) ロボット制御装置およびロボットシステム
JPWO2020031333A1 (ja) シミュレーション方法およびシミュレーションシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant