JP2022155623A - Robot remote operation control device, robot remote operation control system, robot remote operation control method and program - Google Patents
Robot remote operation control device, robot remote operation control system, robot remote operation control method and program Download PDFInfo
- Publication number
- JP2022155623A JP2022155623A JP2021058952A JP2021058952A JP2022155623A JP 2022155623 A JP2022155623 A JP 2022155623A JP 2021058952 A JP2021058952 A JP 2021058952A JP 2021058952 A JP2021058952 A JP 2021058952A JP 2022155623 A JP2022155623 A JP 2022155623A
- Authority
- JP
- Japan
- Prior art keywords
- operator
- robot
- information
- unit
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000033001 locomotion Effects 0.000 claims abstract description 74
- 238000001514 detection method Methods 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000004886 head movement Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 40
- 230000036544 posture Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 10
- 230000007613 environmental effect Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000005057 finger movement Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000003875 gradient-accelerated spectroscopy Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムに関する。 The present invention relates to a robot remote operation control device, a robot remote operation control system, a robot remote operation control method, and a program.
利用者がロボットの操作を補助することができる制御装置が提案されている。このような制御装置として、例えば、ロボットを操作する第1ユーザーの姿勢を示す第1ユーザー姿勢情報を取得する第1情報取得部と、第1ユーザー姿勢情報に基づいてロボットの姿勢を変化させる前のロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第2情報取得部と、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボットがしている時点で第1情報取得部が取得した第1ユーザー姿勢情報とに基づいて、第1ユーザーの姿勢と異なる標的姿勢をロボットの姿勢に決定する決定部と、を有する制御装置が提案されている(特許文献1参照)。 A control device has been proposed that allows a user to assist the operation of a robot. As such a control device, for example, a first information acquisition unit that acquires first user posture information indicating the posture of a first user who operates the robot, and a a second information acquiring unit for acquiring pre-change posture information indicating a pre-change posture which is the posture of the robot; A control device has been proposed that includes a determination unit that determines a target posture different from the posture of the first user as the posture of the robot based on the first user posture information acquired by the information acquisition unit (see Patent Document 1). ).
しかしながら、従来技術では、ロボットに所定の作業を行わせる場合、ロボットの操作に習熟した利用者と比較してロボットの操作に習熟していない利用者が、高い精度で当該作業をロボットに行わせることが困難な場合があった。 However, in the conventional technology, when a robot is caused to perform a predetermined task, a user who is not skilled in operating the robot causes the robot to perform the task with high accuracy compared to a user who is skilled in operating the robot. Sometimes it was difficult.
本発明は、上記の問題点に鑑みてなされたものであって、ロボットの操作に習熟していない利用者であっても、高い精度でロボットに作業を行わせることができるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and is a robot remote control device that enables even a user who is not skilled in operating a robot to operate the robot with high accuracy. , a robot remote control system, a robot remote control method, and a program.
(1)上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、前記ロボットを操作する操作者の状態の操作者状態情報を取得する情報取得部と、前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定する意図推定部と、前記推定された前記操作者の動作意図に基づいた前記物体の把持方法を決定する把持方法決定部と、を備える。 (1) In order to achieve the above objects, a robot remote operation control device according to an aspect of the present invention is a robot remote operation control in which an operator remotely operates a robot capable of grasping an object. an information acquisition unit for acquiring operator state information in the state of; an intention estimation unit for estimating an intention of an action that the operator intends the robot to perform based on the operator state information; and the estimated operation and a gripping method determination unit that determines a gripping method for the object based on the motion intention of the person.
(2)また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、操作者状態情報に基づき前記操作者の姿勢を分類することで、前記ロボットの姿勢の分類を決定して前記操作者の動作意図を推定するようにしてもよい。 (2) Further, in the robot remote control device according to the aspect of the present invention, the intention estimation unit determines the classification of the posture of the robot by classifying the posture of the operator based on the operator state information. It is also possible to estimate the motion intention of the operator by doing so.
(3)また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の持ち方および前記把持させたい物体のうちの少なくとも1つを推定することで、前記操作者の動作意図を推定するようにしてもよい。 (3) Further, in the robot remote operation control device according to the aspect of the present invention, the intention estimating unit determines, based on the operator state information, how to hold an object desired to be gripped and at least one of the object desired to be gripped. By estimating one, the motion intention of the operator may be estimated.
(4)また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の把持の仕方を推定し、推定した前記把持させたい物体の把持の仕方に基づいて前記把持させたい物体を推定することで、前記操作者の動作意図を推定するようにしてもよい。 (4) Further, in the robot remote operation control device according to the aspect of the present invention, the intention estimating unit estimates, based on the operator state information, how to grip an object desired to be gripped. The motion intention of the operator may be estimated by estimating the desired object to be gripped based on how the desired object is gripped.
(5)また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の把持の仕方を推定し、推定した前記把持させたい物体の把持の仕方に基づいて前記把持させたい物体を推定することで、前記操作者の動作意図を推定するようにしてもよい。 (5) Further, in the robot remote operation control device according to the aspect of the present invention, the intention estimating unit estimates, based on the operator state information, how to grip an object desired to be gripped. The motion intention of the operator may be estimated by estimating the desired object to be gripped based on how the desired object is gripped.
(6)また、本発明の一態様に係るロボット遠隔操作制御装置において、前記操作者状態情報は、前記操作者の視線情報、前記操作者の腕部の動き情報、および前記操作者の頭部の動き情報のうちの少なくとも1つであるようにしてもよい。 (6) Further, in the robot remote control device according to the aspect of the present invention, the operator state information includes the operator's sight line information, the operator's arm movement information, and the operator's head movement information. may be at least one of the motion information.
(7)また、本発明の一態様に係るロボット遠隔操作制御装置において、前記情報取得部は、前記物体の位置情報を取得し、前記把持方法決定部は、取得された前記物体の位置情報も用いて把持したい物体を推定するようにしてもよい。 (7) Further, in the robot remote control device according to the aspect of the present invention, the information acquisition unit acquires the position information of the object, and the grasping method determination unit acquires the acquired position information of the object. You may make it estimate the object which it wants to grasp|grip using.
(8)また、本発明の一態様に係るロボット遠隔操作制御装置において、前記把持方法決定部は、前記ロボットが備える把持部の位置情報を取得し、操作者状態情報に基づき前記把持部の位置情報を補正するようにしてもよい。 (8) Further, in the robot remote operation control device according to the aspect of the present invention, the gripping method determination unit acquires position information of a gripping unit provided in the robot, and determines the position of the gripping unit based on operator state information. Information may be corrected.
(9)また、本発明の一態様に係るロボット遠隔操作制御装置において、ロボット状態画像作成部、をさらに備え、前記意図推定部は、撮影装置が撮影した画像に基づく前記物体に関する情報を取得し、前記ロボット状態画像作成部は、前記物体に関する情報と、前記把持部の位置情報と、前記操作者状態情報と、補正した前記把持部の位置情報とに基づいて、前記操作者に提供する画像を生成するようにしてもよい。 (9) Further, the robot remote operation control device according to one aspect of the present invention further includes a robot state image creating unit, wherein the intention estimating unit acquires information about the object based on the image captured by the imaging device. and the robot state image creating unit provides an image to the operator based on the information about the object, the position information of the gripping unit, the operator state information, and the corrected position information of the gripping unit. may be generated.
(10)上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御システムは、前記物体を把持する把持部と、前記把持部の位置情報を検出する検出部と、を備えるロボットと、上記(1)から(6)のうちのいずれか1つに記載の前記ロボット遠隔操作制御装置と、前記物体の位置情報を検出する環境センサと、前記ロボットを操作する操作者の状態の操作者状態情報を検出するセンサと、を備える。 (10) In order to achieve the above objects, a robot remote control system according to an aspect of the present invention provides a robot comprising: a gripping unit that grips the object; and a detection unit that detects positional information of the gripping unit. , the robot remote control device according to any one of the above (1) to (6), an environment sensor for detecting position information of the object, and an operator operating the robot. a sensor for detecting person status information.
(11)上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、情報取得部が、前記ロボットを操作する操作者の状態の操作者状態情報を取得し、意図推定部が、前記操作者状態情報に基づき把持させたい物体および把持方法のうちの少なくとも1つを推定し、把持方法決定部が、前記推定結果に基づいた前記物体の把持方法を決定する。 (11) In order to achieve the above object, a robot remote operation control method according to an aspect of the present invention is a robot remote operation control in which an operator remotely operates a robot capable of grasping an object, wherein an information acquisition unit comprises: acquires operator state information of the state of the operator who operates the , the intention estimation unit estimates at least one of an object to be gripped and a gripping method based on the operator state information, and a gripping method determination unit , determining a gripping method for the object based on the estimation result.
(12)上記目的を達成するため、本発明の一態様に係るプログラムは、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、コンピュータに、前記ロボットを操作する操作者の状態の操作者状態情報を取得させ、前記操作者状態情報に基づき把持させたい物体および把持方法のうちの少なくとも1つを推定させ、前記推定結果に基づいた前記物体の把持方法を決定させる。 (12) In order to achieve the above object, a program according to one aspect of the present invention provides, in robot remote operation control in which an operator remotely operates a robot capable of grasping an object, to a computer, an operator who operates the robot; At least one of an object to be gripped and a gripping method is estimated based on the operator status information, and a gripping method for the object is determined based on the estimation result.
(1)~(12)によれば、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができるので、ロボットの操作に習熟していない利用者であっても、高い精度でロボットに作業を行わせることができる。
(2)~(5)によれば、操作者の手や指を含む腕部の動き等によって操作者の動作意図推定を行うことで、精度良く操作者の意図を推定することができる。
(8)によれば、ロボットの把持部の実際の位置と操作者の状態に基づいて、把持部の位置情報を補正するので、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができる。
(9)によれば、操作者に補正された把持部の位置情報に基づく画像を提供できるので、操作者がロボットを遠隔操作しやすくなる。
According to (1) to (12), the target object can be picked up even if the operator does not perform accurate positioning. Robots can be made to work with precision.
According to (2) to (5), the intention of the operator can be accurately estimated by estimating the operator's motion intention based on the motion of the operator's arm including the hands and fingers.
According to (8), the position information of the gripping part is corrected based on the actual position of the gripping part of the robot and the state of the operator, so that the target object can be picked up even if the operator does not perform accurate positioning. can be realized.
According to (9), an image based on the corrected positional information of the gripping portion can be provided to the operator, so that the operator can easily remotely operate the robot.
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, in the drawings used for the following description, the scale of each member is appropriately changed so that each member has a recognizable size.
[概要]
まず、ロボット遠隔操作制御システムで行う作業と処理の概要を説明する。
図1は、本実施形態に係るロボット遠隔操作制御システム1の概要と作業の概要を示す図である。図1のように、操作者Usは、例えばHMD(ヘッドマウントディスプレイ)5とコントローラー6(6a、6b)を装着している。作業空間には、環境センサ7a、環境センサ7bが設置されている。なお、環境センサ7は、ロボット2に取り付けられていてもよい。また、ロボット2は、把持部222(222a、222b)を備える。環境センサ7(7a、7b)は、後述するように例えばRBGカメラと深度センサを備えている。操作者Usは、HMD5に表示された画像を見ながらコントローラー6を装着している手や指を動かすことで、ロボット2を遠隔操作する。図1の例では、操作者Usは、ロボット2を遠隔操作して、テーブルTb上にあるペットボトルobjを把持させる。なお、遠隔操作において、操作者Usは、ロボット2の動作を直接視認できないが、ロボット2側の映像をHMD5で間接的に視認できる状態である。本実施形態では、ロボット2が備えるロボット遠隔操作制御装置3が、ロボット2を操作する操作者の状態の情報(操作者状態情報)を取得して、取得した操作者状態情報に基づき把持させたい物体と把持方法を推定し、推定に基づいた物体の把持方法を決定する。
[Overview]
First, an outline of work and processing performed by the robot remote control system will be described.
FIG. 1 is a diagram showing an outline of a robot
[ロボット遠隔操作制御システムの構成例]
次に、ロボット遠隔操作制御システム1の構成例を説明する。
図2は、本実施形態に係るロボット遠隔操作制御システム1の構成例を示すブロック図である。図2のように、ロボット遠隔操作制御システム1は、ロボット2、ロボット遠隔操作制御装置3、HMD5、コントローラー6、および環境センサ7を備える。
[Configuration example of robot remote control system]
Next, a configuration example of the robot
FIG. 2 is a block diagram showing a configuration example of the robot
ロボット2は、例えば、制御部21、駆動部22、収音部23、記憶部25、電源26、およびセンサ27を備える。
ロボット遠隔操作制御装置3は、例えば、情報取得部31、意図推定部33、把持方法決定部34、ロボット状態画像作成部35、送信部36、および記憶部37を備える。
The
The robot
HMD5は、例えば、画像表示部51、視線検出部52、センサ53、制御部54、および通信部55を備える。
コントローラー6は、例えば、センサ61、制御部62、通信部63、およびフィードバック手段64を備える。
HMD5 is provided with the
The
環境センサ7は、例えば、撮影装置71、センサ72、物***置検出部73、および通信部74を備える。
The
なお、ロボット遠隔操作制御装置3とHMD5は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置3とコントローラー6は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置3と環境センサ7は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置3とロボット2は、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置3とHMD5は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置3とコントローラー6は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置3と環境センサ7は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置3とロボット2は、ネットワークを介さずに直接接続されてもよい。
The robot
[ロボット遠隔操作制御システムの機能例]
次に、ロボット遠隔操作制御システムの機能例を、図1を参照しつつ説明する。
HMD5は、ロボット遠隔操作制御装置3から受信したロボットの状態画像を表示する。HMD5は、操作者の視線の動きや、頭の動き等を検出し、検出した操作者状態情報をロボット遠隔操作制御装置3に送信する。
[Function example of robot remote control system]
Next, an example of functions of the robot remote control system will be described with reference to FIG.
The
画像表示部51は、制御部54の制御に応じて、ロボット遠隔操作制御装置3から受信したロボットの状態画像を表示する。
The
視線検出部52は、操作者の視線を検出し、検出した視線情報(操作者センサ値)を制御部54に出力する。
The line-of-
センサ53は、例えば、加速度センサ、ジャイロスコープ等であり、操作者の頭部の動きや傾きを検出し、検出した頭部動作情報(操作者センサ値)を制御部54に出力する。
The
制御部54は、視線検出部52が検出した視線情報と、センサ53が検出した頭部動作情報を、通信部55を介してロボット遠隔操作制御装置3に送信する。また、制御部54は、ロボット遠隔操作制御装置3が送信したロボットの状態画像を、画像表示部51に表示させる。
The
通信部55は、ロボット遠隔操作制御装置3が送信したロボットの状態画像を受信し、受信したロボットの状態画像を制御部54に出力する。通信部55は、制御部54の制御に応じて、視線情報と頭部動作情報をロボット遠隔操作制御装置3に送信する。
The
コントローラー6は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー6は、センサ61によって方位や各指の動きや手の動きを検出し、検出した操作者状態情報をロボット遠隔操作制御装置3に送信する。
The
センサ61は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ61は、複数のセンサを備えるセンサ61は、例えば2つのセンサによって各指の動きをトラッキングする。センサ61は、方位や各指の動きや手の動き等の操作者の腕部の姿勢や位置に関する情報である操作者腕部情報(操作者センサ値、操作者状態情報)を検出し、検出した操作者腕部情報を制御部62に出力する。なお、操作者腕部情報には、手先位置・姿勢情報、各指の角度情報、肘の位置・姿勢情報、各部の動きをトラッキングした情報等のヒトの腕部全般におよぶ情報が含まれる。
The sensor 61 is, for example, an acceleration sensor, a gyroscope sensor, a magnetic force sensor, or the like. Note that the sensor 61, which includes a plurality of sensors, tracks the movement of each finger using, for example, two sensors. The sensor 61 detects operator arm information (operator sensor value, operator state information), which is information relating to the posture and position of the operator's arm, such as orientation, movement of each finger, and movement of the hand. The obtained operator arm information is output to the
制御部62は、操作者腕部情報を、通信部63を介してロボット遠隔操作制御装置3に送信する。制御部62は、フィードバック情報に基づいて、フィードバック手段64を制御する。
The
通信部63は、制御部62の制御に応じて、視線情報と操作者腕部情報をロボット遠隔操作制御装置3に送信する。通信部63は、ロボット遠隔操作制御装置3が送信したフィードバック情報を取得し、取得したフィードバック情報を制御部62に出力する。
The
フィードバック手段64は、制御部62の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック手段64は、フィードバック情報に応じて、例えば、ロボット2の把持部222に取り付けられている振動を与える手段(不図示)や空気圧を与える手段(不図示)や手の動きを拘束する手段(不図示)や温度を感じさせる手段(不図示)や堅さや柔らかさを感じさせる手段(不図示)等によって操作者に感覚をフィードバックする。
The feedback means 64 feeds back feedback information to the operator under the control of the
環境センサ7は、例えばロボット2の作業を撮影、検出できる位置に設置されている。なお、環境センサ7は、ロボット2が備えていてもよく、ロボット2に取り付けられていてもよい。または、環境センサ7は、複数であってもよく、図1のように作業環境に設置され、かつロボット2にも取り付けられていてもよい。環境センサ7は、物体の位置情報(環境センサ値)と、撮影された画像(環境センサ値)と、検出されたセンサ値(環境センサ値)をロボット遠隔操作制御装置3に送信する。なお、環境センサ7は、モーションキャプチャ装置であってもよく、モーションキャプチャによって物体の位置情報を検出するようにしてもよい。または、物体に位置情報送信部を備えるGPS受信装置(不図示)が取り付けられていてもよい。この場合、GPS受信装置は、位置情報をロボット遠隔操作制御装置3へ送信するようにしてもよい。
The
撮影装置71は、例えばRGBカメラである。なお、環境センサ7において、撮影装置71とセンサ72の位置関係が既知である。
The
センサ72は、例えば深度センサである。なお、撮影装置71とセンサ72は、距離センサであってもよい。
物***置検出部73は、撮影された画像とセンサによって検出された検出結果に基づいて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で検出する。物***置検出部73は、物***置検出部73が記憶するパターンマッチングのモデル等を参照して、撮影装置71が撮影した画像に対して画像処理(エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等)を行って物体の位置を推定する。なお、物***置検出部73は、撮影された画像から複数の物体が検出された場合、物体毎に位置を検出する。物***置検出部73は、検出した物***置情報(環境センサ値)と撮影された画像(環境センサ値)と、センサ値(環境センサ値)を、通信部74を介してロボット遠隔操作制御装置3に送信する。
The object
通信部74は、物***置情報をロボット遠隔操作制御装置3に送信する。通信部74は、物***置情報(環境センサ値)と撮影された画像(環境センサ値)と、センサ値(環境センサ値)とを、ロボット遠隔操作制御装置3に送信する。
The
ロボット2は、遠隔操作されていない場合、制御部21の制御に応じて行動が制御される。ロボット2は、遠隔操作されている場合、ロボット遠隔操作制御装置3が生成した把持計画情報に応じて行動が制御される。
The behavior of the
制御部21は、ロボット遠隔操作制御装置3が出力する把持方法情報に基づいて駆動部22を制御する。制御部21は、収音部23が収音した音響信号に対して音声認識処理(発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等)を行う。制御部21は、音声認識した結果にロボットに対する動作指示が含まれている場合、音声による動作指示に基づいてロボット2の動作を制御するようにしてもよい。制御部21は、記憶部25が記憶する情報に基づいて、環境センサ7が撮影した画像に対して画像処理(エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等)を行う。なお、環境センサ7が送信するデータは、例えば位置情報を有する点群であってもよい。制御部21は、画像処理によって物体に関する情報(物体情報)を撮影された画像から抽出する。物体情報には、例えば、物体の名称、物体の位置等の情報が含まれている。制御部21は、記憶部25が記憶するプログラムと音声認識結果と画像処理結果に基づいて駆動部22を制御する。制御部21は、ロボット2の動作状態情報をロボット状態画像作成部35に出力する。制御部21は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置3を介してコントローラー6に送信する。
The
駆動部22は、制御部21の制御に応じてロボット2の各部(腕、指、足、頭、胴、腰等)を駆動する。駆動部22は、例えば、アクチュエータ、ギア、人工筋等を備える。
The driving section 22 drives each section (arms, fingers, legs, head, torso, waist, etc.) of the
収音部23は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部23は、収音した音響信号を制御部21に出力する。収音部23は、音声認識処理機能を備えていてもよい。この場合、収音部23は、音声認識結果を制御部21に出力する。
The
記憶部25は、例えば、制御部21が制御に用いるプログラム、閾値等を記憶する。なお、記憶部25は、記憶部37が兼ねていてもよい。または、記憶部37が記憶部25を兼ねていてもよい。
The
電源26は、ロボット2の各部に電力を供給する。電源26は、例えば充電式のバッテリや充電回路を備えていてもよい。
A
センサ27は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。なお、センサ27は、ロボット2の各関節、頭部等に取り付けられている。センサ27は、検出した検出結果を、制御部21、意図推定部33、把持方法決定部34、ロボット状態画像作成部35に出力する。
The
情報取得部31は、HMD5から視線情報と頭部動作情報を取得し、コントローラー6から操作者腕部情報を取得し、環境センサ7から環境センサ値(物***置情報とセンサ値と画像)とを取得し、取得した操作者状態情報を意図推定部33、ロボット状態画像作成部35に出力する。
The
意図推定部33は、情報取得部31が取得した情報に基づいて、操作者の動作意図を推定する。なお、意図推定部33は、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも1つを用いて操作者の動作意図を推定する。なお、意図推定部33は、環境センサ値も用いて意図推定するようにしてもよい。なお、操作者の動作意図については後述する。
The intention estimation unit 33 estimates the operator's motion intention based on the information acquired by the
把持方法決定部34は、意図推定部33が推定した動作意図と、センサ27が検出した検出結果、撮影装置71が撮影した画像を画像処理した結果に基づいて、物体の把持方法を決定する。把持方法決定部34は、決定した把持方法情報を制御部21に出力する。
The gripping
ロボット状態画像作成部35は、撮影装置71が撮影した画像に対して画像処理(エッジ検出、二値化、特徴量抽出、画像強調、画像抽出、クラスタリング処理等)を行う。ロボット状態画像作成部35は、把持方法決定部34が推定した把持方法情報と、画像処理結果と、制御部21が出力するロボット2の動作状態情報等に基づいて、ロボット2の手の位置や動きを推定し、操作者の手の動きを推定し、推定した結果に基づいてHMD5に表示させるロボット状態画像を作成する。なお、ロボット状態画像には、ロボット遠隔操作制御装置3が行おうとしている処理に関する情報、エラー情報とのシステムの状態を示すシステム状態情報が含まれていてもよい。
The robot state
送信部36は、ロボット状態画像作成部35が作成したロボット状態画像を、HMD5に送信する。送信部36は、ロボット2が出力したフィードバック情報を取得し、取得したフィードバック情報をコントローラー6へ送信する。
The transmission unit 36 transmits the robot state image created by the robot state
記憶部37は、意図推定部33が推定の際に用いるテンプレート、推定に用いられる学習済みのモデル等を記憶している。また、記憶部37は、音声認識結果、画像処理結果、把持方法情報等を一時的に記憶する。記憶部37は、画像処理のパターンマッチング処理で比較されるモデル画像を記憶する。
The
[HMD5、コントローラー6を操作者が身につけている状態例]
次に、HMD5、コントローラー6を操作者が身につけている状態例を説明する。
図3は、HMD5、コントローラー6を操作者が身につけている状態例を示す図である。図3の例では、操作者Usは、左手にコントローラー6aを装着し、右手にコントローラー6bを装着し、頭部にHMD5を装着している。なお、図3に示したHMD5、コントローラー6は一例であり、装着方法や形状等は、これに限らない。
[Example of state in which the operator wears
Next, a state example in which the operator wears the
FIG. 3 is a diagram showing an example of a state in which an operator wears the
[操作者状態情報]
次に、情報取得部31が取得する操作者状態情報について、さらに説明する。
操作者状態情報は、操作者の状態を表す情報である。操作者状態情報には、操作者の視線情報、操作者の指の動きと位置の情報、操作者の手の動きと位置の情報が含まれている。
操作者の視線情報は、HMD5が検出する。
操作者の指の動きと位置の情報、操作者の手の動きと位置の情報は、コントローラー6が検出する。
[Operator status information]
Next, the operator status information acquired by the
The operator state information is information representing the state of the operator. The operator state information includes operator's line-of-sight information, operator's finger movement and position information, and operator's hand movement and position information.
HMD5 detects an operator's line-of-sight information.
Information on the movement and position of the operator's finger and information on the movement and position of the operator's hand are detected by the
[意図推定部33が推定する情報例]
次に、意図推定部33が推定する情報例を説明する。
意図推定部33は、取得した操作者状態情報に基づいて、操作者の動作意図を推定する。操作者の動作意図とは、例えば、ロボット2に行わせたい作業目的、ロボット2に行わせたい作業内容、時刻毎の手や指の動き等である。意図推定部33は、コントローラー6の操作者センサ値に基づいて、操作者の腕部の姿勢を分類することで、ロボット2の把持部222含むアームの姿勢を分類する。意図推定部33は、分類結果に基づいて、操作者がロボットに行わせたい動作意図を推定する。意図推定部33は、例えば、物体の持ち方、把持させたい物体を操作者の動作意図として推定する。作業目的は、例えば、物体の把持、物体の移動等である。作業内容は、例えば、物体を把持して持ち上げる、物体を把持して移動させる等である。
[Example of information estimated by the intention estimation unit 33]
Next, an example of information estimated by the intention estimation unit 33 will be described.
The intention estimation unit 33 estimates the operator's motion intention based on the acquired operator state information. The operator's action intention is, for example, the purpose of the work that the
意図推定部33は、例えば、グラスプタクソノミー(GRASP Taxonomy)手法(例えば参考文献1参照)によって、操作者の動作意図を推定する。
本実施形態では、例えばグラスプタクソノミー手法によって操作者あるいはロボット2の姿勢すなわち把持姿勢を分類することで操作者状態を分類して、操作者の動作意図を推定する。意図推定部33は、例えば、記憶部37が記憶する学習済みのモデルに操作者状態情報を入力して、操作者の動作意図を推定する。本実施形態では、把持姿勢の分類によって意図推定を行うことで、精度良く操作者の動作意図を推定することができる。なお、把持姿勢の分類には、他の手法を用いてもよい。
The intention estimation unit 33 estimates the operator's motion intention by, for example, a GRASP Taxonomy method (see
In this embodiment, the operator's state is classified by classifying the posture of the operator or the
参考文献1;Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human Grasp Types” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb. 2016),IEEE,p66-77
また、意図推定部33は、視線と腕部の動きを用いて統合的に推定するようにしてもよい。この場合、意図推定部33は、視線情報と、手の動き情報とテーブル上の物体の位置情報とを学習済みのモデルに入力して、操作者の動作意図を推定するようにしてもよい。 In addition, the intention estimating unit 33 may make an integral estimation using the line of sight and the movement of the arm. In this case, the intention estimating unit 33 may input line-of-sight information, hand movement information, and position information of an object on the table into a trained model to estimate the operator's action intention.
意図推定部33は、例えば、操作者状態情報に基づいて。まず把持させた物体を推定する。意図推定部33は、例えば、視線情報に基づいて把持させた物体を推定する。次に、意図推定部33は、推定した把持させたい物体に基づいて、操作者の手の姿勢を推定する。 The intention estimation part 33 is based on operator state information, for example. First, the grasped object is estimated. The intention estimation unit 33 estimates the gripped object, for example, based on the line-of-sight information. Next, the intention estimation unit 33 estimates the posture of the hand of the operator based on the estimated object to be gripped.
または、意図推定部33は、例えば、操作者状態情報に基づいて、まず操作者の手の姿勢を推定する。次に、意図推定部33は、推定した操作者の手の姿勢から、把持したい物体を推定する。例えば、テーブル上に3つの物体が置かれている場合、意図推定部33は、手の姿勢に基づいて、3つのうちのどの物体が把持候補であるかを推定する。 Alternatively, the intention estimation unit 33 first estimates the posture of the hand of the operator, for example, based on the operator state information. Next, the intention estimation unit 33 estimates an object that the operator wants to grip from the estimated posture of the hand of the operator. For example, when three objects are placed on the table, the intention estimation unit 33 estimates which of the three objects is a gripping candidate based on the hand posture.
また、意図推定部33は、操作者状態情報と、ロボット2の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に推定するようにしてもよい。
Further, the intention estimation unit 33 may estimate in advance the future trajectory of the hand intended by the operator based on the operator state information and the state information of the
なお、意図推定部33は、センサ27が検出した検出結果、環境センサ7が撮影した画像を画像処理した結果等も用いて、把持したい物体と、物体の位置を推定するようにしてもよい。
The intention estimating unit 33 may also use the results of detection by the
また、操作者が操作する環境とロボット動作環境では座標系が異なるため、例えば、ロボット2の起動時に操作者の操作環境とロボット動作環境のキャリブレーションを行うようにしてもよい。
Further, since the coordinate system differs between the environment operated by the operator and the operating environment of the robot, for example, the operating environment of the operator and the operating environment of the robot may be calibrated when the
また、把持の際、ロボット遠隔操作制御装置3は、ロボット2の把持力と、物体と把持部との摩擦力等に基づいて、把持時の把持位置の誤差を考慮して、把持位置を決定するようにしてもよい。
When gripping, the robot
[ロボット2とロボット遠隔操作制御装置3の処理例]
次に、ロボット2とロボット遠隔操作制御装置3の処理例を説明する。
図4は、本実施形態に係るロボット2とロボット遠隔操作制御装置3の処理手順例を示す図である。
[Processing example of
Next, a processing example of the
FIG. 4 is a diagram showing a processing procedure example of the
(ステップS1)情報取得部31は、HMD5から視線情報(操作者センサ値)と頭部動作情報(操作者センサ値)を取得し、コントローラー6から操作者腕部情報(操作者センサ値)を取得する。
(Step S1) The
(ステップS2)情報取得部31は、環境センサ7から環境センサ値を取得する。
(Step S<b>2 ) The
(ステップS3)意図推定部33は、取得した操作者センサ値に基づいて、例えば、作業内容、把持したい物体等を操作者の動作意図として推定する。なお、意図推定部33は、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも1つを用いて操作者の意図を推定する。なお、意図推定部33は、環境センサ値も用いて操作者の動作意図を推定するようにしてもよい。続けて、把持方法決定部34は、推定結果に基づいて、ロボット2への遠隔動作指令を計算する。
(Step S3) Based on the acquired operator sensor values, the intention estimation unit 33 estimates, for example, the work content, the object to be grasped, etc. as the operator's motion intention. The intention estimation unit 33 estimates the operator's intention using at least one of line-of-sight information, operator arm information, and head motion information. Note that the intention estimation unit 33 may estimate the operator's action intention using the environmental sensor value as well. Subsequently, the gripping
(ステップS4)制御部21は、ロボット遠隔操作制御装置3が計算した遠隔動作指令値に基づいて、安定把持のための駆動指令値を計算する。
(Step S4) The
(ステップS5)制御部21は、駆動指令値によって駆動部22を制御してロボット2の把持部等を駆動する。制御部21は、処理後、ステップS1の処理に戻す。
(Step S5) The
なお、図4に示した処理手順は一例であり、ロボット2、ロボット遠隔操作制御装置3は、上述した処理を並列に処理してもよい。
The processing procedure shown in FIG. 4 is an example, and the
[推定結果、作業情報]
次に、推定結果、作業情報の一例を図5~図7を用いて説明する。
図5は、テーブルの上に3つの物体obj1~obj3が置かれていて、操作者がロボット2に左手で物体obj3を把持させようとしている状態例を示す図である。
このような場合、ロボット遠隔操作制御装置3は、操作者がロボット2に把持させたい物体が、物体obj1~obj3のうちのいずれかであるかを推定する必要がある。なお、ロボット遠隔操作制御装置3は、操作者が右手で把持しようとしているのか、左手で把持しようとしているのかを推定する必要がある。
[Estimated result, work information]
Next, examples of estimation results and work information will be described with reference to FIGS. 5 to 7. FIG.
FIG. 5 is a diagram showing a state example in which three objects obj1 to obj3 are placed on the table and the operator is causing the
In such a case, the robot
ここで、予め操作者の動作意図の推定が必要な理由を説明する。
遠隔操作の場合、操作者がHMD5で見ている世界は自分の目で見ている実世界とは異なる。また、操作者がコントローラー6を介して操作指示しても、実際に物体を把持しているのでないので、やはり実世界での状況認識とは異なる。さらに、操作者の指示とロボット2の動作との間には、通信時間や演算時間等によってディレイが発生する。また、操作者とロボットの(主に手の)物理的な構造の違いにより、特に操作者自身が把持可能な指の動きを指令し、ロボットが正確にトレースしたとしても、実際にロボットが把持可能とは限らない。これを解消するために、本実施形態では、操作者の動作意図を推定し、操作者の動作をロボットにとっての適切な動作に変換するようにした。
Here, the reason why it is necessary to estimate the operator's motion intention in advance will be described.
In the case of remote control, the world seen by the operator with the
このように、従来システムによる遠隔操作では、実世界の状況の認識が難しく、上手く物体をピックできなかった。従来システムによる遠隔操作では、例えば、操作者が徐々に物体にロボット2の把持部22aを近づけて、正確な位置合わせを行って把持させる必要があった。
In this way, it was difficult to recognize the situation in the real world with remote control using conventional systems, and it was not possible to pick objects well. In the remote control by the conventional system, for example, it was necessary for the operator to gradually bring the grasping part 22a of the
これに対して、本実施形態では、操作者の動作意図を推定して、推定した結果に基づいてロボット2の動作を制御することで、操作者が正確な位置合わせしなくても、物体のピックの実現を可能にする。
On the other hand, in the present embodiment, by estimating the motion intention of the operator and controlling the motion of the
次に、意図推定処理と補正等の処理例を説明する。
図6は、本実施形態に係るロボット遠隔操作制御装置3の処理例のフローチャートである。
Next, an example of processing such as intention estimation processing and correction will be described.
FIG. 6 is a flowchart of a processing example of the robot
(ステップS101)意図推定部33は、取得された環境センサ値を用いて、例えばテーブル上に3つの物体obj1~obj3が置かれていることを認識する等の環境認識を行う。 (Step S101) The intention estimation unit 33 uses the acquired environment sensor values to perform environment recognition such as recognizing that three objects obj1 to obj3 are placed on a table.
操作者がロボット2を遠隔操作して物体obj3を把持させようとした場合、一般的に操作者は把持させたい物体の方に視線を向ける。このため、意図推定部33は、HMD5から取得された操作者状態情報に含まれる視線情報に基づいて、対象物体が物体obj3であると推定する。なお、意図推定部33は、操作者状態情報に含まれる頭部の向きや傾き情報も用いて推定するようにしてもよい。なお、意図推定部33は、物体が複数有る場合、物体毎に対象物体である確率(リーチオブジェクト確率)を算出する。なお、意図推定部33は、例えば、視線情報、推定した対象物体とロボット2の把持部との距離、コントローラー6の位置と動き(軌跡)等に基づいて確率を算出する。
When the operator remotely operates the
(ステップS102)意図推定部33は、取得された操作者状態情報に含まれる腕部の位置や動き(手の位置、手の動き(軌跡)、指の位置、指の動き(軌跡)、腕の位置、腕の動き(軌跡))、頭部の位置や動きを記憶部37が記憶するテンプレートと比較して動作を分類することで、左手で物体obj3を把持させようとしていると操作者の動作意図と持ち方(把持方法)を推定する。例えば、把持方法決定部34は、把持方法を、例えば記憶部37が記憶するテンプレートを参照して決定する。なお、把持方法決定部34は、把持方法を、例えば記憶部37が記憶する学習済みのモデルに入力して選択するようにしてもよい。なお、意図推定部33は、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも1つを用いて操作者の動作意図を推定する。なお、意図推定部33は、環境センサ値も用いて意図推定するようにしてもよい。
(Step S102) The intention estimating unit 33 determines the position and movement of the arm (hand position, hand movement (trajectory), finger position, finger movement (trajectory), arm movement) included in the acquired operator state information. position, arm motion (trajectory)), and the position and motion of the head are compared with templates stored in the
(ステップS103)把持方法決定部34は、推定した操作者の動作意図に基づいたロボット2の保持方法を決定する。
(ステップS104)把持方法決定部34は、操作者の手と指の位置と、ロボットの把持部の位置とのズレ量を算出する。記憶部37は、例えば、指示をしてから駆動部22の動作までにかかる時間が予め測定された遅延時間等を記憶しておく。把持方法決定部34は、例えば記憶部37が記憶する遅延時間を用いてズレ量を算出する。続けて、把持方法決定部34は、操作者の手と指の位置と、ロボットの把持部の位置とのズレ量を補正する。把持方法決定部34は、ロボット制御のサンプリング時間に基づく今回の動作目標値を算出する。
(Step S103) The gripping
(Step S104) The gripping
(ステップS106)ロボット状態画像作成部35は、意図推定部33が認識した結果と推定した結果と、把持方法決定部34が算出した結果とに基づいて、HMD5に表示させるロボット状態画像を作成する。なお、ロボット状態画像には、ロボット遠隔操作制御装置3が行おうとしている処理に関する情報、システムの状態情報等も含まれている。
(Step S106) The robot state
図7は、本実施形態に係るHMD5に表示されるロボット状態画像例を示す図である。
画像g11~g13は、テーブル上に置かれている物体obj1~obj3に対応する。この場合のリーチオブジェクト確率は、画像g11が0.077、画像g12が0.230、画像g13が0.693であったとする。
画像g21は、ロボット2の把持部の実際の位置を表す。
画像g22は、操作者のコントローラー6によって入力された位置を表す。
画像g23は、補正されたロボット2の把持部の指令位置を表す。
FIG. 7 is a diagram showing an example of a robot state image displayed on the
Images g11 to g13 correspond to objects obj1 to obj3 placed on the table. Assume that the reach object probability in this case is 0.077 for the image g11, 0.230 for the image g12, and 0.693 for the image g13.
Image g21 represents the actual position of the gripper of
Image g22 represents the position input by the operator's
An image g23 represents the commanded position of the gripper of the
なお、図7において、ロボット2の把持部の形状データ(例えばCAD(Computer Aided Design)データ)等を記憶部37が記憶している。ロボット状態画像作成部35は、このロボット2の把持部の形状データ等を用いて、ロボット2の把持部等の画像を生成する。また、ロボット状態画像作成部35は、図7のようなロボット状態画像を、例えばSLAM(Simultaneous Localization and Mapping)の手法等を用いて作成する。
In FIG. 7, the
操作者は、このように、実際のロボット2の把持部の位置(画像g21)、自分が入力している位置(画像g22)、補正されたロボット2の把持部の位置(画像g23)を目視できるので、操作者への補助になる。そして、本実施形態では、操作者意図に基づいたロボットの動作補正を行い、例えば視覚情報としてロボット遠隔操作制御装置3が行おうとしている処理を操作者に提示するようにしたので、遠隔操作をスムーズに行うことができる。これにより、本実施形態によれば、ロボットの把持部の実際の位置と操作者の状態に基づいて、把持部の位置情報を補正するので、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができる。
Thus, the operator visually sees the actual position of the gripping portion of the robot 2 (image g21), the position that he is inputting (image g22), and the corrected position of the gripping portion of the robot 2 (image g23). Since it can be done, it becomes an assistant to the operator. In this embodiment, the motion of the robot is corrected based on the intention of the operator, and the processing that the robot
このように、本実施形態では、遠隔操作のために、以下のI~Vを行うようにした。
I.物体の認識
II. 意図推定(例えば、視線と操作者の手先軌道から把持物体とタクソノミー推定)
III. 動作補正(例えば、ロボットの手先軌道を把持可能な位置に補正、把持方法の選択)
IV. 安定把持(選択された把持方法で安定して把持させるための把持部の制御)
V. ロボットモデル、認識結果、ロボット遠隔操作制御装置3が行おうとしている処理に関する情報、システムの状態に関する情報等をHMDで提示
Thus, in this embodiment, the following I to V are performed for remote control.
I. Object Recognition II. Intention estimation (e.g. grasped object and taxonomy estimation from line of sight and operator's hand trajectory)
III. Correction of motion (for example, correcting the trajectory of the robot's hand to a grippable position, selecting gripping method)
IV. Stable gripping (control of the gripping part for stable gripping with the selected gripping method)
V. The robot model, recognition results, information about the processing that the robot
ここで、動作補正について、更に説明する。
把持方法決定部34は、選択された動作の分類と物体形状、推定される物体の摩擦や重量などの物理パラメータ、ロボット2の出力可能なトルクなどの制約条件から、例えば物体を落とさず安定的に把持可能なロボット2の手指の物体に対する接触点を求める。そして、把持方法決定部34は、例えば、これらから計算される関節角度を目標値として補正動作とする。
Here, motion correction will be further described.
The gripping
次に、安定把持について説明する。
把持方法決定部34は、目標値に従って動作した場合に、例えば、目標値・パラメータ推定値とロボット2のセンサ27から観測される値との誤差をなくすように手指の関節角度やトルクなどをリアルタイムに制御する。これにより、本実施形態によれば、落とさずに安定的・持続的に把持可能となる。
Next, stable grasping will be described.
The gripping
これにより、本実施形態によれば、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができる。この結果、本実施形態によれば、ロボット2の操作に習熟していない利用者であっても、高い精度でロボットに作業を行わせることができる。
As a result, according to the present embodiment, the target object can be picked up even if the operator does not perform accurate positioning. As a result, according to this embodiment, even a user who is not proficient in operating the
なお、上述した例では、ロボット遠隔操作制御装置3をロボット2が備えている例を説明したが、これに限らない。ロボット遠隔操作制御装置3は、ロボット2が備えていなくてもよく、ロボット2の外部装置であってもよい。この場合、ロボット2とロボット遠隔操作制御装置3とは、各種情報を送受信するようにしてもよい。あるいは、ロボット2がロボット遠隔操作制御装置3の一部の機能部を備え、他の機能部を外部装置が備えていてもよい。
In the above example, the
また、上述したロボット2は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。
Further, the above-described
また、上述した例では、遠隔操作でロボット2に把持させる例を説明したが、これに限らない。例えば、ロボット2が二足歩行ロボットの場合、操作者が足にコンロトーラーを装着することで、ロボット2の歩行等を遠隔操作してもよい。この場合、ロボット2は、例えば、障害物などの物体情報を画像処理によって検出し、操作者がこの障害物を避けて歩行するように遠隔操作するようにしてもよい。
Also, in the above-described example, an example in which the
また、上述した例では、操作者がHMD5を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。
Also, in the above example, an example in which the operator wears the
なお、本発明におけるロボット2の機能の全てまたは一部、ロボット遠隔操作制御装置3の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット2が行う処理の全てまたは一部、ロボット遠隔操作制御装置3が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ローカルネットワーク上で構築されたシステムやクラウド上で構築されたシステム等も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
In addition, a program for realizing all or part of the functions of the
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 Further, the above program may be transmitted from a computer system storing this program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in a transmission medium. Here, the "transmission medium" for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the program may be for realizing part of the functions described above. Further, it may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。 As described above, the mode for carrying out the present invention has been described using the embodiments, but the present invention is not limited to such embodiments at all, and various modifications and replacements can be made without departing from the scope of the present invention. can be added.
1…ロボット遠隔操作制御システム、2…ロボット、3…ロボット遠隔操作制御装置、5…HMD、6…コントローラー、7…環境センサ、21…制御部、22…駆動部、23…収音部、25…記憶部、26…電源、27…センサ、31…情報取得部、33…意図推定部、34…把持方法決定部、35…ロボット状態画像作成部、36…送信部、37…記憶部、51…画像表示部、52…視線検出部、53…センサ、54…制御部、55…通信部、61…センサ、62…制御部、63…通信部、64…フィードバック手段、71…撮影装置、72…センサ、73…物***置検出部、74…通信部
DESCRIPTION OF
Claims (12)
前記ロボットを操作する操作者の状態の操作者状態情報を取得する情報取得部と、
前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定する意図推定部と、
前記推定された前記操作者の動作意図に基づいた前記物体の把持方法を決定する把持方法決定部と、
を備えるロボット遠隔操作制御装置。 In robot remote operation control in which an operator remotely operates a robot that can grasp an object,
an information acquisition unit that acquires operator state information about the state of an operator who operates the robot;
an intention estimation unit for estimating the intention of the action that the operator intends the robot to perform based on the operator state information;
a gripping method determination unit that determines a gripping method for the object based on the estimated motion intention of the operator;
A robot remote control device comprising:
請求項1に記載のロボット遠隔操作制御装置。 The intention estimating unit classifies the posture of the operator based on the operator state information, thereby determining the classification of the posture of the robot and estimating the motion intention of the operator.
The robot remote control device according to claim 1.
請求項1に記載のロボット遠隔操作制御装置。 The intention estimating unit estimates at least one of how to hold an object desired to be gripped and the object desired to be gripped based on the operator state information, thereby estimating the motion intention of the operator.
The robot remote control device according to claim 1.
請求項1に記載のロボット遠隔操作制御装置。 The intention estimation unit estimates an object desired to be gripped based on the operator state information, and estimates a way of holding the object desired to be gripped related to the estimated object, thereby estimating the action intention of the operator. presume,
The robot remote control device according to claim 1.
請求項1に記載のロボット遠隔操作制御装置。 The intention estimation unit estimates a gripping manner of the object desired to be gripped based on the operator state information, and estimates the object desired to be gripped based on the estimated gripping manner of the object desired to be gripped. , estimating the motion intention of the operator;
The robot remote control device according to claim 1.
請求項1から請求項5のうちのいずれか1項に記載のロボット遠隔操作制御装置。 The operator state information is at least one of the operator's sight line information, the operator's arm movement information, and the operator's head movement information.
The robot remote control device according to any one of claims 1 to 5.
前記把持方法決定部は、取得された前記物体の位置情報も用いて把持させたい物体と前記物体の把持方法を推定する、
請求項1から請求項6のうちのいずれか1項に記載のロボット遠隔操作制御装置。 The information acquisition unit acquires position information of the object,
The gripping method determination unit estimates an object to be gripped and a gripping method of the object using the acquired position information of the object.
The robot remote control device according to any one of claims 1 to 6.
請求項1から請求項7のうちのいずれか1項に記載のロボット遠隔操作制御装置。 The gripping method determining unit acquires position information of a gripping unit provided in the robot, and corrects the positional information of the gripping unit based on operator state information.
The robot remote control device according to any one of claims 1 to 7.
前記意図推定部は、撮影装置が撮影した画像に基づく前記物体に関する情報を取得し、
前記ロボット状態画像作成部は、前記物体に関する情報と、前記把持部の位置情報と、前記操作者状態情報と、補正した前記把持部の位置情報とに基づいて、前記操作者に提供する画像を生成する、
請求項8に記載のロボット遠隔操作制御装置。 further comprising a robot state image creation unit,
The intention estimating unit acquires information about the object based on an image captured by an imaging device,
The robot state image creation unit creates an image to be provided to the operator based on the information about the object, the position information of the gripping unit, the operator state information, and the corrected position information of the gripping unit. generate,
The robot remote control device according to claim 8.
前記把持部の位置情報を検出する検出部と、
を備えるロボットと、
請求項1から請求項9のうちのいずれか1つに記載の前記ロボット遠隔操作制御装置と、
前記物体の位置情報を検出する環境センサと、
前記ロボットを操作する操作者の状態の操作者状態情報を検出するセンサと、
を備えるロボット遠隔操作制御システム。 a gripping portion that grips the object;
a detection unit that detects positional information of the gripping unit;
a robot comprising a
The robot remote control device according to any one of claims 1 to 9;
an environment sensor that detects position information of the object;
a sensor that detects operator state information about the state of an operator who operates the robot;
A robot remote control system.
情報取得部が、前記ロボットを操作する操作者の状態の操作者状態情報を取得し、
意図推定部が、前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定し、
把持方法決定部が、前記推定された前記操作者の動作意図に基づいた前記物体の把持方法を決定する、
ロボット遠隔操作制御方法。 In robot remote operation control in which an operator remotely operates a robot that can grasp an object,
An information acquisition unit acquires operator state information of a state of an operator who operates the robot,
an intention estimating unit estimating the intention of the action that the operator intends the robot to perform based on the operator state information;
a gripping method determination unit determining a gripping method for the object based on the estimated motion intention of the operator;
Robot remote control method.
コンピュータに、
前記ロボットを操作する操作者の状態の操作者状態情報を取得させ、
前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定させ、
前記推定された前記操作者の動作意図に基づいた前記物体の把持方法を決定させる、
プログラム。 In robot remote operation control in which an operator remotely operates a robot that can grasp an object,
to the computer,
acquiring operator state information of the state of an operator who operates the robot;
estimating the intention of the action that the operator intends the robot to perform based on the operator state information;
determining a gripping method for the object based on the estimated motion intention of the operator;
program.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021058952A JP2022155623A (en) | 2021-03-31 | 2021-03-31 | Robot remote operation control device, robot remote operation control system, robot remote operation control method and program |
PCT/JP2022/012089 WO2022209924A1 (en) | 2021-03-31 | 2022-03-16 | Robot remote operation control device, robot remote operation control system, robot remote operation control method, and program |
US18/280,959 US20240149458A1 (en) | 2021-03-31 | 2022-03-16 | Robot remote operation control device, robot remote operation control system, robot remote operation control method, and program |
EP22780144.6A EP4316747A1 (en) | 2021-03-31 | 2022-03-16 | Robot remote operation control device, robot remote operation control system, robot remote operation control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021058952A JP2022155623A (en) | 2021-03-31 | 2021-03-31 | Robot remote operation control device, robot remote operation control system, robot remote operation control method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022155623A true JP2022155623A (en) | 2022-10-14 |
Family
ID=83559586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021058952A Pending JP2022155623A (en) | 2021-03-31 | 2021-03-31 | Robot remote operation control device, robot remote operation control system, robot remote operation control method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022155623A (en) |
-
2021
- 2021-03-31 JP JP2021058952A patent/JP2022155623A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4039422B1 (en) | Sensorized robotic gripping device | |
US20210205986A1 (en) | Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose | |
US10093020B2 (en) | Robot apparatus and method of controlling robot apparatus | |
US9020643B2 (en) | Robot apparatus, control method thereof, and computer program | |
Natale et al. | A sensitive approach to grasping | |
JP2020055096A (en) | Information processing device, information processing method and system | |
JP2016047591A (en) | Robot teaching device and method, and robot system | |
WO2008001793A1 (en) | Robot device and robot device control method | |
CN110662631B (en) | Control device, robot control method, and robot control system | |
JP2013184257A (en) | Robot apparatus, method for controlling robot apparatus, and computer program | |
US11422625B2 (en) | Proxy controller suit with optional dual range kinematics | |
CN114503057A (en) | Orientation determination based on both image and inertial measurement units | |
US20230226698A1 (en) | Robot teleoperation control device, robot teleoperation control method, and storage medium | |
US11986746B2 (en) | Information processing device and information processing method | |
US20240149458A1 (en) | Robot remote operation control device, robot remote operation control system, robot remote operation control method, and program | |
JP6931585B2 (en) | Work system, work system control method and program | |
JP2022155623A (en) | Robot remote operation control device, robot remote operation control system, robot remote operation control method and program | |
JP2022164028A (en) | Remote operation control system, remote operation control method, and program | |
Chu et al. | Hands-free assistive manipulator using augmented reality and tongue drive system | |
JP2003062775A (en) | Teaching system for human hand type robot | |
US20220314449A1 (en) | Robot remote operation control device, robot remote operation control system, robot remote operation control method, and non-transitory computer readable medium | |
JP2022157123A (en) | Robot remote operation control device, robot remote operation control system, robot remote operation control method and program | |
JP2022157127A (en) | Robot remote operation control device, robot remote operation control system, robot remote operation control method and program | |
JP2022157119A (en) | Robot remote operation control device, robot remote operation control system, robot remote operation control method and program | |
JP2022157101A (en) | Robot remote operation control device, robot remote operation control system, robot remote operation control method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240719 |