JP6931585B2 - 作業システム、作業システムの制御方法及びプログラム - Google Patents
作業システム、作業システムの制御方法及びプログラム Download PDFInfo
- Publication number
- JP6931585B2 JP6931585B2 JP2017193041A JP2017193041A JP6931585B2 JP 6931585 B2 JP6931585 B2 JP 6931585B2 JP 2017193041 A JP2017193041 A JP 2017193041A JP 2017193041 A JP2017193041 A JP 2017193041A JP 6931585 B2 JP6931585 B2 JP 6931585B2
- Authority
- JP
- Japan
- Prior art keywords
- control signal
- manipulator
- posture
- joint
- signal generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Manipulator (AREA)
Description
その結果、マニピュレータの状況に応じてマニピュレータを制御するスレーブコントローラと、そのスレーブコントローラに制御信号を送信するマスタコントローラとの組み合わせを頻繁に切り替える必要がある。そのため、マスタコントローラとスレーブコントローラとの組み合わせの切り替えを短時間に容易に行うことのできる技術が求められていた。
本発明の目的は、上述した課題を解決する作業システム、作業システムの制御方法及びプログラムを提供することにある。
本発明の第4の態様によれば、第1から第3の何れかの態様に係る作業システムにおいて、前記類似の姿勢は、絶対座標での位置の差が所定範囲内である姿勢、相対座標での位置の差が所定範囲内である姿勢、及び、前記制御信号生成装置を操作する操作者の操作に基づいて生成された前記マニピュレータを制御する制御信号が示す関節の角度と、前記マニピュレータの関節の角度との差が所定範囲内である姿勢のうち少なくとも1つを含んでよい。
本発明の第7の態様によれば、作業システムの制御方法は、マニピュレータが、対象物を把持し所定の位置まで移動させることと、制御信号生成装置が、前記対象物を把持し所定の位置まで移動させる制御信号を操作状態が示す姿勢に基づいて生成することと、スレーブコントローラが、前記マニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行い、前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻すことと、を含む。
本発明の第9の態様によれば、プログラムは、コンピュータに、対象物を把持し所定の位置まで移動させる制御信号を制御信号生成装置の操作状態が示す姿勢に基づいて生成することと、前記対象物を把持し所定の位置まで移動させるマニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行い、前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻すことと、を実行させる。
以下、図面を参照しながら実施形態について詳しく説明する。
図1は、第1の実施形態に係る作業システムの構成を示す概略図である。
作業システム1は、入出力グローブ10と、ヘッドマウントディスプレイ20と、マスタコントローラ30と、スレーブコントローラ40と作業ロボット50とを備える。入出力グローブ10とヘッドマウントディスプレイ20とはオペレータOに装着され、作業ロボット50はオペレータOと遠隔に設置される。マスタコントローラ30は、入出力グローブ10およびヘッドマウントディスプレイ20と電気的に接続される。スレーブコントローラ40は、作業ロボット50と電気的に接続される。マスタコントローラ30とスレーブコントローラ40とは、ネットワークNを介して通信可能に構成される。
マニピュレータ51は、複数のリンクが複数の関節を介して互いに接続されている。マニピュレータ51は、スレーブコントローラ40から入力される制御信号に従って関節ごとに設けられたアクチュエータを駆動させることによって各関節の角度を調整する。マニピュレータ51の関節とオペレータOの関節とは必ずしも一対一に対応しない。例えば、マニピュレータ51は、5本未満の指(指に相当するリンクと関節との組み合わせ)を備えるものであってよい。また例えばマニピュレータ51は、2つ以上の肘(肘に相当する関節)を備えるものであってよい。マニピュレータ51には、触覚センサと姿勢センサとが設けられている。触覚センサは、マニピュレータ51の表面(特に指に相当するリンクの先端)に設けられ、接触した物体の触感を検出する。姿勢センサは、マニピュレータ51の関節ごとに設けられており、各関節の角度および角速度を検出する。姿勢センサの例としては、アクチュエータの運動量を計測するセンサ(回転数センサやストロークセンサ)が挙げられる。
カメラ52は、関節を介してマニピュレータ51と接続される。カメラ52は、撮像した画像を表す映像情報をスレーブコントローラ40に出力する。カメラ52の姿勢は、スレーブコントローラ40から入力される制御信号に従って調整される。つまり、カメラ52とマニピュレータ51とに接続されたアクチュエータが制御信号に従って駆動することで、カメラ52の姿勢が調整される。
マスタコントローラ30は、信号受信部301、映像信号出力部302、触感信号変換部303、フィードバック信号出力部304、姿勢記憶部305、姿勢更新部306、指示入力部307、認識部308、作業モデル記憶部309、制御信号算出部310、操作信号入力部311、操作信号変換部312、制御信号送信部313、作業判定部314、学習部315を備える。
映像信号出力部302は、受信した映像信号をヘッドマウントディスプレイ20に出力する。このとき、映像信号出力部302は、作業指示に含まれる対象物品Iの画像や、認識部308による認識結果を映像信号に重畳させてもよい。
触感信号変換部303は、受信した触感信号をフィードバック信号に変換する。つまり、触感信号変換部303は、作業ロボット50のマニピュレータ51が触れた物体の触感を、フィードバックデバイスに再現させるためのフィードバック信号を生成する。触感信号からフィードバック信号への変換は、例えば触感信号を予め求められた関数に入力することで実現することができる。
フィードバック信号出力部304は、フィードバック信号を入出力グローブ10に出力する。
姿勢更新部306は、受信した姿勢信号に基づいて姿勢記憶部305が記憶する情報を更新する。
操作信号変換部312は、操作信号および姿勢信号を制御信号に変換する。つまり、操作信号変換部312は、オペレータOと同じ動作を作業ロボット50に実行させるための制御信号を生成する。操作信号および姿勢信号から制御信号への変換は、例えば操作信号および姿勢信号を予め求められた関数に入力することで実現することができる。なお、入出力グローブ10の操作信号は、マニピュレータ51の制御信号に変換され、ヘッドマウントディスプレイ20の姿勢信号は、カメラ52の制御信号に変換される。
学習部315は、認識部308による認識結果と、作業判定部314による判定結果と、作業開始から判定までに出力された制御信号とを用いて作業モデル記憶部309が記憶する作業モデルを更新する。
ピッキングシステムが対象物を作業スペースに運搬すると、ピッキングシステムは、マスタコントローラ30に作業指示を出力する。
マスタコントローラ30の指示入力部307は、ピッキングシステムから作業指示の入力を受け付ける(ステップS1)。次に、信号受信部301は、スレーブコントローラ40を介して作業ロボット50から、カメラ52が撮像した映像信号、触覚センサが検出した触感信号、および姿勢センサが検出した姿勢信号を受信する(ステップS2)。
作業判定部314は、信号受信部301が受信した映像信号に基づいて、対象物品Iがマニピュレータ51に把持されているか否かを判定する(ステップS17)。対象物品Iがマニピュレータ51に把持されている場合(ステップS17:YES)、作業判定部314は、作業中であると判定し、ステップS2に処理を戻す。他方、対象物品Iがマニピュレータ51に把持されていない場合(ステップS17:NO)、作業判定部314は、信号受信部301が受信した映像信号に基づいて、対象物品Iが目標位置にあるか否かを判定する(ステップS18)。対象物品Iが目標位置にある場合(ステップS18:YES)、作業判定部314は、作業が成功したと判定する(ステップS19)。他方、対象物品Iが目標位置にない場合(ステップS18:NO)、作業判定部314は、作業が失敗したと判定する(ステップS20)。
第1の実施形態に係る作業システム1は、作業ロボット50の単位制御時間ごとに、作業モデルから算出された制御信号と入出力グローブ10の操作に基づく制御信号との何れを採用するかを決定する。これに対し、第2の実施形態に係る作業システム1は、スコアが閾値未満になるまでは作業モデルから算出された制御信号を採用し、スコアが閾値未満になった以降は、入出力グローブ10の操作に基づく制御信号を採用する。
第1、第2の実施形態に係る作業システム1は、マニピュレータ51の全ての関節を作業モデルから算出された制御信号によって制御するか、入出力グローブ10の操作に基づく制御信号によって制御するかを決定する。これに対し、第3の実施形態に係る作業システム1は、マニピュレータ51の複数の関節の中から、作業モデルから算出された制御信号によって制御する関節と、入出力グローブ10の操作に基づく制御信号によって制御する関節とを決定する。
第3の実施形態に係るマスタコントローラ30は、第1の実施形態の構成に加え、さらに関節特定部316を備える。関節特定部316は、マニピュレータ51が備える複数の関節のうち、制御信号のスコアが閾値未満であって最も基端側に設けられるものを、基準関節として特定する。例えば、制御信号算出部310が、各関節の制御信号を生成した場合に、肩に相当する関節のスコアが0.8、肘に相当する関節のスコアが0.7、手首に相当する関節のスコアが0.6、指の第三関節に相当する関節のスコアが0.4、指の第二関節に相当する関節のスコアが0.3、指の第一関節に相当する関節のスコアが0.1であって、閾値が0.5である場合、関節特定部316は、指の第三関節に相当する関節を基準関節とする。
例えば、上述した実施形態においては、自動制御するか手動制御とするかを判定する閾値が固定値であるが、これに限られない。例えば、他の実施形態においては、当該閾値がオペレータOの習熟度に応じて異なってもよい。例えば、オペレータOが作業に習熟しているほど、閾値を高くすることで、習熟度の高いオペレータOの手動制御の割合を増加させることができる。これにより、習熟度の高いオペレータOの操作を適切に作業モデルに学習させることができる。また、他の実施形態においては、オペレータOが当該閾値を自由に変更してもよい。また、他の実施形態においては、対象物品Iの種類に応じて閾値を異ならせてもよい。
本発明の第4の実施形態では、本発明の第1〜第3の実施形態による作業システム1が行う同期及び離脱について説明する。本発明の第4の実施形態において、同期とは、作業ロボット50のオペレータOを切り替えた場合に、作業ロボット50のマニピュレータ51とオペレータOが操作する入出力グローブ10(制御信号生成装置)との動きを一致させる作業のことである。また、本発明の第4の実施形態において、離脱とは、作業ロボット50のマニピュレータ51をオペレータOが入出力グローブ10を介して行う遠隔操作を解除する、すなわち同期を解除する作業のことである。
まず、作業システム1が同期を行う際の処理について説明する。その後、作業システム1が離脱を行う際の処理について説明する。
作業ロボット50は、学習により自動制御を行っている。そのような状況で、作業ロボット50は、スコアが閾値未満となり、自動制御から手動制御に切り替わる際に、作業システム1は同期の処理を行う。作業システム1が行う同期の処理は、例えば以下に示す3つの例が挙げられる。
同期処理の1つ目の例は、マニピュレータ51を正常な制御状態と予測される姿勢まで戻し、オペレータOが入出力グローブ10の状態が示す姿勢をその姿勢に近づけ、その後、スレーブコントローラ40がマニピュレータ51の示す姿勢を入出力グローブ10の状態が示す姿勢に近づける処理である。
図6に示す作業システム1の処理フローを用いて、同期処理の1つ目の具体例について説明する。
スレーブコントローラ40は、学習のために制御内容を記憶している。スレーブコントローラ40は、所定の時間(例えば10秒)だけ制御内容を戻す(ステップS101)。これにより、マニピュレータ51は、スコアが閾値未満になる直前、すなわち自動制御が失敗する直前である自動制御が成功していると予想される状態に戻すことができる。オペレータOは、入出力グローブ10を身に着けて、入出力グローブ10の状態が示す姿勢を、ヘッドマウントディスプレイ20に表示されるマニピュレータ51の姿勢に近づける。具体的には、オペレータOは、例えばヘッドマウントディスプレイ20を装着するオペレータOの頭の位置を基準として、マスタコントローラ30の存在する空間の絶対座標系とスレーブコントローラ40の存在する空間の絶対座標系との関係を定義した相対座標系において、入出力グローブ10の把持部の座標とマニピュレータ51の把持部の座標とを一致させる。マスタコントローラ30は、入出力グローブ10の状態が示す姿勢により生成された制御信号をネットワークNを介してスレーブコントローラ40に送信する(ステップS102)。スレーブコントローラ40は、マニピュレータ51に設けられている姿勢センサのデータが示すマニピュレータ51の姿勢と入出力グローブ10の状態が示す姿勢とを比較する(ステップS103)。スレーブコントローラ40は、姿勢センサのデータが示すマニピュレータ51の姿勢と入出力グローブ10の状態が示す姿勢との差、すなわち相対座標系における座標の差が所定の範囲内に入ったか否かを判定する(ステップS104)。スレーブコントローラ40は、それら2つの姿勢の差が所定の範囲内に入っていないと判定した場合(ステップS104においてNO)、マニピュレータ51の姿勢を入出力グローブ10の状態が示す姿勢に近づけるキャリブレーションを行う(ステップS105)。また、スレーブコントローラ40は、それら2つの姿勢の差が所定の範囲内に入ったと判定した場合(ステップS104においてYES)、同期の処理を完了する。
なお、別の具体例では、マスタコントローラ30とスレーブコントローラ40の存在する空間の絶対座標系で座標を定義し、オペレータOは、入出力グローブ10の把持部の座標とマニピュレータ51の把持部の座標とを絶対座標系で一致させるものであってもよい。
同期処理の2つ目の例は、同期をとる際の姿勢を予め決定し、スレーブコントローラ40がマニピュレータ51の姿勢を予め設定した姿勢に近づけるとともに、オペレータOが入出力グローブ10の状態が示す姿勢を予め設定した姿勢に近づける。そして、それらの2つの姿勢に違いがある場合にはスレーブコントローラ40がマニピュレータ51の姿勢を入出力グローブ10の状態が示す姿勢に近づける処理である。
図7に示す作業システム1の処理フローを用いて、同期処理の2つ目の具体例について説明する。
予め設定した姿勢として、マニピュレータ51の関節部への負担が低減されるように、例えばマニピュレータ51を重力方向に伸ばす、いわゆる「気をつけ」の姿勢やオペレータOの自然な姿勢などと決定する。スレーブコントローラ40は、マニピュレータ51の姿勢が予め設定した姿勢とする制御を行う(ステップS106)。また、オペレータOは、入出力グローブ10を身に着けて、予め設定した姿勢をとる。入出力グローブ10の状態が示す姿勢により生成された制御信号は、マスタコントローラ30からネットワークNを介してスレーブコントローラ40に送信される(ステップS102)。スレーブコントローラ40は、マニピュレータ51に設けられている姿勢センサのデータが示すマニピュレータ51の姿勢と入出力グローブ10の状態が示す姿勢とを比較する(ステップS103)。具体的には、入出力グローブ10の状態が示す姿勢により生成された制御信号が示すマニピュレータ51の各関節の角度と、実際のマニピュレータ51の各関節の角度を比較する。スレーブコントローラ40は、姿勢センサのデータが示すマニピュレータ51の姿勢と入出力グローブ10の状態が示す姿勢との差が所定の範囲内に入ったか否かを判定する(ステップS104)。具体的には、入出力グローブ10の状態が示す姿勢により生成された制御信号が示すマニピュレータ51の各関節の角度と、実際のマニピュレータ51の各関節の角度との差が所定の角度の範囲内に入ったか否かを判定する。スレーブコントローラ40は、それら2つの姿勢の差が所定の範囲内に入っていないと判定した場合(ステップS104においてNO)、マニピュレータ51の姿勢を入出力グローブ10の状態が示す姿勢に近づけるキャリブレーションを行う(ステップS105)。また、スレーブコントローラ40は、それら2つの姿勢の差が所定の範囲内に入ったと判定した場合(ステップS104においてYES)、同期の処理を完了する。
同期処理の3つ目の例は、同期をとる際の姿勢を予め決定し、スレーブコントローラ40がマニピュレータ51の姿勢を予め設定した姿勢に近づけるとともに、オペレータOが入出力グローブ10の状態が示す姿勢を予め設定した姿勢に近づける。そして、それらの2つの姿勢に違いがある場合にはオペレータOが入出力グローブ10の状態が示す姿勢をマニピュレータ51の姿勢に近づける処理である。
図8に示す作業システム1の処理フローを用いて、同期処理の3つ目の具体例について説明する。
予め設定した姿勢として、マニピュレータ51の関節部への負担が低減されるように、例えばマニピュレータ51を重力方向に伸ばす、いわゆる「気をつけ」の姿勢やオペレータOの自然な姿勢などと決定する。スレーブコントローラ40は、マニピュレータ51の姿勢が予め設定した姿勢とする制御を行う(ステップS106)。また、オペレータOは、入出力グローブ10を身に着けて、予め設定した姿勢をとる。入出力グローブ10の状態が示す姿勢により生成された制御信号は、マスタコントローラ30からネットワークNを介してスレーブコントローラ40に送信される(ステップS102)。スレーブコントローラ40は、マニピュレータ51に設けられている姿勢センサのデータが示すマニピュレータ51の姿勢と入出力グローブ10の状態が示す姿勢とを比較する(ステップS103)。具体的には、入出力グローブ10の状態が示す姿勢により生成された制御信号が示すマニピュレータ51の各関節の角度と、実際のマニピュレータ51の各関節の角度を比較する。スレーブコントローラ40は、姿勢センサのデータが示すマニピュレータ51の姿勢と入出力グローブ10の状態が示す姿勢との差が所定の範囲内に入ったか否かを判定する(ステップS104)。具体的には、入出力グローブ10の状態が示す姿勢により生成された制御信号が示すマニピュレータ51の各関節の角度と、実際のマニピュレータ51の各関節の角度との差が所定の角度の範囲内に入ったか否かを判定する。スレーブコントローラ40は、それら2つの姿勢の差が所定の範囲内に入っていないと判定した場合(ステップS104においてNO)、ネットワークNを介してマスタコントローラ30に2つの姿勢の差が所定の範囲内に入っていないことを報知する情報を送信する(ステップS107)。ヘッドマウントディスプレイ20は、2つの姿勢の差が所定の範囲内に入っていないことを表示する(ステップS108)。オペレータOは、ヘッドマウントディスプレイ20が表示するマニピュレータ51を見ながら、入出力グローブ10の状態が示す姿勢をマニピュレータ51の姿勢に近づける。入出力グローブ10の状態が示す姿勢は、再度ステップS102の処理によってマスタコントローラ30からネットワークNを介してスレーブコントローラ40に送信される。スレーブコントローラ40は、再度ステップS103の処理を行う。これらの処理は、スレーブコントローラ40が、それら2つの姿勢の差が所定の範囲内に入ったと判定するまで、すなわちステップS104の処理においてYESと判定されるまで繰り返される。
作業ロボット50が対象物Iを所定の位置まで移動した、または、作業モデルに基づく自律制御によって所定の位置まで移動できると判定した場合、作業システム1は離脱の処理を行う。作業システム1が行う離脱の処理は、例えば以下に示す3つの例が挙げられる。
離脱処理の1つ目の例は、作業の完了をオペレータOが判断して離脱のための操作を行う処理である。
図9に示す作業システム1の処理フローを用いて、離脱処理の1つ目の具体例について説明する。
オペレータOは、ヘッドマウントディスプレイ20に表示される対象物Iやマニピュレータ51を見ながら、マニピュレータ51で対象物Iを把持し、所定の位置までその対象物Iを移動させる操作を入出力グローブ10に対して行う。制御信号送信部313は、オペレータOによる操作に基づく制御信号をスレーブコントローラ40に送信する(ステップS201)。スレーブコントローラ40は、マスタコントローラ30から制御信号を受信する(ステップS202)。スレーブコントローラ40は、受信した制御信号に応じてマニピュレータ51を制御し、対象物Iを所定の位置まで移動させる(ステップS203)。オペレータOは、ヘッドマウントディスプレイ20が表示するマニピュレータ51の動作を見る。オペレータOは、マニピュレータ51が所定の位置まで対象物Iを移動させたと判定した場合、「離脱」ボタンを押下する操作を行う(ステップS204)。なお、本発明の別の実施形態では、「離脱」ボタンの押下に代わり、アイトラッキングによって「離脱」を選択できるものであってもよい。
離脱処理の2つ目の例は、スレーブコントローラ40がカメラ52の撮影した画像に基づいて、対象物Iが所定の位置まで移動したと判定した場合に、スレーブコントローラ40が離脱と判定し離脱のための操作を行う処理である。
図10に示す作業システム1の処理フローを用いて、離脱処理の1つ目の具体例について説明する。
オペレータOは、ヘッドマウントディスプレイ20に表示される対象物Iやマニピュレータ51を見ながら、マニピュレータ51で対象物Iを把持し、所定の位置までその対象物Iを移動させる操作を入出力グローブ10に対して行う。制御信号送信部313は、オペレータOによる操作に基づく制御信号をスレーブコントローラ40に送信する(ステップS201)。スレーブコントローラ40は、マスタコントローラ30から制御信号を受信する(ステップS202)。スレーブコントローラ40は、受信した制御信号に応じてマニピュレータ51を制御し、対象物Iを所定の位置まで移動させる(ステップS203)。カメラ52は、マニピュレータ51と対象物Iの画像を撮影する。スレーブコントローラ40は、カメラ52が撮影した画像を解析して、マニピュレータ51が対象物Iを所定の位置まで移動させたか否かを判定する(ステップS205)。
スレーブコントローラ40は、マニピュレータ51が対象物Iを所定の位置まで移動させていないと判定した場合(ステップS205においてNO)、ステップS203の処理に戻す。
また、スレーブコントローラ40は、マニピュレータ51が対象物Iを所定の位置まで移動させたと判定した場合(ステップS205においてYES)、「離脱」の処理を行う(ステップS206)。
離脱処理の3つ目の例は、スレーブコントローラ40が対象物Iを移動させる作業が安定な状態にあると判定した場合、スレーブコントローラ40が離脱の処理を行い、それ以降の処理をスレーブコントローラ40による自律制御で行う処理である。
図11に示す作業システム1の処理フローを用いて、離脱処理の1つ目の具体例について説明する。
オペレータOは、ヘッドマウントディスプレイ20に表示される対象物Iやマニピュレータ51を見ながら、マニピュレータ51で対象物Iを把持し、所定の位置までその対象物Iを移動させる操作を入出力グローブ10に対して行う。制御信号算出部310が生成した操作領域ごとの制御信号のスコアが閾値以上であるか否かを判定する(ステップS207)。制御信号送信部313は、オペレータOによる操作に基づく操作領域ごとの制御信号をスレーブコントローラ40に送信する(ステップS208)。このとき、操作領域ごとの制御信号が閾値以上のスコアであると制御信号算出部310が判定した場合には、制御信号送信部313は、スコアが閾値以上であることを示す情報と共に制御信号を所定の操作領域ごとにスレーブコントローラ40に送信する。また、制御信号が閾値未満のスコアであると制御信号算出部310が判定した場合には、制御信号送信部313は、スコアが閾値未満であることを示す情報と共に制御信号を所定の操作領域ごとにスレーブコントローラ40に送信する。スレーブコントローラ40は、マスタコントローラ30から制御信号を受信する(ステップS209)。
このとき、スレーブコントローラ40は、受信した操作領域ごとの制御信号が閾値未満のスコアである場合には、同期を継続して、受信した制御信号でマニピュレータ51を制御し、対象物Iを所定の位置へ向けて操作領域内を移動させる(ステップS210)。
また、スレーブコントローラ40は、受信した操作領域ごとの制御信号が閾値以上のスコアである場合には、離脱の操作を行い、受信した制御信号でマニピュレータ51を制御し、対象物Iを所定の位置へ向けて操作領域内を移動させる(ステップS211)。スレーブコントローラ40は、離脱の操作を行った場合、以降の操作領域において自律制御によって対象物Iを所定の位置まで移動させる制御を行う。
これにより、作業システム1は、マスタコントローラ30とスレーブコントローラ40との組み合わせの切り替えを短時間に容易に行うことができる。
コンピュータ90は、CPU91、メインメモリ92、ストレージ93、インターフェース94を備える。
上述のマスタコントローラ30は、コンピュータ90に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ93に記憶されている。CPU91は、プログラムをストレージ93から読み出してメインメモリ92に展開し、当該プログラムに従って上記処理を実行する。また、CPU91は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ92に確保する。
10 入出力グローブ
20 ヘッドマウントディスプレイ
30 マスタコントローラ
40 スレーブコントローラ
50 作業ロボット
51 マニピュレータ
52 カメラ
90 コンピュータ
91 CPU
92 メインメモリ
93 ストレージ
94 インターフェース
301 信号受信部
302 映像信号出力部
303 触感信号変換部
304 フィードバック信号出力部
305 姿勢記憶部
306 姿勢更新部
307 指示入力部
308 認識部
309 作業モデル記憶部
310 制御信号算出部
311 操作信号入力部
312 操作信号変換部
313 制御信号送信部
314 作業判定部
315 学習部
316 関節特定部
Claims (9)
- 対象物を把持し所定の位置まで移動させるマニピュレータと、
前記対象物を把持し所定の位置まで移動させる制御信号を操作状態が示す姿勢に基づいて生成する制御信号生成装置と、
前記マニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行うスレーブコントローラと、
前記マニピュレータが備える複数の関節のうち、制御信号のスコアが閾値未満であって最も基端側に設けられた関節を基準関節と特定し、特定した前記基準関節より基端側に設けられた関節に作業モデルに基づく制御信号を適用し、前記基準関節より先端側に設けられた関節にオペレータによる操作に基づく制御信号を適用するマスタコントローラと、
を備える作業システム。 - 前記スレーブコントローラは、
前記対象物を把持し前記所定の位置まで移動した、または、前記所定の位置まで移動できると判定した場合に前記同期を解除する離脱の処理を行う、
請求項1に記載の作業システム。 - 対象物を把持し所定の位置まで移動させるマニピュレータと、
前記対象物を把持し所定の位置まで移動させる制御信号を操作状態が示す姿勢に基づいて生成する制御信号生成装置と、
前記マニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行い、前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻すスレーブコントローラと、
を備える作業システム。 - 前記類似の姿勢は、
絶対座標での位置の差が所定範囲内である姿勢、相対座標での位置の差が所定範囲内である姿勢、及び、前記制御信号生成装置を操作する操作者の操作に基づいて生成された前記マニピュレータを制御する制御信号が示す関節の角度と、前記マニピュレータの関節の角度との差が所定範囲内である姿勢のうち少なくとも1つを含む、
請求項1から請求項3の何れか一項に記載の作業システム。 - 前記スレーブコントローラは、
前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻す、
請求項1から請求項4の何れか一項に記載の作業システム。 - マニピュレータが、対象物を把持し所定の位置まで移動させることと、
制御信号生成装置が、前記対象物を把持し所定の位置まで移動させる制御信号を操作状態が示す姿勢に基づいて生成することと、
スレーブコントローラが、前記マニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行うことと、
前記マニピュレータが備える複数の関節のうち、制御信号のスコアが閾値未満であって最も基端側に設けられた関節を基準関節と特定し、特定した前記基準関節より基端側に設けられた関節に作業モデルに基づく制御信号を適用し、前記基準関節より先端側に設けられた関節にオペレータによる操作に基づく制御信号を適用することと、
を含む作業システムの制御方法。 - マニピュレータが、対象物を把持し所定の位置まで移動させることと、
制御信号生成装置が、前記対象物を把持し所定の位置まで移動させる制御信号を操作状態が示す姿勢に基づいて生成することと、
スレーブコントローラが、前記マニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行い、前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻すことと、
を含む作業システムの制御方法。 - コンピュータに、
対象物を把持し所定の位置まで移動させる制御信号を制御信号生成装置の操作状態が示す姿勢に基づいて生成することと、
前記対象物を把持し所定の位置まで移動させるマニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行うことと、
前記マニピュレータが備える複数の関節のうち、制御信号のスコアが閾値未満であって最も基端側に設けられた関節を基準関節と特定し、特定した前記基準関節より基端側に設けられた関節に作業モデルに基づく制御信号を適用し、前記基準関節より先端側に設けられた関節にオペレータによる操作に基づく制御信号を適用することと、
を実行させるプログラム。 - コンピュータに、
対象物を把持し所定の位置まで移動させる制御信号を制御信号生成装置の操作状態が示す姿勢に基づいて生成することと、
前記対象物を把持し所定の位置まで移動させるマニピュレータの姿勢と前記制御信号生成装置の前記操作状態が示す姿勢とが類似の姿勢である場合に、前記マニピュレータの動作を前記制御信号生成装置の動作に一致させる同期の処理を行い、前記同期の処理において、前記マニピュレータについて所定の時間だけ制御内容を戻すことと、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017193041A JP6931585B2 (ja) | 2017-10-02 | 2017-10-02 | 作業システム、作業システムの制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017193041A JP6931585B2 (ja) | 2017-10-02 | 2017-10-02 | 作業システム、作業システムの制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019063951A JP2019063951A (ja) | 2019-04-25 |
JP6931585B2 true JP6931585B2 (ja) | 2021-09-08 |
Family
ID=66337163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017193041A Active JP6931585B2 (ja) | 2017-10-02 | 2017-10-02 | 作業システム、作業システムの制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6931585B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112154047A (zh) * | 2018-05-21 | 2020-12-29 | 远程连接株式会社 | 远程操作***、信息处理方法以及程序 |
US20220388178A1 (en) * | 2019-12-17 | 2022-12-08 | Sony Group Corporation | Information processing device and method |
CN111730601B (zh) * | 2020-07-20 | 2021-01-01 | 季华实验室 | 一种穿戴式示教器示教控制方法、装置及电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6130385A (ja) * | 1984-07-17 | 1986-02-12 | 工業技術院長 | ロボツト |
JPH08215204A (ja) * | 1995-02-08 | 1996-08-27 | Olympus Optical Co Ltd | 医療用マニピュレータ |
JPH08216065A (ja) * | 1995-02-10 | 1996-08-27 | Yaskawa Electric Corp | 移動型マニピュレータの遠隔制御装置 |
JP3752494B2 (ja) * | 2003-03-31 | 2006-03-08 | 株式会社東芝 | マスタスレーブマニピュレータ、その制御装置及び制御方法 |
DE112010000775B4 (de) * | 2009-02-12 | 2016-03-17 | Kyoto University | Industrierobotersystem |
JP5733511B2 (ja) * | 2011-03-31 | 2015-06-10 | 株式会社Ihi | ハンドガイド装置とその制御方法 |
DE102015222168B4 (de) * | 2015-11-11 | 2024-02-22 | Kuka Roboter Gmbh | Verfahren und computerprogramm zur korrektur von fehlern eines manipulatorsystems |
-
2017
- 2017-10-02 JP JP2017193041A patent/JP6931585B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019063951A (ja) | 2019-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6869060B2 (ja) | マニピュレータの制御装置、制御方法およびプログラム、ならびに作業システム | |
JP6902369B2 (ja) | 提示装置、提示方法およびプログラム、ならびに作業システム | |
US20210187735A1 (en) | Positioning a Robot Sensor for Object Classification | |
Du et al. | Markerless human–robot interface for dual robot manipulators using Kinect sensor | |
US10406686B2 (en) | Bare hand robot path teaching | |
CN114080583B (zh) | 视觉教导和重复移动操纵*** | |
JP2018161692A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6931585B2 (ja) | 作業システム、作業システムの制御方法及びプログラム | |
JP2015520040A (ja) | 産業用ロボットを訓練および動作させること | |
JP2019084601A (ja) | 情報処理装置、把持システムおよび情報処理方法 | |
Fishel et al. | Tactile telerobots for dull, dirty, dangerous, and inaccessible tasks | |
US11052541B1 (en) | Autonomous robot telerobotic interface | |
Devine et al. | Real time robotic arm control using hand gestures with multiple end effectors | |
US11915523B2 (en) | Engagement detection and attention estimation for human-robot interaction | |
US10933526B2 (en) | Method and robotic system for manipulating instruments | |
JP6456557B1 (ja) | 把持位置姿勢教示装置、把持位置姿勢教示方法及びロボットシステム | |
JP6067547B2 (ja) | 物体認識装置、ロボット及び物体認識方法 | |
US20230226698A1 (en) | Robot teleoperation control device, robot teleoperation control method, and storage medium | |
US20240149458A1 (en) | Robot remote operation control device, robot remote operation control system, robot remote operation control method, and program | |
WO2020166509A1 (ja) | 制御装置及びプログラム | |
JP2022060003A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
US20230234231A1 (en) | Teleoperation assist device, teleoperation assist method, and storage medium | |
US20240051143A1 (en) | Tele-operation assistance system and tele-operation assistance method | |
JP7286524B2 (ja) | ピッキングロボット、ピッキング方法及びプログラム | |
Felip et al. | Tombatossals: A humanoid torso for autonomous sensor-based tasks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6931585 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |