JP2022174984A - 作業状態判定装置、方法、及びプログラム - Google Patents
作業状態判定装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2022174984A JP2022174984A JP2021081072A JP2021081072A JP2022174984A JP 2022174984 A JP2022174984 A JP 2022174984A JP 2021081072 A JP2021081072 A JP 2021081072A JP 2021081072 A JP2021081072 A JP 2021081072A JP 2022174984 A JP2022174984 A JP 2022174984A
- Authority
- JP
- Japan
- Prior art keywords
- work
- determiner
- data
- work state
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 23
- 230000002159 abnormal effect Effects 0.000 claims abstract description 23
- 230000007704 transition Effects 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000001052 transient effect Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 2
- 238000012545 processing Methods 0.000 description 15
- 210000002569 neuron Anatomy 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000009471 action Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/085—Force or torque sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39529—Force, torque sensor in wrist, end effector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40541—Identification of contact formation, state from several force measurements
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
【課題】正常系及び異常系を含む作業状態を判定する。【解決手段】取得部32が、ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得し、判定部38が、ロボットハンドの作業状態を判定する判定器36であって、正常系の作業状態の特徴を抽出する第1判定器と、異常系の作業状態の特徴を抽出する第2判定器とが結合され、作業状態として、作業完了、作業継続、及び作業継続不可の3状態を出力する判定器36に、取得部32により取得されたデータを入力して、作業状態を判定する。【選択図】図4
Description
本発明は、作業状態判定装置、作業状態判定方法、及び作業状態判定プログラムに関する。
製造現場でのロボットによる組立作業において、ロボットの知能化を進めることで治具などを用いず調整作業を簡単化する技術が研究されている。例えば、スナップフィットをもつワークの組立作業を対象とした、RNN(Recurrent Neural Network) を用いた判定手法が提案されている(非特許文献1参照)。この手法は、ワークを嵌め込んだときのロボット手先反力の過渡的な変化に注目し、過渡的な波形を捉える小さな時間幅でRNNを構成し学習する。
また、例えば、嵌合及び挿入作業において、様々な原因に依存する作業良否を判定するロボットシステムが提案されている(特許文献1参照)。このシステムでは、作業成功時の特徴量の存在範囲と作業失敗時の特徴量存在範囲を失敗原因毎に算出して、各特徴量の存在領域を記録し、作業実行時の特徴量がどの特徴量存在領域内にあるかによって作業良否と失敗時の原因を判定する。
M. Karlsson, A. Robertsson, and R. Johansson, "Detection and control of contact force transients in robotic manipulation without a force sensor", In 2018 IEEE International Conference on Robotics and Automation (ICRA), 2018.
従来技術では、組立作業の完了又は未完了を判定可能である。しかし、実際の製造現場では、例えば、ワークの持ち替え作業を行わなければ組立作業を継続できないといった異常系の状態も存在する。従来技術では、そのような異常系の状態を判定できない、又は、特徴エンジニアリングによって一品一様に判定器を調整する必要がある、という問題がある。
本発明は、上記の点に鑑みてなされたものであり、正常系及び異常系を含む作業状態を判定することを目的とする。
上記目的を達成するために、本発明に係る作業状態判定装置は、ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得する取得部と、前記ロボットハンドの作業状態を判定する判定器であって、正常系の作業状態の特徴を抽出する第1判定器と、異常系の作業状態の特徴を抽出する第2判定器とが結合され、前記作業状態として、作業完了、作業継続、及び作業継続不可の3状態を出力する判定器に、前記取得部により取得されたデータを入力して、前記作業状態を判定する判定部と、を含んで構成される。
また、前記判定器には、前記取得部により取得された時系列のデータが入力され、前記第1判定器に入力されるデータの時間幅より、前記第2判定器に入力されるデータの時間幅の方を長くしてもよい。
また、前記第1判定器についての前記時間幅は、作業完了時に生じるデータの過渡応答に対応した時間幅であり、前記第2判定器についての前記時間幅は、異常が発生し、前記ロボットハンドの動作を停止させるまでの時間に対応した時間幅としてもよい。
また、前記第1判定器は、作業状態が作業継続から作業完了へ遷移した場合の時系列のデータの遷移前の各データに作業継続のラベルを付し、遷移後のデータに作業完了のラベルを付した学習データを用いて学習されており、前記第2判定器は、作業状態が作業継続から作業継続不可へ遷移した場合の時系列のデータの遷移前のデータに作業継続のラベルを付し、遷移後のデータに作業継続不可のラベルを付した学習データを用いて学習されたものとしてもよい。
また、本発明に係る作業状態判定装置は、前記学習データを用いて、前記判定器の学習を実行する学習部をさらに含んで構成されてもよい。
また、前記学習部は、前記学習データ及び乱数を用いて疑似的な学習データを生成し、前記学習データに前記疑似的な学習データを追加して、前記判定器の学習に用いてもよい。
また、前記取得部は、さらに、前記ロボットハンドの手先部の位置を取得し、前記判定部は、前記力覚センサにより検知されたデータと、前記手先部の位置とを前記判定器に入力して、前記作業状態を判定してもよい。
また、前記判定器は、前記第1判定器を構成する第1のニューラルネットワークと、前記第2判定器を構成する第2のニューラルネットワークとを含み、前記第1のニューラルネットワークの出力と、前記第2のニューラルネットワークの出力とを結合した結果を出力するようにしてもよい。
また、本発明に係る作業状態判定装置は、前記判定部により判定された前記作業状態に基づいて、前記ロボットハンドの動作を制御する制御部をさらに含んで構成されてもよい。
また、本発明に係る作業状態判定方法は、取得部が、ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得し、判定部が、前記ロボットハンドの作業状態を判定する判定器であって、正常系の作業状態の特徴を抽出する第1判定器と、異常系の作業状態の特徴を抽出する第2判定器とが結合され、前記作業状態として、作業完了、作業継続、及び作業継続不可の3状態を出力する判定器に、前記取得部により取得されたデータを入力して、前記作業状態を判定する方法である。
また、本発明に係る作業状態判定プログラムは、コンピュータを、ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得する取得部、及び、前記ロボットハンドの作業状態を判定する判定器であって、正常系の作業状態の特徴を抽出する第1判定器と、異常系の作業状態の特徴を抽出する第2判定器とが結合され、前記作業状態として、作業完了、作業継続、及び作業継続不可の3状態を出力する判定器に、前記取得部により取得されたデータを入力して、前記作業状態を判定する判定部として機能させるためのプログラムである。
本発明に係る作業状態判定装置、方法、及びプログラムによれば、正常系及び異常系を含む作業状態を判定することができる。
以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法及び比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
図1に示すように、本実施形態に係るロボットシステム100は、作業状態判定装置10と、ロボット部50とを含んで構成される。ロボット部50は、手先部としてのグリッパ56を含むマニピュレータ52と、力覚センサ54とを含む。マニピュレータ52は、開示の技術の「ロボットハンド」の一例であり、グリッパ56は、開示の技術の「手先部」の一例である。
マニピュレータ52は、例えば、3次元空間における動作に必要な6自由度の構成を備えた垂直多関節型のロボットである。なお、マニピュレータ52の自由度は、6自由度に冗長自由度を加えた7自由度としてもよい。マニピュレータ52は、各関節の回転角度が、作業状態判定装置10から出力される制御情報(詳細は後述)に応じた角度となるように、各関節を駆動する。これにより、グリッパ56が指定の位置及び姿勢となるように制御される。また、マニピュレータ52は、現在の各関節の回転角度を作業状態判定装置10へ出力する。
グリッパ56は、多様なワークを、多様な把持状態で把持可能な汎用性を有し、かつ大きな把持ズレを防止する構成を備えたものが好ましい。例えば、グリッパ56は、ワークを把持する面に滑り止めのゴムが取り付けられた、平行2指グリッパとしてよい。
力覚センサ54は、マニピュレータ52の手首部とグリッパ56との間に設置され、グリッパ56に作用する、平行3軸及び回転3軸の6方向の外力値を検知し、力覚センサ値として出力する。力覚センサ値は、開示の技術の「力覚センサにより検知されたデータ」の一例である。
作業状態判定装置10は、マニピュレータ52による作業状態を判定しながら、マニピュレータ52の動作を制御する。本実施形態では、図1に示すように、グリッパ56で把持した主ワーク60を、作業台上の副ワーク62へ挿入する作業を想定する。主ワーク60は、例えばコネクタであり、副ワーク62は、例えばソケットである。また、本実施形態では、主ワーク60と副ワーク62とは、主ワーク60が副ワーク62へ適切に挿入された場合に、スナップフィットにより接合されるものとする。
また、本実施形態では、判定対象の作業状態としては、図2に示すように、作業完了、作業継続不可、及び作業継続を設定する。作業完了は、副ワーク62への主ワーク60の挿入が完了した状態である。作業継続不可は、副ワーク62への主ワーク60の挿入が完了する前に、グリッパ56の先端が副ワーク62と干渉するなどしており、グリッパ56による主ワーク60の持ち替え作業を行うなどしないと、作業を継続できない状態である。作業継続は、副ワーク62への主ワーク60の挿入作業を継続可能な状態である。
図3は、本実施形態に係る作業状態判定装置10のハードウェア構成を示すブロック図である。図3に示すように、作業状態判定装置10は、CPU(Central Processing Unit)12、メモリ14、記憶装置16、入力装置18、出力装置20、記憶媒体読取装置22、及び通信I/F(Interface)24を有する。各構成は、バス26を介して相互に通信可能に接続されている。
記憶装置16には、後述する学習処理及び判定制御処理を実行するための作業状態判定プログラムが格納されている。CPU12は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、CPU12は、記憶装置16からプログラムを読み出し、メモリ14を作業領域としてプログラムを実行する。CPU12は、記憶装置16に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。
メモリ14は、RAM(Random Access Memory)により構成され、作業領域として一時的にプログラム及びデータを記憶する。記憶装置16は、ROM(Read Only Memory)、及びHDD(Hard Disk Drive)、SSD(Solid State Drive)等により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
入力装置18は、例えば、キーボードやマウス等の、各種の入力を行うための装置である。出力装置20は、例えば、ディスプレイやプリンタ等の、各種の情報を出力するための装置である。出力装置20として、タッチパネルディスプレイを採用することにより、入力装置18として機能させてもよい。記憶媒体読取装置22は、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、ブルーレイディスク、USB(Universal Serial Bus)メモリ等の各種記憶媒体に記憶されたデータの読み込みや、記憶媒体に対するデータの書き込み等を行う。通信I/F24は、他の機器と通信するためのインタフェースであり、例えば、イーサネット(登録商標)、FDDI、Wi-Fi(登録商標)等の規格が用いられる。
次に、第1実施形態に係る作業状態判定装置10の機能構成について説明する。
図4は、作業状態判定装置10の機能構成の例を示すブロック図である。図4に示すように、作業状態判定装置10は、機能構成として、取得部32と、学習部34と、判定部38と、制御部40とを含む。各機能構成は、CPU12が記憶装置16に記憶された作業状態判定プログラムを読み出し、メモリ14に展開して実行することにより実現される。また、作業状態判定装置10の所定の記憶領域には、判定器36が記憶される。
取得部32は、学習処理時において、作業状態判定装置10に入力された学習データを取得する。学習データは、力覚センサ54により各時刻において検知された力覚センサ値、及び各時刻におけるグリッパ56の手先位置に関する情報と、各時刻における作業状態の正解を示すラベルとが対応付けられたデータである。グリッパ56の手先位置に関する情報(以下、単に「手先位置」ともいう)は、グリッパ56の先端等の所定位置の絶対位置でもよいし、1タイムステップ間における所定位置の相対移動量や絶対移動量でもよい。手先位置は、マニピュレータ52から出力された、各関節の回転角度(以下、「関節角値」という)、及びマニピュレータ52のキネマティクス情報に基づく行列演算により得られる。
ここで、学習データの生成について説明する。上述したように、本実施形態では、作業完了、作業継続不可、及び作業継続の3つの作業状態を判定する。そこで、作業状態が作業継続から作業完了へ遷移した場合、図5左図中の破線に示すように、力覚センサ値における過渡応答のピークに対応する時刻を、作業状態が切り替わった時刻として特定する。これは、本実施形態で想定しているスナップフィットを適用した作業において、主ワーク60が副ワーク62に挿入された際に生じる過渡的な応答を示す波形に基づいて、作業が完了したタイミングを特定するものである。なお、図5において、力覚センサ値は、グリッパ56に作用する垂直方向の力に関する力覚センサ値を表している。そして、特定した時刻を作業状態の遷移の基準として、力覚センサ値及び手先位置の時系列のデータの遷移前の各時刻のデータに作業継続のラベルを付し、遷移後の各時刻のデータに作業完了のラベルを付す。
また、作業状態が作業継続から作業継続不可へ遷移した場合、図5右図中の破線に示すように、マニピュレータ52が動作を止めたタイミングを、作業状態が切り替わった時刻として特定する。マニピュレータ52が動作を止めたタイミングは、力覚センサ値が所定値以下となったタイミングとしてよい。これは、グリッパ56が副ワーク62と干渉することにより、力覚センサ値がなだらかに減少する現象に基づいて、マニピュレータ52が停止するタイミングを捉えたものである。そして、特定した時刻を作業状態の遷移の基準として、力覚センサ値及び手先位置の時系列のデータの遷移前の各時刻のデータに作業継続のラベルを付し、遷移後の各時刻のデータに作業継続不可のラベルを付す。
なお、上記のように学習データを生成した場合、作業継続のラベルが付与された学習データの数に比べ、作業完了及び作業継続不可の各々のラベルが付与された学習データの数が少なくなり、学習データの数に偏りが生じる。そこで、ラベル毎の学習データの数が同程度となるように、数の少ないラベルの学習データをコピーして増やしてもよい。これにより、過学習を防ぎ、汎化性能を損なわないようにすることができる。
取得部32は、学習データを取得した場合、取得した学習データを学習部34へ受け渡す。以下、作業状態が作業継続から作業完了へ遷移した場合における学習データを「正常系の学習データ」、作業状態が作業継続から作業継続不可へ遷移した場合における学習データを「異常系の学習データ」という。
また、取得部32は、判定制御処理時において、力覚センサ54から出力された力覚センサ値、及びマニピュレータ52から出力された関節角値を取得する。取得部32は、取得した関節角値、及びマニピュレータ52のキネマティクス情報に基づく行列演算により、手先位置を演算する。取得部32は、取得した力覚センサ値と、演算した手先位置とを対応付けて対象データとし、判定部38へ受け渡す。
学習部34は、取得部32から受け渡された学習データを用いて、マニピュレータ52の作業状態を判定する判定器36のパラメータの学習を実行する。判定器36は、例えば、DNN(Deep Neural Network)で構成してよい。本実施形態では、時系列データを対象としたRNN(Recurrent Neural Network)により判定器36を構成する場合について説明する。
図6に、判定器36の一例を示す。図6の例では、判定器36は、正常系の作業状態の特徴が抽出される第1判定器36Aと、異常系の作業状態の特徴が抽出される第2判定器36Bとが結合されている。判定器36は、入力層、中間層、及び出力層を含む。入力層の各ニューロンへは、学習データの各時刻のベクトル値xi
(t)が入力される。iは、第1判定器36Aと第2判定器36Bとを識別するための番号であり、i=1は第1判定器36A、i=2は第2判定器36Bを表す。また、xi
(t)は、時刻tの力覚センサ値であるベクトル値F(t)と手先位置のベクトル値P(t)とを結合したベクトル値である。tは、1,2,・・・,Tiである。
中間層の各ニューロンへは、対応する入力層の各ニューロンから出力される値に重み付けがされた値が入力される。また、中間層の各ニューロンへは、1時刻前の中間層のニューロンから出力される値に重み付けされた値が入力される。中間層の各ニューロンは、入力された値に活性化関数を適用した値を、1時刻後の中間層のニューロンへ出力する。例えば、中間層の各ニューロンは、下記のようなベクトル値hi
(t)を出力してよい。
hi (1)=tanh(bi+Uixi (1))
hi (t)=tanh(bi+Wihi (t-1)+Uixi (t))
i∈[1;2],t∈[2;Ti]
hi (1)=tanh(bi+Uixi (1))
hi (t)=tanh(bi+Wihi (t-1)+Uixi (t))
i∈[1;2],t∈[2;Ti]
Uiは、入力層の各ニューロンから出力される値に掛かる重みを表すパラメータであり、Wiは、1時刻前の中間層の各ニューロンから出力される値に掛かる重みを表すパラメータである。また、tanhは、活性化関数の一例であり、biは、バイアスを表すパラメータである。第1判定器36Aの中間層の出力h1
(T_1)は、時刻t=1~t=T1における力覚センサ値及び手先位置を特徴量化したベクトル値である。また、第2判定器36Bの中間層の出力h2
(T_2)は、時刻t=1~t=T2における力覚センサ値及び手先位置を特徴量化したベクトル値である。
出力層は、例えば、下記に示すように、第1判定器36Aからの出力と、第2判定器36Bからの出力とを結合し、判定結果を出力する。
o=c+V1h1 (T_1)+V2h2 (T_2)
y^=softmax(o)
Viは、t=Tiの中間層のニューロンからの出力hi (T_i)に係る重みであり、cは、パラメータ、softmaxは、活性化関数の一例である。y^(図6では、「y」の上に「^(ハット)」)は、作業状態の判定結果であり、現在の作業状態が作業完了である確率、作業継続不可である確率、及び作業継続である確率を表す3次元のベクトルである。なお、出力層は、確率が最も大きい作業状態を判定結果として出力するようにしてもよい。
o=c+V1h1 (T_1)+V2h2 (T_2)
y^=softmax(o)
Viは、t=Tiの中間層のニューロンからの出力hi (T_i)に係る重みであり、cは、パラメータ、softmaxは、活性化関数の一例である。y^(図6では、「y」の上に「^(ハット)」)は、作業状態の判定結果であり、現在の作業状態が作業完了である確率、作業継続不可である確率、及び作業継続である確率を表す3次元のベクトルである。なお、出力層は、確率が最も大きい作業状態を判定結果として出力するようにしてもよい。
ここで、第1判定器36A及び第2判定器36Bの各々に入力されるデータの時間幅Ti(i∈[1;2])について説明する。上述したように、作業状態が作業継続から作業完了へ遷移する場合、図5左図に示すように、作業状態の切り替わり時に、力覚センサ値に過渡応答を示す波形が発生する。したがって、T1としては、判定したい状態を意味付ける特徴的な過渡応答の波形の時間幅を設定することが好ましい。一方、作業状態が作業継続から作業継続不可へ遷移する場合、グリッパ56と副ワーク62との干渉が発生することにより、図5右図に示すように、力覚センサ値のなだらかな減少を示す波形が発生する。したがって、T2としては、このなだらかな波形の変化を捉えることができる、T1よりも長い時間幅を設定することが好ましい。このように、正常系及び異常系の各々の特徴に応じた適切な時間幅を判定器36に設定することにより、学習データの数を比較的少なくすることができる。
学習部34は、取得部32から受け渡された学習データを用いて、上述したような判定器36の学習を実行することにより、判定器36のパラメータを決定する。具体的には、学習部34は、まず、T1及びT2を決定する。例えば、学習部34は、学習データに基づいて、ユーザにより指定されたT1及びT2を受け付けることにより、T1及びT2を決定してよい。また、学習部34は、T1及びT2の各々を、時間幅を所定値ずつ変更させながら学習を実行することにより、最も精度の良い出力が得られるT1及びT2を決定してもよい。
学習部34は、決定したT1及びT2を第1判定器36A及び第2判定器36Bにそれぞれ設定すると共に、中間層の出力hi
(T-i)に、下記に示すような仮の出力層を追加する。
oi=ci+Vihi (T_i)
yi^=softmax(oi) ,i∈[1;2]
oi=ci+Vihi (T_i)
yi^=softmax(oi) ,i∈[1;2]
学習部34は、仮の出力層を追加した第1判定器36Aに、正常系の学習データを入力し、仮の出力層を追加した第2判定器36Bに、異常系の学習データを入力する。そして、学習部34は、出力値yi^と学習データに付与されたラベルとの差異(例えば、交差エントロピー等)を最小化するように、判定器36の入力層及び中間層に含まれるパラメータUi、Wi、及びbiを決定する。
さらに、学習部34は、上述のように決定したTi、Ui、Wi、及びbiを固定した上で、判定器36に学習データを入力する。そして、学習部34は、出力値y^と学習データに付与されたラベルとの差異(例えば、交差エントロピー等)を最小化するように、出力層に含まれるパラメータVi及びcを決定する。なお、ここで判定器36に入力される学習データは、入力層及び中間層のパラメータを決定した際に用いた学習データとは異なる学習データであってよい。また、入力層及び中間層のパラメータを決定した際に用いた正常系の学習データと異常系の学習データとをランダムに混ぜて用いてもよい。
学習部34は、上記のようにパラメータTi、Ui、Wi、bi、Vi、及びcが決定された判定器36を所定の記憶領域に記憶する。
判定部38は、取得部32から受け渡された対象データを判定器36に入力して、現在の作業状態を判定し、判定結果を制御部40へ受け渡す。
制御部40は、判定部38から受け渡された判定結果が示す作業状態に基づいて、マニピュレータ52の行動を決定する。例えば、制御部40は、予め定められた、作業状態に応じたマニピュレータ52の行動ルールに基づいて、行動を決定してよい。行動ルールとしては、例えば、作業状態が作業完了の場合には、初期姿勢に戻る、作業状態が作業継続不可の場合には、主ワーク60を持ち替える等を定めておいてよい。制御部40は、決定した行動に応じた動作をマニピュレータ52に実行させるための制御情報を生成する。制御情報は、具体的には、決定された行動におけるマニピュレータ52の姿勢を実現するための各関節の回転角度である。制御部40は、生成した制御情報をマニピュレータ52へ出力する。
次に、本実施形態に係るロボットシステム100の作用について説明する。
作業状態判定装置10に学習データが入力され、判定器36の学習が指示されると、作業状態判定装置10において、学習処理が実行される。そして、学習が実行された判定器36が所定の記憶領域に記憶された状態で、マニピュレータ52による作業が開始されると、作業状態判定装置10において、判定制御処理が実行される。学習処理及び判定制御処理は、開示の技術の「作業状態判定方法」の一例である。
図7は、作業状態判定装置10のCPU12により実行される学習処理の流れを示すフローチャートである。CPU12が記憶装置16から作業状態判定プログラムを読み出して、メモリ14に展開して、学習処理に関するプロセスを実行することにより、CPU12が作業状態判定装置10の各機能構成として機能し、図7に示す学習処理が実行される。
ステップS10で、取得部32が、作業状態判定装置10に入力された、正常系及び異常系を含む学習データを取得し、学習部34へ受け渡す。次に、ステップS12で、学習部34が、ユーザからT1及びT2を受け付けるなどして、第1判定器36Aの時間幅T1、及び第2判定器36Bの時間幅T2を決定する。
次に、ステップS14で、学習部34が、決定したT1及びT2を第1判定器36A及び第2判定器36Bにそれぞれ設定すると共に、中間層の出力hi
(T-i)に仮の出力層を追加する。また、学習部34が、仮の出力層を追加した第1判定器36Aに、正常系の学習データを入力し、仮の出力層を追加した第2判定器36Bに、異常系の学習データを入力する。そして、学習部34が、仮の出力層からの出力値と学習データに付与されたラベルとの差異を最小化するように、判定器36の入力層及び中間層に含まれるパラメータUi、Wi、及びbi(i∈[1;2])を決定する。
次に、ステップS16で、学習部34が、上記ステップS12及びS14で決定したTi、Ui、Wi、及びbiを固定した上で、判定器36に学習データを入力する。そして、学習部34が、出力層からの出力値と学習データに付与されたラベルとの差異を最小化するように、出力層に含まれるパラメータVi及びcを決定する。
次に、ステップS18で、学習部34が、上記ステップS12~S16でパラメータTi、Ui、Wi、bi、Vi、及びcが決定された判定器36を所定の記憶領域に記憶し、学習処理は終了する。
図8は、作業状態判定装置10のCPU12により実行される判定制御処理の流れを示すフローチャートである。CPU12が記憶装置16から作業状態判定プログラムを読み出して、メモリ14に展開して、判定制御処理に関するプロセスを実行することにより、CPU12が作業状態判定装置10の各機能構成として機能し、図8に示す判定制御処理が実行される。
ステップS20で、取得部32が、力覚センサ54から出力された力覚センサ値、及びマニピュレータ52から出力された関節角値を取得する。次に、ステップS22で、取得部32が、取得した関節角値、及びマニピュレータ52のキネマティクス情報に基づく行列演算により、手先位置を演算する。
次に、ステップS24で、取得部32が、上記ステップS20で取得した力覚センサ値と、上記ステップS22で演算した手先位置とを対応付けて対象データとし、判定部38へ受け渡す。判定部38が、判定器36の入力層の各ニューロンに入力されているベクトル値xi
(t)を1時刻前のニューロンへ移行させると共に、取得部32から受け渡された対象データをxi
(t)に対応する入力層のニューロンへ入力する。そして、判定部38が、判定器36の出力層からの出力値に基づいて、現在の作業状態を判定し、判定結果を制御部40へ受け渡す。
次に、ステップS26で、制御部40が、判定部38から受け渡された判定結果が示す作業状態に基づいて、マニピュレータ52の行動を決定する。次に、ステップS28で、制御部40が、決定した行動に応じた動作をマニピュレータ52に実行させるための制御情報を生成し、マニピュレータ52へ出力する。そして、判定制御処理は終了する。
以上説明したように、本実施形態に係るロボットシステムでは、作業状態判定装置が、マニピュレータのグリッパについて、力覚センサ値及び手先位置を取得する。そして、力覚センサ値及び手先位置を、正常系の作業状態の特徴を抽出する第1判定器と、異常系の作業状態の特徴を抽出する第2判定器とが結合され、マニピュレータの作業状態を判定する判定器に入力する。作業状態判定装置は、判定器の出力値に基づいて、作業状態が、作業完了、作業継続、及び作業継続不可の何れであるかを判定し、判定結果に基づいて、マニピュレータを制御する。これにより、正常系及び異常系を含む作業状態を判定することができる。
また、本実施形態によれば、作業継続不可の作業状態も判定できることにより、様々なワークを対象とした組立作業を対象とした場合でも、ワークを持ち替える等の動作を自動で実行させるなど、ロボットシステムによる作業の自動化を促進することができる。また、本実施形態によれば、ユーザは、対象のワーク毎に力覚センサ値の閾値を設定する等の特徴エンジニアリングから解放されるため、自動組み立ての生産ラインの立ち上げの負担を軽減することができる。
また、本実施形態によれば、正常系及び異常系のそれぞれにおける力覚センサ値の波形が、判定器の学習に用いた学習データと類似する場合には、学習時に用いたワークとは異なるワークを対象とした作業に対しても、精度良く作業状態を判定することができる。例えば、4ピンタイプの車載コネクタの挿入組立作業時の力覚センサ値を学習データとして用いて学習した判定器を用いて、未学習の9ピンタイプの車載コネクタの挿入組立作業の作業状態を判定することができる。
また、第1判定器に入力されるデータの時間幅より、第2判定器に入力されるデータの時間幅の方を長くすることで、正常系及び異常系のデータの特徴を捉え、精度良く作業状態を判定することができる。
なお、上記実施形態では、判定器に入力するデータとして、力覚センサ値及び手先位置を用いる場合について説明したが、手先位置は必須ではなく、少なくとも力覚センサ値を入力として用いればよい。
また、力覚センサ値及び手先位置の両方を用いる場合において、力覚センサ値と手先位置との論理積(AND)、又は論理和(OR)で判定を行うようにしてもよい。作業継続か作業完了かを判定する第1判定器においては、作業未完了品を完了と誤判定した場合の不良品の発生を抑制するために、AND判定を行うことが望ましい。また、作業継続か作業継続不可かを判定する第2判定器においては、作業の内容や、作業継続不可時の対処方法等に応じて、AND判定とするか、OR判定とするかを設定するようにしてもよい。このようなAND判定又はOR判定を行うためには、AND条件又はOR条件に従ってラベルを付与した学習データを用いて判定器の学習を実行すればよい。力覚センサ値と手先位置とのAND条件に対してラベルを付与した学習データを用いた場合には、AND判定を実現する判定器となり、OR条件に対してラベルを付与した学習データを用いた場合には、OR判定を実現する判定器となる。
また、学習データとして、力覚センサやマニピュレータから実際に取得されたデータ(元の学習データ)に加え、乱数を用いて疑似的に生成した学習データを用いてもよい。具体的には、センサノイズや力覚センサ値のスケールなど、現場で発生し得るデータのバラつき要素から乱数を決定し、決定した乱数に基づいて疑似的な学習データを生成する。例えば、図9に示すように、元の学習データである力覚センサ値を、発生させた乱数を乗算するなどしてスケール変換して、疑似的な学習データを生成してよい。このように生成した疑似的な学習データを元の学習データに追加して学習を実行することにより、より少数な現場の学習データを用いて精度良い判定器を学習することができる。
また、上記実施形態では、各機能構成を1つのコンピュータで実現する場合について説明したが、これに限定されない。例えば、取得部、学習部、及び判定部を含む作業状態判定装置と、制御部を含む制御装置とをそれぞれ異なるコンピュータで実現してもよい。さらに、作業状態判定装置についても、取得部及び学習部を含む学習装置と、取得部及び判定部を含む判定装置とをそれぞれ異なるコンピュータで実現してもよい。
また、上記実施形態でCPUがソフトウェア(プログラム)を読み込んで実行した学習処理及び判定制御処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、学習処理及び判定制御処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態では、作業状態判定プログラムが記憶装置に予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM、DVD-ROM、ブルーレイディスク、USBメモリ等の記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
本実施形態は、コネクタの挿入やフタ部品の嵌め込みなど、自動挿入や嵌め合い作業を実行する機能を有する産業用ロボット、サービスロボット等に適用可能である。
10 作業状態判定装置
12 CPU
14 メモリ
16 記憶装置
18 入力装置
20 出力装置
22 記憶媒体読取装置
24 通信I/F
26 バス
32 取得部
34 学習部
36 判定器
36A 第1判定器
36B 第2判定器
38 判定部
40 制御部
50 ロボット部
52 マニピュレータ
54 力覚センサ
56 グリッパ
60 主ワーク
62 副ワーク
100 ロボットシステム
12 CPU
14 メモリ
16 記憶装置
18 入力装置
20 出力装置
22 記憶媒体読取装置
24 通信I/F
26 バス
32 取得部
34 学習部
36 判定器
36A 第1判定器
36B 第2判定器
38 判定部
40 制御部
50 ロボット部
52 マニピュレータ
54 力覚センサ
56 グリッパ
60 主ワーク
62 副ワーク
100 ロボットシステム
Claims (11)
- ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得する取得部と、
前記ロボットハンドの作業状態を判定する判定器であって、正常系の作業状態の特徴を抽出する第1判定器と、異常系の作業状態の特徴を抽出する第2判定器とが結合され、前記作業状態として、作業完了、作業継続、及び作業継続不可の3状態を出力する判定器に、前記取得部により取得されたデータを入力して、前記作業状態を判定する判定部と、
を含む作業状態判定装置。 - 前記判定器には、前記取得部により取得された時系列のデータが入力され、前記第1判定器に入力されるデータの時間幅より、前記第2判定器に入力されるデータの時間幅の方が長い請求項1に記載の作業状態判定装置。
- 前記第1判定器についての前記時間幅は、作業完了時に生じるデータの過渡応答に対応した時間幅であり、前記第2判定器についての前記時間幅は、異常が発生し、前記ロボットハンドの動作を停止させるまでの時間に対応した時間幅である請求項2に記載の作業状態判定装置。
- 前記第1判定器は、作業状態が作業継続から作業完了へ遷移した場合の時系列のデータの遷移前の各データに作業継続のラベルを付し、遷移後のデータに作業完了のラベルを付した学習データを用いて学習されており、前記第2判定器は、作業状態が作業継続から作業継続不可へ遷移した場合の時系列のデータの遷移前のデータに作業継続のラベルを付し、遷移後のデータに作業継続不可のラベルを付した学習データを用いて学習されている請求項1~請求項3のいずれか1項に記載の作業状態判定装置。
- 前記学習データを用いて、前記判定器の学習を実行する学習部を含む請求項4に記載の作業状態判定装置。
- 前記学習部は、前記学習データ及び乱数を用いて疑似的な学習データを生成し、前記学習データに前記疑似的な学習データを追加して、前記判定器の学習に用いる請求項5に記載の作業状態判定装置。
- 前記取得部は、さらに、前記ロボットハンドの手先部の位置を取得し、
前記判定部は、前記力覚センサにより検知されたデータと、前記手先部の位置とを前記判定器に入力して、前記作業状態を判定する
請求項1~請求項6のいずれか1項に記載の作業状態判定装置。 - 前記判定器は、前記第1判定器を構成する第1のニューラルネットワークと、前記第2判定器を構成する第2のニューラルネットワークとを含み、前記第1のニューラルネットワークの出力と、前記第2のニューラルネットワークの出力とを結合した結果を出力する請求項1~請求項7のいずれか1項に記載の作業状態判定装置。
- 前記判定部により判定された前記作業状態に基づいて、前記ロボットハンドの動作を制御する制御部を含む請求項1~請求項7のいずれか1項に記載の作業状態判定装置。
- 取得部が、ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得し、
判定部が、前記ロボットハンドの作業状態を判定する判定器であって、正常系の作業状態の特徴を抽出する第1判定器と、異常系の作業状態の特徴を抽出する第2判定器とが結合され、前記作業状態として、作業完了、作業継続、及び作業継続不可の3状態を出力する判定器に、前記取得部により取得されたデータを入力して、前記作業状態を判定する
作業状態判定方法。 - コンピュータを、
ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得する取得部、及び、
前記ロボットハンドの作業状態を判定する判定器であって、正常系の作業状態の特徴を抽出する第1判定器と、異常系の作業状態の特徴を抽出する第2判定器とが結合され、前記作業状態として、作業完了、作業継続、及び作業継続不可の3状態を出力する判定器に、前記取得部により取得されたデータを入力して、前記作業状態を判定する判定部
として機能させるための作業状態判定プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021081072A JP2022174984A (ja) | 2021-05-12 | 2021-05-12 | 作業状態判定装置、方法、及びプログラム |
CN202280033129.5A CN117279750A (zh) | 2021-05-12 | 2022-03-28 | 作业状态判定装置、方法以及程序 |
PCT/JP2022/015156 WO2022239545A1 (ja) | 2021-05-12 | 2022-03-28 | 作業状態判定装置、方法、及びプログラム |
EP22807250.0A EP4338899A1 (en) | 2021-05-12 | 2022-03-28 | Working state determination device, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021081072A JP2022174984A (ja) | 2021-05-12 | 2021-05-12 | 作業状態判定装置、方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022174984A true JP2022174984A (ja) | 2022-11-25 |
Family
ID=84028217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021081072A Pending JP2022174984A (ja) | 2021-05-12 | 2021-05-12 | 作業状態判定装置、方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4338899A1 (ja) |
JP (1) | JP2022174984A (ja) |
CN (1) | CN117279750A (ja) |
WO (1) | WO2022239545A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3855580B2 (ja) * | 2000-03-02 | 2006-12-13 | Kddi株式会社 | 並列ニューラルネットワーク装置 |
JP2004014682A (ja) * | 2002-06-05 | 2004-01-15 | Toshiba Ceramics Co Ltd | 基板搬送装置 |
JP5382359B2 (ja) | 2010-04-28 | 2014-01-08 | 株式会社安川電機 | ロボットシステム |
-
2021
- 2021-05-12 JP JP2021081072A patent/JP2022174984A/ja active Pending
-
2022
- 2022-03-28 CN CN202280033129.5A patent/CN117279750A/zh active Pending
- 2022-03-28 WO PCT/JP2022/015156 patent/WO2022239545A1/ja active Application Filing
- 2022-03-28 EP EP22807250.0A patent/EP4338899A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117279750A (zh) | 2023-12-22 |
WO2022239545A1 (ja) | 2022-11-17 |
EP4338899A1 (en) | 2024-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101818858B1 (ko) | 수동 안내-작동모드로의 로봇의 제어기의 전환 | |
Xiao et al. | An intelligent actuator fault reconstruction scheme for robotic manipulators | |
JP7052917B2 (ja) | ロボットハンド、ロボットハンド制御方法及びプログラム | |
Hamaya et al. | Learning robotic assembly tasks with lower dimensional systems by leveraging physical softness and environmental constraints | |
CN112365004B (zh) | 一种机器人自主异常修复技能学习方法及*** | |
JP2022163719A (ja) | 対象物を挿入部に挿入するようにロボットを制御するための装置及び方法 | |
JP5593899B2 (ja) | ロボットによるバリ除去方法 | |
WO2023037634A1 (ja) | 指令値生成装置、方法、及びプログラム | |
JP2013031913A (ja) | ステージクラス化を用いた器用なロボットの実行シーケンスを制御するための方法およびシステム | |
Wirnshofer et al. | State estimation in contact-rich manipulation | |
WO2022239545A1 (ja) | 作業状態判定装置、方法、及びプログラム | |
WO2021075379A1 (ja) | 回避軌道生成装置、方法、及びプログラム | |
CN114080304B (zh) | 控制装置、控制方法及控制程序 | |
JP7168011B2 (ja) | 動作モデル算出装置、制御装置、関節機構、動作モデル算出方法、プログラム | |
Park et al. | Quantitative evaluation of an intuitive teaching method for industrial robot using a force/moment direction sensor | |
EP3939752A1 (en) | Robot control device, method, and program | |
JP2020192614A (ja) | ロボット装置及び把持方法 | |
Dutre et al. | Contact identification and monitoring based on energy | |
Nemec et al. | Learning of exception strategies in assembly tasks | |
CN113386127B (zh) | 干涉判断装置及方法、存储介质 | |
JP7423943B2 (ja) | 制御方法およびロボットシステム | |
JP7290439B2 (ja) | 嵌合作業装置 | |
JPH07223181A (ja) | マニピュレータの干渉チェック装置 | |
Chung et al. | Discrete event systems approach to fixtureless peg-in-hole assembly | |
Sacchi et al. | A configuration space reference generation approach for real-time collision avoidance of industrial robot manipulators |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240318 |