JP6587761B2 - 位置制御装置及び位置制御方法 - Google Patents
位置制御装置及び位置制御方法 Download PDFInfo
- Publication number
- JP6587761B2 JP6587761B2 JP2018566706A JP2018566706A JP6587761B2 JP 6587761 B2 JP6587761 B2 JP 6587761B2 JP 2018566706 A JP2018566706 A JP 2018566706A JP 2018566706 A JP2018566706 A JP 2018566706A JP 6587761 B2 JP6587761 B2 JP 6587761B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- thing
- unit
- control amount
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
- G05D3/20—Control of position or direction using feedback using a digital comparing device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39271—Ann artificial neural network, ffw-nn, feedforward neural network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Manipulator (AREA)
- Control Of Position Or Direction (AREA)
Description
以下、この発明の実施の形態について説明する。
図2において、図1における単眼カメラ102の機能であり、画像を撮影する撮像部201と、撮像された画像を用いてロボットアーム100の位置の制御量を生成する制御パラメータ生成部202と、位置の制御量を用いてロボットアーム100の駆動部204に対し、電流・電圧値を制御する制御部203と、制御部203から出力された電流・電圧値に基づいてロボットアーム100の位置を変更する駆動部204から構成されている。
制御部203は、受け取ったロボットアーム100の位置(X、Y、Z、Ax、Ay、Az)の値に対する制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)に基づいて駆動部204を構成する各デバイスに対する電流・電圧値を決定し制御する。
駆動部204は、制御部203から受けた各デバイスに対する電流・電圧値で動作することで、ロボットアーム100が(X+ΔX、Y+ΔY、Z+ΔZ、Ax+ΔAx、Ay+ΔAy、Az+ΔAz)の位置まで移動する。
単眼カメラ102は、入出力インターフェース301を経由してプロセッサ302、メモリ303に、有線無線に関わらず通信可能に接続される。入出力インターフェース301、プロセッサ302、メモリ303で図2における制御パラメータ生成部202の機能を構成する。入出力インターフェース301はまた、制御部203に対応する制御回路304と有線無線に関わらず通信可能に接続される。制御回路304はまた、電気的にモータ305と接続される。モータ305は、図2における駆動部204に対応し、各デバイスの位置を制御するための部品として構成される。尚、本実施の形態において、駆動部204に対応するハードウエアの形態としてモータ305としたが、位置を制御できるハードウエアであればよい。したがって、単眼カメラ102と入出力インターフェース301間、入出力インターフェース301と制御回路304間は別体として構成されていてもよい。
図4は、実施の形態1における位置制御装置の位置制御におけるフローチャートである。
まず、ステップS101において、ロボットアーム100の把持部101は、オス側コネクタ110を把持する。このオス側コネクタ110の位置や姿勢は図2の制御部203側で事前に登録されており、あらかじめ制御部203側に登録された制御プログラムに基づいて動作される。
次に、ステップS103において、制御パラメータ生成部202は単眼カメラ102の撮像部201に対し、画像を撮像するよう指示し、単眼カメラ102は、把持部101が把持しているオス側コネクタ110と、挿入先となるメス側コネクタ120とが両方映っている画像を撮像する。
制御量のいずれかの成分が閾値より大きければ、ステップS106において、制御部203は、制御パラメータ生成部202が出力した制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)を用いて駆動部204を制御し、ステップS103へ戻る。
ニューラルネットワークを用いた制御量の計算を行う前に、事前準備として、ニューラルネットワークによって入力画像から嵌合成功までの移動量が算出できるようにするため、事前に、画像と必要な移動量のセットを集める。例えば、位置が既知である嵌合状態のオス側コネクタ110とメス側コネクタ120に対し、ロボットアーム100の把持部101でオス側コネクタ110を把持する。そして、既知の引き抜き方向に把持部101を動かしながら挿入開始位置まで動かすとともに、単眼カメラ102で複数枚画像を取得する。また、挿入開始位置を制御量(0,0,0,0,0,0)として嵌合状態から挿入開始までの移動量だけではなく、その周辺の移動量、すなわち制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)とそれに対応する画像も取得する。
図5は、実施の形態1における単眼カメラ102が撮影した挿入開始位置とその周辺付近でのカメラ画像と制御量を示す図の例である。
ニューラルネットワークにはCNNやRNNなど色々な形態が存在するが、本発明はその形態に依存せず、任意の形態を使用することができる。
入力層には、単眼カメラ102から得られた画像(例えば各ピクセルの輝度、色差の値)が入力され、出力層は制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)が出力される。
ニューラルネットワークの学習過程において、入力された画像から中間層を経て得られた出力層の出力値が画像セットで記憶された制御量に近似させるために中間層のパラメータを最適化させることが行われる。その近似方法として確率的勾配法等がある。
また、図5においては、オス側コネクタ110は単眼カメラ102に対して位置が固定であり、メス側コネクタ120のみの位置が変化した場合について示しているが、実際は、ロボットアーム100の把持部101が、正確な位置でオス側コネクタ110を把持するわけではなく、個体差等によって、オス側コネクタ110の位置がずれた場合も存在する。したがって、この学習の過程においてオス側コネクタ110が正確な位置からずれた場合の挿入開始位置とその付近の位置の複数の制御量と画像のセットを取得して学習することで、オス側コネクタ110とメス側コネクタ120の両方の個体差に対応できた学習が行われる。
ステップS101において、ロボットアーム100がオス側コネクタ110を把持するために、事前に登録した動作通りオス側コネクタ110を把持し、ステップS102において、メス側コネクタ120はほぼ上まで移動される。
また、必ずしも基板への挿入に限った話ではなく、画像と制御量の関係から制御量を求める位置制御全般に利用できる。この発明においては、ニューラルネットワークを用いて画像と制御量との関係を学習させることで、モノとモノとの位置合わせを行う際の各々の個体差を吸収できるというメリットがある。
図7は、実施の形態1におけるニューラルネットワークにおいて、複数のネットワークをもちいたフローチャートである。図4のステップS104の詳細ステップを示している。複数のパラメータは図2の制御パラメータ生成部に含まれている。
ループ回数が1回目または得られた制御量が25mm以上の場合はニューラルネットワーク1を選択してステップS702に進む。また、ループ回数が2回目以降で得られた制御量が5mm以上25mm未満の場合はニューラルネットワーク2を選択してステップS703に進む。さらにループ回数が2回目以降で得られた制御量が5mm未満の場合はニューラルネットワーク3を選択してステップS704に進む。ステップS702〜ステップS704において選択されたニューラルネットワークを用いて制御量を算出する。
例えば、各ニューラルネットワークはオス側コネクタ110とメス側コネクタ120の距離もしくは制御量に応じて学習されており、図中のニューラルネットワーク3は誤差が±1mm、±1度の範囲内の学習データを、ニューラルネットワーク2は±1〜±10mm、±1〜±5度の範囲の学習データを、と段階的に学習するデータの範囲をかえている。ここで各ニューラルネットワークにおいて使用する画像の範囲をオーバーラップさせない方が効率的である。
また、この図7では3つの例を示しているが、ネットワークの数は特に制限がない。このような方式を用いる場合には、どのネットワークを使用するのかを決めるステップS701の判別機能を「ネットワーク選択スイッチ」として用意する必要がある。
このネットワーク選択スイッチは、ニューラルネットワークでも構成できる。この場合、入力層への入力画像、出力層の出力はネットワーク番号になる。画像データは、全てのネットワークで使用している画像、ネットワーク番号のペアを使用する。
また、複数のニューラルネットワークを用いた例についても必ずしも基板への挿入に限った話ではなく、画像と制御量の関係から制御量を求める位置制御全般に利用できる。この発明においては、ニューラルネットワークを用いて画像と制御量との関係を学習させることで、モノとモノとの位置合わせを行う際の各々の個体差を吸収できるというメリットがあり、より、精度よく制御量を算出できる。
実施の形態1においては、位置が既知である嵌合状態のオス側コネクタ110とメス側コネクタ120に対し、ロボットアーム100の把持部101でオス側コネクタ110を把持する。そして、既知の引き抜き方向に把持部101を動かしながら挿入開始位置まで動かすとともに、単眼カメラ102で複数枚画像を取得していた。実施の形態2においては、オス側コネクタ110とメス側コネクタ120の嵌合位置が未知であった場合について説明する。
この試行回数を減らす手法として、強化学習の中で方策オン(on policy)と呼ばれる枠組みが一般的に用いられている。しかしながら、この枠組みをロボットアームのティーチングに応用するには、ロボットアームや制御信号に特化した様々な工夫を行う必要があるため困難であり、実用化までには至っていない。
実施の形態2では、実施の形態1におけるようなロボットが様々な動作を試行錯誤的に行い、良い結果を出した行動を記憶しながら結果として行動を最適化のための大量な試行回数を軽減することができる形態について説明する。
全体のハードウエア構成としては実施の形態1の図1と同じであるが、ロボットアーム100には把持部101にかかる負荷を計測する力覚センサ801(図1には図示していない)が付加されている点が異なる。
図9は、実施の形態2における位置制御装置のハードウエア構成図である。図3と異なるのは、力覚センサ801が入出力インターフェース301と電気的または通信可能に接続されている点のみである。また、入出力インターフェース301、プロセッサ302、メモリ303は、図8の制御パラメータ生成部202の機能を構成するとともに、経路決定部802の機能も構成する。したがって力覚センサ801と単眼カメラ102と入出力インターフェース301間、入出力インターフェース301と制御回路304間は別体として構成されていてもよい。
力覚センサ801は、ロボットアーム100の把持部101にかかる負荷を計測するものであり、例えば図1でいうオス側コネクタ110とメス側コネクタ120が当接した場合の力の値を計測できるものである。
Critic部803及びActor部804は、従来の強化学習でいう、Critic部、Actor部と同じである。
ここで従来の強化学習手法について説明する。本実施例では強化学習の中でもActor-Criticモデルと呼ばれるモデルを使用している(参考文献:強化学習 : R.S.Sutton and A.G.Barto 2000年12月出版)。Actor部804、Critic部803は環境の状態を撮像部201や力覚センサ801を通じて取得している。Actor部804は、センサデバイスを用いて取得した環境状態Iを入力とし、ロボットコントローラへ制御量Aを出力する関数である。Critic部803はActor部804に嵌合が適切に成功するよう、入力Iに対してActor部804が出力Aを適切に学習するための機構である。
以下、従来の強化学習手法の方式に関して記載する。
V(I)の更新式は以下で定義される。
ここで、δは予測誤差、αは学習係数であり0 〜 1までの正の実数、γは割引率であり0〜 1までの正の実数である。
Actor部804は入力をI、出力をA(I)とし以下の通り、A(I)が更新される。
δ>0の時
ここで、σは出力の標準偏差の値を示し、Actorは状態Iにおいて、A(I)に平均0、分散をσ2とした分布を持つ乱数を加算する。すなわち、試行の結果いかんにかかわらず、ランダムに2回目の移動補正量が決定されるようなものである。
なお、上記の更新式を一例として用いているが、Actor-Criticモデルも様々な更新式があり、上記にとらわれず一般的に使用されているモデルであれば変更が可能である。
すなわち、Actor-Criticの従来のモデルでは、嵌合が成功した時にR = 1, そうでない時はR = 0と定義されるため、嵌合が成功した時に初めて学習が行われ、かつ嵌合が成功するまでは、試行に用いられる移動補正量はランダムに与えられるため、試行の失敗度合に応じた次の試行のための移動補正量の決定は行われない。これは、Actor-Criticの従来のモデルだけでなく、Q−Learningなど他の強化学習モデルを用いても嵌合の成功と失敗そのものしか評価しないため、同様な結果となる。本発明の本実施の形態においては、この失敗度合を評価して次の試行のための移動補正量の決定するプロセスについて説明する。
図10は、実施の形態2におけるオス側コネクタ110とメス側コネクタ120との嵌合の試行の様子を示す図である。
例えば図10(A)のような画像が試行の結果として手に入ったとする。この試行では、コネクタの嵌めあい位置が大きくずれるため失敗している。この時にどの程度成功に近いのかを計測し数値化し、成功度合を示す評価値を求める。数値化の方法として、例えば図10(B)のように、画像中にて挿入先側のコネクタ表面積(ピクセル数)を計算する方法がある。この方法では、オス側コネクタ110とメス側コネクタ120の挿入失敗を、ロボットアーム100の力覚センサ801によって検知した時にメス側コネクタ120嵌合面の表面のみ他の背景とは異なる色を塗布、あるいはシールを貼ってあることによって、画像からのデータ取得と計算がより簡易になる。また、これまで述べた方法はカメラの数が一台の場合だが、複数台のカメラを並べ撮影し、撮影されたそれぞれの画像を用いた結果を総合しても構わない。 また、コネクタ表面積以外にも2次元方向(例えばX,Y方向)のピクセル数等を取得しても同様なことが評価できる。
第一ステップでは、評価部805にて処理された評価結果とロボットが実施に動いた動きを学習する。ロボットの移動補正量をA、評価部805にて処理された成功度合を示す評価値をEとした時、経路設定部806はAを入力とし、Eを出力とする関数を用意し、近似する。関数としては一例としてRBF (Radial Basis Function)ネットワークが挙げられる。RBFは、様々な未知な関数を簡単に近似することが可能な関数として知られている。
例えば、k番目の入力
要するに、上記事例を具体的に説明すると、失敗した時の移動補正量に対する表面積や2次元方向のピクセル数を評価値として試行回数ごとに時系列に並べてその並びの値を用いて最適解を求めるものである。もっとシンプルに2次元方向のピクセル数を減少させる方向に一定割合で移動させた移動補正量を求めてもよい。
図11は、実施の形態2における位置制御装置の経路学習におけるフローチャートである。
まず、ステップS1101において、ロボットアーム100の把持部101は、オス側コネクタ110を把持する。このオス側コネクタ110の位置や姿勢は図8の制御部203側で事前に登録されており、あらかじめ制御部203側に登録された制御プログラムに基づいて動作される。
次にステップS1105において、駆動部204によってロボットアーム100を移動中にコネクタ同士が接触した場合には移動量の単位量ごとに力覚センサ801の値と、単眼カメラ102からの画像を経路決定部802の評価部805とCritic部803が記憶する。
通常、この時点では嵌合が成功しない。そのため、ステップS1108において評価部805は、成功度合を図10で説明した方法で評価し、位置合わせに対する成功度合を示す評価値を経路設定部806に与える。
そして、ステップS1109において、経路設定部806は、上述した方法を用いて学習を行い、経路設定部806は、次の推奨値をActor部804に与えるとともに、Critic部803が報酬量に応じて求めた値を出力し、Actor部804が受信する。ステップS1110において、Actor部804は、Critic部803が出力した報酬量に応じて求めた値と経路設定部806が出力した次の推奨値を加算して移動補正量を求める。尚、このステップにおいて、経路設定部806が出力した次の推奨値を用いるだけで十分な効果がある場合には、Critic部803が出力した報酬量に応じて求めた値を加算する必要がないことは言うまでもない。また、Actor部804は、移動補正量を求めるために、Critic部803が出力した報酬量に応じて求めた値と経路設定部806が出力した次の推奨値の加算比率を設定し、加算比率に応じて変更してもよい。
その後、再度、ステップS1103に戻り、移動補正量によって移動された位置で画像を撮影し、嵌合動作を行う。これを成功するまで繰り返す。
嵌合が成功した場合、ステップS1107において、嵌合成功後は、嵌合成功した時のステップS1102からS1106までのIについてActor部804及びCritic部803の学習を行う。最後に経路決定部802は、この学習されたニューラルネットワークのデータを制御パラメータ生成部202に与えることで、実施の形態2における動作が可能となる。
関数近似としてRBFネットワークをあげたが、他の関数近似手法(線形、二次関数、など)を用いても構わない。
評価手法として、コネクタの表面に色違いにする手法をあげたが、他の画像処理技術によりコネクタ間のずれ量等を評価手法としても構わない。
また、必ずしも基板への挿入に限った話ではなく、画像と制御量の関係から制御量を求める位置制御全般に利用できる。この発明においては、ニューラルネットワークを用いて画像と制御量との関係を学習させることで、モノとモノとの位置合わせを行う際の各々の個体差を吸収できるというメリットがあり、より、精度よく制御量を算出できる。
a.の場合は、力覚センサ801の値と画像の両方を学習させる方法があり、詳細は実施の形態3に記載の方法を用いれば実施できる。
b.の場合も、力覚センサ801の値のみで学習する方法として実施の形態3に記載の方法を用いれば、実施できる。また、別の方法として、Actor-Criticモデルでの報酬Rの定義において、嵌合または挿入最中にかかった最大負荷をFとし、Aを正の定数とした時、成功時、R = (1-A/F), 失敗時 R = 0と定義しても同様の効果を奏することができる。
本実施の形態においては、実施の形態2において、位置合わせが成功した後に行う学習過程において効率的にデータを収集する方法について説明する。したがって特に説明しない場合については実施の形態2と同じものとする。すなわち、実施の形態3における位置制御装置の機能構成図は図8であり、ハードウエア構成図は図9となる。
まず、ステップS1201において、図11のステップS1107においてオス側コネクタ110とメス側コネクタ120の嵌合が成功した場合、経路設定部806は、変数をi=0, j =1, k =1 として初期化する。 変数iは、以降のロボットアーム100の学習回数、変数kは、オス側コネクタ110とメス側コネクタ120のとの嵌合が外れた時からの学習回数、変数jは図12のフローチャートのループ回数である。
ステップS1204において、経路設定部806はO(i)を中心に、ランダムに移動量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)を決定し、Actor部804を経由して制御部203に移動量を与え、駆動部204によってロボットアーム100を移動させる。この時、この移動量の最大量は、移動ができる範囲で任意に設定することができる。
規定数のデータが溜まったら、ステップS1209において、経路設定部806は、変数j を1にしたうえで、ステップS1210において、オス側コネクタ110とメス側コネクタ120のとの嵌合が外れたかを確認する。
ステップS1211において経路設定部806は、ロボットアーム100の座標を、移動量を与える前の座標O(i)に戻すようにActor部804を経由して制御部203に移動量を与え、駆動部204によってロボットアーム100を移動させる。
その後、ステップS1202からステップS1210までのループをオス側コネクタ110とメス側コネクタ120のとの嵌合が外れるまで、嵌合を行うために与えた移動量から1mmもしくは単位量戻す処理と、戻した位置を中心に移動量を与えて力覚センサ801のデータを収集する処理とを繰り返す。オス側コネクタ110とメス側コネクタ120のとの嵌合が外れた場合は、ステップS1212に進む。
次に、ステップS1214において、経路設定部806は、中心位置O(i+k)を中心に、再度、ランダムに移動量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)を決定した上で、Actor部804を経由して制御部203に移動量を与え、駆動部204によってロボットアーム100を移動させる。
ステップS1216において、Critic部803とActor部804は、移動量に−1を乗じた(-ΔX、-ΔY、-ΔZ、-ΔAx、-ΔAy、-ΔAz)と画像を1つの学習データとして記録する。
なお、S1204における移動量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)とS1204での移動量のランダム値の最大値は異なる値を取ることができる。
以上の方法で取得した学習データは、Actor部804及びCritic部803の学習を行う。
実施の形態1、2については、力覚センサ801のデータを用いた学習方法について記載していなかった。実施形態1と2は、入力層は画像のみであったのに対し、実施の形態3においては、入力層に画像に替えて力覚センサ801の値をいれればよい。力覚センサ801の値は、3つ(力と2方向のモーメント)の場合と、6つ(3方向と3方向モーメント)いずれでもよい。出力層は制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)が出力される。尚、オス側コネクタ110とメス側コネクタ120との嵌合が外れている場合には、入力層に画像と力覚センサ801の値が同時に入力されることとなる。
ニューラルネットワークの学習過程において、入力された画像及び力覚センサ801の値から中間層を経て得られた出力層の出力値が画像及び力覚センサ801の値とセットで記憶された制御量に近似させるために中間層のパラメータを最適化させることが行われ、学習されることとなる。
最後に経路決定部802は、この学習されたニューラルネットワークのデータを制御パラメータ生成部202に与えることで、実施の形態3における動作が可能となる。
しかしながら単眼カメラ102の画像が十分高精細でロボットアーム100を微小に周辺に移動させた画像であっても十分に学習可能である場合は、単眼カメラ102の画像のみで学習してもよいし、オス側コネクタ110とメス側コネクタ120とが嵌合している場合であっても単眼カメラ102の画像と力覚センサ801の値を両方用いてもよい。
また、必ずしも基板への挿入に限った話ではなく、画像と制御量の関係から制御量を求める位置制御全般に利用できる。この発明においては、ニューラルネットワークを用いて画像と制御量との関係を学習させることで、モノとモノとの位置合わせを行う際の各々の個体差を吸収できるというメリットがあり、より、精度よく制御量を算出できる。
101:把持部、
102:単眼カメラ
110:オス側コネクタ
120:メス側コネクタ
201:撮像部
202:制御パラメータ生成部
203:制御部
204:駆動部
301:入出力インターフェース
302:プロセッサ、
303:メモリ、
304:制御回路、
305:モータ、
801:力覚センサ
802:経路決定部
803:Critic部
804:Actor部
805:評価部
806:経路設定部
Claims (5)
- 第1のモノを駆動部により移動させて第2のモノに組み立てるための位置制御装置において、
前記第1のモノと前記第2のモノの二つのモノが存在する画像を撮像する単眼カメラの撮像部と、
前記撮像部により撮像された複数の画像の情報が入力層に入力され、前記入力層に入力された複数の画像それぞれとそれぞれが対応関係にある前記第1のモノを移動させる移動量である、確率的勾配法等の学習則に基づき得られた制御量が出力層に出力される複数のニューラルネットワークのうち、前記撮像部が画像を最初に取得した時、出力層に出力される制御量の大きさと、各ニューラルネットワークに設定された制御量の大きさを比較し、制御量がその大きさの範囲に入っているニューラルネットワークを選択し、前記選択したニューラルネットワークの出力層に出力された制御量を、前記撮像部から取得した画像に存在する前記第1のモノと前記第2のモノの二つのモノのうちの前記第1のモノを前記駆動部により移動させる制御量として出力し、前記撮像部が2回目以降に撮像した画像を取得した画像の情報を、前回取得した画像の情報を入力層に入力したニューラルネットワークの出力層に出力された制御量の大きさに基づいて前記複数のニューラルネットワークから一つのニューラルネットワークを選択し、当該選択したニューラルネットワークの入力層に入力し、当該選択したニューラルネットワークの出力層に出力された制御量を、前記撮像部から取得した画像に存在する前記第1のモノと前記第2のモノの二つのモノのうちの前記第1のモノを前記駆動部により移動させる制御量として出力する制御パラメータ生成部と、
を備えた位置制御装置。 - 前記制御パラメータ生成部から出力された制御量を用いて、前記駆動部に対する、前記第1のモノを移動させるための電流値または電圧値を制御する制御部を備える請求項1記載の位置制御装置。
- 試行時に、前記撮像部に撮像された画像の情報を入力とし、試行時最初の前記撮像部に撮像された画像の前記第1のモノの位置から、定義された報酬を最大化する移動補正量を、前記第1のモノを前記駆動部により移動させる移動制御量として出力し、前記撮像部が2回目以降に撮像した画像の前記第1のモノの位置から推奨値を用いて得られた移動補正量を、前記第1のモノを前記駆動部により移動させる移動制御量として出力するActor部と、
前記第1のモノを、前記Actor部から出力された移動制御量により移動させた時の前記第1のモノと前記第2のモノとの位置関係に基づく成功度合を示す評価値に基づいて推奨値を求め、求めた推奨値を前記Actor部への推奨値として与える経路設定部を備える請求項1または請求項2に記載の位置制御装置。 - 第1のモノを駆動部により移動させて第2のモノに組み立てるための位置制御方法であって、
単眼カメラの撮像部により最初に撮像された、前記第1のモノ及び前記第2のモノの二つのモノが存在する画像の情報を、出力層に出力される制御量の大きさの範囲が異なる複数のニューラルネットワークのうちの出力層に出力される制御量の大きさの範囲が一番大きいニューラルネットワークの入力層に入力し、
前記出力層に出力される制御量の大きさの範囲が一番大きいニューラルネットワークの入力層に入力された前記撮像部により最初に撮像された画像と対応関係にある前記第1のモノを移動させる移動量である、確率的勾配法等の学習則に基づき得られた、画像の情報との画像セットとされる制御量を前記撮像部により最初に撮像された画像に存在する前記第1のモノと前記第2のモノの二つのモノのうちの前記第1のモノを前記駆動部により移動させる制御量として前記出力層に出力される制御量の大きさの範囲が一番大きいニューラルネットワークの出力層に出力され、
前記撮像部により2回目以降に撮像された、前記第1のモノ及び前記第2のモノの二つのモノが存在する画像の情報を、前回前記撮像部により撮像された画像を入力層に入力したニューラルネットワークの出力層に出力された制御量の大きさに基づいて、前記複数のニューラルネットワークのうちから一つのニューラルネットワークを選択し、選択したニューラルネットワークの入力層に入力し、
前記選択したニューラルネットワークの入力層に入力された前記撮像部により撮像された画像と対応関係にある前記第1のモノを移動させる移動量である、確率的勾配法等の学習則に基づき得られた、画像の情報との画像セットとされる制御量を、前記撮像部により撮像された画像に存在する前記第1のモノと前記第2のモノの二つのモノのうちの前記第1のモノを前記駆動部により移動させる制御量として前記選択したニューラルネットワークの出力層に出力される位置制御方法。 - 第1のモノを駆動部により移動させて第2のモノに組み立てるための位置制御方法であって、
単眼カメラの撮像部により試行時最初に撮像された、前記第1のモノ及び前記第2のモノの二つのモノが存在する画像の情報の前記第1のモノの位置から、定義された報酬を最大化する移動補正量を、前記第1のモノを前記駆動部により移動させる移動制御量として求め、
前記第1のモノを当該求められた移動制御量により移動させた時の前記第1のモノと前記第2のモノとの位置関係に基づく成功度合を示す評価値に基づいて推奨値を求め、
当該求めた推奨値を用いて前記撮像部から試行時2回目に撮像した画像の前記第1のモノの位置からの移動補正量を、前記第1のモノを前記駆動部により移動させる移動制御量として求め、
前記撮像部が試行時3回目以降に撮像した時、前回に求められた移動制御量により前記第1のモノを移動させた時の前記第1のモノと前記第2のモノとの位置関係に基づく成功度合を示す評価値に基づいて推奨値を求め、当該求めた推奨値を用いて前記撮像部から試行時3回目以降に撮像した画像の前記第1のモノの位置からの移動補正量を、前記第1のモノを前記駆動部により移動させる移動制御量として求め、
前記撮像部により撮像された、前記第1のモノ及び前記第2のモノの二つのモノが存在する画像の情報を、前記求められた移動制御量に基づいて出力層に出力される制御量の大きさの範囲が異なる複数のニューラルネットワークから一つのニューラルネットワークを選択し、選択したニューラルネットワークの入力層に入力し、
前記選択したニューラルネットワークの入力層に入力された前記撮像部により撮像された画像と対応関係にある前記第1のモノを移動させる移動量である、確率的勾配法等の学習則に基づき得られた、画像の情報との画像セットとされる制御量を、前記撮像部により撮像された画像に存在する前記第1のモノと前記第2のモノの二つのモノのうちの前記第1のモノを前記駆動部により移動させる制御量として前記選択したニューラルネットワークの出力層に出力される位置制御方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/004732 WO2018146769A1 (ja) | 2017-02-09 | 2017-02-09 | 位置制御装置及び位置制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018146769A1 JPWO2018146769A1 (ja) | 2019-06-27 |
JP6587761B2 true JP6587761B2 (ja) | 2019-10-09 |
Family
ID=63107958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018566706A Active JP6587761B2 (ja) | 2017-02-09 | 2017-02-09 | 位置制御装置及び位置制御方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11440184B2 (ja) |
JP (1) | JP6587761B2 (ja) |
KR (1) | KR102113462B1 (ja) |
CN (1) | CN110268358B (ja) |
DE (1) | DE112017007025T5 (ja) |
TW (1) | TWI640851B (ja) |
WO (1) | WO2018146769A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10427305B2 (en) * | 2016-07-21 | 2019-10-01 | Autodesk, Inc. | Robotic camera control via motion capture |
JP6603257B2 (ja) * | 2017-03-31 | 2019-11-06 | ファナック株式会社 | 行動情報学習装置、管理装置、ロボット制御システム及び行動情報学習方法 |
CN107292392B (zh) * | 2017-05-11 | 2019-11-22 | 苏州大学 | 基于深度带权双q学习的大范围监控方法及监控机器人 |
JP7020812B2 (ja) * | 2017-07-19 | 2022-02-16 | キヤノン株式会社 | ロボット装置、ロボット装置の制御方法、ロボット装置を用いた物品の組立方法、制御プログラムおよび記録媒体 |
US20210107142A1 (en) * | 2018-02-27 | 2021-04-15 | Siemens Aktiengesellschaft | Reinforcement learning for contact-rich tasks in automation systems |
DE102019122790B4 (de) * | 2018-08-24 | 2021-03-25 | Nvidia Corp. | Robotersteuerungssystem |
US11833681B2 (en) | 2018-08-24 | 2023-12-05 | Nvidia Corporation | Robotic control system |
US11685052B2 (en) * | 2018-09-18 | 2023-06-27 | Kinova Inc. | Vision guided robot arm and method for operating the same |
US11292133B2 (en) * | 2018-09-28 | 2022-04-05 | Intel Corporation | Methods and apparatus to train interdependent autonomous machines |
JP6699702B2 (ja) * | 2018-10-17 | 2020-05-27 | トヨタ自動車株式会社 | 内燃機関の制御装置及びその制御方法、並びに内燃機関を制御するための学習モデル及びその学習方法 |
JP6978454B2 (ja) * | 2019-02-22 | 2021-12-08 | ファナック株式会社 | 物体検出装置、制御装置及び物体検出用コンピュータプログラム |
JP7290439B2 (ja) * | 2019-03-25 | 2023-06-13 | Ntn株式会社 | 嵌合作業装置 |
DE102019205651B3 (de) * | 2019-04-18 | 2020-08-20 | Kuka Deutschland Gmbh | Verfahren und System zum Ausführen von Roboterapplikationen |
JP6941305B2 (ja) * | 2019-07-30 | 2021-09-29 | 株式会社安川電機 | 嵌合装置、嵌合方法及びプログラム |
WO2021118702A1 (en) | 2019-12-12 | 2021-06-17 | Mujin, Inc. | Method and computing system for performing motion planning based on image information generated by a camera |
WO2021176902A1 (ja) * | 2020-03-02 | 2021-09-10 | ソニーグループ株式会社 | 学習処理装置、ロボット制御装置、および方法、並びにプログラム |
JP7463777B2 (ja) * | 2020-03-13 | 2024-04-09 | オムロン株式会社 | 制御装置、学習装置、ロボットシステム、および方法 |
US20210352835A1 (en) * | 2020-05-05 | 2021-11-11 | Integrated Dynamics Engineering Gmbh | Method for processing substrates, in particular wafers, masks or flat panel displays, with a semi-conductor industry machine |
DE102020112149A1 (de) | 2020-05-05 | 2021-11-11 | Integrated Dynamics Engineering Gesellschaft mit beschränkter Haftung | Verfahren zur Kontrolle von Handlingsystemen |
DE102020113278B4 (de) | 2020-05-15 | 2024-07-25 | Gerhard Schubert Gesellschaft mit beschränkter Haftung | Verfahren zur Steuerung des Betriebs eines Industrieroboters, Industrieroboter und Anordnung zur Umsetzung von Objekten |
DE102020206913B4 (de) * | 2020-06-03 | 2022-12-22 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zum Betreiben eines Roboters |
CN111823230B (zh) * | 2020-06-19 | 2022-01-07 | 山东科技大学 | 一种基于Scara机器人的非固定式手眼关系标定方法 |
EP4175792A2 (de) | 2020-07-02 | 2023-05-10 | SEW-EURODRIVE GmbH & Co. KG | Verfahren zum betreiben eines systems und system, aufweisend einen stapel von objekten, einen roboter, einen sensor und ein aufnahmemittel |
DE102020209685B4 (de) * | 2020-07-31 | 2023-07-06 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum steuern einer robotervorrichtung und robotervorrichtungssteuerung |
US20220105626A1 (en) * | 2020-10-05 | 2022-04-07 | Autodesk, Inc. | Techniques for force and torque-guided robotic assembly |
CN114851184B (zh) * | 2021-01-20 | 2023-05-09 | 广东技术师范大学 | 一种面向工业机器人的强化学习奖励值计算方法 |
CN113059570B (zh) * | 2021-04-09 | 2022-05-24 | 华南理工大学 | 基于人体动态臂力估计模型的人-机器人协同控制方法 |
DE102021109333B4 (de) * | 2021-04-14 | 2023-07-06 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Trainieren eines Neuronalen Netzes zum Steuern eines Roboters für eine Einsetzaufgabe |
DE102021109332B4 (de) * | 2021-04-14 | 2023-07-06 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Steuern eines Roboters zum Einsetzen eines Objekts in eine Einsetzstelle |
DE102021204846B4 (de) | 2021-05-12 | 2023-07-06 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Steuern einer Robotervorrichtung |
DE102022202143B4 (de) | 2022-03-02 | 2024-05-16 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zur Steuerung eines Roboters zur Durchführung einer Aufgabe |
DE102022202144A1 (de) | 2022-03-02 | 2023-09-07 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zur Steuerung eines Roboters zur Durchführung einer Aufgabe |
DE102022202145A1 (de) | 2022-03-02 | 2023-09-07 | Robert Bosch Gesellschaft mit beschränkter Haftung | Roboter und Verfahren zum Steuern eines Roboters |
DE102022204724A1 (de) | 2022-05-13 | 2023-11-16 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Steuern einer Robotervorrichtung |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5309525A (en) * | 1990-06-14 | 1994-05-03 | Canon Kabushiki Kaisha | Image processing apparatus using neural network |
JPH05318355A (ja) | 1992-05-25 | 1993-12-03 | Sony Corp | 位置補正方法及び位置補正装置 |
CN1072374C (zh) * | 1995-08-07 | 2001-10-03 | 货款接收机公司 | 用人工神经网络对硬币的有效性进行图形识别的装置 |
US6141863A (en) | 1996-10-24 | 2000-11-07 | Fanuc Ltd. | Force-controlled robot system with visual sensor for performing fitting operation |
TW444499B (en) * | 1998-12-31 | 2001-07-01 | Tsai Ching Yuan | Binocular mechanical head monitoring system |
JP3876234B2 (ja) * | 2003-06-17 | 2007-01-31 | ファナック株式会社 | コネクタ把持装置、同装置を備えたコネクタ検査システム及びコネクタ接続システム |
JP2005125475A (ja) | 2003-10-24 | 2005-05-19 | Sunao Kitamura | 一回の成功試行で最良経路を学習するアーキテクチャ |
KR20050073964A (ko) * | 2004-01-12 | 2005-07-18 | 고종선 | 동기전동기를 이용한 위치 제어장치 및 방법 |
EP2360629A3 (en) * | 2005-05-07 | 2012-04-11 | Stephen L. Thaler | Device for the autonomous bootstrapping of useful information |
CN101396829A (zh) * | 2007-09-29 | 2009-04-01 | 株式会社Ihi | 机器人装置的控制方法以及机器人装置 |
CN100524108C (zh) * | 2007-11-19 | 2009-08-05 | 北京理工大学 | 一种基于小波神经网络的视觉反馈控制方法 |
JP5427658B2 (ja) | 2010-03-16 | 2014-02-26 | パナソニック株式会社 | コンパレータのオフセット補正装置 |
FI20106090A0 (fi) * | 2010-10-21 | 2010-10-21 | Zenrobotics Oy | Menetelmä kohdeobjektin kuvien suodattamiseksi robottijärjestelmässä |
JP5744587B2 (ja) * | 2011-03-24 | 2015-07-08 | キヤノン株式会社 | ロボット制御装置、ロボット制御方法、プログラム及び記録媒体 |
JP5869406B2 (ja) * | 2012-03-30 | 2016-02-24 | 株式会社大気社 | 熱交換システム、及び、コントローラ |
US20140025613A1 (en) * | 2012-07-20 | 2014-01-23 | Filip Ponulak | Apparatus and methods for reinforcement learning in large populations of artificial spiking neurons |
TWI492008B (zh) * | 2013-11-01 | 2015-07-11 | Ind Tech Res Inst | 工作機械控制系統及其方法 |
JP6427972B2 (ja) * | 2014-06-12 | 2018-11-28 | セイコーエプソン株式会社 | ロボット、ロボットシステム及び制御装置 |
CN105430255A (zh) * | 2014-09-16 | 2016-03-23 | 精工爱普生株式会社 | 图像处理装置以及机器人*** |
JP2016185572A (ja) * | 2015-03-27 | 2016-10-27 | セイコーエプソン株式会社 | ロボット、ロボット制御装置およびロボットシステム |
JP6517567B2 (ja) * | 2015-03-31 | 2019-05-22 | 日本電産サンキョー株式会社 | サーボモータ制御装置及び衝突検出方法 |
AU2016297852C1 (en) * | 2015-07-24 | 2019-12-05 | Deepmind Technologies Limited | Continuous control with deep reinforcement learning |
-
2017
- 2017-02-09 JP JP2018566706A patent/JP6587761B2/ja active Active
- 2017-02-09 US US16/483,381 patent/US11440184B2/en active Active
- 2017-02-09 DE DE112017007025.2T patent/DE112017007025T5/de active Pending
- 2017-02-09 CN CN201780085555.2A patent/CN110268358B/zh active Active
- 2017-02-09 KR KR1020197022651A patent/KR102113462B1/ko active IP Right Grant
- 2017-02-09 WO PCT/JP2017/004732 patent/WO2018146769A1/ja active Application Filing
- 2017-03-22 TW TW106109509A patent/TWI640851B/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
TW201830183A (zh) | 2018-08-16 |
WO2018146769A1 (ja) | 2018-08-16 |
CN110268358A (zh) | 2019-09-20 |
KR20190102250A (ko) | 2019-09-03 |
CN110268358B (zh) | 2022-11-04 |
US20200030970A1 (en) | 2020-01-30 |
TWI640851B (zh) | 2018-11-11 |
US11440184B2 (en) | 2022-09-13 |
JPWO2018146769A1 (ja) | 2019-06-27 |
KR102113462B1 (ko) | 2020-05-21 |
DE112017007025T5 (de) | 2019-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6587761B2 (ja) | 位置制御装置及び位置制御方法 | |
JP6376296B1 (ja) | 位置制御装置及び位置制御方法 | |
JP6458912B1 (ja) | 位置制御装置及び位置制御方法 | |
JP5852364B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
CN112109075B (zh) | 控制***和控制方法 | |
CN107015530B (zh) | 模拟装置以及模拟方法 | |
CN112757284A (zh) | 机器人控制装置、方法和存储介质 | |
WO2021085561A1 (ja) | 学習データ生成方法 | |
CN111203871A (zh) | 使用独立致动视觉***的机器人操纵 | |
CN113878588B (zh) | 面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法 | |
CN113954076B (zh) | 基于跨模态预测装配场景的机器人精密装配方法 | |
CN110942083A (zh) | 拍摄装置以及拍摄*** | |
CN113927602A (zh) | 基于视、触觉融合的机器人精密装配控制方法及*** | |
WO2021085560A1 (ja) | 画像処理装置及び画像処理方法 | |
JP7323057B2 (ja) | 制御装置、制御方法、および、制御プログラム | |
JP6285765B2 (ja) | 情報処理装置、情報処理方法 | |
WO2021085562A1 (ja) | 把持装置 | |
KR100469622B1 (ko) | 푸시브룸 영상에 대한 에피폴라 기하모델의 획득방법 | |
CN115070761A (zh) | 机器人示教方法、示教设备及计算机可读存储介质 | |
Cozzi et al. | A Parallel Noise-Robust Algorithm to Recover Depth Information from Radial Flow Fields |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190206 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190206 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190910 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6587761 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |