JP6836606B2 - ロボット制御装置およびシステム - Google Patents

Description

本発明はロボット制御装置およびシステムに関する。

従来、金属光沢を有するボルト等の物品を先端部に設けられたロボットハンドによって取出すロボットが知られている（例えば、特許文献１参照。）。このように、従来は、容易に形状が変化しない物品の取出作業にロボットハンドが用いられ、これにより作業効率の向上が図られていた。

特開２０１５−１８２１８４号公報

近年、ロボットハンドによって食品等の容易に形状が変化する物品の取出作業の実現が検討されている。例えば、シュークリーム、パン、ケーキ等の食品のロボットハンドによる取出しが試みられている。このような物品を把持するためにシリコン製又はゴム製のロボット指が用いられる場合もあるが、このような指もシュークリーム、パン、ケーキ等に比べるとかなり硬い場合が多い。このため、把持状態におけるロボット指の間隔である把持間隔又は把持力が適切でないと、物品に変形、破損等が簡単に生ずる。

解決案の一つとして、把持間隔を適切に設定することが考えられる。しかし、シュークリーム、パン、ケーキ等の物品は形状が一定でない場合が多い。このため、その日の製造を開始する際に把持間隔の設定が適切であっても、製造を行っている間に物品の硬さ、形状等の状態が僅かに変化し、当該変化によって把持間隔が適切ではなくなる場合が多くある。

また、前述のようにロボット指によって出来るだけ優しく物品を把持する必要がある。しかし、このような物品はその硬さに比べて重量が大きい場合も多い。このため、物品を適切に把持できる把持間隔又は把持力の範囲は狭い。このような課題を解決するために、各ロボット指の先端部に触覚センサを設けることも考えられる。しかし、ロボットハンドの構造および制御が複雑になり、コスト上昇にも繋がる。さらに、扱う物品に含まれる成分によるセンサの故障の懸念がある。また、制御が複雑になることによって作業効率が低下すると、ロボットハンドを用いるメリットが少なくなる又は無くなる。

前述の事情に鑑み、ロボットハンドによって軟らかい物品を適切に把持するために、ロボット指等である複数の把持部の把持間隔又は把持力を物品の状態に応じて適宜変更することができるロボット制御装置およびシステムの提供が望まれている。

本開示の第１態様のロボット制御装置は、複数の把持部によって物品を把持するロボットハンドを制御するロボット制御装置であって、前記物品を検出するための視覚センサによって得られた画像に基づき前記物品のサイズ情報を得るサイズ情報取得手段と、前記サイズ情報に応じて、把持状態における前記複数の把持部の間隔である把持間隔又は前記把持状態における前記複数の把持部による把持力を変化させる把持調整手段と、を備える。
このように、サイズ情報に応じて把持間隔又は把持力が変化するので、形状が一定ではない軟らかい物品が、複数の把持部によって適切に把持されるようになる。

上記態様において、好ましくは、前記サイズ情報が、前記画像中において前記物品として検出された領域の面積値である。
ここで、物品がシュークリーム、パン、ケーキ等の食品である場合、物品の形状、硬さ等は一定ではない。また、中にクリーム等の粘性が高い液体が封入されている物品は特に、その外周面の一部を凹ませると外周面の他の部分が膨らむ傾向を有する場合が多い。この場合、外周面の一部を凹ませた場合の平面視における物品の面積の変化が比較的小さいとも言える。
当該態様では、画像中において物品として検出された領域の面積値に応じて把持間隔又は把持力が変化し、これは形状が一定ではない物品を適切に把持するために有利である。

上記態様において、好ましくは、前記サイズ情報が、前記画像中において前記物品として検出された領域の寸法データである。
寸法データは、画像中の物品の最大直径、平均直径等である。この場合でも、形状が一定ではない物品を適切に把持することが可能である。

上記態様において、前記寸法データが、前記画像中において前記物品として検出された領域の周長データであることが好ましい。
寸法データが画像中の物品の最大直径、平均直径等である場合、寸法を測定する方向によってばらつきが生ずる可能性があるが、寸法データとして周長データを用いると、上記のばらつきの発生可能性を低減することができる。

上記態様において、好ましくは、前記ロボットハンドが、前記把持間隔又は前記把持力を複数のレベルに変化させるハンド制御装置を有するものであり、前記サイズ情報の値と前記複数のレベルとを対応付けるテーブル又は式が格納された記憶部を備え、前記把持調整手段が、前記テーブル又は前記式を用いて、前記複数のレベルのうち前記サイズ情報に応じたレベルに設定するための制御信号を前記ハンド制御装置に送信する。

複数の把持部の把持間隔又は把持力を複数のレベルに変化させるロボットハンドは、その制御が容易であり、構造の簡素化も容易である。このため、このようなロボットハンドが取出対象の物品の製造会社で用いられる場合が多い。
上記態様では、把持間隔又は把持力とサイズ情報の値とを対応づけるテーブル又は式を用いて、サイズ情報に応じたレベルに設定するための制御信号がハンド制御装置に送信される。このため、ロボット制御装置側の制御も簡素化することができ、把持間隔又は把持力の調整の手間も低減することができる。

上記態様において、好ましくは、前記把持調整手段が、単一又は複数の前記画像中の複数の前記物品の各々のサイズ情報の分布に基づき、前記複数のレベルに各々対応する前記サイズ情報の値を変える。
このように、把持調整手段が、画像中の物品の前記サイズ情報の分布に基づき、把持間隔又は把持力の各レベルに対応するサイズ情報の値を変えることは、物品の取出しミスの低減、物品に生ずる破損、変形、および接触痕の低減等のために有利である。

本開示の第２態様は、複数の把持部によって物品を把持するロボットハンドを制御するロボット制御装置であって、前記物品のサイズ情報を得るサイズ情報取得手段と、前記サイズ情報に応じて、把持状態における前記複数の把持部の間隔である把持間隔又は前記把持状態における前記複数の把持部による把持力を変化させる把持調整手段と、前記サイズ情報と、前記ロボットハンドによって前記物品を把持した時の把持状態の情報とに基づき、前記把持状態を改善するための学習を行う学習部と、を備える。

本開示の第３態様は、管理システムであって、物品を把持するロボットハンドを制御するロボット制御装置と、前記ロボット制御装置と通信可能な上位制御システムと、を備え、前記ロボット制御装置は、前記物品のサイズ情報と、前記ロボットハンドによって前記物品を把持した時の把持状態の情報とに基づき、前記把持状態を改善するための学習を行う学習部と、前記学習の結果を前記上位制御システムに出力する出力部と、を有し、前記上位制御システムは、前記ロボット制御装置から受信する前記学習の結果を蓄積する。

上記態様では、ロボットハンドによって軟らかい物品を適切に把持するために、ロボット指等である複数の把持部の把持間隔又は把持力を物品の状態に応じて適宜変更することができる。

一実施形態のロボットシステムの全体構成図である。 本実施形態のロボットシステムに用いるロボットハンドの正面図である。 本実施形態のロボットハンドの動作説明図である。 本実施形態のロボット制御装置のブロック図である。 本実施形態のロボット制御装置の制御部の作動を示すフローチャートである。 本実施形態のロボット制御装置の制御部の処理を示すフローチャートである。 本実施形態のロボット制御装置の記憶部に格納されているテーブルの例である。 本実施形態のロボット制御装置の記憶部に格納されているテーブルの例である。 本実施形態のロボット制御装置の記憶部に格納されているテーブルの例である。 本実施形態のロボット制御装置を有する管理システムのブロック図である。 本実施形態のロボット制御装置を有する管理システムのブロック図である。 本実施形態のロボット制御装置を有するシステムのブロック図である。 本実施形態のロボット制御装置を有するシステムのブロック図である。 本実施形態のロボット制御装置を有するシステムのブロック図である。

一実施形態に係るロボット制御装置２０およびロボットシステムについて、図面を用いながら以下説明する。
本実施形態のロボットシステムは、図１に示されるように、コンベヤ等の搬送装置２によって搬送される物品Ａが、ロボット１０に取付けられたロボットハンド３０によって、搬送装置２上から取出される。本実施形態では、物品Ａはシュークリーム、パン、ケーキ等の形状が一定でない軟らかいものである。

本実施形態ではロボット１０はパラレルリンクロボットであり、ロボット１０は、本体部１１と、本体部１１の下方に配置された可動プレート１２と、本体部１１と可動プレート１２とを連結する３つのリンク部１３と、可動プレート１２に取付けられた手首部１４とを有する。なお、ロボット１０は垂直多関節ロボット、水平多関節ロボット（スカラロボット）等であってもよい。

本体部１１は、図１に示されるように、略水平方向に延びるベース部材１１ａと、ベース部材１１ａの下面に固定された３つの駆動部１１ｂとを有する。各駆動部１１ｂ内には、減速機付きのサーボモータ１５（図４）が収容され、各駆動部１１ｂの出力軸にリンク部１３の駆動リンク１３ａの一端部が固定されている。また、複数のリンク部１３のうち１つには手首部１４の手首フランジ１４ａを鉛直軸線周りに回転させるサーボモータ１６（図１、図４）が取付けられている。

図１に示されるように、各リンク部１３は、駆動リンク１３ａと、駆動リンク１３ａの他端に一端が連結された従動リンク１３ｂとを有する。駆動リンク１３ａの他端と従動リンク１３ｂの一端とは球面ベアリングを用いて連結されている。また、各従動リンク１３ｂの他端は球面ベアリングを用いて可動プレート１２に連結されている。

本体部１１のベース部材１１ａは例えば図示しないフレームによって支持され、これによりロボット１０が搬送装置２の上方に配置されている。
ロボットハンド３０は手首フランジ１４ａに支持されている。つまり、ロボットハンド３０は手首フランジ１４ａと共に前記鉛直軸線周りに回転する。なお、手首部１４がロボットハンド３０の一部分であってもよい。

図１、図２等に示されるように、ロボットハンド３０は複数の把持部３１を有しており、各把持部３１はゴム状弾性を有する材料から形成されている。ゴム状弾性を有する材料として、ゴム、シリコン等を用いることができる。本実施形態では各把持部３１は内部空間３１ａを有するロボット指であり、各内部空間３１ａに供給されるエアの圧力に応じて各把持部３１が屈曲する（図３）。ロボットハンド３０として、例えば、Soft Robotics社製のM4FC、M5FC等を用いることができる。

図１に示されるように、ロボットハンド３０の各把持部３１はエア供給管３２を経由してハンド制御装置４０に接続されており、ハンド制御装置４０は図示しないエア供給源に接続されている。ハンド制御装置４０は圧力調整弁を有し、ロボットハンド３０の各把持部３１に供給されるエア圧は、圧力調整弁によって複数レベルに調整される。本実施形態では、一例として、ハンド制御装置４０は各把持部３１に供給するエア圧をレベル１からレベル５の５段階に調整することができる。なお、エア圧のレベルの数は５段階に限定されない。

ハンド制御装置４０によって複数の把持部３１にエアが供給されると、図３に示されるように、複数の把持部３１の先端部が互いに近付き、複数の把持部３１が物品Ａを把持するための把持状態となる。ハンド制御装置４０によって複数の把持部３１の内部空間３１ａが大気圧又は負圧になると、複数の把持部３１が物品Ａを離すための非把持状態となる。なお、図３では、各把持部３１に適切な圧力よりも高いエア圧が加えられることによって、物品Ａに望ましくない変形が生じている。

ハンド制御装置４０から複数の把持部３１に供給するエア圧をレベル１にした時よりも、ハンド制御装置４０から複数の把持部３１に供給するエア圧をレベル５にした時の方が、複数の把持部３１の先端部の互いの距離が近くなり、複数の把持部３１による物品Ａの把持力が大きくなる。レベル２〜４のエア圧は、レベル１とレベル５の間で複数の把持部３１の先端部の互いの距離を段階的に変えるものである。つまり、レベル１〜５のエア圧は、複数の把持部３１の先端部の互いの間隔である把持間隔を複数のレベルに変化させ、複数の把持部３１による把持力も複数のレベルに変化させる。

搬送装置２の上方には視覚センサ５０が設けられている。視覚センサ５０は搬送装置２上の物品Ａの画像を得られるものであればよく、視覚センサ５０として二次元カメラ、三次元カメラ、三次元センサ等が用いられる。視覚センサ５０によって撮像された画像はロボット制御装置２０に逐次送信される。

ロボット制御装置２０は、図４に示されるように、プロセッサ等を有する制御部２１と、表示装置２２と、不揮発性ストレージ、ＲＯＭ、ＲＡＭ等を有する記憶部２３と、キーボード、タッチパネル、操作盤等である入力装置２４と、信号の送受信を行うための送受信部２５と、各サーボモータ１５にそれぞれ接続されたサーボ制御器２６と、サーボモータ１６に接続されたサーボ制御器２７とを備えている。入力装置２４および送受信部２５は入力部として機能する。

記憶部２３にはシステムプログラム２３ａが格納されており、システムプログラム２３ａはロボット制御装置２０の基本機能を担っている。また、記憶部２３には取出プログラム２３ｂ、サイズ情報取得プログラム（サイズ情報取得手段）２３ｃ、および把持調整プログラム（把持調整手段）２３ｄが格納されている。制御部２１は、取出プログラム２３ｂ、サイズ情報取得プログラム２３ｃ、および把持調整プログラム２３ｄに基づき、各サーボモータ１５，１６を制御し、ロボットハンド３０による把持を調整するための制御信号をハンド制御装置４０に送信する。

以下、ロボット１０がロボットハンド３０によって搬送装置２上の物品Ａの取出作業を行う際の制御部２１の処理を、図５および図６のフローチャートを参照しながら説明する。なお、下記制御は、搬送装置２によって物品Ａが搬送されている状態で行われる。

制御部２１は、入力装置２４又は送受信部２５から開始信号を受付けると（ステップＳ１−１）、視覚センサ５０から送信される画像に周知の画像処理を行いながら、当該画像中の物品Ａを取出すための取出処理を行う（ステップＳ１−２）。

ステップＳ１−２の取出処理の一例が図６に説明されている。図６の例では、先ず、制御部２１は、取出プログラム２３ｂに基づき、周知の画像処理が行われた画像において物品Ａの位置検出を開始する（ステップＳ２−１）。また、制御部２１は、取出プログラム２３ｂに基づき、複数の画像中の同一の物品Ａの位置に基づき搬送装置２の移動速度を算出し、算出した移動速度に基づく物品Ａの位置追跡（トラッキング）を開始する（ステップＳ２−２）。

そして、制御部２１は、サイズ情報取得プログラム２３ｃに基づき、位置の追跡が行われている物品Ａの面積情報（サイズ情報）を画像処理が行われた画像を用いて得る（ステップＳ２−３）。追跡されている物品Ａが複数存在する場合は、制御部２１は複数の物品Ａのそれぞれの面積情報を得る。一例では、前記画像処理は二値化処理であり、物品Ａの面積情報は二値化処理によって抽出される領域の面積値（サイズ情報）である。

続いて、制御部２１は、把持調整プログラム２３ｄに基づき、複数の把持部３１に供給するエア圧をレベル１からレベル５の何れかすべきかを決定する（ステップＳ２−４）。

ステップＳ２−４では、例えば、記憶部２３に格納されている図７に示されるようなテーブル２３ｅを用いて、制御部２１が物品Ａの面積値に対応するエア圧のレベルを決定する。テーブル２３ｅでは、複数の面積範囲が設定されており、複数の面積範囲にそれぞれレベル１からレベル５のエア圧が対応している。制御部２１は、記憶部２３に格納されているテーブル２３ｅを用いて、追跡している各物品Ａの面積値に対応するエア圧のレベルを決定する。なお、テーブル２３ｅにおいて、２５〜２７の意味は２５以上２７未満である。

ここで、シュークリーム等である物品Ａはロボットハンド３０の把持部３１に比べて軟らかい。把持部３１は柔軟性を有する材料から形成されているが、物品Ａに比べるとかなり硬い。このため、ステップＳ２−４で決定されるエア圧は、複数の把持部３１によって物品Ａに破損、変形、接触痕等を生じさせないエア圧であることが望ましい。つまり、図３のように物品Ａを大きく変形させるエア圧は適切ではない。一方、シュークリーム等の物品Ａはその硬さに比べて重量が大きい。このため、複数の把持部３１によって物品Ａを破壊せずに持ち上げるために、テーブル２３ｅの各面積範囲が狭いことが好ましい。

続いて、制御部２１は、取出プログラム２３ｂに基づき、追跡している物品Ａを取出すための制御信号を各サーボ制御器２６，２７に送信する（ステップＳ２−５）。また、制御部２１は、把持調整プログラム２３ｄに基づき、当該物品Ａに関して決定されたレベルのエア圧を各把持部３１に供給するための制御信号をハンド制御装置４０に送信する（ステップＳ２−６）。これにより、当該物品Ａが搬送装置２から取出される。

制御部２１は、取出プログラム２３ｂに基づき、把持している物品Ａを搬送先であるコンベヤ３上に載置するための制御信号を各サーボ制御器２６，２７に送信する（ステップＳ２−７）。そして、制御部２１は、入力装置２４又は送受信部２５から終了信号を受付けるまで（ステップＳ２−８）、ステップＳ２−３〜Ｓ２−７を繰り返す。

なお、テーブル２３ｅの代わりに、物品Ａの面積値からエア圧のレベルを決定する式が記憶部２３に格納されていてもよい。この場合、ステップＳ２−４において、制御部２１は、記憶部２３に格納されている式を用いて、エア圧レベル１〜５の中において追跡している各物品Ａの面積値に対応するエア圧のレベルを決定する。
なお、エア圧レベル１〜５の中において追跡している各物品Ａの面積値に対応するエア圧のレベルを他の周知の手段、方法等を用いて決定することも可能である。

このように、本実施形態では、物品Ａを検出するための視覚センサ５０によって得られた画像に基づき、物品Ａのサイズ情報として物品Ａの面積値を得る。そして、制御部２１は、面積値に応じて、把持状態における複数の把持部３１の間隔である把持間隔又は把持状態における複数の把持部３１による把持力を変化させる。
このように、制御部２１がサイズ情報に応じて把持間隔又は把持力を変化させるので、形状が一定ではない軟らかい物品Ａが、複数の把持部３１によって適切に把持されるようになる。

ここで、シュークリーム、パン、ケーキ等の食品である物品Ａの形状、硬さ等は一定ではない。また、中にクリーム等の粘性が高い液体が封入されている物品Ａは特に、その外周面の一部を凹ませると外周面の他の部分が膨らむ傾向を有する場合が多い。この場合、外周面の一部を凹ませた場合の平面視における物品Ａの面積の変化が比較的小さいとも言える。
本実施形態では、制御部２１は、画像中において物品Ａとして検出された領域の面積値に応じて把持間隔又は把持力を変化させており、これは形状が一定ではない物品Ａを適切に把持するために有利である。

なお、制御部２１は、画像中において物品Ａとして検出された領域の寸法データに応じて把持間隔又は把持力を変化させることも可能である。寸法データは、画像中の物品Ａの最大直径、平均直径等である。この場合でも、形状が一定ではない物品Ａを適切に把持することが可能であるが、寸法を測定する方向によってばらつきが生ずる可能性もある。これに対し、面積値を用いる場合、上記のばらつきの発生可能性を低減することができる。なお、寸法データとして周長データを用いると、上記のばらつきの発生可能性を低減することができる。

本実施形態では、ロボットハンド３０が、把持間隔又は把持力を複数のレベル１〜５に変化させるハンド制御装置４０を有するものであり、サイズ情報である面積値と前記複数のレベル１〜５とを対応付けるテーブル２３ｅ又は式が格納された記憶部２３を備え、制御部２１が、テーブル２３ｅ又は式を用いて、前記複数のレベル１〜５のうち追跡している物品Ａの面積値に応じたレベルに設定するための制御信号をハンド制御装置４０に送信する。

複数の把持部３１の把持間隔又は把持力を複数のレベルに変化させるロボットハンド３０は、その制御が容易であり、構造の簡素化も容易である。このため、このようなロボットハンド３０が取出対象の物品Ａの製造会社で用いられる場合が多い。
本実施形態では、把持間隔又は把持力と面積値とを対応づけるテーブル２３ｅ又は式を用いて、面積値に応じたレベルに設定するための制御信号がハンド制御装置４０に送信される。このため、ロボット制御装置２０側の制御も簡素化することができ、把持間隔又は把持力の調整の手間も低減可能である。

前述のように、例えばシュークリーム、パン、ケーキ等である物品Ａの形状、硬さ等は一定ではなく、その形状、硬さ等は日々変化する。このため、把持間隔又は把持力が日々調整されることが好ましい。
このために、記憶部２３に複数種類のテーブルが保存されていてもよい。例えば、図８に示されるように、レベル１〜５に各々対応する面積値の範囲が図７のテーブル２３ｅに対して異なるテーブル２３ｆがさらに保存されていてもよい。図８のテーブル２３ｆは、例えば物品Ａが通常よりも硬い時に用いられるものである。

物品Ａの形状のばらつき幅が小さい日は、ハンド制御装置４０の圧力調整弁の複数レベルの保持圧を互いに近付けると共に、記憶部２３に保存されている図９のテーブル２３ｇを用いてもよい。当該調整は、物品Ａのばらつき幅が小さい時に行われる。
複数のテーブル２３ｅ，２３ｆ，２３ｇの代わりに、レベル１〜５に対応する面積値が互いに異なる複数の式が記憶部２３に格納されていてもよい。

さらに、制御部２１が、単一又は複数の画像に基づき求められる複数の物品Ａの面積値の分布に基づいて、テーブル２３ｅ，２３ｆのうち一方を選択して用いてもよく、同様に、記憶部２３に格納されている複数の式のうち一つを選択して用いてもよい。
このように、制御部２１が、画像中の物品Ａの面積値の分布に基づき、各レベル１〜５に対応する面積値を変えることは、物品Ａの取出しミスの低減、物品Ａに生ずる破損、変形、および接触痕の低減等のために有利である。

なお、搬送装置２におけるロボット１０の作業エリア又はその下流側を撮像する観察撮像装置をさらに設けることも可能である。この場合、ロボット１０により取出すことができなかった物品Ａが撮像装置によって検出される。このような物品Ａが閾値よりも多い場合に、制御部２１は、各レベル１〜５の把持間隔又は把持力に対応する面積値の範囲を変える。例えば、ステップＳ２−４において用いる基準をテーブル２３ｆからテーブル２３ｅに変更する。当該構成を用いると、調整作業の手間が低減され、物品Ａの生産効率が向上する。

また、物品Ａがエクレア等の長手軸を有するものである場合でも、前述のように面積値に応じた把持間隔又は把持力の調整が可能であり、前述と同様の効果が得られる。なお、長手軸を有する物品Ａの場合は、制御部２１は、ステップＳ２−１において、物品Ａの位置および姿勢（長手軸が向いている方向）を検出する。制御部２１が、ステップＳ２−１において、さらに物品Ａの重心位置を検出してもよい。

なお、ロボットハンド３０の把持部３１が金属製又は硬質プラスチック製の周知のロボット指であってもよい。この場合、物品Ａのサイズ情報としての物品Ａの面積値に応じて、制御部２１は複数のロボット指の先端部の間隔である把持間隔又は複数のロボット指による把持力を変化させる。この場合でも前述と同様の作用効果が達成され得る。

また、ロボットハンド３０が球形であってもよい。この場合、ロボットハンド３０は、その内部に封入されるエア圧に応じて、球の複数個所が互いに近付いて物品Ａを把持し、球の複数個所の各々が把持部として機能する。

前記実施形態において、ロボット制御装置２０が学習機能を持っていてもよい。例えば、記憶部２３に学習プログラム（学習部）２３ｈが格納されており、制御部２１が学習プログラム２３ｈに基づき学習を行ってもよい。

例えば、学習は前述のステップＳ２−１〜Ｓ２−７のように物品Ａの取出処理が行われる時に行われる。制御部２１は、学習用情報を用いて、面積値とエア圧のレベルとを対応させるテーブル又は式を作成し、作成されたテーブル又は式を記憶部２３に格納する。このようなテーブル又は式の作成は、把持状態を改善するための学習の成果である。

学習用情報の例は、取出処理に用いられているサイズ情報とエア圧のレベルとを対応させたテーブル又は式である。学習用情報の他の例は、サイズ情報およびエア圧情報である。サイズ情報には、前述のように物品Ａについて検出された面積値、寸法データ、周長データ、重心位置等の情報が含まれる。また、サイズ情報には、他の工程、例えば検査工程における検査装置で得られた各物品Ａの面積、寸法、重量等の情報が含まれる。また、サイズ情報には、測定によって得られた各物品Ａの面積、寸法、重量等に基づきオペレータが入力装置２４に入力する情報も含まれる。他の学習用情報の例は、取出処理に用いられているロボットハンド３０および把持部３１の仕様である。他の学習用情報の例は、取出処理に用いられているロボット１０および搬送装置２の仕様である。他の学習用情報の例は、取出処理の際の搬送装置２の搬送速度である。他の学習用情報の例は、各物品Ａの硬さ、平均重量等の物品の品質情報である。他の学習用情報の例は、前記観察撮像装置に基づき得られた把持状態の情報である。把持状態の情報には、把持の成否の情報、各物品Ａの変形度合の情報等が含まれる。作成されたテーブル又は式は前記学習用情報と共に記憶部２３に格納される。

制御部２１は、例えば、取出処理を行った際のサイズ情報とエア圧との関係と、把持状態との対比を行う。制御部２１が、取出処理を行った際のサイズ情報とエア圧との関係および物品Ａの種類又は物品Ａの品質と、把持状態との対比を行ってもよい。

上記のロボットハンド３０および把持部３１の仕様、搬送装置２の搬送速度、および物品の品質情報等は、オペレータがロボット制御装置２０に入力してもよい。また、取出処理を行っている際にオペレータが把持の成否、各物品Ａの変形度合等を観察し、観察結果がロボット制御装置２０に入力され、入力された情報が上記学習に用いられてもよい。また、品質検査工程において得られた結果がロボット制御装置２０に入力され、入力された情報が上記学習に用いられてもよい。

このようにロボット制御装置２０において学習が行われると、ロボットハンド３０による物品Ａの把持がより適切となる。

図１１に示されるように、複数のロボット制御装置２０が上位制御システム１００に接続されていてもよい。上位制御システム１００は、例えば、複数のロボット制御装置２０と有線で接続されたコンピュータ、複数のロボット制御装置２０と同じ敷地内に配置されたコンピュータ等である。上位制御システム１００はフォグコンピュータと称される時もある。上位制御システム１００は、生産管理システム、出荷管理システム、ロボット用管理システム、部門管理システム等であり得る。

複数の上位制御システム１００が他の上位制御システム２００等に接続されていてもよい。上位制御システム２００は、例えば、複数の上位制御システム１００と有線又は無線で接続されたクラウドサーバである。複数のロボット制御装置２０と上位制御システム１００，２００とによって例えば管理システムが形成される。 上位制御システム１００および上位制御システム２００は、それぞれ、プロセッサ等を有する制御部と、表示装置と、不揮発性ストレージ、ＲＯＭ、ＲＡＭ等を有する記憶部と、キーボード、タッチパネル、操作盤等である入力装置等を備えている。

このようなシステムは、例えば図１２に示されるように、複数のエッジコンピュータ８、複数の上位制御システム１００、および単一又は複数の上位制御システム２００を含んでいてもよい。図１２のシステムにおいて、制御装置、ロボット制御装置、およびロボットは、エッジコンピュータ８であり得る。制御装置、ロボット制御装置、およびロボットの一部が上位制御システム１００であってもよい。図１２のシステムは、有線又は無線のネットワークを備えている。

複数のエッジコンピュータ８が、前記学習機能を有する他のエッジコンピュータ８、上位制御システム１００、又は上位制御システム２００に前記学習用情報を送信してもよい。例えば図１３に示される構成で当該送信が行われる。この場合、学習機能を有する他のエッジコンピュータ８、上位制御システム１００、又は上位制御システム２００は、受信した学習用情報を用いて学習を行い、各エッジコンピュータ８によるロボットの制御のための動作パラメータ（学習結果）、動作プログラム（学習結果）等を自動的且つ正確に求めることが可能である。

また、学習機能を有する他のエッジコンピュータ８、上位制御システム１００、又は上位制御システム２００は、受信した学習用情報を用いて、複数のエッジコンピュータ８がそれぞれ制御する複数のロボットの共通の動作パラメータ（学習結果）、動作プログラム（学習結果）等を求めることが可能である。つまり、前記複数のロボットが共通の動作パラメータ又は動作プログラムを有することになる。当該システムによれば、多様なデータ集合を用いて、学習の速度、信頼性等を向上することができる。

また、前記学習機能を有するエッジコンピュータ８および上位制御システム１００の複数が、前記学習機能を有する他のエッジコンピュータ８、上位制御システム１００、又は上位制御システム２００に前記学習用情報、学習において作成された学習モデル、および学習結果の少なくとも一つを送信してもよい。例えば図１４に示される構成で当該送信が行われる。学習機能を有する他のエッジコンピュータ８、上位制御システム１００、又は上位制御システム２００は、受信した情報に基づく知識の最適化や効率化の処理を行うことで、新たに最適化又は効率化された学習モデル又は学習結果を生成する。生成された学習モデル又は学習結果はロボットを制御するエッジコンピュータ８に配布される。学習結果が配布される場合、配布先のエッジコンピュータ８は学習機能を持っていなくてもよい。

エッジコンピュータ８の間で前記学習用情報、学習モデル、および学習結果を共有することが可能である。例えば図１４に示される構成で当該共有が行われる。これは、機械学習の効率の向上に繋がる。また、互いにネットワークで接続された複数のエッジコンピュータ８のうちの一部のエッジコンピュータ８に学習機能を実装し、一部のエッジコンピュータの学習結果を他のエッジコンピュータ８によるロボットの制御に用いることも可能である。これは、機械学習に要するコストの低減に繋がる。

上記実施形態に即した例を以下説明する。
例えば、図１０のようにロボット制御装置２０が他のロボット制御装置２０に接続されていてもよい。この場合、前述のように学習によって得られたテーブル（学習結果）又は式（学習結果）が、ロボット制御装置２０の無線又は有線の送受信部（出力部）２５によって、他のロボット制御装置２０に必要な情報と共に送られてもよい。必要な情報は、当該テーブル又は式の作成に関連するロボット１０および搬送装置２の仕様、ロボットハンド３０および把持部３１の仕様、物品の品質情報等である。他のロボット制御装置２０も同様にロボット制御装置２０に学習結果を送信する。
ロボット制御装置２０および他のロボット制御装置２０は、受信したテーブル又は式を物品Ａの取出作業に用いることができる。また、ロボット制御装置２０および他のロボット制御装置２０は、受信したテーブル又は式を学習用情報として用いることができる。

また、学習によって得られたテーブル又は式が、ロボット制御装置２０から上位制御システム１００又は上位制御システム２００に必要な情報と共に送られてもよい（図１１）。必要な情報は、当該テーブル又は式の作成に関連するロボット１０および搬送装置２の仕様、ロボットハンド３０および把持部３１の仕様、物品Ａの品質情報等である。

上位制御システム１００又は上位制御システム２００は、同一又は同種のロボットハンド３０又は把持部３１の仕様に関する複数のテーブル又は式を用いて学習を行い、新たなテーブル又は式を作成することができる。
上位制御システム１００又は上位制御システム２００は、作成したテーブル又は式をロボット制御装置２０に送信する。
ロボット制御装置２０は、受信したテーブル又は式を物品Ａの取出作業に用いることができる。また、他のロボット制御装置２０は、当該ロボット制御装置２０が学習を行う時に、受信したテーブル又は式を学習用情報として用いることもできる。

なお、ロボット制御装置２０、上位制御システム１００、又は上位制御システム２００は、作成したテーブル又は式を、学習機能を持たないロボット制御装置に送信することも可能である。これにより、学習機能を持たないロボット制御装置およびそのロボットハンドによる物品の把持が改善される。

２ 搬送装置
１０ ロボット
１１ 本体部
１４ 手首部
１４ａ 手首フランジ
１５，１６ サーボモータ
２０ ロボット制御装置
２１ 制御部
２２ 表示装置
２３ 記憶部
２３ｈ 学習プログラム（学習部）
２４ 入力装置
２５ 送受信部
２６，２７ サーボ制御器
３０ ロボットハンド
３１ 把持部
３１ａ 内部空間
３２ エア供給管
４０ ハンド制御装置
５０ 視覚センサ
１００ 上位制御システム
２００ 上位制御システム
Ａ 物品

Claims (12)

1. 複数の把持部によって物品を把持するロボットハンドを制御するロボット制御装置であって、
   前記物品を検出するための視覚センサによって得られた画像に基づき前記物品のサイズ情報を得るサイズ情報取得手段と、
   前記サイズ情報に応じて、把持状態における前記複数の把持部の間隔である把持間隔又は前記把持状態における前記複数の把持部による把持力を変化させる把持調整手段と、を備え、
   前記ロボットハンドが、前記把持間隔又は前記把持力を複数のレベルに変化させるハンド制御装置を有するものであり、
   前記サイズ情報の値と前記複数のレベルとを対応付けるテーブル又は式が格納された記憶部を備え、
   前記把持調整手段が、前記テーブル又は前記式を用いて、前記複数のレベルのうち前記サイズ情報に応じたレベルに設定するための制御信号を前記ハンド制御装置に送信するロボット制御装置。
2. 前記サイズ情報が、前記画像中において前記物品として検出された領域の面積値である、請求項１に記載のロボット制御装置。
3. 前記サイズ情報が、前記画像中において前記物品として検出された領域の寸法データである、請求項１に記載のロボット制御装置。
4. 前記寸法データが、前記画像中において前記物品として検出された領域の周長データである、請求項３に記載のロボット制御装置。
5. 前記把持調整手段が、単一又は複数の前記画像中の複数の前記物品の各々の前記サイズ情報の分布に基づき、前記複数のレベルに各々対応する前記サイズ情報の値を変える、請求項１〜４の何れかに記載のロボット制御装置。
6. 複数の把持部によって物品を把持するロボットハンドを制御するロボット制御装置であって、
   前記物品のサイズ情報を得るサイズ情報取得手段と、
   前記サイズ情報に応じて、把持状態における前記複数の把持部の間隔である把持間隔又は前記把持状態における前記複数の把持部による把持力を変化させる把持調整手段と、
   前記サイズ情報と、前記ロボットハンドによって前記物品を把持した時の把持状態の情報とに基づき、前記把持状態を改善するための学習を行う学習部と、を備えるロボット制御装置。
7. 前記学習の結果を出力する出力部をさらに備える、請求項６に記載のロボット制御装置。
8. 前記学習の結果を他のロボット制御装置に出力するように構成され、前記他のロボット制御装置から学習の結果を受信するように構成されている、請求項６又は７に記載のロボット制御装置。
9. 前記学習の結果を上位制御システムに出力するように構成され、前記上位制御システムから学習の結果を受信するように構成されている、請求項６又は７に記載のロボット制御装置。
10. システムであって、
    物品を把持するロボットハンドを制御するロボット制御装置と、
    前記ロボット制御装置と通信可能な上位制御システムと、を備え、
    前記ロボット制御装置は、
    前記物品のサイズ情報と、前記ロボットハンドによって前記物品を把持した時の把持状態の情報とに基づき、前記把持状態を改善するための学習を行う学習部と、
    前記学習の結果を前記上位制御システムに出力する出力部と、を有し、
    前記上位制御システムは、前記ロボット制御装置から受信する前記学習の結果を蓄積する、システム。
11. 前記上位制御システムは、前記学習の結果を用いて前記上位制御システムにおいて行われた学習の結果を、前記ロボット制御装置に送信するように構成されている、請求項１０に記載のシステム。
12. 前記上位制御システムは、前記学習の結果、又は、前記学習の結果を用いて前記上位制御システムにおいて行われた学習の結果を、学習機能を持たないロボット制御装置に送信するように構成されている、請求項１０又は１１に記載のシステム。

Images