JP2019114057A - 制御装置、ロボットおよびロボットシステム - Google Patents

Abstract

【課題】適確にロボットを制御することができる制御装置、ロボットおよびロボットシステムを提供すること。【解決手段】撮像部が対象物を撮像した撮像画像に基づいて前記対象物を処理するロボットを制御する制御装置であって、前記撮像画像において前記対象物を探索する探索領域を設定する領域設定部と、前記探索領域の輪郭に沿って前記撮像画像をぼかす画像処理部と、を備える。また、前記画像処理部は、前記探索領域の輪郭に沿って前記撮像画像をぼかす前に、前記探索領域を含むように前記撮像画像の一部を切り出す。【選択図】図２

Description

本発明は、制御装置、ロボットおよびロボットシステムに関するものである。

例えば、カメラによって撮像した画像によって対象物を認識して作業を行うロボットにおいて、対象物の特徴点（エッジ）を抽出するために、マスク画像を撮像画像に合成することにより、対象物が含まれていない領域を排除し、対象物の特徴点のみを抽出させることにより認識精度を向上させる技術が知られている（例えば、特許文献１）。

特開平９−１３８８５４号公報

しかしながら、特許文献１に記載れているような方法では、マスク画像を形成するために容量の大きいメモリー（例えば、特許文献１の判定済画素記憶バッファ、マスク画像メモリー等）が必要となる。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。

本発明の制御装置は、撮像部が対象物を撮像した撮像画像に基づいて前記対象物を処理するロボットを制御する制御装置であって、
前記撮像画像において前記対象物を探索する探索領域を設定する領域設定部と、
前記探索領域の輪郭に沿って前記撮像画像をぼかす画像処理部と、を備えることを特徴とする。

このような制御装置によれば、対象物のエッジ（輪郭）以外のエッジが対象物のエッジとして検出されてしまうことを抑制でき、撮像画像のみから、すなわち、撮像画像の他に従来のようなマスク画像を用いなくても、精度よく、対象物を検出することができる。そのため、従来のようなマスク画像を形成するためメモリーが不要となり、前述した従来構成と比較してメモリーの容量を小さく抑えることができる。そのため、的確に、ロボットを制御することができる。

本発明の制御装置では、前記画像処理部は、前記探索領域の輪郭に沿って前記撮像画像をぼかす前に、前記探索領域を含むように前記撮像画像の一部を切り出すことが好ましい。
これにより、撮像画面に含まれる画素数が減り、処理の負担を低減することができる。

本発明の制御装置では、前記画像処理部は、輝度値を前記輪郭から離間する方向に徐々に変化させることにより前記撮像画像をぼかすことが好ましい。

これにより、比較的簡単な処理で、撮像画像をぼかすことができる。このような処理は、特に、撮像画像が白黒画像の場合に有効である。

本発明の制御装置では、前記画像処理部は、前記輪郭から離間するほど前記輝度値を小さくすることが好ましい。
これにより、比較的簡単に探索領域の輪郭に沿って撮像画像をぼかすことができる。

本発明の制御装置では、前記画像処理部は、前記輪郭に沿って輝度値を平滑化フィルターを用いて平滑化することにより、前記撮像画像をぼかすことが好ましい。
これにより、比較的簡単に撮像画像をぼかすことができる。

本発明の制御装置では、前記画像処理部は、彩度、色相、明度の少なくとも１つを前記輪郭から離間する方向に徐々に変化させることにより前記撮像画像をぼかすことが好ましい。

これにより、比較的簡単に撮像画像をぼかすことができる。このような処理は、特に、撮像画像がカラー画像の場合に有効である。

本発明の制御装置では、前記画像処理部は、前記輪郭の外側をぼかすことが好ましい。
これにより、探索領域内に位置する対象物のエッジが不本意にぼけてしまうことを確実に防止することができる。したがって、より精度よく対象物を検出することができる。

本発明のロボットは、ロボットアームを有し、
請求項１ないし７のいずれか１項に記載の制御装置の処理結果に基づいて制御されることを特徴とする。

このようなロボットによれば、ロボット制御装置の制御により、適切な動作を行うことができる。

本発明のロボットシステムは、ロボットアームを有するロボットと、
対象物を撮像する撮像部と、
請求項１ないし７のいずれか１項に記載の制御装置と、
前記制御装置の処理結果に基づいて、前記ロボットを制御するロボット制御装置と、を備えることを特徴とする。
このようなロボットシステムによれば、適確にロボットを制御することができる。

本発明のロボットシステムの実施形態を示す図である。 図１に示すロボットシステムのブロック図である。 図１に示すロボットシステムの作業を説明するための平面図である。 画像処理装置が行う処理の一例を示す図である。 画像処理装置が行う処理の一例を示す図である。 画像処理装置が行う処理の一例を示す図である。 画像処理装置が行う処理の一例を示す図である。 画像処理装置が行う処理の一例を示す図である。 画像処理装置が行う処理の一例を示す図である。 画像処理装置が行う処理の一例を示す図である。 画像処理装置が行う処理の一例を示す図である。 実施形態についてハードウェア（プロセッサー）を中心として説明するためのブロック図である。 本発明のロボットシステムの他の例１（変形例１）を示すブロック図である。 本発明のロボットシステムの他の例２（変形例２）を示すブロック図である。

以下、本発明の制御装置、ロボットおよびロボットシステムを添付図面に示す実施形態に基づいて詳細に説明する。

＜実施形態＞
≪ロボットシステム≫
図１は、本発明のロボットシステムの実施形態を示す図である。図２は、図１に示すロボットシステムのブロック図である。図３は、図１に示すロボットシステムの作業を説明するための平面図である。図４ないし図１１は、それぞれ、画像処理装置が行う処理の一例を示す図である。図１２は、実施形態についてハードウェア（プロセッサー）を中心として説明するためのブロック図である。図１３は、本発明のロボットシステムの他の例１（変形例１）を示すブロック図である。図１４は、本発明のロボットシステムの他の例２（変形例２）を示すブロック図である。

また、図１には、互いに直交する３つの軸としてｘｒ軸、ｙｒ軸およびｚｒ軸が図示されており、各軸を示す矢印の先端側を「＋（正）」、基端側を「−（負）」とする。また、図１中のｚｒ軸方向を「鉛直方向」とし、ｘｒ−ｙｒ平面に沿った方向を「水平方向」とする。また、＋ｚｒ軸側を「上方」とし、−ｚｒ軸側を「下方」とする。また、ｘｒ軸の方向を「ｘｒ方向」、ｙｒ軸の方向を「ｙｒ方向」、ｚｒ軸の方向を「ｚｒ方向」と言う。また、以下では、説明の都合上、図１中の基台側を「基端」または「上流」、その反対側を「先端」または「下流」と言う。

また、本明細書において、「水平」とは、完全に水平な場合のみならず、水平に対して±５°以内で傾斜している場合も含む。同様に、本明細書において、「鉛直」とは、完全に鉛直な場合のみならず、鉛直に対して±５°以内で傾斜している場合も含む。また、本明細書において、「平行」とは、２つの線（軸を含む）または面が、互いに完全な平行である場合のみならず、±５°以内で傾斜している場合も含む。また、本明細書において、「直交」とは、２つの線（軸を含む）または面が、互いに完全な直交である場合のみならず、±５°以内で傾斜している場合も含む。

図１に示すロボットシステム１００は、ロボット１と、エンドエフェクター１９と、撮像部４１と、画像処理装置４２（制御装置）と、ロボット１等の動作（駆動）を制御するロボット制御装置２と、ロボット制御装置２および画像処理装置４２と通信可能なコンピューター５と、を有する。以下、これら各部について順次説明する。

〈ロボット〉
ロボット１は、いわゆる６軸の垂直多関節ロボットであり、例えば、精密機器等を製造する製造工程等で用いられ、精密機器や部品等の対象物（図示せず）の保持や搬送等の種々の作業を行う。ロボット１は、基台１１０と、基台１１０に接続されたロボットアーム１０（可動部）とを有する。なお、対象物としては、ロボット１が行う作業で用いられるものであればよく、特に限定されない。

基台１１０は、ロボット１を例えば床等の任意の設置箇所７０に取り付ける部分である。ロボットアーム１０は、アーム１１（第１アーム）、アーム１２（第２アーム）、アーム１３（第３アーム）、アーム１４（第４アーム）、アーム１５（第５アーム）およびアーム１６（第６アーム）を有する。また、アーム１５およびアーム１６によりリストが構成されている。また、アーム１６は、円盤状をなしており、そのアーム１６には、エンドエフェクター１９（ツール）を着脱可能に設ける（取り付ける）ことが可能になっている。これらアーム１１〜１６は、基台１１０側からエンドエフェクター１９側に向かってこの順に連結されている。また、各アーム１１〜１６は、隣り合うアームまたは基台１１０に対して図示しない所定の回動軸（第１回動軸〜第６回動軸）周りに回動可能になっている。すなわち、基台１１０とアーム１１とは、関節１７１（ジョイント）を介して連結されている。また、アーム１１とアーム１２とは、関節１７２（ジョイント）を介して連結されている。また、アーム１２とアーム１３とは、関節１７３（ジョイント）を介して連結されている。また、アーム１３とアーム１４とは、関節１７４（ジョイント）を介して連結されている。また、アーム１４とアーム１５とは、関節１７５（ジョイント）を介して連結されている。また、アーム１５とアーム１６とは、関節１７６（ジョイント）を介して連結されている。

エンドエフェクター１９としては、特に限定されないが、本実施形態では、対象物を把持（保持）、解放することが可能なロボットハンドが用いられている。また、エンドエフェクター１９の他の構成例としては、例えば、対象物を把持（保持）、解放することが可能な吸着ヘッド等が挙げられる。なお、対象物を保持するとは、対象物を移動または対象物の姿勢を変更させることが可能なように、対象物を持つことであり、例えば、把持（掴む）、吸着、載置等が含まれる。また、エンドエフェクター１９、ロボット１の構成要素ではないものとして捉えてもよく、また、ロボット１の構成要素として捉えてもよい。

また、図２に示すように、ロボット１は、一方のアームを他方のアーム（または基台１１０）に対して回動させるモーターおよび減速機等を備える駆動部１３０を有する。モーターとしては、例えば、ＡＣサーボモーター、ＤＣサーボモーター等のサーボモーターを用いることができる。減速機としては、例えば、遊星ギア型の減速機、波動歯車装置等を用いることができる。なお、減速機は省略されていてもよい。また、ロボット１は、モーターまたは減速機の回転軸の回転角度を検出する角度センサー１４０を有する。角度センサー１４０としては、例えば、ロータリーエンコーダー等を用いることができる。また、駆動部１３０および角度センサー１４０は、各アーム１１〜１６に対応して設けられており、本実施形態では、ロボット１は、６つの駆動部１３０および６つの角度センサー１４０を有する。

また、各駆動部１３０は、図示はしないが、例えば図１に示す基台１１０に内蔵されたモータードライバーと電気的に接続（以下、単に「接続」とも言う）されている。各駆動部１３０は、対応するモータードライバーを介してロボット制御装置２により制御される。また、各角度センサー１４０は、ロボット制御装置２に電気的に接続されている。また、エンドエフェクター１９を駆動する駆動部（図示せず）は、ロボット制御装置２により制御される。

以上、ロボット１の構成について簡単に説明した。このようなロボット１は、後述するロボット制御装置２によって制御される。これにより、ロボット１は、適切な動作を行うことができる。

なお、ロボット１は、図示はしないが、例えばエンドエフェクター１９に加わる力（モーメントを含む）を検出する６軸力覚センサー等で構成された力検出装置（力検出部）を備えていてもよい。力検出装置は、例えば、アーム１６とエンドエフェクター１９との間に配置され、ロボット制御装置２に電気的に接続される。力検出装置を設けることにより、例えば、インピーダンス制御等の力制御を行うことが可能になる。

〈ロボット制御装置〉
ロボット制御装置２は、ロボット１の動作を制御する。このロボット制御装置２は、ロボット１が有する各部の機能をつかさどるロボットコントローラーで構成されており、ロボット１、コンピューター５および画像処理装置４２に対して通信可能に接続されている。

ロボット制御装置２とロボット１とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。また、ロボット制御装置２は、ロボット１と別体であってもよく、また、ロボット１（例えば、基台１１０等）にその一部または全部が内蔵されていてもよい。また、ロボット制御装置２とコンピューター５とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。また、ロボット制御装置２と画像処理装置４２とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。

図２に示すように、ロボット制御装置２は、プロセッサーを備える制御部２１と、制御部２１に通信可能に接続されたメモリー等を備える記憶部２２と、外部インターフェース（Ｉ／Ｆ）を備える外部入出力部２３（受付部）と、を含む。外部入出力部２３は、ロボット制御装置２の受付部の一例である。ロボット制御装置２の各構成要素は、種々のバスを介して相互通信可能に接続されている。

制御部２１は、記憶部２２に記憶された各種プログラム等を実行する。これにより、ロボット１の動作の制御や各種演算および判断等の処理を実現できる。記憶部２２には、制御部２１により実行可能な各種プログラムが保存（記憶）されている。また、記憶部２２には、外部入出力部２３で受け付けた各種データの保存が可能である。記憶部２２は、例えばＲＡＭ（Random Access Memory）等の揮発性メモリーや、ＲＯＭ（Read Only Memory）等の不揮発性メモリー等を含んで構成されている。なお、記憶部２２は、非着脱式に限らず、着脱式の外部記憶装置（図示せず）を有する構成であってもよい。

なお、上述の各種プログラムとしては、コンピューター５から出力された動作プログラムや、動作プログラムの修正や変更をするプログラム等が挙げられる。各種データとしては、例えば、エンドエフェクター１９の位置姿勢、各アーム１１〜１６の回動角度等に関するデータ等が挙げられる。

外部入出力部２３は、外部インターフェース（Ｉ／Ｆ）を備え、ロボット１、コンピューター５および画像処理装置４２の各接続のために用いられる。

このようなロボット制御装置２は、例えばコンピューター５で作成した動作プログラムに基づいて（を用いて）ロボット１を制御する。これにより、コンピューター５で作成した動作プログラムを用いて、ロボット１に適切な動作を行わせることができる。

なお、ロボット制御装置２は、前述した構成に加えて、さらに他の構成が付加されていてもよい。また、ロボット制御装置２には、ディスプレイ等を有する表示装置や、例えばマウスやキーボード等の入力装置が接続されていてもよい。また、記憶部２２に保存されている各種プログラムやデータ等は、予め記憶部２２に記憶されたものであってもよいし、例えばＣＤ−ＲＯＭ等の記録媒体（図示せず）に格納されており、この記録媒体から提供されたものでもよいし、ネットワーク等を介して提供されたものであってもよい。

〈コンピューター〉
図２に示すコンピューター５としては、例えばＰＣ（Personal Computer）等の種々のコンピューターを用いることが可能であり、ロボット制御装置２および画像処理装置４２に対して通信可能に接続されている。コンピューター５は、プロセッサーを備える制御部５１と、制御部５１に通信可能に接続されたメモリー等を備える記憶部５２と、外部Ｉ／Ｆ（インターフェース）を備える外部入出力部５３（受付部）と、を含む。外部入出力部５３は、コンピューター５の受付部の１例である。コンピューター５の各構成要素は、種々のバスを介して相互通信可能に接続されている。また、コンピューター５と画像処理装置４２とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。

制御部５１は、記憶部５２に記憶された各種プログラム等を実行する。これにより、画像処理装置４２等の制御や各種演算および判断等の処理を実現できる。また、記憶部５２には、制御部５１により実行可能な各種プログラムが保存されている。また、記憶部５２には、外部入出力部５３で受け付けた各種データの保存が可能である。記憶部５２は、例えばＲＡＭ（Random Access Memory）等の揮発性メモリーや、ＲＯＭ（Read Only Memory）等の不揮発性メモリー等を含んで構成されている。なお、記憶部５２は、非着脱式に限らず、着脱式の外部記憶装置（図示せず）を有する構成であってもよい。

外部入出力部５３は、外部Ｉ／Ｆ（インターフェース）を備え、ロボット制御装置２、画像処理装置４２、表示装置３１および入力装置３２との各接続のために用いられる。したがって、外部入出力部５３は、作業者（ユーザー）による入力装置３２の操作（指令）を受け付ける受付部としての機能を有する。また、外部入出力部５３は、複数のモードのうち所定のモードの選択を受け付けるモード受付部としての機能を有する。また、外部入出力部５３は、表示装置３１のモニターに各種画面に関する信号を出力する出力部としての機能を有する。

また、コンピューター５は、前述した構成に加えて、さらに他の構成が付加されていてもよい。また、記憶部５２に保存されている各種プログラムやデータ等は、予め記憶部５２に記憶されたものであってもよいし、例えばＣＤ−ＲＯＭ等の記録媒体（図示せず）に格納されており、この記録媒体から提供されたものでもよいし、ネットワーク等を介して提供されたものであってもよい。

〈撮像部〉
撮像部４１は、撮像素子（図示せず）およびレンズ群（図示せず）等を有している。また、撮像部４１は、ロボット１以外の（ロボット１とは異なる）任意の設置個所、例えば、天井等の任意の設置箇所に取り付けられており（固定されており）、下方を撮像可能になっている（下方を向いている）。ただし、撮像部４１は、床に取り付けられており、上方を撮像可能になっていてもよい。また、撮像部４１は、ロボット１に設けられていてもよい（言い換えると、ロボット１が有するカメラを撮像部４１として用いてもよい）。なお、撮像素子としては、特に限定されず、例えば、ＣＣＤイメージセンサー、ＣＭＯＳイメージセンサー等が挙げられる。また、撮像部４１は、２つの撮像素子を用いた３Ｄカメラであってもよい。この撮像部４１は、撮像を行って、画像（画像データ）を生成する。

〈画像処理装置（制御装置）〉
画像処理装置４２（制御装置）は、撮像部４１が撮像した画像（画像データ）に対して各種の画像処理を行い、対象物の位置および姿勢を特定（認識）する。この画像処理装置４２は、撮像部４１に対して通信可能に接続されている。

また、画像処理装置４２は、プロセッサーを備える領域設定部４２１および画像処理部４２４と、これらに通信可能に接続されたメモリー等を備える記憶部４２２と、外部Ｉ／Ｆ（インターフェース）を備える外部入出力部４２３（受付部）と、を含む。外部入出力部４２３は、画像処理装置４２の受付部の一例である。画像処理装置４２の各構成要素は、種々のバスを介して相互通信可能に接続されている。また、画像処理装置４２と撮像部４１とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。

領域設定部４２１および画像処理部４２４は、それぞれ、記憶部４２２に記憶された各種プログラム等を実行する。これにより、対象物の画像認識を実現できる。すなわち、領域設定部４２１および画像処理部４２４は、それぞれ、撮像部４１により対象物を撮像して得られた画像に含まれる対象物を認識（検出）する機能を有する。なお、領域設定部４２１および画像処理部４２４の機能については、後に詳細に説明する。

記憶部４２２には、領域設定部４２１および画像処理部４２４により実行可能な各種プログラムが保存されている。また、記憶部４２２には、外部入出力部４２３で受け付けた各種データの保存が可能である。記憶部４２２は、例えばＲＡＭ（Random Access Memory）等の揮発性メモリーや、ＲＯＭ（Read Only Memory）等の不揮発性メモリー等を含んで構成されている。なお、記憶部４２２は、非着脱式に限らず、着脱式の外部記憶装置（図示せず）を有する構成であってもよい。

外部入出力部４２３は、外部Ｉ／Ｆ（インターフェース）を備え、撮像部４１、ロボット制御装置２およびコンピューター５との各接続のために用いられる。この外部入出力部４２３は、撮像部４１により対象物を撮像して得られた画像（画像データ）を受け付ける画像受付部としての機能を有する。

また、画像処理装置４２は、前述した構成に加えて、さらに他の構成が付加されていてもよい。また、記憶部４２２に保存されている各種プログラムやデータ等は、予め記憶部４２２に記憶されたものであってもよいし、例えばＣＤ−ＲＯＭ等の記録媒体（図示せず）に格納されており、この記録媒体から提供されたものでもよいし、ネットワーク等を介して提供されたものであってもよい。

〈表示装置および入力装置〉
図２に示す表示装置３１は、ディスプレイを備えており、例えば各種画面を表示する機能を有する。また、表示装置３１としては、特に限定されず、例えば、液晶表示装置、有機ＥＬ表示装置等の直視型の表示装置、プロジェクター等の投射型表示装置等が挙げられる。この表示装置３１は、コンピューター５に接続されているが、ロボット制御装置２に接続することもできる。また、２つの表示装置３１を用意し、その表示装置３１をコンピューター５およびロボット制御装置２に接続することもできる。ここでは、表示装置３１がコンピューター５に接続されている場合を例に挙げて説明する。

入力装置３２は、例えばマウスやキーボード等を含んで構成されている。この入力装置３２は、コンピューター５に接続されているが、ロボット制御装置２に接続することもできる。また、２つの入力装置３２を用意し、その入力装置３２をコンピューター５およびロボット制御装置２に接続することもできる。ここでは、入力装置３２がコンピューター５に接続されている場合を例に挙げて説明する。作業者は、入力装置３２を操作することで、コンピューター５に対して各種の処理等の指示（入力）を行うことができる。

具体的には、作業者は、表示装置３１に表示される各種画面（ウィンドウ等）に対して入力装置３２のマウスでクリックする操作や、入力装置３２のキーボードで文字や数字等を入力する操作により、コンピューター５に対する指示を行うことができる。以下、この作業者による入力装置３２を用いた指示（入力装置３２による入力）を「操作指示」とも言う。この操作指示は、入力装置３２により、表示装置３１に表示された内容から所望の内容を選択する選択操作や、入力装置３２により、文字や数字等を入力する入力指示等を含む。また、入力には、選択も含まれる。

なお、コンピューター５には、表示装置３１および入力装置３２がそれぞれ１つ接続されていてもよいし、それぞれ複数接続されていてもよい。また、表示装置３１および入力装置３２の代わりに、表示装置３１および入力装置３２の機能を兼ね備えた表示入力装置（図示せず）を用いてもよい。表示入力装置としては、例えばタッチパネル等を用いることができる。
以上、ロボットシステム１００の基本的な構成について簡単に説明した。

≪ロボットシステムの動作≫
以下、ロボットシステム１００の作業として、図３に示すように、テーブルＴ１に載置された対象物７１を、別のテーブルＴ２に搬送する作業について代表して説明する。この場合、ロボット１は、エンドエフェクター１９により対象物７１を把持し、アームを動かして、把持した対象物７１をテーブルＴ２まで搬送し、対象物７１を開放することにより、テーブルＴ１からテーブルＴ２への対象物７１の搬送を実現する。このような作業において、ロボット１は、対象物７１を正しく把持できるように、対象物７１の状態（位置よおび姿勢）を知る必要がある。

以下、対象物７１の状態を特定する処理について詳細に説明する。なお、テーブルＴ１としては、特に限定されないが、説明の便宜上、テーブルＴ１は、白色の領域Ｔ１ｗと黒色の領域Ｔ１ｂとが格子状に配置された模様を有しているものとし、白色の領域Ｔ１ｗ上に対象物７１が載置されている例について説明する。

まず、撮像部４１により、テーブルＴ１上の対象物７１を含む画像Ｐ１（撮像画像）が撮像される。この画像Ｐ１は、例えば、図４に示すような画像となる。画像Ｐ１は、撮像部４１から画像処理装置４２に送信され、画像処理装置４２の領域設定部４２１は、受信した画像Ｐ１に基づいて、探索領域Ａｓ（関心領域：ＲＯＩ）を設定する。

探索領域Ａｓは、対象物７１の全域を含むように設定され、本実施形態では、図５に示すように、斜めに傾いた台形の領域となっている。ただし、探索領域Ａｓの形状や大きさは、特に限定されない。また、探索領域Ａｓは、作業者から指定（教授）を受けてもよいし、領域設定部４２１が検出してもよい。領域設定部４２１が探索領域Ａｓを検出する方法としては、例えば、画像Ｐ１の全体を画像としたテンプレートマッチング処理によって対象物７１に設けられたマーカー（図示せず）を検出し、このマーカーの周囲であって、対象物７１の全体が含まれるのに十分な領域を探索領域Ａｓとして設定することができる。

画像処理装置４２は、領域設定部４２１によって探索領域Ａｓを設定した後、図６に示すように、画像処理部４２４によって画像Ｐ１から探索領域Ａｓの全域を含む画像Ｐ２を切り出す。以下では、画像Ｐ２を「切り出し画像Ｐ２」と言う。そして、画像処理部４２４は、切り出し画像Ｐ２を用いて画像処理を行う。具体的には、画像処理部４２４は、切り出し画像Ｐ２の全域を新たな探索領域Ａｓ’とし、画像Ｐ２の全域を探索することにより、図７に示すように、対象物７１のエッジＥ（輪郭）を検出する。ここで、切り出し画像Ｐ２は、探索領域Ａｓの全域を含みつつ、より小さい範囲とすることが好ましく、本実施形態では、探索領域Ａｓに外接する矩形となっている。これにより、探索領域Ａｓ’をより小さくすることができ、すなわち、探索領域Ａｓ’に含まれる画素数を少なくすることができ、探索の負担を低減することができる。

対象物７１のエッジＥを検出する方法としては、特に限定されず、例えば、切り出し画像Ｐ２に含まれる全ての画素について、画素の特徴を検出し、検出した各画素の特徴に基づいて対象物７１のエッジＥを検出することができる。より具体的には、例えば、切り出し画像Ｐ２が白黒画像（グレースケール）の場合には、各画素の輝度を検出し、各画素の輝度に基づいて対象物７１のエッジＥを検出することができる。例えば、図８に示すように、横に並ぶ３つの画素Ｐｘ１、Ｐｘ２、Ｐｘ３について、互いの輝度を比較し、画素Ｐｘ１と画素Ｐｘ３との輝度の急峻な差から、これらの間にある画素Ｐｘ２をエッジＥとして特定することができる。また、例えば、切り出し画像Ｐ２がカラー画像の場合には、各画素の色度を検出し、各画素の色度に基づいて対象物７１のエッジＥを検出することができる。

ここで、図９に示すように、切り出し画像Ｐ２にはテーブルＴ１の白色の領域Ｔ１ｗと黒色の領域Ｔ１ｂとの境界Ｑが存在しているため、画像処理部４２４が、この境界Ｑを対象物７１のエッジＥとして誤認してしまう場合がある。このように、画像処理部４２４が、境界Ｑを対象物７１のエッジＥとして誤認してしまうと、対象物７１の状態を正しく検出することができなくなる。そこで、画像処理部４２４は、境界ＱをエッジＥと誤認しないように、次のような処理を行う。

画像処理部４２４は、図１０に示すように、領域設定部４２１によって設定された探索領域Ａｓの輪郭に沿って切り出し画像Ｐ２をぼかす処理を行う。これにより、境界Ｑがぼやけ、境界ＱがエッジＥとして認識され難くなる。そのため、画像処理部４２４が、境界ＱをエッジＥと誤認してしまうことを抑制することができ、精度よく、対象物７１のエッジＥを検出することができる。なお、図１０では、境界Ｑの一部がぼやけているが、これに限定されず、境界Ｑの全部がぼやけていてもよく、ぼやける範囲が広い程、上述の効果をより顕著に発揮することができる。

このような方法によれば、対象物７１のエッジＥ以外のエッジがエッジＥとして検出さされてしまうことを抑制でき、切り出し画像Ｐ２のみから、すなわち、切り出し画像Ｐ２の他に従来のようなマスク画像を用いなくても、精度よく、対象物７１のエッジＥを検出することができる。そのため、従来のようなマスク画像を形成するためメモリーが不要となり、前述した従来構成と比較してメモリーの容量を小さく抑えることができる。

探索領域Ａｓの輪郭に沿って切り出し画像Ｐ２をぼかす処理方法については、特に限定されない。例えば、切り出し画像Ｐ２が白黒画像（グレースケール）である場合には、探索領域Ａｓの輪郭付近の輝度値を輪郭から離間する方向に徐々に変化させる方法が挙げられる。例えば、本実施形態では、探索領域Ａｓの輪郭から離間する方向に沿って白色から黒色に徐々（段階的）に変化するように、輝度を徐々（段階的）に小さくしている。このような処理によれば、比較的簡単にかつ確実に探索領域Ａｓの輪郭に沿って切り出し画像Ｐ２をぼかすことができる。このような処理は、平滑化フィルターを用いて、探索領域Ａｓの輪郭付近の輝度を平滑化することにより実行することができる。これにより、比較的簡単に、切り出し画像Ｐ２をぼかすことができる。なお、平滑化フィルターとしては、特に限定されないが、例えば、ガウシアンフィルターを用いることができる。

また、切り出し画像Ｐ２がカラー画像である場合には、彩度、色相、明度の少なくとも１つを探索領域Ａｓの輪郭から離間する方向に徐々に変化させることにより切り出し画像Ｐ２をぼかすことができる。これにより、比較的簡単に、切り出し画像Ｐ２をぼかすことができる。なお、彩度を徐々に変化させる場合は、例えば、探索領域Ａｓの輪郭から離間する方向に沿って彩度を徐々に低下させて、無彩色に近づけていくことにより、切り出し画像Ｐ２をぼかすことができる。また、色相を徐々に変化させる場合は、例えば、探索領域Ａｓの輪郭から離間する方向に沿って色相を徐々に変化させて、所定の色相（または輪郭の色相）から補色となる色相に向けて変化させることにより、切り出し画像Ｐ２をぼかすことができる。また、明度を徐々に変化させる場合は、例えば、探索領域Ａｓの輪郭から離間する方向に沿って明度を徐々に低下させて、暗い色に近づけていくことにより、切り出し画像Ｐ２をぼかすことができる。

図１０に示すように、切り出し画像Ｐ２の現画像に対してぼかす領域は、探索領域Ａｓの外側の領域である。すなわち、探索領域Ａｓの輪郭からその外側に離間する方向に切り出し画像Ｐ２をぼかしている。前述したように、探索領域Ａｓのどこかに対象物７１が存在しているため、例えば、探索領域Ａｓの内側の領域をぼかしてしまうと、対象物７１のエッジＥも一緒にぼけてしまうおそれがある。そのため、探索領域Ａｓの外側の領域だけをぼかすことにより、対象物７１のエッジＥがぼけてしまうことを確実に防止することができる。したがって、より精度よくエッジＥを検出することができる。ただし、ぼかす領域は、これに限定されず、例えば、図１１に示すように、探索領域Ａｓの外側の領域と共に、内側の領域についてもぼかしてもよい。

画像処理装置４２は、上述した方法によって対象物７１のエッジＥを検出し、対象物７１の輪郭形状を取得する。次に、画像処理装置４２は、輪郭形状を画像としたテンプレートマッチング処理によって、対象物７１の姿勢を検出する。すなわち、輪郭形状の画像をテンプレート画像で走査して両画像の類似度を求め、この類似度にしたがって、対象物７１の姿勢および位置を検出する。画像処理装置４２は、検出した対象物７１の状態（位置および姿勢）をロボット制御装置２に送信し、ロボット制御装置２は、受信した対象物７１の状態に基づいて、ロボット１の各部の駆動を制御する。これにより、ロボット１によって、対象物７１を適切に把持、搬送することができる。

以上説明したように、画像処理装置４２（制御装置）は、撮像部４１が対象物７１を撮像した画像Ｐ１（撮像画像）に基づいて対象物７１を処理するロボットを制御する装置である。そして、画像処理装置４２は、画像Ｐ１において対象物７１を探索する探索領域Ａｓを設定する領域設定部４２１と、探索領域Ａｓの輪郭に沿って画像Ｐ１をぼかす画像処理部４２４と、を備える。このような画像処理装置４２によれば、対象物７１のエッジＥ以外のエッジがエッジＥとして検出されてしまうことを抑制でき、切り出し画像Ｐ２のみから、すなわち、切り出し画像Ｐ２の他に従来のようなマスク画像を用いなくても、精度よく、対象物７１を検出することができる。そのため、従来のようなマスク画像を形成するためメモリーが不要となり、前述した従来構成と比較してメモリーの容量を小さく抑えることができる。そのため、的確に、ロボット１を制御することができる。

また、画像処理装置４２は、探索領域Ａｓの輪郭に沿って画像Ｐ１をぼかす前に、探索領域Ａｓを含むように画像Ｐ１の一部を切り出す。そして、探索領域Ａｓの輪郭に沿って、切り出した画像（切り出し画像Ｐ２）をぼかす。前述したように、切り出し画像Ｐ２の全域が新たな探索領域Ａｓ’となるため、画像Ｐ１から切り出し画像Ｐ２を切り出すことにより、探索領域Ａｓ’を小さくすることができ、処理の負担を低減することができる。なお、画像Ｐ１から切り出し画像Ｐ２を切り取らず、画像Ｐ１のままでぼかす処理を行ってもよい。

また、画像処理装置４２は、輝度値を探索領域Ａｓの輪郭から離間する方向に徐々に変化させることにより切り出し画像Ｐ２をぼかす。これにより、比較的簡単な処理で、切り出し画像Ｐ２をぼかすことができる。

また、画像処理装置４２は、探索領域Ａｓの輪郭から離間するほど輝度値を小さくする。これにより、比較的簡単に探索領域Ａｓの輪郭に沿って切り出し画像Ｐ２をぼかすことができる。このような処理は、特に、切り出し画像Ｐ２が白黒画像の場合に有効である。

また、画像処理装置４２は、探索領域Ａｓの輪郭に沿って輝度値を平滑化フィルターを用いて平滑化することにより、切り出し画像Ｐ２をぼかす。これにより、比較的簡単に切り出し画像Ｐ２をぼかすことができる。

また、画像処理装置４２は、彩度、色相、明度の少なくとも１つを探索領域Ａｓの輪郭から離間する方向に徐々に変化させることにより切り出し画像Ｐ２をぼかす。これにより、比較的簡単に探索領域Ａｓの輪郭に沿って切り出し画像Ｐ２をぼかすことができる。このような処理は、特に、切り出し画像Ｐ２がカラー画像の場合に有効である。

また、画像処理装置４２は、探索領域Ａｓの輪郭の外側をぼかす。これにより、探索領域Ａｓ内に位置する対象物７１のエッジＥが不本意にぼけてしまうことを確実に防止することができる。したがって、より精度よく対象物７１を検出することができる。

また、ロボット１は、ロボットアームを有し、画像処理装置４２（制御装置）の処理結果に基づいて制御される。このようなロボット１によれば、画像処理装置４２により検出された対象物７１の状態に基づいて制御されるため、適切な動作を行うことができる。

また、ロボットシステム１００は、ロボットアームを有するロボット１と、対象物７１を撮像する撮像部４１と、画像処理装置４２（制御装置）と、画像処理装置４２の処理結果に基づいて、ロボット１を制御するロボット制御装置２と、を備える。このようなロボットシステム１００によれば、画像処理装置４２により検出された対象物７１の状態に基づいてロボット１を制御できるため、ロボット１に適切な動作をさせることができる。

図１２は、実施形態についてハードウェア（プロセッサー）を中心として説明するためのブロック図である。図１２には、ロボット１とコントローラー６１とコンピューター６２が接続されたロボットシステム１００Ａの全体構成が示されている。ロボット１の制御はコントローラー６１にあるプロセッサーによりメモリーにある指令を読みだして実行されてもよいし、コンピューター６２に存在するプロセッサーによりメモリーにある指令を読みだしてコントローラー６１を介して実行されてもよい。

＜変形例１＞
図１３は、本発明のロボットシステムの他の例１（変形例１）を示すブロック図である。図１３には、ロボット１に直接コンピューター６３が接続されたロボットシステム１００Ｂの全体構成が示されている。ロボット１の制御はコンピューター６３に存在するプロセッサーによりメモリーにある指令を読みだして直接実行される。

＜変形例２＞
図１４は、本発明のロボットシステムの他の例２（変形例２）を示すブロック図である。図１４には、コントローラー６１が内蔵されたロボット１とコンピューター６６が接続され、コンピューター６６がＬＡＮ等のネットワーク６５を介してクラウド６４に接続されているロボットシステム１００Ｃの全体構成が示されている。ロボット１の制御はコンピューター６６に存在するプロセッサーによりメモリーにある指令を読みだして実行されてもよいし、クラウド６４上に存在するプロセッサーによりコンピューター６６を介してメモリーにある指令を読みだして実行されてもよい。

また、ロボットシステム１００Ａ、１００Ｂ、１００Ｃでは、各プロセッサーは、それぞれ、１つの装置で構成されていてもよく、また、複数の装置で構成されていてもよい、すなわち、複数の単位プロセッサーに分かれていてもよい。

以上、本発明の制御装置、ロボットおよびロボットシステムを図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、他の任意の構成物が付加されていてもよい。

また、前述した実施形態では、ロボットとして、６軸の垂直多関節ロボットを例示したが、当該ロボットは、これに限らず、例えば、スカラーロボット等の水平多関節ロボット、脚部を有する脚式歩行（走行）ロボット等の他の形態のロボットであってもよい。また、当該ロボットは、単腕ロボットに限定されず、例えば、双腕ロボット等の他のロボットであってもよい。したがって、ロボットアーム（可動部）の数は、１つに限定されず、２つ以上であってもよい。また、ロボットアーム（可動部）が有するアームの数は、前述した実施形態では、６つであるが、１つ〜５つまたは７つ以上であってもよい。

１…ロボット、２…ロボット制御装置、５…コンピューター、１０…ロボットアーム、１１、１２、１３、１４、１５、１６…アーム、１９…エンドエフェクター、２１…制御部、２２…記憶部、２３…外部入出力部、３１…表示装置、３２…入力装置、４１…撮像部、４２…画像処理装置、５１…制御部、５２…記憶部、５３…外部入出力部、６１…コントローラー、６２、６３…コンピューター、６４…クラウド、６５…ネットワーク、６６…コンピューター、７０…設置箇所、７１…対象物、１００、１００Ａ、１００Ｂ、１００Ｃ…ロボットシステム、１１０…基台、１３０…駆動部、１４０…角度センサー、１７１、１７２、１７３、１７４、１７５、１７６…関節、４２１…領域設定部、４２２…記憶部、４２３…外部入出力部、４２４…画像処理部、Ａｓ、Ａｓ’…探索領域、Ｅ…エッジ、Ｐ１…画像、Ｐ２…切り出し画像、Ｐｘ１、Ｐｘ２、Ｐｘ３…画素、Ｑ…境界、Ｔ１…テーブル、Ｔ１ｂ…領域、Ｔ１ｗ…領域、Ｔ２…テーブル

Claims (9)

1. 撮像部が対象物を撮像した撮像画像に基づいて前記対象物を処理するロボットを制御する制御装置であって、
   前記撮像画像において前記対象物を探索する探索領域を設定する領域設定部と、
   前記探索領域の輪郭に沿って前記撮像画像をぼかす画像処理部と、を備えることを特徴とする制御装置。
2. 前記画像処理部は、前記探索領域の輪郭に沿って前記撮像画像をぼかす前に、前記探索領域を含むように前記撮像画像の一部を切り出す請求項１に記載の制御装置。
3. 前記画像処理部は、輝度値を前記輪郭から離間する方向に徐々に変化させることにより前記撮像画像をぼかす請求項１または２に記載の制御装置。
4. 前記画像処理部は、前記輪郭から離間するほど前記輝度値を小さくする請求項３に記載の制御装置。
5. 前記画像処理部は、前記輪郭に沿って輝度値を平滑化フィルターを用いて平滑化することにより、前記撮像画像をぼかす請求項１または２に記載の制御装置。
6. 前記画像処理部は、彩度、色相、明度の少なくとも１つを前記輪郭から離間する方向に徐々に変化させることにより前記撮像画像をぼかす請求項１または２に記載の制御装置。
7. 前記画像処理部は、前記輪郭の外側をぼかす請求項１ないし６のいずれか１項に記載の制御装置。
8. ロボットアームを有し、
   請求項１ないし７のいずれか１項に記載の制御装置の処理結果に基づいて制御されることを特徴とするロボット。
9. ロボットアームを有するロボットと、
   対象物を撮像する撮像部と、
   請求項１ないし７のいずれか１項に記載の制御装置と、
   前記制御装置の処理結果に基づいて、前記ロボットを制御するロボット制御装置と、を備えることを特徴とするロボットシステム。

Images