JP7159615B2 - 画像処理装置、及び、ロボットシステム - Google Patents

Description

本発明は、画像処理装置、及び、ロボットシステムに関するものである。

ロボットなどの各種の装置において、被写体をカメラで撮影し、その画像を処理することによって被写体を認識し、ロボットに被写体に対する作業を行わせる技術が利用される。その際、ユーザーは被写体を認識させるための好ましい画像処理条件を設定する必要がある。特許文献１には、同一の画像に対して、複数の画像修正の選択と修正量を受け付け、画像修正を実施した結果の縮小画像を並べてプリントする技術が開示されている。縮小画像の表示欄の外周には、修正項目と修正値が表示される。この技術では、縮小画像と共にその修正項目と修正値を表示するので、複数項目の修正結果を比較しながら、好ましい画像が得られる画像処理条件を設定することができる。

特開２００６－１０８８１０号公報

しかしながら、上述した従来技術では、縮小画像の画像サイズが小さいので、好ましい画像処理条件を判断することが困難な場合があった。

本発明の一形態によれば、画像処理装置が提供される。この表示部と接続される画像処理装置は、被写体を撮影して画像を取得するための撮影パラメーターと前記画像に対する画像処理を行うための画像処理パラメーターの組み合わせにより構成された複数組のパラメーター設定を受け付けるパラメーター受付部と；前記複数組のパラメーター設定に基づいて、同一の被写体について前記撮影と前記画像処理とを含む処理シーケンスを実行して結果画像を出力するシーケンス実行部と；前記結果画像に含まれる特徴量を予め定められた判定条件に基づいた合否判定を行う判定部と；前記複数組のパラメーター設定に対する前記処理シーケンスの実行結果を示す複数の縮小画像をそれぞれ複数の結果画像として表示部に一覧表示させる一覧表示実行部と；を備える。前記一覧表示実行部は、前記複数の結果画像のそれぞれの表示領域に前記判定部による合否判定結果を表示する。

ロボットシステムの概念図。 複数のプロセッサーを有する制御装置の一例を示す概念図。 複数のプロセッサーを有する制御装置の他の例を示す概念図。 制御装置の機能を示すブロック図。 被写体の一例を示す平面図。 処理シーケンスの作成に用いる入力画面の一例を示す説明図。 処理シーケンスの確認処理の手順を示すフローチャート。 撮影パラメーターの設定処理の手順を示すフローチャート。 撮影パラメーターの設定画面の一例を示す説明図。 画像処理パラメーターの設定処理の手順を示すフローチャート。 撮影された被写体の画像の一例を示す説明図。 画像処理パラメーターの設定画面の一例を示す説明図。 処理シーケンスの実行手順を示すフローチャート。 処理結果の一覧表示の例を示す説明図。 撮影パラメーターの調整画面の一例を示す説明図。 処理結果の一覧表示の他の例を示す説明図。 処理結果の一覧表示の他の例を示す説明図。

A. 第１実施形態：
図１は、ロボットシステムの概念図である。このロボットシステムは、架台７００に設置されており、ロボット１００と、ロボット１００に接続された制御装置２００と、ティーチングペンダント３００と、パーツフィーダー４００と、ホッパー５００と、パーツトレイ６００と、ストロボ８１０と、カメラ８２０とを備えている。ロボット１００は、架台７００の天板７１０の下に固定されている。パーツフィーダー４００と、ホッパー５００と、パーツトレイ６００は、架台７００のテーブル部７２０に載置されている。ロボット１００は、ティーチングプレイバック方式のロボットである。ロボット１００を用いた作業は、予め作成された教示データに従って実行される。このロボットシステムには、直交する３つの座標軸Ｘ，Ｙ，Ｚで規定されるシステム座標系Σｓが設定されている。図１の例では、Ｘ軸とＹ軸は水平方向であり、Ｚ軸は鉛直上方向である。教示データに含まれる教示点やエンドエフェクターの姿勢は、このシステム座標系Σｓの座標値と各軸回りの角度で表現される。

ロボット１００は、基台１２０と、アーム１３０とを備えている。アーム１３０は、４つの関節Ｊ１～Ｊ４で順次接続されている。これらの関節Ｊ１～Ｊ４のうち、３つの関節Ｊ１，Ｊ２，Ｊ４はねじり関節であり、１つの関節Ｊ３は並進関節である。本実施形態では４軸ロボットを例示しているが、１個以上の関節を有する任意のアーム機構を有するロボットを用いることが可能である。

アーム１３０の先端部に設けられたアームフランジ１３２には、エンドエフェクター１６０が装着されている。図１の例では、エンドエフェクター１６０は、把持機構１６４を用いてパーツを把持して拾い上げるグリッパーである。但し、エンドエフェクター１６０としては、吸着ピックアップ機構などの他の機構を取り付けることも可能である。

パーツフィーダー４００は、エンドエフェクター１６０が把持するパーツを収容する収容装置である。パーツフィーダー４００は、パーツを振動させてパーツ同士を分散させる振動機構を有するように構成されていてもよい。ホッパー５００は、パーツフィーダー４００にパーツを補給するパーツ補給装置である。パーツトレイ６００は、パーツを個別に収容するための多数の凹部を有するトレイである。本実施形態において、ロボット１００は、パーツフィーダー４００の中からパーツを拾い上げて、パーツトレイ６００内の適切な位置に収納する作業を実行する。但し、ロボットシステムは、これ以外の他の作業を行う場合にも適用可能である。

制御装置２００は、プロセッサー２１０と、メインメモリー２２０と、不揮発性メモリー２３０と、表示制御部２４０と、表示部２５０と、Ｉ／Ｏインターフェース２６０とを有している。これらの各部は、バスを介して接続されている。プロセッサー２１０は、例えばマイクロプロセッサー又はプロセッサー回路である。制御装置２００は、Ｉ／Ｏインターフェース２６０を介して、ロボット１００と、ティーチングペンダント３００と、パーツフィーダー４００と、ホッパー５００とに接続される。制御装置２００は、更に、Ｉ／Ｏインターフェース２６０を介してストロボ８１０とカメラ８２０にも接続される。また、ティーチングペンダント３００はパーソナルコンピューターなどの情報処理装置であってもよい。

制御装置２００の構成としては、図１に示した構成以外の種々の構成を採用することが可能である。例えば、プロセッサー２１０とメインメモリー２２０を図１の制御装置２００から削除し、この制御装置２００と通信可能に接続された他の装置にプロセッサー２１０とメインメモリー２２０を設けるようにしてもよい。この場合には、当該他の装置と制御装置２００とを合わせた装置全体が、ロボット１００の制御装置として機能する。他の実施形態では、制御装置２００は、２つ以上のプロセッサー２１０を有していてもよい。更に他の実施形態では、制御装置２００は、互いに通信可能に接続された複数の装置によって実現されていてもよい。これらの各種の実施形態において、制御装置２００は、１つ以上のプロセッサー２１０を備える装置又は装置群として構成される。

図２は、複数のプロセッサーによってロボットの制御装置が構成される一例を示す概念図である。この例では、ロボット１００及びその制御装置２００の他に、パーソナルコンピューター１４００，１４１０と、ＬＡＮなどのネットワーク環境を介して提供されるクラウドサービス１５００とが描かれている。パーソナルコンピューター１４００，１４１０は、それぞれプロセッサーとメモリーとを含んでいる。また、クラウドサービス１５００においてもプロセッサーとメモリーを利用可能である。これらの複数のプロセッサーの一部又は全部を利用して、ロボット１００の制御装置を実現することが可能である。

図３は、複数のプロセッサーによってロボットの制御装置が構成される他の例を示す概念図である。この例では、ロボット１００の制御装置２００が、ロボット１００の中に格納されている点が図２と異なる。この例においても、複数のプロセッサーの一部又は全部を利用して、ロボット１００の制御装置を実現することが可能である。

図４は、制御装置２００の機能を示すブロック図である。制御装置２００のプロセッサー２１０は、メモリー２２０に予め記憶された各種のプログラム命令２２２を実行することにより、ロボット制御部２１１と、パーツフィーダー制御部２１２と、ホッパー制御部２１３と、画像処理部２７０の機能をそれぞれ実現する。画像処理部２７０は、「画像処理装置」に相当する。すなち、制御装置２００は、画像処理装置としての画像処理部２７０を含んでおり、ロボット１００に接続されている。また、画像処理部２７０と接続される表示部２５０は、制御装置２００に含む構成であってもよいし、制御装置２００の外部に設置され、有線または無線で接続された構成であってもよい。

画像処理部２７０は、カメラ８２０を用いた撮影と画像処理とを含む処理シーケンスを設定する処理シーケンス設定部２７１と、処理シーケンスのパラメーターを受け付けるパラメーター受付部２７２と、処理シーケンスを実行するシーケンス実行部２７３と、処理シーケンスの実行結果（以下、処理結果と記載する）を判定する判定部２７４と、処理結果の縮小画像の一覧表示を実行する一覧表示実行部２７５とを含んでいる。これらの各部の機能については後述する。

図５は、被写体としてのワークＷＫの一例を示す平面図である。このワークＷＫは、平坦で暗い表面を有している。ワークＷＫの表面上には、白抜きの文字「ＥＰ」がラベルとして描かれているパーツである。ロボット１００がこのワークＷＫを把持する際には、このワークＷＫをカメラ８２０で撮像し、その画像からワークＷＫの外形、またはワークＷＫの持つ特徴量を正しく検出して認識することが必要となる。

図６は、処理シーケンス設定部２７１によって表示部２５０に表示されるウィンドウＷ１の一例を示している。このウィンドウＷ１は、撮影と画像処理とを含む処理シーケンスを作成するための入力画面であり、以下の領域を含んでいる。
（１）メインビュー領域ＭＶ：
処理シーケンスを構成する処理の分類を示す複数のカテゴリーと、各カテゴリーに属するオブジェクトの名称と、オブジェクトの内容の説明と、オブジェクトの概要を示す図とが表示される領域である。メインビュー領域ＭＶに表示されたオブジェクトは、ドラッグアンドドロップ等の操作によって処理シーケンス作成領域ＦＬ内の処理シーケンスに任意に追加可能である。
（２）処理シーケンス作成領域ＦＬ：
１つ以上のオブジェクトがグラフィカルに配置された処理シーケンスが編集可能に表示される領域である。
（３）シーケンス表示領域ＳＱ：
処理シーケンス作成領域ＦＬに表示されたシーケンスのツリー構造が表示される領域である。
（４）パラメーター設定領域ＰＲ：
処理シーケンス全体に関するパラメーターや、個々の処理に関する処理パラメーターの設定を行うための領域である。処理シーケンス作成領域ＦＬに配置されたブロックのいずれかが選択されると、選択されたブロックに対するパラメーターが表示される。
（５）結果領域ＲＳ：処理シーケンスの実行結果を表示する領域である。
（６）実行指示領域ＲＮ：処理シーケンスの実行を指示するための領域である。

図６の例では、ウィンドウＷ１の処理シーケンス作成領域ＦＬ内に、教示者が処理シーケンスを作成した状態が示されている。この例では、シーケンスブロックＳＢ１の後に、以下のオブジェクトが順に配置されている。
（１）撮像オブジェクトＯＢ１
被写体としてのワークＷＫをカメラ８２０で撮影する動作を規定するオブジェクト。
（２）２値化オブジェクトＯＢ２
ワークＷＫの画像を２値化する処理を規定するオブジェクト。
（３）ノイズ除去オブジェクトＯＢ３
２値化後の画像から、ノイズを除去する処理を規定するオブジェクト。
（４）ラベル消去オブジェクトＯＢ４
ノイズ除去後の画像から、ラベルを消去する処理を規定するオブジェクト。「ラベル」とは、ワークＷＫの表面に表示されている文字やマークを意味しており、図５の例では文字「ＥＰ」がラベルに相当する。
（５）プロファイル検出オブジェクトＯＢ５
各種の画像処理後の画像から、被写体であるワークＷＫの特徴量を示すプロファイルを検出する処理を規定するオブジェクト。ワークＷＫの特徴量としては、例えば、ワークＷＫの画素数や、重心位置、輝度平均値、輝度分散値、エッジ強度などの複数の項目を検出するようにプロファイル検出オブジェクトＯＢ５のパラメーターを設定可能である。

各オブジェクトＯＢ１～ＯＢ５のブロックの中には、そのオブジェクトの名称が表示される。処理シーケンスには、メインビュー領域ＭＶに表示されたオブジェクトの選択肢の中から任意のオブジェクトを追加可能である。また、処理シーケンス中の任意のオブジェクトを削除することも可能である。なお、ウィンドウＷ１を用いた処理シーケンスの設定方法は、単なる例示であり、これ以外の任意の方法で処理シーケンスを設定してもよい。

処理シーケンス作成領域ＦＬに配置されたブロックＳＢ１，ＯＢ１～ＯＢ５のいずれかが選択されると、選択されたブロックに対するパラメーターがパラメーター設定領域ＰＲに表示される。例えば、シーケンスブロックＳＢ１が選択されると、シーケンス全体に関するパラメーターが表示される。また、オブジェクトのブロックＯＢ１～ＯＢ５のいずれかが選択されると、そのオブジェクトに関するパラメーターが表示される。

図７は、処理シーケンスの確認処理の手順を示すフローチャートである。この処理は、処理シーケンス設定部２７１とパラメーター受付部２７２によって実行される。

ステップＳ１１０では、撮影パラメーターが設定される。例えば、図６の動作フロー領域ＦＬの中の１番目の撮像オブジェクトＯＢ１を教示者が選択することによって、ステップＳ１１０の処理が開始される。

図８は、図７のステップＳ１１０における撮影パラメーターの設定処理の手順を示すフローチャートである。この処理は、パラメーター受付部２７２によって実行される。まず、ステップＳ１１１では、撮影パラメーター設定ファイルが読み込まれる。撮影パラメーター設定ファイルは予め設定されて不揮発性メモリー２３０に格納されている。ある被写体について撮影を一度も行われていない場合には、撮影パラメーターの初期値が設定された撮影パラメーター設定ファイルを使用可能である。ステップＳ１１２では、表示部２５０に撮影パラメーター設定画面が表示される。

図９は、撮影パラメーターの設定画面Ｗ２の一例を示す説明図である。この例では、撮影パラメーターとして、露光時間と絞りの２つのパラメーターを設定可能となっている。また、各パラメーターについて、最小値と、最大値と、間隔とが設定可能である。この例では、露光時間の最小値は０．１秒であり、最大値が０．３秒であり、間隔が０．１秒である。この設定は、露光時間として、０．１秒、０．２秒、０．３秒の３つの値が設定されていることを意味する。この例では、露光時間と絞りについてそれぞれ３つの値が設定されており、その全ての組み合わせである９通りの組み合わせが、撮影パラメーターとして設定されている。撮影パラメーターとしては、これ以外のパラメーターを任意に設定可能である。例えば、撮影倍率やストロボ８１０の光量などを撮影パラメーターとして設定してもよい。

図８のステップＳ１１３では、教示者が撮影パラメーターの設定を変更するか否かを判断する。撮影パラメーターを変更しない場合には、後述するステップＳ１１６に進む。一方、撮影パラメーターを変更する場合には、ステップＳ１１４で教示者が設定を変更するとこれに応じて撮影パラメーター設定ファイルが更新される。設定の変更が終了していなければステップＳ１１５からステップＳ１１３に戻る。一方、設定が終了すると、ステップＳ１１６に進み、撮影パラメーター設定ファイルが保存されて、撮影パラメーターの設定処理が終了する。

図７のステップＳ１２０では、画像処理パラメーターが設定される。ステップＳ１２０は、ステップＳ１１０が終了すると自動的に開始されるようにしてもよい。あるいは、図６の動作フロー領域ＦＬの中の２番目のオブジェクトＯＢ２を教示者が選択することによって、ステップＳ１２０の処理が開始されるようにしてもよい。

図１０は、図７のステップＳ１２０における画像処理パラメーターの設定処理の手順を示すフローチャートである。この処理も、パラメーター受付部２７２によって実行される。図１０のステップＳ１２１～Ｓ１２６の処理は、図８のステップＳ１１１～Ｓ１１６における「撮影パラメーター」を「画像処理パラメーター」と置き換えたものなので、詳しい説明は省略する。

図１１は、カメラ８２０でワークＷＫを撮影して得られる画像ＭＲの一例を示している。以下ではこの画像ＭＲを例として画像処理パラメーターの設定例について説明する。

図１２は、画像処理パラメーターの設定画面Ｗ３の一例を示す説明図である。この例では、以下の画像処理パラメーターを設定可能である。
（１）２値化閾値
２値化オブジェクトＯＢ２における２値化処理で使用する閾値である。
（２）ノイズ除去フィルターの種類
ノイズ除去オブジェクトＯＢ３におけるノイズ除去処理で使用するフィルターの種類である。ノイズ除去フィルターとしては、例えばメジアンフィルターや平滑化フィルターを選択可能である。
（３）フィルターサイズ
ノイズ除去オブジェクトＯＢ３におけるノイズ除去処理で使用するフィルターのサイズであり、フィルターの一辺の画素数を示す。
（４）消去ラベルサイズ
ラベル消去オブジェクトＯＢ４において消去すべき文字の画素数を示す。例えば、図１１に示すように、ワークＷＫの表面に２つの文字「Ｅ」，「Ｐ」が存在するとき、各文字「Ｅ］，「Ｐ」の画素数が消去ラベルサイズ以下であれば、その文字が消去される。
（５）輝度平均値検出位置
プロファイル検出オブジェクトＯＢ５において検出すべきプロファイルとして、被写体の輝度平均値を被写体のどの位置で算出するかを示す値である。ここでは、輝度平均値検出位置として「中央」が選択されている。このとき、図１１に示すように、被写体であるワークＷＫのＹ方向の中心線ＣＬ上においてワークＷＫの輝度平均値が算出される。中心線ＣＬは、ワークＷＫの重心を通り、画像ＭＲの横方向に平行な直線である。なお、ワークＷＫのＹ方向の中央でなく、Ｘ方向の中央を選択できるようにしてもよい。また、輝度平均値検出位置として、中央以外の位置を任意に設置できるようにしてもよい。具体的には、例えば、ワークＷＫの上端から１ｃｍの位置に設定できるようにしてもよい。
（６）輝度分散値検出位置
プロファイル検出オブジェクトＯＢ５において検出すべきプロファイルとして、被写体の輝度分散値を被写体のどの位置で算出するかを示す値である。
（７）エッジ強度検出位置
プロファイル検出オブジェクトＯＢ５において検出すべきプロファイルとして、被写体のエッジ強度を被写体のどの位置で算出するかを示す値である。図１２の例では、「中央」が選択されているので、図１０に示したワークＷＫの中心線ＣＬ上の各画素についてエッジ強度が算出される。
（８）シーケンス処理時間上限
撮影を除く画像処理の許容時間である。画像処理シーケンスの実行時間がこの上限を超える場合には、処理に時間が掛かりすぎるので処理シーケンスは不合格とされる。
（９）被写体認識サイズ下限
画像の中で認識された被写体の画素数の下限値である。被写体の画素数がこの下限値未満の場合には、被写体を正しく認識できていないので、処理シーケンスは不合格とされる。

上記（１）～（４）のパラメーターは、画像処理の結果の良否に影響のあるパラメーターであり、狭義の「画像処理パラメーター」に相当する。これらの画像処理パラメーターについては、図９に示した撮影パラメーターと同様に、１つのパラメーターについて複数の値を設定するようにしてもよい。この場合には、撮影パラメーターと画像処理パラメーターの複数の組み合わせについて、それぞれ処理シーケンスが実行されて、その処理結果の良否が判定される。

上記（５）～（７）の３つのパラメーターは、被写体の属性を示すプロファイルの項目に相当する。プロファイルの項目としては、これら以外の項目も使用可能である。

上記（８）、（９）の２つのパラメーターは、画像処理の処理結果が合格か否かを判定するための判定条件として使用される。これらの２つのパラメーターを判定条件として使用する場合には、これらを両方とも満足する場合に、判定条件を満足するものと判定される。但し、これらは一例であり、処理結果の判定条件は被写体や画像処理の種類に応じて任意に設定可能である。

こうして撮影パラメーターと画像処理パラメーターがすべて設定されると、図７のステップＳ１３０において、処理シーケンスが実行される。例えば、教示者が図６の実行指示領域ＲＮに含まれる「実行」ボタンを押すと、ステップＳ１３０が開始される。

図１３は、図７のステップＳ１３０における処理シーケンスの実行手順を示すフローチャートである。この処理は、シーケンス実行部２７３によって実行される。

ステップＳ１３１では、撮影パラメーター設定ファイルが読み込まれ、ステップＳ１３２では、撮影パラメーターに応じてカメラ８２０による被写体の撮影が実行される。この撮影の際には、必要に応じてストロボ８１０の発光も利用可能である。図９で説明したように、撮影条件としては、撮影パラメーターの９通りの組み合わせが設定されているので、それらの９通りの撮影条件において撮影が実行され、９枚の画像が生成される。ステップＳ１３３では、すべての撮影が終了したか否かが判断され、終了していなければステップＳ１３２に戻る。一方、すべての撮影が終了するとステップＳ１３４に進む。

ステップ１３４では、画像処理パラメーター設定ファイルが読み込まれ、ステップＳ１３５では、複数の画像のそれぞれについて処理シーケンスに従って画像処理が実行される。ステップＳ１３６では、その処理結果が保存される。

こうして処理シーケンスが終了すると、図７のステップＳ１４０に進み、処理結果についての判定が判定部２７４によって実行される。処理結果の判定は、図１２で説明した「シーケンス処理時間」と「被写体サイズ」とを含む複数の項目に関して行われる。そして、ステップＳ１５０において、処理結果を示す一覧表示が一覧表示実行部２７５によって実行される。

図１４は、処理結果の一覧表示の例を示す説明図である。ここでは、撮影パラメーター設定プロファイルで設定された複数の撮影条件に対応する複数の結果画像ＴＭ（ｉ，ｊ）が、表示部２５０に一覧表示されている。図９で説明したように、本実施形態では露光時間と絞りについて、それぞれ３つの値が設定されているので、それらの９つの組み合わせに対応する９つの結果画像ＴＭ（ｉ，ｊ）が一覧表示されている。図１４の横軸ｉは例えば露光時間の３つの値に対応し、縦軸ｊは絞りの３つの値に対応している。複数の結果画像ＴＭ（ｉ，ｊ）を表示部２５０に一覧表示するために、各結果画像ＴＭ（ｉ，ｊ）は、画像処理後の画像の縮小画像を含んでいる。縮小画像としては、例えばサムネイル画像が使用される。

結果画像ＴＭ（ｉ，ｊ）の表示領域には、処理結果が判定条件を満足するか否かを示す符号「ＯＫ」又は「ＮＧ」が表示されている。すなわち、処理結果が判定条件を満足する場合には「ＯＫ」の文字が表示され、満足しない場合には「ＮＧ」の文字が表示されている。これらの２つの符号は、教示者が容易に識別可能な態様で表示されることが好ましい。例えば、「ＯＫ」の文字は緑色で表示し、「ＮＧ」の文字は赤色で表示するようにしてもよい。こうすれば、処理結果が良好であったパラメーターの組を教示者が容易に見つけ出すことが可能である。

更に、処理結果が判定条件を満たす結果画像ＴＭ（ｉ，ｊ）には、合格であることを強調するため、結果画像を囲むように枠線ＦＲ１が描かれている。この枠線ＦＲ１も、教示者が容易に識別可能な態様で表示されることが好ましい。例えば、枠線ＦＲ１を結果画像の辺縁部の少し外側に表示して囲むように表示してもよいし、結果画像の辺縁部に重なるように表示してもよいし、枠線ＦＲ１を結果画像の辺縁部に対して少し内側に表示してもよい。さらに、枠線ＦＲ１を緑色で表示するようにしてもよい。このように、判定条件を満足している場合に、結果画像ＴＭ（ｉ，ｊ）に特定の枠線ＦＲ１を表示するようにすれば、どのパラメーター設定が良好かを教示者が容易に判断できるという利点がある。但し、枠線ＦＲ１は省略してもよい。

結果画像ＴＭ（ｉ，ｊ）の縮小画像に隣接する位置には、エッジ強度の分布が表示されている。このエッジ強度の分布は、図１２で設定されたエッジ強度検出位置における分布である。なお、エッジ強度に加えて、或いは、エッジ強度の代わりに、輝度平均値や輝度分散値を縮小画像の周囲に表示してもよい。このような被写体のプロファイルを結果画像ＴＭ（ｉ，ｊ）の表示領域に表示するようにすれば、各結果画像ＴＭ（ｉ，ｊ）の良否を教示者がより正確に判断できる。但し、被写体のプロファイルの表示は省略してもよい。

各結果画像ＴＭ（ｉ，ｊ）において、縮小画像以外の部分は、縮小画像が作成された後に描画されることが好ましい。こうすれば、合否判定結果を示す符号「ＯＫ」「ＮＧ」や枠線ＦＲ１の線幅が細くならないので、教示者がより視認し易い状態で表示できる。

図１４の例では、２つの結果画像ＴＭ（３，２），ＴＭ（３，３）の処理結果が合格である。教示者はこれらの結果画像ＴＭ（３，２），ＴＭ（３，３）のいずれかに対応するパラメーターを処理シーケンスのパラメーターとして採用することが可能である。

図７のステップＳ１６０では、処理シーケンスの調整が終了したか否かが判断され、終了していない場合にはステップＳ１７０においてパラメーターの調整が行われる。パラメーターの調整は、例えば、図１４のボタンＢＴ２を押すことによって開始される。

図１５は、撮影パラメーターの調整画面Ｗ４の一例を示す説明図である。ここでは、変更前と変更後の撮影パラメーターが表示されている。変更後の撮影パラメーターは、任意に入力可能である。但し、変更後のパラメーターの間隔は、変更前よりも細かい値に設定されることが好ましい。こうすれば、パラメーターをより細かい間隔で調べることができるので、良好なパラメーターを得ることが可能となる。このためには、初期のパラメーターの間隔を、設定し得る最小値よりも大きな値に設定しておくことが好ましい。画像処理パラメーターも必要に応じて調整してもよい。

ステップＳ１７０においてパラメーターが調整されると、ステップＳ１３０に戻り、上述したステップＳ１３０～Ｓ１６０が再度実行される。こうして、パラメーターを調整しながら処理シーケンスを繰り返し実行することにより、適切なパラメーターを得ることが可能である。

以上のように、第１実施形態では、複数組のパラメーター設定に対する処理結果の一覧表示として、複数の結果画像ＴＭ（ｉ，ｊ）のそれぞれの表示領域に、処理結果が判定条件を満足するか否かを識別可能に表示するので、各組のパラメーター設定が良好か否かを容易に判断することが可能である。特に、第１実施形態では、処理結果を示す符号として、結果の良否を直接的に表現する文字を使用するので、教示者がパラメーター設定の良否を理解しやすいという利点がある。

B. 他の実施形態：
図１６は、処理結果の一覧表示の他の例を示す説明図である。この例では、図１４で説明した一覧表示に加えて、処理結果が判定条件を満足しない場合に付される第２の枠線ＦＲ２と、判定条件達成度ＯＭと、の２つの表示が追加されている。

第２の枠線ＦＲ２は、処理結果が判定条件を満たさない結果画像ＴＭ（ｉ，ｊ）に描かれている。また、この第２の枠線ＦＲ２は、処理結果が判定条件を満たす結果画像ＴＭ（ｉ，ｊ）に描かれる第１の枠線ＦＲ１と識別可能な態様で表示されることが好ましい。例えば、第１の枠線ＦＲ１と第２の枠線ＦＲ２は異なる色で表示されることが好ましい。具体的には、例えば、第１の枠線ＦＲ１を緑色で表示し、第２の枠線ＦＲ２を赤色で表示することが好ましい。こうすれば、どのパラメーター設定が良好かを更に容易に判断できるという利点がある。

判定条件達成度ＯＭは、処理結果が判定条件を満足する程度を示す情報である。この例では、判定条件達成度ＯＭには、判定項目の値が棒グラフとして描かれており、また、閾値ＯＬを示す線も描かれている。被写体の画素数を判定条件として使用する場合には、図１２で説明した「被写体認識サイズ下限」の値が閾値ＯＬとして表示され、画像処理によって認識された被写体の画素数が棒グラフとして表示される。図１６に示すように、判定条件達成度ＯＭは、処理結果の値が閾値ＯＬに対して低くなる場合、閾値ＯＬよりも高くなる場合を含めて、処理結果が判定条件を満足する程度を示している。このように、複数の結果画像ＴＭ（ｉ，ｊ）のそれぞれの表示領域に、判定条件の満足の程度を示す情報を視認可能に表示すれば、各組のパラメーター設定がどの程度良好かを容易に判断できるという利点がある。

図１７は、処理結果の一覧表示の更に他の例を示す説明図である。この例では、すべての結果画像ＴＭ（ｉ，ｊ）が判定条件を満足しておらず、「ＮＧ」の文字が表示されている。但し、判定条件達成度ＯＭのグラフを見ると、結果画像ＴＭ（３，２）が最も判定条件達成度ＯＭが高いことが理解できる。この結果画像ＴＭ（３，２）には、不合格を示す文字「ＮＧ」が、他の結果画像ＴＭ（ｉ，ｊ）における文字「ＮＧ」と識別可能な態様で表示されている。具体的に、例えば、結果画像ＴＭ（３，２）における文字「ＮＧ」は、他の結果画像における文字「ＮＧ」とは異なる色で表示される。このように、複数組のパラメーター設定がすべて判定条件を満足しない場合に、判定条件の満足の程度が最も高い結果画像の表示領域にその旨を視認可能に表示すれば、次にパラメーター設定をどの範囲に変更すれば判定条件を満足する結果画像が含まれるか予想出来るため、判定条件を満足するパラメーター設定を容易に調整できるという利点がある。

本発明は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本発明は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本発明の課題の一部又は全部を解決するために、あるいは、本発明の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本発明の第１の形態によれば、表示部と接続された画像処理装置が提供される。この画像処理装置は、被写体を撮影して画像を取得するための撮影パラメーターと、前記画像に対する画像処理を行うための画像処理パラメーターの組み合わせにより構成された複数組のパラメーター設定を受け付けるパラメーター受付部と；前記複数組のパラメーター設定に基づいて、前記撮影と前記画像処理とを含む処理シーケンスを実行して結果画像を出力するシーケンス実行部と；前記結果画像に含まれる特徴量を予め定められた判定条件に基づいて良否判定する判定部と；前記複数組のパラメーター設定に対する前記処理シーケンスの実行結果を示す複数の縮小画像をそれぞれ複数の結果画像として表示部に一覧表示させる一覧表示実行部と；を備える。前記一覧表示実行部は、前記複数の結果画像のそれぞれの表示領域に前記判定部による判定結果を表示する。
この画像処理装置によれば、複数組のパラメーター設定に対する処理結果の一覧表示として、複数の結果画像のそれぞれの表示領域に、処理シーケンスの結果が判定条件を満足するか否かを識別可能に表示するので、撮影パラメーターと画像処理パラメーターを含む各組のパラメーター設定が良好か否かを容易に判断できる。

（２）上記画像処理装置において、前記一覧表示実行部は、前記複数の結果画像のそれぞれの表示領域に、前記判定条件の満足の程度を表示するものとしてもよい。
この画像処理装置によれば、複数の結果画像のそれぞれの表示領域に判定条件の満足の程度を表示するので、各組のパラメーター設定がどの程度良好かを容易に判断できる。

（３）上記画像処理装置において、前記一覧表示実行部は、前記複数組のパラメーター設定がすべて前記判定条件を満足しない場合、前記判定条件の満足の程度が最も高い結果画像の表示領域に、前記判定条件の満足の程度が最も高いことを示す情報を表示するものとしてもよい。
この画像処理装置によれば、複数組のパラメーター設定がすべて判定条件を満足しない場合に、判定条件の満足の程度が最も高い結果画像の表示領域にその旨を視認可能に表示するので、次にパラメーター設定をどの範囲に変更すれば判定条件を満足する結果画像が含まれるか予想出来、判定条件を満足するようにパラメーター設定を容易に調整できる。

（４）上記画像処理装置において、前記一覧表示実行部は、前記判定条件を満足した場合に、前記判定結果を満足した結果画像を囲む第１の枠線を表示するものとしてもよい。
この画像処理装置によれば、判定条件を満足している場合に結果画像に第１の枠線を表示するので、どのパラメーター設定が良好かを容易に判断できる。

（５）上記画像処理装置において、前記一覧表示実行部は、前記判定条件を満足しない場合に前記結果画像に第２の枠線を表示し、前記第１の枠線と前記第２の枠線を異なる色で表示するものとしてもよい。
この画像処理装置によれば、前記判定条件を満足した場合と満足しない場合とで異なる色の枠線を結果画像に表示するので、どのパラメーター設定が良好かを容易に判断できる。

（６）上記画像処理装置において、前記判定条件は、前記処理シーケンスの処理時間が予め設定された許容時間以下であるという条件を含むものとしてもよい。
この画像処理装置によれば、処理シーケンスの処理時間が予め設定された許容時間以下であるという条件を含む判定条件を使用するので、過度に処理時間を要するパラメーター設定か否かを容易に判断できる。

（７）本発明の第２の形態によれば、表示部と接続される画像処理装置が提供される。この画像処理装置は、プロセッサーを備え、前記プロセッサーは、（ａ）被写体を撮影して画像を取得するための撮影パラメーターと、前記画像に対する画像処理を行うための画像処理パラメーターとの組み合わせにより構成された複数組のパラメーター設定を受け付け、（ｂ）前記複数組のパラメーター設定に基づいて、前記撮影と前記画像処理とを含む処理シーケンスを実行して結果画像を出力し、（ｃ）前記結果画像に含まれる特徴量を予め定められた判定条件に基づいて良否判定し、（ｄ）前記複数組のパラメーター設定に対する前記処理シーケンスの実行結果を示す複数の縮小画像をそれぞれ複数の結果画像として前記表示部に一覧表示させる、ように構成されている。前記プロセッサーは、前記複数の結果画像のそれぞれの表示領域に前記良否判定による判定結果を表示する。
この画像処理装置によれば、複数組のパラメーター設定に対する処理結果の一覧表示として、複数の結果画像のそれぞれの表示領域に、処理シーケンスの結果が判定条件を満足するか否かを識別可能に表示するので、撮影パラメーターと画像処理パラメーターを含む各組のパラメーター設定が良好か否かを容易に判断できる。

（８）本発明の第３の形態は、画像処理装置を含む制御装置に接続されたロボットである。
このロボットによれば、ワークを被写体として処理シーケンスを実行する際に、各組のパラメーター設定が良好か否かを容易に判断できるので、ワークの撮影と画像処理のパラメーターを好ましい設定にすることが可能となる。

（９）本発明の第４の形態は、ロボットと、前記ロボットに接続された上記画像処理装置を含む制御装置と、を備えるロボットシステムである。
このロボットシステムによれば、ワークを被写体として処理シーケンスを実行する際に、各組のパラメーター設定が良好か否かを容易に判断できるので、ワークの撮影と画像処理のパラメーターを好ましい設定にすることが可能となる。

本発明は、上記以外の種々の形態で実現することも可能である。例えば、画像処理方法、画像処理装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

１００…ロボット、１２０…基台、１３０…アーム、１３２…アームフランジ、１６０…エンドエフェクター、１６４…把持機構、２００…制御装置、２１０…プロセッサー、２１１…ロボット制御部、２１２…パーツフィーダー制御部、２１３…ホッパー制御部、２２０…メインメモリー、２２２…プログラム命令、２３０…不揮発性メモリー、２４０…表示制御部、２５０…表示部、２６０…Ｉ／Ｏインターフェース、２７０…画像処理部、２７１…処理シーケンス設定部、２７２…パラメーター受付部、２７３…シーケンス実行部、２７４…判定部、２７５…一覧表示実行部、３００…ティーチングペンダント、４００…パーツフィーダー、５００…ホッパー、６００…パーツトレイ、７００…架台、７１０…天板、７２０…テーブル部、８１０…ストロボ、８２０…カメラ、１４００，１４１０…パーソナルコンピューター、１５００…クラウドサービス

Claims (7)

1. 表示部と接続する画像処理装置であって、
   被写体を撮影して画像を取得するための撮影パラメーターと前記画像に対する画像処理を行うための画像処理パラメーターの組み合わせにより構成された複数組のパラメーター設定を受け付けるパラメーター受付部と、
   前記複数組のパラメーター設定に基づいて、同一の被写体について前記撮影と前記画像処理とを含む処理シーケンスを実行して結果画像を出力するシーケンス実行部と、
   前記結果画像に含まれる特徴量を予め定められた判定条件に基づいた合否判定を行う判定部と、
   前記複数組のパラメーター設定に対する前記処理シーケンスの実行結果を示す複数の縮小画像をそれぞれ複数の結果画像として前記表示部に一覧表示させる一覧表示実行部と、を備え、
   前記一覧表示実行部は、前記複数の結果画像のそれぞれの表示領域に前記判定部による合否判定結果を表示する、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記一覧表示実行部は、前記複数の結果画像のそれぞれの表示領域に、前記判定条件の満足の程度を表示する、画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記一覧表示実行部は、前記複数組のパラメーター設定がすべて前記判定条件を満足しない場合、前記判定条件の満足の程度が最も高い結果画像の表示領域に、前記判定条件の満足の程度が最も高いことを示す情報を表示する、画像処理装置。
4. 請求項１～３のいずれか一項に記載の画像処理装置であって、
   前記一覧表示実行部は、前記判定条件を満足した場合、前記判定結果を満足した結果画像を囲む第１の枠線を表示する、画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記一覧表示実行部は、前記判定条件を満足しない場合に前記結果画像に第２の枠線を表示し、前記第１の枠線と前記第２の枠線を異なる色で表示する、画像処理装置。
6. 請求項１～５のいずれか一項に記載の画像処理装置であって、
   前記判定条件は、前記処理シーケンスの処理時間が予め設定された許容時間以下であるという条件を含む、画像処理装置。
7. ロボットと、
   前記ロボットに接続された請求項１～６のいずれか一項に記載の画像処理装置を含む制御装置と、
   を備えるロボットシステム。

Images