JP7391571B2 - 電子機器、その制御方法、プログラム、および記憶媒体 - Google Patents

Description

本発明は、装置を制御する処理手順を設定する電子機器、その制御方法、プログラムおよび記憶媒体に関する。

ワークを撮像して得られた画像に基づいて、ロボットアーム、アクチュエータ、および搬送機構などのロボットを制御する制御装置がある。

このような制御装置では、複数の処理単位（機能単位）をユーザが目的に応じて組み合わせて処理手順（フローチャート）を設定することが可能な装置がある。ユーザが予め処理手順を設定することにより、処理手順を制御装置が実行することでユーザが達成したい目的に沿った処理を自動的に実行することが可能となる。

特許文献１には、入力された画像に複数の画像処理を適用した各々の結果を表示することが開示されている。

特開２００１－１７８６８６号公報

多くの種類の処理単位から処理手順の生成に使用する処理単位を選択することを可能とした場合、ユーザは適切な処理単位を選択することが困難である場合がある。

本発明は前述の問題点に鑑み、ユーザが処理手順を生成するため用いる処理単位をユーザに提示することが可能な電子機器、その制御方法、プログラム、および記憶媒体を提供することを目的とする。

本発明に係る電子機器は、撮像画像を取得する取得手段と、複数の処理項目を組み合わせて前記撮像画像に基づいて装置を制御するための処理手順を設定する設定手段とを有し、前記設定手段は、前記処理手順を設定する場合に、撮像画像に含まれるオブジェクトの種類に対応する１以上の処理項目を提示し、前記提示された１以上の処理項目のうち少なくとも１つの処理項目を前記処理手順に加える処理を実行し、前記撮像画像と、前記撮像画像に含まれる前記オブジェクトの種類に対応する前記１以上の処理項目を示す情報と、を示す画面を表示部に表示させるとともに、前記オブジェクトの種類に対応する前記１以上の処理項目に対応する処理の結果を示す情報を前記表示部に表示させることを特徴とする。

本発明の電子機器、その制御方法、プログラム、および記憶媒体によれば、撮像画像に含まれるオブジェクトの種類に応じた処理単位をユーザに提示する。したがって、ユーザが当該撮像画像の取得を含む処理手順を生成するため用いる処理単位をユーザに提示することが可能となる。

実施形態に係る画像処理装置を含むシステム全体の構成例を示す図である。 実施形態に係る画像処理装置の詳細な内部構成例を示すブロック図である。 実行プログラムを実行するためのフローチャート作成画面の一例を示す図である。 フローチャートの作成手順を説明するための図である。 フローチャート作成支援画面の一例を説明するための図である。 フローチャートの作成を支援する処理手順の一例を示すフローチャートである。 ワークの種別と推奨される処理項目との関係のテーブルを説明するための図である。 フローチャート作成支援画面の一例を説明するための図である。 フローチャート作成支援画面の他の例を説明するための図である。 ２種類のワークを含むフローチャート作成支援画面の一例を説明するための図である。

（第１の実施形態）
以下、本発明の実施形態について、図面を参照しながら説明する。

図１は、画像処理装置１０１を含むシステム全体の構成例を示す図である。システムは、画像処理装置１０１、カメラ１０２、ロボット１０３、ロボット制御装置１０４、クライアント端末１０５、および照明装置１０６を有する。また、システムは、作業台１０７のワーク１０８を、ロボット１０３によって、配置台１０９～１１１のいずれかに積載するために用いられるとする。なお、システムの用途は、これに限らない。

画像処理装置１０１は、カメラ１０２およびロボット１０３を制御する制御装置である。画像処理装置１０１は、ロボット制御装置１０４を介してロボット１０３を制御する。画像処理装置１０１は、内部のプログラムや外部の制御装置の制御指示に基づいて所定のタイミングでロボット１０３を直接制御してもよい。また、画像処理装置１０１は、ロボット１０３およびロボット制御装置１０４とは筐体が異なるものとして説明するが、同一の筐体であってもよい。

画像処理装置１０１は、カメラ１０２の撮像条件（撮像パラメータ）の設定、および撮像指示を行う。画像処理装置１０１は、カメラ１０２から撮像画像を取得し、画像処理を適用する。また、画像処理装置１０１は、処理された撮像画像をクライアント端末１０５に出力して、画像を表示させる。画像処理装置１０１は、ロボット制御装置１０４に制御指示を送信する。

画像処理装置１０１は、カメラ１０２、ロボット１０３、ロボット制御装置１０４、クライアント端末１０５、および照明装置１０６に対する制御処理、および、取得した画像に対する画像処理を、あらかじめ定められた処理手順に基づいて実行する。処理手順は、画像処理装置１０１が実行可能な複数の処理単位の組み合わせとして設定される。画像処理装置１０１は、処理手順を示すプログラムを作成、編集、および更新することが可能な電子機器である。

カメラ１０２は、オブジェクト（以下、ワーク）を含む画像の撮像を行う撮像装置である。カメラ１０２は、ズーム倍率や、焦点距離、絞り、信号増幅率など各種撮像パラメータを変更するための機構を有し、画像処理装置１０１からの指示に応じてそれぞれが個別に決定可能である。

ロボット１０３は、ロボット制御装置１０４からの指示に応じて駆動する産業用の装置である。本実施形態において、ロボット１０３は、把持機構（ハンド）と把持機構を移動させるアーム機構（アーム）とを有する。ロボット１０３は、ハンドとアームとを制御することにより、ワークを把持し、移動することが可能なロボットアームである。なお、ロボット１０３のアームには、カメラ１０２が取り付けられている。したがって、カメラ１０２の位置は、ロボット１０３のアームを移動することによって制御することが可能となる。

ロボット制御装置１０４は画像処理装置１０１からの制御指示を受け、ロボット１０３の各軸やハンドの動作を制御する制御装置である。

クライアント端末１０５は、ディスプレイ、入力装置、および制御装置を備え、画像処理装置１０１と接続する装置である。ディスプレイは、液晶ディスプレイなどの表示装置である。入力装置は、キーボードやマウス、入力操作コントローラ、ジェスチャ入力装置などにより構成される各種操作入力用の入力手段である。またディスプレイに設けられたタッチパネルを入力装置としてもよい。

クライアント端末１０５は、画像処理装置１０１から入力された画像に基づいてディスプレイに画像を表示する。また、ユーザは、クライアント端末１０５の入力装置を操作することにより、画像処理装置１０１に指示を入力することが可能である。クライアント端末１０５の制御装置は、画像処理装置１０１と接続し、画像や指示を送受信する。以降、クライアント端末１０５のディスプレイ、入力装置、および制御装置を総称して、クライアント端末１０５と表記する。

照明装置１０６は、ハロゲン照明や発光ダイオード照明などで構成された照明装置である。

図２は、画像処理装置１０１の詳細な内部構成例を示すブロック図である。画像処理装置１０１は、インターフェース２０１、演算部２０２、および記憶部２１０を備える。

画像処理装置１０１は、カメラ１０２、ロボット制御装置１０４、クライアント端末１０５、および照明装置１０６と、内部バス上に配置されたインターフェース２０１を介して接続される。インターフェース２０１は上記各装置と通信するのに適した規格に基づき構成される。例えば、ネットワークインターフェース、シリアル通信インターフェースなどから、選択されうる。

演算部２０２は、画像処理装置１０１が実行する処理を制御する制御手段である。演算部２０２は、汎用マイクロプロセッサとして構成されたＣＰＵや、画像処理プロセッサなどにより構成されるとする。

記憶部２１０は、例えばＲＯＭやＲＡＭ、あるいはＥ（Ｅ）ＰＲＯＭなどの不揮発メモリデバイスである。また、画像処理装置１０１はデータ保存領域を拡大するために外部記憶装置と接続されていてもよい。記憶部２１０は、画像処理装置１０１と接続する外部記憶装置上のファイル領域や仮想記憶領域などによって構成することができる。

記憶部２１０は、演算部２０２が実行するプログラムを格納するプログラム格納領域２１１と、処理データを保存する保存領域２１２とを有する。プログラム格納領域２１１は、処理手順を実行するための実行プログラム２１３と、実行プログラム２１３に記載される処理手順をユーザが設定することを支援するための支援プログラム２１４とが記憶されている。保存領域２１２は、記憶部２１０のＲＡＭ領域や、外部記憶装置のファイル領域や仮想記憶領域などによって構成される。保存領域２１２は、処理データを一時記憶させる他、画像処理の設定パラメータなどの記憶に用いられる。

プログラム格納領域２１１に格納される実行プログラム２１３には、例として、作業台１０７のワーク１０８を、ロボット１０３によって、配置台１０９～１１１のいずれかに積載するための処理手順が設定されているとする。具体的には、画像処理装置１０１は、作業台１０７の上空からワーク１０８を含む領域を撮像することが可能な位置（撮像位置Ｐａ）にカメラ１０２が配置されるように、ロボット１０３の位置、および姿勢を制御する。カメラ１０２が撮像位置Ｐａに移動したのち、画像処理装置１０１は、ワーク１０８を含む領域を撮像するようカメラ１０２を制御する。画像処理装置１０１は、カメラ１０２から撮像画像を取得し、画像処理（解析処理）を行い、ワーク１０８の位置および姿勢を示すパラメータを取得する。画像処理装置１０１は、解析処理で得られたワーク１０８の位置および姿勢を示すパラメータに基づいて、ロボット１０３の把持位置を補正するよう制御する。画像処理装置１０１は、ワーク１０８の位置および姿勢を示すパラメータに基づいて、ロボット１０３のアームがワーク１０８を把持するように、ロボット１０３の移動を制御する。さらに、画像処理装置１０１は、把持したワーク１０８を配置台１０９～１１１のいずれかにワーク１０８を整列して積載する。図１には、ワーク１１２が配置された例を示しており、整列して所定の数量のワークが配置台１０９～１１１のそれぞれに積載されている。また、画像処理装置１０１の処理後や処理途中に、処理経過や結果、応答などを表示装置１１１に適宜表示させるようにしてもよい。

演算部２０２が支援プログラム２１４を実行すると、演算部２０２は、クライアント端末１０５のディスプレイに実行プログラム２１３の処理手順をフローチャートの形式で示す画面を表示する。また、演算部２０２は、クライアント端末１０５のディスプレイに実行プログラム２１３の処理手順を更新するための編集画面を表示する。図３は、実行プログラム２１３の処理手順を示すフローチャートと編集画面とを示す模式図である。なお、他の実施形態として、別体の電子機器で実行プログラム２１３を更新したのち、画像処理装置１０１の記憶部２１０に実行プログラム２１３を記憶させる形態であってもよい。

クライアント端末１０５のディスプレイに表示される画面（編集画面）は、編集領域３０１とフローチャート領域３０２とを有する。編集領域３０１は、フローチャートを編集するための複数の処理パーツを選択するためのリスト３２０と、作成もしくは編集する対象の実行プログラム２１３を選択するためのリストボックス３１６と、を有する。

編集領域３０１は、実行プログラム２１３の作成もしくは編集を完了し、保存領域に格納するためのボタン（ＯＫボタン）３１７と、実行プログラム２１３の作成もしくは編集をキャンセルするためボタン（キャンセルボタン）３１８とを有する。

編集領域３０１は、フローチャートの作成を支援する機能を起動させるためのボタン（作成支援ボタン）３１９を有する。フローチャート領域３０２は、実行プログラム２１３の処理手順を示すフローチャートを示す領域である。ユーザは、クライアント端末１０５を操作して、フローチャート領域３０２に表示されたフローチャートを編集することによって、実行プログラム２１３の処理手順を設定することが可能である。

リスト３２０は、実行プログラム２１３の処理手順を示すフローチャートを作成するための処理パーツ（処理単位）のリストである。ユーザはクライアント端末１０５の入力装置を用いて、リスト３２０から処理パーツをフローチャート領域３０２にドラッグ＆ドロップし、パーツ間を線で結合することによってフローチャートが作成される。

リストボックス３１６は、画面に表示するフローチャートを選択するためのリストボックスである。ユーザがクライアント端末１０５の入力装置を操作してリストボックス３１６を選択することによって、表示するフローチャートを切り替えたり、リストボックスに新しいフローチャート名を入力したりすることができる。図３に示した例では、ワークの種別が箱であった場合の処理手順を示しているが、ワークの種別がその他のものである場合には、処理パーツの一部が異なる。このため、その他のワークを扱うためのフローチャートを作成する際には、リストボックス３１６を操作して表示するフローチャートを切り替える必要がある。

ボタン３１７は、作成したフローチャートを保存して実行プログラム２１３を更新することを指示するためのボタンである。キャンセルボタン３１８は、これまでの設定内容を破棄する処理を行うためのボタンである。作成支援ボタン３１９は、フローチャートの作成を支援する機能を起動させるためのボタンである。作成支援ボタン３１９を選択した場合の処理の詳細な説明については後述する。

フローチャート領域３０２に表示されるフローチャート３３０は、前述した一連の制御の処理手順を記述したものである。ここで、図３に示す個々の処理パーツについて説明する。

処理パーツ３０４は、ロボット１０３のアーム機構を移動させる処理（移動処理）を示す移動パーツである。処理パーツ３０４の処理を演算部２０２が実行すると、ロボット１０３のアーム機構に取り付けられたカメラ１０２が作業台１０７のワーク１０８を撮像可能な位置に移動するように、ロボット１０３のアーム機構を作業台１０７の上空にカメラ１０２を移動させる。

処理パーツ３０５は、カメラ１０２に撮像動作を実行させる処理（撮像処理）を示す撮像パーツである。処理パーツ３０５の処理を演算部２０２が実行すると、カメラ１０２に対して撮像処理を実行させる制御コマンドが出力される。

処理パーツ３０６は、ワーク１０８の位置を計測する位置計測処理を示す位置計測パーツである。処理パーツ３０７は、ワーク１０８の位相を計測する位相計測処理を示す位相計測パーツである。これらの処理パーツの詳細については後述するが、これらの処理パーツは、それぞれ画像情報の輝度勾配や濃淡情報、色情報などの特徴情報を用いてワーク１０８を計測するためのパーツである。

処理パーツ３０８は、ロボット１０３のハンドの位置や姿勢を相対的に移動させる補正移動処理を示す補正移動パーツである。処理パーツ３０８の処理を演算部２０２が実行すると、処理パーツ３０６、３０７で計測されたワークの位置及び位相に従ってロボット１０３を補正制御し、ロボット１０３のハンド（エンドエフェクト）を回転させるなどの補正移動を行う処理が実行される。

処理パーツ３０９は、ロボット１０３のアーム機構を移動させる処理（移動処理）を示す移動パーツである。処理パーツ３０９の処理を演算部２０２が実行すると、ロボット１０３のハンドがワークの把持（ピッキング）が可能な位置、例えばワークの直上に位置するように、ロボット１０３のアームが制御される。

処理パーツ３１０は、ロボット１０３のハンドの開閉や吸着装置の吸引量を制御するハンド制御処理を示すハンド制御パーツである。処理パーツ３１０の処理を演算部２０２が実行すると、ハンドの開閉を制御してワーク１０８を把持する。

処理パーツ３１１は、ロボット１０３のアーム機構を移動させる処理（移動処理）を示す移動パーツである。処理パーツ３１１の処理を演算部２０２が実行すると、ワークの種別に応じた配置台の上空に、ロボット１０３のハンドを移動させるようにアームの動作が制御される。

処理パーツ３１２は、ロボット１０３のアーム機構を移動させる処理（移動処理）を示す移動パーツである。処理パーツ３１２の処理を演算部２０２が実行すると、ワークを配置する位置の上空にロボット１０３のハンドを移動させるようにアームの動作が制御される。

処理パーツ３１３は、ロボット１０３のハンドの開閉や吸着装置の吸引量を制御するハンド制御処理を示すハンド制御パーツである。処理パーツ３１３の処理を演算部２０２が実行すると、ハンドの開閉や吸着量が制御されワーク１０８を配置（プレイス）する。

処理パーツ３１４は、ロボット１０３のアーム機構を移動させる処理（移動処理）を示す移動パーツである。処理パーツ３１４の処理を演算部２０２が実行すると、ロボット１０３のアームを配置台の上空に移動する。

処理パーツ３１５は、条件分岐を判定する判定処理を示す分岐パーツである。処理パーツ３１５の処理を演算部２０２が実行すると、演算部２０２は、処理パーツ３０４～３１４の一連の処理が実行された回数（実行回数）が、閾値以上であるか否かを判定する。実行回数が閾値未満である場合、演算部２０２は、処理パーツ３０４に処理を戻す。また、実行回数が閾値以上である場合、演算部２０２は、処理を終了させる（終了処理）。

ユーザが、クライアント端末１０５を操作してフローチャート領域３０２に表示されたフローチャート３３０の処理パーツのいずれかに対してダブルクリックなどの特定の操作を行ったことに応じて、当該処理パーツの設定画面に遷移する。設定画面では、例えば、移動パーツである場合には、アームを移動させる目標位置（座標）、移動速度、移動経路などのパラメータを設定することができる。

次に、図３に示したフローチャートをユーザが作成する場合の課題と、本実施形態によるその解決方法について説明する。

図４は、フローチャートの作成手順を説明するための図である。図４は、編集画面を示す。編集領域３０１、フローチャート領域３０２およびそれらに含まれる処理パーツやボタン等は、図３で示したものと同等であるので説明を省略する。

ユーザは、作業台１０７のワーク１０８を、ロボット１０３によって配置台１０９～１１１のいずれかに積載するための処理手順を示すフローチャートを作成することを目的として作業を開始するとする。

ユーザは初めに、作業台１０７上のワーク１０８を認識するための撮像画像を取得するフローを作成する。

はじめに、ユーザは、クライアント端末１０５の入力装置を操作して、リスト３２０から移動パーツを選択（ドラッグ）し、矢印４０１の方向にフローチャート領域３０２へ移動（ドロップ）する。カメラ１０２を撮像位置に移動させるためのアームも目標位置を示す座標情報は、記憶部２１０の保存領域２１２に、移動パーツの目標位置のデフォルトとして予め記憶されている。したがって、ユーザは移動パーツを選択するのみで、作業台１０７の上空の位置へロボット１０３を移動させることができる。

次に、ユーザは、クライアント端末１０５の入力装置を操作して、撮像パーツを選択し、矢印４０２の方向にフローチャート領域３０２へ移動する。また、移動パーツと撮像パーツとは連続した処理であることを示す直線で結ばれる。撮像パーツを実行する場合に用いられる撮像パラメータ（露出、ズーム倍率など）および撮像パラメータの決定方法（固定値利用や自動露出、自動焦点など）も記憶部２１０の保存領域２１２に予め記憶されている。そのため、ユーザは撮像パーツを選択するだけで、その撮像パラメータを用いて撮像を行うことができる。

処理パーツ３０４と処理パーツ３０５との処理を演算部２０２が実行することにより、ロボット１０３のアームが移動し、アームに取り付けられたカメラ１０２があらかじめ定められた撮像位置に移動する。そして、カメラ１０２で撮像が行われる。

次に、ユーザは、撮像画像に基づいてワーク１０８を把持する処理をフローチャートとして作成するが、画像処理技術について詳細な知識を持たないユーザは、リスト３２０に含まれる処理パーツのうち、どれを選択すればよいかが判断がつかない場合がある。

本実施形態では、撮像画像に基づいて後段に配置する処理パーツ（処理単位）をユーザに提示する作成支援処理を行うことにより、画像処理に関連する処理パーツの選択をアシストする。

図５は、図４の作成支援ボタン３１９が選択されたことによって遷移する支援画面５０１を示す模式図である。なお、図５の支援画面５０１は、図３のフローチャート作成画面を表示してすぐに表示されるようにしてもよい。

支援画面５０１は、撮像画像や後述する画像処理の結果を示す表示領域５０２、撮像画像に含まれるワークの種類を解析した結果を示す表示領域５０３、解析で得られたワークの種類に対応する１以上の処理単位の候補を示す処理項目５０４を含む。また、支援画面５０１は、作成支援処理を制御するためのボタン５０５～５０８を含む。

ボタン５０５は、処理項目５０４に表示されていない処理項目をさらに表示させるためのボタンである。現在表示されている推奨の処理項目５０４の中に好適な処理項目が存在しなかったり、別な処理項目と比較したりする場合に、ボタン５０５を選択すると異なる推奨の処理項目を表示させることができる。

ボタン５０６は、撮像画像の入力、物体認識、推奨処理の提示などを再度行う（更新する）ようにするためのボタンである。例えば同じワークであってより鮮明な撮像画像に切り替えるような場合、同じ種別の異なるワークを撮像した撮像画像に変更された場合などにボタン５０６が用いられる。なお、リアルタイムに撮像画像を入力し、周期的に撮像画像を更新するようなライブビューのような形態にしてもよい。

ボタン５０７は、パーツとして採用する処理項目を決定するためのボタンである。ボタン５０７が選択されると、処理項目５０４の選択結果が画像処理装置１０１の保存領域２１２に実行プログラム２１３と紐付けて記憶される。また、ボタン５０８が選択された場合は、図５に示す画面の処理結果が破棄され、図４に示す画面に戻る。

次に、支援画面５０１に遷移したことに応じて、演算部２０２が実行を開始するフローチャート作成の支援処理について説明する。

図６は、演算部２０２が実行する支援処理を示すフローチャートである。なお、図６に示す各処理は、記憶部２１０に記憶された支援プログラム２１４を読み出して演算部２０２がそのプログラムを実行することにより実現される。

Ｓ６０１で、演算部２０２は、ワークを撮像した撮像画像を取得する。Ｓ６０１で取得する撮像画像は、図１の作業台１０７に置かれたワーク１０８を上から撮像された撮像画像であるとする。Ｓ６０１で取得される撮像画像は、ユーザが不図示の撮像指示ボタンを押下したことに応じて撮像された画像であってもよいし、ライブビュー画像であってもよい。

Ｓ６０２で、演算部２０２は、撮像画像中のワークの種別を判定（認識）する処理を行う。具体的な方法としては、例えば背景差分や閾値抽出処理などでワークと背景を分離した後、抽出されたワークに対して形状や色、濃淡分布などの画像特徴を用いてワークの種類を判定する処理を行う。なお、ニューラルネットワークなどを用いて予め学習された学習モデルから推論して、ワークの種類を判定してもよい。演算部２０２が認識したワークの種別を示す情報は、支援画面５０１の表示領域５０３に表示される。

Ｓ６０３で、演算部２０２は、Ｓ６０２で認識されたワークの種類（種別）に対応する１以上の処理単位（処理項目）を特定する。図７は、ワークの種類と、対応する処理単位との関係を示す対応情報を説明するための図である。

図７で、ＩＤは、ワークの種別ごとに割り振られた識別番号である。ワークの種別は、例えば、「箱」、「円環」、「１Ｄ／２Ｄコード」、「文字」、であるとする。「候補処理」は、ワークの各種別に対応する処理単位（処理項目）である。

図７に示すように、ワークの種類に応じて、対応する候補処理の内容が変化する。例えば、ワークの種類が「箱」である場合には、位置計測処理、位相計測処理、傷検出処理、面積計測処理が候補処理としてあらかじめ設定される。また、ワークの種類が「円環」である場合には、位置計測処理、外形計測処理、内径出処理、個数計測処理が候補処理としてあらかじめ設定される。

「候補処理」として設定される複数の処理項目の間では、優先度があらかじめ設定されている。例えば、物体認識結果としてワークが「箱」として認識された場合は、ロボットがハンドリングできるようにすることが一番重視されるので、位置計測、位相計測の優先度が高く設定されている。また、「１Ｄ／２Ｄコード」または「文字」として認識された場合には、文字列や数値的なデータを読み取れるよう、データの読み取り処理の優先度が高く設定されている。なお、図７に示したテーブルは、記憶部２１０の保存領域２１２に予め記憶されているものとする。

図７に示したテーブルにおけるワークの種別と候補処理の処理項目との対応関係、および候補処理における処理項目の優先度は、支援処理を繰り返す中で、より選択された回数が多い処理項目の優先度を高くするように学習して更新されてもよい。テーブルを複数の画像処理装置でネットワークを介して共有し、情報を更新するようにしてもよい。ワークの種別と候補処理（および優先度）とが関連付けられたテーブルが学習またはネットワークを介して共有することによって更新されると、多用される処理項目の優先度が高くなる。したがって、より現実的に優先度の高い処理項目から推奨されるようにすることができる。

Ｓ６０３で、演算部２０２がＳ６０２で認識されたワークの種類（種別）に対応する１以上の処理単位（処理項目）を取得した結果は、支援画面５０１の処理項目５０４に表示される。処理項目５０４において、優先度が高い処理項目がより上に表示される。

支援画面５０１の各々の処理項目５０４には合わせてチェックボックスが表示される。ユーザは、チェックボックスを用いて処理結果をプレビューする処理項目を選択する。例えば、位置計測処理と位相計測処理とが選択されたとする。なお、処理結果を示す処理項目は、Ｓ６０２で認識されたワークの種類（種別）に対応する１以上の処理単位（処理項目）すべてとすることも可能である。

Ｓ６０４で、演算部２０２は、撮像画像に含まれるワークに対して、選択された処理項目に対応する画像処理を実行する。

Ｓ６０５で、演算部２０２は、Ｓ６０４で得られた画像処理の結果を、表示領域５０２に表示する。

上述したように、位置計測処理と位相計測処理とが選択されている場合、表示領域５０２には、位置計測処理の結果と、位相計測処理の結果とがそれぞれ示される。

Ｓ６０６で、演算部２０２は、ユーザがクライアント端末１０５の入力装置を操作してボタン５０５が選択されたか否かを判定する。すなわち、演算部２０２は、ユーザが他の処理項目の選択が可能なように処理項目５０４の表示を切り換えることを要求したか否かを判定する。

Ｓ６０６でボタン５０５が選択されたと判定された場合、処理項目５０４に示される複数の処理項目のうち少なくとも１つの処理項目が異なる複数の処理項目に対応する処理項目５０４を表示するように切り換える。処理は、Ｓ６０３に戻る。Ｓ６０６でボタン５０５が選択されていないと判定された場合、Ｓ６０７に進む。

Ｓ６０７で、演算部２０２は、ユーザが処理項目の選択を終えたか否かを判定する。具体的には、演算部２０２は、ユーザがクライアント端末１０５の入力装置を操作して、ボタン５０７を選択したか否かを判定する。ユーザがボタン５０７を選択されたときに、選択されている処理項目が、選択処理項目として記憶部２１０に記憶される。例として、位置計測処理に対応する処理項目と、位相計測処理に対応する処理項目とが選択された状態で、ボタン５０７が押下されたとする。演算部２０２は、クライアント端末１０５の表示部の表示を支援画面５０１から図４の編集画面に遷移させる。ユーザが処理項目の選択を終えていないと判定された場合、処理はＳ６０１に戻る。

Ｓ６０８で、演算部２０２は、編集画面で作成中のフローチャートにおいて、Ｓ６０７で選択された処理項目を処理パーツとして追加する。

図８は、図６の処理後に表示される画面の一例を説明するための図である。図８に示すように、フローチャート８０１には位置計測パーツと位相計測パーツとが追加される。なお、フローチャート領域３０２において、追加された位置計測パーツおよび位相計測パーツは、変更や削除などの編集が可能である。

その後、ユーザはリスト３２０から補正移動パーツを選択し、フローチャート領域３０２へドラッグ＆ドロップすることにより、フローチャート８０１に補正移動パーツが追加される。その後、同様にリスト３２０から移動パーツやハンド制御パーツなどが選択され、順次フローチャートに処理パーツが追加される。ワークを把持する場合、持ち上げる場合、ワークを配置台に移動する場合、配置する場合も同様に、移動先の座標情報やロボットの高さなどの詳細なパラメータは記憶部２１０の保存領域２１２に予め記憶されている。そのため、ユーザはその処理パーツを選択するだけでロボットによるワークの把持や配置台への移動などを設定することができる。

また、ワークの種別が認識されたことによって、処理パーツの詳細な設定を変更した方がよい場合もある。例えば位置や位相、面積などを計測する場合には、ワークと背景とを精度よく分離するために、一般的にはワークと背景との濃淡比率、および色成分の変化量が大きい撮像画像を入力することが好ましい。また、キズや汚れを検出する場合は、一般的には色や濃淡変化情報が重要な場合が多いので、ダイナミックレンジの範囲内にワークが広く分布するような撮像画像を入力することが好ましい。

前述したように、ユーザがクライアント端末１０５の入力装置を操作して詳細な設定を変更したい処理パーツがダブルクリックされると、その処理パーツの詳細な処理を設定するための設定画面に遷移する。その設定画面において、位置や位相、面積などを計測する場合には撮像パラメータでコントラストが大きくなるように調整することができる。また、キズや汚れを検出する場合は、露光値や信号増幅率、ホワイトバランスなどの設定を変更することができる。

以上のように本実施形態によれば、ワークを撮像した撮像画像からワークの種別を認識し、そのワークに関連付けられた処理項目を提示する。また、処理項目による処理結果を合わせて提示した。ユーザは提示された処理項目および処理結果に応じて、フローチャートに加える処理項目を選択することが可能となる。推奨する処理項目が提示されるため、ユーザは様々な処理項目を組み合わせたり事前に確認したりする手間を省くことができる。

本実施形態では、支援画面において、ワークの種別と関連付けて推奨される処理項目を提示し、画像処理に関連する処理パーツを追加するようにした。一方で、ロボットの移動などロボットの制御と組み合わせてフローチャートに追加するようにしてもよい。例えば、物体認識によってワークの種別が箱であった場合には、後段の処理にロボット補正移動パーツ、ロボット移動パーツおよびロボットハンド制御パーツも併せてフローチャートに追加するようにしてもよい。このように、支援画面を表示している時に、関連性の高いロボット制御に係る処理パーツをフローチャートに追加することで、ユーザによるフローチャートの作成の手間をさらに省略することができる。

さらに本実施形態では、支援画面の表示領域５０２に撮像画像および画像処理の結果が表示されるようにした。一方で、表示領域５０２を複数の領域に分割して、それぞれの領域に複数の撮像画像やその処理結果を同時に表示するようにしてもよい。

図９は、支援画面の変形例を示す模式図である。図９に示す支援画面９０１は、複数の表示領域９０２を有する。各々の表示領域９０２は少なくとも１つの処理項目に対応し、それぞれの処理項目に対応する画像処理の結果が表示される。図９では、４つの処理項目について画像処理の結果が表示される。ユーザはそれぞれの画像処理の結果を確認して比較しながら、処理パーツとして追加する処理項目を選択することができる。

（第２の実施形態）
第１の実施形態では、物体認識処理を行う撮像画像の中に１つのワークしか存在しないことを前提として説明した。本実施形態では、撮像画像に２つ以上のワークが含まれ、それぞれ異なる種別のワークであることが認識された場合の例について説明する。本実施形態では、２つ以上のワークが認識された場合には、認識されたワークそれぞれについてフローチャート作成支援画面を起動する。以下、第１の実施形態と異なる点についてのみ説明する。

図１０は、複数のワークが認識された場合の支援画面１００１の一例を説明するための図である。図１０に示すように、複数のワークが認識された場合には、表示領域１００２にはそれぞれのワークが表示され、それぞれのワークに識別子（以下、ワークＩＤと呼ぶ）が付与される。図１０に示す例では、箱１０１１に対してワークＩＤ「１」が付与され、円環のワーク１０１２に対してワークＩＤ「２」が付与されている。

それぞれのワークに対して物体認識および計測が行われると、それぞれのワークに対して画像処理の結果が表示領域１００２に表示される。また、表示領域５０３に表示されるワークの種類を解析した結果、および処理項目５０４は、選択されたワークに対してのみ表示され、切替ボタン１０１０によってワークＩＤを切り替えることができる。

なお、ロボットを制御するフローチャートの作成手順は、基本的には図６と同様の手順であるが、異なるワークＩＤのワークに対するロボット制御のフローチャートを作成する場合は、Ｓ６０１～Ｓ６０４の処理を省略することができる。つまり、本実施形態によれば、１つの撮像画像から複数種類のワークの物体認識を行うと、フローチャートを作成する手順において、一部の処理を省略することができる。

（その他の実施形態）
本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０４ 演算部

Claims (11)

1. 撮像画像を取得する取得手段と、
   複数の処理項目を組み合わせて前記撮像画像に基づいて装置を制御するための処理手順を設定する設定手段とを有し、
   前記設定手段は、前記処理手順を設定する場合に、撮像画像に含まれるオブジェクトの種類に対応する１以上の処理項目を提示し、前記提示された１以上の処理項目のうち少なくとも１つの処理項目を前記処理手順に加える処理を実行し、前記撮像画像と、前記撮像画像に含まれる前記オブジェクトの種類に対応する前記１以上の処理項目を示す情報と、を示す画面を表示部に表示させるとともに、前記オブジェクトの種類に対応する前記１以上の処理項目に対応する処理の結果を示す情報を前記表示部に表示させる
   ことを特徴とする電子機器。
2. 前記設定手段は、前記表示部の表示領域を複数の領域に分割し、前記分割した領域ごとに前記１以上の処理項目の各々と該処理項目による処理結果を表示することを特徴とする請求項１に記載の電子機器。
3. 前記設定手段が前記処理手順を設定するために用いる前記複数の処理項目は、前記撮像画像に含まれる前記オブジェクトの位置を計測する画像処理、前記オブジェクトの大きさを計測する画像処理、および前記オブジェクトに示される情報を解析する画像処理を含む
   ことを特徴とする請求項１または２に記載の電子機器。
4. 前記装置は、前記撮像画像に含まれる前記オブジェクトを移動させる産業用の装置である
   ことを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
5. 撮像画像を取得する取得手段と、
   複数の処理項目を組み合わせて前記撮像画像に基づいて装置を制御するための処理手順を設定する設定手段と、
   前記撮像画像に含まれるオブジェクトの種類と、前記撮像画像に含まれるオブジェクトの種類に対応する１以上の処理項目との対応関係を示す対応情報を記憶媒体に記憶する記憶手段とを有し、
   前記設定手段は、前記対応情報に基づいて、前記撮像画像に含まれる前記オブジェクトの種類に対応する前記１以上の処理項目を特定し、前記処理手順を設定する場合に、前記１以上の処理項目を提示し、前記提示された１以上の処理項目のうち少なくとも１つの処理項目を前記処理手順に加える処理を実行し、
   前記対応情報には、前記オブジェクトの種類に対応する前記１以上の処理項目の優先度を示す情報をさらに含む
   ことを特徴とする電子機器。
6. 前記設定手段が前記処理手順を設定するために用いる前記複数の処理項目は、前記撮像画像に含まれる前記オブジェクトの位置を計測する画像処理、前記オブジェクトの大きさを計測する画像処理、および前記オブジェクトに示される情報を解析する画像処理を含む
   ことを特徴とする請求項５に記載の電子機器。
7. 前記装置は、前記撮像画像に含まれる前記オブジェクトを移動させる産業用の装置である
   ことを特徴とする請求項５または６に記載の電子機器。
8. 撮像画像を取得する取得工程と、
   複数の処理項目を組み合わせて前記撮像画像に基づいて装置を制御するための処理手順を設定する設定工程とを有し、
   前記設定工程は、前記処理手順を設定する場合に、撮像画像に含まれるオブジェクトの種類に対応する１以上の処理項目を提示し、前記提示された１以上の処理項目のうち少なくとも１つの処理項目を前記処理手順に加える処理を実行し、前記撮像画像と、前記撮像画像に含まれる前記オブジェクトの種類に対応する前記１以上の処理項目を示す情報と、を示す画面を表示部に表示させるとともに、前記オブジェクトの種類に対応する前記１以上の処理項目に対応する処理の結果を示す情報を前記表示部に表示させる
   ことを特徴とする電子機器の制御方法。
9. 撮像画像を取得する取得工程と、
   複数の処理項目を組み合わせて前記撮像画像に基づいて装置を制御するための処理手順を設定する設定工程と、
   前記撮像画像に含まれるオブジェクトの種類と、前記撮像画像に含まれるオブジェクトの種類に対応する１以上の処理項目との対応関係を示す対応情報を記憶媒体に記憶する記憶工程とを有し、
   前記設定工程は、前記対応情報に基づいて、前記撮像画像に含まれる前記オブジェクトの種類に対応する前記１以上の処理項目を特定し、前記処理手順を設定する場合に、前記１以上の処理項目を提示し、前記提示された１以上の処理項目のうち少なくとも１つの処理項目を前記処理手順に加える処理を実行し、
   前記対応情報には、前記オブジェクトの種類に対応する前記１以上の処理項目の優先度を示す情報をさらに含む
   ことを特徴とする電子機器の制御方法。
10. 請求項１乃至７のいずれか１項に記載の電子機器の各手段としてコンピュータを機能させるためのプログラム。
11. 請求項１０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images