JP2016186469A

JP2016186469A - 情報処理装置、情報処理方法、プログラム

Info

Publication number: JP2016186469A
Application number: JP2015067067A
Authority: JP
Inventors: 匡貴中島; Masataka Nakajima; 裕人吉井; Hiroto Yoshii; 博志吉川; Hiroshi Yoshikawa; 内山　晋二; Shinji Uchiyama; 晋二内山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-03-27
Filing date: 2015-03-27
Publication date: 2016-10-27
Anticipated expiration: 2035-03-27
Also published as: US20160279809A1; US10477160B2; JP6548422B2

Abstract

【課題】ワークの位置・姿勢の高さ方向の変化も検出する情報処理装置を提供する。【解決手段】明部の領域と暗部の領域とを含む複数のパターンを、複数の対象物体が配置された空間に順次投影し、複数のパターンを順次投影している間に撮像された複数の画像のうちの第１の画像における、第１のパターンの明部の領域と暗部の領域の境界位置に対応する第１の位置を検出し、保持手段９が保持可能な物体を決定し、決定された物体を保持手段に保持させ、保持手段による保持の後に、第１のパターンを投影手段に投影させ、保持手段による保持の後に第１のパターンが投影された状態で画像を取得し、第１のパターンの明部の領域と暗部の領域の境界位置に対応する第２の位置を検出し、第１の位置と前記第２の位置とを比較することにより、空間の中で、対象物体の配置の状態が変化した変化領域を検出する情報処理装置７。【選択図】図１

Description

本発明は、ロボットにより部品を取り出すバラ積み部品ピッキング装置とその制御方法に関する。

バラ積み部品ピッキング装置とは、乱雑に重なり合って置かれたバラ積み部品等から個別に部品（以下ワーク）の位置・姿勢を認識し、ロボットにより１つずつワークを取出す装置をいう。以下、ワークを取り出すことを単に「ピッキング」と称する。

バラ積み部品ピッキング装置は主に３次元形状計測装置とピッキングロボットからなる。３次元形状計測装置により得られた距離情報を基に、把持可能なワークの位置・姿勢を認識し、その位置・姿勢をピッキングロボットに通知する。ピッキングロボットは通知されたワークの位置・姿勢情報に基づき、ワークのピッキングを行い、バラ積み部品の中からワークをピッキングする。このようなバラ積みピッキング装置においては、バラ積み部品の３次元形状計測、ワーク位置・姿勢認識と通知、ワークのピッキングという一連のサイクルを短時間で行うことが要求される。

バラ積み部品ピッキング装置において、３次元形状計測器の他にバラ積みワークのシーンの状態を撮影するカメラを有し、ピッキング後にバラ積み部品の３次元形状計測を再度行う前にカメラにてバラ積み部品の状態を撮影した２次元画像を取得し、前回のピッキング後に撮影したバラ積みワークのシーンの２次元画像と比較を行い、ワークの位置・姿勢の変化が許容範囲内のワークの有無を判断し、変化が許容範囲内のワークがあれば３次元形状計測を実行せずにピッキングを行うことにより、より短時間でのピッキングサイクルを実現している。

特開２０１０−１２０１４１号公報

しかし、特許文献１に開示される方法では、ワークの位置・姿勢の変化を２次元画像のみ使用していることから、高さ方向の変化を検出できないという課題がある。

本発明は、上記課題に鑑みてなされたものであり、ワークの位置・姿勢の高さ方向の変化も検出することを目的とする。

本発明に係る情報処理方法は、例えば、投影手段に、明部の領域と暗部の領域とを含む複数のパターンを、複数の対象物体が配置された空間に順次投影させる第１の投影制御工程と、前記複数のパターンを順次投影している際に、撮像手段に前記空間を順次撮像させることにより、複数の画像を取得する第１の画像取得工程と、前記第１の画像取得工程において取得された前記複数の画像のうち、前記複数のパターンのうちの第１のパターンが投影された複数の前記対象物体を撮影して取得された第１の画像における、前記第１のパターンの明部の領域と暗部の領域の境界位置に対応する第１の位置を検出する第１の検出工程と、前記取得された複数の画像に基づいて、前記複数の対象物体のうち、保持手段が保持可能な物体を決定する決定工程と、前記決定された物体を前記保持手段に保持させるように、前記保持手段を制御する制御工程と、前記保持手段による保持の後に、前記第１のパターンを前記投影手段に投影させる第２の投影制御工程と、前記保持手段による保持の後に前記第１のパターンが投影された状態で、前記空間を撮像した画像を取得する第２の画像取得工程と、前記第２の画像において、前記第１のパターンの明部の領域と暗部の領域の境界位置に対応する第２の位置を検出する第２の検出工程と、前記第１の位置と前記第２の位置とを比較することにより、前記空間の中で、対象物体の配置の状態が変化した変化領域を検出する変化領域検出工程とを備える。

また、別の側面の本発明に係る情報処理方法は、例えば、投影手段に、明部の領域と暗部の領域とを含む複数のパターンを、複数の対象物体が配置された空間に順次投影させる第１の投影制御工程と、前記複数のパターンを順次投影している際に、撮像手段に前記空間を順次撮像させることにより、複数の画像を取得する第１の画像取得工程と、前記第１の画像取得手段により取得された複数の画像に基づいて、前記複数の対象物体のうち、保持手段が保持可能な物体を決定する決定工程と、前記決定された物体を前記保持手段に保持させるように、前記保持手段を制御する制御工程と、前記保持手段による保持の後に、前記第１のパターンを前記投影手段に投影させる第２の投影制御工程と、前記第１のパターンが投影された状態で複数の対象物体を撮像した画像を取得する第２の画像取得工程と、前記第１の画像取得手段で取得された複数の画像のうち、前記第１のパターンに対応する画像以外の画像と、前記第２の画像とに基づいて、前記空間の中で、対象物体の配置の状態が変化した変化領域を検出する変化領域検出工程とを備える。

本発明によれば、ワークの位置・姿勢の高さ方向の変化も検出することが可能となる。

本発明の形状計測装置を示した図である。本発明の制御方法を示した図である。４ビットの空間符号化パターンを示す図である。４ビットのグレイコードと空間符号の値を示す図である。第１の実施形態における第二の距離データの算出方法を示す図である。画像輝度波形の計測線位置について示す図である。第１の実施形態における変化検出方法を示す図である。Ｓ１０３において算出された計測線位置情報の例を示す図である。Ｓ１０８において算出された計測線位置情報の例を示す図である。変化領域の情報を基にピッキング可能なワーク有無を判定する処理の例を示す図である。変化領域の情報を基にピッキング可能なワーク有無を判定する処理の例を示す図である。マルチスリット光投影法における計測線位置を示す図である。マルチスリット光投影法における投影パターン光の一例を示す図である。第２の実施形態における第二の距離データの算出方法を示す図である。第２の実施形態における変化検出方法を示す図である。第３の実施形態における第二の距離データの算出方法を示す図である。第３の実施形態における変化検出方法を示す図である。Ｓ１０３とＳ１０８で使用する画像データの違いを説明する図である。本発明の情報処理装置のハードウェア構成の例を示す図である。

（第１の実施形態）
本発明の情報処理装置の第１の実施形態について説明する。図１は本発明の情報処理装置７を用いたシステムの例である。

本発明の情報処理装置は、前回のサイクルでのピッキング時に取得された距離データを用いて、距離データの取得にかかる時間を短縮する。具体的には、前回のサイクルで、複数のパターンを投影して第２の距離データを取得し、記憶しておく。そして、今回のサイクルでは、前回よりも少ない数のパターンを投影することにより第三の距離データを取得し、第二の距離データと第三の距離データとを比較することにより変化領域を精度よく検出する。第１の実施形態では、距離データとして、パターンの明暗の境界位置が記録されたデータを用いる。

第１の実施形態の情報処理装置７は、投影部１１と撮像部１２と、ワーク（対象物体）をピッキングする際の動作を制御するロボット制御部８とに接続される。

投影部１１は、光束を射出する光源１と、被検物に投影する格子のパターンを生成し、パターンを変調することが可能なパターン生成部２と、複数のワークが無秩序に山積みされて配置された空間にパターン光を照射する投影レンズ３ａ、３ｂとを備える。

光源１は、光束を射出する光源であり、例えばＬＥＤ等が使用される。光源１は、パターン生成部２を照明する。

パターン生成部２は、明部と暗部とが周期的に並ぶ格子のパターンを生成する。例えばパターン生成部２は、遮光部と非遮光部が規則的に並んだマスクパターンを用いても良いが、液晶素子、デジタルミラーデバイス（ＤＭＤ）などを用いることにより、モノクロパターン、正弦波状パターンなど任意のパターンを生成可能である。パターン生成部２を透過した格子パターンを有する光束は投影レンズ３ａ、３ｂへ入射される。投影レンズ３ｂにより射出された光束は、被検物４に照射され、パターン生成部２のパターンが投影される。

撮像部１２は、ワーク４より反射されたパターン光を集光する集光レンズ５ａ、５ｂと、ワーク４から拡散・反射された光束の強度を取得する撮像素子６とからなる。ワーク４にて反射及び拡散されたパターン光束は、結像レンズ５ａ、５ｂに入射し、撮像素子６上にワーク４に照射されたパターン光の像を結像する。結像されたパターン光の像の光強度をＣＣＤやＣＭＯＳセンサなどの撮像素子６によって検出する。

ロボット制御部８は、制御解析部７からワークの位置・姿勢情報を受信し、位置姿勢が認識されたワークをピッキングするようにロボット９を制御する。

ロボット９は、ロボット制御部８からの制御情報に基づいて、ワークのピッキングを行う。

情報処理装置７は、以下の構成を備える。

投影制御部７ａは、光源１の発光やパターン生成部２にて投影するパターンを変更しながら投影部１１による投影を制御する。

撮影制御部７ｂは、撮像素子の露光時間等の変更や画像撮影を行い、撮像部１２による撮像を制御する。

記憶部７ｃは、撮影した画像や距離演算の結果を記憶する。

距離算出部７ｄは、記憶した画像からワークまでの距離を算出する。

ワーク認識部７ｅは、計測された第一の距離データと、記憶部７ｃに予め保存されたワーク４の形状データから、ワーク認識を行う。具体的には、ワーク認識部７ｅは、ロボット９がピッキング可能なワークの位置・姿勢を算出し、位置・姿勢情報を記憶部７ｃに保存すると共に、通信部７ｆからロボット制御部８に送信する。

通信部７ｆは、認識したワークの位置・姿勢情報をロボット制御部８に送信する。

情報処理装置７を構成する各機能部は、ＣＰＵ１９１０が、ＲＯＭ１９２０に格納されたプログラムをＲＡＭ１９３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ１９１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

ロボット制御部８は、受信した把持可能なワークの位置・姿勢情報を基にワーク４を把持可能なハンドを有するロボット９をバラ積みされたワーク４をピッキングするように操作する。

ロボット９は、ワーク４を把持（保持）可能なロボットハンドを備えており、ロボット制御部８で制御されバラ積みされたワーク４をピッキングする。本実施形態においてロボット９は多関節ロボットであるが、これに限定されずワーク４をピッキングし、別の場所に移動させられる限りどのような形態のロボットであってもよい。なお、ロボットハンドとしては、ワーク形状に応じて把持に適したものを利用すればよい。たとえば二指や三指の開閉ハンドを用いても、吸着式のハンドを用いてもよい。

図２を参照して、第１の実施形態の処理フローチャートを説明する。

本実施形態は、バラ積みされた複数のワークを順次ロボットによりピッキングする例について説明する。Ｓ１０１〜Ｓ１０６は、１周期のピッキングのサイクルを示し（すなわち、あるワークをピックするまでのプロセスである）、Ｓ１０７〜Ｓ１０９はその次の周期のピッキングのサイクル（すなわち、次のワークをピッキングするプロセスである）を示す。

まずＳ１０１にて、投影部１は、第一の距離データ取得用のパターン光をバラ積みワーク上に投影する。そして投影部１によりパターン光が投影されている間に、撮像部２は、ワークがバラ積みされたシーンの撮影を行うことで、第一の距離データ取得に必要なパターン光強度画像を取得する。すなわち、パターン光強度画像とは、あるパターンが投影された状態のワークを撮像した画像である。この時、例えば空間符号化パターン投影法で第一の距離データを取得する場合、投影するパターンは図３（ａ）〜（ｊ）に示すような複数のパターンを順次投影する。そして、撮像部２は、パターンが投影されるごとに順次撮像する（画像取得）。この例では４ビットの空間符号化パターン投影法のグレイコードパターンであるため、プロジェクタからの出射光を２^４（＝１６）分割することができる。ビット数を増加させると投影枚数は増加するが、出射光の分割数を増加させることができる。例えば１０ビットの場合には、２^１０（＝１０２４）分割することが可能となり、シーンをより細かく分割でき、詳細な形状を計測することができる。本実施形態では、上記のように複数のパターンを順に投影するため、取得されるパターン光強度画像も複数である。

次にＳ１０２において、距離算出部７ｄは、Ｓ１０１にて取得した複数のパターン光強度画像から第一の距離データを算出する。第一の距離データを取得する方法として空間符号化パターン投影法を用いた場合の説明を行う。

空間符号化パターン投影法では各ビットに対応するパターン光強度画像の輝度情報から明暗判定を行い、撮影範囲の所定の領域毎に空間符号を付与する。例えば１ビット目の画像において明暗判定を行うには、図３（ｂ）のポジティブパターンに対するパターン光強度画像と図３（ｇ）のネガティブパターン画像に対するパターン光強度画像で、対応する同一画素において、画像輝度値の比較を行う。そして、ポジティブパターンに対するパターン光強度画像の輝度が明るい場合を１、ポジティブパターンに対するパターン光強度画像の輝度が暗い場合を０と判定することで符号を付与する。これを各ビットのパターン光強度画像に対して行い、４ビットまで行ったとすると図４に示すように空間符号を付与することができる。そして付与した空間符号と、投影部１１と撮像部１２との間の幾何関係からワークの形状を算出する。

次にＳ１０３にて、距離算出部７ｄは、Ｓ１０１で取得したパターン光強度画像から第二の距離データの算出を行う。本実施形態における第二の距離データは、図３（ｅ）（ｊ）の４ビットパターンのポジティブパターンとネガティブパターンのみに対するパターン光強度画像から得られる。

第二の距離データの算出方法を図５に示す。まずＳ１０３−１にて、Ｓ１０１にて投影したパターン光における最も高精細なパターン光（４ビットパターンのポジティブパターンとネガティブパターン）に対するパターン光強度画像から計測線位置を算出する。ここで計測線位置とは、パターン光強度画像における、パターンの明部領域と暗部領域との境界位置のことをいう。

例えば、Ｓ１０１の第一の距離データ取得用のパターン投影と撮影において、図３（ａ）〜（ｊ）の４ビットパターンを用いた場合、図３（ｅ）の４ビットポジティブパターンと図３（ｊ）の４ビットネガティブパターンに対するパターン光強度画像から、計測線位置として画像輝度波形の交点位置を算出する。画像輝度波形の交点位置について図６に示す。投影した最下位ビット画像において、ポジティブパターンの画素Ｘｎの輝度値をＰ_Ｌ、画素Ｘｎ＋１の輝度をＰ_Ｒ、ネガティブパターンの画素Ｘｎの輝度値をＮ_Ｌ、画素Ｘｎ＋１の輝度をＮ_Ｒとすると、画像輝度波形の交点位置Ｘｎ’は、Ｐ_ＬとＰ_Ｒを結んだ直線とＮ_ＬとＮ_Ｒを結んだ直線の交点であり、以下の式で表わすことができる。

ポジティブパターンとネガティブパターンの画像輝度波形の交点位置Ｘｎ’を算出することにより、ワークの高さによる投影パターンのずれ量を１画素以下の精度で検出する事ができ、精度良くワークの形状を計測する事が出来る。画像全体の明パターンと暗パターンの境界部において、この画像輝度波形の交点位置を算出することで、撮影領域全体における計測線位置を計測する。

なお、本実施形態では、第１の距離データとは別に第２の距離データを取得するように説明をしたが、第２の距離データは、第１の距離データを算出する際に得ても良い。すなわち、第２の距離データは、ステップＳ１０２において、４ビットのパターン光強度画像に対して符号を割り当てる際に得てもよい。

そして、距離算出部７ｄは、Ｓ１０３−１で画像全体にわたって算出した、計測線位置データを記憶部７ｃに記憶させる。

次にＳ１０４にて、ワーク認識部７ｅは、Ｓ１０２で算出したバラ積みワークの第一の距離データと、予め記憶部に保存されたＣＡＤデータ等のワークの形状データを用いて、マッチング処理等を行いバラ積みされた複数のワークの位置・姿勢を算出する（複数決定）。

次にＳ１０５にて、ワーク認識部７ｅは、Ｓ１０４にて認識した複数のワークの位置・姿勢情報とＳ１０２にて算出したバラ積みワークの第一の距離データと、予め記憶部に保存されたロボットハンドの形状データを用いて、ロボットがピッキング可能なワークの有無を判定する。

具体的には、位置・姿勢を認識したワーク（以下ピッキング候補ワーク）のデータ領域、周辺の形状データ、ロボットハンドの形状データから、ピッキング候補ワークをピッキングする際のロボットハンドが周辺のワークや設置物と干渉があるかを判定する。干渉がなければ、そのピッキング候補ワークは、ピッキング可能なワークと判定する。そして、ピッキング候補ワークの中からロボットがピッキング可能なワークの位置・姿勢を抽出する。そして、ロボットがピッキング可能なワークが存在した場合、ワーク認識部７ｅは、そのワークの位置姿勢データを、通信部７ｆに送出する。そして、通信部７ｆは、ロボット制御部８にピッキング可能なワークの位置・姿勢のうち１つを送信し、Ｓ１０５に進む。複数のワークがピッキング可能と判定された場合には、もっとも周辺とのワークや設置物との距離が起こりにくいワークを選べばよい。ロボットがピッキング可能なワークが存在しなかった場合はＳ１０１に戻る。この時、バラ積みワークをかき回す等のバラ積み状態を変化させる動作を行っても良い。

次にＳ１０６にて、ロボット制御部８は、Ｓ１０５にて通信部７ｆから送信された、ロボットがピッキング可能なワークの位置・姿勢情報を基にロボットを制御し、ワークのピッキングを行う。

次にＳ１０７にて、投影部１１は、第三の距離データ取得の為のパターン画像をワークがバラ積みされたシーンに投影し、撮像部１２は、撮影を行う。Ｓ１０１で投影するパターン光の中で最も高精細なパターン光を投影することにより第三の距離データを取得する。例えばＳ１０１で図３（ａ）〜（ｊ）のパターンを投影していた場合、図３（ｅ）の４ビットポジティブパターンと図３（ｊ）の４ビットネガティブパターンのみをバラ積みワークに投影しパターン光強度画像の撮影を行う。Ｓ１０１の第一の距離データ取得用パターン投影・撮影では、１０枚のパターン画像を投影・撮影するのに対し、本工程では図３（ｅ）の４ビットポジティブパターンと図３（ｊ）の４ビットネガティブパターンの２枚のみ投影・撮影するだけで良く、Ｓ１０１と比較して１／５の時間でパターン投影・撮影を完了することができる。

次にＳ１０８にて、距離算出部７ｄは、Ｓ１０７にて取得した第三の距離データ取得用のパターン光強度画像から、Ｓ１０３と同様に、つまりＳ１０３と同様の処理を行って第三の距離データを算出する。すなわち、計測線位置を求める。

次にＳ１０９にて、ワーク認識部７ｅは、Ｓ１０３で算出した第二の距離データとＳ１０８にて算出した第三の距離データから、バラ積みワーク内におけるＳ１０６のピッキング前後の変化を検出する。本実施形態にピッキング前後におけるバラ積みワーク内の変化の検出方法を図７に示す。第二の距離データに対して、始点から１データずつ計測線位置データの有無を判定し、計測線位置データが存在する場合、第二の距離データと第三の距離データ内の交点位置の比較を行い、変化領域を検出する。まずＳ１０９−１にて、Ｓ１０３にて算出した第二の距離データの各画素において、計測線位置データがあるかどうかを判定する。例えば図８に示すように、第二の距離データの位置（Ｘ０，Ｙ０）において計測線位置データが存在しない場合、Ｓ１０９−６に進み、位置（Ｘ０，Ｙ０）には変化領域がないと判定する。次のデータに移動し、位置（Ｘ１，Ｙ０）において画像輝度波形の交点位置情報が存在する場合、Ｓ１０９−２に進む。

次にＳ１０９−２にて、距離算出部７ｄは、Ｓ１０６にて算出された第三の距離データにおいて位置（Ｘ１，Ｙ０）から最近傍の計測線位置データを探索する。探索は例えば第二の距離データにおいて計測線が存在する位置（Ｘ１，Ｙ０）を始点に左右交互に１画素ずつ探索し、最近傍の計測線位置を決定する。図９に示すように第三の距離データの位置（Ｘ１，Ｙ０）を始点としてラスタスキャンを行う。図９においては位置（Ｘ２，Ｙ０）の交点位置情報が最近傍の計測線位置データとなる。

次にＳ１０９−３にて、距離算出部７ｄは、第二の距離データの位置（Ｘ１，Ｙ０）における計測線位置データと、第三の距離データの位置（Ｘ１，Ｙ０）の最近傍の計測線位置データの差分を算出する。図８の位置（Ｘ１，Ｙ０）における計測線位置データＰ１と、それに対応する図９の位置（Ｘ２，Ｙ０）における計測線位置データＰ２との差分値Δを算出する。

次にＳ１０９−４にて、距離算出部７ｄは、Ｓ１０９−３にて算出した計測線位置の差分値Δが予め設定された閾値未満かどうかを判定する。計測線位置の差分値Δが閾値より大きい場合、Ｓ１０９−５に進み第二の距離データ内の位置（（Ｘ１，Ｙ０））はピッキング前後で変化したとして判定される。一方、計測線位置データの差分値が閾値未満だった場合、Ｓ１０９−６に進み第二の距離データ内の位置（（Ｘ１，Ｙ０））はピッキング前後で変化がなかったとして判定される。以上のＳ１０９−１からＳ１０９−６までを第二の距離データ内の全てのデータに対して行うことにより、バラ積みワーク領域におけるＳ１０６のピッキング前後の変化領域を検出することができる。なお本工程における閾値はワークのピッキングによって発生する距離の変化のみを変化とみなすように設定することが望ましい。つまり撮像素子のノイズ等で発生する画像輝度値の変化による計測線位置の変化等は、変化として検出せず、ワークがピッキングされたことにより発生する計測線位置の変化を変化として検出するように設定する。例えばバラ積みされているワークの外接直方体の各辺の最小値以上で且つ第二の距離データにおいて撮像素子のノイズ等で発生する計測線位置誤差よりも大きな値を閾値に設定する。

そして再度Ｓ１０５に戻り、ワーク認識部７ｅは、Ｓ１０５で抽出されたピッキング可能なワークの位置・姿勢と、Ｓ１０９にて算出されたピッキング前後の変化領域の情報を基にピッキング可能（保持可能）なワーク有無を判定する。図１０に示すように、ピッキング前後で変化がない領域にピッキング可能なワークが存在しない場合、Ｓ１０１に戻り各工程を繰り返す。この時バラ積みワークの状態を変化させる等の動作を行ってからＳ１０１に戻っても良い。

一方、図１１に示すようにピッキング前後で変化がない領域にピッキング可能なワークが存在していた場合、Ｓ１０１に戻らず、ピッキング前のＳ１０５で抽出されたピッキング可能なワークの位置・姿勢情報をロボット制御部に送信し、再度ピッキングを行う。例えば図１１（ｃ）において、太線で表示されているワークのいずれか一方のワークの位置・姿勢をロボット制御部８に送信する。これにより、Ｓ１０７、Ｓ１０８に対して長い処理時間を要するＳ１０１、Ｓ１０２の回数を減らすことができ、ピッキングサイクルの短時間化が可能となる。また本発明では、特許文献１の方法に対して、高さ情報の変化を検出している為、バラ積み内においてワークが撮影面内の同じ位置に同じ姿勢で、高さ方向に積まれているような場合でも、ピッキングミスをすることがなくなり、ピッキングサイクルを短時間化することが可能となる。

また本実施形態では、第三距離データ取得において第一の距離データを算出する為に投影するパターン光の中で最も高精細なパターン光のポジティブ・ネガティブの２枚のパターン光強度画像を取得したが、ポジティブ・ネガティブのどちらか一方のパターン光強度画像だけでもよい。例えば第三の距離データ取得の為に、最も高精細なポジティブパターン光強度画像のみ取得した場合、第三の距離データは新たに投影したポジティブパターン光強度画像と第二の距離データを算出する為に用いたネガティブパターン光強度画像から算出してもよい。また逆にネガティブパターン光強度画像を取得した場合、第二の距離データを算出する為に用いたポジティブパターン光強度画像を用いて第三の距離データを算出してもよい。これにより投影するパターン光の枚数をさらに削減した上で、同様の効果を得ることが可能となる。さらに本発明を適用できる計測方法は、この方法に限られない。例えば、図１２に示すように画像輝度値のピーク位置が計測線位置に相当するようなマルチスリット光投影法にも利用できる。マルチスリット光投影法では第一の距離データの取得に図１３の（ａ）〜（ｇ）のパターン画像を投影する。図１３（ｇ）のパターンが計測線を計算するためのパターン画像であり、図１３（ａ）〜図１３（ｆ）までのパターンは図１３（ｇ）の各計測線が何本目の計測線であるかを特定するのに使用される空間符号化パターン画像である。図１３（ａ）〜図１３（ｆ）は４ビットの空間符号化パターン画像であるため、１６本の計測線を特定することができる。

ピッキング後の変化領域を検出するときには、Ｓ１０７にて計測線位置を算出するのに必要な図１３（ｇ）のみを投影する。そして、第一の距離データ計測時の計測線位置と、変化領域検出時の計測線位置とを用いて、計測線位置の位置ずれ量を算出する。この位置ずれ量が大きい箇所を変化領域として検出することにより本発明を実施することができる。

（第２の実施形態）
本実施形態では、変化領域の検出のために空間符号の値を用いる。第一の距離データ取得時と、変化領域の検出時とで、それぞれ空間符号の値を計算し、比較を行う。空間符号の値を求めるためには、通常全てのビットのパターン光画像が必要となるので、普通に撮影をすると、第一の距離データを取得するためのパターンの数だけ投影・撮影する必要があるため撮影時間を短縮することはできない。そこで、本実施形態では、変化領域検出時に特定のビットの画像のみを撮影する。そして、特定のビットの画像以外は第一の距離データ取得時の画像を用いて空間符号の値を算出する。これにより、撮影時間の短縮と変化領域の検出を可能とする。

本実施形態の装置構成は第１の実施形態の装置構成を示した図１と同様である。

本実施形態の制御方法は、第１の実施形態の制御方法を示した図２と同様である。Ｓ１０３の第二の距離データ計算処理と、Ｓ１０６の第二の距離データ取得用パターン投影・撮像、Ｓ１０７の第二の距離データ計算処理、Ｓ１０８の変化領域検出処理の４つが異なる。

以下、第２の実施形態の処理方法について詳細に説明する。

Ｓ１０１とＳ１０２は第１の実施形態と同様の内容であるため、説明を割愛する。

Ｓ１０３にて、Ｓ１０１で取得したパターン光強度画像から第二の距離データの算出を行う。Ｓ１０３で算出した第二の距離データを、第二の距離データ’と称する。

本実施形態では、第二の距離データ’として、各カメラ画像座標に対応する空間符号の値を２次元マップ化した空間符号マップを用いる。すなわち、Ｓ１０３では、空間符号の算出処理を行う。その処理方法について図１４を用いて説明する。

Ｓ１０３−１’では、制御変数ｉを１に設定し、Ｓ１０３−２’に進む。

Ｓ１０３−２’では、ｉビット目の２値化判定処理を行う。ｉビット目の各画素で、ポジティブ画像とネガティブ画像の画像輝度値の大小判定を行う。ポジティブ画像の画像輝度値が、ネガティブ画像の画像輝度値以上の場合、その画素を「１」とする。逆に、ポジティブ画像の画像輝度値がネガティブ画像の画像輝度値未満の場合、その画素を「０」とする。ｉビット目の画像の全画素で２値化判定処理が終了すると、Ｓ１０３−３’に進む。

Ｓ１０３−３’では、制御変数ｉがＮに未満であるかの判定を行う。Ｎは空間符号化のビット数である。図３の投影パターンを用いるので、Ｎは４である。判定が「ｙｅｓ」の場合、Ｓ１０３−４’に進む。Ｓ１０３−４’では、制御変数ｉに１を加算する。判定が「ｎｏ」の場合、１〜４ビットの全てのビットで、２値化判定が終了したことになるので、Ｓ１０３−５’に進む。

Ｓ１０３−５’では、４ビットのグレイコード生成処理を行う。図４で示したように各画素で、１ビットから４ビットまでの２値のコードを結合させることで、各画素のグレイコードが生成される。

Ｓ１０３−６’では、４ビットのグレイコードを４ビットの空間符号値に変換処理する。

Ｓ１０３−７’では、Ｓ１０３−６’で画像全体に渡って、空間符号値を算出した結果を空間符号マップとして記憶部７ｃに保存する。

以上が、Ｓ１０３の処理フローの説明である。

Ｓ１０４、Ｓ１０５、Ｓ１０５は第１の実施形態と同様の内容であるため、説明を割愛するが、ワーク認識部７ｅが行うワーク認識処理により、ピッキング可能なワークが認識され、そのワークがロボットによりピッキングされる。

Ｓ１０７では、第二の距離データ取得のためのパターン光画像をワークに投影し、撮影を行う。本実施形態では、パターンの細かさが２番目に細かいパターンである図３（ｄ）の３ビットポジティブパターン光画像、図３（ｉ）の３ビットネガティブパターン光画像の２種類を投影する。本実施形態では、パターンの細かさが２番目に細かいパターンを用いる例を説明するが、用いることができるパターンはこれに限られるものではない。検出したい変化領域の大きさと検出感度に応じて、他の細かさのパターンを用いてもよい。

Ｓ１０８では、Ｓ１０６で取得したパターン光強度画像と、Ｓ１０１で取得したパターン光強度画像から第二の距離データの算出を行う。Ｓ１０８で算出した第二の距離データを、第三の距離データ’と称する。

Ｓ１０８の第二の距離データ計算処理の内容は、図１４で説明したＳ１０３と同一であり、パターン光強度画像を用いて空間符号値の算出を行う。ただし、計算に用いるパターン光強度画像の取得のタイミングが一部異なる。

図１８に示すように、Ｓ１０３では、全パターン光強度画像がピッキング前のＳ１０１のときに撮影されたものである。Ｓ１０８では、３ビットの画像以外はピッキング前のＳ１０１のときに撮影された画像を用いるが、３ビットの画像はピッキング後のＳ１０７のときに撮影された画像を用いる。このように特定のビットの画像のみ、撮影されるタイミングが異なる場合、Ｓ１０１で撮影されたバラ積みワークの状態と、Ｓ１０７で撮影されたバラ積みワークの状態とに変化がある場合、変化がある領域だけ、算出される空間符号の値に差が生じる。この空間符号値の差をＳ１０９では変化領域を検出する手掛かりとして利用する。

Ｓ１０９では、Ｓ１０３で生成した第二の距離データ’と、Ｓ１０８で生成した第三の距離データ’から、ピッキング前後のバラ積みワークの変化を検出する。本実施形態における変化の検出方法について図１５に示す。

Ｓ１０９−１’では、Ｓ１０３にて算出した第二の距離データ’（空間符号マップ）の位置（ｘ，ｙ）における空間符号の値Ｄｂを取得する。

Ｓ１０９−２’では、Ｓ１０８にて算出した第三の距離データ’（空間符号マップ）の位置（ｘ，ｙ）における空間符号の値Ｄｃを取得する。

Ｓ１０９−３’では、Ｓ１０９−１’で取得したＤｂと、Ｓ１０９−２’で取得したＤｃとの差分の絶対値を計算し、それを位置（ｘ，ｙ）における差分値とする。

Ｓ１０９−４’では、差分値が閾値よりも大きいかの判定を行う。差分値が閾値よりも大きい場合、Ｓ１０９−５’に進む。Ｓ１０９−５’では、位置（ｘ，ｙ）を変化領域とする。差分値が閾値よりも小さい場合、Ｓ１０９−６’に進む。Ｓ１０９−６’では、位置（ｘ，ｙ）を非変化領域とする。なお本工程における閾値は、検出したい変化領域の大きさと検出感度により決定した、Ｓ１０７で投影したパターン光が変化することにより発生する空間符号の変化以上に設定することが望ましい。例えばＳ１０７で投影したパターン光が変化することにより発生する空間符号の変化以上で且つ第二の距離データにおいて撮像素子のノイズ等で発生する空間符号の誤差よりも大きな値に設定する。

Ｓ１０９−１’〜Ｓ１０９−６’までの工程を空間符号マップの全画素に対して実施することで、画像の全範囲の変化の有無が判定できる。

Ｓ１０９における変化領域の検出が終了すると、Ｓ１０５に戻り、ピッキング可能なワークの有無の判定を行う。詳細は第１の実施形態において、図１０、図１１を用いて説明したので割愛する。

以上のように、本実施形態によれば、第１の実施形態に対して、撮影枚数が１枚増加するが、全画素で変化量を検出できるため、より精度良く変化を検出することができる。

（第３の実施形態）
本実施形態では、変化領域の検出のための第二の距離データとして、周期性を有する投影パターン光の位相の情報を用いる。第一の距離データ取得時と、変化領域の検出時とで、それぞれ位相の情報を計算し、比較する。位相の情報を求めるためには、少なくとも３枚のパターン投影を必要とする。３枚というパターン画像数は、第１の実施形態と第２の実施形態に比べると１枚多いが、第一の距離データの計測に必要となるパターン光画像数と比較すると少ない。そのため、第一の距離データを毎回取得するのに比べると撮影時間を短縮できるため、タクトタイム短縮も実現できる。本実施形態の場合、パターンの明部と暗部の境界位置を求める第１の実施形態に対して、撮影枚数が１枚増加するが、全画素で変化量を検出できるのでその点は有意性がある。

制御方法について、順に説明する。

Ｓ１０３にて、Ｓ１０１で取得したパターン光強度画像から第二の距離データの算出を行う。第二の距離データの算出に用いるのは、図３（ｅ）の４ビットポジティブパターン画像、図４（ｊ）の４ビットネガティブパターン画像、図３（ａ）の全点灯パターン画像の３種類である。工程Ｓ１０３で算出した第二の距離データを、第二の距離データ’’と称する。

本実施形態では、第二の距離データとして、周期性を有する投影パターン光の位相の情報を用いる。すなわち、Ｓ１０３では、位相情報の算出処理を行う。その算出処理について図１６を用いて説明する。

Ｓ１０３−１’’では、４ビットのポジティブパターン画像とネガティブパターン画像の差分画像を生成する。

続いて、Ｓ１０３−２’’では、Ｓ１０３−１’’で生成した差分画像を全点灯パターン画像で正規化する。具体的には、差分画像の画像輝度値を全点灯画像の画像輝度値で割り算する。差分画像の時点では、計測対象物の反射率の大小によって、波形の振幅が増減する。これを計測対象物の反射率を表わす全点灯画像の画像輝度値で割り算することで、対象物の反射率の寄与分が削除され、波形の位相の情報のみが抽出される。

Ｓ１０３−３’’では、Ｓ１０３−２’で生成した正規化画像を位相情報として、記憶部に保存する。

以上が、Ｓ１０３の算出処理の説明である。

Ｓ１０４、Ｓ１０５、Ｓ１０５は第１の実施形態と同様の内容であるため、説明を割愛するが、ワーク認識処理により、ピッキング可能なワークが認識され、そのワークがロボットによりピッキングされる。

Ｓ１０７では、第二の距離データ取得のためのパターン画像をワークに投影し、撮影を行う。本実施形態では、１０３で使用した画像と同一種類の３種類のパターン画像を投影撮像する。

Ｓ１０８では、Ｓ１０７で取得したパターン光強度画像から第二の距離データの算出を行う。Ｓ１０８で算出した第二の距離データを、第三の距離データ’’と称する。Ｓ１０８の第二の距離データ計算処理の内容は、図１４で説明したＳ１０３と同一であり、パターン光強度画像を用いて位相情報の算出を行う。

Ｓ１０９では、Ｓ１０３で生成した第二の距離データ’’と、Ｓ１０８で生成した第三の距離データ’’から、ピッキング前後のバラ積みワークの変化を検出する。位相情報は、対象物の高さが変化するとそれに応じて変化する。すなわち、ピッキング前後でバラ積み状態が変化し、高さが変化した場合には、位相情報が変化する。位相情報を同一画素で差分演算することで、高さの変化、すなわち、ワークのバラ積み状態の変化を検出できる。本実施形態における変化の検出方法について図１７に示す。

Ｓ１０９−１’’では、Ｓ１０３にて算出した第二の距離データ’’（位相情報）の位置（ｘ、ｙ）における位相の値Ｐｂを取得する。

Ｓ１０９−２’’では、Ｓ１０８にて算出した第三の距離データ’’（位相情報）の位置（ｘ、ｙ）における位相の値Ｐｃを取得する。

Ｓ１０９−３’’では、Ｓ１０９−１’’で取得したＰｂと、Ｓ１０９−２’’で取得したＰｃとの差分の絶対値を計算し、それを位置（ｘ，ｙ）における差分値とする。

Ｓ１０９−４’’では、差分値が閾値よりも大きいかの判定を行う。差分値が閾値よりも大きい場合、Ｓ１０９−５’’に進む。Ｓ１０９−５’’では、位置（ｘ，ｙ）を変化領域とする。差分値が閾値よりも小さい場合、Ｓ１０９−６’’に進む。Ｓ１０９−６’’では、位置（ｘ，ｙ）を非変化領域とする。なお本工程における閾値はワークのピッキングによって発生する位相の変化のみを変化とみなすように設定することが望ましい。つまり撮像素子のノイズ等で発生する画像輝度値の変化による位相の変化等は、変化として検出せず、ワークがピッキングされたことにより発生する位相の変化を変化として検出するように設定する。例えばバラ積みされているワークの外接直方体の各辺の最小値における位相変化量以上で且つ第二の距離データにおいて撮像素子のノイズ等で発生する位相誤差よりも大きな値を閾値に設定する。

Ｓ１０９−１’’〜Ｓ１０９−６’’までの工程を位相情報の全画素に対して実施することで、画像の全範囲の変化の有無が判定できる。

Ｓ１０９における変化領域の検出が終了すると、Ｓ１０５に戻り、ピッキング可能なワークの有無の判定を行う。詳細は第１の実施形態において、図１０、図１１を用いて説明したので、割愛する。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。

即ち、上述した各実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

Claims

投影手段に、明部の領域と暗部の領域とを含む複数のパターンを、複数の対象物体が配置された空間に順次投影させる第１の投影制御工程と、
前記複数のパターンを順次投影している際に、撮像手段に前記空間を順次撮像させることにより、複数の画像を取得する第１の画像取得工程と、
前記第１の画像取得工程において取得された前記複数の画像のうち、前記複数のパターンのうちの第１のパターンが投影された複数の前記対象物体を撮影して取得された第１の画像における、前記第１のパターンの明部の領域と暗部の領域の境界位置に対応する第１の位置を検出する第１の検出工程と、
前記取得された複数の画像に基づいて、前記複数の対象物体のうち、保持手段が保持可能な物体を決定する決定工程と、
前記決定された物体を前記保持手段に保持させるように、前記保持手段を制御する制御工程と、
前記保持手段による保持の後に、前記第１のパターンを前記投影手段に投影させる第２の投影制御工程と、
前記保持手段による保持の後に前記第１のパターンが投影された状態で、前記空間を撮像した画像を取得する第２の画像取得工程と、
前記第２の画像において、前記第１のパターンの明部の領域と暗部の領域の境界位置に対応する第２の位置を検出する第２の検出工程と、
前記第１の位置と前記第２の位置とを比較することにより、前記空間の中で、対象物体の配置の状態が変化した変化領域を検出する変化領域検出工程とを備えることを特徴とする情報処理方法。
前記変化領域検出工程では、前記第１の位置と前記第２の位置との差分値が閾値よりも大きい場合に、前記第２の画像における前記第２の位置を含む領域を、前記変化領域として検出することを特徴とする請求項１に記載の情報処理方法。
投影手段に、明部の領域と暗部の領域とを含む複数のパターンを、複数の対象物体が配置された空間に順次投影させる第１の投影制御工程と、
前記複数のパターンを順次投影している際に、撮像手段に前記空間を順次撮像させることにより、複数の画像を取得する第１の画像取得工程と、
前記第１の画像取得手段により取得された複数の画像に基づいて、前記複数の対象物体のうち、保持手段が保持可能な物体を決定する決定工程と、
前記決定された物体を前記保持手段に保持させるように、前記保持手段を制御する制御工程と、
前記保持手段による保持の後に、前記第１のパターンを前記投影手段に投影させる第２の投影制御工程と、
前記第１のパターンが投影された状態で複数の対象物体を撮像した画像を取得する第２の画像取得工程と、
前記第１の画像取得手段で取得された複数の画像のうち、前記第１のパターンに対応する画像以外の画像と、前記第２の画像とに基づいて、前記空間の中で、対象物体の配置の状態が変化した変化領域を検出する変化領域検出工程とを備えることを特徴とする情報処理方法。
前記決定工程では、前記複数の画像に基づいて第１の空間符号値を決定し、該決定された第１の空間符号値に基づいて前記保持可能な物体を決定し、
前記変化領域検出工程では、前記第１の画像取得手段で取得された複数の画像のうち、前記第１のパターンに対応する画像以外の画像と、前記第２の画像とに基づいて第２の空間符号値を生成し、前記第１の空間符号値と前記第２の空間符号値とに基づいて、前記変化領域を検出することを特徴とする請求項３に記載の情報処理方法。
前記変化領域検出工程では、前記第１の空間符号値と前記第２の空間符号値とを所定の領域毎に比較し、前記第１の空間符号値と前記第２の空間符号値との差分値が閾値よりも大きい領域を、前記変化領域として検出することを特徴とする請求項４に記載の情報処理方法。
前記決定工程では、前記複数の画像に基づいて第１の位相情報を決定し、該決定された第１の位相情報に基づいて前記保持可能な物体を決定し、
前記変化領域検出工程では、前記第１の画像取得手段で取得された複数の画像のうち、前記第１のパターンに対応する画像以外の画像と、前記第２の画像とに基づいて第２の位相情報を生成し、前記第１の位相情報と前記第２の位相情報とに基づいて、前記変化領域を検出することを特徴とする請求項３に記載の情報処理方法。
前記変化領域検出工程では、前記第１の位相情報と前記第２の位相情報とを所定の領域毎に比較し、前記第１の位相情報と前記第２の位相情報との差分値が閾値よりも大きい領域を、前記変化領域として検出することを特徴とする請求項６に記載の情報処理方法。
前記第１のパターンは、前記複数のパターンのうち、もっとも明部の領域と暗部の領域の幅の少なくともいずれか一方が最も小さい幅をもつパターンであることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理方法。
前記決定工程では、前記取得された複数の画像に基づいて、前記複数の対象物体のうち、保持手段が保持可能な物体を複数決定し、
前記制御工程では、前記決定された複数の保持可能な物体のうちのひとつを前記保持手段に保持させ、
更に、前記保持手段に保持された物体を除いた、前記複数の保持可能な物体のうち、前記検出された変化領域に属していない物体を、前記保持手段に保持させる第２の制御工程を備えることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理方法。
前記複数の保持可能な物体のうち、前記検出された変化領域に属していない物体がない場合には、再度、前記第１の投影制御工程、前記第１の画像取得工程の処理を行うことを特徴とする請求項９に記載の情報処理方法。
前記複数の物体は、無秩序に配置されていることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理方法。
投影手段に、明部の領域と暗部の領域とを含む複数のパターンを、複数の対象物体が配置された空間に順次投影させる第１の投影制御手段と、
前記複数のパターンを順次投影している際に、撮像手段に前記空間を順次撮像させることにより、複数の画像を取得する第１の画像取得手段と、
前記第１の画像取得手段により取得された前記複数の画像のうち、前記複数のパターンのうちの第１のパターンが投影された複数の前記対象物体を撮影して取得された第１の画像における、前記第１のパターンの明部の領域と暗部の領域の境界位置に対応する第１の位置を検出する第１の検出手段と、
前記取得された複数の画像に基づいて、前記複数の対象物体のうち、保持手段が保持可能な物体を決定する決定手段と、
前記決定された物体を前記保持手段に保持させるように、前記保持手段を制御する制御手段と、
前記保持手段による保持の後に、前記第１のパターンを前記投影手段に投影させる第２の投影制御手段と、
前記保持手段による保持の後に前記第１のパターンが投影された状態で、前記空間を撮像した画像を取得する第２の画像取得手段と、
前記第２の画像において、前記第１のパターンの明部の領域と暗部の領域の境界位置に対応する第２の位置を検出する第２の検出手段と、
前記第１の位置と前記第２の位置とを比較することにより、前記空間の中で、対象物体の配置の状態が変化した変化領域を検出する変化領域検出手段とを備えることを特徴とする情報処理装置。
投影手段に、明部の領域と暗部の領域とを含む複数のパターンを、複数の対象物体が配置された空間に順次投影させる投影制御手段と、
前記複数のパターンを順次投影している際に、撮像手段に前記空間を順次撮像させることにより、複数の画像を取得する第１の画像取得手段と、
前記第１の画像取得手段により取得された複数の画像に基づいて、前記複数の対象物体のうち、保持手段が保持可能な物体を決定する決定手段と、
前記決定された物体を前記保持手段に保持させるように、前記保持手段を制御する制御手段と、
前記保持手段による保持の後に、前記第１のパターンを前記投影手段に投影させる投影制御手段と、
前記第１のパターンが投影された状態で複数の対象物体を撮像した画像を取得する第２の画像取得手段と、
前記第１の画像取得手段で取得された複数の画像のうち、前記第１のパターンに対応する画像以外の画像と、前記第２の画像とに基づいて、前記空間の中で、対象物体の配置の状態が変化した変化領域を検出する変化領域検出手段とを備えることを特徴とする情報処理装置。
コンピュータを、請求項１乃至１１のいずれか１項に記載の情報処理方法の各工程として機能させるためのプログラム。