JP5229912B2 - 物体認識装置および物体認識方法 - Google Patents

Description

本発明は、移動型ロボットに搭載されて日常生活空間内の物体を認識した認識処理の認識結果を検証することができる物体認識装置および物体認識方法に関する。特に、認識結果の誤検出を防止しつつ対象物の物体を認識し、その認識精度を向上することができ物体認識装置および物体認識方法に関するものである。

従来から、物体を機械的に認識する認識装置及び認識方法は、様々な手法により開発されている。例えば、物体を認識する方法として、予め用意された多数の画像と認識対象の物体の画像とを比較し、形状の特徴をマッチングさせる方法（非特許文献１）や、あらかじめ物体を計測して得られる全周囲レンジデータからなる自由曲面体モデルと３次元物体である自由曲面体の入力画像とを照合して前記自由曲面体の位置姿勢を決定する３次元物***置姿勢決定方法（特許文献１）などが開発されている。

また、高度な認識処理として、ベイズネットワークを用いた知識記述に基づいて視線制御による認識手法（非特許文献２）の提案がある。

しかし、上記の技術では、視覚特徴（撮影画像）のみによって、同じ種類の自然量を扱うセンサによる認識手法が多く使用され、たとえば、視覚センサのノイズによって物体の形状を誤認識する場合があるが、このような場合については考慮されていない。更に、視覚特徴のみによる認識手法では、物体を特定しても、形状の情報に基づいて物体を認識するため、物体の物理的な性質は特定できず、形状は類似するが物理的な性質が異なるために、ハンドリングする場合の物体の誤認識が起きてしまうという問題点がある。

また、同じ種類の自然量を扱うセンサからのデータを基にして、認識処理を行っているため、たとえば、視覚センサから良好な画像データが採取できない場合には，著しく認識精度が落ちたり、認識が不可能になったりする。これに対応できるように、異なる種類の情報を統合して高精度な物体認識を行い得る物体認識方法（特許文献２）についての提案もある。

一般に、認識装置により機械的に物体を認識する場合、その物体認識処理による認識結果はすべて正しいとは限らず、認識結果を検証し、その誤りをチェックし、正しい結果に修正する必要がある。このような正しい結果とする修正の作業については、これまで、機械的に自動で行うことはできず、人手により行われていた。このチェックおよび修正作業を手作業で行うことは、ユーザに重い負担を強いることになる。

これに対して、このような認識装置による認識結果が正しいか否かを判定できるように認識装置の一部を改良する認識装置が、特許文献３，特許文献４に提案されている。

特許文献３は、医用画像に対する画像認識処理による認識結果が正しいかどうかを判定する画像認識結果判定装置の提案である。この画像認識結果判定装置の発明では、画像認識部が被検体を表す画像中の所定の構造物を認識した後、認識結果判定部が認識された所定の構造物の画像上での計測により、その構造物の解剖学的計測値を取得し、取得された解剖学的計測値が所定の標準的範囲内にあるかどうかを自動的に判定し、その範囲外にあれば、画像認識結果を誤りと判定する。

また、特許文献４は、静止物体との誤検出を防止しつつ対象物の道路上の歩行者を認識することができる認識装置の提案である。この認識装置では、物体の撮像画像と地図データベースの静止物体の画像とを比較して一致度が高い物は対象物から除き、静止物体との誤検出を防止するようにしている。

BabackMoghaddam,Alex Pentland,"Probabilistic Visual Learning for ObjectRepresentation,"IEEE Transactions on Pattern Analysis and MachineIntelligence, vol.19, No.7,p.696-710,1997. R.D. Rimey, C.M. Brown, "Control ofSelective Perception Using Bayes Nets and Decision Theory," InternationalJournal of Computer Vision, 12(2/3):173-207, 1994.

特開平１０−２０６１３５号公報 特開平０７−０７８２５０号公報 特開２００９−９５６４４号公報 特開２００７−３１０５７２号公報

ところで、前述した特許文献３，特許文献４に示されるように、認識装置による認識結果が正しいか否かを判定できるように認識装置の一部を改良するようにした認識装置が提案されているが、これらの認識結果の判定手段は、認識手段と同じ種類の自然量を扱うセンサによる誤認識を低減する手法であり、たとえば、センサのノイズによる誤認識を取り除くことは困難である。

本発明は、従来の認識手法の欠点を考慮し、その問題点を解決するためになされたものであり、センサのノイズによる物体の形状の誤認識を防止しつつ対象物を認識し、精度を向上することができる物体認識装置および物体認識方法を提供することを目的とする。

具体的には、本発明の目的は、物体認識処理に使用される自然量の特徴だけでなく、認識対象物体の物理的な制約条件（たとえば、幾何学的かつ動力学的な条件、環境に対する干渉や慣性力等）を考慮に入れて、物体認識結果の判定の検証を行うことができる物体認識装置を提供することにある。さらには、物体認識結果の誤検出を防止しつつ日常生活空間内の対象物の物体を認識し、その認識精度を向上することができ物体認識装置および物体認識方法を提供することにある。

本発明は上記のような目的を達成するため、本発明による物体認識装置は、識別対象の物体を含む環境を撮影して画像情報を出力する撮影手段と、識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報を更新して記憶するデータベースと、前記データベースに対して物体情報及び環境情報のデータを入出力する環境・物体データ入出力手段と、前記データベースに記憶されている前記物体情報及び環境情報のデータを前記環境・物体データ入出力手段を介して参照して、前記撮像手段により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別する物体認識手段と、識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を前記環境・物体データ入出力手段を介して取り出して環境中の物体の移動に対する物理シミュレーションを行う物理シミュレーション手段と、前記物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行うと共に、前記物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力するシミュレーション比較手段と、前記シミュレーション比較手段により出力された物体の移動の予測位置が識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを判定して出力する判定出力手段とを備えたことを特徴とするものである。

この場合に、前記シミュレーション比較手段は、撮影手段によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を、物理シミュレーションを用いて物体の移動を予測した物体の位置と比較するように構成されてもよい。

また、本発明による物体認識方法は、識別対象の物体を含む環境を撮影して画像情報を出力する撮影手段と、識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報を更新して記憶するデータベースと、前記データベースに対して物体情報及び環境情報のデータを入出力する環境・物体データ入出力手段と、データ処理手段を備え、識別対象の物体を認識する方法であって、前記撮影手段により識別対象の物体を含む環境を撮影して画像情報を出力するステップと、データ処理手段が、前記データベースに記憶されている前記物体情報及び環境情報のデータを前記環境・物体データ入出力手段により参照して、前記撮像手段により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別するステップと、データ処理手段が、識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を前記環境・物体データ入出力手段により取り出し環境中の物体の移動に対する物理シミュレーションを行うステップと、データ処理手段が、前記物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行うと共に、前記物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力するステップと、データ処理手段が、出力された物体の移動の予測位置が識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを判定して出力するステップと、を備えたことを特徴とするものである。

また、この物体認識方法においては、更に、データ処理手段が、撮影手段によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を、物理シミュレーションを用いて物体の移動を予測した物体の位置と比較するステップ、を備えたことを特徴とするものである。

このような特徴を有する本発明の物体認識装置および物体認識方法によれば、物体認識の処理には、センサにより取得される自然量の特徴のみではなく、認識結果に基づく物理シミュレーションを行うことにより、物理的な制約条件（幾何学的かつ動力学的な条件、干渉や慣性力の条件）も考慮に入れて物体認識結果を判定することができ、移動型ロボットにより認識した物体をハンドリングする場合においては、識別対象の物体の物理特性による物理的な制約条件が反映されて確実に物体認識処理を行うことができると共に、センサのノイズによる物体の形状の誤認識を防止しつつ対象物を認識し、その精度を向上することができる。

本発明にかかる物体認識装置の構成を説明するブロック図である。 対象物ハンドリング装置の移動マニピュレータシステムに適用した本発明の物体認識装置の概略の構成を説明するブロック図である。 対象物ハンドリング装置のピッキングシステムに適用した本発明の物体認識装置の概略の構成を説明するブロック図である。 本発明にかかる物体認識装置の物体認識結果の検証処理の流れを示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。図１は、本発明にかかる物体認識装置の構成を説明するブロック図である。この実施形態の物体認識装置は、たとえば、移動型ロボットに搭載され、移動型ロボットが存在している日常生活空間の環境内の物体を識別して、移動型ロボットが物体をハンドリングするための認識処理に用いられる。

図１において、１は物体認識装置、２は視覚センサの撮像装置、３はデータ処理装置、４は対象物識別部、５は環境・物体データ入出力部、６は対象物を識別するための物体情報及び環境情報を予め作成して記憶しているデータベース、７は物理シミュレータ、８は認識結果・物理シミュレーション比較部、９は判定出力部である。

図１に示すように、物体認識装置１は、移動型ロボットの視覚センサとして備えられた撮像装置２と、この撮像装置２により撮影され出力された環境の画像情報を入力して、物体認識処理を行うデータ処理装置３とにより構成される。撮像装置２は、ロボットに取り付けられてロボットの周りの環境を撮影して画像情報を出力する。撮像装置２はステレオカメラを使用して、環境を撮影してステレオ画像の画像情報を出力する。

データ処理装置３は、後述するように、撮像装置２により取得されて出力されたステレオ画像の画像情報から環境中の物体を識別して、データベース６に記憶されている物体情報および環境情報を参照して、撮影画像中の物体を識別し、その物体の環境の中の位置・姿勢を判定する。

データ処理装置３は、図１に示されるように、ここでの物体認識のデータ処理を行う処理モジュールおよびデータ記憶要素として、対象物識別部４、環境・物体データ入出力部５、対象物を識別するための物体情報及び環境情報が予め作成されて記憶しているデータベース６、物体運動の物理シミュレーションを行う物理シミュレータ７、認識結果・物理シミュレーション比較部８、判定出力部９を備えている。

データベース６は、識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報が更新されて記憶される。環境・物体データ入出力部５は、データベース６に対して物体情報及び環境情報のデータを入出力する処理を行い、対象物識別部４に対して、物体認識のための参照情報として、物体情報及び環境情報のデータを供給し、対象物識別部４において識別された物体の物体情報および環境情報に関連する情報はデータベース６に次のデータ処理のために登録され、また更新されて記憶される。

また、環境・物体データ入出力部５は、データベース６に記憶されている物体情報及び環境情報のデータを入出力する処理を行い、物理シミュレータ７に対して、物理シミュレーションの処理のための参照情報として供給するので、物理シミュレータ７は、物体運動の物理シミュレーションを行うプログラムを備えており、識別された物体の移動に係る物理シミュレーションを行う。

物理シミュレータ７による識別された物体の物理シミュレーションの処理の結果は、認識結果・物理シミュレーション比較部８に供給される。認識結果・物理シミュレーション比較部８は、データベース６に登録されたデータを参照した物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行うと共に、物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力する。その処理のため、認識結果・物理シミュレーション比較部８は、環境・物体データ入出力部５を介して、データベース６に記憶されている物体情報及び環境情報のデータを参照する。

認識結果・物理シミュレーション比較部８にからの出力は、判定出力部９に供給され、判定出力部９が、認識結果・物理前記シミュレーション比較部８により識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを最終的に判定して出力する。

このように、撮像装置２が、識別対象の物体を含む環境を撮影して画像情報を出力すると、対象物識別部４が、識別対象の物体を認識するため、データベース６に記憶されている物体情報及び環境情報のデータを、環境・物体データ入出力部５を介して参照して、撮像装置２により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別する。物理シミュレータ７は、識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を環境・物体データ入出力部５を介して取り出して環境中の物体の移動に対する物理シミュレーションを行うので、認識結果・物理シミュレーション比較部８が、物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行い、物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力する。そして、判定出力部９は、認識結果・物理前記シミュレーション比較部８により識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを判定して出力する。

また、認識結果・物理シミュレーション比較部８は、撮影装置２によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を物理シミュレーションを用いて物体の移動を予測した物体の位置と比較するので、これにより、判定出力部９は、対象物識別部４の認識結果は正しく物体を識別しているか否かを判定して出力する。

データベース６は、物体識別のための物体の物理特性を含む物体情報及び環境情報を予め作成して記憶しているので、ここでの環境・物体データ入出力部５は、データベース６に記憶されている物体情報及び環境情報を記憶、抽出、更新する手段として、環境内の物体の相対関係を記憶、抽出、更新する手段として、また、物理シミュレータに入力する手段として機能する。また、物理シミュレータ７が物体と周りの物体との距離に基づいて干渉のチェックを行うために、オンラインで物体を追加して物理シミュレーションを行う。

認識結果・物理シミュレーション比較部８は、また、撮影装置２によって連続的に撮影された画像中にある所定の物体を認識し、その結果を物理シミュレーションを用いて予測した物体の位置と比較すること、また周りの物体との干渉チェックによって物理的な拘束の矛盾が生じるかどうかを判定する認識結果の判定を行う。

対象物識別部４は、撮影装置２から連続的に入力された画像により、環境・物体データ入出力部５より取得した対象物の物体情報および環境情報に基づいて、環境内の他の物体との相対関係にもとづいて、存在しそうな領域より当該物体の識別を行う処理を行うにも構成される。対象物識別部４は、従来から公知の物体識別装置が用いられる。たとえば、特許文献１に開示されているような３次元物***置姿勢決定方法によるデータ処理を行う装置構成により実現される。

対象物識別部４において、識別処理は、たとえば、色を用いた認識と組み合わせた手法や、ＳＩＦＴ法、またはＳＶＭによる識別手法やＶｏｉｌａ＆Ｊｏｎｅｓ法を適用した学習によって獲得した識別手法を用いて物体の識別処理を行うようにしてもよい。

環境・物体データ入出力部５は、対象物識別部３により連続的に測定された物体の位置が取得された場合、物体の認識位置としてデータベース６に登録する。

物理シミュレータ７は、環境・物体データ入出力部５を通して、データベース６より認識された対象物体および環境内の他の物体の位置および物理特性の情報を抽出し、オンラインで即時に物理シミュレーションを行う。

また、認識結果・物理シミュレーション比較部８は、物体データ入出力部５を通してデータベース６より取得した連続的に認識された対象物体および環境内の他の物体の認識位置、物理シミュレーションを用いて予測した物体の位置を入力として、干渉チェックを行い、認識した対象物体と周りの物体の位置も用いて物体間の距離と物理シミュレーションを用いて予測した物体間の距離を比較して、一定の閾値を超えた場合に、認識の結果に誤りがあると判定し、物理シミュレーションを用いて予測した物体の位置を環境・物体データ入出力部５を通して、データベース６に対象物体の予測位置として登録し、次の対象物の識別のために使用するようにしてもよい。その差分がある閾値以内であれば、認識結果を正しいと判定し、その結果を判定出力部９に出力する。

次に、本発明の物体認識装置の応用例として、対象物ハンドリング装置の移動マニピュレータシステムおよびピッキングシステムに適用した実施例について説明する。

図２および図３は、本発明の物体認識装置の好適な実施形態に係る対象物ハンドリング装置１０の全体構成を示す図である。本実施の形態では、識別対象の物体の物体情報として環境中に置かれた幾何学情報および物理的な性質（重心位置、慣性）のモデルが既知であるが、その存在の場所が未知の対象物の物体をロボットが認識し、ハンドリングする場合を例にとって説明する。図２には、移動マニピュレータシステムの構成を示し、図３にはピッキングシステムの構成を示している。物体認識装置の構成は同じである。

対象物ハンドリング装置１０は、対象物コンテナ１２内の対象物１４をハンドリングするように構成されたロボット１６、ロボット１６を制御するロボットコントローラ１８、対象物コンテナ１２および対象物１４をロボット１６の手先部に設けられた視覚センサ２０及び視覚センサ２０が撮像した画像情報を処理するデータ処理装置２２を備えている。

対象物１４およびその環境の撮像（計測）は、ロボット１６の手先部に設けられた視覚センサ２０によって行われる。視覚センサ２０はステレオカメラが用いられており、通信回線２６によって接続された視覚センサ制御部２８によって制御される。また視覚センサ制御部２８を、通信回線２７を介してデータ処理装置２２に接続することにより、所定の位置・姿勢の制御がなされて、対象物１４の詳細な三次元位置及び姿勢を求めることができる。

ロボットコントローラ１８は、通信回線３０によってデータ処理装置２２に接続されており、視覚センサ２０によって撮像された画像情報がデータ処理装置２２に入力され、データ処理装置２２で処理された結果を利用して対象物１４をハンドリング（アプローチ、把持及び取り出し等の一連の操作）を行うようにロボット１６を制御する。なおロボットコントローラ１８はＣＰＵ、データメモリ、フレームメモリ、データ処理プロセッサ及びインタフェイス等を備えた周知のものが利用される。その詳細な説明は省略する。

次に、データ処理装置２２の構成について説明する。データ処理装置２２もロボットコントローラ１８と同様にＣＰＵ、データメモリ、フレームメモリ、データ処理プロセッサ及びインタフェイス等を備える。

データ処理装置２２は、図２および図３に示すように、対象物の認識モデルと、認識パラメータと、対象物の物理モデルと、認識した物体の候補の位置・姿勢と、シミュレーションした対象物の位置・姿勢と、認識がただしいと判定した物体の位置・姿勢とを格納するデータベース２２ａと、対象物識別に使用する対象物の特徴モデルおよび認識パラベータを設定する認識パラメータ設定部２２ｂと、視覚センサ２０からの一定時間間隔Ｔｃで撮像データを受信してそのデータを記憶し、またその一定時間間隔のデータから撮像データとパターンマッチングを行うための特徴モデルを生成して記憶する特徴モデル生成・記憶部２２ｋと、特徴モデル生成・記憶部２２ｋによって生成された特徴モデルから対象物を検出する対象物認識部２２ｃと、対象物認識部２２ｃの認識結果をデータベース２２ａに格納する認識候補記憶部２２ｄと、対象物の物理シミュレーションに使用する対象物認識部２２ｃによって検知した対象物の認識位置・姿勢および対象物の物理モデルを設定する物理パラメータ設定部２２ｅと、物理パラメータ設定部２２ｅによって取得した対象物認識部２２ｃで認識した対象物の位置と姿勢およびデータベースに格納された対象物の物理モデル（詳細な３次元形状モデル、質量、慣性行列、重心位置、摩擦係数、弾性係数）を用いて物体の物理シミュレーションを行う物理シミュレーション部２２ｆと、物理シミュレーション部２２ｆによってシミュレートした環境内の物体の位置と姿勢のデータをデータベース２２ａに格納するシミュレーション結果記憶部２２ｇと、認識候補記憶部２２ｄによってデータベースに格納された一定時間間隔Ｔｃで認識された物体の位置・姿勢の時系列データおよびシミュレーション結果記憶部２２ｇによってデータベースに格納された一定時間間隔Ｔｃの物理シミュレーションによる物体の位置・姿勢のシミュレーション結果の時系列データを取得し比較する認識結果・物理シミュレーション比較部２２ｈと、認識結果・物理シミュレーション比較部２２ｈの比較結果を判定し、その判定結果を次の認識パラメータの調整のために、認識パラメータ設定部２２ｂにフィードバックする認識結果判定部２２ｉと、認識結果判定部２２ｉによって認識結果が正しいと判定された場合、対象物の認識結果の候補の位置と姿勢をデータベースに対象物の位置と姿勢の時刻付きデータとして格納する対象物記憶部２２ｊとを有する。なお、対象物認識部２２ｃには、撮像データとパターンマッチングを行うための特徴モデル生成・記憶部２２ｋが関連付けられている。特徴モデル生成・記憶部２２ｋは、適当な座標系（たとえば、ロボット１６の底部中央に配置された座標系Σｒ）で表現された環境および対象物の撮像データに含まれるエッジや、色等の特徴情報の特徴モデルを生成する。

図４は、認識結果の判定処理の流れを示すフローチャートである。図２に示す対象物ハンドリング装置による作業における認識結果の判定の処理の流れを示している。
先ずステップＳ１０１において、視覚センサ２０による撮像が一定時間間隔Ｔｃで行われ、撮影された画像はＩｍｇ＿Ｔ０およびＩｍｇ＿Ｔｃとして上述の特徴モデル生成・記憶部２２ｋで記憶される。

ステップＳ１０２において、データ処理装置２２の認識パラメータ設定部２２ｂによる物体認識モデルおよび認識パラメータの設定が行われ、特徴モデル生成・記憶部２２ｋで記憶された画像Ｉｍｇ＿Ｔ０およびＩｍｇ＿Ｔｃに対して、撮影画像のデータとパターンマッチングを行うための特徴モデルを生成して、ＬＣＭ＿Ｔ０およびＬＣＭ＿Ｔｃとして特徴モデル生成・記憶部２２ｋで記憶される。

次のステップＳ１０３では、上述の対象物認識部２２ｃが特徴モデルＬＣＭ＿Ｔ０およびＬＣＭ＿Ｔｃから、Ｓ１０２で設定された対象物モデルとのマッチングをすることによって対象物を検出する対象物認識を行う。対象物が検出されていればステップＳ１０４に進み、上述の認識候補記憶部によって認識された物体の位置・姿勢を認識の候補としてデータベースに格納し、ステップＳ１０５に進む。Ｓ１０３の対象物認識の処理で、対象物が検出されない場合は、Ｓ１０２に戻り、認識パラメータの調整を行い、対象物の再認識を行う。なお、Ｓ１０２からＳ１０４のステップは一定時間間隔Ｔｃにおいて撮像された画像Ｉｍｇ＿Ｔ０およびＩｍｇ＿Ｔｃを入力画像として行われ、ステップＳ１０４では、それぞれの画像Ｉｍｇ＿Ｔ０とＩｍｇ＿Ｔｃを用いて、認識された物体の位置・姿勢の候補はＯｂｊ＿ｒｅｃｏｇ＿Ｔ０，Ｏｂｊ＿ｒｅｃｏｇ＿Ｔｃとしてデータベースに格納される。

ステップＳ１０５では、上述の物理パラメータ設定部がデータベースより物体の物理モデル（詳細な３次元形状モデル、質量、慣性行列、重心位置、摩擦係数、弾性係数）および間隔Ｔｃの初期状態として認識した物体の位置・姿勢候補Ｏｂｊ＿ｒｅｃｏｇ＿Ｔ０を取得し、シミュレーションの３次元空間の中の対象物の初期位置・姿勢Ｏｂｊ＿ｓｉｍ＿Ｔ０として設定し、ステップＳ１０６に進む。

ステップＳ１０６では,対象物をシミュレーションの３次元空間に位置・姿勢Ｏｂｊ＿ｓｉｍ＿Ｔ０として配置されたときの、対象物Ｏｂｊとその周りの環境Ｅｎｖとの干渉チェックを行う。干渉チェックの結果により、周りとの干渉が起きた場合に、その干渉の具合Ｃｏｌｌｉｓｉｏｎ＿ｐｅｎｅｔｒａｔｉｏｎ＿Ｔ０がデータベースに格納されたその対象物の特定の干渉閾値Ｔｏｌｅｒａｎｃｅ＿ｃｏｌｌｉｓｉｏｎ＿Ｏｂｊ以内であれば、干渉は起きないと判定し、Ｓ１０７に進む。干渉があると判定された場合、認識結果が誤った確率が高いと判定し、Ｓ１０２に戻る。

ステップＳ１０７では、Ｓ１０５で設定された物理パラメータに基づいて、対象物の初期位置姿勢をシミュレーションの３次元空間の中の位置・姿勢Ｏｂｊ＿ｓｉｍ＿Ｔ０として配置された状態から、一定時間間隔Ｔｃの間、物理シミュレーションを行う。

ステップＳ１０８では、Ｔｃ間の物理シミュレーションの結果である物理拘束に従った対象物の予測位置・姿勢をＯｂｊ＿ｓｉｍ＿Ｔｃとしてデータベースに格納する。

ステップＳ１０９では、認識結果とシミュレーション結果の比較を行う。一定時間間隔Ｔｃ後の認識された位置・姿勢の候補Ｏｂｊ＿ｒｅｃｏｇ＿Ｔｃとシミュレーションによる物体の予測された位置・姿勢Ｏｂｊ＿ｓｉｍ＿Ｔｃの距離Ｄｉｓｔａｎｃｅ＿Ｏｂｊ＿Ｔｃを計算し、その距離Ｄｉｓｔａｎｃｅ＿Ｏｂｊ＿Ｔｃがデータベースに格納されたその対象物の特定の距離閾値Tｏｌｅｒａｎｃｅ＿ｄｉｓｔａｎｃｅ＿Ｏｂｊ以内であれば、認識結果と物理シミュレーションが一致すると判定し、Ｓ１１０で対象物の認識位置・姿勢候補を撮像した時刻の物体の位置・姿勢の時間付きデータとしてデータベースに格納し、プロセスを終了する。認識された候補Ｏｂｊ＿ｒｅｃｏｇ＿Ｔｃとシミュレーション予測Ｏｂｊ＿ｓｉｍ＿Ｔｃの距離Ｄｉｓｔａｎｃｅ＿Ｏｂｊ＿Ｔｃが閾値Ｔｏｌｅｒａｎｃｅ＿ｄｉｓｔａｎｃｅ＿Ｏｂｊを超えた場合、認識が失敗したとし、Ｓ１０１に戻り、認識パラメータの調整を行い、認識プロセスをやり直す。

１…物体認識装置
２…撮像装置
３…データ処理装置
４…対象物識別部
５…環境・物体データ入出力部
６…データベース
７…物理シミュレータ
８…認識結果・物理シミュレーション比較部
９…判定出力部
１０…対象物ハンドリング装置
１２…対象物コンテナ
１４…対象物
１６…ロボット
１８…ロボットコントローラ
２０…視覚センサ
２２…データ処理装置
２６…通信回線
２８…視覚センサ制御部
２７…通信回線
３０…通信回線
２２ａ…データベース
２２ｂ…認識パラメータ設定部
２２ｃ…対象物認識部
２２ｄ…認識候補記憶部
２２ｅ…物理パラメータ設定部
２２ｆ…物理シミュレーション部
２２ｇ…シミュレーション結果記憶部
２２ｈ…認識及び物理シミュレーション比較部
２２ｉ…認識結果判定部
２２ｊ…対象物記憶部
２２ｋ…特徴モデル生成・記憶部

Claims (4)

1. 識別対象の物体を含む環境を撮影して画像情報を出力する撮影手段と、
   識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報を更新して記憶するデータベースと、
   前記データベースに対して物体情報及び環境情報のデータを入出力する環境・物体データ入出力手段と、
   前記データベースに記憶されている前記物体情報及び環境情報のデータを前記環境・物体データ入出力手段を介して参照して、前記撮像手段により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別する物体認識手段と、
   識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を前記環境・物体データ入出力手段を介して取り出して環境中の物体の移動に対する物理シミュレーションを行う物理シミュレーション手段と、
   前記物理シミュレーションの結果により物体と環境中の周りの物体との距離に基づいて干渉のチェックを行うと共に、前記物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力するシミュレーション比較手段と、
   前記シミュレーション比較手段により出力された物体の移動の予測位置が識別された物体と環境中の周りの物体との干渉のチェックに基づいて物理的な拘束の矛盾が生じるか否かを判定して出力する判定出力手段と、
   を備えたことを特徴とする物体認識装置。
2. 請求項１に記載の物体認識装置において、
   前記シミュレーション比較手段は、
   撮影手段によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を物理シミュレーションを用いて物体の移動を予測した物体の位置と比較する、
   ことを特徴とする物体認識装置。
3. 識別対象の物体を含む環境を撮影して画像情報を出力する撮影手段と、識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報を更新して記憶するデータベースと、前記データベースに対して物体情報及び環境情報のデータを入出力する環境・物体データ入出力手段と、データ処理手段を備え、識別対象の物体を認識する方法であって、
   前記撮影手段により識別対象の物体を含む環境を撮影して画像情報を出力するステップと、
   データ処理手段が、前記データベースに記憶されている前記物体情報及び環境情報のデータを前記環境・物体データ入出力手段により参照して、前記撮像手段により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別するステップと、
   データ処理手段が、識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を前記環境・物体データ入出力手段により取り出し環境中の物体の移動に対する物理シミュレーションを行うステップと、
   データ処理手段が、前記物理シミュレーションの結果により物体と環境中の周りの物体との距離に基づいて干渉のチェックを行うと共に、前記物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力するステップと、
   データ処理手段が、出力された物体の移動の予測位置が識別された物体と環境中の周りの物体との干渉のチェックに基づいて物理的な拘束の矛盾が生じるか否かを判定して出力するステップと、
   を備えたことを特徴とする物体認識方法。
4. 請求項３に記載の物体認識方法において、更に、データ処理手段が、
   撮影手段によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を、物理シミュレーションを用いて物体の移動を予測した物体の位置と比較するステップ、
   を備えたことを特徴とする物体認識方法。

Images