JP2011044046A - Object recognition device and object recognition method - Google Patents

Object recognition device and object recognition method Download PDF

Info

Publication number
JP2011044046A
JP2011044046A JP2009192509A JP2009192509A JP2011044046A JP 2011044046 A JP2011044046 A JP 2011044046A JP 2009192509 A JP2009192509 A JP 2009192509A JP 2009192509 A JP2009192509 A JP 2009192509A JP 2011044046 A JP2011044046 A JP 2011044046A
Authority
JP
Japan
Prior art keywords
environment
information
identified
physical
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009192509A
Other languages
Japanese (ja)
Other versions
JP5229912B2 (en
Inventor
Ｅｅ Ｓｉａｎ Ｎｅｏ
Ee Sian Neo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2009192509A priority Critical patent/JP5229912B2/en
Publication of JP2011044046A publication Critical patent/JP2011044046A/en
Application granted granted Critical
Publication of JP5229912B2 publication Critical patent/JP5229912B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an object recognition device for recognizing an object in a daily living space while preventing false detection of object recognition, and to improve accuracy thereof. <P>SOLUTION: The object recognition device includes: an object recognition means for recognizing an object and environment to be identified from image information output by an image pickup means with referring to object information and data on environment information stored in a database and recognizing a position/posture of the object in the environment; a physical simulation means for physically simulating movement of an object in the environment by extracting physical characteristics of the object information stored in the database from the object information and environment information about the identified object; a simulation comparison means for checking interference on the basis of a distance between an object and an object in the environment according to the result of the physical simulation and outputting a predicted position of the object movement on the basis of physical constraint of the object by the physical simulation; and a determination output means for determining whether there is consistency in physical constraint by checking interference with the object where a predicted position of the moved object is identified and outputting the result. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、移動型ロボットに搭載されて日常生活空間内の物体を認識した認識処理の認識結果を検証することができる物体認識装置および物体認識方法に関する。特に、認識結果の誤検出を防止しつつ対象物の物体を認識し、その認識精度を向上することができ物体認識装置および物体認識方法に関するものである。   The present invention relates to an object recognition apparatus and an object recognition method that can be verified on a recognition result of a recognition process that is mounted on a mobile robot and recognizes an object in a daily life space. In particular, the present invention relates to an object recognition apparatus and an object recognition method capable of recognizing an object as an object while preventing erroneous detection of a recognition result and improving the recognition accuracy.

従来から、物体を機械的に認識する認識装置及び認識方法は、様々な手法により開発されている。例えば、物体を認識する方法として、予め用意された多数の画像と認識対象の物体の画像とを比較し、形状の特徴をマッチングさせる方法（非特許文献１）や、あらかじめ物体を計測して得られる全周囲レンジデータからなる自由曲面体モデルと３次元物体である自由曲面体の入力画像とを照合して前記自由曲面体の位置姿勢を決定する３次元物***置姿勢決定方法（特許文献１）などが開発されている。   Conventionally, recognition devices and recognition methods for mechanically recognizing objects have been developed by various methods. For example, as a method of recognizing an object, a method of comparing a large number of images prepared in advance with an image of an object to be recognized and matching shape characteristics (Non-Patent Document 1), or by measuring an object in advance 3D object position and orientation determination method for determining the position and orientation of the free-form surface body by collating a free-form surface model composed of all-round range data and an input image of the free-form surface body that is a 3D object (Patent Document 1) Etc. are being developed.

また、高度な認識処理として、ベイズネットワークを用いた知識記述に基づいて視線制御による認識手法（非特許文献２）の提案がある。   As advanced recognition processing, there is a proposal of a recognition method (Non-Patent Document 2) based on gaze control based on knowledge description using a Bayesian network.

しかし、上記の技術では、視覚特徴（撮影画像）のみによって、同じ種類の自然量を扱うセンサによる認識手法が多く使用され、たとえば、視覚センサのノイズによって物体の形状を誤認識する場合があるが、このような場合については考慮されていない。更に、視覚特徴のみによる認識手法では、物体を特定しても、形状の情報に基づいて物体を認識するため、物体の物理的な性質は特定できず、形状は類似するが物理的な性質が異なるために、ハンドリングする場合の物体の誤認識が起きてしまうという問題点がある。   However, in the above technique, a recognition method using a sensor that handles the same kind of natural quantity is often used only by visual features (captured images). For example, the shape of an object may be erroneously recognized due to noise of the visual sensor. This is not the case. Furthermore, in the recognition method based only on visual features, even if an object is specified, the object is recognized based on shape information. Therefore, the physical property of the object cannot be specified, and the shape is similar but the physical property is similar. Due to the difference, there is a problem that erroneous recognition of an object occurs when handling.

また、同じ種類の自然量を扱うセンサからのデータを基にして、認識処理を行っているため、たとえば、視覚センサから良好な画像データが採取できない場合には，著しく認識精度が落ちたり、認識が不可能になったりする。これに対応できるように、異なる種類の情報を統合して高精度な物体認識を行い得る物体認識方法（特許文献２）についての提案もある。   In addition, since recognition processing is performed based on data from sensors that handle the same kind of natural quantity, for example, when good image data cannot be collected from a visual sensor, the recognition accuracy is significantly reduced or recognized. It becomes impossible. In order to cope with this, there is also a proposal for an object recognition method (Patent Document 2) that can perform highly accurate object recognition by integrating different types of information.

一般に、認識装置により機械的に物体を認識する場合、その物体認識処理による認識結果はすべて正しいとは限らず、認識結果を検証し、その誤りをチェックし、正しい結果に修正する必要がある。このような正しい結果とする修正の作業については、これまで、機械的に自動で行うことはできず、人手により行われていた。このチェックおよび修正作業を手作業で行うことは、ユーザに重い負担を強いることになる。   In general, when an object is mechanically recognized by a recognition device, not all the recognition results obtained by the object recognition processing are correct, but it is necessary to verify the recognition result, check the error, and correct the result. Up to now, such correction work for obtaining a correct result has not been performed mechanically automatically, but has been performed manually. Performing this check and correction work manually places a heavy burden on the user.

これに対して、このような認識装置による認識結果が正しいか否かを判定できるように認識装置の一部を改良する認識装置が、特許文献３，特許文献４に提案されている。   On the other hand, Patent Documents 3 and 4 propose a recognition device that improves a part of the recognition device so that it can be determined whether or not the recognition result by such a recognition device is correct.

特許文献３は、医用画像に対する画像認識処理による認識結果が正しいかどうかを判定する画像認識結果判定装置の提案である。この画像認識結果判定装置の発明では、画像認識部が被検体を表す画像中の所定の構造物を認識した後、認識結果判定部が認識された所定の構造物の画像上での計測により、その構造物の解剖学的計測値を取得し、取得された解剖学的計測値が所定の標準的範囲内にあるかどうかを自動的に判定し、その範囲外にあれば、画像認識結果を誤りと判定する。   Patent Document 3 is a proposal of an image recognition result determination apparatus that determines whether or not a recognition result obtained by image recognition processing for a medical image is correct. In the invention of the image recognition result determination apparatus, after the image recognition unit recognizes a predetermined structure in the image representing the subject, the recognition result determination unit performs measurement on the image of the predetermined structure recognized. The anatomical measurement value of the structure is acquired, and it is automatically judged whether the acquired anatomical measurement value is within a predetermined standard range. Judged as an error.

また、特許文献４は、静止物体との誤検出を防止しつつ対象物の道路上の歩行者を認識することができる認識装置の提案である。この認識装置では、物体の撮像画像と地図データベースの静止物体の画像とを比較して一致度が高い物は対象物から除き、静止物体との誤検出を防止するようにしている。   Patent Document 4 is a proposal of a recognition device that can recognize a pedestrian on a road of an object while preventing erroneous detection with a stationary object. In this recognition apparatus, an object with a high degree of coincidence is compared with a captured image of an object and an image of a stationary object in a map database, and an erroneous detection with a stationary object is prevented.

BabackMoghaddam,Alex Pentland,"Probabilistic Visual Learning for ObjectRepresentation,"IEEE Transactions on Pattern Analysis and MachineIntelligence, vol.19, No.7,p.696-710,1997.BabackMoghaddam, Alex Pentland, "Probabilistic Visual Learning for ObjectRepresentation," IEEE Transactions on Pattern Analysis and MachineIntelligence, vol.19, No.7, p.696-710, 1997. R.D. Rimey, C.M. Brown, "Control ofSelective Perception Using Bayes Nets and Decision Theory," InternationalJournal of Computer Vision, 12(2/3):173-207, 1994.R.D.Rimey, C.M.Brown, "Control of Selective Perception Using Bayes Nets and Decision Theory," International Journal of Computer Vision, 12 (2/3): 173-207, 1994.

特開平１０−２０６１３５号公報JP-A-10-206135 特開平０７−０７８２５０号公報Japanese Patent Application Laid-Open No. 07-078250 特開２００９−９５６４４号公報JP 2009-95644 A 特開２００７−３１０５７２号公報JP 2007-310572 A

ところで、前述した特許文献３，特許文献４に示されるように、認識装置による認識結果が正しいか否かを判定できるように認識装置の一部を改良するようにした認識装置が提案されているが、これらの認識結果の判定手段は、認識手段と同じ種類の自然量を扱うセンサによる誤認識を低減する手法であり、たとえば、センサのノイズによる誤認識を取り除くことは困難である。   By the way, as shown in Patent Document 3 and Patent Document 4 described above, a recognition device has been proposed in which a part of the recognition device is improved so that it can be determined whether or not the recognition result by the recognition device is correct. However, the determination means for these recognition results is a technique for reducing misrecognition by a sensor that handles the same type of natural quantity as the recognizing means. For example, it is difficult to remove misrecognition due to sensor noise.

本発明は、従来の認識手法の欠点を考慮し、その問題点を解決するためになされたものであり、センサのノイズによる物体の形状の誤認識を防止しつつ対象物を認識し、精度を向上することができる物体認識装置および物体認識方法を提供することを目的とする。   The present invention has been made in order to solve the problems in consideration of the disadvantages of the conventional recognition method, and recognizes an object while preventing erroneous recognition of the shape of the object due to sensor noise, thereby improving accuracy. An object of the present invention is to provide an object recognition apparatus and an object recognition method that can be improved.

具体的には、本発明の目的は、物体認識処理に使用される自然量の特徴だけでなく、認識対象物体の物理的な制約条件（たとえば、幾何学的かつ動力学的な条件、環境に対する干渉や慣性力等）を考慮に入れて、物体認識結果の判定の検証を行うことができる物体認識装置を提供することにある。さらには、物体認識結果の誤検出を防止しつつ日常生活空間内の対象物の物体を認識し、その認識精度を向上することができ物体認識装置および物体認識方法を提供することにある。   Specifically, the object of the present invention is not only the characteristics of natural quantities used in object recognition processing, but also physical constraints (for example, geometric and dynamic conditions, environment) of the recognition target object. It is an object of the present invention to provide an object recognition apparatus capable of verifying determination of an object recognition result in consideration of interference, inertial force, and the like. Another object of the present invention is to provide an object recognition apparatus and an object recognition method capable of recognizing an object of an object in a daily life space while preventing erroneous detection of an object recognition result and improving the recognition accuracy.

本発明は上記のような目的を達成するため、本発明による物体認識装置は、識別対象の物体を含む環境を撮影して画像情報を出力する撮影手段と、識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報を更新して記憶するデータベースと、前記データベースに対して物体情報及び環境情報のデータを入出力する環境・物体データ入出力手段と、前記データベースに記憶されている前記物体情報及び環境情報のデータを前記環境・物体データ入出力手段を介して参照して、前記撮像手段により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別する物体認識手段と、識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を前記環境・物体データ入出力手段を介して取り出して環境中の物体の移動に対する物理シミュレーションを行う物理シミュレーション手段と、前記物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行うと共に、前記物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力するシミュレーション比較手段と、前記シミュレーション比較手段により出力された物体の移動の予測位置が識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを判定して出力する判定出力手段とを備えたことを特徴とするものである。   In order to achieve the above object, an object recognition apparatus according to the present invention includes an imaging unit that images an environment including an object to be identified and outputs image information, and physical characteristics of the object to be identified. Object information and environment information in which the object to be identified exists are created and stored in advance, and the object information and environment information of the identified object are updated and stored, and object information and environment information with respect to the database The environment / object data input / output means for inputting / outputting the above-mentioned data, the object information stored in the database and the data of the environment information are referred to via the environment / object data input / output means, and the imaging means Object recognition means for recognizing the object and environment to be identified from the output image information and identifying the position and orientation of the object in the environment, and the identified object Physical simulation means for taking out physical characteristics of object information stored in a database from the object information and environment information via the environment / object data input / output means, and performing physical simulation on movement of the object in the environment, and the physical simulation The simulation comparison means for checking the interference based on the distance between the object and the object in the environment according to the result, and outputting the predicted position of the movement of the object based on the physical constraint by the physical simulation, and A judgment output means for judging whether the predicted position of the movement of the object outputted by the simulation comparing means is inconsistent with the physical constraint by checking the interference with the identified object, and outputting it. It is a feature.

この場合に、前記シミュレーション比較手段は、撮影手段によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を、物理シミュレーションを用いて物体の移動を予測した物体の位置と比較するように構成されてもよい。   In this case, the simulation comparing means uses the physical simulation to determine the position / orientation of the object identified by the result of recognizing the object in each image of the image information continuously photographed by the photographing means. May be configured to be compared with the predicted object position.

また、本発明による物体認識方法は、識別対象の物体を含む環境を撮影して画像情報を出力する撮影手段と、識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報を更新して記憶するデータベースと、前記データベースに対して物体情報及び環境情報のデータを入出力する環境・物体データ入出力手段と、データ処理手段を備え、識別対象の物体を認識する方法であって、前記撮影手段により識別対象の物体を含む環境を撮影して画像情報を出力するステップと、データ処理手段が、前記データベースに記憶されている前記物体情報及び環境情報のデータを前記環境・物体データ入出力手段により参照して、前記撮像手段により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別するステップと、データ処理手段が、識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を前記環境・物体データ入出力手段により取り出し環境中の物体の移動に対する物理シミュレーションを行うステップと、データ処理手段が、前記物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行うと共に、前記物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力するステップと、データ処理手段が、出力された物体の移動の予測位置が識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを判定して出力するステップと、を備えたことを特徴とするものである。   In addition, the object recognition method according to the present invention includes an imaging unit that captures an environment including an object to be identified and outputs image information, object information including physical characteristics of the object to be identified, and the object to be identified. A database that creates and stores environmental information in advance and updates and stores the object information and environmental information of the identified object, and inputs and outputs environment information and object data to and from the database. An output means and a data processing means comprising a method for recognizing an object to be identified, the step of photographing an environment including the object to be identified by the photographing means and outputting image information, and a data processing means, The object / environment information data stored in the database is referred to by the environment / object data input / output means and output by the imaging means. A step of recognizing the object and environment to be identified from the identified image information and identifying the position and orientation of the object in the environment, and a data processing means are stored in the database from the object information and environment information of the identified object. The physical characteristics of the obtained object information are retrieved by the environment / object data input / output means, and a physical simulation is performed on the movement of the object in the environment, and the data processing means A step of checking the interference based on the distance, outputting a predicted position of the movement of the object based on the physical constraint by the physical simulation, and a data processing means for outputting the predicted position of the movement of the object Check if there is a physical constraint inconsistency by checking for interference with identified objects And outputting Te is characterized in that it comprises a.

また、この物体認識方法においては、更に、データ処理手段が、撮影手段によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を、物理シミュレーションを用いて物体の移動を予測した物体の位置と比較するステップ、を備えたことを特徴とするものである。   Further, in this object recognition method, the data processing means further determines the position / posture of the object identified by the result of recognizing the object in each image of the image information continuously photographed by the photographing means, And a step of comparing the position of the object predicted using physical simulation with the position of the object.

このような特徴を有する本発明の物体認識装置および物体認識方法によれば、物体認識の処理には、センサにより取得される自然量の特徴のみではなく、認識結果に基づく物理シミュレーションを行うことにより、物理的な制約条件（幾何学的かつ動力学的な条件、干渉や慣性力の条件）も考慮に入れて物体認識結果を判定することができ、移動型ロボットにより認識した物体をハンドリングする場合においては、識別対象の物体の物理特性による物理的な制約条件が反映されて確実に物体認識処理を行うことができると共に、センサのノイズによる物体の形状の誤認識を防止しつつ対象物を認識し、その精度を向上することができる。   According to the object recognition apparatus and the object recognition method of the present invention having such features, the object recognition processing is performed by performing not only the feature of the natural quantity acquired by the sensor but also physical simulation based on the recognition result. In case of handling an object recognized by a mobile robot, the object recognition result can be judged taking into account physical constraints (geometric and dynamic conditions, interference and inertial force conditions) Can recognize the object while reliably performing object recognition processing by reflecting the physical constraints due to the physical characteristics of the object to be identified, and recognizing the object while preventing erroneous recognition of the object shape due to sensor noise. And the accuracy can be improved.

本発明にかかる物体認識装置の構成を説明するブロック図である。It is a block diagram explaining the structure of the object recognition apparatus concerning this invention. 対象物ハンドリング装置の移動マニピュレータシステムに適用した本発明の物体認識装置の概略の構成を説明するブロック図である。It is a block diagram explaining the schematic structure of the object recognition apparatus of this invention applied to the movement manipulator system of a target object handling apparatus. 対象物ハンドリング装置のピッキングシステムに適用した本発明の物体認識装置の概略の構成を説明するブロック図である。It is a block diagram explaining the outline structure of the object recognition apparatus of this invention applied to the picking system of the target object handling apparatus. 本発明にかかる物体認識装置の物体認識結果の検証処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the verification process of the object recognition result of the object recognition apparatus concerning this invention.

以下、本発明の実施の形態について図面を参照して説明する。図１は、本発明にかかる物体認識装置の構成を説明するブロック図である。この実施形態の物体認識装置は、たとえば、移動型ロボットに搭載され、移動型ロボットが存在している日常生活空間の環境内の物体を識別して、移動型ロボットが物体をハンドリングするための認識処理に用いられる。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating the configuration of an object recognition apparatus according to the present invention. The object recognition apparatus according to this embodiment is mounted on a mobile robot, for example, for identifying an object in the environment of a daily life space where the mobile robot exists, and for the mobile robot to handle the object. Used for processing.

図１において、１は物体認識装置、２は視覚センサの撮像装置、３はデータ処理装置、４は対象物識別部、５は環境・物体データ入出力部、６は対象物を識別するための物体情報及び環境情報を予め作成して記憶しているデータベース、７は物理シミュレータ、８は認識結果・物理シミュレーション比較部、９は判定出力部である。   In FIG. 1, 1 is an object recognition device, 2 is an imaging device for a visual sensor, 3 is a data processing device, 4 is an object identification unit, 5 is an environment / object data input / output unit, and 6 is for identifying an object. A database in which object information and environment information are created and stored in advance, 7 is a physical simulator, 8 is a recognition result / physical simulation comparison unit, and 9 is a determination output unit.

図１に示すように、物体認識装置１は、移動型ロボットの視覚センサとして備えられた撮像装置２と、この撮像装置２により撮影され出力された環境の画像情報を入力して、物体認識処理を行うデータ処理装置３とにより構成される。撮像装置２は、ロボットに取り付けられてロボットの周りの環境を撮影して画像情報を出力する。撮像装置２はステレオカメラを使用して、環境を撮影してステレオ画像の画像情報を出力する。   As shown in FIG. 1, the object recognition device 1 receives an image recognition device 2 provided as a visual sensor of a mobile robot and image information of an environment photographed and output by the image pickup device 2 to perform object recognition processing. And a data processing device 3 for performing the above. The imaging device 2 is attached to the robot, images the environment around the robot, and outputs image information. The imaging device 2 uses a stereo camera to capture an environment and output image information of a stereo image.

データ処理装置３は、後述するように、撮像装置２により取得されて出力されたステレオ画像の画像情報から環境中の物体を識別して、データベース６に記憶されている物体情報および環境情報を参照して、撮影画像中の物体を識別し、その物体の環境の中の位置・姿勢を判定する。   As will be described later, the data processing device 3 identifies an object in the environment from the image information of the stereo image acquired and output by the imaging device 2, and refers to the object information and the environment information stored in the database 6. Then, the object in the captured image is identified, and the position / orientation of the object in the environment is determined.

データ処理装置３は、図１に示されるように、ここでの物体認識のデータ処理を行う処理モジュールおよびデータ記憶要素として、対象物識別部４、環境・物体データ入出力部５、対象物を識別するための物体情報及び環境情報が予め作成されて記憶しているデータベース６、物体運動の物理シミュレーションを行う物理シミュレータ７、認識結果・物理シミュレーション比較部８、判定出力部９を備えている。   As shown in FIG. 1, the data processing device 3 includes, as a processing module and a data storage element for performing object recognition data processing here, an object identification unit 4, an environment / object data input / output unit 5, and an object. A database 6 in which object information and environment information for identification are created and stored in advance, a physical simulator 7 that performs physical simulation of object motion, a recognition result / physical simulation comparison unit 8, and a determination output unit 9 are provided.

データベース６は、識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報が更新されて記憶される。環境・物体データ入出力部５は、データベース６に対して物体情報及び環境情報のデータを入出力する処理を行い、対象物識別部４に対して、物体認識のための参照情報として、物体情報及び環境情報のデータを供給し、対象物識別部４において識別された物体の物体情報および環境情報に関連する情報はデータベース６に次のデータ処理のために登録され、また更新されて記憶される。   The database 6 pre-creates and stores object information including physical characteristics of the object to be identified and environment information in which the object to be identified exists, and updates and stores the object information and environment information of the identified object. The The environment / object data input / output unit 5 performs processing for inputting / outputting object information and environment information data to / from the database 6, and provides object information as reference information for object recognition to the object identification unit 4. In addition, the object information of the object identified by the object identification unit 4 and the information related to the environment information are registered in the database 6 for the next data processing, and updated and stored. .

また、環境・物体データ入出力部５は、データベース６に記憶されている物体情報及び環境情報のデータを入出力する処理を行い、物理シミュレータ７に対して、物理シミュレーションの処理のための参照情報として供給するので、物理シミュレータ７は、物体運動の物理シミュレーションを行うプログラムを備えており、識別された物体の移動に係る物理シミュレーションを行う。   The environment / object data input / output unit 5 performs processing for inputting / outputting object information and environment information data stored in the database 6, and provides the physical simulator 7 with reference information for physical simulation processing. Therefore, the physical simulator 7 includes a program for performing a physical simulation of the object motion, and performs a physical simulation related to the movement of the identified object.

物理シミュレータ７による識別された物体の物理シミュレーションの処理の結果は、認識結果・物理シミュレーション比較部８に供給される。認識結果・物理シミュレーション比較部８は、データベース６に登録されたデータを参照した物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行うと共に、物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力する。その処理のため、認識結果・物理シミュレーション比較部８は、環境・物体データ入出力部５を介して、データベース６に記憶されている物体情報及び環境情報のデータを参照する。   The result of the physical simulation processing of the identified object by the physical simulator 7 is supplied to the recognition result / physical simulation comparison unit 8. The recognition result / physical simulation comparison unit 8 checks the interference based on the distance between the object and the object in the environment based on the result of the physical simulation referring to the data registered in the database 6, and the object is physically detected by the physical simulation. The predicted position of the movement of the object based on the static constraint is output. For this processing, the recognition result / physical simulation comparison unit 8 refers to the object information and environment information data stored in the database 6 via the environment / object data input / output unit 5.

認識結果・物理シミュレーション比較部８にからの出力は、判定出力部９に供給され、判定出力部９が、認識結果・物理前記シミュレーション比較部８により識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを最終的に判定して出力する。   The output from the recognition result / physical simulation comparison unit 8 is supplied to the determination output unit 9, and the determination output unit 9 performs physical inspection by checking the interference with the object identified by the recognition result / physical comparison unit 8. Finally, it is determined whether or not there is a contradiction between various constraints and output.

このように、撮像装置２が、識別対象の物体を含む環境を撮影して画像情報を出力すると、対象物識別部４が、識別対象の物体を認識するため、データベース６に記憶されている物体情報及び環境情報のデータを、環境・物体データ入出力部５を介して参照して、撮像装置２により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別する。物理シミュレータ７は、識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を環境・物体データ入出力部５を介して取り出して環境中の物体の移動に対する物理シミュレーションを行うので、認識結果・物理シミュレーション比較部８が、物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行い、物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力する。そして、判定出力部９は、認識結果・物理前記シミュレーション比較部８により識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを判定して出力する。   As described above, when the imaging device 2 captures an environment including an object to be identified and outputs image information, the object identifying unit 4 recognizes the object to be identified. By referring to the information and environment information data via the environment / object data input / output unit 5, the object / environment to be identified is recognized from the image information output by the imaging device 2, and the position / Identify posture. The physical simulator 7 extracts the physical characteristics of the object information stored in the database from the object information and environment information of the identified object via the environment / object data input / output unit 5 and performs a physical simulation for the movement of the object in the environment. Therefore, the recognition result / physical simulation comparison unit 8 checks the interference based on the distance between the object and the object in the environment according to the result of the physical simulation, and the object is based on the physical constraint by the physical simulation. Output the predicted position of the movement. Then, the determination output unit 9 determines whether or not there is a physical constraint contradiction by checking the interference with the object identified by the recognition result / physical comparison unit 8 and outputs the result.

また、認識結果・物理シミュレーション比較部８は、撮影装置２によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を物理シミュレーションを用いて物体の移動を予測した物体の位置と比較するので、これにより、判定出力部９は、対象物識別部４の認識結果は正しく物体を識別しているか否かを判定して出力する。   In addition, the recognition result / physical simulation comparison unit 8 uses the physical simulation to determine the position / posture of the object identified based on the result of recognizing the object in each image of the image information continuously captured by the image capturing device 2. Therefore, the determination output unit 9 determines whether or not the recognition result of the object identification unit 4 correctly identifies the object and outputs the result.

データベース６は、物体識別のための物体の物理特性を含む物体情報及び環境情報を予め作成して記憶しているので、ここでの環境・物体データ入出力部５は、データベース６に記憶されている物体情報及び環境情報を記憶、抽出、更新する手段として、環境内の物体の相対関係を記憶、抽出、更新する手段として、また、物理シミュレータに入力する手段として機能する。また、物理シミュレータ７が物体と周りの物体との距離に基づいて干渉のチェックを行うために、オンラインで物体を追加して物理シミュレーションを行う。   Since the database 6 pre-creates and stores object information and environment information including physical properties of objects for object identification, the environment / object data input / output unit 5 here is stored in the database 6. It functions as a means for storing, extracting, and updating object information and environmental information, a means for storing, extracting, and updating the relative relationship of objects in the environment, and a means for inputting to a physical simulator. Further, in order for the physical simulator 7 to check interference based on the distance between the object and the surrounding objects, the physical simulation is performed by adding the object online.

認識結果・物理シミュレーション比較部８は、また、撮影装置２によって連続的に撮影された画像中にある所定の物体を認識し、その結果を物理シミュレーションを用いて予測した物体の位置と比較すること、また周りの物体との干渉チェックによって物理的な拘束の矛盾が生じるかどうかを判定する認識結果の判定を行う。   The recognition result / physical simulation comparison unit 8 also recognizes a predetermined object in the images continuously photographed by the photographing device 2, and compares the result with the position of the object predicted using the physical simulation. In addition, a recognition result is determined to determine whether a contradiction in physical constraint occurs due to an interference check with surrounding objects.

対象物識別部４は、撮影装置２から連続的に入力された画像により、環境・物体データ入出力部５より取得した対象物の物体情報および環境情報に基づいて、環境内の他の物体との相対関係にもとづいて、存在しそうな領域より当該物体の識別を行う処理を行うにも構成される。対象物識別部４は、従来から公知の物体識別装置が用いられる。たとえば、特許文献１に開示されているような３次元物***置姿勢決定方法によるデータ処理を行う装置構成により実現される。   The object identification unit 4 is connected to other objects in the environment based on the object information and environment information of the object acquired from the environment / object data input / output unit 5 based on images continuously input from the imaging device 2. Based on the relative relationship, a process for identifying the object from an area that is likely to exist is also performed. As the object identification unit 4, a conventionally known object identification device is used. For example, it is realized by a device configuration that performs data processing by a three-dimensional object position and orientation determination method as disclosed in Patent Document 1.

対象物識別部４において、識別処理は、たとえば、色を用いた認識と組み合わせた手法や、ＳＩＦＴ法、またはＳＶＭによる識別手法やＶｏｉｌａ＆Ｊｏｎｅｓ法を適用した学習によって獲得した識別手法を用いて物体の識別処理を行うようにしてもよい。   In the object identification unit 4, for example, the identification process is performed by using a method combined with recognition using color, an identification method acquired by learning using a SIFT method, an identification method using SVM, or a Voila & Jones method. Processing may be performed.

環境・物体データ入出力部５は、対象物識別部３により連続的に測定された物体の位置が取得された場合、物体の認識位置としてデータベース６に登録する。   When the position of the object continuously measured by the object identification unit 3 is acquired, the environment / object data input / output unit 5 registers it in the database 6 as the object recognition position.

物理シミュレータ７は、環境・物体データ入出力部５を通して、データベース６より認識された対象物体および環境内の他の物体の位置および物理特性の情報を抽出し、オンラインで即時に物理シミュレーションを行う。   The physical simulator 7 extracts information on the position and physical characteristics of the target object recognized from the database 6 and other objects in the environment through the environment / object data input / output unit 5, and immediately performs a physical simulation online.

また、認識結果・物理シミュレーション比較部８は、物体データ入出力部５を通してデータベース６より取得した連続的に認識された対象物体および環境内の他の物体の認識位置、物理シミュレーションを用いて予測した物体の位置を入力として、干渉チェックを行い、認識した対象物体と周りの物体の位置も用いて物体間の距離と物理シミュレーションを用いて予測した物体間の距離を比較して、一定の閾値を超えた場合に、認識の結果に誤りがあると判定し、物理シミュレーションを用いて予測した物体の位置を環境・物体データ入出力部５を通して、データベース６に対象物体の予測位置として登録し、次の対象物の識別のために使用するようにしてもよい。その差分がある閾値以内であれば、認識結果を正しいと判定し、その結果を判定出力部９に出力する。   In addition, the recognition result / physical simulation comparison unit 8 uses the physical simulation to predict the recognition position of the continuously recognized target object and other objects in the environment acquired from the database 6 through the object data input / output unit 5. Interference check is performed using the position of the object as an input, and the distance between the object and the distance between the objects predicted using physical simulation are compared using the recognized target object and the positions of surrounding objects, and a certain threshold is set. If it exceeds, it is determined that there is an error in the recognition result, and the position of the object predicted using the physical simulation is registered as the predicted position of the target object in the database 6 through the environment / object data input / output unit 5 It may be used for identification of the object. If the difference is within a certain threshold, it is determined that the recognition result is correct, and the result is output to the determination output unit 9.

次に、本発明の物体認識装置の応用例として、対象物ハンドリング装置の移動マニピュレータシステムおよびピッキングシステムに適用した実施例について説明する。   Next, as an application example of the object recognition apparatus of the present invention, an embodiment applied to a moving manipulator system and a picking system of an object handling apparatus will be described.

図２および図３は、本発明の物体認識装置の好適な実施形態に係る対象物ハンドリング装置１０の全体構成を示す図である。本実施の形態では、識別対象の物体の物体情報として環境中に置かれた幾何学情報および物理的な性質（重心位置、慣性）のモデルが既知であるが、その存在の場所が未知の対象物の物体をロボットが認識し、ハンドリングする場合を例にとって説明する。図２には、移動マニピュレータシステムの構成を示し、図３にはピッキングシステムの構成を示している。物体認識装置の構成は同じである。   2 and 3 are diagrams showing the overall configuration of the object handling apparatus 10 according to a preferred embodiment of the object recognition apparatus of the present invention. In the present embodiment, the geometric information placed in the environment as the object information of the object to be identified and the model of physical properties (center of gravity position, inertia) are known, but the location of the existence is unknown An example will be described in which a robot recognizes and handles a physical object. FIG. 2 shows the configuration of the mobile manipulator system, and FIG. 3 shows the configuration of the picking system. The configuration of the object recognition device is the same.

対象物ハンドリング装置１０は、対象物コンテナ１２内の対象物１４をハンドリングするように構成されたロボット１６、ロボット１６を制御するロボットコントローラ１８、対象物コンテナ１２および対象物１４をロボット１６の手先部に設けられた視覚センサ２０及び視覚センサ２０が撮像した画像情報を処理するデータ処理装置２２を備えている。   The object handling apparatus 10 includes a robot 16 configured to handle the object 14 in the object container 12, a robot controller 18 that controls the robot 16, the object container 12, and the object 14 at the hand portion of the robot 16. And a data processing device 22 that processes image information captured by the visual sensor 20.

対象物１４およびその環境の撮像（計測）は、ロボット１６の手先部に設けられた視覚センサ２０によって行われる。視覚センサ２０はステレオカメラが用いられており、通信回線２６によって接続された視覚センサ制御部２８によって制御される。また視覚センサ制御部２８を、通信回線２７を介してデータ処理装置２２に接続することにより、所定の位置・姿勢の制御がなされて、対象物１４の詳細な三次元位置及び姿勢を求めることができる。   Imaging (measurement) of the object 14 and its environment is performed by the visual sensor 20 provided at the hand portion of the robot 16. The visual sensor 20 uses a stereo camera and is controlled by a visual sensor control unit 28 connected by a communication line 26. Further, by connecting the visual sensor control unit 28 to the data processing device 22 via the communication line 27, a predetermined position / posture is controlled, and a detailed three-dimensional position and posture of the object 14 can be obtained. it can.

ロボットコントローラ１８は、通信回線３０によってデータ処理装置２２に接続されており、視覚センサ２０によって撮像された画像情報がデータ処理装置２２に入力され、データ処理装置２２で処理された結果を利用して対象物１４をハンドリング（アプローチ、把持及び取り出し等の一連の操作）を行うようにロボット１６を制御する。なおロボットコントローラ１８はＣＰＵ、データメモリ、フレームメモリ、データ処理プロセッサ及びインタフェイス等を備えた周知のものが利用される。その詳細な説明は省略する。   The robot controller 18 is connected to the data processing device 22 via the communication line 30, and image information captured by the visual sensor 20 is input to the data processing device 22 and is used by processing the data processing device 22. The robot 16 is controlled so as to handle the object 14 (a series of operations such as approach, gripping and taking out). As the robot controller 18, a known controller having a CPU, a data memory, a frame memory, a data processor, an interface, and the like is used. Detailed description thereof is omitted.

次に、データ処理装置２２の構成について説明する。データ処理装置２２もロボットコントローラ１８と同様にＣＰＵ、データメモリ、フレームメモリ、データ処理プロセッサ及びインタフェイス等を備える。   Next, the configuration of the data processing device 22 will be described. Similarly to the robot controller 18, the data processing device 22 includes a CPU, a data memory, a frame memory, a data processing processor, an interface, and the like.

データ処理装置２２は、図２および図３に示すように、対象物の認識モデルと、認識パラメータと、対象物の物理モデルと、認識した物体の候補の位置・姿勢と、シミュレーションした対象物の位置・姿勢と、認識がただしいと判定した物体の位置・姿勢とを格納するデータベース２２ａと、対象物識別に使用する対象物の特徴モデルおよび認識パラベータを設定する認識パラメータ設定部２２ｂと、視覚センサ２０からの一定時間間隔Ｔｃで撮像データを受信してそのデータを記憶し、またその一定時間間隔のデータから撮像データとパターンマッチングを行うための特徴モデルを生成して記憶する特徴モデル生成・記憶部２２ｋと、特徴モデル生成・記憶部２２ｋによって生成された特徴モデルから対象物を検出する対象物認識部２２ｃと、対象物認識部２２ｃの認識結果をデータベース２２ａに格納する認識候補記憶部２２ｄと、対象物の物理シミュレーションに使用する対象物認識部２２ｃによって検知した対象物の認識位置・姿勢および対象物の物理モデルを設定する物理パラメータ設定部２２ｅと、物理パラメータ設定部２２ｅによって取得した対象物認識部２２ｃで認識した対象物の位置と姿勢およびデータベースに格納された対象物の物理モデル（詳細な３次元形状モデル、質量、慣性行列、重心位置、摩擦係数、弾性係数）を用いて物体の物理シミュレーションを行う物理シミュレーション部２２ｆと、物理シミュレーション部２２ｆによってシミュレートした環境内の物体の位置と姿勢のデータをデータベース２２ａに格納するシミュレーション結果記憶部２２ｇと、認識候補記憶部２２ｄによってデータベースに格納された一定時間間隔Ｔｃで認識された物体の位置・姿勢の時系列データおよびシミュレーション結果記憶部２２ｇによってデータベースに格納された一定時間間隔Ｔｃの物理シミュレーションによる物体の位置・姿勢のシミュレーション結果の時系列データを取得し比較する認識結果・物理シミュレーション比較部２２ｈと、認識結果・物理シミュレーション比較部２２ｈの比較結果を判定し、その判定結果を次の認識パラメータの調整のために、認識パラメータ設定部２２ｂにフィードバックする認識結果判定部２２ｉと、認識結果判定部２２ｉによって認識結果が正しいと判定された場合、対象物の認識結果の候補の位置と姿勢をデータベースに対象物の位置と姿勢の時刻付きデータとして格納する対象物記憶部２２ｊとを有する。なお、対象物認識部２２ｃには、撮像データとパターンマッチングを行うための特徴モデル生成・記憶部２２ｋが関連付けられている。特徴モデル生成・記憶部２２ｋは、適当な座標系（たとえば、ロボット１６の底部中央に配置された座標系Σｒ）で表現された環境および対象物の撮像データに含まれるエッジや、色等の特徴情報の特徴モデルを生成する。   As shown in FIGS. 2 and 3, the data processing device 22 is configured to recognize the object recognition model, the recognition parameter, the object physical model, the position and orientation of the recognized object candidate, and the simulated object. A database 22a for storing a position / posture and a position / posture of an object that has been determined to be recognized; a recognition parameter setting unit 22b for setting a feature model and a recognition parabator of the target used for target identification; and a visual sensor Image data is received at a constant time interval Tc from 20 and stored, and a feature model for pattern matching with image data is generated and stored from the data at the constant time interval. Unit 22k and object recognition unit 22c for detecting an object from the feature model generated by feature model generation / storage unit 22k The recognition candidate storage unit 22d for storing the recognition result of the object recognition unit 22c in the database 22a, and the recognition position / posture of the object detected by the object recognition unit 22c used for the physical simulation of the object and the physics of the object The physical parameter setting unit 22e for setting the model, the position and orientation of the object recognized by the object recognition unit 22c acquired by the physical parameter setting unit 22e, and the physical model of the object stored in the database (detailed three-dimensional shape) The physical simulation unit 22f that performs physical simulation of the object using the model, mass, inertia matrix, center of gravity position, friction coefficient, and elastic coefficient), and the position and orientation data of the object in the environment simulated by the physical simulation unit 22f Simulation result storage unit 2 stored in the database 22a g, time-series data of the position / orientation of the object recognized at the constant time interval Tc stored in the database by the recognition candidate storage unit 22d, and physical simulation at the constant time interval Tc stored in the database by the simulation result storage unit 22g The comparison result of the recognition result / physical simulation comparison unit 22h and the recognition result / physical simulation comparison unit 22h for acquiring and comparing time-series data of the simulation results of the position / orientation of the object by the object is determined, and the determination result is recognized next For parameter adjustment, when the recognition result determination unit 22i that feeds back to the recognition parameter setting unit 22b determines that the recognition result is correct by the recognition result determination unit 22i, the position and orientation of the candidate recognition result of the object are determined. Data with time and position of the object in the database And an object storage unit 22j for storing as a data. The object recognition unit 22c is associated with a captured image data and a feature model generation / storage unit 22k for performing pattern matching. The feature model generation / storage unit 22k includes features such as edges and colors included in the imaging data of the environment and the object expressed in an appropriate coordinate system (for example, the coordinate system Σr arranged at the center of the bottom of the robot 16). Generate a feature model of the information.

図４は、認識結果の判定処理の流れを示すフローチャートである。図２に示す対象物ハンドリング装置による作業における認識結果の判定の処理の流れを示している。
先ずステップＳ１０１において、視覚センサ２０による撮像が一定時間間隔Ｔｃで行われ、撮影された画像はＩｍｇ＿Ｔ０およびＩｍｇ＿Ｔｃとして上述の特徴モデル生成・記憶部２２ｋで記憶される。 FIG. 4 is a flowchart showing the flow of recognition result determination processing. The flow of the process of determination of the recognition result in the operation | work by the target object handling apparatus shown in FIG. 2 is shown.
First, in step S101, imaging by the visual sensor 20 is performed at a constant time interval Tc, and the captured images are stored as Img_T0 and Img_Tc in the above-described feature model generation / storage unit 22k.

ステップＳ１０２において、データ処理装置２２の認識パラメータ設定部２２ｂによる物体認識モデルおよび認識パラメータの設定が行われ、特徴モデル生成・記憶部２２ｋで記憶された画像Ｉｍｇ＿Ｔ０およびＩｍｇ＿Ｔｃに対して、撮影画像のデータとパターンマッチングを行うための特徴モデルを生成して、ＬＣＭ＿Ｔ０およびＬＣＭ＿Ｔｃとして特徴モデル生成・記憶部２２ｋで記憶される。   In step S102, an object recognition model and a recognition parameter are set by the recognition parameter setting unit 22b of the data processing device 22, and the captured image data is stored for the images Img_T0 and Img_Tc stored in the feature model generation / storage unit 22k. And feature models for pattern matching are generated and stored in the feature model generation / storage unit 22k as LCM_T0 and LCM_Tc.

次のステップＳ１０３では、上述の対象物認識部２２ｃが特徴モデルＬＣＭ＿Ｔ０およびＬＣＭ＿Ｔｃから、Ｓ１０２で設定された対象物モデルとのマッチングをすることによって対象物を検出する対象物認識を行う。対象物が検出されていればステップＳ１０４に進み、上述の認識候補記憶部によって認識された物体の位置・姿勢を認識の候補としてデータベースに格納し、ステップＳ１０５に進む。Ｓ１０３の対象物認識の処理で、対象物が検出されない場合は、Ｓ１０２に戻り、認識パラメータの調整を行い、対象物の再認識を行う。なお、Ｓ１０２からＳ１０４のステップは一定時間間隔Ｔｃにおいて撮像された画像Ｉｍｇ＿Ｔ０およびＩｍｇ＿Ｔｃを入力画像として行われ、ステップＳ１０４では、それぞれの画像Ｉｍｇ＿Ｔ０とＩｍｇ＿Ｔｃを用いて、認識された物体の位置・姿勢の候補はＯｂｊ＿ｒｅｃｏｇ＿Ｔ０，Ｏｂｊ＿ｒｅｃｏｇ＿Ｔｃとしてデータベースに格納される。   In the next step S103, the object recognition unit 22c described above performs object recognition for detecting the object by matching the object model set in S102 from the feature models LCM_T0 and LCM_Tc. If an object has been detected, the process proceeds to step S104, where the position / orientation of the object recognized by the recognition candidate storage unit is stored in the database as a recognition candidate, and the process proceeds to step S105. If no object is detected in the object recognition process in S103, the process returns to S102, the recognition parameters are adjusted, and the object is re-recognized. Note that the steps from S102 to S104 are performed using the images Img_T0 and Img_Tc captured at a constant time interval Tc as input images. In step S104, the positions and orientations of the recognized objects are detected using the respective images Img_T0 and Img_Tc. Candidates are stored in the database as Obj_recog_T0 and Obj_recog_Tc.

ステップＳ１０５では、上述の物理パラメータ設定部がデータベースより物体の物理モデル（詳細な３次元形状モデル、質量、慣性行列、重心位置、摩擦係数、弾性係数）および間隔Ｔｃの初期状態として認識した物体の位置・姿勢候補Ｏｂｊ＿ｒｅｃｏｇ＿Ｔ０を取得し、シミュレーションの３次元空間の中の対象物の初期位置・姿勢Ｏｂｊ＿ｓｉｍ＿Ｔ０として設定し、ステップＳ１０６に進む。   In step S105, the physical parameter setting unit described above recognizes the physical model of the object (detailed three-dimensional shape model, mass, inertia matrix, gravity center position, friction coefficient, elastic coefficient) and the initial state of the interval Tc from the database. The position / posture candidate Obj_recog_T0 is acquired, set as the initial position / posture Obj_sim_T0 of the object in the three-dimensional space of the simulation, and the process proceeds to step S106.

ステップＳ１０６では,対象物をシミュレーションの３次元空間に位置・姿勢Ｏｂｊ＿ｓｉｍ＿Ｔ０として配置されたときの、対象物Ｏｂｊとその周りの環境Ｅｎｖとの干渉チェックを行う。干渉チェックの結果により、周りとの干渉が起きた場合に、その干渉の具合Ｃｏｌｌｉｓｉｏｎ＿ｐｅｎｅｔｒａｔｉｏｎ＿Ｔ０がデータベースに格納されたその対象物の特定の干渉閾値Ｔｏｌｅｒａｎｃｅ＿ｃｏｌｌｉｓｉｏｎ＿Ｏｂｊ以内であれば、干渉は起きないと判定し、Ｓ１０７に進む。干渉があると判定された場合、認識結果が誤った確率が高いと判定し、Ｓ１０２に戻る。   In step S106, an interference check is performed between the object Obj and the surrounding environment Env when the object is arranged as the position / posture Obj_sim_T0 in the simulation three-dimensional space. As a result of the interference check, when interference with the surroundings occurs, if the interference Collation_penetration_T0 is within the specific interference threshold Tolerance_collation_Obj of the target object stored in the database, it is determined that interference does not occur, and S107 Proceed to When it is determined that there is interference, it is determined that there is a high probability that the recognition result is erroneous, and the process returns to S102.

ステップＳ１０７では、Ｓ１０５で設定された物理パラメータに基づいて、対象物の初期位置姿勢をシミュレーションの３次元空間の中の位置・姿勢Ｏｂｊ＿ｓｉｍ＿Ｔ０として配置された状態から、一定時間間隔Ｔｃの間、物理シミュレーションを行う。   In step S107, based on the physical parameters set in S105, the physical simulation is performed for a certain time interval Tc from the state where the initial position and orientation of the object is arranged as the position and orientation Obj_sim_T0 in the simulation three-dimensional space. I do.

ステップＳ１０８では、Ｔｃ間の物理シミュレーションの結果である物理拘束に従った対象物の予測位置・姿勢をＯｂｊ＿ｓｉｍ＿Ｔｃとしてデータベースに格納する。   In step S108, the predicted position / orientation of the object according to the physical constraint, which is the result of the physical simulation during Tc, is stored in the database as Obj_sim_Tc.

ステップＳ１０９では、認識結果とシミュレーション結果の比較を行う。一定時間間隔Ｔｃ後の認識された位置・姿勢の候補Ｏｂｊ＿ｒｅｃｏｇ＿Ｔｃとシミュレーションによる物体の予測された位置・姿勢Ｏｂｊ＿ｓｉｍ＿Ｔｃの距離Ｄｉｓｔａｎｃｅ＿Ｏｂｊ＿Ｔｃを計算し、その距離Ｄｉｓｔａｎｃｅ＿Ｏｂｊ＿Ｔｃがデータベースに格納されたその対象物の特定の距離閾値Tｏｌｅｒａｎｃｅ＿ｄｉｓｔａｎｃｅ＿Ｏｂｊ以内であれば、認識結果と物理シミュレーションが一致すると判定し、Ｓ１１０で対象物の認識位置・姿勢候補を撮像した時刻の物体の位置・姿勢の時間付きデータとしてデータベースに格納し、プロセスを終了する。認識された候補Ｏｂｊ＿ｒｅｃｏｇ＿Ｔｃとシミュレーション予測Ｏｂｊ＿ｓｉｍ＿Ｔｃの距離Ｄｉｓｔａｎｃｅ＿Ｏｂｊ＿Ｔｃが閾値Ｔｏｌｅｒａｎｃｅ＿ｄｉｓｔａｎｃｅ＿Ｏｂｊを超えた場合、認識が失敗したとし、Ｓ１０１に戻り、認識パラメータの調整を行い、認識プロセスをやり直す。   In step S109, the recognition result is compared with the simulation result. A distance Distance_Obj_Tc between a recognized position / posture candidate Obj_recog_Tc and a predicted object position / posture Obj_sim_Tc after a certain time interval Tc is calculated, and the distance Distance_Obj_Tc is a specific distance of the object stored in the database If it is within the threshold Tolerance_distance_Obj, it is determined that the recognition result and the physical simulation match, and in S110, the recognition position / posture candidate of the object is captured and stored in the database as timed data of the position / posture of the object. finish. When the distance Distance_Obj_Tc between the recognized candidate Obj_recog_Tc and the simulation prediction Obj_sim_Tc exceeds the threshold Tolerance_distance_Obj, it is determined that the recognition has failed, the process returns to S101, the recognition parameters are adjusted, and the recognition process is performed again.

１…物体認識装置
２…撮像装置
３…データ処理装置
４…対象物識別部
５…環境・物体データ入出力部
６…データベース
７…物理シミュレータ
８…認識結果・物理シミュレーション比較部
９…判定出力部
１０…対象物ハンドリング装置
１２…対象物コンテナ
１４…対象物
１６…ロボット
１８…ロボットコントローラ
２０…視覚センサ
２２…データ処理装置
２６…通信回線
２８…視覚センサ制御部
２７…通信回線
３０…通信回線
２２ａ…データベース
２２ｂ…認識パラメータ設定部
２２ｃ…対象物認識部
２２ｄ…認識候補記憶部
２２ｅ…物理パラメータ設定部
２２ｆ…物理シミュレーション部
２２ｇ…シミュレーション結果記憶部
２２ｈ…認識及び物理シミュレーション比較部
２２ｉ…認識結果判定部
２２ｊ…対象物記憶部
２２ｋ…特徴モデル生成・記憶部

DESCRIPTION OF SYMBOLS 1 ... Object recognition apparatus 2 ... Imaging device 3 ... Data processing apparatus 4 ... Object identification part 5 ... Environment / object data input / output part 6 ... Database 7 ... Physical simulator 8 ... Recognition result and physical simulation comparison part 9 ... Determination output part DESCRIPTION OF SYMBOLS 10 ... Object handling apparatus 12 ... Object container 14 ... Object 16 ... Robot 18 ... Robot controller 20 ... Visual sensor 22 ... Data processing device 26 ... Communication line 28 ... Visual sensor control part 27 ... Communication line 30 ... Communication line 22a ... Database 22b ... Recognition parameter setting unit 22c ... Object recognition unit 22d ... Recognition candidate storage unit 22e ... Physical parameter setting unit 22f ... Physical simulation unit 22g ... Simulation result storage unit 22h ... Recognition and physical simulation comparison unit 22i ... Recognition result determination Part 22j ... object storage part 2k ... feature model generation and storage unit

Claims (4)

識別対象の物体を含む環境を撮影して画像情報を出力する撮影手段と、
識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報を更新して記憶するデータベースと、
前記データベースに対して物体情報及び環境情報のデータを入出力する環境・物体データ入出力手段と、
前記データベースに記憶されている前記物体情報及び環境情報のデータを前記環境・物体データ入出力手段を介して参照して、前記撮像手段により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別する物体認識手段と、
識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を前記環境・物体データ入出力手段を介して取り出して環境中の物体の移動に対する物理シミュレーションを行う物理シミュレーション手段と、
前記物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行うと共に、前記物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力するシミュレーション比較手段と、
前記シミュレーション比較手段により出力された物体の移動の予測位置が識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを判定して出力する判定出力手段と
を備えたことを特徴とする物体認識装置。 Photographing means for photographing an environment including an object to be identified and outputting image information;
A database for storing object information including physical characteristics of an object to be identified and environment information in which the object to be identified exists in advance and storing the object information and environment information of the identified object;
Environment / object data input / output means for inputting / outputting object information and environment information data to / from the database;
The object information and environment information data stored in the database are referred to via the environment / object data input / output means, and the object and environment to be identified are recognized from the image information output by the imaging means. Object recognition means for identifying the position and orientation of the object in the environment,
Physical simulation means for taking out physical characteristics of object information stored in a database from the object information and environment information of the identified object via the environment / object data input / output means and performing physical simulation for movement of the object in the environment When,
Simulation comparison means for checking interference based on the distance between the object and an object in the environment based on the result of the physical simulation, and outputting a predicted position of the movement of the object based on physical constraints by the physical simulation When,
A judgment output means for judging whether the predicted position of the movement of the object outputted by the simulation comparing means is inconsistent with a physical constraint by checking interference with the identified object, and outputting the judgment. An object recognition device. 請求項１に記載の物体認識装置において、
前記シミュレーション比較手段は、
撮影手段によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を物理シミュレーションを用いて物体の移動を予測した物体の位置と比較する、
ことを特徴とする物体認識装置。 The object recognition apparatus according to claim 1,
The simulation comparison means includes
Compares the position and orientation of the object identified by the result of recognizing the object in each image of the image information continuously photographed by the photographing means with the position of the object predicted to move using physical simulation ,
An object recognition apparatus characterized by that. 識別対象の物体を含む環境を撮影して画像情報を出力する撮影手段と、識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報を更新して記憶するデータベースと、前記データベースに対して物体情報及び環境情報のデータを入出力する環境・物体データ入出力手段と、データ処理手段を備え、識別対象の物体を認識する方法であって、
前記撮影手段により識別対象の物体を含む環境を撮影して画像情報を出力するステップと、
データ処理手段が、前記データベースに記憶されている前記物体情報及び環境情報のデータを前記環境・物体データ入出力手段により参照して、前記撮像手段により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別するステップと、
データ処理手段が、識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を前記環境・物体データ入出力手段により取り出し環境中の物体の移動に対する物理シミュレーションを行うステップと、
データ処理手段が、前記物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行うと共に、前記物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力するステップと、
データ処理手段が、出力された物体の移動の予測位置が識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを判定して出力するステップと、
を備えたことを特徴とする物体認識方法。 An imaging unit that captures an environment including the object to be identified and outputs image information, object information including physical characteristics of the object to be identified, and environment information in which the object to be identified exists are created and stored in advance. A database for updating and storing object information and environmental information of the identified object; an environment / object data input / output unit for inputting / outputting object information and environmental information data to / from the database; and a data processing unit, A method for recognizing an object to be identified,
Photographing an environment including an object to be identified by the photographing means and outputting image information;
The data processing means refers to the object information and environment information data stored in the database by the environment / object data input / output means, and identifies the object and environment to be identified from the image information output by the imaging means. Recognizing and identifying the position and orientation of the object in the environment;
A step in which the data processing means takes out physical characteristics of the object information stored in the database from the object information and environment information of the identified object by the environment / object data input / output means and performs a physical simulation on the movement of the object in the environment; When,
The data processing means checks the interference based on the distance between the object and the object in the environment based on the result of the physical simulation, and determines the predicted position of the movement of the object based on the physical constraint by the physical simulation. Output step;
A step in which the data processing means determines whether the predicted position of movement of the output object is inconsistent with a physical constraint by checking interference with the identified object and outputs it;
An object recognition method comprising: 請求項３に記載の物体認識方法において、更に、データ処理手段が
撮影手段によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を、物理シミュレーションを用いて物体の移動を予測した物体の位置と比較するステップ、
を備えたことを特徴とする物体認識方法。


4. The object recognition method according to claim 3, wherein the data processing means further determines the position and orientation of the object identified by the result of recognizing an object in each image of the image information continuously photographed by the photographing means. Comparing the position of the object predicted using physical simulation with the object position,
An object recognition method comprising:


JP2009192509A 2009-08-21 2009-08-21 Object recognition apparatus and object recognition method Expired - Fee Related JP5229912B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009192509A JP5229912B2 (en) 2009-08-21 2009-08-21 Object recognition apparatus and object recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009192509A JP5229912B2 (en) 2009-08-21 2009-08-21 Object recognition apparatus and object recognition method

Publications (2)

Publication Number Publication Date
JP2011044046A true JP2011044046A (en) 2011-03-03
JP5229912B2 JP5229912B2 (en) 2013-07-03

Family

ID=43831426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009192509A Expired - Fee Related JP5229912B2 (en) 2009-08-21 2009-08-21 Object recognition apparatus and object recognition method

Country Status (1)

Country Link
JP (1) JP5229912B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014124735A (en) * 2012-12-27 2014-07-07 Seiko Epson Corp Robot control method, robot control device, program, and robot
JP2016517084A (en) * 2013-03-15 2016-06-09 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド Computer-based method of dynamic category object recognition Computer-based method and system
WO2018051399A1 (en) * 2016-09-13 2018-03-22 株式会社日立情報通信エンジニアリング State prediction device and state prediction method
WO2019116518A1 (en) * 2017-12-14 2019-06-20 株式会社日立製作所 Object detection device and object detection method
JP2019098431A (en) * 2017-11-29 2019-06-24 株式会社東芝 Information processing apparatus and sorting system
JP2020011340A (en) * 2018-07-19 2020-01-23 オムロン株式会社 Simulation device, simulation program and simulation method
JP2020152531A (en) * 2019-03-20 2020-09-24 株式会社タダノ crane
CN113970888A (en) * 2020-07-07 2022-01-25 华为技术有限公司 Household equipment control method, terminal equipment and computer readable storage medium
WO2022249295A1 (en) * 2021-05-25 2022-12-01 ファナック株式会社 Robot simulation device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288595A (en) * 2002-03-28 2003-10-10 Fujitsu Ltd Apparatus and method for object recognition, and computer-readable recording medium

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288595A (en) * 2002-03-28 2003-10-10 Fujitsu Ltd Apparatus and method for object recognition, and computer-readable recording medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200100632011; 橋本 学: 'シーン仮説と入力画像との大局的画像整合性評価に基づく複数物体の認識' 電子情報通信学会論文誌 第Ｊ８２-Ｄ-ＩＩ巻 第１２号, 19991225, ｐ．２２８８-２２９７, 社団法人電子情報通信学会 *
JPN6012043467; 橋本 学: 'シーン仮説と入力画像との大局的画像整合性評価に基づく複数物体の認識' 電子情報通信学会論文誌 第Ｊ８２-Ｄ-ＩＩ巻 第１２号, 19991225, ｐ．２２８８-２２９７, 社団法人電子情報通信学会 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014124735A (en) * 2012-12-27 2014-07-07 Seiko Epson Corp Robot control method, robot control device, program, and robot
JP2016517084A (en) * 2013-03-15 2016-06-09 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド Computer-based method of dynamic category object recognition Computer-based method and system
US10395127B2 (en) 2016-09-13 2019-08-27 Hitachi Information & Telecommunication Engineering, Ltd. State prediction device and state prediction method
JPWO2018051399A1 (en) * 2016-09-13 2018-09-13 株式会社日立情報通信エンジニアリング State prediction apparatus and state prediction method
WO2018051399A1 (en) * 2016-09-13 2018-03-22 株式会社日立情報通信エンジニアリング State prediction device and state prediction method
JP2019098431A (en) * 2017-11-29 2019-06-24 株式会社東芝 Information processing apparatus and sorting system
JP7062418B2 (en) 2017-11-29 2022-05-16 株式会社東芝 Information processing equipment and sorting system
WO2019116518A1 (en) * 2017-12-14 2019-06-20 株式会社日立製作所 Object detection device and object detection method
JP2020011340A (en) * 2018-07-19 2020-01-23 オムロン株式会社 Simulation device, simulation program and simulation method
JP7124509B2 (en) 2018-07-19 2022-08-24 オムロン株式会社 SIMULATION DEVICE, SIMULATION PROGRAM AND SIMULATION METHOD
JP2020152531A (en) * 2019-03-20 2020-09-24 株式会社タダノ crane
CN113970888A (en) * 2020-07-07 2022-01-25 华为技术有限公司 Household equipment control method, terminal equipment and computer readable storage medium
WO2022249295A1 (en) * 2021-05-25 2022-12-01 ファナック株式会社 Robot simulation device

Also Published As

Publication number Publication date
JP5229912B2 (en) 2013-07-03

Similar Documents

Publication Publication Date Title
JP5229912B2 (en) Object recognition apparatus and object recognition method
WO2021047232A1 (en) Interaction behavior recognition method, apparatus, computer device, and storage medium
CN106780608B (en) Pose information estimation method and device and movable equipment
US9616569B2 (en) Method for calibrating an articulated end effector employing a remote digital camera
JP6573354B2 (en) Image processing apparatus, image processing method, and program
JP4946730B2 (en) Face image processing apparatus, face image processing method, and computer program
US10189162B2 (en) Model generation apparatus, information processing apparatus, model generation method, and information processing method
JP4691158B2 (en) Recognition system and method for 2D images using 3D class model
US7957583B2 (en) System and method of three-dimensional pose estimation
JP2008304268A5 (en)
CN110926330B (en) Image processing apparatus, image processing method, and program
US20120320053A1 (en) Position and orientation estimation method and apparatus therefor
JP5093591B2 (en) 3D position and orientation measurement method and apparatus
CN110717449A (en) Vehicle annual inspection personnel behavior detection method and device and computer equipment
JP2021086432A (en) Information processing apparatus, information processing method, computer program, measurement apparatus, system, and method of manufacturing article
JPH09237342A (en) Strong recognition device using noticed point
JP2012123631A (en) Attention area detection method, attention area detection device, and program
JP5083715B2 (en) 3D position and orientation measurement method and apparatus
US9398208B2 (en) Imaging apparatus and imaging condition setting method and program
US9977889B2 (en) Device for checking the authenticity of a fingerprint
CN106406507B (en) Image processing method and electronic device
CN109254663B (en) Using method of auxiliary reading robot for books of children
US8005261B2 (en) Model-based object classification and target recognition
CN111742349B (en) Information processing apparatus, information processing method, and information processing storage medium
JP7117878B2 (en) processor and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130314

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5229912

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees