JP5716433B2 - Shape recognition device, shape recognition method, and program thereof - Google Patents

Shape recognition device, shape recognition method, and program thereof Download PDF

Info

Publication number
JP5716433B2
JP5716433B2 JP2011024352A JP2011024352A JP5716433B2 JP 5716433 B2 JP5716433 B2 JP 5716433B2 JP 2011024352 A JP2011024352 A JP 2011024352A JP 2011024352 A JP2011024352 A JP 2011024352A JP 5716433 B2 JP5716433 B2 JP 5716433B2
Authority
JP
Japan
Prior art keywords
recognition
information
posture
recognition target
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011024352A
Other languages
Japanese (ja)
Other versions
JP2012163450A (en
Inventor
健太郎 溝内
健太郎 溝内
俊寛 林
俊寛 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2011024352A priority Critical patent/JP5716433B2/en
Publication of JP2012163450A publication Critical patent/JP2012163450A/en
Application granted granted Critical
Publication of JP5716433B2 publication Critical patent/JP5716433B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、任意の認識対象物の位置および姿勢を認識可能な形状認識装置、形状認識方法、および、そのプログラムに関する。   The present invention relates to a shape recognition apparatus, a shape recognition method, and a program for recognizing the position and orientation of an arbitrary recognition object.

規則的に載置された複数の認識対象物を自律的に認識し、その認識した認識対象物を産業用のロボットに１つずつピッキング処理させるピッキングシステムが普及している。また、近年では、認識対象物が規則的に載置されていない場合であっても、認識対象物の位置や姿勢を特定し、その位置や姿勢に合わせて認識対象物をピッキングすることができるようになってきた。   A picking system that autonomously recognizes a plurality of regularly placed recognition objects and picks up the recognized recognition objects one by one by an industrial robot has become widespread. Further, in recent years, even when the recognition target object is not regularly placed, it is possible to specify the position and orientation of the recognition target object and pick the recognition target object according to the position and orientation. It has become like this.

例えば、特定の形状（円柱形状や円錐形状）の３次元モデルを予め保持し、２次元カメラによる任意の投影像から３次元モデルに相当する認識対象物の画像特徴（特徴量）を抽出すると共に、保持していた３次元モデルの３次元位置および姿勢を修正し、その認識対象物と３次元モデルとの特徴量を比較して、一致する程度を判定する技術が公開されている（例えば、特許文献１）。また、投影像の明度を変換し特定色相を強調した画像から画像特徴を抽出し特徴量とする技術（例えば、特許文献２）や、スリット光を認識対象物に照射し、スリット光の投影パターンに基づいて輪郭線を抽出して特徴量とする技術（例えば、特許文献３）、円柱形状部を有する物体の輪郭に相当する平行な１対の線分を抽出して特徴量とする技術（例えば、特許文献４）も知られている。   For example, a three-dimensional model having a specific shape (cylindrical shape or conical shape) is stored in advance, and an image feature (feature amount) of a recognition target corresponding to the three-dimensional model is extracted from an arbitrary projection image by a two-dimensional camera. A technique is disclosed that corrects the three-dimensional position and orientation of the held three-dimensional model, compares the feature quantities of the recognition object and the three-dimensional model, and determines the degree of matching (for example, Patent Document 1). In addition, a technique (for example, Patent Document 2) that extracts image features from an image in which the brightness of a projected image is converted and emphasizes a specific hue to obtain a feature amount, or a slit light projection pattern by irradiating a recognition object with slit light. A technique for extracting a contour line based on the above and making it a feature quantity (for example, Patent Document 3), and a technique for extracting a pair of parallel line segments corresponding to the outline of an object having a cylindrical shape part and making it a feature quantity ( For example, Patent Document 4) is also known.

また、認識対象物の表面にスリット光を投影し、そのスリット像との２次元空間周波数スペクトルと、既知の標準物体の２次元空間周波数スペクトルとの類似度によって認識対象物体の形状を認識する技術も開示されている（例えば、特許文献５）。   Also, a technique for projecting slit light onto the surface of the recognition object and recognizing the shape of the recognition object based on the similarity between the two-dimensional spatial frequency spectrum of the slit image and the two-dimensional spatial frequency spectrum of a known standard object Is also disclosed (for example, Patent Document 5).

特開平０９−１７８４２６号公報JP 09-178426 A 特開平１１−０５１６１１号公報JP 11-051611 A 特開平１０−１６０４６４号公報JP-A-10-160464 特開平０１−０７８１０６号公報Japanese Patent Laid-Open No. 01-0708106 特開昭６０−１９１３７３号公報JP-A-60-191373

しかし、上述した特許文献１〜５に基づく技術は、認識対象物の形状が、円柱形状や円錐形状といった非常に単純な形状に限定されている。したがって、特許文献１〜５に基づく技術では、認識対象物が丸みを帯びた形状ではなかったり、明確な直線やエッジを持たない場合や、その表面に凹凸が形成されている場合には、認識対象物を的確に認識することができなかった。   However, in the techniques based on Patent Documents 1 to 5 described above, the shape of the recognition object is limited to a very simple shape such as a cylindrical shape or a conical shape. Therefore, in the techniques based on Patent Documents 1 to 5, if the recognition target object is not rounded, has no clear straight line or edge, or has irregularities formed on its surface, The object could not be recognized accurately.

ピッキングシステムにおける形状認識では、上述した単純な形状に限らず、様々な形状の認識対象物を認識できることが望まれる。このような様々な形状を画一的に捉えるため、本願発明者は、例えば、認識対象物の形状の偏りにより生じる長手軸によって形状を特徴付けることを試みた。   The shape recognition in the picking system is not limited to the simple shape described above, and it is desired that recognition objects of various shapes can be recognized. In order to grasp such various shapes uniformly, the inventor of the present application tried to characterize the shape by a longitudinal axis caused by, for example, deviation of the shape of the recognition object.

しかし、長手軸を有する認識対象物とその３次元モデルとは、パターンマッチングが収束する収束点（認識対象物と３次元モデルとの一致度が最大となる点）として、長手軸が等しいが互いに対称的に配される２つの姿勢があり、そのうちの正しい姿勢にパターンマッチングが収束すれば、的確な認識結果を得ることができるが、誤った姿勢にパターンマッチングが収束すると、認識対象物と３次元モデルとが同一であるにも拘わらず異なっていると誤判定されたり、同一と見なせる閾値に到達せず、無駄に処理時間を費やしてしまうおそれがある。   However, the recognition object having the longitudinal axis and the three-dimensional model thereof have the same longitudinal axis as the convergence point where the pattern matching converges (the point where the degree of coincidence between the recognition object and the three-dimensional model is maximized). There are two postures arranged symmetrically, and if the pattern matching converges to the correct one of them, an accurate recognition result can be obtained, but if the pattern matching converges to the wrong posture, the recognition object 3 Although the dimensional model is the same, it may be erroneously determined to be different, or the threshold that can be regarded as the same will not be reached, and processing time may be wasted.

本発明は、このような課題に鑑み、単純な形状に限らず認識対象物を的確に抽出可能な形状認識装置、形状認識方法、および、そのプログラムを提供することを目的としている。   In view of such problems, the present invention has an object to provide a shape recognition device, a shape recognition method, and a program thereof that can accurately extract not only a simple shape but also a recognition object.

上記課題を解決するために、本発明の形状認識装置は、長手軸を有する３次元モデルを示す３次元モデル情報を保持するモデル保持部と、認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルを長手軸に沿って対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部とを備えることを特徴とする。 In order to solve the above-described problem, a shape recognition apparatus according to the present invention includes a model holding unit that holds three-dimensional model information indicating a three-dimensional model having a longitudinal axis, and recognition target information that indicates a three-dimensional shape of a recognition target. Posture candidate information indicating two posture candidates in which the recognition target object or the three-dimensional model is symmetrically arranged along the longitudinal axis based on the recognition target information acquisition unit to be acquired, the recognition target information, and the three-dimensional model information. The position and orientation of the recognition target object based on the posture candidate information generation unit to be generated and the posture candidate information and three-dimensional model information of the recognition target object, or based on the recognition target information and the posture candidate information of the three-dimensional model. A recognition object specifying unit for specifying

形状認識装置は、認識対象情報と３次元モデル情報とに基づいて、認識対象物の１または複数の軸を特定する軸特定部をさらに備え、姿勢候補情報生成部は、軸特定部で特定された１または複数の軸毎に２つの姿勢候補を示す姿勢候補情報を生成してもよい。   The shape recognition device further includes an axis specifying unit that specifies one or more axes of the recognition target based on the recognition target information and the three-dimensional model information, and the posture candidate information generation unit is specified by the axis specifying unit. Alternatively, posture candidate information indicating two posture candidates for one or more axes may be generated.

上記課題を解決するために、本発明の他の形状認識装置は、１または複数の回転角度において、回転前と回転後の形状が高い一致度を得る複数の軸を有する３次元モデルを示す３次元モデル情報を保持するモデル保持部と、認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルの軸同士が成す角の角度分回転した軸と同数の姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部とを備えることを特徴とする。 In order to solve the above problems, another shape recognition apparatus of the present invention shows a three-dimensional model having a plurality of axes that obtain a high degree of coincidence between shapes before and after rotation at one or more rotation angles. Based on the recognition target information or the three-dimensional model information based on the recognition target information and the three-dimensional model information, the model holding unit that holds the three-dimensional model information, the recognition target information acquisition unit that acquires the recognition target information indicating the three-dimensional shape of the recognition target object, Based on the posture candidate information generation unit that generates posture candidate information indicating the same number of posture candidates as the number of axes rotated by the angle formed by the axes of the three-dimensional model, the posture candidate information of the recognition object, and the three-dimensional model information Or a recognition object specifying unit that specifies the position and orientation of the recognition object based on the recognition object information and the attitude candidate information of the three-dimensional model.

形状認識装置は、認識対象情報と３次元モデル情報とに基づいて、認識対象物の１または複数の形状認識装置は、軸を特定する軸特定部をさらに備え、姿勢候補情報生成部は、軸特定部で特定された１または複数の軸に沿って軸と同数の姿勢候補を示す姿勢候補情報を生成してもよい。   The shape recognition device includes one or more shape recognition devices for the recognition target based on the recognition target information and the three-dimensional model information, and further includes an axis specifying unit for specifying an axis. Posture candidate information indicating the same number of posture candidates as the number of axes may be generated along one or a plurality of axes specified by the specifying unit.

認識対象物特定部はＩＣＰを用いて認識対象物の位置および姿勢を特定してもよい。   The recognition target specifying unit may specify the position and orientation of the recognition target using ICP.

上記課題を解決するために、本発明の形状認識方法は、長手軸を有する３次元モデルを示す３次元モデル情報を予め保持し、認識対象物の３次元形状を示す認識対象情報を取得し、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルを長手軸に沿って対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成し、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定することを特徴とする。 In order to solve the above-mentioned problem, the shape recognition method of the present invention previously holds 3D model information indicating a 3D model having a longitudinal axis, acquires recognition object information indicating the 3D shape of the recognition object, Based on the recognition target information and the three-dimensional model information, posture candidate information indicating two posture candidates in which the recognition target object or the three-dimensional model is symmetrically arranged along the longitudinal axis is generated, and the posture candidate of the recognition target object The position and orientation of the recognition target are specified based on the information and the three-dimensional model information, or based on the recognition target information and the posture candidate information of the three-dimensional model.

上記課題を解決するために、本発明の他の形状認識方法は、１または複数回転角度において、回転前と回転後の形状が高い一致度を得る複数の軸を有する３次元モデルを示す３次元モデル情報を予め保持し、認識対象物の３次元形状を示す認識対象情報を取得し、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルの軸同士が成す角の角度分回転した軸と同数の姿勢候補を示す姿勢候補情報を生成し、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定することを特徴とする。 In order to solve the above-mentioned problem, another shape recognition method of the present invention is a three-dimensional model showing a three-dimensional model having a plurality of axes that obtain a high degree of coincidence between shapes before and after rotation at one or a plurality of rotation angles. The model information is held in advance, the recognition target information indicating the three-dimensional shape of the recognition target object is acquired, and the angle formed by the axes of the recognition target object or the three-dimensional model is determined based on the recognition target information and the three-dimensional model information . Posture candidate information indicating the same number of posture candidates as the number of axes rotated by an angle is generated, and based on the posture candidate information of the recognition target and the three-dimensional model information, or the recognition target information and the posture candidate information of the three-dimensional model Based on the above, the position and orientation of the recognition object are specified.

上記課題を解決するために、コンピュータを、認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と、長手軸を有する３次元モデルを示す３次元モデル情報とに基づいて、認識対象物または３次元モデルを長手軸に沿って対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部として機能させるためのプログラムが提供される。 In order to solve the above problem, a computer uses a recognition target information acquisition unit that acquires recognition target information indicating a three-dimensional shape of a recognition target object, a recognition target information, and a three-dimensional model indicating a three-dimensional model having a longitudinal axis. A posture candidate information generating unit that generates posture candidate information indicating two posture candidates in which a recognition object or a three-dimensional model is symmetrically arranged along the longitudinal axis based on the information, and posture candidate information of the recognition target And a program for functioning as a recognition target specifying unit for specifying the position and orientation of a recognition target based on the recognition target information and the three-dimensional model posture candidate information Is done.

また、上記課題を解決するために、コンピュータを、認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と、１または複数の回転角度において、回転前と回転後の形状が高い一致度を得る複数の軸を有する３次元モデルを示す３次元モデル情報とに基づいて、認識対象物または３次元モデルの軸同士が成す角の角度分回転した軸と同数の姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部として機能させるためのプログラムが提供される。 In order to solve the above problem, the computer is configured to recognize a recognition target information acquisition unit that acquires recognition target information indicating a three-dimensional shape of the recognition target object, recognition target information, and at one or a plurality of rotation angles. And the axis rotated by the angle of the angle formed by the axes of the recognition object or the three-dimensional model based on the three-dimensional model information indicating the three-dimensional model having a plurality of axes that obtain a high degree of coincidence with the shape after rotation Based on the posture candidate information generating unit that generates posture candidate information indicating the same number of posture candidates, and the posture candidate information and the three-dimensional model information of the recognition target object, or the recognition target information and the posture candidate information of the three-dimensional model and A program for functioning as a recognition object specifying unit that specifies the position and orientation of a recognition object based on the above is provided.

本発明によれば、単純な形状に限らず認識対象物を的確に抽出可能となる。   According to the present invention, not only a simple shape but also a recognition object can be accurately extracted.

ピッキングシステムの概略的な接続関係を示した説明図である。It is explanatory drawing which showed the rough connection relation of the picking system. ２段階のパターンマッチングの概要を説明するための説明図である。It is explanatory drawing for demonstrating the outline | summary of a two-stage pattern matching. 第１の実施形態における形状認識装置の概略的な構成を示した機能ブロック図であるIt is the functional block diagram which showed the schematic structure of the shape recognition apparatus in 1st Embodiment. 長手軸を有する３次元モデルを例示した説明図である。It is explanatory drawing which illustrated the three-dimensional model which has a longitudinal axis. 中央制御部の処理動作を説明するための説明図である。It is explanatory drawing for demonstrating the processing operation of a central control part. 形状認識方法の処理の流れを示したフローチャートである。It is the flowchart which showed the flow of the process of the shape recognition method. 認識対象物の特定処理を説明するための説明図である。It is explanatory drawing for demonstrating the identification process of a recognition target object. 第２の実施形態における形状認識装置の概略的な構成を示した機能ブロック図である。It is the functional block diagram which showed the schematic structure of the shape recognition apparatus in 2nd Embodiment. 回転を施す事で一致度が高くなる認識対象物を説明するための説明図である。It is explanatory drawing for demonstrating the recognition target object from which a matching degree becomes high by giving rotation.

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiments are merely examples for facilitating the understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.

（第１の実施形態：ピッキングシステム１００）
図１は、ピッキングシステム１００の概略的な接続関係を示した説明図である。ピッキングシステム１００は、３次元形状測定装置１１０と、形状認識装置１２０と、ロボット制御装置１３０と、ロボット１４０とを含んで構成される。 (First Embodiment: Picking System 100)
FIG. 1 is an explanatory diagram showing a schematic connection relationship of the picking system 100. The picking system 100 includes a three-dimensional shape measuring device 110, a shape recognition device 120, a robot control device 130, and a robot 140.

３次元形状測定装置１１０は、例えば、レーザースキャナ方式の３次元距離センサで構成され、不規則に積み上げられ乱雑に重なっている複数の認識対象物（ワーク）１１２の測定面（表面）における複数の検出点の３次元座標を検出する。具体的に、３次元形状測定装置１１０としての３次元距離センサは、測定面上の複数の検出点の、３次元形状測定装置１１０からの距離を示すＺ軸座標と、検出方向に垂直な面（ＸＹ平面）上におけるＸ、Ｙ軸座標とを合わせて３次元座標とし、複数の検出点すべての３次元座標を示す情報である認識対象情報を生成する。こうして生成された認識対象情報は、形状認識装置１２０に送信される。ここでは、認識対象情報として、認識対象物上の複数の検出点における３次元座標を送信しているが、かかる場合に限られず、認識対象物の３次元形状を表す様々な情報を送信することができる。また、３次元形状測定装置１１０として、３次元距離センサを挙げているが、３次元形状が把握可能な既存の様々なセンサを採用することが可能である。   The three-dimensional shape measuring apparatus 110 is composed of, for example, a laser scanner type three-dimensional distance sensor, and a plurality of recognition objects (workpieces) 112 on a measurement surface (surface) of a plurality of recognition objects (workpieces) 112 stacked irregularly. The three-dimensional coordinates of the detection point are detected. Specifically, the three-dimensional distance sensor as the three-dimensional shape measurement apparatus 110 includes a Z-axis coordinate indicating the distance from the three-dimensional shape measurement apparatus 110 of a plurality of detection points on the measurement surface and a surface perpendicular to the detection direction. The X and Y axis coordinates on the (XY plane) are combined to form three-dimensional coordinates, and recognition target information that is information indicating the three-dimensional coordinates of all of the plurality of detection points is generated. The recognition target information generated in this way is transmitted to the shape recognition device 120. Here, three-dimensional coordinates at a plurality of detection points on the recognition target object are transmitted as the recognition target information. However, the present invention is not limited to this, and various information representing the three-dimensional shape of the recognition target object is transmitted. Can do. Moreover, although the three-dimensional distance sensor is mentioned as the three-dimensional shape measuring apparatus 110, it is possible to employ | adopt various existing sensors which can grasp | ascertain a three-dimensional shape.

形状認識装置１２０は、３次元形状測定装置１１０から受信した認識対象情報に基づいて認識対象物１１２を抽出し、パターンマッチング等により、その認識対象物１１２が３次元モデル１２２で示される所望する認識対象物１１２であることを認識し、その認識対象物１１２の位置や姿勢を特定する。   The shape recognition device 120 extracts the recognition target object 112 based on the recognition target information received from the three-dimensional shape measurement device 110, and the recognition target 112 is indicated by the three-dimensional model 122 by pattern matching or the like. The object 112 is recognized and the position and orientation of the recognition object 112 are specified.

ロボット制御装置１３０は、そのようにして認識された１の認識対象物１１２の位置や姿勢を示す情報を形状認識装置１２０から受信して、ロボット１４０に認識対象物１１２をピッキングさせる制御指令を発する。ロボット１４０は、その制御指令を受けて、指示された１の認識対象物１１２を、吸着式バンド１４２を通じてピッキングする。このようなピッキングシステム１００によって、例えば、不規則に積み上げられた認識対象物１１２を所定の位置に整列させる作業を自動化することができる。   The robot control device 130 receives information indicating the position and orientation of the one recognition object 112 recognized as described above from the shape recognition device 120, and issues a control command for causing the robot 140 to pick the recognition object 112. . In response to the control command, the robot 140 picks the instructed one recognition object 112 through the suction band 142. With such a picking system 100, for example, it is possible to automate the work of aligning the recognition objects 112 stacked irregularly at a predetermined position.

このようなピッキングシステム１００における形状認識では、円柱形状や円錐形状といった単純な形状に限らず、様々な形状の認識対象物１１２を認識できることが望まれる。しかし、形状の異なるすべての認識対象物１１２を画一的に処理するのは困難である。そこで、本願発明者は、このような様々な形状を画一的に捉えるため、認識対象物１１２の形状の偏りにより生じる長手軸によって形状を特徴付け得ることに着目した。球体の様に完全に対称な認識対象物を除き、一般的な認識対象物１１２は長手軸（長手方向）を有する。長手軸は、形状が偏ることにより長手となった軸を言う。
Such shape recognition in the picking system 100 is not limited to a simple shape such as a cylindrical shape or a conical shape, and it is desired that recognition objects 112 having various shapes can be recognized. However, it is difficult to uniformly process all recognition objects 112 having different shapes. Therefore, the inventor of the present application has focused on the fact that the shape can be characterized by the longitudinal axis caused by the deviation of the shape of the recognition object 112 in order to capture such various shapes uniformly. A general recognition object 112 has a longitudinal axis (longitudinal direction) except for a recognition object that is completely symmetric like a sphere. The longitudinal axis refers to an axis that has become longer due to a deviation in shape .

しかし、長手軸を特定しても、その長手軸を有する認識対象物１１２が長手軸方向に対して完全に点対称（順方向と逆方向に向けた形状が完全に一致する）ではない場合は、順方向と逆方向の２つの異なる姿勢が存在し、その２つの姿勢候補のいずれが真の姿勢であるかは、やはりパターンマッチングの結果を待たなければ分からない。このように２つの姿勢候補が存在するのは、認識対象物１１２と３次元モデル１２２との長手軸が合っていると、それが誤った姿勢であってもパターンマッチングの一致度が高くなることに起因する。   However, even if the longitudinal axis is specified, the recognition object 112 having the longitudinal axis is not completely point-symmetric with respect to the longitudinal axis direction (the shapes directed in the forward direction and the reverse direction are completely coincident). There are two different postures in the forward direction and the backward direction, and which of the two posture candidates is the true posture is not known without waiting for the result of pattern matching. The two orientation candidates exist in this way. If the longitudinal axes of the recognition object 112 and the three-dimensional model 122 are matched, the matching degree of pattern matching is high even if the recognition subject 112 is in the wrong orientation. caused by.

ここで、パターンマッチングにおける、長手軸方向のマッチング誤差と、短手軸（長手軸に垂直な軸）方向のマッチング誤差がもたらす影響に着目すると、短手軸方向のマッチング誤差は、姿勢収束時にさほど大きな影響を与えないが、長手軸方向のマッチング誤差は大きく影響を与え、誤った収束点（姿勢）に一度収束し始めると、真の収束点に方向転換することができなくなる。したがって、パターンマッチングの初期値や収束方向によって、誤った姿勢にパターンマッチングが収束してしまうと、認識対象物１１２と３次元モデル１２２とが同一であるにも拘わらず異なっていると誤判定されたり、同一と見なせる閾値に到達せず、無駄に処理時間を費やしてしまうおそれがある。   Here, focusing on the effects of the matching error in the longitudinal axis direction and the matching error in the short axis direction (axis perpendicular to the longitudinal axis) in pattern matching, the matching error in the short axis direction is much less during posture convergence. Although there is no great influence, the matching error in the longitudinal axis direction has a great influence, and once it starts to converge to the wrong convergence point (posture), it cannot be changed to the true convergence point. Therefore, if the pattern matching converges in an incorrect posture depending on the initial value and the convergence direction of pattern matching, it is erroneously determined that the recognition target object 112 and the three-dimensional model 122 are different although they are the same. Or the threshold that can be regarded as identical may not be reached, and processing time may be wasted.

そこで、本願発明者は、認識対象物１１２と３次元モデル１２２とのパターンマッチングの収束点が複数想定される場合、認識対象物１１２または３次元モデル１２２に関し、収束し得る複数の姿勢候補を予め生成して、その複数の姿勢候補それぞれをパターンマッチングに用いることとした。   Therefore, when a plurality of pattern matching convergence points between the recognition target object 112 and the three-dimensional model 122 are assumed, the inventor of the present application relates a plurality of posture candidates that can be converged in advance with respect to the recognition target object 112 or the three-dimensional model 122. Each of the plurality of posture candidates is generated and used for pattern matching.

例えば、認識対象物１１２が長手軸を有する場合、一致度の高くなる極値点（収束点）は２つ存在することとなるので、形状認識装置１２０は、３次元形状測定装置１１０に取得された認識対象物１１２の姿勢そのものと、その認識対象物１１２を単純にＺ軸周りに１８０°回転した姿勢の２つの姿勢候補を準備し、認識対象物１１２の２つの姿勢候補と３次元モデル１２２とのパターンマッチングを実行して認識対象物１１２の位置および姿勢を特定する。あるいは、形状認識装置１２０は、３次元モデル１２２の姿勢と、３次元モデル１２２を単純に１８０°回転した姿勢の２つの姿勢候補を準備し、３次元モデル１２２の２つの姿勢候補と認識対象物１１２とのパターンマッチングを実行して認識対象物１１２の位置および姿勢を特定する。   For example, when the recognition object 112 has a longitudinal axis, there are two extreme points (convergence points) with high coincidence, so that the shape recognition device 120 is acquired by the three-dimensional shape measurement device 110. Two posture candidates, that is, the posture itself of the recognition target object 112 and a posture obtained by simply rotating the recognition target object 112 around the Z axis by 180 °, are prepared, and the two posture candidates of the recognition target object 112 and the three-dimensional model 122 are prepared. And the position and orientation of the recognition target object 112 are specified. Alternatively, the shape recognition apparatus 120 prepares two posture candidates, that is, the posture of the three-dimensional model 122 and a posture obtained by simply rotating the three-dimensional model 122 by 180 °, and the two posture candidates of the three-dimensional model 122 and the recognition target object. The pattern matching with 112 is executed to identify the position and orientation of the recognition object 112.

かかる構成により、パターンマッチングにおいて、２つの姿勢候補のうちの、少なくとも一方の姿勢候補が真の収束点に到達するので、他方の姿勢候補が収束不能や誤判定に陥ったとしても、そのことが結果に影響することなく、一方の姿勢候補により的確に認識対象物１１２の位置および姿勢を特定することが可能となる。   With this configuration, in pattern matching, at least one of the two posture candidates reaches the true convergence point, so even if the other posture candidate fails to converge or falls into an erroneous determination, Without affecting the result, the position and posture of the recognition target object 112 can be accurately specified by one posture candidate.

しかし、上述した、最初から２つの姿勢候補を準備するパターンマッチングにおいては、パターンマッチング全工程に亘り、姿勢候補とのパターンマッチングを並行して２回行わなければならないので、処理負荷が重くなってしまう。また、一部のマッチング手法では収束点探索の仕方が単純ではないため両候補とも誤った姿勢に収束することもある。そこで、本願発明者は、さらに、パターンマッチングを２段階に分けて処理負荷を軽減した。即ち、１段階目において、認識対象物１１２と３次元モデル１２２とのパターンマッチングの結果が収束し得る軸を特定し、特定した軸に対して互いに逆向きに揃えた２つの姿勢候補を生成し、２段階目において、その姿勢候補を用いてパターンマッチングを厳密に行う。ただし、軸を有する３次元モデルが長手軸の方向に完全に対称である場合は、２つの候補姿勢（順方向、逆方向）のどちらも真であるため、候補姿勢を作る必要はない。   However, in the above-described pattern matching for preparing two posture candidates from the beginning, the pattern matching with the posture candidates must be performed twice in parallel over the entire pattern matching process, which increases the processing load. End up. In addition, in some matching methods, the method of searching for a convergence point is not simple, so both candidates may converge to an incorrect posture. Therefore, the present inventor further reduced the processing load by dividing pattern matching into two stages. That is, in the first stage, an axis on which the result of pattern matching between the recognition object 112 and the three-dimensional model 122 can converge is specified, and two orientation candidates aligned in opposite directions with respect to the specified axis are generated. In the second stage, pattern matching is strictly performed using the posture candidates. However, when the three-dimensional model having an axis is completely symmetric in the direction of the longitudinal axis, it is not necessary to create a candidate posture because both of the two candidate postures (forward direction and reverse direction) are true.

図２は、２段階のパターンマッチングの概要を説明するための説明図である。例えば、図２（ａ）のように、長手軸を有する「鍵」をイメージした認識対象物１１２と３次元モデル１２２とがあるとする。ここでは、理解を容易にするため、認識対象物１１２の長手軸が、３次元モデル１２２の長手軸を図２（ａ）中時計回りに２７０°回転した状態となっており、長手軸回りのスピン角度は考慮しないものとする。パターンマッチングでは、まず、３次元モデル１２２を基準として、両者の一致度が高くなる方向（図２（ｂ）中一致度の軌跡に沿った矢印で示す。）に、認識対象物１１２を回転する。そして、一致度が極値に落ち着くと、その点をパターンマッチングの収束点としている。   FIG. 2 is an explanatory diagram for explaining an outline of two-stage pattern matching. For example, as shown in FIG. 2A, it is assumed that there is a recognition object 112 and a three-dimensional model 122 in the image of a “key” having a longitudinal axis. Here, in order to facilitate understanding, the longitudinal axis of the recognition object 112 is in a state in which the longitudinal axis of the three-dimensional model 122 is rotated 270 ° clockwise in FIG. The spin angle is not considered. In the pattern matching, first, the recognition target object 112 is rotated in a direction (indicated by an arrow along the locus of coincidence in FIG. 2B) in which the degree of coincidence of both increases with the three-dimensional model 122 as a reference. . When the degree of coincidence settles to an extreme value, that point is used as a convergence point for pattern matching.

このとき、パターンマッチングの初期値が、図２（ｂ）における認識対象物１１２の回転角度が１８０°以上に相当する姿勢であれば、３次元モデル１２２と一致する正しい姿勢（２７０°）にパターンマッチングが収束し、的確な認識結果を得ることができる。しかし、パターンマッチングの初期値が、認識対象物１１２の回転角度が１８０°未満に相当する姿勢であれば、誤った姿勢（９０°）にパターンマッチングが収束することとなってしまう。   At this time, if the initial value of the pattern matching is an attitude corresponding to the rotation angle of the recognition target object 112 in FIG. 2B equal to or greater than 180 °, the pattern has a correct attitude (270 °) matching the three-dimensional model 122. Matching converges and an accurate recognition result can be obtained. However, if the initial value of pattern matching is a posture corresponding to the rotation angle of the recognition target object 112 being less than 180 °, the pattern matching will converge to an incorrect posture (90 °).

ここでは、正しい姿勢（２７０°）と誤った姿勢（９０°）のいずれに収束するかは不明であるが、正しい姿勢（２７０°）と誤った姿勢（９０°）とが互いに１８０°回転した姿勢であることは推測することができる。したがって、１段階目において、パターンマッチングが収束すると予想される軸を抽出し、２段階目において、その抽出した軸に沿って対称的に配置された（１８０°回転した）２つの姿勢について厳密なパターンマッチングを行うことで、正しいマッチング姿勢を得る。   Here, it is unclear whether the correct posture (270 °) or the wrong posture (90 °) converges, but the correct posture (270 °) and the wrong posture (90 °) are rotated by 180 ° relative to each other. It can be inferred that it is a posture. Therefore, in the first stage, the axis where the pattern matching is expected to converge is extracted, and in the second stage, the two postures that are symmetrically arranged (rotated 180 °) along the extracted axis are strict. A correct matching posture is obtained by performing pattern matching.

例えば、図２（ｃ）に示すように、（１）認識対象物１１２を０°からＺ軸を中心に時計回りに回転し、その一致度が１つ目の極値（９０°）になる前の所定の閾値に達した時点で、一旦パターンマッチングを停止する。図２（ｃ）の例では、認識対象物１１２が８０°回転した時点で所定の閾値に達したとする。そして、８０°に回転した認識対象物１１２を２段階目の姿勢候補とすると共に、さらに１８０°回転した（２６０°回転した）認識対象物１１２も姿勢候補とする。続いて、（２）認識対象物１１２の２つの姿勢候補（８０°、２６０°）に基づいて、厳密なパターンマッチングを並行して行う。   For example, as shown in FIG. 2C, (1) the recognition object 112 is rotated clockwise from 0 ° around the Z axis, and the degree of coincidence becomes the first extreme value (90 °). When the previous predetermined threshold is reached, the pattern matching is once stopped. In the example of FIG. 2C, it is assumed that the predetermined threshold value is reached when the recognition target object 112 rotates by 80 °. The recognition target object 112 rotated by 80 ° is set as a second-stage posture candidate, and the recognition target object 112 rotated by 180 ° (rotated by 260 °) is also set as a posture candidate. Subsequently, (2) strict pattern matching is performed in parallel based on the two orientation candidates (80 °, 260 °) of the recognition target object 112.

すると、２つの姿勢候補は、それぞれ９０°と２７０°において極値を示すが、そのうち一致度が高い２７０°の姿勢が認識対象物１１２の真の姿勢であると判断される。ここでは、１つの長手軸に対して２つの姿勢候補があるので、そのいずれもパターンマッチングを行うことで、誤った姿勢にのみパターンマッチングが収束するのを回避している。   Then, the two posture candidates show extreme values at 90 ° and 270 °, respectively, and the posture of 270 ° having a high degree of coincidence is determined as the true posture of the recognition target object 112. Here, since there are two posture candidates for one longitudinal axis, pattern matching is avoided by converging pattern matching only in a wrong posture by performing pattern matching for both of them.

また、その２つの姿勢の関係、例えば、軸に沿って対称的な関係にあることは把握されているので、軸の特定に関しては、いずれか一方の姿勢の軸を用いればよく、そのときに厳密なパターンマッチングを要さない。即ち、１段階目では、厳密なパターンマッチング（極値探索）を行うまでもなく、緩い閾値で一方のみの軸を抽出すればよいこととなる。   In addition, since it is known that there is a relationship between the two postures, for example, a symmetrical relationship along the axis, the axis of one of the postures may be used for specifying the axis. Does not require strict pattern matching. That is, in the first stage, it is not necessary to perform strict pattern matching (extreme value search), and only one axis may be extracted with a gentle threshold.

ここでは、少なくとも一方の姿勢候補に関して、最適な収束点（極値）が導出されるので、他方の収束点を導出するまでもなく、パターンマッチングが完了する。したがって、認識対象物１１２の位置と姿勢とが的確に導出される。また、軸を抽出するまでのパターンマッチングを２つの極値それぞれについて実行せず、いずれか一方でのみ行うので、処理負荷の軽減を図ることができる。以上が本実施形態のパターンマッチングの概要である。以下では、軸を有する認識対象物１１２を的確に抽出可能な形状認識装置１２０の具体的な構成を示し、その後、具体的な処理の流れ（形状認識方法）を詳述する。   Here, since the optimum convergence point (extreme value) is derived for at least one posture candidate, the pattern matching is completed without deriving the other convergence point. Therefore, the position and orientation of the recognition object 112 are accurately derived. Further, since the pattern matching until the axis is extracted is not executed for each of the two extreme values, but only one of them is performed, the processing load can be reduced. The above is the outline of the pattern matching of this embodiment. Below, the specific structure of the shape recognition apparatus 120 which can extract the recognition target object 112 which has an axis | shaft exactly is shown, and the flow of a specific process (shape recognition method) is explained in full detail after that.

（形状認識装置１２０）
図３は、形状認識装置１２０の概略的な構成を示した機能ブロック図である。形状認識装置１２０は、モデル保持部２１０と、データバッファ２１２と、中央制御部２１４とを含んで構成される。形状認識装置１２０は、認識対象物１１２の１または複数の軸に対して、軸毎に２つの姿勢候補を生成するが、ここでは、理解を容易にするため、１軸（長手軸）に対する２つの姿勢を挙げて説明する。しかし、１軸に限定されないことは言うまでもない。 (Shape recognition device 120)
FIG. 3 is a functional block diagram illustrating a schematic configuration of the shape recognition device 120. The shape recognition apparatus 120 includes a model holding unit 210, a data buffer 212, and a central control unit 214. The shape recognition apparatus 120 generates two posture candidates for each axis with respect to one or a plurality of axes of the recognition target object 112. Here, in order to facilitate understanding, the shape recognition apparatus 120 has two axes for one axis (longitudinal axis). Explain with one attitude. However, it goes without saying that it is not limited to one axis.

モデル保持部２１０は、ＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ(Hard Disk Drive)等で構成され、認識対象物１１２に対応する３次元モデル１２２、特に長手軸を有する３次元モデル１２２を示す３次元モデル情報を保持する。   The model holding unit 210 includes a ROM, a nonvolatile RAM, a flash memory, an HDD (Hard Disk Drive), and the like, and is a 3D model 122 corresponding to the recognition target object 112, particularly a 3D model 122 having a longitudinal axis. Holds dimensional model information.

図４は、長手軸を有する３次元モデルを例示した説明図である。例えば、図４（ａ）は円柱形状、図４（ｂ）はコーン形状、図４（ｃ）は径の異なる円柱を結合した形状、図４（ｄ）は直方体形状、図４（ｅ）は、斜柱体形状を示し、いずれも形状が偏ることにより図４中、上下方向に長手軸２５０を有することが共通している。また、他にも、建築物の柱、ポスト、電話ブース、電柱等、長手軸２５０を有する様々な認識対象物１１２を想定している。   FIG. 4 is an explanatory diagram illustrating a three-dimensional model having a longitudinal axis. For example, FIG. 4 (a) is a cylindrical shape, FIG. 4 (b) is a cone shape, FIG. 4 (c) is a shape combining cylinders with different diameters, FIG. 4 (d) is a rectangular parallelepiped shape, and FIG. 4 shows a shape of a slanted column, and in both cases, it is common to have a longitudinal axis 250 in the vertical direction in FIG. In addition, various recognition objects 112 having a longitudinal axis 250 such as a building pillar, a post, a telephone booth, and a utility pole are assumed.

データバッファ２１２は、ＳＲＡＭ、ＤＲＡＭ等で構成され、３次元形状測定装置１１０から受信した認識対象情報を一時的に保持する。   The data buffer 212 is configured by SRAM, DRAM, or the like, and temporarily holds recognition target information received from the three-dimensional shape measuring apparatus 110.

中央制御部２１４は、中央処理装置（ＣＰＵ）や信号処理装置（ＤＳＰ：Digital Signal Processor）、プログラム等が格納されたＲＯＭやメモリ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、形状認識装置１２０全体を管理および制御する。また、本実施形態において、中央制御部２１４は、認識対象情報取得部２３０と、軸特定部２３２と、姿勢候補情報生成部２３４と、認識対象物特定部２３６としても機能する。   The central control unit 214 includes a central processing unit (CPU), a signal processing unit (DSP: Digital Signal Processor), a ROM and a memory storing programs, a semiconductor integrated circuit including a RAM as a work area, and the like. Manage and control the entire 120. In the present embodiment, the central control unit 214 also functions as the recognition target information acquisition unit 230, the axis specification unit 232, the posture candidate information generation unit 234, and the recognition target object specification unit 236.

認識対象情報取得部２３０は、３次元形状測定装置１１０から任意の認識対象物１１２の３次元形状を示す認識対象情報を取得し、データバッファ２１２に保持させる。   The recognition target information acquisition unit 230 acquires recognition target information indicating the three-dimensional shape of an arbitrary recognition target object 112 from the three-dimensional shape measurement apparatus 110 and stores it in the data buffer 212.

軸特定部２３２は、認識対象情報と３次元モデル情報とに基づいて、認識対象物１１２の１または複数の軸を特定する。かかる軸特定部２３２による軸の特定は、図２（ｃ）を用いて説明した２段階のパターンマッチングの１段階目に当たる。したがって、軸特定部２３２は、認識対象物１１２と３次元モデル１２２との厳密なパターンマッチングを行わず、パターンマッチングが収束し得る軸のみを特定する。   The axis specifying unit 232 specifies one or more axes of the recognition target object 112 based on the recognition target information and the three-dimensional model information. The axis specification by the axis specifying unit 232 corresponds to the first stage of the two-stage pattern matching described with reference to FIG. Accordingly, the axis specifying unit 232 does not perform strict pattern matching between the recognition target object 112 and the three-dimensional model 122, and specifies only the axis on which pattern matching can converge.

ここで、軸特定部２３２は、認識対象物１１２と３次元モデル１２２とのパターンマッチング（軸特定）において、いずれか一方を基準とし、他方の位置や姿勢を変更することとなるが、いずれを基準とするかは限定されない。本実施形態では、３次元モデル１２２の方が認識対象物１１２より情報量が多いので、計算負荷を軽減すべく、３次元モデル１２２を基準として認識対象物１１２の位置や姿勢を変更することとする。   Here, in the pattern matching (axis specification) between the recognition target object 112 and the three-dimensional model 122, the axis specifying unit 232 changes the position and orientation of the other with reference to either one. It is not limited whether it is set as a standard. In the present embodiment, since the three-dimensional model 122 has more information than the recognition target object 112, the position and orientation of the recognition target object 112 are changed based on the three-dimensional model 122 in order to reduce the calculation load. To do.

尚、かかる軸特定には、ＩＣＰ（Iterative Closest Points）やＰＣＡ（Principal Component Analysis）等、様々な手法を用いることができるが、ここでは、その一例としてＩＣＰを用いる。ＩＣＰは、６自由度ある３次元モデル１２２の位置や姿勢を、認識対象物１１２と３次元モデル１２２とを特定するためのそれぞれの対応点間の距離の合計（ノルム）が閾値以下になるまで共役勾配法等を利用して反復的に更新する手法である。ＰＣＡは、入力されたデータが空間内でどのように主軸を有しているかを調べる手法（主軸成分解析）である。ＩＣＰは、例えば、ＰＣＡ等と異なり、認識対象物１１２と３次元モデル１２２との点群同士のマッチングを利用するので、認識対象物１１２が重なること等による認識対象物１１２の部分的な欠落に強いため、ロバスト性に優れ、比較的高精度に認識対象物１１２の位置や姿勢を特定することが可能となる。   For such axis identification, various methods such as ICP (Iterative Closest Points) and PCA (Principal Component Analysis) can be used. Here, ICP is used as an example. The ICP determines the position and orientation of the three-dimensional model 122 having six degrees of freedom until the total distance (norm) between corresponding points for identifying the recognition object 112 and the three-dimensional model 122 is equal to or less than a threshold value. This is a method of updating iteratively using a conjugate gradient method or the like. PCA is a method (principal component analysis) for examining how input data has a main axis in space. ICP uses, for example, matching between point groups of the recognition target object 112 and the three-dimensional model 122, unlike PCA and the like, so that the recognition target object 112 may be partially missing due to overlapping of the recognition target objects 112 or the like. Since it is strong, it is excellent in robustness, and the position and posture of the recognition target object 112 can be specified with relatively high accuracy.

軸特定部２３２は、図２（ｃ）を用いて説明したように、厳密なパターンマッチングを行わず、姿勢候補を生成するための大凡の軸を抽出することを目的としている。したがって、パターンマッチング手法としてＩＣＰを用いる場合、軸特定部２３２は、パターンマッチング完了の判断材料であるノルムに対する閾値を緩め、ある程度の一致度を得ることができれば、それ以上の認識対象物１１２の位置や姿勢の変更を止め、そのときの認識対象物１１２の位置や姿勢によって軸（ここでは長手軸）を特定する。   As described with reference to FIG. 2C, the axis specifying unit 232 is intended to extract an approximate axis for generating a posture candidate without performing strict pattern matching. Therefore, when using ICP as the pattern matching method, the axis specifying unit 232 loosens the threshold for the norm that is a material for determining the completion of pattern matching, and if a certain degree of coincidence can be obtained, the position of the recognition object 112 beyond that The axis (here, the longitudinal axis) is specified based on the position and orientation of the recognition object 112 at that time.

図５は、中央制御部２１４の処理動作を説明するための説明図である。例えば、図５（ａ）に示すように、軸特定部２３２は、認識対象物１１２の位置や姿勢を変更して、３次元モデル１２２とある程度の一致度を得ると、その認識対象物１１２の位置や姿勢によって長手軸２５０を特定する。また、図５（ｂ）のように、軸特定部２３２は、認識対象物１１２の位置や姿勢を変更し、収束した結果、認識対象物１１２の姿勢が誤った姿勢になったとしても、３次元モデル１２２とある程度の一致度を得ると、図５（ａ）同様、その認識対象物１１２の位置や姿勢によって長手軸２５０を特定する。軸特定部２３２は、正誤の姿勢に共通する長手軸２５０を特定することを目的としており、１段階目における、図５（ａ）と図５（ｂ）のような姿勢の正誤の影響は受けない。   FIG. 5 is an explanatory diagram for explaining the processing operation of the central control unit 214. For example, as illustrated in FIG. 5A, when the axis specifying unit 232 changes the position and orientation of the recognition target object 112 and obtains a certain degree of coincidence with the three-dimensional model 122, the recognition target object 112. The longitudinal axis 250 is specified by the position and orientation. Further, as illustrated in FIG. 5B, even if the axis specifying unit 232 changes the position and orientation of the recognition target object 112 and converges, as a result of the convergence, the recognition target object 112 has an incorrect posture. When a certain degree of coincidence with the dimensional model 122 is obtained, the longitudinal axis 250 is specified by the position and orientation of the recognition object 112 as in FIG. The axis specifying unit 232 is intended to specify the longitudinal axis 250 common to correct and incorrect postures, and is affected by the correctness of the postures as shown in FIGS. 5A and 5B in the first stage. Absent.

また、軸特定部２３２では、パターンマッチングの閾値が緩く設定されているので、形状の厳密な一致は問われず、仮に他の認識対象物１１２によって覆われ、認識対象物１１２の一部が認識されていない場合であっても容易に軸を特定することができる。   Further, in the axis specifying unit 232, since the pattern matching threshold is set to be loose, the exact matching of the shapes is not questioned, and it is temporarily covered by another recognition object 112, and a part of the recognition object 112 is recognized. Even if it is not, the axis can be easily specified.

姿勢候補情報生成部２３４は、認識対象情報と３次元モデル情報とに基づいて、認識対象物１１２または３次元モデル１２２の、特定された１または複数の軸毎に、軸に沿って対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する。ここでは、１の長手軸２５０に対して、極値が２つ存在することと、その２つの極値は、認識対象物１１２を対称的に配置した２つの姿勢で生じることが予め把握されている。したがって、姿勢候補情報生成部２３４は、特定された軸を用いて、極値に近い２つの姿勢候補を生成することができる。例えば、上述した図５（ａ）のように、認識対象物１１２の長手軸２５０を特定した場合、図５（ｃ）に示すように、その長手軸２５０に沿って、対称的な２つの認識対象物１１２ａ、１１２ｂを生成する。かかる２つの認識対象物１１２ａ、１１２ｂが姿勢候補となる。   The posture candidate information generation unit 234 symmetrically along the axis for each of one or more specified axes of the recognition target object 112 or the three-dimensional model 122 based on the recognition target information and the three-dimensional model information. Posture candidate information indicating the two placed posture candidates is generated. Here, it is understood in advance that there are two extreme values with respect to one longitudinal axis 250 and that the two extreme values occur in two postures in which the recognition object 112 is arranged symmetrically. Yes. Therefore, the posture candidate information generation unit 234 can generate two posture candidates close to extreme values using the specified axis. For example, when the longitudinal axis 250 of the recognition object 112 is specified as shown in FIG. 5A, two symmetrical recognitions are performed along the longitudinal axis 250 as shown in FIG. The objects 112a and 112b are generated. The two recognition objects 112a and 112b are posture candidates.

認識対象物特定部２３６は、姿勢候補情報生成部２３４が生成した、認識対象物１１２の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデル１２２の姿勢候補情報とに基づいて認識対象物１１２の厳密な位置および姿勢を特定する。このとき、姿勢候補を基準として３次元モデル１２２の姿勢候補を変位させた場合、３次元モデル１２２の移動量および回転量が認識対象物１１２の位置および姿勢となり、３次元モデル１２２を基準として認識対象物１１２の姿勢候補を変位させた場合、認識対象物１１２の移動量および回転量の符号を反転した量が認識対象物１１２の位置および姿勢となる。認識対象物特定部２３６で用いられるパターンマッチング手法も、様々なパターンマッチング手法を用いることが可能であるが、その一例としてＩＣＰを用いる。   The recognition target object specifying unit 236 is based on the posture candidate information and the three-dimensional model information of the recognition target object 112 generated by the posture candidate information generation unit 234, or the recognition target information and the posture candidate information of the three-dimensional model 122. Based on the above, the exact position and orientation of the recognition object 112 are specified. At this time, when the posture candidate of the three-dimensional model 122 is displaced with reference to the posture candidate, the movement amount and the rotation amount of the three-dimensional model 122 become the position and posture of the recognition target object 112, and the three-dimensional model 122 is recognized. When the posture candidate of the target object 112 is displaced, an amount obtained by reversing the signs of the movement amount and the rotation amount of the recognition target object 112 becomes the position and posture of the recognition target object 112. Various pattern matching methods can be used as the pattern matching method used in the recognition target specifying unit 236, and ICP is used as an example.

認識対象物特定部２３６は、例えば、認識対象物１１２の２つの姿勢候補それぞれと３次元モデルとを並行してパターンマッチングするため、少なくとも一方の姿勢候補に関しては長手方向の姿勢がほぼ一致した状態でパターンマッチングを開始でき、追加処理は短手軸方向の姿勢を収束させる処理のみとなる。したがって、図５（ｄ）に示したように、認識対象物１１２に重なりや計測の欠損が無い場合、少なくとも一方の姿勢候補（認識対象物１１２ａ）に関し、その極値が収束点と判定されるので、他方の姿勢候補（認識対象物１１２ｂ）の極値を判定するまでもなく、パターンマッチングが完了する。このとき他方の姿勢候補に関しては、一致度が所定の閾値以上にならないので、自動的に破棄される。したがって、認識対象物１１２の位置と姿勢とが的確に特定される。また、重なりや計測点の欠損がある場合は、より一致度の高いものを選び出す。   For example, the recognition target specifying unit 236 performs pattern matching on each of the two posture candidates of the recognition target object 112 in parallel with the three-dimensional model, so that the posture in the longitudinal direction is substantially the same for at least one posture candidate. Pattern matching can be started, and the only additional processing is to converge the posture in the short axis direction. Therefore, as shown in FIG. 5D, when there is no overlap or lack of measurement in the recognition object 112, the extreme value of at least one posture candidate (recognition object 112a) is determined as the convergence point. Therefore, the pattern matching is completed without determining the extreme value of the other posture candidate (recognition target object 112b). At this time, the other posture candidate is automatically discarded because the degree of coincidence does not exceed a predetermined threshold. Therefore, the position and orientation of the recognition target object 112 are accurately specified. If there are overlaps or missing measurement points, the one with the higher degree of matching is selected.

以上、説明した形状認識装置１２０では、対称的な２つの姿勢について並行してパターンマッチングを行うことにより、いずれか一方で正しい結果を得ることが可能となり、誤った姿勢にのみ収束することなく、的確に認識対象物１１２の位置や姿勢を特定することが可能となる。また、軸を特定するまでのパターンマッチングを２つの極値それぞれで行わず、いずれか一方でのみ行うので、処理負荷の軽減を図ることができる。   As described above, in the shape recognition device 120 described above, it is possible to obtain a correct result by performing pattern matching in parallel on two symmetric postures, without converging only on a wrong posture, It becomes possible to specify the position and orientation of the recognition object 112 accurately. Further, since the pattern matching until the axis is specified is not performed on each of the two extreme values, but only on one of them, the processing load can be reduced.

さらに、本実施形態では、パターンマッチング手法として、ＩＣＰを用いているので、直線や円形部がない様々な形状を有する認識対象物１１２に対しても位置や姿勢を特定できる。ＩＣＰでは、認識対象物１１２の一部が隠されていた場合においてもロバスト性が高いので有効な結果を得ることが可能となる。   Furthermore, in this embodiment, since ICP is used as the pattern matching method, the position and orientation can be specified even for the recognition target object 112 having various shapes without a straight line or a circular portion. In the ICP, even when a part of the recognition target object 112 is hidden, the robustness is high, so that an effective result can be obtained.

また、コンピュータによって形状認識装置１２０として機能するプログラムや、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。   In addition, a program that functions as the shape recognition device 120 by a computer and a storage medium that stores the program are also provided. Further, the program may be read from a storage medium and taken into a computer, or may be transmitted via a communication network and taken into a computer.

（形状認識方法）
また、形状認識装置１２０を用いた形状認識方法も提供される。以下、このような形状認識方法を詳細に説明する。図６は、形状認識方法の処理の流れを示したフローチャートである。特に、図６（ａ）は形状認識方法の全体的な処理の流れを、図６（ｂ）はＩＣＰに関するサブルーチンを示している。ここで、モデル保持部２１０は３次元モデル情報を予め保持している。 (Shape recognition method)
A shape recognition method using the shape recognition device 120 is also provided. Hereinafter, such a shape recognition method will be described in detail. FIG. 6 is a flowchart showing a processing flow of the shape recognition method. In particular, FIG. 6A shows the overall processing flow of the shape recognition method, and FIG. 6B shows a subroutine related to ICP. Here, the model holding unit 210 holds 3D model information in advance.

認識対象情報取得部２３０は、３次元形状測定装置１１０から、任意の認識対象物１１２の３次元形状を示す認識対象情報を取得する（Ｓ３００）。そして、軸特定部２３２は、認識対象情報と３次元モデル情報とに基づいて、ＩＣＰによるパターンマッチングを行い、緩い閾値によって認識対象物１１２の１または複数の軸（長手軸）を特定する（Ｓ３０２）。   The recognition target information acquisition unit 230 acquires recognition target information indicating the three-dimensional shape of an arbitrary recognition target object 112 from the three-dimensional shape measurement apparatus 110 (S300). Then, the axis specifying unit 232 performs pattern matching by ICP based on the recognition target information and the three-dimensional model information, and specifies one or a plurality of axes (longitudinal axes) of the recognition target object 112 based on a loose threshold value (S302). ).

図６（ｂ）を用いて軸特定部２３２によるＩＣＰの処理の流れを簡単に説明する。３次元形状測定装置１１０から取得された認識対象情報には、認識対象物１１２の測定面における配列された複数の検出点に関する３次元座標（３次元点群データ）が示されている。３次元点群データの点の数は、認識対象物１１２の大きさと、パターンマッチングの要求精度に応じて決定される。軸特定部２３２が参照するＩＣＰエンジンは、ＩＣＰの繰り返し処理を行う前に、このような認識対象情報中の３次元点群データに対し、床や支柱、コンテナ等の明らかな背景計測点があれば、それを除外する（Ｓ３５０）。   The flow of ICP processing by the axis specifying unit 232 will be briefly described with reference to FIG. In the recognition target information acquired from the three-dimensional shape measuring apparatus 110, three-dimensional coordinates (three-dimensional point group data) relating to a plurality of detection points arranged on the measurement surface of the recognition target object 112 are shown. The number of points in the three-dimensional point group data is determined according to the size of the recognition object 112 and the required accuracy of pattern matching. The ICP engine referred to by the axis specifying unit 232 has an obvious background measurement point such as a floor, a support column, and a container for the three-dimensional point cloud data in the recognition target information before performing the ICP repetition process. It is excluded (S350).

ＩＣＰエンジンは、初期姿勢を用意し、それに回転や並行移動変換などの姿勢変更処理を施す（Ｓ３５２）。姿勢変更処理は認識対象物１１２に対して施すことも可能であるし、３次元モデル１２２側に対して施すことも可能である。例えば、点数の少ないほうを動かして、計算処理を少なくしてもよい。続いて、姿勢変更処理後の認識対象物１１２と３次元モデル１２２との間でそれぞれ対応する点を求め（Ｓ３５４：ペアリング）、対応点間の距離合計（ノルム）を計算する（Ｓ３５６）。このノルムが小さいほうが形状の一致度合いが高いといえる。一致度合いが高かった姿勢を取り出し（Ｓ３５８）、一致度が閾値以下（ノルムが閾値以上）の間（Ｓ３６０におけるＮＯ）、それを初期姿勢に置き換えて、上記処理を繰り返す。このように、一致度が閾値を超える（ノルムが閾値以下になる）まで（Ｓ３６０におけるＹＥＳ）共役勾配法等を利用して反復的に更新し、パターンマッチングを遂行する。ノルムの取り方（メトリック）としては、例えば、Ｌ１ノルムやＬ２ノルム等があり、用途に応じて適した取り方を採用する。こうして導出された位置および姿勢は、最終的に、形状認識装置１２０の座標系からロボット１４０の座標系に変換される。   The ICP engine prepares an initial posture and performs posture change processing such as rotation and parallel movement conversion on the initial posture (S352). The posture changing process can be performed on the recognition target object 112 or can be performed on the three-dimensional model 122 side. For example, the calculation processing may be reduced by moving the one with the smaller number of points. Subsequently, corresponding points between the recognition target object 112 after the posture change process and the three-dimensional model 122 are obtained (S354: pairing), and a total distance (norm) between the corresponding points is calculated (S356). It can be said that the smaller the norm, the higher the degree of coincidence of shapes. A posture with a high degree of coincidence is extracted (S358). While the degree of coincidence is less than or equal to a threshold value (norm is greater than or equal to a threshold value) (NO in S360), it is replaced with an initial posture and the above process is repeated. As described above, pattern matching is performed by repetitively updating using the conjugate gradient method or the like until the degree of coincidence exceeds the threshold (norm becomes equal to or less than the threshold) (YES in S360). For example, there are L1 norm and L2 norm as the norm taking method (metric), and the taking method suitable for the application is adopted. The position and orientation thus derived are finally converted from the coordinate system of the shape recognition device 120 to the coordinate system of the robot 140.

このような軸特定部２３２によるＩＣＰを用いた、パターンマッチング（軸特定）では、おおよその軸方向さえ特定すればよいので、パターンマッチングを終了する閾値を緩く設定することができる。例えば、軸を３０度ずらした時に得られる一致度を閾値として設定しても、正しい動作を望む事ができる。また、軸特定部２３２では、認識対象物１１２が他の認識対象物１１２によって覆われ、認識対象物１１２の一部が認識されていない場合であっても軸を特定することができる。   In pattern matching (axis specification) using such an ICP by the axis specifying unit 232, it is only necessary to specify an approximate axial direction, so that a threshold value for ending pattern matching can be set loosely. For example, even if the degree of coincidence obtained when the axis is shifted by 30 degrees is set as a threshold value, a correct operation can be desired. Further, the axis specifying unit 232 can specify the axis even when the recognition target object 112 is covered with another recognition target object 112 and a part of the recognition target object 112 is not recognized.

図７は、認識対象物１１２の特定処理を説明するための説明図である。ＩＰＣでは、３次元モデル１２２の長手軸が短手軸の２倍以上の長さであれば、長手軸の５０％以下が隠れていても短手軸と誤認されることはない。したがって、図７のように認識対象物１１２ｃが他の認識対象物１１２ｄ、１１２ｅに覆われていても、長手軸を有する２つの領域（図中、領域１と領域２）を認識することができる。ここでは、２つの領域が一時的に独立して把握されるが、その２つの領域にパターンマッチングする３次元モデル１２２が同一となるので、結果的に１つの３次元モデル１２２を通じて２つの領域が同一の認識対象物１１２ｃの部位であると判定される。このように、ＩＣＰを用いることで、認識対象物１１２が傾いている場合、重なり合っている場合、異物が混入した場合であっても安定して認識対象物１１２を抽出することが可能となる。   FIG. 7 is an explanatory diagram for explaining the identification process of the recognition target object 112. In IPC, if the longitudinal axis of the three-dimensional model 122 is at least twice as long as the short axis, even if 50% or less of the long axis is hidden, it is not mistaken for the short axis. Therefore, even if the recognition target object 112c is covered with other recognition target objects 112d and 112e as shown in FIG. 7, it is possible to recognize two regions (region 1 and region 2 in the figure) having a longitudinal axis. . Here, two regions are temporarily grasped independently. However, since the three-dimensional model 122 pattern-matching to the two regions is the same, as a result, two regions are obtained through one three-dimensional model 122. It is determined that the part is the same recognition target 112c. As described above, by using the ICP, the recognition target object 112 can be stably extracted even when the recognition target object 112 is inclined, overlapped, or foreign matter is mixed.

姿勢候補情報生成部２３４は、認識対象情報と３次元モデル情報とに基づいて、認識対象物１１２または３次元モデル１２２の、軸特定部２３２で導出された軸毎に、軸に沿って対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する（Ｓ３０４）。   The posture candidate information generation unit 234 is symmetrical along the axis for each axis derived by the axis specifying unit 232 of the recognition target object 112 or the three-dimensional model 122 based on the recognition target information and the three-dimensional model information. Posture candidate information indicating the two posture candidates arranged in the position is generated (S304).

認識対象物特定部２３６は、認識対象物１１２の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデル１２２の姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する（Ｓ３０６）。認識対象物特定部２３６においても、パターンマッチングとしてＩＣＰを用いることができる。ＩＣＰに関しては図６（ｂ）を用いて既に説明したので、ここでは、その詳細な説明を省略する。ただし、認識対象物特定部２３６では、厳密なパターンマッチングを目的としているので、ノルムの閾値も厳しく、一致度が最大値に収束したところ（極値）でパターンマッチングの成否を判断する。かかる極値から、２つの姿勢候補のうちいずれの一致度が高いか、または、一致度が所定の閾値に至らず、認識対象物１１２と３次元モデル１２２とは異なると判断される。   The recognition target specifying unit 236 determines the position of the recognition target based on the posture candidate information and the three-dimensional model information of the recognition target 112 or based on the recognition target information and the posture candidate information of the three-dimensional model 122. The posture is specified (S306). The recognition target specifying unit 236 can also use ICP as pattern matching. Since ICP has already been described with reference to FIG. 6B, detailed description thereof is omitted here. However, since the recognition object specifying unit 236 aims at strict pattern matching, the norm threshold is also strict, and the success or failure of pattern matching is determined when the degree of coincidence converges to the maximum value (extreme value). From these extreme values, it is determined which of the two posture candidates has a high degree of coincidence, or the degree of coincidence does not reach a predetermined threshold value, so that the recognition object 112 and the three-dimensional model 122 are different.

このような形状認識方法においても、対称的な２つの姿勢に対して並行してパターンマッチングを行うことにより、いずれか一方で正しい結果を得ることが可能となり、誤った姿勢にのみ収束することなく、的確に認識対象物１１２の位置や姿勢を特定することが可能となる。また、軸を特定するまでのパターンマッチングを２つの極値それぞれで行わず、いずれか一方でのみ行うので、処理負荷の軽減を図ることができる。   Even in such a shape recognition method, by performing pattern matching in parallel on two symmetric postures, it becomes possible to obtain a correct result on either side, without converging only on a wrong posture. It becomes possible to accurately identify the position and orientation of the recognition object 112. Further, since the pattern matching until the axis is specified is not performed on each of the two extreme values, but only on one of them, the processing load can be reduced.

（第２の実施形態：形状認識装置４２０）
第１の実施形態では、軸特定部２３２が認識対象物１１２の１または複数の軸を特定し、その軸に沿って対称的に配置された２つの姿勢候補に基づいて、認識対象物特定部２３６が認識対象物１１２の位置と姿勢とを特定していた。しかし、認識対象物１１２における複数の軸が、軸同士が成す角を等しくしている場合、１つの軸に対して２つの姿勢を生成しても、長手軸のように２つの姿勢のいずれも一致度が高くなることはなく、２つの姿勢の生成の必要性に乏しい。その代わり、軸を合わせるように認識対象物１１２を適宜回転すると、やはり一致度が高くなる。したがって、第２の実施形態では、２つの姿勢を生成する代わりに、複数の軸を合わせるように回転した姿勢を生成する例を述べる。 (Second Embodiment: Shape Recognition Device 420)
In the first embodiment, the axis specifying unit 232 specifies one or more axes of the recognition target object 112, and based on two posture candidates arranged symmetrically along the axis, the recognition target specifying unit 236 specifies the position and orientation of the recognition object 112. However, when a plurality of axes in the recognition object 112 have the same angle formed by the axes, even if two attitudes are generated for one axis, both of the two attitudes like the longitudinal axis are generated. The degree of coincidence does not increase, and the necessity for generating two postures is poor. Instead, when the recognition object 112 is appropriately rotated so that the axes are aligned, the degree of coincidence is also increased. Therefore, in the second embodiment, instead of generating two postures, an example of generating a posture rotated so as to align a plurality of axes will be described.

図８は、第２の実施形態における形状認識装置４２０の概略的な構成を示した機能ブロック図である。形状認識装置４２０は、モデル保持部２１０と、データバッファ２１２と、中央制御部４１４とを含んで構成され、中央制御部４１４は、認識対象情報取得部２３０と、軸特定部２３２と、姿勢候補情報生成部４３４と、認識対象物特定部４３６としても機能する。第１の実施形態における構成要素として既に述べたモデル保持部２１０と、データバッファ２１２と、認識対象情報取得部２３０、軸特定部２３２とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する、中央制御部４１４の姿勢候補情報生成部４３４および認識対象物特定部４３６を主に説明する。   FIG. 8 is a functional block diagram illustrating a schematic configuration of the shape recognition device 420 according to the second embodiment. The shape recognition apparatus 420 includes a model holding unit 210, a data buffer 212, and a central control unit 414. The central control unit 414 includes a recognition target information acquisition unit 230, an axis specifying unit 232, and posture candidates. It also functions as the information generation unit 434 and the recognition target specifying unit 436. Since the model holding unit 210, the data buffer 212, the recognition target information obtaining unit 230, and the axis specifying unit 232 already described as the components in the first embodiment have substantially the same functions, redundant description is omitted. Here, the posture candidate information generation unit 434 and the recognition target object specifying unit 436 of the central control unit 414 that are different in configuration will be mainly described.

姿勢候補情報生成部４３４は、認識対象情報と３次元モデル情報とに基づいて、認識対象物１１２または３次元モデル１２２の、軸特定部２３２で導出された１または複数の軸に沿って、軸同士が成す角の角度分回転した際、一致度が高くなった数と同数の姿勢候補を示す姿勢候補情報を生成する。   The posture candidate information generation unit 434 generates an axis along one or more axes derived by the axis specifying unit 232 of the recognition target object 112 or the three-dimensional model 122 based on the recognition target information and the three-dimensional model information. Posture candidate information indicating the same number of posture candidates as the number of coincidence when rotating by the angle formed by each other is generated.

図９は、回転を施す事で一致度が高くなる認識対象物１１２を説明するための説明図である。例えば、図９（ａ）の認識対象物１１２は、３つの軸４５０がそれぞれ成す角を１２０°として形成されている。かかる認識対象物１１２は、その回転によって極値を３つ有すこととなる。したがって、姿勢候補情報生成部４３４は、例えば、軸特定部２３２で導出された３つの軸に沿って１２０°分回転した、３つの姿勢候補を示す姿勢候補情報を生成する。同様に、図９（ｂ）の認識対象物１１２は成す角が等しい放射状の４つの軸を有し、図９（ｃ）の認識対象物１１２は成す角が等しい放射状の６つの軸を有し、それぞれ４つおよび６つの姿勢候補を示す姿勢候補情報を生成する。認識対象物１１２の対称性が高い場合は、幾つかの回転角度において、回転前と回転後の形状が完全に一致する事もある。この場合はどちらの回転角度に収束しても正しい答えであるので、候補姿勢のどちらかを省略してもいい。   FIG. 9 is an explanatory diagram for explaining the recognition object 112 whose degree of coincidence is increased by rotation. For example, the recognition object 112 in FIG. 9A is formed with an angle formed by three axes 450 of 120 °. The recognition object 112 has three extreme values due to its rotation. Therefore, the posture candidate information generation unit 434 generates posture candidate information indicating three posture candidates rotated by 120 ° along the three axes derived by the axis specifying unit 232, for example. Similarly, the recognition object 112 in FIG. 9B has four radial axes with equal angles, and the recognition object 112 in FIG. 9C has six radial axes with equal angles. Posture candidate information indicating four and six posture candidates, respectively, is generated. When the recognition object 112 has high symmetry, the shapes before and after the rotation may completely match at some rotation angles. In this case, the answer is correct regardless of the angle of rotation, so either of the candidate postures may be omitted.

認識対象物特定部４３６は、認識対象物１１２の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデル１２２の姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する。   The recognition target object specifying unit 436 determines the position of the recognition target object based on the posture candidate information and the three-dimensional model information of the recognition target object 112, or based on the recognition target information and the posture candidate information of the three-dimensional model 122. Identify posture.

当該形状認識装置４２０においても、第１の実施形態の形状認識装置１２０同様、極値が高くなることが想定される複数の姿勢に対して並行してパターンマッチングを行うことにより、いずれか１つで正しい結果を得ることが可能となり、誤った姿勢に収束することなく、的確に認識対象物１１２の位置や姿勢を特定することが可能となる。   In the shape recognition device 420, as in the shape recognition device 120 of the first embodiment, any one of the shape recognition devices 420 can be performed by performing pattern matching in parallel on a plurality of postures whose extreme values are assumed to be high. Thus, it is possible to obtain a correct result, and it is possible to accurately specify the position and posture of the recognition target object 112 without converging to an incorrect posture.

また、形状認識装置４２０を用いて、図６同様、形状認識を行う形状認識方法や、コンピュータによって形状認識装置４２０として機能するプログラム、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。   Further, similarly to FIG. 6, using the shape recognition device 420, a shape recognition method for performing shape recognition, a program that functions as the shape recognition device 420 by a computer, and a storage medium that stores the program are also provided. Further, the program may be read from a storage medium and taken into a computer, or may be transmitted via a communication network and taken into a computer.

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。   As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Is done.

なお、本明細書の形状認識方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。   Note that each step in the shape recognition method of the present specification does not necessarily have to be processed in time series in the order described in the flowchart, and may include processing in parallel or by a subroutine.

本発明は、任意の認識対象物の位置および姿勢を認識可能な形状認識装置、形状認識方法、および、そのプログラムに利用することができる。   The present invention can be used for a shape recognition device, a shape recognition method, and a program for recognizing the position and posture of an arbitrary recognition target.

１００ …ピッキングシステム
１１２ …認識対象物
１２０、４２０ …形状認識装置
１２２ …３次元モデル
２１０ …モデル保持部
２３０ …認識対象情報取得部
２３２ …軸特定部
２３４、４３４ …姿勢候補情報生成部
２３６、４３６ …認識対象物特定部 DESCRIPTION OF SYMBOLS 100 ... Picking system 112 ... Recognition object 120, 420 ... Shape recognition apparatus 122 ... Three-dimensional model 210 ... Model holding part 230 ... Recognition object information acquisition part 232 ... Axis specification part 234, 434 ... Posture candidate information generation part 236, 436 ... recognition target part

Claims (9)

長手軸を有する３次元モデルを示す３次元モデル情報を保持するモデル保持部と、
認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルを前記長手軸に沿って対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
を備えることを特徴とする形状認識装置。 A model holding unit for holding 3D model information indicating a 3D model having a longitudinal axis;
A recognition target information acquisition unit for acquiring recognition target information indicating a three-dimensional shape of the recognition target;
Based on the recognition target information and the three-dimensional model information, a posture candidate that generates posture candidate information indicating two posture candidates in which the recognition target or the three-dimensional model is arranged symmetrically along the longitudinal axis An information generator,
Recognition that identifies the position and orientation of the recognition object based on the recognition object posture candidate information and the 3D model information, or based on the recognition object information and the 3D model posture candidate information The object identification part;
A shape recognition device comprising: 前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物の１または複数の軸を特定する軸特定部をさらに備え、
前記姿勢候補情報生成部は、前記軸特定部で特定された前記１または複数の軸毎に２つの姿勢候補を示す姿勢候補情報を生成することを特徴とする請求項１に記載の形状認識装置。 An axis specifying unit that specifies one or more axes of the recognition object based on the recognition object information and the three-dimensional model information;
The shape recognition apparatus according to claim 1, wherein the posture candidate information generation unit generates posture candidate information indicating two posture candidates for each of the one or a plurality of axes specified by the axis specifying unit. . １または複数の回転角度において、回転前と回転後の形状が高い一致度を得る複数の軸を有する３次元モデルを示す３次元モデル情報を保持するモデル保持部と、
認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルの前記軸同士が成す角の角度分回転した該軸と同数の姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
を備えることを特徴とする形状認識装置。 A model holding unit for holding three-dimensional model information indicating a three-dimensional model having a plurality of axes that obtain a high degree of coincidence between shapes before and after rotation at one or a plurality of rotation angles;
A recognition target information acquisition unit for acquiring recognition target information indicating a three-dimensional shape of the recognition target;
Based on the recognition target information and the three-dimensional model information, generate posture candidate information indicating the same number of posture candidates as the number of rotations of the recognition target object or the angle formed by the axes of the three-dimensional model. A posture candidate information generation unit to perform,
Recognition that identifies the position and orientation of the recognition object based on the recognition object posture candidate information and the 3D model information, or based on the recognition object information and the 3D model posture candidate information The object identification part;
A shape recognition device comprising: 前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物の１または複数の軸を特定する軸特定部をさらに備え、
前記姿勢候補情報生成部は、前記軸特定部で特定された前記１または複数の軸に沿って該軸と同数の姿勢候補を示す姿勢候補情報を生成することを特徴とする請求項３に記載の形状認識装置。 An axis specifying unit that specifies one or more axes of the recognition object based on the recognition object information and the three-dimensional model information;
The posture candidate information generation unit generates posture candidate information indicating the same number of posture candidates as the axis along the one or a plurality of axes specified by the axis specifying unit. Shape recognition device. 前記認識対象物特定部はＩＣＰを用いて前記認識対象物の位置および姿勢を特定することを特徴とする請求項１から４のいずれか１項に記載の形状認識装置。   The shape recognition apparatus according to any one of claims 1 to 4, wherein the recognition object specifying unit specifies the position and orientation of the recognition object using ICP. 長手軸を有する３次元モデルを示す３次元モデル情報を予め保持し、
認識対象物の３次元形状を示す認識対象情報を取得し、
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルを前記長手軸に沿って対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成し、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定することを特徴とする形状認識方法。 3D model information indicating a 3D model having a longitudinal axis is stored in advance,
Obtaining recognition object information indicating the three-dimensional shape of the recognition object;
Based on the recognition target information and the three-dimensional model information, generate posture candidate information indicating two posture candidates in which the recognition target or the three-dimensional model is symmetrically arranged along the longitudinal axis ,
Identifying the position and orientation of the recognition object based on the posture candidate information of the recognition object and the 3D model information or based on the recognition object information and the posture candidate information of the 3D model. A shape recognition method characterized by the above. １または複数の回転角度において、回転前と回転後の形状が高い一致度を得る複数の軸を有する３次元モデルを示す３次元モデル情報を予め保持し、
認識対象物の３次元形状を示す認識対象情報を取得し、
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルの前記軸同士が成す角の角度分回転した該軸と同数の姿勢候補を示す姿勢候補情報を生成し、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定することを特徴とする形状認識方法。 At one or a plurality of rotation angles, three-dimensional model information indicating a three-dimensional model having a plurality of axes that obtain a high degree of coincidence between the shapes before and after the rotation is previously held,
Obtaining recognition object information indicating the three-dimensional shape of the recognition object;
Based on the recognition target information and the three-dimensional model information, generate posture candidate information indicating the same number of posture candidates as the number of rotations of the recognition target object or the angle formed by the axes of the three-dimensional model. And
Identifying the position and orientation of the recognition object based on the posture candidate information of the recognition object and the 3D model information or based on the recognition object information and the posture candidate information of the 3D model. A shape recognition method characterized by the above. コンピュータを、
認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と、長手軸を有する３次元モデルを示す３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルを前記長手軸に沿って対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
して機能させるためのプログラム。 Computer
A recognition target information acquisition unit for acquiring recognition target information indicating a three-dimensional shape of the recognition target;
Based on the recognition target information and three-dimensional model information indicating a three-dimensional model having a longitudinal axis, two posture candidates in which the recognition target object or the three-dimensional model is arranged symmetrically along the longitudinal axis A posture candidate information generating unit that generates posture candidate information to be shown;
Recognition that identifies the position and orientation of the recognition object based on the recognition object posture candidate information and the 3D model information, or based on the recognition object information and the 3D model posture candidate information The object identification part;
Program to make it function. コンピュータを、
認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と、１または複数の回転角度において、回転前と回転後の形状が高い一致度を得る複数の軸を有する３次元モデルを示す３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルの前記軸同士が成す角の角度分回転した該軸と同数の姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
して機能させるためのプログラム。 Computer
A recognition target information acquisition unit for acquiring recognition target information indicating a three-dimensional shape of the recognition target;
The recognition target object based on the recognition target information and three-dimensional model information indicating a three-dimensional model having a plurality of axes that obtain a high degree of coincidence between shapes before and after rotation at one or a plurality of rotation angles. Alternatively, a posture candidate information generation unit that generates posture candidate information indicating posture candidates equal to the number of the axes rotated by an angle formed by the axes of the three-dimensional model;
Recognition that identifies the position and orientation of the recognition object based on the recognition object posture candidate information and the 3D model information, or based on the recognition object information and the 3D model posture candidate information The object identification part;
Program to make it function.
JP2011024352A 2011-02-07 2011-02-07 Shape recognition device, shape recognition method, and program thereof Active JP5716433B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011024352A JP5716433B2 (en) 2011-02-07 2011-02-07 Shape recognition device, shape recognition method, and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011024352A JP5716433B2 (en) 2011-02-07 2011-02-07 Shape recognition device, shape recognition method, and program thereof

Publications (2)

Publication Number Publication Date
JP2012163450A JP2012163450A (en) 2012-08-30
JP5716433B2 true JP5716433B2 (en) 2015-05-13

Family

ID=46842974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011024352A Active JP5716433B2 (en) 2011-02-07 2011-02-07 Shape recognition device, shape recognition method, and program thereof

Country Status (1)

Country Link
JP (1) JP5716433B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6370038B2 (en) 2013-02-07 2018-08-08 キヤノン株式会社 Position and orientation measurement apparatus and method
JP6548789B2 (en) * 2013-02-07 2019-07-24 キヤノン株式会社 Position and orientation measurement apparatus and method
JP6042289B2 (en) * 2013-08-23 2016-12-14 株式会社デンソーアイティーラボラトリ Posture estimation apparatus, posture estimation method and program
JP6642968B2 (en) * 2014-03-20 2020-02-12 キヤノン株式会社 Information processing apparatus, information processing method, and program
JP6703812B2 (en) * 2015-08-05 2020-06-03 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 3D object inspection device
JP6117901B1 (en) 2015-11-30 2017-04-19 ファナック株式会社 Position / orientation measuring apparatus for a plurality of articles and a robot system including the position / orientation measuring apparatus
JP6528723B2 (en) 2016-05-25 2019-06-12 トヨタ自動車株式会社 Object recognition apparatus, object recognition method and program
JP7091673B2 (en) 2018-01-25 2022-06-28 富士通株式会社 Movable degree of freedom estimation device and movable degree of freedom estimation program
JP6644846B1 (en) * 2018-08-31 2020-02-12 株式会社トキワシステムテクノロジーズ Work position and orientation recognition device and picking system
CN113034490B (en) * 2021-04-16 2023-10-10 北京石油化工学院 Stacking safety distance monitoring method for chemical warehouse

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04279811A (en) * 1991-03-08 1992-10-05 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional object discrimination method and posture decision method
JP3385056B2 (en) * 1993-03-18 2003-03-10 株式会社キーエンス Inertial principal axis calculation device, image pattern inclination correction device, and image processing device
JP3453861B2 (en) * 1994-08-12 2003-10-06 松下電工株式会社 Displacement detection method by image processing
JPH09141594A (en) * 1995-11-17 1997-06-03 Ishikawajima Harima Heavy Ind Co Ltd Posture detecting method for three-dimensional shapes structure

Also Published As

Publication number Publication date
JP2012163450A (en) 2012-08-30

Similar Documents

Publication Publication Date Title
JP5716433B2 (en) Shape recognition device, shape recognition method, and program thereof
WO2021212844A1 (en) Point cloud stitching method and apparatus, and device and storage device
US10562182B2 (en) Robot, robot system, control device, and control method
US9044858B2 (en) Target object gripping apparatus, method for controlling the same and storage medium
JP5726378B2 (en) Method for estimating the pose of an object
CN108537841B (en) Robot picking method and device and electronic equipment
US20120113268A1 (en) Image generation apparatus, image generation method and storage medium
US20130058526A1 (en) Device for automated detection of feature for calibration and method thereof
WO2014077272A1 (en) Three-dimensional object recognition device and three-dimensional object recognition method
JP2004333422A (en) Image processing device
JPH0788791A (en) Robot device and its peripheral device
JPH07287756A (en) Method for recognizing object
JP2016181183A (en) Information processing apparatus, information processing method, and program
US9934563B2 (en) 3D object rotation-based mechanical parts selection through 2D image processing
US11813754B2 (en) Grabbing method and device for industrial robot, computer storage medium, and industrial robot
JP4327289B2 (en) Component recognition method and apparatus
JP5093591B2 (en) 3D position and orientation measurement method and apparatus
JP2009128192A (en) Object recognition device and robot device
JP4793109B2 (en) Object detection method and robot
CN113442144B (en) Optimal pose determining method and device under constraint, storage medium and mechanical arm
CN112818428B (en) Light full-automatic scanning path planning method for CAD model surface structure
CN114519817A (en) Robot repositioning method and device and robot
JP2021085781A (en) Information processing device, information processing method, measuring device, program, system, and article manufacturing method
JP7165375B1 (en) Calculation device, calculation system, calculation method, calculation program
Li et al. An effective point cloud registration method based on robust removal of outliers

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150302

R151 Written notification of patent or utility model registration

Ref document number: 5716433

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250