JP7251631B2

JP7251631B2 - Template creation device, object recognition processing device, template creation method, object recognition processing method, and program

Info

Publication number: JP7251631B2
Application number: JP2021534891A
Authority: JP
Inventors: 嘉典小西
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2019-07-22
Filing date: 2019-07-22
Publication date: 2023-04-04
Anticipated expiration: 2039-07-22
Also published as: WO2021014538A1; JPWO2021014538A1

Description

本発明は、テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラムに関する。 The present invention relates to a template creation device, an object recognition processing device, a template creation method, an object recognition processing method, and a program.

画像から物体を認識（検出）する方法の一つとしてテンプレートマッチングがある。テンプレートマッチングは、認識対象となる物体のモデル（テンプレート）を予め用意しておき、入力画像とモデルとの間の画像特徴の一致度を評価することで入力画像に含まれる物体を検出する方法である。テンプレートマッチングによる物体認識は、例えばＦＡ（Factory Automation）における検査やピッキング、ロボットビジョン、監視カメラなど、多岐にわたる分野で利用されている。 Template matching is one of methods for recognizing (detecting) an object from an image. Template matching is a method of detecting an object contained in an input image by preparing a model (template) of an object to be recognized in advance and evaluating the matching degree of image features between the input image and the model. be. Object recognition by template matching is used in a wide variety of fields, such as inspection and picking in FA (Factory Automation), robot vision, and surveillance cameras.

このようなテンプレートは、認識対象となる物体（以下、「対象物体」ともいう。）の３ＤＣＡＤデータを用いて作成することができる。しかし、対象物体の３ＤＣＡＤデータがない場合や、３ＤＣＡＤデータと実際の対象物体との差異が大きい場合のように、３ＤＣＡＤデータと用いることができない、又は適切でない場合がある。このような場合には、実際の対象物体を３次元計測した３次元計測データを用いてテンプレートを作成する。 Such a template can be created using 3D CAD data of an object to be recognized (hereinafter also referred to as "target object"). However, there are cases where the 3D CAD data cannot be used or is not suitable, such as when there is no 3D CAD data of the target object or when there is a large difference between the 3D CAD data and the actual target object. In such a case, a template is created using three-dimensional measurement data obtained by three-dimensionally measuring an actual target object.

従来、様々な視点で計測した３次元点群データを統合する際には、視野が重なっている領域では近傍にある点群データを統合する必要があった。このため、位置姿勢の認識誤差やノイズ等を含んだデータを平均化することで細部の形状情報が失われるという課題があった。（例えば、特許文献１参照）。 Conventionally, when integrating three-dimensional point cloud data measured from various viewpoints, it was necessary to integrate neighboring point cloud data in areas where fields of view overlap. Therefore, there is a problem that detailed shape information is lost by averaging data including position and orientation recognition errors, noise, and the like. (See Patent Document 1, for example).

また、特許文献２に記載された技術では、３次元空間上に設定したボクセル（立方体の箱）に各視点からの３次元計測データを重みづけして累積していく。このため、計測誤差やノイズ、視点の位置姿勢認識誤差も蓄積されていき、角や細かな形状は丸められたり消失したりする。また、物体表面のテクスチャも同様に平均化されることでぼけたり消失したりする。 Further, in the technique described in Patent Literature 2, three-dimensional measurement data from each viewpoint is weighted and accumulated in a voxel (cubic box) set in a three-dimensional space. For this reason, measurement errors, noise, and viewpoint position/orientation recognition errors are accumulated, and corners and fine shapes are rounded or lost. In addition, the texture of the surface of the object is similarly averaged and thus blurred or disappears.

このようにして統合して作成された３次元形状をもとに物体認識用のテンプレート作成を行うと、実物の異なる形状やテクスチャのテンプレートが作成されてしまい認識精度が低下するという課題があった。 If a template for object recognition is created based on the three-dimensional shape created by integration in this way, there is a problem that a template with a different shape and texture from the real thing is created, resulting in a decrease in recognition accuracy. .

特許第６２９８０３５号公報Japanese Patent No. 6298035 米国特許第９０５３５７１号明細書U.S. Pat. No. 9,053,571

本発明は、上記のような問題に鑑みてなされたものであり、異なる視点で計測した３次元計測データを用いて物体認識用のテンプレートを作成する際に、細かな形状やテクスチャが失われることなく実物に近いテンプレートを作成することができる技術を提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the problems described above. To provide a technology capable of creating a template that is close to the real thing without

上記の課題を解決するための本発明は、
視点から見た対象物体に対応するテンプレートを作成するテンプレート作成装置であって、
前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成視点位置姿勢データ取得部と、
前記対象物体の３次元計測データを取得する３次元計測データ取得部と、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部と、
異なる前記計測視点に対応する前記３次元計測データを前記テンプレート作成視点に対する所定の平面に投影し、投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する基礎３次元データ生成部と、
を備え、
前記基礎３次元データ生成部は、前記テンプレート作成視点に対する距離がより近い前記計測視点を選択し、選択された該計測視点に対応する前記３次元計測データを、前記基礎３次元データを生成するために優先して用いることを特徴とするテンプレート作成装置である。The present invention for solving the above problems is
A template creation device for creating a template corresponding to a target object viewed from a viewpoint,
a template creation viewpoint position/orientation data acquisition unit that acquires data relating to the position and orientation of a template creation viewpoint as the viewpoint for creating the template;
a three-dimensional measurement data acquisition unit that acquires three-dimensional measurement data of the target object;
a measurement viewpoint position/orientation data acquisition unit that acquires data relating to the position and orientation of a measurement viewpoint as a viewpoint for three-dimensionally measuring the target object;
The three-dimensional measurement data corresponding to the different measurement viewpoints are projected onto a predetermined plane with respect to the template creation viewpoint, and basic three-dimensional data for extracting a feature amount is generated based on the projected three-dimensional measurement data. a basic three-dimensional data generation unit to
with
The basic three-dimensional data generation unit selects the measurement viewpoint having a closer distance to the template creation viewpoint, and converts the three-dimensional measurement data corresponding to the selected measurement viewpoint to generate the basic three-dimensional data. This template creation device is characterized in that it is used preferentially to

本発明によれば、異なる計測視点で計測した３次元計測データから、特徴量を抽出するための基礎３次元データを生成する際に、テンプレート作成視点に対する距離がより近い計測視点に対応する３次元計測データを優先して用いるので、異なる計測視点で計測した３次元計測データを均して細かな形状やテクスチャが失われることない。従って、実物に近いテンプレートを作成することができる。 According to the present invention, when generating basic three-dimensional data for extracting a feature amount from three-dimensional measurement data measured at different measurement viewpoints, three-dimensional data corresponding to a measurement viewpoint having a closer distance to the template creation viewpoint is generated. Since the measurement data is preferentially used, fine shapes and textures are not lost by smoothing three-dimensional measurement data measured from different measurement viewpoints. Therefore, a template close to the real thing can be created.

本発明において、テンプレート作成視点に対する計測視点の距離は、種々の方法で評価することができる。例えば、テンプレート作成視点から対象物体の中心までのベクトルと、計測視点から対象物体の中心までのベクトルのなす角度の大きさによって評価してもよいし、両視点間のユークリッド距離や測地線距離によって評価してもよく、これらに限られない。 In the present invention, the distance of the measurement viewpoint to the template creation viewpoint can be evaluated in various ways. For example, it can be evaluated by the size of the angle formed by the vector from the template creation viewpoint to the center of the target object and the vector from the measurement viewpoint to the center of the target object, or by the Euclidean distance or geodesic distance between the two viewpoints. You may evaluate, but are not limited to these.

また、本発明において、３次元計測データは、３次元計測によって取得される、各点が３次元情報をもつ複数の点から構成されるデータである。点群データのように、各点がカメラ座標系における３次元座標値をもつ形式のデータでもよいし、２次元画像の各点（各画素）にデプス値（奥行き距離の情報）が関連づけられた形式のデータでもよい。 Further, in the present invention, three-dimensional measurement data is data obtained by three-dimensional measurement and composed of a plurality of points each having three-dimensional information. Like point cloud data, each point may have a three-dimensional coordinate value in the camera coordinate system, or each point (each pixel) of a two-dimensional image is associated with a depth value (depth distance information). format data.

また、本発明において、テンプレート作成視点に対する所定の平面は、テンプレートによる物体認識の対象となる画像を取得する画像取得部をＣＣＤカメラによって構成する場合の、ＣＣＤカメラの焦点に対するＣＣＤ平面のような画像平面である。異なる計測視点に対応する３次元計測データをテンプレート作成視点に対する所定の平面に投影し、投影された３次元計測データに基づいて、特徴量を抽出するための対象となる基礎３次元データを生成する際に、３次元空間上で３次元計測データを統合して生成する場合に比べて、メモリ使用量を小さくでき、処理時間も短縮できる。 Further, in the present invention, the predetermined plane with respect to the template creation viewpoint is an image such as a CCD plane with respect to the focal point of the CCD camera when the image acquisition unit for acquiring the image to be object recognition by the template is composed of a CCD camera. It is flat. Three-dimensional measurement data corresponding to different measurement viewpoints are projected onto a predetermined plane with respect to the template creation viewpoint, and basic three-dimensional data to be used for extracting feature amounts is generated based on the projected three-dimensional measurement data. In this case, the amount of memory used can be reduced and the processing time can be shortened as compared with the case where the three-dimensional measurement data are integrated and generated in the three-dimensional space.

本発明において、
前記基礎３次元データ生成部は、前記基礎３次元データのうち、前記所定の平面に投影された、より優先される前記３次元計測データに含まれない部分を、前記３次元計測データを前記所定の平面に投影されたデータによって補うようにしてもよい。In the present invention,
The basic three-dimensional data generation unit converts a portion of the basic three-dimensional data projected onto the predetermined plane, which is not included in the three-dimensional measurement data with higher priority, into the three-dimensional measurement data as the predetermined may be supplemented by data projected onto the plane of .

このようにすれば、基礎３次元データを生成する際に、より優先される計測視点に対応する３次元計測データが選択的に用いられるので、異なる計測視点に対応する３次元計測データが均されることがなく、対象物体の細かな形状やテクスチャが失われることない。従って、実物に近いテンプレートを作成することができる。 In this way, when generating the basic three-dimensional data, the three-dimensional measurement data corresponding to the measurement viewpoint with higher priority is selectively used, so that the three-dimensional measurement data corresponding to different measurement viewpoints are leveled. without losing detailed shapes and textures of the target object. Therefore, a template close to the real thing can be created.

また、本発明は、
前記対象物体を含む画像を取得する画像取得部と、
前記取得された画像から特徴量を抽出する特徴抽出部と、
前記テンプレート作成装置によって作成されたテンプレートを用いたテンプレートマッチングにより前記取得された画像に含まれる前記対象物体を認識するテンプレートマッチング部と、
を備えた物体認識処理装置である。In addition, the present invention
an image acquisition unit that acquires an image including the target object;
a feature extraction unit that extracts a feature amount from the acquired image;
a template matching unit that recognizes the target object included in the acquired image by template matching using a template created by the template creation device;
and an object recognition processing device.

本発明によれば、対象物体の細かな形状やテクスチャを反映した実物に近いテンプレートによって物体認識が行われるので、より高精度の物体認識が可能となる。 According to the present invention, object recognition is performed using a template that is close to the real thing and that reflects the detailed shape and texture of the target object, so object recognition can be performed with higher accuracy.

また、本発明は、
視点から見た対象物体に対応するテンプレートを作成するテンプレート作成方法であって、
前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関する情報を取得するステップと、
前記対象物体の３次元計測データを取得するステップと、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得するステップと、
前記テンプレート作成視点に対する距離がより近い前記計測視点を選択するステップと、
前記選択された前記計測視点に対応する前記３次元計測データを、前記テンプレート作成視点に対する所定の平面に投影するステップと、
前記投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する際に、前記距離がより近い前記計測視点に対応する前記３次元計測データを優先して用いて基礎３次元データを生成するステップと、
を含むテンプレート作成方法である。In addition, the present invention
A template creation method for creating a template corresponding to a target object viewed from a viewpoint, comprising:
obtaining information about the position and orientation of a template creation viewpoint as the viewpoint for creating the template;
obtaining three-dimensional measurement data of the target object;
acquiring data on the position and orientation of a measurement viewpoint as a viewpoint for three-dimensionally measuring the target object;
selecting the measurement viewpoint having a closer distance to the template creation viewpoint;
a step of projecting the three-dimensional measurement data corresponding to the selected measurement viewpoint onto a predetermined plane with respect to the template creation viewpoint;
When generating basic three-dimensional data for extracting a feature amount based on the projected three-dimensional measurement data, giving priority to the three-dimensional measurement data corresponding to the measurement viewpoint closer to the distance. generating basic three-dimensional data using
It is a template creation method including

本発明によれば、異なる計測視点で計測した３次元計測データから、特徴量を抽出するための基礎３次元データを生成する際に、テンプレート作成視点に対する距離がより近い計測視点に対応する３次元計測データを優先して用いるので、異なる計測視点で計測した３次元計測データを均して細かな形状やテクスチャが失われることない。従って、実物に近いテンプレートを作成することができる。
また、本発明に含まれる各ステップの順序は、記載された順序に限定されるものではない。According to the present invention, when generating basic three-dimensional data for extracting a feature amount from three-dimensional measurement data measured at different measurement viewpoints, three-dimensional data corresponding to a measurement viewpoint having a closer distance to the template creation viewpoint is generated. Since the measurement data is preferentially used, fine shapes and textures are not lost by smoothing three-dimensional measurement data measured from different measurement viewpoints. Therefore, a template close to the real thing can be created.
Also, the order of each step included in the present invention is not limited to the described order.

また、本発明は、
テンプレートを用いて対象物体を認識する物体認識処理方法であって、
前記対象物体を含む画像を取得するステップと、
前記取得された画像から特徴量を抽出するステップと、
前記テンプレート作成方法により作成されたテンプレートを用いたテンプレートマッチングにより前記対象物体を認識するステップと、
を含む物体認識処理方法である。In addition, the present invention
An object recognition processing method for recognizing a target object using a template,
obtaining an image containing the target object;
extracting features from the acquired image;
a step of recognizing the target object by template matching using a template created by the template creating method;
An object recognition processing method including

また、本発明は、
前記テンプレート作成方法の各ステップをコンピュータに実行させるためのプログラムである。In addition, the present invention
A program for causing a computer to execute each step of the template creation method.

また、本発明は、
前記物体認識方法の各ステップをコンピュータに実行させるためのプログラムである。In addition, the present invention
A program for causing a computer to execute each step of the object recognition method.

本発明によれば、異なる視点で計測した３次元計測を用いて物体認識用のテンプレートを作成する際に、細かな形状やテクスチャが失われることなく実物に近いテンプレートを作成することができる技術を提供することが可能となる。 According to the present invention, when creating a template for object recognition using three-dimensional measurements measured from different viewpoints, a technique is provided that can create a template that is close to the real thing without losing detailed shapes and textures. can be provided.

本発明の実施形態における物体認識装置の全体構成の一例を示す図である。It is a figure showing an example of whole composition of an object recognition device in an embodiment of the present invention. 本発明の実施例形態における物体認識装置の機能ブロック図である。1 is a functional block diagram of an object recognition device according to an embodiment of the present invention; FIG. 本発明の実施形態におけるテンプレート作成処理の一例を示すフローチャートである。6 is a flowchart showing an example of template creation processing according to the embodiment of the present invention; 本発明の実施形態における対象物体の撮影及び撮影視点位置姿勢の取得構成を説明する図である。FIG. 4 is a diagram illustrating a configuration for capturing an image of a target object and acquiring an image capturing viewpoint position and orientation according to the embodiment of the present invention; 本発明の実施形態におけるテンプレート作成視点と撮影視点との関係を説明するである。4A and 4B illustrate the relationship between the template creation viewpoint and the shooting viewpoint in the embodiment of the present invention. 本発明の実施形態に対する画像平面上での統合処理を模式的に示す図である。FIG. 4 is a diagram schematically showing integration processing on an image plane for an embodiment of the present invention; 本発明の実施形態における物体認識処理の一例を示すフローチャートである。4 is a flowchart showing an example of object recognition processing according to the embodiment of the present invention; 本発明の適用例を説明する図である。It is a figure explaining the example of application of the present invention.

〔適用例〕
以下、本発明の適用例について、図面を参照しつつ説明する。
図８は、本発明におけるテンプレート作成方法の原理を説明する図である。
図８（Ａ）は、視点ＶＰからの対象物体２２７のテンプレートを作成する例である。ここでは、視点ＶＰから対象物体２２７の中心２２７ｃに至る矢印を実線で表示している。[Example of application]
Hereinafter, application examples of the present invention will be described with reference to the drawings.
FIG. 8 is a diagram for explaining the principle of the template creation method according to the present invention.
FIG. 8A is an example of creating a template of the target object 227 from the viewpoint VP. Here, an arrow from the viewpoint VP to the center 227c of the target object 227 is displayed as a solid line.

従来は、視点ＶＰから対象物体２２７のテンプレートを作成する場合には、ＩＭＰａ，ＩＭＰｂ，ＩＭＰｃの複数の異なる視点から対象物体２２７を３次元センサ２２０によって取得された３次元計測データを３次元空間上で統合していた。視点ＩＭＰａ，ＩＭＰｂ，ＩＭＰｃからそれぞれ取得された３次元計測データＩＭａ，ＩＭｂ，ＩＭｃを図８（Ｂ）の左側に模式的に示す。このとき、３次元センサ２２０の視点位置姿勢認識の誤差や、計測誤差、ノイズ等により、各３次元計測データ図８（Ｂ）の左側に示すように、３次元計測データＩＭａ，ＩＭｂ，ＩＭｃは必ずしも一致しない。このような３次元計測データを３次元空間で統合されたデータＩＭ０では、図８（Ｂ）の右側に示すように、各３次元計測データが平均化されることにより、対象物体の形状が均されてしまう。 Conventionally, when creating a template of the target object 227 from the viewpoint VP, the target object 227 is measured from a plurality of different viewpoints of IMPa, IMPb, and IMPc by the three-dimensional sensor 220, and the three-dimensional measurement data is captured in the three-dimensional space. was integrated with Three-dimensional measurement data IMa, IMb, and IMc respectively obtained from viewpoints IMPa, IMPb, and IMPc are schematically shown on the left side of FIG. 8(B). At this time, the three-dimensional measurement data IMa, IMb, and IMc as shown on the left side of FIG. not necessarily match. In the data IM0 obtained by integrating such three-dimensional measurement data in a three-dimensional space, as shown on the right side of FIG. It will be done.

これに対して、本発明では、視点ＶＰから対象物体２２７のテンプレートを作成する場合には、複数の異なる視点から対象物体２２７を３次元センサ２２０によって取得された３次元計測データのうち、視点位置がテンプレート作成視点ＶＰの位置に最も近いデータをテンプレート作成視点ＶＰの画像平面上に投影したものを優先して用いる。そして、テンプレート作成視点ＶＰの画像平面上に投影されていない画素を、テンプレート作成視点ＶＰの位置から遠い視点位置からの対象物体の３次元計測データの投影によって補う。
このため、３次元センサ２２０の視点位置姿勢認識の誤差はあるものの、対象物体２２７の形状情報は失われない。
また、３次元センサによって取得された３次元計測データを３次元空間上で統合するのではなく、テンプレート作成視点ＶＰの画像平面上に投影した２次元データとして統合するため、メモリ使用量が少なく、処理時間を短縮することができる。On the other hand, in the present invention, when creating a template of the target object 227 from the viewpoint VP, the target object 227 from a plurality of different viewpoints is selected from the three-dimensional measurement data obtained by the three-dimensional sensor 220, and the viewpoint position is the data closest to the position of the template creation viewpoint VP, projected onto the image plane of the template creation viewpoint VP, and used preferentially. Pixels not projected onto the image plane of the template creation viewpoint VP are compensated for by projecting the three-dimensional measurement data of the target object from a viewpoint position far from the position of the template creation viewpoint VP.
Therefore, although there is an error in recognition of the viewpoint position and orientation of the three-dimensional sensor 220, the shape information of the target object 227 is not lost.
In addition, the three-dimensional measurement data acquired by the three-dimensional sensor is not integrated in the three-dimensional space, but is integrated as two-dimensional data projected onto the image plane of the template creation viewpoint VP. Processing time can be shortened.

〔実施形態〕
（物体認識装置の全体構成）
図１を参照して、本発明の実施形態に係る物体認識装置について説明する。[Embodiment]
(Overall configuration of object recognition device)
An object recognition device according to an embodiment of the present invention will be described with reference to FIG.

物体認識装置２は、物品の組み立てや加工などを行う生産ラインに設置され、センサユニット２０から取り込まれたデータを用いて、テンプレートマッチングによりトレイ２６に積載された物体２７の位置・姿勢を認識（３次元の物体認識）するシステムである。トレイ２６上には、認識対象の物体２７がバラ積みされている。 The object recognition device 2 is installed in a production line that assembles and processes articles, and uses data captured from the sensor unit 20 to recognize the position and orientation of an object 27 loaded on a tray 26 by template matching ( 3D object recognition). Objects 27 to be recognized are randomly stacked on the tray 26 .

物体認識装置２は、概略、センサユニット２０と画像処理装置２１から構成される。センサユニット２０と画像処理装置２１のあいだは有線又は無線で接続されており、センサユニット２０の出力は画像処理装置２１に取り込まれる。画像処理装置２１は、センサユニット２０から取り込まれたデータを用いて各種の処理を行うデバイスである。画像処理装置２１の処理としては、例えば、距離計測（測距）、３次元形状認識、物体認識、シーン認識などが含まれてもよい。物体認識装置２の認識結果は、例えばＰＬＣ（プログラマブルロジックコントローラ）２５やディスプレイ２２などに出力される。認識結果は、例えば、ピッキング・ロボット２８の制御、加工装置や印字装置の制御、対象物体２７の検査や計測などに利用される。 The object recognition device 2 is roughly composed of a sensor unit 20 and an image processing device 21 . A wired or wireless connection is established between the sensor unit 20 and the image processing device 21 , and the output of the sensor unit 20 is taken into the image processing device 21 . The image processing device 21 is a device that performs various processes using data captured from the sensor unit 20 . The processing of the image processing device 21 may include, for example, distance measurement (distance measurement), three-dimensional shape recognition, object recognition, scene recognition, and the like. A recognition result of the object recognition device 2 is output to a PLC (programmable logic controller) 25, a display 22, or the like, for example. The recognition result is used, for example, for control of the picking robot 28, control of processing devices and printing devices, inspection and measurement of the target object 27, and the like.

（センサユニット）
センサユニット２０は、対象物体２７の光学像を撮影するためのカメラを少なくとも有する。さらに、センサユニット２０は、対象物体２７の３次元計測を行うために必要な構成（センサ、照明装置、投光装置など）を含んでもよい。例えば、ステレオマッチング（ステレオビジョン、ステレオカメラ方式などとも呼ばれる。）によって奥行き距離を計測する場合には、センサユニット２０に複数台のカメラが設けられる。アクティブステレオの場合はさらに、対象物体２７にパターン光を投射する投光装置がセンサユニット２０に設けられる。空間コード化パターン投影方式により３次元計測を行う場合には、パターン光を投射する投光装置とカメラがセンサユニット２０に設けられる。他にも、照度差ステレオ法、ＴＯＦ（タイムオブフライト）法、位相シフト法など、対象物体２７の３次元情報を取得可能な方法であればいかなる方式を用いてもよい。(sensor unit)
The sensor unit 20 has at least a camera for taking an optical image of the target object 27 . Furthermore, the sensor unit 20 may include components (sensors, illumination devices, light projection devices, etc.) necessary for three-dimensional measurement of the target object 27 . For example, when the depth distance is measured by stereo matching (also called stereo vision, stereo camera method, etc.), the sensor unit 20 is provided with a plurality of cameras. In the case of active stereo, the sensor unit 20 is further provided with a light projection device for projecting pattern light onto the target object 27 . When three-dimensional measurement is performed by the space-encoded pattern projection method, the sensor unit 20 is provided with a light projection device for projecting pattern light and a camera. In addition, any method such as a photometric stereo method, a TOF (time of flight) method, a phase shift method, or the like may be used as long as the method can acquire the three-dimensional information of the target object 27 .

（画像処理装置）
画像処理装置２１は、例えば、ＣＰＵ（プロセッサ）、ＲＡＭ（メモリ）、不揮発性記憶装置（ハードディスク、ＳＳＤなど）、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、ＣＰＵが、不揮発性記憶装置に格納されたプログラムをＲＡＭに展開し、当該プログラムを実行することによって、後述する各種の構成が実現される。ただし、画像処理装置２１の構成はこれに限られず、後述する構成のうちの全部又は一部を、ＦＰＧＡやＡＳＩＣなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。(Image processing device)
The image processing device 21 is configured by a computer including, for example, a CPU (processor), RAM (memory), nonvolatile storage device (hard disk, SSD, etc.), input device, output device, and the like. In this case, the CPU develops a program stored in the nonvolatile storage device in the RAM and executes the program, thereby realizing various configurations described later. However, the configuration of the image processing device 21 is not limited to this, and all or part of the configuration described later may be realized by a dedicated circuit such as FPGA or ASIC, or by cloud computing or distributed computing. You may

図２は、画像処理装置２１の構成を示すブロック図である。画像処理装置２１は、テンプレート作成装置３０の構成と、物体認識処理装置３１の構成を有している。
テンプレート作成装置３０は、物体認識処理で利用するテンプレートを作成するための構成であり、複数視点３次元計測データ取得部３００、撮影視点３次元位置姿勢データ取得部３０１、テンプレート作成視点位置情報取得部３０２、テンプレート作成視点の３次元データ生成部３０３、特徴抽出部３０４、テンプレート作成部３０５、テンプレート情報出力部３０６を有する。本実施形態では、複数視点３次元計測データ取得部３００が本発明の「３次元計測データ取得部」に対応する。また、本実施形態では、撮影視点３次元位置姿勢データ取得部３０１が本発明の「計測視点位置姿勢データ取得部」に対応する。また、本実施形態では、テンプレート作成視点位置情報取得部３０２が本発明の「テンプレート作成視点位置姿勢データ取得部」に対応する。そして、本実施形態では、テンプレート作成視点の３次元データ生成部３０３が本発明の「基礎３次元データ生成部」に対応する。
物体認識処理装置３１は、テンプレートマッチングによる物体認識処理を実行するための構成であり、画像取得部３１０、画像ピラミッド作成部３１１、特徴抽出部３１２、テンプレート情報取得部３１３、テンプレートマッチング部３１４、認識結果出力部３１５を有する。本実施形態では、画像取得部３１０、特徴抽出部３１２、テンプレートマッチング部３１４が、それぞれ本発明の「画像取得部」、「特徴抽出部」、「テンプレートマッチング部」に対応する。FIG. 2 is a block diagram showing the configuration of the image processing device 21. As shown in FIG. The image processing device 21 has the configuration of the template creation device 30 and the configuration of the object recognition processing device 31 .
The template generation device 30 is configured to generate a template used in object recognition processing, and includes a multi-viewpoint three-dimensional measurement data acquisition unit 300, an imaging viewpoint three-dimensional position and orientation data acquisition unit 301, and a template creation viewpoint position information acquisition unit. 302 , a three-dimensional data generation unit 303 for template creation viewpoints, a feature extraction unit 304 , a template creation unit 305 , and a template information output unit 306 . In this embodiment, the multi-viewpoint three-dimensional measurement data acquisition section 300 corresponds to the "three-dimensional measurement data acquisition section" of the present invention. Further, in this embodiment, the shooting viewpoint three-dimensional position/orientation data acquisition unit 301 corresponds to the “measurement viewpoint position/orientation data acquisition unit” of the present invention. Further, in this embodiment, the template creation viewpoint position information acquisition unit 302 corresponds to the "template creation viewpoint position/orientation data acquisition unit" of the present invention. In this embodiment, the three-dimensional data generation unit 303 of the template creation viewpoint corresponds to the "basic three-dimensional data generation unit" of the present invention.
The object recognition processing device 31 is configured to execute object recognition processing by template matching, and includes an image acquisition unit 310, an image pyramid creation unit 311, a feature extraction unit 312, a template information acquisition unit 313, a template matching unit 314, a recognition It has a result output unit 315 . In this embodiment, the image acquisition section 310, the feature extraction section 312, and the template matching section 314 respectively correspond to the "image acquisition section", the "feature extraction section", and the "template matching section" of the present invention.

（テンプレート作成処理）
図３のフローチャートを参照して、テンプレート作成装置３０によるテンプレート作成処理の一例を説明する。(Template creation process)
An example of template creation processing by the template creation device 30 will be described with reference to the flowchart of FIG.

ステップＳ１０１において、テンプレート作成視点の３次元データ生成部３０３が、異なる視点から撮影した対象物体の３次元計測データ、撮影視点の３次元位置姿勢に関する情報、テンプレート作成視点位置に関する情報を取得する。ここでは、複数の異なる視点からの対象物体の３次元計測データは、複数視点３次元計測データ取得部３００によって取得される。このため、テンプレート作成視点の３次元データ生成部３０３は、異なる視点から撮影した対象物体の３次元計測データを、この複数視点３次元計測データ取得部３００から取得する。また、複数視点３次元計測データ取得部が複数の異なる視点から対象物体を撮影して当該対象物体の３次元計測データを取得する際の撮影視点の３次元位置姿勢データが、撮影視点３次元位置姿勢データ取得部３０１によって取得される。このため、テンプレート作成視点の３次元データ生成部３０３は、撮影視点の３次元位置姿勢に関する情報を、この撮影視点３次元位置姿勢データ取得部３０１から取得する。そして、テンプレート作成視点の位置姿勢に関するデータは、テンプレート作成視点位置情報取得部３０２によって取得されるので、テンプレート作成視点の３次元データ生成部３０３は、テンプレート作成視点位置姿勢に関するデータを、テンプレート作成視点位置情報取得部３０２から取得する。本実施形態では、撮影視点が本発明の「計測視点」に対応する。 In step S101, the template creation viewpoint 3D data generation unit 303 acquires 3D measurement data of a target object photographed from different viewpoints, information relating to the 3D position and orientation of the shooting viewpoint, and information relating to the template creation viewpoint position. Here, the multi-viewpoint three-dimensional measurement data acquisition unit 300 acquires the three-dimensional measurement data of the target object from a plurality of different viewpoints. Therefore, the three-dimensional data generation unit 303 of the template creation viewpoint acquires the three-dimensional measurement data of the target object photographed from different viewpoints from the multi-viewpoint three-dimensional measurement data acquisition unit 300 . Further, when the multi-viewpoint three-dimensional measurement data acquisition unit photographs a target object from a plurality of different viewpoints and acquires the three-dimensional measurement data of the target object, the three-dimensional position and orientation data of the shooting viewpoints is the three-dimensional position of the shooting viewpoint. Acquired by the posture data acquisition unit 301 . Therefore, the three-dimensional data generation unit 303 of the template creation viewpoint acquires information on the three-dimensional position and orientation of the shooting viewpoint from the shooting viewpoint three-dimensional position and orientation data acquisition unit 301 . Since the template creation viewpoint position information acquisition unit 302 acquires data on the position and orientation of the template creation viewpoint, the template creation viewpoint 3D data generation unit 303 obtains the data on the template creation viewpoint position and orientation from the template creation viewpoint. Acquired from the position information acquisition unit 302 . In this embodiment, the shooting viewpoint corresponds to the "measurement viewpoint" of the present invention.

図４は、異なる複数の視点から対象物体の３次元計測データ及び撮影視点の３次元位置姿勢に関する情報を取得する構成の概略を説明する図である。
対象物体２７に対して、３次元センサ２２０を所定の位置姿勢に配置して、対象物体２７の３次元計測データを取得（撮影）するとともに、撮影視点の位置姿勢情報を取得する。３次元センサ２２０によって対象物体を複数の異なる視点から撮影して３次元計測データを取得する場合には、３次元センサ２２０を固定して、対象物体２７の姿勢を変えるようにしてもよいし、対象物体２７を固定して、３次元センサ２２０の姿勢を変えるようにしてもよく、３次元センサ２２０と対象物体２７の相対的な位置関係が変わればよい。図４では、３次元センサ２２０によって載置面３２上に載置された対象物体２７を撮影して３次元計測データを取得する場合の一例を示す。ここでは、３次元センサ２２０を固定して、載置面３２の姿勢を変えてもよいし、載置面３２の姿勢を固定し、３次元センサ２２０の姿勢を変えるようにしてもよい。
また、撮影視点の３元位置姿勢は、対象物体の載置面３２に表示された平面マーカ３３や、載置面に対して固定して配置された参照物体（３ＤＣＡＤデータ等により形状が分かっている物体）を認識することによって取得してもよいし、対象物体の載置面３２をゴニオステージ上に設けることによって取得してもよい。FIG. 4 is a diagram illustrating an outline of a configuration for acquiring three-dimensional measurement data of a target object from a plurality of different viewpoints and information on the three-dimensional position and orientation of the shooting viewpoints.
A three-dimensional sensor 220 is arranged at a predetermined position and orientation with respect to the target object 27 to acquire (image) three-dimensional measurement data of the target object 27 and to acquire position and orientation information of the imaging viewpoint. When the three-dimensional sensor 220 captures images of the target object from a plurality of different viewpoints and acquires three-dimensional measurement data, the three-dimensional sensor 220 may be fixed and the posture of the target object 27 may be changed. The target object 27 may be fixed and the posture of the three-dimensional sensor 220 may be changed, or the relative positional relationship between the three-dimensional sensor 220 and the target object 27 may be changed. FIG. 4 shows an example in which the three-dimensional sensor 220 captures an image of the target object 27 placed on the placement surface 32 to obtain three-dimensional measurement data. Here, the three-dimensional sensor 220 may be fixed and the posture of the placement surface 32 may be changed, or the posture of the placement surface 32 may be fixed and the posture of the three-dimensional sensor 220 may be changed.
In addition, the three-dimensional position and orientation of the shooting viewpoint are the plane marker 33 displayed on the mounting surface 32 of the target object, and the reference object (whose shape is known by 3D CAD data or the like) fixedly arranged with respect to the mounting surface. It may be obtained by recognizing the target object), or may be obtained by providing the mounting surface 32 of the target object on the goniometer stage.

図５は、テンプレート作成視点と撮影視点との例を示している。この例では、対象物体２７を包含する正八十面体の４２個の頂点をテンプレート作成視点ＶＰとし、ここでは一つの頂点ＶＰ１（黒丸で図示）にテンプレート作成視点を設定している。なお、テンプレート作成視点ＶＰの数や配置は、要求される分解能、対象物体２７の形状や取り得る姿勢などに応じて適宜設定すればよい。テンプレート作成視点ＶＰの数や位置は、ユーザが指定したものを、テンプレート作成視点位置情報取得部３０２が取得するようにしてもよいし、テンプレート作成視点位置情報取得部３０２が自動で設定したものを保持しておくようにしてもよい。図５に示す例では、正八十面体の中心に対象物体を配置しているので、この正八十面体の頂点の位置を指定することで、テンプレート作成視点の位置とともに姿勢も一義的に定まるが、テンプレート作成視点の位置姿勢の設定方法はこれに限られない。なお、図５では、正八十面体の頂点のうち、紙面手前側に存在する頂点を白丸で示している。 FIG. 5 shows an example of template creation viewpoints and shooting viewpoints. In this example, 42 vertices of the regular octasahedron containing the target object 27 are used as template creation viewpoints VP, and here, one vertex VP1 (indicated by a black circle) is set as the template creation viewpoint. The number and arrangement of the template creation viewpoints VP may be appropriately set according to the required resolution, the shape of the target object 27, possible poses, and the like. The number and positions of the template creation viewpoints VP may be specified by the user and acquired by the template creation viewpoint position information acquisition unit 302, or may be automatically set by the template creation viewpoint position information acquisition unit 302. It may be held. In the example shown in FIG. 5, the target object is placed at the center of the regular octahedron, so by specifying the position of the vertex of this regular octahedron, the position of the viewpoint for creating the template and its posture are uniquely determined. However, the method of setting the position and orientation of the template creation viewpoint is not limited to this. In FIG. 5, among the vertices of the regular octasahedron, the vertices existing on the front side of the paper surface are indicated by white circles.

図５において、矢印ＩＭＰ１、矢印ＩＭＰ２及び矢印ＩＭＰ３がそれぞれ第１の撮影視点、第２の撮影視点及び第３の撮影視点を示す。ここでは、例として３つの撮影視点を示しているが、これに限られるものではない。 In FIG. 5, an arrow IMP1, an arrow IMP2, and an arrow IMP3 indicate the first shooting viewpoint, the second shooting viewpoint, and the third shooting viewpoint, respectively. Three shooting viewpoints are shown here as an example, but the present invention is not limited to this.

図３のフローチャートに戻り、ステップＳ１０２において、テンプレートを作成していない視点位置を選択する。ここでは、テンプレートを作成していない視点位置として、図５の黒丸の視点位置が選択されたものとする。 Returning to the flowchart of FIG. 3, in step S102, a viewpoint position for which no template has been created is selected. Here, it is assumed that the viewpoint position indicated by the black circle in FIG. 5 is selected as the viewpoint position for which no template is created.

次に、ステップＳ１０３において、テンプレート作成視点ベクトルと全ての撮影視点ベクトルとの角度を算出する。ここでは、全ての撮影視点が、矢印ＩＭＰ１、矢印ＩＭＰ２、矢印ＩＭＰ３であるとする。
テンプレート作成視点ベクトルとは、テンプレート作成視点ＶＰから対象物体の中心に向かうベクトルである。図５において黒丸で示されるテンプレート作成視点については、テンプレート作成視点ベクトルは、正八十面体の黒丸で示される頂点から、この正八十面体の中心に一致するように配置された対象物体の中心に向うベクトルである。そして、撮影視点ベクトルとは、複数視点３次元計測データ取得部３００によって対象物体２７を撮影する際の、撮影視点から対象物体の中心に向うベクトルである。図５において、第１の撮影視点、第２の撮影視点及び第３の撮影視点に対応する撮影視点ベクトルは、それぞれ矢印ＩＭＰ１、矢印ＩＭＰ２及び矢印ＩＭＰ３の方向ベクトルである。
ここでは、黒丸で示された正八十面体の頂点から中心に向かうベクトルと、矢印ＩＭＰ１、矢印ＩＭＰ２及び矢印ＩＭＰ３の方向のベクトルとの角度を算出する。Next, in step S103, angles between the template creation viewpoint vector and all the shooting viewpoint vectors are calculated. Here, assume that all shooting viewpoints are arrow IMP1, arrow IMP2, and arrow IMP3.
The template creation viewpoint vector is a vector directed from the template creation viewpoint VP to the center of the target object. For the template creation viewpoint indicated by the black circle in FIG. 5, the template creation viewpoint vector is the center of the target object arranged so as to coincide with the center of the octahedron from the vertex indicated by the black circle of the regular octahedron. is a vector pointing to The imaging viewpoint vector is a vector that points from the imaging viewpoint to the center of the target object when the target object 27 is captured by the multi-viewpoint three-dimensional measurement data acquisition unit 300 . In FIG. 5, the shooting viewpoint vectors corresponding to the first shooting viewpoint, the second shooting viewpoint, and the third shooting viewpoint are direction vectors of arrows IMP1, IMP2, and IMP3, respectively.
Here, the angles between the vectors pointing from the vertices of the regular octahedron indicated by black circles to the center and the vectors in the directions of arrows IMP1, IMP2, and IMP3 are calculated.

ステップＳ１０４において、未投影の撮影視点、計測データの中から最も角度が小さいものを選択する。ここでは、全ての撮影視点が未投影であるとする。図５の例では、矢印ＩＭＰ１の撮影視点に対する撮影視点ベクトルとテンプレート作成視点ベクトルとの角度が最も小さいので、矢印ＩＭＰ１で示される第１の撮影視点と、この第１の撮影視点から撮影された３次元計測データを選択する。 In step S104, the one with the smallest angle is selected from the unprojected imaging viewpoints and measurement data. Here, it is assumed that all shooting viewpoints are unprojected. In the example of FIG. 5, since the angle between the shooting viewpoint vector and the template creation viewpoint vector with respect to the shooting viewpoint of the arrow IMP1 is the smallest, the first shooting viewpoint indicated by the arrow IMP1 and the shooting from this first shooting viewpoint are obtained. Select 3D measurement data.

次に、ステップＳ１０５において、矢印ＩＭＰ１で示される第１の撮影視点から、複数視点３次元計測データ取得部３００によって撮影された３次元計測データを、ステップＳ１０２で選択されたテンプレート作成視点ＶＰ１に対する画像平面に投影する。図６（Ａ）は、矢印ＩＭＰ１で示される第１の撮影視点から撮影された３次元計測データを画像平面に投影した画像を模式的に示したものである。図６（Ａ）～（Ｃ）では、各撮影視点からの３次元計測データに対応する部分を実線で示し、比較のために統合後のデータを破線で示している。本実施形態では、画像平面が、本発明の「所定の平面」に対応する。 Next, in step S105, the three-dimensional measurement data captured by the multi-viewpoint three-dimensional measurement data acquisition unit 300 from the first shooting viewpoint indicated by the arrow IMP1 is converted into an image for the template creation viewpoint VP1 selected in step S102. Project onto a plane. FIG. 6A schematically shows an image obtained by projecting three-dimensional measurement data taken from a first shooting viewpoint indicated by an arrow IMP1 onto an image plane. In FIGS. 6A to 6C, a solid line indicates a portion corresponding to three-dimensional measurement data from each shooting viewpoint, and a dashed line indicates integrated data for comparison. In this embodiment, the image plane corresponds to the "predetermined plane" of the invention.

このように、テンプレート作成視点に対する画像平面上に、異なる撮影視点から撮影された３次元計測データを投影し、該平面上で統合処理を行うようにしたので、メモリ使用量が小さく処理時間も短縮できる。 In this way, the three-dimensional measurement data shot from different shooting viewpoints are projected onto the image plane for the template creation viewpoint, and integrated processing is performed on this plane, so the amount of memory used is small and the processing time is shortened. can.

そして、ステップＳ１０６において、全ての撮影視点について、当該撮影視点から撮影された３次元計測データを、テンプレート作成視点ＶＰ１に対する画像平面に投影したか否かを判断する。 Then, in step S106, it is determined whether or not the three-dimensional measurement data taken from all the shooting viewpoints have been projected onto the image plane with respect to the template creation viewpoint VP1.

ステップＳ１０６において、Ｎｏと判断された場合、すなわち、全ての撮影視点のうち、当該撮影視点から撮影された３次元計測データのうち、テンプレート作成視点ＶＰ１に対する画像平面に投影していない撮影視点が存在している場合には、ステップＳ１０４に戻る。図５の例では、未投影の撮影視点のうちで、テンプレート作成視点ベクトルとなす角度が最も小さい、矢印ＩＭＰ３で示される第３の撮影視点からの撮影視点ベクトルと、この第３の撮影視点から撮影された３次元計測データを選択し、ステップＳ１０５に進む。同様に、次に、ステップＳ１０６からステップＳ１０４に戻った際には、矢印ＩＭＰ２で示される第２の撮影視点からの撮影視点ベクトルと、第２の撮影視点から撮影された３次元計測データが選択される。図６（Ｂ）は、矢印ＩＭＰ３で示される第３の撮影視点から撮影された３次元計測データを画像平面に投影した画像を模式的に示したものである。そして、図６（Ｃ）は、矢印ＩＭＰ２で示される第２の撮影視点から撮影された３次元計測データを画像平面に投影した画像を模式的に示したものである。このように、第１の撮影視点から第３の撮影視点からの３次元計測データを画像平面に投影して統合した画像を図６（Ｄ）に模式的に示す。 If it is determined No in step S106, that is, among all the shooting viewpoints, among the three-dimensional measurement data taken from the shooting viewpoint, there is a shooting viewpoint that is not projected onto the image plane for the template creation viewpoint VP1. If so, the process returns to step S104. In the example of FIG. 5, the shooting viewpoint vector from the third shooting viewpoint indicated by the arrow IMP3, which has the smallest angle with the template creation viewpoint vector among the unprojected shooting viewpoints, and The photographed three-dimensional measurement data is selected, and the process proceeds to step S105. Similarly, when returning from step S106 to step S104, the imaging viewpoint vector from the second imaging viewpoint indicated by the arrow IMP2 and the three-dimensional measurement data captured from the second imaging viewpoint are selected. be done. FIG. 6B schematically shows an image obtained by projecting three-dimensional measurement data taken from a third shooting viewpoint indicated by an arrow IMP3 onto an image plane. FIG. 6C schematically shows an image obtained by projecting the three-dimensional measurement data taken from the second shooting viewpoint indicated by the arrow IMP2 onto the image plane. FIG. 6D schematically shows an image in which the three-dimensional measurement data from the first shooting viewpoint to the third shooting viewpoint are projected onto the image plane and integrated in this way.

このように、テンプレート作成視点から近い撮影視点から順に、テンプレート作成視点に対する画像平面に投影し、撮影点群データが存在しない画素、すなわち、より優先される撮影点群データに含まれない部分について他の撮影視点からの点群データを補う。これにより、対象物体の細かな形状やテクスチャが失われることがなく、実物に近いテンプレートの作成が可能となる。 In this way, the shooting viewpoints closest to the template creation viewpoint are projected onto the image plane with respect to the template creation viewpoint, and the pixels for which no shooting point cloud data is present, that is, the portions not included in the higher priority shooting point cloud data are Supplement the point cloud data from the shooting viewpoint. As a result, it is possible to create a template that is close to the real thing without losing the detailed shape and texture of the target object.

ステップＳ１０６において、Ｙｅｓと判断された場合、すなわち、全ての撮影視点について、当該撮影視点から撮影された３次元計測データを、テンプレート作成視点ＶＰ１に対する画像平面に投影したと判断された場合には、ステップＳ１０７に進む。 If it is determined Yes in step S106, that is, if it is determined that the three-dimensional measurement data captured from all the shooting viewpoints has been projected onto the image plane for the template creation viewpoint VP1, The process proceeds to step S107.

ステップＳ１０７においては、特徴抽出部３０４が、ステップＳ１０２で選択されたテンプレート作成視点ＶＰ１に対する画像平面に投影された全撮影視点からの対象物体２７の３次元計測データに基づいて、対象物体２７の画像特徴を抽出する。画像特徴としては、例えば、輝度、色、輝度勾配方向、量子化勾配方向、ＨｏＧ（Histogram of Oriented Gradients）、表面の法線方向、ＨＡＡＲ－ｌｉｋｅ、ＳＩＦＴ（Scale-Invariant Feature Transform）などを用いることができる。輝度勾配方向は、特徴点を中心とする局所領域での輝度の勾配の方向（角度）を連続値で表すものであり、量子化勾配方向は、特徴点を中心とする局所領域での輝度の勾配の方向を離散値で表す（例えば、８方向を０～７の１バイトの情報で保持する）ものである。特徴抽出部３０４は、テンプレート作成視点に対する画像平面に投影された画像６０の全ての点（画素）について画像特徴を求めてもよいし、所定の規則に従ってサンプリングした一部の点について画像特徴を求めてもよい。画像特徴が得られた点を特徴点と呼ぶ。 In step S107, the feature extraction unit 304 extracts an image of the target object 27 based on the three-dimensional measurement data of the target object 27 from all shooting viewpoints projected onto the image plane with respect to the template creation viewpoint VP1 selected in step S102. Extract features. Image features include, for example, brightness, color, brightness gradient direction, quantization gradient direction, HoG (Histogram of Oriented Gradients), surface normal direction, HAAR-like, SIFT (Scale-Invariant Feature Transform), etc. can be done. The intensity gradient direction represents the direction (angle) of the intensity gradient in a local area centered on a feature point as a continuous value. Gradient directions are represented by discrete values (for example, 8 directions are stored as 1-byte information from 0 to 7). The feature extraction unit 304 may obtain image features for all points (pixels) of the image 60 projected onto the image plane with respect to the template creation viewpoint, or may obtain image features for some points sampled according to a predetermined rule. may A point from which an image feature is obtained is called a feature point.

ステップＳ１０８において、テンプレート作成部３０５が、ステップＳ１０７で抽出された画像特徴に基づいて、テンプレート作成視点ＶＰ１に対応するテンプレートを作成する。テンプレートは、例えば、各特徴点の座標値と抽出された画像特徴とを含むデータセットである。 In step S108, the template creation unit 305 creates a template corresponding to the template creation viewpoint VP1 based on the image features extracted in step S107. A template is, for example, a data set including coordinate values of each feature point and extracted image features.

ステップＳ１０２～Ｓ１０８の処理が、ステップＳ１０１で取得された全てのテンプレート作成視点ＶＰについて行われる（ステップＳ１０９）。全てのテンプレート作成視点ＶＰについてテンプレートの作成が完了すると、テンプレート作成部３０５は、テンプレート情報出力部３０６を介して、テンプレートのデータを物体認識処理装置３１に出力する（ステップＳ１１０）。 The processing of steps S102 to S108 is performed for all template creation viewpoints VP acquired in step S101 (step S109). When template creation is completed for all template creation viewpoints VP, the template creation unit 305 outputs template data to the object recognition processing device 31 via the template information output unit 306 (step S110).

（物体認識処理）
図７のフローチャートを参照して、物体認識処理装置３１による物体認識処理方法の一例を説明する。(Object recognition processing)
An example of the object recognition processing method by the object recognition processing device 31 will be described with reference to the flowchart of FIG.

まず、ステップＳ２０１において、テンプレート情報取得部３１３は、テンプレート作成装置３０のテンプレート情報出力部３０６から出力されるテンプレートのデータを取得し、テンプレートマッチング部３１４に供給する。 First, in step S<b>201 , the template information acquisition unit 313 acquires template data output from the template information output unit 306 of the template creation device 30 and supplies the data to the template matching unit 314 .

次に、ステップＳ２０２において、画像取得部３１０が、対象物体を含み、物体認識処理の対象となる画像を取得する。この画像は、画像処理装置２１の内部記憶装置から読み込んでもよいし、外部のストレージ等からネットワークを介して取得してもよい。また、センサユニット２０で撮影された画像を取得するようにしてもよい。なお、認識結果をピッキング・ロボット２８の制御に用いる場合には、センサユニット２０をピッキング・ロボット２８のアームに取り付けるようにしてもよい。 Next, in step S202, the image acquisition unit 310 acquires an image that includes the target object and is the target of object recognition processing. This image may be read from the internal storage device of the image processing apparatus 21, or may be obtained from an external storage or the like via a network. Also, an image captured by the sensor unit 20 may be acquired. When the recognition result is used to control the picking robot 28, the sensor unit 20 may be attached to the arm of the picking robot 28. FIG.

次に、ステップＳ２０３において、画像ピラミッド作成部３１１が、画像取得部３１０によって取得された画像から低解像度画像を生成し、画像ピラミッドを生成する。例えば、第１層画像として１６０画素×１２０画素、第２層画像として３２０画素×２４０画素等のように低解像度画像から高解像度画像へと解像度を段階的に異ならせた複数の画像から画像ピラミッドを構成することができる。 Next, in step S203, the image pyramid creation unit 311 creates a low-resolution image from the image acquired by the image acquisition unit 310 to create an image pyramid. For example, the first layer image is 160 pixels x 120 pixels, and the second layer image is 320 pixels x 240 pixels. can be configured.

次に、ステップＳ２０４において、特徴抽出部３１２は、画像ピラミッドを構成する各層画像に対して画像特徴を抽出する。抽出される画像特徴は、テンプレート作成の際の画像特徴と同種の特徴量である。画像ピラミッドの最上層である第１層画像（最も解像度が低い画像）に対する画像特徴の抽出の結果として、第１層画像と同じ解像度を有し、第１層画像の各画素位置で抽出された特徴量データを画素値としてもつ画像（以下、「第１層特徴画像」ともいう。）が得られる。同様に、第２層画像に対する画像特徴の抽出の結果として、第２層特徴画像が得られる。 Next, in step S204, the feature extraction unit 312 extracts image features for each layer image forming the image pyramid. The image features to be extracted are feature amounts of the same type as the image features used when creating the template. As a result of image feature extraction for the first layer image (the image with the lowest resolution), which is the top layer of the image pyramid, a An image having feature data as pixel values (hereinafter also referred to as a "first layer feature image") is obtained. Similarly, extraction of image features for the second layer image results in a second layer feature image.

次に、ステップＳ２０５において、テンプレートマッチング部３１４は、テンプレート情報取得部３１３から供給される視点ごとのテンプレートのデータと、各テンプレートのデータに対応する特徴抽出部３１２算出した各特徴量とを用いてテンプレートマッチングを行う。
ここでは、テンプレートマッチング部３１４は、まず、第１層特徴画像と第１層用の視点ごとのテンプレートを用いてマッチング処理を行う。テンプレートマッチング部３１４は、第１層用の視点ごとのテンプレートを用いたマッチング処理の結果、正解候補となるテンプレートを検出すると、検出結果に基づき、第２層特徴画像の探索範囲を設定し、第２層特徴画像と第２層用の視点ごとのテンプレートを用いてマッチング処理を行う。第３層画像、第４層画像が存在する場合には、これらの層画像に対しても同様の処理が行われる。このような処理が行われる結果、最下層（最も画像の解像度が高い層）における物体の存在位置姿勢を認識することができる。Next, in step S205, the template matching unit 314 uses the template data for each viewpoint supplied from the template information acquisition unit 313 and each feature amount calculated by the feature extraction unit 312 corresponding to each template data. Do template matching.
Here, the template matching unit 314 first performs matching processing using the first layer feature image and the template for each viewpoint for the first layer. When the template matching unit 314 detects a template that is a correct candidate as a result of the matching process using the template for each viewpoint for the first layer, the template matching unit 314 sets the search range for the second layer feature image based on the detection result. Matching processing is performed using the 2nd layer feature image and the template for each viewpoint for the 2nd layer. If a third layer image and a fourth layer image exist, similar processing is performed on these layer images. As a result of such processing, the existence position and orientation of the object in the lowest layer (the layer with the highest image resolution) can be recognized.

次に、ステップＳ２０６において、テンプレートマッチング部３１４は、対象物体の存在位置や姿勢などを認識すると、認識結果を示す認識情報を認識結果出力部３１５に出力する。認識結果出力部３１５は、テンプレートマッチング部３１４から供給される認識情報を、外部装置や液晶パネル等に出力する。認識情報は、例えば、対象物体の検査・計測や、ピッキング・ロボット２８の制御などに利用される。 Next, in step S<b>206 , the template matching unit 314 outputs recognition information indicating the recognition result to the recognition result output unit 315 after recognizing the existence position, posture, etc. of the target object. A recognition result output unit 315 outputs the recognition information supplied from the template matching unit 314 to an external device, a liquid crystal panel, or the like. The recognition information is used, for example, for inspection/measurement of the target object, control of the picking robot 28, and the like.

（本実施形態の利点）
以上述べた構成及び処理では、異なる視点から撮影した対象物体の３次元計測データを３次元空間において統合処理するのではなく、異なる視点から撮影した対象物体の３次元計測データをテンプレート作成視点に対する画像平面に投影することにより得られたデータに基づいて、対象物体の画像特徴を抽出することにより、テンプレートのデータを生成している。このように、画像平面において統合処理を行うため、メモリ使用量が小さく処理時間も短縮できる。従って、テンプレート作成処理を高速化できる。
また、異なる視点から撮影した対象物体の３次元計測データのうち、テンプレート作成視点に近い視点の撮影点群データを優先的に使用して統合する。このように、テンプレート作成視点に近い視点の撮影点群データから順に画像平面に投影し、点群が存在しない画素だけを、他の撮影視点からの撮影点群データによって補う。このため、対象物体の細かな形状やテクスチャが失われることなく、実物に近いテンプレートを作成することができる。(Advantages of this embodiment)
In the configuration and processing described above, the three-dimensional measurement data of the target object photographed from different viewpoints is not integrated in a three-dimensional space, but the three-dimensional measurement data of the target object photographed from different viewpoints is used as an image for the template creation viewpoint. The template data is generated by extracting the image features of the target object based on the data obtained by projecting onto the plane. In this way, since the integration process is performed on the image plane, the amount of memory used is small and the processing time can be shortened. Therefore, template creation processing can be speeded up.
In addition, among the three-dimensional measurement data of the target object photographed from different viewpoints, the photographed point group data of viewpoints close to the template creation viewpoint are preferentially used and integrated. In this way, the captured point cloud data of the viewpoints closest to the template creation viewpoint are sequentially projected onto the image plane, and only the pixels where no point cloud exists are supplemented with the captured point cloud data from other capturing viewpoints. Therefore, a template that is close to the real object can be created without losing the detailed shape and texture of the target object.

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。<Others>
The above-described embodiment is merely an example of the configuration of the present invention. The present invention is not limited to the specific forms described above, and various modifications are possible within the technical scope of the present invention.

また、テンプレート作成視点は、上述のように正多面体の頂点を視点として採用してもよいし、対象物体の中心を中心とする天球上を等間隔にサンプリングする任意の方法によって作成してもよい。
テンプレート作成視点と撮影視点との距離の指標は、テンプレート作成視点ベクトルと撮影視点ベクトルとの角度に限られず、テンプレート作成視点と撮影視点間のユークリッド距離や測地線距離を用いてもよい。
また、テンプレート作成視点と撮影視点とが遠い場合、例えば、テンプレート作成視点ベクトルと撮影視点ベクトルとのなす角度が所定の閾値以上である場合には、そのような撮影視点に対しては、ステップＳ１０５の投影処理を行わないようにしてもよい。対象物体の計測点の法線ベクトルにより、テンプレート作成視点から見える点か否かを判別することができるので、テンプレート作成視点から見えない点については、ステップＳ１０５の投影処理を行わないようにしてもよい。In addition, the template creation viewpoint may be created by adopting the vertices of the regular polyhedron as the viewpoint as described above, or by an arbitrary method of sampling the celestial sphere centered at the center of the target object at equal intervals. .
The index of the distance between the template creation viewpoint and the shooting viewpoint is not limited to the angle between the template creation viewpoint vector and the shooting viewpoint vector, and the Euclidean distance or the geodesic distance between the template creation viewpoint and the shooting viewpoint may be used.
If the template creation viewpoint is far from the shooting viewpoint, for example, if the angle formed by the template creation viewpoint vector and the shooting viewpoint vector is greater than or equal to a predetermined threshold value, step S105 is performed for such a shooting viewpoint. may not be projected. Since it is possible to determine whether or not a point is visible from the template creation viewpoint based on the normal vector of the measurement point of the target object, the projection processing in step S105 may not be performed for points that are not visible from the template creation viewpoint. good.

なお、以下には本発明の構成要件と実施例の構成とを対比可能とするために、本発明の構成要件を図面の符号付きで記載しておく。
＜発明１＞
視点から見た対象物体（２７）に対応するテンプレートを作成するテンプレート作成装置（３０）であって、
前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成視点位置姿勢データ取得部（３０２）と、
前記対象物体（２７）の３次元計測データを取得する３次元計測データ取得部（３００）と、
前記対象物体（３７）を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部（３０１）と、
異なる前記計測視点に対応する前記３次元計測データを前記テンプレート作成視点に対する所定の平面に投影し、投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する基礎３次元データ生成部（３０３）と、
を備え、
前記基礎３次元データ生成部（３０３）は、前記テンプレート作成視点に対する距離がより近い前記計測視点を選択し、選択された該計測視点に対応する前記３次元計測データを、前記基礎３次元データを生成するために優先して用いることを特徴とするテンプレート作成装置（３０）。In order to allow comparison between the constituent elements of the present invention and the configurations of the embodiments, the constituent elements of the present invention will be described below with reference numerals in the drawings.
<Invention 1>
A template creation device (30) for creating a template corresponding to a target object (27) viewed from a viewpoint,
a template creation viewpoint position and orientation data acquisition unit (302) for acquiring data relating to the position and orientation of the template creation viewpoint as the viewpoint for creating the template;
a three-dimensional measurement data acquisition unit (300) for acquiring three-dimensional measurement data of the target object (27);
a measurement viewpoint position/orientation data acquisition unit (301) for acquiring data relating to the position and orientation of a measurement viewpoint as a viewpoint for three-dimensionally measuring the target object (37);
The three-dimensional measurement data corresponding to the different measurement viewpoints are projected onto a predetermined plane with respect to the template creation viewpoint, and basic three-dimensional data for extracting a feature amount is generated based on the projected three-dimensional measurement data. A basic three-dimensional data generation unit (303) to
with
The basic three-dimensional data generation unit (303) selects the measurement viewpoint having a closer distance to the template creation viewpoint, and converts the three-dimensional measurement data corresponding to the selected measurement viewpoint into the basic three-dimensional data. A template creation device (30) characterized by being preferentially used for creating.

２：物体認識装置
２１：画像処理装置
２７：対象物体
３０：テンプレート作成装置
３１：物体認識処理装置
３００：複数視点３次元計測データ取得部
３０１：撮影視点３次元位置姿勢データ取得部
３０２：テンプレート作成視点位置情報取得部
３０３：テンプレート作成視点の３次元データ生成部
３１０：画像取得部
３１２：特徴抽出部
３１４：テンプレートマッチング部2: Object recognition device 21: Image processing device 27: Target object 30: Template creation device 31: Object recognition processing device 300: Multi-viewpoint 3D measurement data acquisition unit 301: Shooting viewpoint 3D position and orientation data acquisition unit 302: Template creation Viewpoint position information acquisition unit 303: Template creation Viewpoint three-dimensional data generation unit 310: Image acquisition unit 312: Feature extraction unit 314: Template matching unit

Claims

視点から見た対象物体に対応するテンプレートを作成するテンプレート作成装置であって、
前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成視点位置姿勢データ取得部と、
前記対象物体の３次元計測データを取得する３次元計測データ取得部と、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部と、
異なる前記計測視点に対応する前記３次元計測データを前記テンプレート作成視点に対する所定の平面に投影し、投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する基礎３次元データ生成部と、
前記基礎３次元データに基づいて前記特徴量を抽出する特徴抽出部と、
前記テンプレート作成視点のそれぞれについて、該テンプレート作成視点に対して抽出された前記特徴量に基づいて、前記テンプレートを作成するテンプレート作成部と、
を備え、
前記基礎３次元データ生成部は、前記テンプレート作成視点に対する距離がより近い前記計測視点を選択し、選択された該計測視点に対応する前記３次元計測データを、前記基礎３次元データを生成するために優先して用いることを特徴とするテンプレート作成装置。 A template creation device for creating a template corresponding to a target object viewed from a viewpoint,
a template creation viewpoint position/orientation data acquisition unit that acquires data relating to the position and orientation of a template creation viewpoint as the viewpoint for creating the template;
a three-dimensional measurement data acquisition unit that acquires three-dimensional measurement data of the target object;
a measurement viewpoint position/orientation data acquisition unit that acquires data relating to the position and orientation of a measurement viewpoint as a viewpoint for three-dimensionally measuring the target object;
The three-dimensional measurement data corresponding to the different measurement viewpoints are projected onto a predetermined plane with respect to the template creation viewpoint, and basic three-dimensional data for extracting a feature amount is generated based on the projected three-dimensional measurement data. a basic three-dimensional data generation unit to
a feature extraction unit that extracts the feature amount based on the basic three-dimensional data;
a template creation unit that creates the template for each of the template creation viewpoints based on the feature amount extracted for the template creation viewpoint;
with
The basic three-dimensional data generation unit selects the measurement viewpoint having a closer distance to the template creation viewpoint, and converts the three-dimensional measurement data corresponding to the selected measurement viewpoint to generate the basic three-dimensional data. A template creation device characterized in that it is used preferentially to

前記基礎３次元データ生成部は、前記基礎３次元データのうち、前記所定の平面に投影された、より優先される前記３次元計測データに含まれない部分を、前記３次元計測データを前記所定の平面に投影されたデータによって補うことを特徴とする請求項１に記載のテンプレート作成装置。 The basic three-dimensional data generation unit converts a portion of the basic three-dimensional data projected onto the predetermined plane, which is not included in the three-dimensional measurement data with higher priority, into the three-dimensional measurement data as the predetermined 2. The template creation apparatus according to claim 1, wherein the data projected onto the plane of the template is supplemented.

前記対象物体を含む画像を取得する画像取得部と、
前記取得された画像から前記特徴量を抽出する特徴抽出部と、
請求項１又は２に記載のテンプレート作成装置によって作成されたテンプレートを用いたテンプレートマッチングにより前記取得された画像に含まれる前記対象物体を認識する
テンプレートマッチング部と、
を備えた物体認識処理装置。 an image acquisition unit that acquires an image including the target object;
a feature extraction unit that extracts the feature amount from the acquired image;
A template matching unit that recognizes the target object included in the acquired image by template matching using a template created by the template creation device according to claim 1 or 2;
object recognition processing device.

視点から見た対象物体に対応するテンプレートを作成するテンプレート作成方法であって、
前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関する情報を取得するステップと、
前記対象物体の３次元計測データを取得するステップと、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得するステップと、
前記テンプレート作成視点に対する距離がより近い前記計測視点を選択するステップと、
前記選択された前記計測視点に対応する前記３次元計測データを、前記テンプレート作成視点に対する所定の平面に投影するステップと、
前記投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する際に、前記距離がより近い前記計測視点に対応する前記３次元計測データを優先して用いて基礎３次元データを生成するステップと、
前記基礎３次元データに基づいて前記特徴量を抽出するステップと、
前記テンプレート作成視点のそれぞれについて、該テンプレート作成視点に対して抽出された前記特徴量に基づいて、前記テンプレートを作成するステップと、
を含むテンプレート作成方法。 A template creation method for creating a template corresponding to a target object viewed from a viewpoint, comprising:
obtaining information about the position and orientation of a template creation viewpoint as the viewpoint for creating the template;
obtaining three-dimensional measurement data of the target object;
acquiring data on the position and orientation of a measurement viewpoint as a viewpoint for three-dimensionally measuring the target object;
selecting the measurement viewpoint having a closer distance to the template creation viewpoint;
a step of projecting the three-dimensional measurement data corresponding to the selected measurement viewpoint onto a predetermined plane with respect to the template creation viewpoint;
When generating basic three-dimensional data for extracting a feature amount based on the projected three-dimensional measurement data, giving priority to the three-dimensional measurement data corresponding to the measurement viewpoint closer to the distance. generating basic three-dimensional data using
a step of extracting the feature amount based on the basic three-dimensional data;
creating the template for each of the template creation viewpoints based on the feature amount extracted for the template creation viewpoint;
Template creation method including.

テンプレートを用いて対象物体を認識する物体認識処理方法であって、
前記対象物体を含む画像を取得するステップと、
前記取得された画像から前記特徴量を抽出するステップと、
請求項４に記載のテンプレート作成方法により作成されたテンプレートを用いたテンプレートマッチングにより前記対象物体を認識するステップと、
を含む物体認識処理方法。 An object recognition processing method for recognizing a target object using a template,
obtaining an image containing the target object;
extracting the feature quantity from the acquired image;
a step of recognizing the target object by template matching using a template created by the template creation method according to claim 4;
An object recognition processing method comprising:

請求項４に記載のテンプレート作成方法の各ステップをコンピュータに実行させるためのプログラム。 A program for causing a computer to execute each step of the template creation method according to claim 4.

請求項５に記載の物体認識処理方法の各ステップをコンピュータに実行させるためのプログラム。 A program for causing a computer to execute each step of the object recognition processing method according to claim 5.