JP7251631B2 - テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム - Google Patents

Description

本発明は、テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラムに関する。

画像から物体を認識（検出）する方法の一つとしてテンプレートマッチングがある。テンプレートマッチングは、認識対象となる物体のモデル（テンプレート）を予め用意しておき、入力画像とモデルとの間の画像特徴の一致度を評価することで入力画像に含まれる物体を検出する方法である。テンプレートマッチングによる物体認識は、例えばＦＡ（Factory Automation）における検査やピッキング、ロボットビジョン、監視カメラなど、多岐にわたる分野で利用されている。

このようなテンプレートは、認識対象となる物体（以下、「対象物体」ともいう。）の３ＤＣＡＤデータを用いて作成することができる。しかし、対象物体の３ＤＣＡＤデータがない場合や、３ＤＣＡＤデータと実際の対象物体との差異が大きい場合のように、３ＤＣＡＤデータと用いることができない、又は適切でない場合がある。このような場合には、実際の対象物体を３次元計測した３次元計測データを用いてテンプレートを作成する。

従来、様々な視点で計測した３次元点群データを統合する際には、視野が重なっている領域では近傍にある点群データを統合する必要があった。このため、位置姿勢の認識誤差やノイズ等を含んだデータを平均化することで細部の形状情報が失われるという課題があった。（例えば、特許文献１参照）。

また、特許文献２に記載された技術では、３次元空間上に設定したボクセル（立方体の箱）に各視点からの３次元計測データを重みづけして累積していく。このため、計測誤差やノイズ、視点の位置姿勢認識誤差も蓄積されていき、角や細かな形状は丸められたり消失したりする。また、物体表面のテクスチャも同様に平均化されることでぼけたり消失したりする。

このようにして統合して作成された３次元形状をもとに物体認識用のテンプレート作成を行うと、実物の異なる形状やテクスチャのテンプレートが作成されてしまい認識精度が低下するという課題があった。

特許第６２９８０３５号公報 米国特許第９０５３５７１号明細書

本発明は、上記のような問題に鑑みてなされたものであり、異なる視点で計測した３次元計測データを用いて物体認識用のテンプレートを作成する際に、細かな形状やテクスチャが失われることなく実物に近いテンプレートを作成することができる技術を提供することを目的とする。

上記の課題を解決するための本発明は、
視点から見た対象物体に対応するテンプレートを作成するテンプレート作成装置であって、
前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成視点位置姿勢データ取得部と、
前記対象物体の３次元計測データを取得する３次元計測データ取得部と、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部と、
異なる前記計測視点に対応する前記３次元計測データを前記テンプレート作成視点に対する所定の平面に投影し、投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する基礎３次元データ生成部と、
を備え、
前記基礎３次元データ生成部は、前記テンプレート作成視点に対する距離がより近い前記計測視点を選択し、選択された該計測視点に対応する前記３次元計測データを、前記基礎３次元データを生成するために優先して用いることを特徴とするテンプレート作成装置である。

本発明によれば、異なる計測視点で計測した３次元計測データから、特徴量を抽出するための基礎３次元データを生成する際に、テンプレート作成視点に対する距離がより近い計測視点に対応する３次元計測データを優先して用いるので、異なる計測視点で計測した３次元計測データを均して細かな形状やテクスチャが失われることない。従って、実物に近いテンプレートを作成することができる。

本発明において、テンプレート作成視点に対する計測視点の距離は、種々の方法で評価することができる。例えば、テンプレート作成視点から対象物体の中心までのベクトルと、計測視点から対象物体の中心までのベクトルのなす角度の大きさによって評価してもよいし、両視点間のユークリッド距離や測地線距離によって評価してもよく、これらに限られない。

また、本発明において、３次元計測データは、３次元計測によって取得される、各点が３次元情報をもつ複数の点から構成されるデータである。点群データのように、各点がカメラ座標系における３次元座標値をもつ形式のデータでもよいし、２次元画像の各点（各画素）にデプス値（奥行き距離の情報）が関連づけられた形式のデータでもよい。

また、本発明において、テンプレート作成視点に対する所定の平面は、テンプレートによる物体認識の対象となる画像を取得する画像取得部をＣＣＤカメラによって構成する場合の、ＣＣＤカメラの焦点に対するＣＣＤ平面のような画像平面である。異なる計測視点に対応する３次元計測データをテンプレート作成視点に対する所定の平面に投影し、投影された３次元計測データに基づいて、特徴量を抽出するための対象となる基礎３次元データを生成する際に、３次元空間上で３次元計測データを統合して生成する場合に比べて、メモリ使用量を小さくでき、処理時間も短縮できる。

本発明において、
前記基礎３次元データ生成部は、前記基礎３次元データのうち、前記所定の平面に投影された、より優先される前記３次元計測データに含まれない部分を、前記３次元計測データを前記所定の平面に投影されたデータによって補うようにしてもよい。

このようにすれば、基礎３次元データを生成する際に、より優先される計測視点に対応する３次元計測データが選択的に用いられるので、異なる計測視点に対応する３次元計測データが均されることがなく、対象物体の細かな形状やテクスチャが失われることない。従って、実物に近いテンプレートを作成することができる。

また、本発明は、
前記対象物体を含む画像を取得する画像取得部と、
前記取得された画像から特徴量を抽出する特徴抽出部と、
前記テンプレート作成装置によって作成されたテンプレートを用いたテンプレートマッチングにより前記取得された画像に含まれる前記対象物体を認識するテンプレートマッチング部と、
を備えた物体認識処理装置である。

本発明によれば、対象物体の細かな形状やテクスチャを反映した実物に近いテンプレートによって物体認識が行われるので、より高精度の物体認識が可能となる。

また、本発明は、
視点から見た対象物体に対応するテンプレートを作成するテンプレート作成方法であって、
前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関する情報を取得するステップと、
前記対象物体の３次元計測データを取得するステップと、
前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得するステップと、
前記テンプレート作成視点に対する距離がより近い前記計測視点を選択するステップと、
前記選択された前記計測視点に対応する前記３次元計測データを、前記テンプレート作成視点に対する所定の平面に投影するステップと、
前記投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する際に、前記距離がより近い前記計測視点に対応する前記３次元計測データを優先して用いて基礎３次元データを生成するステップと、
を含むテンプレート作成方法である。

本発明によれば、異なる計測視点で計測した３次元計測データから、特徴量を抽出するための基礎３次元データを生成する際に、テンプレート作成視点に対する距離がより近い計測視点に対応する３次元計測データを優先して用いるので、異なる計測視点で計測した３次元計測データを均して細かな形状やテクスチャが失われることない。従って、実物に近いテンプレートを作成することができる。
また、本発明に含まれる各ステップの順序は、記載された順序に限定されるものではない。

本発明において、テンプレート作成視点に対する計測視点の距離は、種々の方法で評価することができる。例えば、テンプレート作成視点から対象物体の中心までのベクトルと、計測視点から対象物体の中心までのベクトルのなす角度の大きさによって評価してもよいし、両視点間のユークリッド距離や測地線距離によって評価してもよく、これらに限られない。

また、本発明において、３次元計測データは、３次元計測によって取得される、各点が３次元情報をもつ複数の点から構成されるデータである。点群データのように、各点がカメラ座標系における３次元座標値をもつ形式のデータでもよいし、２次元画像の各点（各画素）にデプス値（奥行き距離の情報）が関連づけられた形式のデータでもよい。

また、本発明は、
テンプレートを用いて対象物体を認識する物体認識処理方法であって、
前記対象物体を含む画像を取得するステップと、
前記取得された画像から特徴量を抽出するステップと、
前記テンプレート作成方法により作成されたテンプレートを用いたテンプレートマッチングにより前記対象物体を認識するステップと、
を含む物体認識処理方法である。

本発明によれば、対象物体の細かな形状やテクスチャを反映した実物に近いテンプレートによって物体認識が行われるので、より高精度の物体認識が可能となる。

また、本発明は、
前記テンプレート作成方法の各ステップをコンピュータに実行させるためのプログラムである。

また、本発明は、
前記物体認識方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明によれば、異なる視点で計測した３次元計測を用いて物体認識用のテンプレートを作成する際に、細かな形状やテクスチャが失われることなく実物に近いテンプレートを作成することができる技術を提供することが可能となる。

本発明の実施形態における物体認識装置の全体構成の一例を示す図である。 本発明の実施例形態における物体認識装置の機能ブロック図である。 本発明の実施形態におけるテンプレート作成処理の一例を示すフローチャートである。 本発明の実施形態における対象物体の撮影及び撮影視点位置姿勢の取得構成を説明する図である。 本発明の実施形態におけるテンプレート作成視点と撮影視点との関係を説明するである。 本発明の実施形態に対する画像平面上での統合処理を模式的に示す図である。 本発明の実施形態における物体認識処理の一例を示すフローチャートである。 本発明の適用例を説明する図である。

〔適用例〕
以下、本発明の適用例について、図面を参照しつつ説明する。
図８は、本発明におけるテンプレート作成方法の原理を説明する図である。
図８（Ａ）は、視点ＶＰからの対象物体２２７のテンプレートを作成する例である。ここでは、視点ＶＰから対象物体２２７の中心２２７ｃに至る矢印を実線で表示している。

従来は、視点ＶＰから対象物体２２７のテンプレートを作成する場合には、ＩＭＰａ，ＩＭＰｂ，ＩＭＰｃの複数の異なる視点から対象物体２２７を３次元センサ２２０によって取得された３次元計測データを３次元空間上で統合していた。視点ＩＭＰａ，ＩＭＰｂ，ＩＭＰｃからそれぞれ取得された３次元計測データＩＭａ，ＩＭｂ，ＩＭｃを図８（Ｂ）の左側に模式的に示す。このとき、３次元センサ２２０の視点位置姿勢認識の誤差や、計測誤差、ノイズ等により、各３次元計測データ図８（Ｂ）の左側に示すように、３次元計測データＩＭａ，ＩＭｂ，ＩＭｃは必ずしも一致しない。このような３次元計測データを３次元空間で統合されたデータＩＭ０では、図８（Ｂ）の右側に示すように、各３次元計測データが平均化されることにより、対象物体の形状が均されてしまう。

これに対して、本発明では、視点ＶＰから対象物体２２７のテンプレートを作成する場合には、複数の異なる視点から対象物体２２７を３次元センサ２２０によって取得された３次元計測データのうち、視点位置がテンプレート作成視点ＶＰの位置に最も近いデータをテンプレート作成視点ＶＰの画像平面上に投影したものを優先して用いる。そして、テンプレート作成視点ＶＰの画像平面上に投影されていない画素を、テンプレート作成視点ＶＰの位置から遠い視点位置からの対象物体の３次元計測データの投影によって補う。
このため、３次元センサ２２０の視点位置姿勢認識の誤差はあるものの、対象物体２２７の形状情報は失われない。
また、３次元センサによって取得された３次元計測データを３次元空間上で統合するのではなく、テンプレート作成視点ＶＰの画像平面上に投影した２次元データとして統合するため、メモリ使用量が少なく、処理時間を短縮することができる。

〔実施形態〕
（物体認識装置の全体構成）
図１を参照して、本発明の実施形態に係る物体認識装置について説明する。

物体認識装置２は、物品の組み立てや加工などを行う生産ラインに設置され、センサユニット２０から取り込まれたデータを用いて、テンプレートマッチングによりトレイ２６に積載された物体２７の位置・姿勢を認識（３次元の物体認識）するシステムである。トレイ２６上には、認識対象の物体２７がバラ積みされている。

物体認識装置２は、概略、センサユニット２０と画像処理装置２１から構成される。センサユニット２０と画像処理装置２１のあいだは有線又は無線で接続されており、センサユニット２０の出力は画像処理装置２１に取り込まれる。画像処理装置２１は、センサユニット２０から取り込まれたデータを用いて各種の処理を行うデバイスである。画像処理装置２１の処理としては、例えば、距離計測（測距）、３次元形状認識、物体認識、シーン認識などが含まれてもよい。物体認識装置２の認識結果は、例えばＰＬＣ（プログラマブルロジックコントローラ）２５やディスプレイ２２などに出力される。認識結果は、例えば、ピッキング・ロボット２８の制御、加工装置や印字装置の制御、対象物体２７の検査や計測などに利用される。

（センサユニット）
センサユニット２０は、対象物体２７の光学像を撮影するためのカメラを少なくとも有する。さらに、センサユニット２０は、対象物体２７の３次元計測を行うために必要な構成（センサ、照明装置、投光装置など）を含んでもよい。例えば、ステレオマッチング（ステレオビジョン、ステレオカメラ方式などとも呼ばれる。）によって奥行き距離を計測する場合には、センサユニット２０に複数台のカメラが設けられる。アクティブステレオの場合はさらに、対象物体２７にパターン光を投射する投光装置がセンサユニット２０に設けられる。空間コード化パターン投影方式により３次元計測を行う場合には、パターン光を投射する投光装置とカメラがセンサユニット２０に設けられる。他にも、照度差ステレオ法、ＴＯＦ（タイムオブフライト）法、位相シフト法など、対象物体２７の３次元情報を取得可能な方法であればいかなる方式を用いてもよい。

（画像処理装置）
画像処理装置２１は、例えば、ＣＰＵ（プロセッサ）、ＲＡＭ（メモリ）、不揮発性記憶装置（ハードディスク、ＳＳＤなど）、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、ＣＰＵが、不揮発性記憶装置に格納されたプログラムをＲＡＭに展開し、当該プログラムを実行することによって、後述する各種の構成が実現される。ただし、画像処理装置２１の構成はこれに限られず、後述する構成のうちの全部又は一部を、ＦＰＧＡやＡＳＩＣなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

図２は、画像処理装置２１の構成を示すブロック図である。画像処理装置２１は、テンプレート作成装置３０の構成と、物体認識処理装置３１の構成を有している。
テンプレート作成装置３０は、物体認識処理で利用するテンプレートを作成するための構成であり、複数視点３次元計測データ取得部３００、撮影視点３次元位置姿勢データ取得部３０１、テンプレート作成視点位置情報取得部３０２、テンプレート作成視点の３次元データ生成部３０３、特徴抽出部３０４、テンプレート作成部３０５、テンプレート情報出力部３０６を有する。本実施形態では、複数視点３次元計測データ取得部３００が本発明の「３次元計測データ取得部」に対応する。また、本実施形態では、撮影視点３次元位置姿勢データ取得部３０１が本発明の「計測視点位置姿勢データ取得部」に対応する。また、本実施形態では、テンプレート作成視点位置情報取得部３０２が本発明の「テンプレート作成視点位置姿勢データ取得部」に対応する。そして、本実施形態では、テンプレート作成視点の３次元データ生成部３０３が本発明の「基礎３次元データ生成部」に対応する。
物体認識処理装置３１は、テンプレートマッチングによる物体認識処理を実行するための構成であり、画像取得部３１０、画像ピラミッド作成部３１１、特徴抽出部３１２、テンプレート情報取得部３１３、テンプレートマッチング部３１４、認識結果出力部３１５を有する。本実施形態では、画像取得部３１０、特徴抽出部３１２、テンプレートマッチング部３１４が、それぞれ本発明の「画像取得部」、「特徴抽出部」、「テンプレートマッチング部」に対応する。

（テンプレート作成処理）
図３のフローチャートを参照して、テンプレート作成装置３０によるテンプレート作成処理の一例を説明する。

ステップＳ１０１において、テンプレート作成視点の３次元データ生成部３０３が、異なる視点から撮影した対象物体の３次元計測データ、撮影視点の３次元位置姿勢に関する情報、テンプレート作成視点位置に関する情報を取得する。ここでは、複数の異なる視点からの対象物体の３次元計測データは、複数視点３次元計測データ取得部３００によって取得される。このため、テンプレート作成視点の３次元データ生成部３０３は、異なる視点から撮影した対象物体の３次元計測データを、この複数視点３次元計測データ取得部３００から取得する。また、複数視点３次元計測データ取得部が複数の異なる視点から対象物体を撮影して当該対象物体の３次元計測データを取得する際の撮影視点の３次元位置姿勢データが、撮影視点３次元位置姿勢データ取得部３０１によって取得される。このため、テンプレート作成視点の３次元データ生成部３０３は、撮影視点の３次元位置姿勢に関する情報を、この撮影視点３次元位置姿勢データ取得部３０１から取得する。そして、テンプレート作成視点の位置姿勢に関するデータは、テンプレート作成視点位置情報取得部３０２によって取得されるので、テンプレート作成視点の３次元データ生成部３０３は、テンプレート作成視点位置姿勢に関するデータを、テンプレート作成視点位置情報取得部３０２から取得する。本実施形態では、撮影視点が本発明の「計測視点」に対応する。

図４は、異なる複数の視点から対象物体の３次元計測データ及び撮影視点の３次元位置姿勢に関する情報を取得する構成の概略を説明する図である。
対象物体２７に対して、３次元センサ２２０を所定の位置姿勢に配置して、対象物体２７の３次元計測データを取得（撮影）するとともに、撮影視点の位置姿勢情報を取得する。３次元センサ２２０によって対象物体を複数の異なる視点から撮影して３次元計測データを取得する場合には、３次元センサ２２０を固定して、対象物体２７の姿勢を変えるようにしてもよいし、対象物体２７を固定して、３次元センサ２２０の姿勢を変えるようにしてもよく、３次元センサ２２０と対象物体２７の相対的な位置関係が変わればよい。図４では、３次元センサ２２０によって載置面３２上に載置された対象物体２７を撮影して３次元計測データを取得する場合の一例を示す。ここでは、３次元センサ２２０を固定して、載置面３２の姿勢を変えてもよいし、載置面３２の姿勢を固定し、３次元センサ２２０の姿勢を変えるようにしてもよい。
また、撮影視点の３元位置姿勢は、対象物体の載置面３２に表示された平面マーカ３３や、載置面に対して固定して配置された参照物体（３ＤＣＡＤデータ等により形状が分かっている物体）を認識することによって取得してもよいし、対象物体の載置面３２をゴニオステージ上に設けることによって取得してもよい。

図５は、テンプレート作成視点と撮影視点との例を示している。この例では、対象物体２７を包含する正八十面体の４２個の頂点をテンプレート作成視点ＶＰとし、ここでは一つの頂点ＶＰ１（黒丸で図示）にテンプレート作成視点を設定している。なお、テンプレート作成視点ＶＰの数や配置は、要求される分解能、対象物体２７の形状や取り得る姿勢などに応じて適宜設定すればよい。テンプレート作成視点ＶＰの数や位置は、ユーザが指定したものを、テンプレート作成視点位置情報取得部３０２が取得するようにしてもよいし、テンプレート作成視点位置情報取得部３０２が自動で設定したものを保持しておくようにしてもよい。図５に示す例では、正八十面体の中心に対象物体を配置しているので、この正八十面体の頂点の位置を指定することで、テンプレート作成視点の位置とともに姿勢も一義的に定まるが、テンプレート作成視点の位置姿勢の設定方法はこれに限られない。なお、図５では、正八十面体の頂点のうち、紙面手前側に存在する頂点を白丸で示している。

図５において、矢印ＩＭＰ１、矢印ＩＭＰ２及び矢印ＩＭＰ３がそれぞれ第１の撮影視点、第２の撮影視点及び第３の撮影視点を示す。ここでは、例として３つの撮影視点を示しているが、これに限られるものではない。

図３のフローチャートに戻り、ステップＳ１０２において、テンプレートを作成していない視点位置を選択する。ここでは、テンプレートを作成していない視点位置として、図５の黒丸の視点位置が選択されたものとする。

次に、ステップＳ１０３において、テンプレート作成視点ベクトルと全ての撮影視点ベクトルとの角度を算出する。ここでは、全ての撮影視点が、矢印ＩＭＰ１、矢印ＩＭＰ２、矢印ＩＭＰ３であるとする。
テンプレート作成視点ベクトルとは、テンプレート作成視点ＶＰから対象物体の中心に向かうベクトルである。図５において黒丸で示されるテンプレート作成視点については、テンプレート作成視点ベクトルは、正八十面体の黒丸で示される頂点から、この正八十面体の中心に一致するように配置された対象物体の中心に向うベクトルである。そして、撮影視点ベクトルとは、複数視点３次元計測データ取得部３００によって対象物体２７を撮影する際の、撮影視点から対象物体の中心に向うベクトルである。図５において、第１の撮影視点、第２の撮影視点及び第３の撮影視点に対応する撮影視点ベクトルは、それぞれ矢印ＩＭＰ１、矢印ＩＭＰ２及び矢印ＩＭＰ３の方向ベクトルである。
ここでは、黒丸で示された正八十面体の頂点から中心に向かうベクトルと、矢印ＩＭＰ１、矢印ＩＭＰ２及び矢印ＩＭＰ３の方向のベクトルとの角度を算出する。

ステップＳ１０４において、未投影の撮影視点、計測データの中から最も角度が小さいものを選択する。ここでは、全ての撮影視点が未投影であるとする。図５の例では、矢印ＩＭＰ１の撮影視点に対する撮影視点ベクトルとテンプレート作成視点ベクトルとの角度が最も小さいので、矢印ＩＭＰ１で示される第１の撮影視点と、この第１の撮影視点から撮影された３次元計測データを選択する。

次に、ステップＳ１０５において、矢印ＩＭＰ１で示される第１の撮影視点から、複数視点３次元計測データ取得部３００によって撮影された３次元計測データを、ステップＳ１０２で選択されたテンプレート作成視点ＶＰ１に対する画像平面に投影する。図６（Ａ）は、矢印ＩＭＰ１で示される第１の撮影視点から撮影された３次元計測データを画像平面に投影した画像を模式的に示したものである。図６（Ａ）～（Ｃ）では、各撮影視点からの３次元計測データに対応する部分を実線で示し、比較のために統合後のデータを破線で示している。本実施形態では、画像平面が、本発明の「所定の平面」に対応する。

このように、テンプレート作成視点に対する画像平面上に、異なる撮影視点から撮影された３次元計測データを投影し、該平面上で統合処理を行うようにしたので、メモリ使用量が小さく処理時間も短縮できる。

そして、ステップＳ１０６において、全ての撮影視点について、当該撮影視点から撮影された３次元計測データを、テンプレート作成視点ＶＰ１に対する画像平面に投影したか否かを判断する。

ステップＳ１０６において、Ｎｏと判断された場合、すなわち、全ての撮影視点のうち、当該撮影視点から撮影された３次元計測データのうち、テンプレート作成視点ＶＰ１に対する画像平面に投影していない撮影視点が存在している場合には、ステップＳ１０４に戻る。図５の例では、未投影の撮影視点のうちで、テンプレート作成視点ベクトルとなす角度が最も小さい、矢印ＩＭＰ３で示される第３の撮影視点からの撮影視点ベクトルと、この第３の撮影視点から撮影された３次元計測データを選択し、ステップＳ１０５に進む。同様に、次に、ステップＳ１０６からステップＳ１０４に戻った際には、矢印ＩＭＰ２で示される第２の撮影視点からの撮影視点ベクトルと、第２の撮影視点から撮影された３次元計測データが選択される。図６（Ｂ）は、矢印ＩＭＰ３で示される第３の撮影視点から撮影された３次元計測データを画像平面に投影した画像を模式的に示したものである。そして、図６（Ｃ）は、矢印ＩＭＰ２で示される第２の撮影視点から撮影された３次元計測データを画像平面に投影した画像を模式的に示したものである。このように、第１の撮影視点から第３の撮影視点からの３次元計測データを画像平面に投影して統合した画像を図６（Ｄ）に模式的に示す。

このように、テンプレート作成視点から近い撮影視点から順に、テンプレート作成視点に対する画像平面に投影し、撮影点群データが存在しない画素、すなわち、より優先される撮影点群データに含まれない部分について他の撮影視点からの点群データを補う。これにより、対象物体の細かな形状やテクスチャが失われることがなく、実物に近いテンプレートの作成が可能となる。

ステップＳ１０６において、Ｙｅｓと判断された場合、すなわち、全ての撮影視点について、当該撮影視点から撮影された３次元計測データを、テンプレート作成視点ＶＰ１に対する画像平面に投影したと判断された場合には、ステップＳ１０７に進む。

ステップＳ１０７においては、特徴抽出部３０４が、ステップＳ１０２で選択されたテンプレート作成視点ＶＰ１に対する画像平面に投影された全撮影視点からの対象物体２７の３次元計測データに基づいて、対象物体２７の画像特徴を抽出する。画像特徴としては、例えば、輝度、色、輝度勾配方向、量子化勾配方向、ＨｏＧ（Histogram of Oriented Gradients）、表面の法線方向、ＨＡＡＲ－ｌｉｋｅ、ＳＩＦＴ（Scale-Invariant Feature Transform）などを用いることができる。輝度勾配方向は、特徴点を中心とする局所領域での輝度の勾配の方向（角度）を連続値で表すものであり、量子化勾配方向は、特徴点を中心とする局所領域での輝度の勾配の方向を離散値で表す（例えば、８方向を０～７の１バイトの情報で保持する）ものである。特徴抽出部３０４は、テンプレート作成視点に対する画像平面に投影された画像６０の全ての点（画素）について画像特徴を求めてもよいし、所定の規則に従ってサンプリングした一部の点について画像特徴を求めてもよい。画像特徴が得られた点を特徴点と呼ぶ。

ステップＳ１０８において、テンプレート作成部３０５が、ステップＳ１０７で抽出された画像特徴に基づいて、テンプレート作成視点ＶＰ１に対応するテンプレートを作成する。テンプレートは、例えば、各特徴点の座標値と抽出された画像特徴とを含むデータセットである。

ステップＳ１０２～Ｓ１０８の処理が、ステップＳ１０１で取得された全てのテンプレート作成視点ＶＰについて行われる（ステップＳ１０９）。全てのテンプレート作成視点ＶＰについてテンプレートの作成が完了すると、テンプレート作成部３０５は、テンプレート情報出力部３０６を介して、テンプレートのデータを物体認識処理装置３１に出力する（ステップＳ１１０）。

（物体認識処理）
図７のフローチャートを参照して、物体認識処理装置３１による物体認識処理方法の一例を説明する。

まず、ステップＳ２０１において、テンプレート情報取得部３１３は、テンプレート作成装置３０のテンプレート情報出力部３０６から出力されるテンプレートのデータを取得し、テンプレートマッチング部３１４に供給する。

次に、ステップＳ２０２において、画像取得部３１０が、対象物体を含み、物体認識処理の対象となる画像を取得する。この画像は、画像処理装置２１の内部記憶装置から読み込んでもよいし、外部のストレージ等からネットワークを介して取得してもよい。また、センサユニット２０で撮影された画像を取得するようにしてもよい。なお、認識結果をピッキング・ロボット２８の制御に用いる場合には、センサユニット２０をピッキング・ロボット２８のアームに取り付けるようにしてもよい。

次に、ステップＳ２０３において、画像ピラミッド作成部３１１が、画像取得部３１０によって取得された画像から低解像度画像を生成し、画像ピラミッドを生成する。例えば、第１層画像として１６０画素×１２０画素、第２層画像として３２０画素×２４０画素等のように低解像度画像から高解像度画像へと解像度を段階的に異ならせた複数の画像から画像ピラミッドを構成することができる。

次に、ステップＳ２０４において、特徴抽出部３１２は、画像ピラミッドを構成する各層画像に対して画像特徴を抽出する。抽出される画像特徴は、テンプレート作成の際の画像特徴と同種の特徴量である。画像ピラミッドの最上層である第１層画像（最も解像度が低い画像）に対する画像特徴の抽出の結果として、第１層画像と同じ解像度を有し、第１層画像の各画素位置で抽出された特徴量データを画素値としてもつ画像（以下、「第１層特徴画像」ともいう。）が得られる。同様に、第２層画像に対する画像特徴の抽出の結果として、第２層特徴画像が得られる。

次に、ステップＳ２０５において、テンプレートマッチング部３１４は、テンプレート情報取得部３１３から供給される視点ごとのテンプレートのデータと、各テンプレートのデータに対応する特徴抽出部３１２算出した各特徴量とを用いてテンプレートマッチングを行う。
ここでは、テンプレートマッチング部３１４は、まず、第１層特徴画像と第１層用の視点ごとのテンプレートを用いてマッチング処理を行う。テンプレートマッチング部３１４は、第１層用の視点ごとのテンプレートを用いたマッチング処理の結果、正解候補となるテンプレートを検出すると、検出結果に基づき、第２層特徴画像の探索範囲を設定し、第２層特徴画像と第２層用の視点ごとのテンプレートを用いてマッチング処理を行う。第３層画像、第４層画像が存在する場合には、これらの層画像に対しても同様の処理が行われる。このような処理が行われる結果、最下層（最も画像の解像度が高い層）における物体の存在位置姿勢を認識することができる。

次に、ステップＳ２０６において、テンプレートマッチング部３１４は、対象物体の存在位置や姿勢などを認識すると、認識結果を示す認識情報を認識結果出力部３１５に出力する。認識結果出力部３１５は、テンプレートマッチング部３１４から供給される認識情報を、外部装置や液晶パネル等に出力する。認識情報は、例えば、対象物体の検査・計測や、ピッキング・ロボット２８の制御などに利用される。

（本実施形態の利点）
以上述べた構成及び処理では、異なる視点から撮影した対象物体の３次元計測データを３次元空間において統合処理するのではなく、異なる視点から撮影した対象物体の３次元計測データをテンプレート作成視点に対する画像平面に投影することにより得られたデータに基づいて、対象物体の画像特徴を抽出することにより、テンプレートのデータを生成している。このように、画像平面において統合処理を行うため、メモリ使用量が小さく処理時間も短縮できる。従って、テンプレート作成処理を高速化できる。
また、異なる視点から撮影した対象物体の３次元計測データのうち、テンプレート作成視点に近い視点の撮影点群データを優先的に使用して統合する。このように、テンプレート作成視点に近い視点の撮影点群データから順に画像平面に投影し、点群が存在しない画素だけを、他の撮影視点からの撮影点群データによって補う。このため、対象物体の細かな形状やテクスチャが失われることなく、実物に近いテンプレートを作成することができる。

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

また、テンプレート作成視点は、上述のように正多面体の頂点を視点として採用してもよいし、対象物体の中心を中心とする天球上を等間隔にサンプリングする任意の方法によって作成してもよい。
テンプレート作成視点と撮影視点との距離の指標は、テンプレート作成視点ベクトルと撮影視点ベクトルとの角度に限られず、テンプレート作成視点と撮影視点間のユークリッド距離や測地線距離を用いてもよい。
また、テンプレート作成視点と撮影視点とが遠い場合、例えば、テンプレート作成視点ベクトルと撮影視点ベクトルとのなす角度が所定の閾値以上である場合には、そのような撮影視点に対しては、ステップＳ１０５の投影処理を行わないようにしてもよい。対象物体の計測点の法線ベクトルにより、テンプレート作成視点から見える点か否かを判別することができるので、テンプレート作成視点から見えない点については、ステップＳ１０５の投影処理を行わないようにしてもよい。

なお、以下には本発明の構成要件と実施例の構成とを対比可能とするために、本発明の構成要件を図面の符号付きで記載しておく。
＜発明１＞
視点から見た対象物体（２７）に対応するテンプレートを作成するテンプレート作成装置（３０）であって、
前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成視点位置姿勢データ取得部（３０２）と、
前記対象物体（２７）の３次元計測データを取得する３次元計測データ取得部（３００）と、
前記対象物体（３７）を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部（３０１）と、
異なる前記計測視点に対応する前記３次元計測データを前記テンプレート作成視点に対する所定の平面に投影し、投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する基礎３次元データ生成部（３０３）と、
を備え、
前記基礎３次元データ生成部（３０３）は、前記テンプレート作成視点に対する距離がより近い前記計測視点を選択し、選択された該計測視点に対応する前記３次元計測データを、前記基礎３次元データを生成するために優先して用いることを特徴とするテンプレート作成装置（３０）。

２：物体認識装置
２１：画像処理装置
２７：対象物体
３０：テンプレート作成装置
３１：物体認識処理装置
３００：複数視点３次元計測データ取得部
３０１：撮影視点３次元位置姿勢データ取得部
３０２：テンプレート作成視点位置情報取得部
３０３：テンプレート作成視点の３次元データ生成部
３１０：画像取得部
３１２：特徴抽出部
３１４：テンプレートマッチング部

Claims (7)

1. 視点から見た対象物体に対応するテンプレートを作成するテンプレート作成装置であって、
   前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成視点位置姿勢データ取得部と、
   前記対象物体の３次元計測データを取得する３次元計測データ取得部と、
   前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部と、
   異なる前記計測視点に対応する前記３次元計測データを前記テンプレート作成視点に対する所定の平面に投影し、投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する基礎３次元データ生成部と、
   前記基礎３次元データに基づいて前記特徴量を抽出する特徴抽出部と、
   前記テンプレート作成視点のそれぞれについて、該テンプレート作成視点に対して抽出された前記特徴量に基づいて、前記テンプレートを作成するテンプレート作成部と、
   を備え、
   前記基礎３次元データ生成部は、前記テンプレート作成視点に対する距離がより近い前記計測視点を選択し、選択された該計測視点に対応する前記３次元計測データを、前記基礎３次元データを生成するために優先して用いることを特徴とするテンプレート作成装置。
2. 前記基礎３次元データ生成部は、前記基礎３次元データのうち、前記所定の平面に投影された、より優先される前記３次元計測データに含まれない部分を、前記３次元計測データを前記所定の平面に投影されたデータによって補うことを特徴とする請求項１に記載のテンプレート作成装置。
3. 前記対象物体を含む画像を取得する画像取得部と、
   前記取得された画像から前記特徴量を抽出する特徴抽出部と、
   請求項１又は２に記載のテンプレート作成装置によって作成されたテンプレートを用いたテンプレートマッチングにより前記取得された画像に含まれる前記対象物体を認識する
   テンプレートマッチング部と、
   を備えた物体認識処理装置。
4. 視点から見た対象物体に対応するテンプレートを作成するテンプレート作成方法であって、
   前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関する情報を取得するステップと、
   前記対象物体の３次元計測データを取得するステップと、
   前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得するステップと、
   前記テンプレート作成視点に対する距離がより近い前記計測視点を選択するステップと、
   前記選択された前記計測視点に対応する前記３次元計測データを、前記テンプレート作成視点に対する所定の平面に投影するステップと、
   前記投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する際に、前記距離がより近い前記計測視点に対応する前記３次元計測データを優先して用いて基礎３次元データを生成するステップと、
   前記基礎３次元データに基づいて前記特徴量を抽出するステップと、
   前記テンプレート作成視点のそれぞれについて、該テンプレート作成視点に対して抽出された前記特徴量に基づいて、前記テンプレートを作成するステップと、
   を含むテンプレート作成方法。
5. テンプレートを用いて対象物体を認識する物体認識処理方法であって、
   前記対象物体を含む画像を取得するステップと、
   前記取得された画像から前記特徴量を抽出するステップと、
   請求項４に記載のテンプレート作成方法により作成されたテンプレートを用いたテンプレートマッチングにより前記対象物体を認識するステップと、
   を含む物体認識処理方法。
6. 請求項４に記載のテンプレート作成方法の各ステップをコンピュータに実行させるためのプログラム。
7. 請求項５に記載の物体認識処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images