JP6528723B2 - 物体認識装置、物体認識方法及びプログラム - Google Patents

物体認識装置、物体認識方法及びプログラム Download PDF

Info

Publication number
JP6528723B2
JP6528723B2 JP2016104124A JP2016104124A JP6528723B2 JP 6528723 B2 JP6528723 B2 JP 6528723B2 JP 2016104124 A JP2016104124 A JP 2016104124A JP 2016104124 A JP2016104124 A JP 2016104124A JP 6528723 B2 JP6528723 B2 JP 6528723B2
Authority
JP
Japan
Prior art keywords
candidate
information
object candidate
image information
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016104124A
Other languages
English (en)
Other versions
JP2017211807A (ja
Inventor
訓成 小堀
訓成 小堀
国松 橋本
国松 橋本
実 山内
実 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2016104124A priority Critical patent/JP6528723B2/ja
Priority to US15/591,690 priority patent/US10452950B2/en
Priority to EP17170985.0A priority patent/EP3249579B1/en
Priority to KR1020170062709A priority patent/KR101917515B1/ko
Priority to CN201710367722.4A priority patent/CN107437060B/zh
Publication of JP2017211807A publication Critical patent/JP2017211807A/ja
Application granted granted Critical
Publication of JP6528723B2 publication Critical patent/JP6528723B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Description

本発明は、物体を認識する物体認識装置、物体認識方法及びプログラムに関する。
物体の撮像画像から抽出した輪郭情報に基づいて、物体の位置及び姿勢（位置姿勢）を検出する装置が知られている（特許文献１参照）。
特開２００８−０１５８９５号公報
ところで、上記のような検出器は、検出するのに得意あるいは不得意な物体（例えば、その物体が輪郭形状がユニーク、薄い形状の場合など）を有している。したがって、使用する検出器の種類によっては、その物体を検出できない未検出となる虞がある。
本発明は、このような問題点に鑑みてなされたものであり、物体の未検出を抑制し認識精度を向上させた物体認識装置、物体認識方法及びプログラムを提供することを主たる目的とする。
上記目的を達成するための本発明の一態様は、認識対象物の画像情報を取得する画像情報取得手段と、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報と、前記物体候補に対応付けられた該物体候補のモデル画像情報と、を記憶する記憶手段と、前記検出プロファイル情報に設定された複数の検出器を有し、前記画像情報取得手段により取得された画像情報より、該検出器を用いて前記認識対象物を検出する物体検出手段と、を備え、前記物体検出手段の検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記画像情報取得手段により取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力する、ことを特徴とする物体認識装置である。
この一態様において、前記記憶手段は、前記物体候補と、該物体候補に対して判定可能な判定器と対応付けた判定プロファイル情報を記憶しており、前記判定プロファイル情報に設定された複数の判定器を有し、前記画像情報取得手段により取得された画像情報より、該判定器を用いて前記物体検出手段から出力された物体候補に対して判定を行う物体判定手段を更に備え、前記物体判定手段は、前記記憶手段の判定プロファイル情報に基づいて、前記物体検出手段により検出された物体候補に対応する判定器を選択し、該判定器を用いて、前記画像情報取得手段により取得された認識対象物の画像情報の色情報及び距離情報の少なくとも一方と、前記物体検出手段から出力された物体候補のモデル画像情報の色情報及び距離情報の少なくとも一方と、を比較して、前記物体候補が所定値以上の信頼度を有するか否かを判定し、該所定値以上の信頼度を有すると判定した物体候補を前記認識対象物として、出力してもよい。
この一態様において、前記物体検出手段は、前記画像情報取得手段により取得された認識対象物の画像情報の特徴量と、前記検出した物体候補のモデル画像情報の特徴量と、に基づいて、前記物体候補の位置姿勢候補を検出してもよい。
この一態様において、前記物体検出手段により検出された物体候補及び該位置姿勢候補の中で、類似するもの同士を同一のものとして統合するクラスタリング処理手段を更に備えていてもよい。
この一態様において、前記物体検出手段により検出された物体候補及び該位置姿勢候補のモデル画像のモデルと、前記画像情報の認識対象物と、の間の幾何量を求め、前記物体検出手段により検出された物体候補及び該位置姿勢候補の中から、該求めた幾何量が所定量以上となる物体候補及び該位置姿勢候補を除くトラッキング処理を行い、該トラッキング処理された物体候補及び該位置姿勢候補を出力するトラッキング処理手段を更に備えていてもよい。
この一態様において、前記記憶手段は、前記モデル画像のモデルを囲う３次元ボクセルの各グリッドから前記モデルまでの該モデル上の最近傍点の情報を記憶しており、前記トラッキング処理手段は、前記記憶手段に記憶された前記最近傍点の情報を用いて、前記トラッキング処理を行ってもよい。
この一態様において、前記認識対象物の候補である物体候補の色情報、形状情報、表記情報、及び物性情報、のうち少なくとも１つを含む前記物体候補の特徴を示す特徴情報に基づいて、該物体候補と少なくとも１つの検出器と対応付けた前記検出プロファイル情報、および、前記物体候補の色情報及び表記情報のうち少なくとも１つを含む前記物体候補の特徴を示す特徴情報に基づいて、該物体候補と少なくとも１つの判定器と対応付けた前記判定プロファイル情報、のうちの少なくとも一方を生成するプロファイル情報生成手段を更に備えていてもよい。
上記目的を達成するための本発明の一態様は、認識対象物の画像情報を取得するステップと、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報に設定された複数の検出器を有し、前記取得された画像情報より、該検出器を用いて前記認識対象物を検出するステップと、を含む物体認識方法であって、前記検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力する、ことを特徴とする物体認識方法であってもよい。
上記目的を達成するための本発明の一態様は、認識対象物の画像情報を取得する処理と、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報に設定された複数の検出器を有し、前記取得された画像情報より、該検出器を用いて前記認識対象物を検出する処理と、をコンピュータに実行させるプログラムであって、前記検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力する、ことを特徴とするプログラムであってもよい。
本発明によれば、物体の未検出を抑制し認識精度を向上させた物体認識装置、物体認識方法及びプログラムを提供することができる。
本発明の実施形態１に係る物体認識装置の概略的なシステム構成を示すブロック図である。 物体候補と検出器とを対応付ける処理フローの一例を示す図である。図である。 物体候補と検出器とを対応付けた検出プロファイル情報の一例を示す図である。 本発明の実施形態２に係る物体認識装置の概略的なシステム構成を示すブロック図である。 クラスタリング処理を説明するための図である。 本発明の実施形態３に係る物体認識装置の概略的なシステム構成を示すブロック図である。 ＣＬＢＰ判定器の判定方法を説明するための図である。 物体候補と判定器とを対応付けた判定プロファイル情報の一例を示す図である。 物体候補と判定器とを対応付ける処理フローの一例を示す図である。 本発明の実施形態４に係る物体認識装置の概略的なシステム構成を示すブロック図である。 ポイントクラウドの対応付けを説明するための図である。 物***置姿勢候補のモデルと認識対象物間の幾何量を求める手法の一例を示す図である。 ３次元ボクセルグリッドの一例を示す図である。 本発明の実施形態１乃至４を組み合わせた構成の一例を示す図である。
実施形態１
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態１に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施形態１に係る物体認識装置１は、任意の３次元形状の認識対象物（これから認識する対象物）及びその位置及び姿勢（位置姿勢）を検出する装置である。
物体認識装置１は、例えば、演算処理等を行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）などからなるマイクロコンピュータを中心にして、ハードウェア構成されている。ＣＰＵ、メモリ及びインターフェイス部は、データバスなどを介して相互に接続されている。
物体認識装置１は、画像情報取得部２と、プロファイル情報生成部３と、記憶部４と、物体検出部５と、を備えている。
画像情報取得部２は、画像情報取得手段の一具体例である。画像情報取得部２は、カメラや距離センサ（距離画像センサ、ミリ波センサ、超音波センサなど）などセンサを用いて、物体の画像情報（ＲＧＢ輝度情報（色情報）や距離情報を含む)を取得する。
プロファイル情報生成部３は、プロファイル情報生成手段の一具体例である。プロファイル情報生成部３は、認識対象物の候補である物体候補と、該物体候補に対して検出可能であり、該物体候補を検出するのに最適な検出器と、を対応付けた検出プロファイル情報を生成する。検出プロファイル情報には、各物体候補と、特性の異なる少なくとも１つの検出器と、が対応付けられている。プロファイル情報生成部３は、予め設定された複数の検出器の中からその物体候補を検出するのに最適な検出器を選択し、その物体候補と選択した検出器とを対応付ける。
ここで、複数の検出器は、例えば、LineMode検出器５１、ＰｎＰ検出器５２、ＳＨＯＴ検出器５３、及びＢａｙｓｅ検出器５４などを含む。
LineMode検出器５１は、離散化された複数の種類の特徴量を用いたテンプレートについて、 メモリ配置を工夫することで並列計算を行い、高速に物体を検出する検出器である。LineMode検出器５１は、例えば、電話機のスタンドなどの、一定以上の大きさを有し、さらに、特徴的な輪郭形状を有している、又は直方体、立方体、円柱、円錐、お椀形状などの立体形状の物体を検出するのに最適である。
詳細なアルゴリズムは、例えば、非特許文献
S.Hinterstoisser,C.Cagniart,S.Iiic,P.Sturm,N.Navab,P.Fua,V.Lepetit Gradient Response Maps for Real-Time Detection of Texture-Less Objects IEEE Transactions on Pattern Analysis and Maschine Intelligence(TPAMI)
に詳細に開示されており、これを援用できるものとする。
ＰｎＰ検出器５２は、ＳＩＦＴ（Scale-Invariant Feature Transform）又はＡ−ＫＡＺＥ（Accelerated KAZE）特徴量を用いた検出器である。ＰｎＰ検出器５２は、例えば、お菓子の箱などの、一定以上の大きさを有し、かつテクスチャを有する物体を検出するのに最適である。
ＳＩＦＴについては、例えば、非特許文献
David G.Lowe,”Distinctive image features from scale-invariant keypoints, ” International Journal of Computer Vision, 60, 2 (2004), pp.91-110
に詳細に開示されており、これを援用できるものとする。
Ａ−ＫＡＺＥについては、例えば、非特許文献
Fast Explicit Diffusion for Accelerrated Features in Nonlinear Scale Spaces Pablo F. Alcantarilla, Jesus Nuevo and Adrien Bartoli. In British Machine Vision Conference (BMVC). Bristol, UK. September 2013
に詳細に開示されており、これを援用できるものとする。
ＳＨＯＴ検出器５３は、ＳＨＯＴ(Signature of Histograms of OrienTations)特徴量を用いた検出器である。ＳＨＯＴ検出器５３は、例えば、お椀（ボール）などの、曲率変化を有する又は線対称の物体を検出するのに最適である。
ＳＨＯＴについては、例えば、非特許文献
Tombari et al. Unique signatures of histograms for local surface description. ECCV 2010
に詳細に開示されており、これを援用できるものとする。
Ｂａｙｓｅ検出器５４は、ベイジアンネットワークでローカルパッチを学習したネットワークに基づいて検出を行う検出器である。Ｂａｙｓｅ検出器５４は、例えば、リモコンなどの、その色が黒及び透明である、又は剛体でない物体を検出するのに最適である。
なお、上記検出器５１〜５４は一例であり、これに限定されない。プロファイル情報生成部３は、更に、ＨＯＧ（Histograms of Oriented Gradients）検出器、ＳＵＲＦ（Speeded Up Robust Features）検出器などの検出器を選択してもよく、選択される検出器の数及び種類は任意でよい。
プロファイル情報生成部３は、物体候補の色情報、形状情報、表記情報、及び物性情報、のうち少なくとも１つを含む物体候補の特徴を示す特徴情報に基づいて、物体候補と、該物体候補を検出するのに最適な検出器と、を対応付ける。
プロファイル情報生成部３は、例えば、図２のフローチャートに従って、予め設定された複数の検出器５１〜５４の中からその物体候補を検出するのに最適な検出器５１〜５４を選択し、その物体候補と選択した検出器５１〜５４とを対応付ける。
プロファイル情報生成部３は、画像情報取得部２により取得された物体候補の画像情報と、記憶部４に予め設定された物性情報と、に基づいて、物体候補が剛体であるか否かを判定する（ステップＳ１０１）。物性情報は、例えば、物体とその物性（剛体、弾性体など）とを対応付けた情報を含んでおり、記憶部４に予め設定されている。
プロファイル情報生成部３は、物体候補が剛体でないと判定すると（ステップＳ１０１のＮＯ）、Ｂａｙｓｅ検出器５４を選択する（ステップＳ１０２）。一方、プロファイル情報生成部３は、物体候補が剛体であると判定すると（ステップＳ１０１のＹＥＳ）、物体候補の色が黒色又は透明色でないか否かを判定する（ステップＳ１０３）。
プロファイル情報生成部３は、物体候補の色が黒色又は透明色であると判定すると（ステップＳ１０３のＮＯ）、Ｂａｙｓｅ検出器５４を選択する（ステップＳ１０２）。一方、プロファイル情報生成部３は、物体候補の色が黒色又は透明色でないと判定すると（ステップＳ１０３のＹＥＳ）、物体候補の表面に表記情報（テクスチャ、記号、図形、象形文字などを含む）があるか否かを判定する（ステップＳ１０４）。
プロファイル情報生成部３は、物体候補の表面に表記情報がないと判定すると（ステップＳ１０４のＮＯ）、後述の（ステップＳ１０８）に移行する。一方、プロファイル情報生成部３は、物体候補の表面に表記情報があると判定すると（ステップＳ１０４のＹＥＳ）、その表記情報のサイズ（文字サイズ、幅、面積など）が所定値Ａ以上であるか否かを判定する（ステップＳ１０５）。
プロファイル情報生成部３は、物体候補の表記情報のサイズが所定値Ａ以上でないと判定すると（ステップＳ１０５のＮＯ）、後述の（ステップＳ１０８）に移行する。一方、プロファイル情報生成部３は、物体候補の表記情報のサイズが所定値Ａ以上であると判定すると（ステップＳ１０５のＹＥＳ）、その表記情報が非対称又は非周期性であるか否かを判定する（ステップＳ１０６）。
プロファイル情報生成部３は、物体候補の表記情報が非対称又は非周期性でないと判定すると（ステップＳ１０６のＮＯ）、後述の（ステップＳ１０８）に移行する。一方、プロファイル情報生成部３は、物体候補の表記情報が非対称又は非周期性であると判定すると（ステップＳ１０６のＹＥＳ）、ＰｎＰ検出器５２を選択する（ステップＳ１０７）。
プロファイル情報生成部３は、物体候補のサイズ（体積、高さ、幅、縦横寸法など）が所定値Ｂ以上であるか否かを判定する（ステップＳ１０８）。プロファイル情報生成部３は、物体候補のサイズが所定値Ｂ以上であると判定すると（ステップＳ１０８のＹＥＳ）、物体候補が直方体、立方体、円柱、円錐、又はお椀に近い３次元形状であるか否かを判定する（ステップＳ１０９）。プロファイル情報生成部３は、物体候補が直方体、立方体、円柱、円錐、又はお椀に近い３次元形状であると判定すると（ステップＳ１０９のＹＥＳ）、LineMode検出器５１を選択する（ステップＳ１１０）。一方、プロファイル情報生成部３は、物体候補が直方体、立方体、円柱、円錐、又はお椀に近い３次元形状でないと判定すると（ステップＳ１０９のＮＯ）、後述の（ステップＳ１１１）に移行する。
プロファイル情報生成部３は、物体候補のサイズが所定値Ｂ以上でないと判定すると（ステップＳ１０８のＮＯ）、物体候補の３次元形状が線対称でないか否かを判定する（ステップＳ１１１）。
プロファイル情報生成部３は、物体候補の３次元形状が線対称でないかと判定すると（ステップＳ１１１のＹＥＳ）、LineMode検出器５１を選択する（ステップＳ１１０）。一方、プロファイル情報生成部３は、物体候補の３次元形状が線対称であると判定すると（ステップＳ１１１のＮＯ）、物体候補の３次元形状に曲率変化があり、その曲率が所定値Ｃ以上であるか否かを判定する（ステップＳ１１２）。
プロファイル情報生成部３は、物体候補の３次元形状に曲率変化があり、その曲率が所定値Ｃ以上であると判定すると（ステップＳ１１２のＹＥＳ）、LineMode検出器５１を選択する（ステップＳ１１０）。一方、プロファイル情報生成部３は、物体候補の３次元形状に曲率変化がなく、その曲率が所定値Ｃ以上でないと判定すると（ステップＳ１１２のＮＯ）、ＳＨＯＴ検出器５３を選択する（ステップＳ１１３）。
このように、プロファイル情報生成部３によって、物体候補の色情報、形状情報、表記情報、及び物性情報、のうち少なくとも１つを含む物体候補の特徴を示す特徴情報に基づいて、物体候補と、該物体候補を検出するのに最適な検出器５１〜５４とを、対応付けた検出プロファイル情報を自動的に生成することができる。
プロファイル情報生成部３は、上述のフローに従って、物体候補と選択した検出器５１〜５４とを対応付けた検出プロファイル情報を生成し、生成した検出プロファイル情報を記憶部４に記憶させる。
なお、物体認識装置１は、上述したプロファイル情報生成部３を有しない構成であってもよい。この場合、物体候補と該物体候補を検出するのに最適な検出器５１〜５４とを対応付けた検出プロファイル情報は、予め記憶部４に記憶されていてもよい。また、ユーザが上記フローチャートに従って、各検出器５１〜５４の選択を行い、その選択した検出プロファイル情報を記憶部４に記憶させてもよい。記憶部４に記憶された検出プロファイル情報は、例えば、ユーザによって任意に設定変更できるように構成されている。
記憶部４は、記憶手段の一具体例である。記憶部４は、上記プロファイル情報生成部３により生成された検出プロファイル情報を記憶する。また、記憶部４は、例えば、物体候補及び該位置姿勢候補の３次元物体形状を示す複数のモデル画像（物体のＣＡＤデータなどであり、ポイントクラウドデータに面を張ったメッシュデータや色情報などを含む）を記憶している。記憶部４は、例えば、上記メモリにより構成されている。
物体検出部５は、物体検出手段の一具体例である。物体検出部５は、画像情報取得部２により取得された認識対象物の画像情報により、検出器５１〜５４を用いて、認識対象物の物体候補及び該位置姿勢の候補（位置姿勢候補）を検出する。
物体検出部５は、記憶部４の検出プロファイル情報に設定された検出器（例えば、LineMode検出器５１、ＰｎＰ検出器５２、ＳＨＯＴ検出器５３、及びＢａｙｓｅ検出器５４）を有している。物体検出部５は、これら検出器５１〜５４を用いて、物体候補及び該位置姿勢候補を検出する。
ところで、上記のような検出器５１〜５４は、検出するのに得意あるいは不得意な物体を有している。例えば、LineMode検出器５１は、物体がある一定以上のサイズを有し、その輪郭形状がユニークな物体を高精度に検出できる。一方で、LineMode検出器５１は、センサノイズなどに起因して物体の一部輪郭形状が取得できない場合や、薄い形状の物体である場合、その物体を検出できない未検出となる虞がある。このように、使用する検出器の種類によっては、その物体の未検出となる虞がある。
これに対し、本実施形態１に係る物体認識装置１において、検出器５１〜５４の夫々は、検出プロファイル情報において該検出器５１〜５４に対応付けられた物体候補のモデル画像情報と、画像情報取得部２により取得された認識対象物の画像情報と、を比較して、物体候補を検出する。物体検出部５の検出器５１〜５４は、検出した物体候補を認識対象物として、出力する。
これにより、物体検出部５の検出器５１〜５４には、検出するのに最適な物体候補のモデル画像が対応付けられる。このため、検出器５１〜５４は、対応付けられた検出するのに最適な物体候補のモデル画像を用いて、検出するのに最適な物体候補のみを検出することとなる。したがって、上述した検出器の得意あるいは不得意に起因する問題を解消できるため、認識対象物の未検出を抑制し認識精度を向上させることができる。
例えば、物体検出部５の検出器（LineMode検出器５１、ＰｎＰ検出器５２、ＳＨＯＴ検出器５３、及びＢａｙｓｅ検出器５４）は、記憶部４の検出プロファイル情報に基づいて、記憶部４から、該検出器５１〜５４に対応付けられた物体候補のモデル画像を取得する。そして、検出器５１〜５４は、画像情報取得部２により取得された認識対象物の画像情報（対象物画像）の特徴量と、記憶部４から取得した対応付けられた物体候補のモデル画像の特徴量と、を比較して、物体候補を検出する。
より具体的には、各検出器５１〜５４は、画像情報取得部２に対象物画像の特徴量と、記憶部４の物体候補のモデル画像の特徴量と、の相関値を算出し、算出した相関値が所定値以上となるモデル画像の物体候補を認識対象物として検出する。
記憶部４の検出プロファイル情報において、１つの物体候補と複数の検出器５１〜５４とが夫々対応付けられていてもよい。この場合、各検出器５１〜５４は、重複して同一の物体候補を検出することとなる。
図３は、物体候補と検出器とを対応付けた検出プロファイル情報の一例を示す図である。図３に示す如く、物体候補Ｂ（お菓子の箱）には、LineMode検出器５１及びＰｎＰ検出器５２が対応付けられている。これにより、LineMode検出器５１が物体候補Ｂの輪郭形状（大きさなど）に基づいてその物体Ｂを検出するだけでなく、さらに、ＰｎＰ検出器５２が物体候補Ｂのテクスチャに基づいてその物体候補Ｂを検出する。したがって、単一の物体候補Ｂを特性の異なるLineMode検出器５１及びＰｎＰ検出器５２を用いて重複して検出することでその未検出をさらに抑制できる。
同様に、物体候補Ｃ（お椀）には、LineMode検出器５１及びＳＨＯＴ検出器５３が対応付けられている。これにより、LineMode検出器５１が物体候補Ｃの輪郭形状（大きさなど）に基づいてその物体候補Ｃを検出するだけでなく、さらに、ＳＨＯＴ検出器５３が物体候補Ｃの局所的な３次元形状の曲率変化に基づいてその物体候補Ｃを検出する。したがって、単一の物体候補Ｃを特性の異なるLineMode検出器５１及びＳＨＯＴ検出器５３を用いて重複して検出することでその未検出をさらに抑制できる。
なお、物体候補ＡにはLineMode検出器５１のみが対応付けられている。これは、LineMode検出器５１のみで、物体候補Ａを確実に検出できるからである。一方、物体候補Ｄには、Ｂａｙｓｅ検出器５４のみが対応付けられている。これは、物体候補Ｄは黒色であるため距離情報を取得できずLineMode検出器５１での検出は不可能であるため、物体候補ＤにはLineMode検出器５１が対応付けられていない。しかし、Ｂａｙｓｅ検出器５４は、物体候補ＤのＲＧＢ輝度情報のみで、確実に物体候補Ｄを検出できる。したがって、物体候補Ｄには、Ｂａｙｓｅ検出器５４のみが対応付けられている。
このように、物体候補の特徴を示す特徴情報に応じて、特性の異なる複数の検出器５１〜５４を単一の物体候補に対応付け、これら検出器５１〜５４を用いて、物体候補を検出することで、さらに物体候補の未検出を抑制できる。
さらに、物体検出部５の検出器５１〜５４は、画像情報取得部２により取得された対象物画像の特徴量と、検出した物体候補のモデル画像の特徴量と、に基づいて、該物体候補の位置姿勢候補を検出する。
これにより、物体検出部５の検出器５１〜５４は、検出するのに最適な物体候補のみを検出し、さらに、その最適な物体候補の位置姿勢候補を検出することとなる。したがって、認識対象物の位置姿勢の未検出を抑制し認識精度を向上させることができる。
例えば、物体検出部５の検出器５１〜５４は、Ｋ近傍法（k-nearest neighbor法）により、対象物画像の特徴量と、検出した物体候補のモデル画像の特徴量の対応付けを行い、さらに、RANSAC（Random Sample Consensus）法を用いて、その幾何学的な構成に基づいて、物体候補の位置姿勢候補を検出する。
なお、上記物体検出方法及び位置姿勢の算出方法は一例であり、これに限定されない。
以上のようにして、物体検出部５は、少なくとも１つの検出器５１〜５４を用いて、物体候補及びその位置姿勢候補を検出する。物体認識装置１の物体検出部５は、各検出器５１~５４により検出された物体候補及び該位置姿勢候補を、認識対象物及びその位置姿勢として出力する。
なお、上記実施形態１において、物体検出部５は、認識対象物の物体候補及び該位置姿勢候補を検出しているが、これに限定されず、認識対象物の物体候補のみを検出してもよい。
本実施形態１に係る物体認識装置１を用いることで、従来の物体認識装置に比して、再現率（recall、検出率及び未検出率に関する指標）を約１８％向上させることができた。
実施形態２
図４は、本発明の実施形態２に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施形態２に係る物体認識装置２０は、上記実施形態１に係る物体認識装置１の構成に加えて、物体検出部５により検出された物体候補及び該位置姿勢候補（物***置姿勢候補）群の中で、類似するもの同士を同一のものとして統合するクラスタリング処理を行うクラスタリング処理部６を更に備えている。これにより、物体検出部５により検出された物***置姿勢候補群の中で、類似するものを１つにまとめて、ユーザに対して出力することができるため、利便性が向上する。
クラスタリング処理部６は、クラスタリング処理手段の一具体例である。
例えば、図５に示す如く、物体検出部５は、例えば、選択した複数の検出器（LineMode検出器５１及びＰｎＰ検出器５２）を用いて、認識対象物の物***置姿勢候補（１）−（３）を検出する。クラスタリング処理部６は、物体検出部５により検出された物***置姿勢候補（１）−（３）の中で、類似するもの同志を同一のものとして統合するクラスタリング処理を行う。具体的には、クラスタリング処理部６は、MeanShfit法などを用いてクラスタリング処理を行う。MeanShfit法において、図５に示す如く、物***置姿勢候補（１）と物***置姿勢候補（２）は距離が近く類似している。このため、物***置姿勢候補（１）及び（２）は、両者の平均となる物***置姿勢候補（４）に統合される。なお、物***置姿勢候補（３）は、類似するものがないため、統合されない。
物体認識装置１は、クラスタリング処理部６により統合させた物***置姿勢候補を、認識対象物及び該位置姿勢として出力する。なお、本実施形態２において、上記実施形態１と同一部分には同一符号を付して詳細な説明は省略する。
実施形態３
図６は、本発明の実施形態３に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施形態３に係る物体認識装置３０は、上記実施形態１に係る物体認識装置１の構成に加えて、物体検出部５により検出された物***置姿勢候補を、その色情報及び距離情報の少なく一方に基づいて判定する物体判定部７を更に備えている。
物体判定部７は、物体検出部５による物***置姿勢候補の誤検出を抑制するため、物体検出部５が物***置姿勢候補を検出した後、さらに、その物***置姿勢候補を、色情報及び距離情報の少なく一方に基づいて判定する。物体判定部７は、この判定処理で、モデル画像と対象物画像間の、色情報や距離情報の比較をピクセル単位で実施し、一致しているか否かを判定する。
物体判定部７は、物体判定手段の一具体例である。物体判定部７は、画像情報取得部２により取得された対象物画像の距離情報及び色情報のうちの少なくとも一方と、物体検出部５から出力された物***置姿勢候補のモデル画像情報の色情報及び距離情報の少なくとも一方と、を比較して、判定を行う。
物体判定部７は、例えば、レンダリング処理などを行って、上記対象物画像とモデル画像とを比較する。物体判定部７は、このレンダリング処理において、モデル画像上の３次元物体（モデルとして予め登録された３次元物体）を、物体検出部５により検出された物***置姿勢候補に基づいて、対象物画像上に投影する。
物体判定部７は、物***置姿勢候補毎に、そのモデル画像と対象物画像との比較を行う。物体判定部７は、対象物画像とモデル画像とを比較した結果、物体検出部５により検出された物***置姿勢候補の中から、所定値以上の信頼度がある物***置姿勢候補を認識物体及び該位置姿勢として出力する。
物体判定部７は、例えば、画像情報取得部２により取得された対象物画像の距離情報と、物体検出部５により検出された物***置姿勢候補のモデル画像の距離情報と、を比較し、その一致度の差分が判定閾値以上であるとき、所定値以上の信頼度があると判定する。
あるいは、物体判定部７は、例えば、画像情報取得部２により取得された対象物画像の色情報（下記（Ａ）乃至（Ｄ）のうちの少なくとも１つ）と、物体検出部５により検出された物***置姿勢候補のモデル画像の色情報とを比較し、その一致度の差分が判定閾値以上であるとき、その物***置姿勢候補は所定値以上の信頼度があると判定する。なお、物体判定部７は、上記不一致度の差分が判定閾値以下であるとき、その物***置姿勢候補は所定値以上の信頼度があると判定してもよい。
物体認識装置１は、物体判定部７により所定値以上の信頼度があると判定された物***置姿勢候補を、認識対象物及び該位置姿勢として出力する。なお、上記判定閾値は、予め記憶部４などに設定されており、ユーザによって任意に設定変更できるように構成されている。
物体判定部７は、後述の判定プロファイル情報に設定された、特性の異なる複数の判定器を有している。物体判定部７は、例えば、色相判定器７１、ＲＧＢ判定器７２、Gray_Scale判定器７３、ＣＬＢＰ判定器７４、を有している。
（Ａ）色相
色相判定器７１は、ＲＧＢ輝度情報を、ＨＳＶ情報（色相(Hue)、彩度(Saturation・Chroma)、明度(Value・Lightness・Brightness)の三つの成分からなる色空間情報）に変換し、その色相Ｈを用いて上記比較行う。色相判定器７１は、同一単純色で黄色、赤色、青色、緑色、マゼンダ、又はシアンの物体（カップなど）の判定を行う場合に、その誤判定を低く抑制できる。
（Ｂ）ＲＧＢ
ＲＧＢ判定器７２は、ＲＧＢ輝度情報の生値を用いて上記比較を行う。ＲＧＢ判定器７２は、複合色（白色と黄緑色の複合色など）や黒色の物体（リモコンなど）の判定を行う場合に、その誤判定を低く抑制できる。
（Ｃ）グレースケール（Gray Scale）
Gray_Scale判定器７３は、ＲＧＢ輝度情報を、グレースケール情報（白黒情報）に変換し、その変換した値を用いて、上記比較を行う。Gray_Scale判定器７３は、白基調の物体（お椀など）の判定を行う場合に、その誤判定を低く抑制できる。
（Ｄ）ＣＬＢＰ（Color Local Binray Pattern）
ＣＬＢＰ判定器７４は、図７に示す如く、対象物画像およびモデル画像をカラーチャンネル分離（Ｒ画像、Ｇ画像、Ｂ画像）を行い（２）、各チャンネルのＬＢＰ（ＬＢＰ（Ｒ）、ＬＢＰ（Ｇ）、ＬＢＰ（Ｂ））を算出する（３）。そして、ＣＬＢＰ判定器７４は、算出したＬＢＰに基づいて、ヒストグラムを作成し（４）、作成したヒストグラムを用いて上記比較を行う。なお、ＬＢＰは、画像の照明変化の変動に強く、ＬＢＰをヒストグラム化することで、さらに、上記レンダリングした際の摂動に強くなり、判定精度が向上する。ＣＬＢＰ判定器７４は、テクスチャを有する物体の判定を行う場合に、その誤判定を低く抑制できる。
なお、上記判定器は一例でありこれに限定されず、物体判定部７は、任意の判定器を有していてもよく、判定器の数及び種類は任意でよい。
ところで、上述の如く、判定器も、上記検出器と同様に、判定するのに得意あるいは不得意な物体を有している。したがって、使用する判定器の種類によっては、誤判定（判定すべきでない物体を判定するなど）を招く虞がある。例えば、ＲＧＢ判定器は、外乱（ＲＧＢ輝度変化）が生じると誤判定を起こす可能性が高くなる。
これに対し、本実施形態３に係る物体認識装置３０において、記憶部４は、物体候補と該物体候補に対して判定可能な判定器７１〜７４とを対応付けた判定プロファイル情報を記憶している。物体判定部７は、記憶部４の判定プロファイル情報に基づいて物体検出部５により検出された物体候補に対応する判定器７１〜７４を選択し、該選択した判定器７１〜７４を用いて、画像情報取得部２により取得された認識対象物の画像情報の色情報及び距離情報の少なくとも一方と、物体検出部５から出力された物体候補のモデル画像情報の色情報及び距離情報の少なくとも一方と、を比較することで、物体候補が所定値以上の信頼度を有するか否かを判定する。物体判定部７は、該所定値以上の信頼度を有すると判定した物体候補を認識対象物として出力する。
これにより、判定器７１〜７４は、予め判定プロファイル情報に設定された、判定するのに最適な物体候補及びその位置姿勢候補に対して、判定を行うこととなる。したがって、認識対象物の誤検出を抑制しさらに認識精度を向上させることができる。
記憶部４は、物体候補と少なくとも１つの判定器７１〜７４とを夫々対応付けた判定プロファイル情報を記憶している。判定プロファイル情報において、物体候補の色情報（同一単純色、複合色、物体色など）及び表記情報（テクスチャの有無など）のうち少なくとも１つを含む物体候補の特徴を示す特徴情報に基づいて、物体候補と判定器７１〜７４とは、対応付けられている。
図８は、物体候補と判定器とを対応付けた判定プロファイル情報の一例を示す図である。図８に示す如く、物体候補Ａは、白色と黄緑色の複合色を有している。このため、複合色を良好に判定できるＲＧＢ判定器７２を物体候補Ａに対応付けている。物体候補Ｂはテクスチャを有する。このため、テクスチャを良好に判定できるＣＬＢＰ判定器７４が物体候補Ｂに対応付けられている。物体候補Ｃは白基調の色を有している。このため、白基調の色を良好に判定できるGray_Scale判定器７３が物体候補Ｃに対応付けられている。物体候補Ｄは黒色を有している。このため、黒色を良好に判定できるＲＧＢ判定器７２が物体候補Ｄに対応付けられている。物体候補Ｅは黄色を有している。このため、黄色を良好に判定できる色相判定器７１が物体候補Ｅに対応付けられている。
プロファイル情報生成部３は、例えば、図９のフローチャートに従って、予め設定された複数の判定器７１〜７４の中からその物体候補を判定するのに最適な判定器７１〜７４を選択し、その物体候補と選択した判定器７１〜７４とを対応付ける。
プロファイル情報生成部３は、画像情報取得部２により取得された物体候補の画像情報に基づいて、物体候補の色が同一単純色中心であるか否かを判定する（ステップＳ２０１）。なお、同一単純色中心であるとは、例えば、その単純色領域の面積割合が一定値以上で高いことを指す。
プロファイル情報生成部３は、物体候補の色が同一単純色中心であると判定すると（ステップＳ２０１のＹＥＳ）、画像情報取得部２により取得された物体候補の画像情報に基づいて、物体候補の色が黄色、赤色、青色、緑色、マゼンダ、及びシアンのいずれかであるか否かを判定する（ステップＳ２０２）。一方、プロファイル情報生成部３は、物体候補の色が同一単純色でないと判定すると（ステップＳ２０１のＮＯ）、後述の（ステップＳ２０４）処理に移行する。
プロファイル情報生成部３は、物体候補の色が黄色、赤色、青色、緑色、マゼンダ、及びシアンのいずれかであると判定すると（ステップＳ２０２のＹＳＥ）、色相判定器７１を選択する（ステップＳ２０３）。
プロファイル情報生成部３は、物体候補の色が黄色、赤色、青色、緑色、マゼンダ、及びシアンのいずれでもないと判定すると（ステップＳ２０２のＮＯ）、画像情報取得部２により取得された物体候補の画像情報に基づいて、物体候補が表記情報を有するか否かを判定する（ステップＳ２０４）。
プロファイル情報生成部３は、物体候補が表記情報を有すると判定すると（ステップＳ２０４のＹＥＳ）、ＣＬＢＰ判定器を選択する（ステップＳ２０５）。一方、プロファイル情報生成部３は、物体候補が表記情報を有しないと判定すると（ステップＳ２０４のＮＯ）、画像情報取得部２により取得された物体候補の画像情報に基づいて、物体候補の色が白基調又はグレー基調であるか否かを判定する（ステップＳ２０６）。なお、白基調又はグレー基調であるとは、例えば、その
白又はグレー色の面積割合が一定値以上で高いことを指す。
プロファイル情報生成部３は、物体候補の色が白基調又はグレー基調であると判定すると（ステップＳ２０６のＹＥＳ）、Gray_Scale判定器７３を選択する（ステップＳ２０７）。一方、プロファイル情報生成部３は、物体候補の色が白基調又はグレー基調でないと判定すると（ステップＳ２０６のＮＯ）、ＲＧＢ判定器７２を選択する（ステップＳ２０８）。
このように、プロファイル情報生成部３によって、物体候補の色情報及び表記情報のうち少なくとも１つを含む物体候補の特徴を示す特徴情報に基づいて、物体候補と、該物体候補を判定するのに最適な判定器７１〜７４とを、対応付けた判定プロファイル情報を自動的に生成することができる。
プロファイル情報生成部３は、上述のフローに従って、物体候補と選択した判定器７１〜７４とを対応付けた判定プロファイル情報を生成し、生成した判定プロファイル情報を記憶部４に記憶させる。なお、物体候補と、該物体候補を検出するのに最適な判定器７１〜７４と、を対応付けた判定プロファイル情報は、予め記憶部４に記憶されていてもよい。また、また、ユーザが上記フローチャートに従って、各判定器７１〜７４の選択を行ってもよい。記憶部４に記憶された判定プロファイル情報は、例えば、ユーザによって任意に設定変更できるように構成されている。
記憶部４の判定プロファイル情報において、１つの物体候補と複数の判定器７１〜７４とが夫々対応付けられていてもよい。この場合、各判定器７１〜７４は、重複して同一の物体候補を判定することとなる。これにより、物体候補の特徴を示す特徴情報に応じて、特性の異なる複数の判定器７１〜７４を単一の物体候補に対応付け、これら判定器７１〜７４を用いて、物体候補を判定することで、さらに物体候補の誤判定を抑制できる。
以上のようにして、物体判定部７は、少なくとも１つの判定器７１〜７４を用いて、物体候補及びその位置姿勢候補を判定する。物体認識装置１の物体判定部７は、各判定器７１〜７４により所定値以上の信頼度があると判定された物体候補及び該位置姿勢候補を、認識対象物及びその位置姿勢として出力する。
なお、上記実施形態３において、物体判定部７は、認識対象物の物体候補及び該位置姿勢候補を判定しているが、これに限定されず、認識対象物の物体候補のみを判定してもよい。
本実施形態３に係る物体認識装置３０を用いることで、従来の物体認識装置に比して、精度（precision、正答率及び誤検出率に関する指標）を約１８％向上させることができた。
本実施形態３において、上記実施形態１及び２と同一部分には同一符号を付して詳細な説明は省略する。
実施形態４
図１０は、本発明の実施形態４に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施形態４に係る物体認識装置４０は、上記実施形態３に係る物体認識装置３０の構成に加えて、物体の幾何形状情報に基づいて、物体検出部５により検出された物***置姿勢候補を追跡するトラッキング処理部８を更に備えている。
上記物体判定部７による判定を行う上で、正確に位置姿勢を推定しないと、対象物画像とモデル画像間でピクセル誤差が発生し、その誤判定が生じ易くなる。したがって、本実施形態４において、物体判定部７の判定前に、物***置姿勢候補の幾何形状情報に基づく追跡を行うことで、正確に位置姿勢を推定でき、誤判定をさらに抑制できる。
トラッキング処理部８は、トラッキング処理手段の一具体例である。トラッキング処理部８は、例えば、物***置姿勢候補の幾何形状情報に基づいて物***置姿勢候補を追跡するＩＣＰ（Iterative Closest Point）トラッキング（ＩＣＰアルゴリズムを用いたトラッキング処理）を行う。
ＩＣＰトラッキングとは、例えば、図１１に示す如く、物***置姿勢候補のモデル画像のモデルと対象物画像の認識対象物とのポイントクラウドの対応付けを行い、その誤差が小さくなるように最小２乗法を用いて、図１２に示す如く、物***置姿勢候補のモデル画像のモデルと対象物画像の認識対象物間の幾何量（回転及び並進量）を求める手法である。
なお、ＩＣＰトラッキングは、一般に計算コストがかかる処理である。このため、本実施形態４においては、事前にＩＣＰトラッキングに必要な最近傍点を計算し、この最近傍点を用いてＩＣＰトラッキングを行う。ここで、最初に上記点の対応付けを行う必要がある。このため、本手法においては、例えば、図１３に示す如く、モデル画像のモデルに対して３次元ボクセル（モデルを囲う３次元グリッドボクセル）を構築し、各グリッドからモデルまでのモデル上の最近傍点を予め算出する。そして、算出した最近傍点の情報（最近傍点の座標や最近傍点のIndex）を各ボクセルに対応させて記憶部４に記憶させる。
なお、各ボクセルには、認識対象物までの最近傍点の情報を格納するが、ボクセル外のレンジの点は無視する。本実施形態４において、最近傍点は、point to plane（点から面）であるが、これに限定されず、point to point（点から点）であってもよい。図１３に示す距離X、Y、Zは、ボクセルの１辺当たりのグリッド数と格子の単位（数ｍｍ）から決定することができる。
以上のように、実際のＩＣＰトラッキングを行う前に、ＩＣＰトラッキングに必要な最近傍点を計算し、この最近傍点の情報を記憶部４に予め保存する。そして、トラッキング処理部８は、この記憶部４に記憶された最近傍点の情報を用いて、上記リアルタイムでＩＣＰトラッキングを行う。これにより、ＩＣＰトラッキングにかかる計算コストを大幅に低減できる。
トラッキング処理部８は、上述したＩＣＰトラッキングを行い、物体検出部５により検出された物***置姿勢候補の中から、例えば、求めた幾何量が所定量以上で大きい場合に、幾何形状に一貫性が無いとして、その物***置姿勢候補を破棄する。トラッキング処理部８は、物体検出部５により検出された物***置姿勢候補の中から、破棄した物***置姿勢候補を除いた物***置姿勢候補を物体判定部７に出力する。物体判定部７は、画像情報取得部２により取得された対象物画像の距離情報及び色情報のうちの少なくとも一方と、トラッキング処理部８から出力された物***置姿勢候補のモデル画像情報の色情報及び距離情報の少なくとも一方と、を比較して、上記判定を行う。
本実施形態４において、上記実施形態１乃至３と同一部分には同一符号を付して詳細な説明は省略する。
本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
上記実施形態１乃至４を任意に組み合わせてもよい。例えば、物体認識装置５０は、画像情報取得部２と、プロファイル情報生成部３と、記憶部４と、物体検出部５と、クラスタリング処理部６と、物体判定部７と、トラッキング処理部８と、を備える構成であってもよい（図１４）。この場合、認識対象物の未検出や誤検出を最も良好に抑制し認識精度を向上させることができる。
物体検出部５は、検出器５１〜５４を用いて、認識対象物の物***置姿勢候補を検出し、クラスタリング処理部６に出力する。クラスタリング処理部６は、物体検出部５により検出された物***置姿勢候補群の中で類似するものを統合し、統合した物***置姿勢候補群をトラッキング処理部８に出力する。トラッキング処理部８は、幾何形状情報に基づいて、クラスタリング処理部６からの物***置姿勢候補を追跡するＩＣＰトラッキングを行い、そのＩＣＰトラッキング後の物***置姿勢候補を物体判定部７に出力する。物体判定部７は、判定器７１〜７４を用いて、トラッキング処理部８からの物***置姿勢候補を判定し、判定した物***置姿勢候補を、認識対象物の位置姿勢として出力する。
本発明は、例えば、上記プロファイル情報生成部３、物体検出部５、クラスタリング処理部６、物体判定部７、及びトラッキング処理部８、が実行する処理のうちの少なくとも１つを、ＣＰＵ又はＧＰＵ（Graphics Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
１ 物体認識装置、２ 画像情報取得部、３ プロファイル情報生成部、４ 記憶部、５ 物体検出部、６ クラスタリング処理部、７ 物体判定部、８ トラッキング処理部、５１ LineMode検出器、５２ ＰｎＰ検出器、５３ ＳＨＯＴ検出器、５４ Ｂａｙｓｅ検出器、７１ 色相判定器、７２ ＲＧＢ判定器、７３ Gray_Scale判定器、７４ ＣＬＢＰ判定器

Claims (9)

  1. 認識対象物の画像情報を取得する画像情報取得手段と、
    前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報と、前記物体候補に対応付けられた該物体候補のモデル画像情報と、を記憶する記憶手段と、
    前記検出プロファイル情報に設定された複数の検出器を有し、前記画像情報取得手段により取得された画像情報より、該検出器を用いて前記認識対象物を検出する物体検出手段と、を備え、
    前記物体検出手段の検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記画像情報取得手段により取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力し、
    前記記憶手段は、前記物体候補と、該物体候補に対して判定可能な判定器と対応付けた判定プロファイル情報を記憶しており、
    前記判定プロファイル情報に設定された複数の判定器を有し、前記画像情報取得手段により取得された画像情報より、該判定器を用いて前記物体検出手段から出力された物体候補に対して判定を行う物体判定手段を更に備え、
    前記物体判定手段は、前記記憶手段の判定プロファイル情報に基づいて、前記物体検出手段により検出された物体候補に対応する判定器を選択する、
    ことを特徴とする物体認識装置。
  2. 請求項１記載の物体認識装置であって、
    前記物体判定手段は、
    前記判定器を用いて、前記画像情報取得手段により取得された認識対象物の画像情報の色情報及び距離情報の少なくとも一方と、前記物体検出手段から出力された物体候補のモデル画像情報の色情報及び距離情報の少なくとも一方と、を比較して、前記物体候補が所定値以上の信頼度を有するか否かを判定し、
    該所定値以上の信頼度を有すると判定した物体候補を前記認識対象物として、出力する、
    ことを特徴とする物体認識装置。
  3. 請求項１又は２記載の物体認識装置であって、
    前記物体検出手段は、前記画像情報取得手段により取得された認識対象物の画像情報の特徴量と、前記検出した物体候補のモデル画像情報の特徴量と、に基づいて、前記物体候補の位置姿勢候補を検出する、
    ことを特徴とする物体認識装置。
  4. 請求項３記載の物体認識装置であって、
    前記物体検出手段により検出された物体候補及び該位置姿勢候補の中で、類似するもの同士を同一のものとして統合するクラスタリング処理手段を更に備える、ことを特徴とする物体認識装置。
  5. 請求項３又は４記載の物体認識装置であって、
    前記物体検出手段により検出された物体候補及び該位置姿勢候補のモデル画像のモデルと、前記画像情報の認識対象物と、の間の幾何量を求め、前記物体検出手段により検出された物体候補及び該位置姿勢候補の中から、該求めた幾何量が所定量以上となる物体候補及び該位置姿勢候補を除くトラッキング処理を行い、該トラッキング処理された物体候補及び該位置姿勢候補を出力するトラッキング処理手段を更に備える、ことを特徴とする物体認識装置。
  6. 請求項５記載の物体認識装置であって、
    前記記憶手段は、前記モデル画像のモデルを囲う３次元ボクセルの各グリッドから前記モデルまでの該モデル上の最近傍点の情報を記憶しており、
    前記トラッキング処理手段は、前記記憶手段に記憶された前記最近傍点の情報を用いて、前記トラッキング処理を行う、ことを特徴とする物体認識装置。
  7. 請求項２乃至６のうちのいずれか１項記載の物体認識装置であって、
    前記認識対象物の候補である物体候補の色情報、形状情報、表記情報、及び物性情報、のうち少なくとも１つを含む前記物体候補の特徴を示す特徴情報に基づいて、該物体候補と少なくとも１つの検出器と対応付けた前記検出プロファイル情報、および、前記物体候補の色情報及び表記情報のうち少なくとも１つを含む前記物体候補の特徴を示す特徴情報に基づいて、該物体候補と少なくとも１つの判定器と対応付けた前記判定プロファイル情報、のうちの少なくとも一方を生成するプロファイル情報生成手段を更に備える、
    ことを特徴とする物体認識装置。
  8. 認識対象物の画像情報を取得するステップと、
    前記取得された画像情報より、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報に設定された検出器を用いて前記認識対象物を検出するステップを含む物体認識方法であって、
    前記検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力し、
    前記取得された画像情報より、前記物体候補と、該物体候補に対して判定可能な判定器と対応付けた判定プロファイル情報に設定された判定器を用いて前記出力された物体候補に対して判定を行い、
    前記判定プロファイル情報に基づいて、前記検出された物体候補に対応する判定器を選択する、
    ことを特徴とする物体認識方法。
  9. 認識対象物の画像情報を取得する処理と、
    前記取得された画像情報より、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報に設定された検出器を用いて前記認識対象物を検出する処理と、をコンピュータに実行させるプログラムであって、
    前記検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力し、
    前記取得された画像情報より、前記物体候補と、該物体候補に対して判定可能な判定器と対応付けた判定プロファイル情報に設定された判定器を用いて前記出力された物体候補に対して判定を行う処理と、
    前記判定プロファイル情報に基づいて、前記検出された物体候補に対応する判定器を選択する処理と、をコンピュータに実行させることを特徴とするプログラム。
JP2016104124A 2016-05-25 2016-05-25 物体認識装置、物体認識方法及びプログラム Expired - Fee Related JP6528723B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016104124A JP6528723B2 (ja) 2016-05-25 2016-05-25 物体認識装置、物体認識方法及びプログラム
US15/591,690 US10452950B2 (en) 2016-05-25 2017-05-10 Object recognition apparatus, objection recognition method, and program
EP17170985.0A EP3249579B1 (en) 2016-05-25 2017-05-15 Object recognition apparatus, objection recognition method, and program
KR1020170062709A KR101917515B1 (ko) 2016-05-25 2017-05-22 물체 인식 장치, 물체 인식 방법 및 프로그램
CN201710367722.4A CN107437060B (zh) 2016-05-25 2017-05-23 对象识别设备、对象识别方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016104124A JP6528723B2 (ja) 2016-05-25 2016-05-25 物体認識装置、物体認識方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017211807A JP2017211807A (ja) 2017-11-30
JP6528723B2 true JP6528723B2 (ja) 2019-06-12

Family

ID=58714943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016104124A Expired - Fee Related JP6528723B2 (ja) 2016-05-25 2016-05-25 物体認識装置、物体認識方法及びプログラム

Country Status (5)

Country Link
US (1) US10452950B2 (ja)
EP (1) EP3249579B1 (ja)
JP (1) JP6528723B2 (ja)
KR (1) KR101917515B1 (ja)
CN (1) CN107437060B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210256728A1 (en) * 2018-11-09 2021-08-19 Denso Corporation Object detection apparatus

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970577B1 (en) * 2017-09-29 2021-04-06 Snap Inc. Machine learned single image icon identification
KR102444693B1 (ko) * 2017-11-15 2022-09-20 삼성전자 주식회사 청소용 이동장치 및 그 제어방법
CN108037765A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 一种用于输电线路巡检的无人机避障***
US11109065B2 (en) * 2018-09-26 2021-08-31 Google Llc Video encoding by providing geometric proxies
JP7111297B2 (ja) * 2018-11-26 2022-08-02 株式会社豊田中央研究所 位置ずれ補正装置及びプログラム
CN110232387B (zh) * 2019-05-24 2022-08-05 河海大学 一种基于kaze-hog算法的异源图像匹配方法
EP3915048A4 (en) 2019-06-03 2022-03-30 Samsung Electronics Co., Ltd. ELECTRONIC OBJECT RECOGNITION APPARATUS AND METHOD FOR OPERATING IT
US10867190B1 (en) * 2019-11-27 2020-12-15 Aimotive Kft. Method and system for lane detection
US10970550B1 (en) 2020-01-14 2021-04-06 Geenee Gmbh Systems and methods for stream recognition
JP7272296B2 (ja) * 2020-02-07 2023-05-12 トヨタ自動車株式会社 判定方法、判定装置及び判定プログラム
KR102643324B1 (ko) * 2020-10-29 2024-03-07 닛폰세이테츠 가부시키가이샤 식별 장치, 식별 방법 및 프로그램

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4573085B2 (ja) 2001-08-10 2010-11-04 日本電気株式会社 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
JP4193519B2 (ja) 2003-02-27 2008-12-10 セイコーエプソン株式会社 物体識別方法および物体識別装置
US7680748B2 (en) * 2006-02-02 2010-03-16 Honda Motor Co., Ltd. Creating a model tree using group tokens for identifying objects in an image
JP4876742B2 (ja) 2006-07-07 2012-02-15 トヨタ自動車株式会社 画像処理装置及び画像処理プログラム
JP5251080B2 (ja) 2007-11-20 2013-07-31 株式会社Ｉｈｉ 物体認識方法
JP5287390B2 (ja) * 2009-03-16 2013-09-11 ソニー株式会社 半導体装置、伝送システム、半導体装置の製造方法及び伝送システムの製造方法
JP5346863B2 (ja) 2010-03-30 2013-11-20 大日本スクリーン製造株式会社 ３次元位置・姿勢認識装置およびそれを用いたシステム、方法、プログラム
WO2011143633A2 (en) * 2010-05-14 2011-11-17 Evolution Robotics Retail, Inc. Systems and methods for object recognition using a large database
JP5716433B2 (ja) 2011-02-07 2015-05-13 株式会社Ihi 形状認識装置、形状認識方法、および、そのプログラム
JP5214762B2 (ja) * 2011-03-25 2013-06-19 株式会社東芝 認識装置、方法及びプログラム
JP2012203668A (ja) * 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
JP5776255B2 (ja) * 2011-03-25 2015-09-09 ソニー株式会社 端末装置、物体識別方法、プログラム及び物体識別システム
JP2013054547A (ja) 2011-09-05 2013-03-21 Kddi Corp 物体認識装置および物体認識方法
JP2013158845A (ja) * 2012-02-01 2013-08-19 Seiko Epson Corp ロボット装置、画像生成装置、画像生成方法、および画像生成プログラム
US9128188B1 (en) * 2012-07-13 2015-09-08 The United States Of America As Represented By The Secretary Of The Navy Object instance identification using template textured 3-D model matching
CN105164700B (zh) * 2012-10-11 2019-12-24 开文公司 使用概率模型在视觉数据中检测对象
US9269022B2 (en) * 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
US9424461B1 (en) * 2013-06-27 2016-08-23 Amazon Technologies, Inc. Object recognition for three-dimensional bodies
US9355123B2 (en) * 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
US10242036B2 (en) * 2013-08-14 2019-03-26 Ricoh Co., Ltd. Hybrid detection recognition system
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
JP2015056057A (ja) 2013-09-12 2015-03-23 トヨタ自動車株式会社 姿勢推定方法及びロボット
US9582516B2 (en) * 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
JP6208018B2 (ja) 2014-01-08 2017-10-04 株式会社東芝 画像認識アルゴリズム組合せ選択装置
JP2015143951A (ja) * 2014-01-31 2015-08-06 オムロン株式会社 物体判別装置、画像センサ、物体判別方法
US10606885B2 (en) * 2016-11-15 2020-03-31 Evolv Technology Solutions, Inc. Data object creation and recommendation using machine learning based online evolution
US10984054B2 (en) * 2017-07-27 2021-04-20 Robert Bosch Gmbh Visual analytics system for convolutional neural network based classifiers
US10522186B2 (en) * 2017-07-28 2019-12-31 Adobe Inc. Apparatus, systems, and methods for integrating digital media content
US10719744B2 (en) * 2017-12-28 2020-07-21 Intel Corporation Automated semantic inference of visual features and scenes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210256728A1 (en) * 2018-11-09 2021-08-19 Denso Corporation Object detection apparatus

Also Published As

Publication number Publication date
EP3249579B1 (en) 2022-01-19
JP2017211807A (ja) 2017-11-30
CN107437060A (zh) 2017-12-05
US20170344850A1 (en) 2017-11-30
KR20170133262A (ko) 2017-12-05
CN107437060B (zh) 2021-01-15
KR101917515B1 (ko) 2018-11-09
EP3249579A1 (en) 2017-11-29
US10452950B2 (en) 2019-10-22

Similar Documents

Publication Publication Date Title
JP6528723B2 (ja) 物体認識装置、物体認識方法及びプログラム
CN107346409B (zh) 行人再识别方法和装置
US9633278B2 (en) Object identification device, method, and storage medium
JP6794766B2 (ja) 指紋処理装置、指紋処理方法、プログラム、指紋処理回路
CN110546651B (zh) 用于识别对象的方法、***和计算机可读介质
US9633284B2 (en) Image processing apparatus and image processing method of identifying object in image
KR102073468B1 (ko) 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법
CN105740872B (zh) 图像特征提取方法及其装置
US20130315490A1 (en) Feature point matching device, feature point matching method, and non-transitory computer readable medium storing feature matching program
JP6410450B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
KR20170108339A (ko) 영상에서 다수의 객체를 인식하는 방법
JP4625949B2 (ja) 物体追跡方法および物体追跡装置ならびにプログラム
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
KR101769741B1 (ko) 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치
KR101916460B1 (ko) 깊이 정보를 이용한 물체 인식 방법 및 장치
JP5027201B2 (ja) テロップ文字領域検出方法，テロップ文字領域検出装置およびテロップ文字領域検出プログラム
JP6540577B2 (ja) 物体認識装置
JP2014010633A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
KR101521136B1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
EP2541469B1 (en) Image recognition device, image recognition method and image recognition program
Creusot et al. 3D landmark model discovery from a registered set of organic shapes
KR102035245B1 (ko) 타겟 마커 위치 추정 장치 및 방법
WO2024047847A1 (ja) 検出装置、検出方法、および検出プログラム
KR101308656B1 (ko) 컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법
JP2016206836A (ja) 特徴量生成ユニット、照合装置、特徴量生成方法、および特徴量生成プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190429

R151 Written notification of patent or utility model registration

Ref document number: 6528723

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees