JPWO2005086089A1 - 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム - Google Patents
物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム Download PDFInfo
- Publication number
- JPWO2005086089A1 JPWO2005086089A1 JP2006510803A JP2006510803A JPWO2005086089A1 JP WO2005086089 A1 JPWO2005086089 A1 JP WO2005086089A1 JP 2006510803 A JP2006510803 A JP 2006510803A JP 2006510803 A JP2006510803 A JP 2006510803A JP WO2005086089 A1 JPWO2005086089 A1 JP WO2005086089A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- sharpness
- input image
- posture
- posture estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/164—Detection; Localisation; Normalisation using holistic features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
姿勢推定及び照合システムは姿勢推定及び照合部２０を備える。姿勢推定及び照合部２０においては、姿勢候補決定部３０が姿勢候補を決定する。比較画像生成部４０は、決定された姿勢候補に応じて、３次元物体モデル記憶部４５より得られる３次元物体モデルを２次元の画像に射影しつつ入力画像に近い比較画像を複数個生成する。鮮明度抽出部６０は、生成された比較画像から鮮明度を反映した第１の鮮明度特徴量を抽出する。加重相違度計算部５０は、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する。判定部５２は、最小の加重相違度を持つ比較画像を、入力画像に最も近い比較画像として選出することにより姿勢推定および照合を行う。
Description
本発明は物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラムに関する。本発明は、特に、様々な姿勢や照明の条件下で撮影された物体の画像を物体モデルと照合し、物体の姿勢推定や照合を行うシステム及び方法並びにプログラムに関する。
従来の物体姿勢推定システムの一例（以下、従来技術と称する）が、例えば特開２００３−０５８８９６号公報に開示されている。図１に示すように、従来の物体姿勢推定システムは、画像入力部１０と、３次元物体モデル記憶部４５と、姿勢推定部２５とから構成されている。姿勢推定部２５は、姿勢候補決定部３０と、比較画像生成部４０と、相違度計算部５５と、判定部５６とを含む。
このような構成を有する従来の物体姿勢推定システムは次のように動作する。３次元物体モデル記憶部４５には、複数の物体を計測して生成した複数の３次元物体モデルが予め記憶されている。姿勢推定部２５は、画像入力部１０から入力された入力画像と３次元物体モデル記憶部４５から読み出された３次元物体モデルとを比較することにより姿勢推定を行う。
具体的には、最初に姿勢候補決定部３０が複数の姿勢候補を生成し、比較画像生成部４０に出力する。比較画像生成部４０は、生成された姿勢候補に応じて、３次元物体モデルを２次元の画像に射影しつつ照明条件などが入力画像に近い比較画像を複数個生成し、相違度計算部５５に出力する。相違度計算部５５は、画像入力部１０からの入力画像と比較画像生成部４０からの比較画像とを比較して比較画像毎に相違度を算出し、算出した相違度を判定部５６に出力する。判定部５６は算出された相違度に基づいて複数の比較画像の中から入力画像に最も近い比較画像を選出して最適な姿勢を推定し、推定結果を出力する。
上記の従来技術には、以下のような問題点がある。対象となる３次元物体モデルの物体と入力画像の物体が同じであっても、３次元物体モデルから推定された姿勢が入力画像の物体の姿勢と合っていない場合、入力画像と比較画像の相違度が十分小さくなり（または類似度が十分大きくなり）、誤った姿勢推定結果を生じることがある。あるいはまた、対象となる３次元物体モデルの物体と入力画像の物体が異なっている場合でも、入力画像と比較画像の相違度が十分小さくなり、誤った姿勢推定結果を生じることがある。
その理由は、従来技術では、３次元物体モデルから入力画像に近い比較画像をいくつか生成し、入力画像といくつかの比較画像との比較のみにより入力画像に最も近い比較画像を選出し姿勢推定を行っているためである。つまり、３次元物体モデルから推定された姿勢が入力画像の物体の姿勢と合っていない場合、入力画像と同程度の鮮明度の比較画像が生成されるとエッジ部等の位置が違うため比較的相違度は高い。しかし、入力画像より鮮明度の低い比較画像が生成されると比較画像のエッジ部の誤差が低減される。この場合、入力画像と比較画像との相違度は比較的小さくなり、入力画像と誤った姿勢の比較画像との相違度がわずかなノイズ等によって最も小さくなってしまうことがある。
一方、物体の照合を行う場合、照合は各３次元物体モデルから求められた最適な比較画像と入力画像との相違度が最も小さい物体を選出することにより実行される。しかしながら、入力画像と比較画像との比較のみにより相違度を求めると、誤った物体の場合でも相違度が十分小さくなることがあり、誤った照合結果を生じることがある。
本発明の目的は、様々な姿勢や照明の条件下で撮影された物体の画像に対して、高精度に姿勢推定や照合を行うことができる物体の姿勢推定及び照合システム並びに物体の姿勢推定及び照合方法を提供することにある。
本発明の他の目的は、様々な照明の条件下で撮影された物体の画像に対して、高精度に照合ができる物体照合システム及び物体照合方法を提供することにある。
このような構成を有する従来の物体姿勢推定システムは次のように動作する。３次元物体モデル記憶部４５には、複数の物体を計測して生成した複数の３次元物体モデルが予め記憶されている。姿勢推定部２５は、画像入力部１０から入力された入力画像と３次元物体モデル記憶部４５から読み出された３次元物体モデルとを比較することにより姿勢推定を行う。
具体的には、最初に姿勢候補決定部３０が複数の姿勢候補を生成し、比較画像生成部４０に出力する。比較画像生成部４０は、生成された姿勢候補に応じて、３次元物体モデルを２次元の画像に射影しつつ照明条件などが入力画像に近い比較画像を複数個生成し、相違度計算部５５に出力する。相違度計算部５５は、画像入力部１０からの入力画像と比較画像生成部４０からの比較画像とを比較して比較画像毎に相違度を算出し、算出した相違度を判定部５６に出力する。判定部５６は算出された相違度に基づいて複数の比較画像の中から入力画像に最も近い比較画像を選出して最適な姿勢を推定し、推定結果を出力する。
上記の従来技術には、以下のような問題点がある。対象となる３次元物体モデルの物体と入力画像の物体が同じであっても、３次元物体モデルから推定された姿勢が入力画像の物体の姿勢と合っていない場合、入力画像と比較画像の相違度が十分小さくなり（または類似度が十分大きくなり）、誤った姿勢推定結果を生じることがある。あるいはまた、対象となる３次元物体モデルの物体と入力画像の物体が異なっている場合でも、入力画像と比較画像の相違度が十分小さくなり、誤った姿勢推定結果を生じることがある。
その理由は、従来技術では、３次元物体モデルから入力画像に近い比較画像をいくつか生成し、入力画像といくつかの比較画像との比較のみにより入力画像に最も近い比較画像を選出し姿勢推定を行っているためである。つまり、３次元物体モデルから推定された姿勢が入力画像の物体の姿勢と合っていない場合、入力画像と同程度の鮮明度の比較画像が生成されるとエッジ部等の位置が違うため比較的相違度は高い。しかし、入力画像より鮮明度の低い比較画像が生成されると比較画像のエッジ部の誤差が低減される。この場合、入力画像と比較画像との相違度は比較的小さくなり、入力画像と誤った姿勢の比較画像との相違度がわずかなノイズ等によって最も小さくなってしまうことがある。
一方、物体の照合を行う場合、照合は各３次元物体モデルから求められた最適な比較画像と入力画像との相違度が最も小さい物体を選出することにより実行される。しかしながら、入力画像と比較画像との比較のみにより相違度を求めると、誤った物体の場合でも相違度が十分小さくなることがあり、誤った照合結果を生じることがある。
本発明の目的は、様々な姿勢や照明の条件下で撮影された物体の画像に対して、高精度に姿勢推定や照合を行うことができる物体の姿勢推定及び照合システム並びに物体の姿勢推定及び照合方法を提供することにある。
本発明の他の目的は、様々な照明の条件下で撮影された物体の画像に対して、高精度に照合ができる物体照合システム及び物体照合方法を提供することにある。
本発明の第１の態様によれば、入力画像と３次元物体モデルとを比較して物体の姿勢推定を行う姿勢推定システムが提供される。本姿勢推定システムは、少なくとも１つの姿勢候補を生成する姿勢候補決定部と、生成された姿勢候補に応じて、３次元物体モデルを２次元の画像に射影しつつ入力画像に近い比較画像を複数個生成する比較画像生成部と、複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出する第１の鮮明度特徴抽出部とを含む。姿勢推定システムは更に、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する加重相違度計算部と、複数の加重相違度の中から最小の加重相違度を持つ比較画像を選出し、選出された比較画像に基づいて最適な姿勢を推定する判定部とを備える。
本発明の第２の態様によれば、上記の姿勢推定システムを用いた姿勢推定及び照合システムが提供される。本姿勢推定及び照合システムにおいては、判定部が更に、推定した最適姿勢の最小加重相違度をあらかじめ定められたしきい値と比較することにより物体照合をも行う。
本発明の第３の態様によれば、入力画像と物体モデルとを比較して物体の照合を行う照合システムが提供される。本照合システムは、物体モデルから入力画像に近い比較画像を複数個生成する比較画像生成部と、複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出する第１の鮮明度特徴抽出部とを含む。照合システムは更に、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する加重相違度計算部と、計算された複数の加重相違度をあらかじめ設定したしきい値と比較することにより物体の照合を行う判定部とを備える。
第１〜第３の態様のいずれにおいても、更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出する第２の鮮明度特徴抽出部を備えても良い。この場合、加重相違度計算部は、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する。
本発明の第４の態様によれば、入力画像と３次元物体モデルとを比較して物体の姿勢推定を行う姿勢推定方法が提供される。本姿勢推定方法においては、少なくとも１つの姿勢候補を生成し、生成された姿勢候補に応じて、３次元物体モデルを２次元の画像に射影しつつ入力画像に近い比較画像を複数個生成する。本姿勢推定方法においてはまた、複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出し、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する。
本発明の第５の態様によれば、上記第４の態様による姿勢推定方法を用いた姿勢推定及び照合方法が提供される。本姿勢推定及び照合方法においては更に、複数の加重相違度の中から最小の加重相違度を持つ比較画像を選出し、選出された比較画像に基づいて最適な姿勢を推定する。
第４、第５の態様のいずれにおいても、更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出するようにしても良い。この場合、加重相違度計算においては、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する。
本発明の第６の態様によれば、入力画像と物体モデルとを比較するための物体相違度計算方法が提供される。本物体相違度計算方法においては、物体モデルから入力画像に近い比較画像を複数個生成し、複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出し、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する。
本物体相違度計算方法においては、更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出しても良い。この場合、加重相違度計算においては、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する。
本発明の第７の態様によれば、上記物体相違度計算方法を用いた物体照合方法が提供される。本物体照合方法においては、更に、計算された複数の加重相違度の比較を行うことにより物体照合を行うことができる。
本発明の第８の態様によれば、コンピュータに、入力画像と３次元物体モデルとを比較して物体の姿勢推定を実行させるための姿勢推定プログラムが提供される。本姿勢推定プログラムにおいては、少なくとも１つの姿勢候補を生成する姿勢候補決定処理と、生成された姿勢候補に応じて、３次元物体モデルを２次元の画像に射影しつつ入力画像に近い比較画像を複数個生成する比較画像生成処理と、複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出する第１の鮮明度特徴抽出処理とが実行される。本姿勢推定プログラムにおいてはまた、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する加重相違度計算処理と、複数の加重相違度の中から最小の加重相違度を持つ比較画像を選出し、選出された比較画像に基づいて最適な姿勢を推定する姿勢推定処理とが実行される。
本発明の第９の態様によれば、上記の姿勢推定プログラムを用いた姿勢推定及び照合プログラムが提供される。本姿勢推定及び照合プログラムにおいては、姿勢推定処理において更に、推定した最適姿勢の最小加重相違度をあらかじめ定められたしきい値と比較することにより物体照合が行われる。
本発明の第１０の態様によれば、コンピュータに、入力画像と物体モデルとを比較して物体の照合を実行させるための照合プログラムが提供される。本照合プログラムにおいては、物体モデルから入力画像に近い比較画像を複数個生成する比較画像生成処理と、複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出する第１の鮮明度特徴抽出処理と、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する加重相違度計算処理と、計算された複数の加重相違度の比較を行うことにより照合を行う照合処理とが実行される。
第８〜第１０の態様のいずれにおいても、更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出する第２の鮮明度特徴抽出処理が実行されても良い。この場合、加重相違度計算処理においては、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する。
本発明の第２の態様によれば、上記の姿勢推定システムを用いた姿勢推定及び照合システムが提供される。本姿勢推定及び照合システムにおいては、判定部が更に、推定した最適姿勢の最小加重相違度をあらかじめ定められたしきい値と比較することにより物体照合をも行う。
本発明の第３の態様によれば、入力画像と物体モデルとを比較して物体の照合を行う照合システムが提供される。本照合システムは、物体モデルから入力画像に近い比較画像を複数個生成する比較画像生成部と、複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出する第１の鮮明度特徴抽出部とを含む。照合システムは更に、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する加重相違度計算部と、計算された複数の加重相違度をあらかじめ設定したしきい値と比較することにより物体の照合を行う判定部とを備える。
第１〜第３の態様のいずれにおいても、更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出する第２の鮮明度特徴抽出部を備えても良い。この場合、加重相違度計算部は、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する。
本発明の第４の態様によれば、入力画像と３次元物体モデルとを比較して物体の姿勢推定を行う姿勢推定方法が提供される。本姿勢推定方法においては、少なくとも１つの姿勢候補を生成し、生成された姿勢候補に応じて、３次元物体モデルを２次元の画像に射影しつつ入力画像に近い比較画像を複数個生成する。本姿勢推定方法においてはまた、複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出し、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する。
本発明の第５の態様によれば、上記第４の態様による姿勢推定方法を用いた姿勢推定及び照合方法が提供される。本姿勢推定及び照合方法においては更に、複数の加重相違度の中から最小の加重相違度を持つ比較画像を選出し、選出された比較画像に基づいて最適な姿勢を推定する。
第４、第５の態様のいずれにおいても、更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出するようにしても良い。この場合、加重相違度計算においては、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する。
本発明の第６の態様によれば、入力画像と物体モデルとを比較するための物体相違度計算方法が提供される。本物体相違度計算方法においては、物体モデルから入力画像に近い比較画像を複数個生成し、複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出し、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する。
本物体相違度計算方法においては、更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出しても良い。この場合、加重相違度計算においては、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する。
本発明の第７の態様によれば、上記物体相違度計算方法を用いた物体照合方法が提供される。本物体照合方法においては、更に、計算された複数の加重相違度の比較を行うことにより物体照合を行うことができる。
本発明の第８の態様によれば、コンピュータに、入力画像と３次元物体モデルとを比較して物体の姿勢推定を実行させるための姿勢推定プログラムが提供される。本姿勢推定プログラムにおいては、少なくとも１つの姿勢候補を生成する姿勢候補決定処理と、生成された姿勢候補に応じて、３次元物体モデルを２次元の画像に射影しつつ入力画像に近い比較画像を複数個生成する比較画像生成処理と、複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出する第１の鮮明度特徴抽出処理とが実行される。本姿勢推定プログラムにおいてはまた、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する加重相違度計算処理と、複数の加重相違度の中から最小の加重相違度を持つ比較画像を選出し、選出された比較画像に基づいて最適な姿勢を推定する姿勢推定処理とが実行される。
本発明の第９の態様によれば、上記の姿勢推定プログラムを用いた姿勢推定及び照合プログラムが提供される。本姿勢推定及び照合プログラムにおいては、姿勢推定処理において更に、推定した最適姿勢の最小加重相違度をあらかじめ定められたしきい値と比較することにより物体照合が行われる。
本発明の第１０の態様によれば、コンピュータに、入力画像と物体モデルとを比較して物体の照合を実行させるための照合プログラムが提供される。本照合プログラムにおいては、物体モデルから入力画像に近い比較画像を複数個生成する比較画像生成処理と、複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出する第１の鮮明度特徴抽出処理と、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する加重相違度計算処理と、計算された複数の加重相違度の比較を行うことにより照合を行う照合処理とが実行される。
第８〜第１０の態様のいずれにおいても、更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出する第２の鮮明度特徴抽出処理が実行されても良い。この場合、加重相違度計算処理においては、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する。
図１は、従来の物体の姿勢推定システムの構成を示すブロック図である。
図２は、本発明の第１の実施形態による物体の姿勢推定及び照合システムの構成を示すブロック図である。
図３は、第１の実施形態による物体の姿勢推定の動作を説明するためのフローチャート図である。
図４は、第１の実施形態による１対１照合の動作を説明するためのフローチャート図である。
図５は、第１の実施形態による１対Ｎ照合の動作を説明するためのフローチャート図である。
図６は、第１の実施形態における３次元物体モデルの具体例を説明するための図である。
図７は、第１の実施形態における入力画像の具体例を説明するための図である。
図８は、第１の実施形態における比較画像の具体例を説明するための図である。
図９は、本発明の第２の実施形態による物体の姿勢推定及び照合システムの構成を示すブロック図である。
図１０は、第２の実施形態による物体の姿勢推定の動作を説明するためのフローチャート図である。
図１１は、本発明の第３の実施形態による物体照合システムの構成を示すブロック図である。
図１２は、第３の実施形態による１対１照合の動作を説明するためのフローチャート図である。
図１３は、本発明の第４の実施形態による物体照合システムの構成を示すブロック図である。
図１４は、第４の実施形態による１対１照合の動作を説明するためのフローチャート図である。
図２は、本発明の第１の実施形態による物体の姿勢推定及び照合システムの構成を示すブロック図である。
図３は、第１の実施形態による物体の姿勢推定の動作を説明するためのフローチャート図である。
図４は、第１の実施形態による１対１照合の動作を説明するためのフローチャート図である。
図５は、第１の実施形態による１対Ｎ照合の動作を説明するためのフローチャート図である。
図６は、第１の実施形態における３次元物体モデルの具体例を説明するための図である。
図７は、第１の実施形態における入力画像の具体例を説明するための図である。
図８は、第１の実施形態における比較画像の具体例を説明するための図である。
図９は、本発明の第２の実施形態による物体の姿勢推定及び照合システムの構成を示すブロック図である。
図１０は、第２の実施形態による物体の姿勢推定の動作を説明するためのフローチャート図である。
図１１は、本発明の第３の実施形態による物体照合システムの構成を示すブロック図である。
図１２は、第３の実施形態による１対１照合の動作を説明するためのフローチャート図である。
図１３は、本発明の第４の実施形態による物体照合システムの構成を示すブロック図である。
図１４は、第４の実施形態による１対１照合の動作を説明するためのフローチャート図である。
本発明を幾つかの実施形態について図面を参照して詳細に説明する。
図２は、本発明による物体の姿勢推定及び照合システムの第１の実施形態を示す。図２において、図１で説明した要素と同じ要素には同一番号を付している。物体の姿勢推定及び照合システムは、ビデオカメラ等による画像入力部１０と、３次元物体モデル記憶部４５と、姿勢推定及び照合部２０とから構成されている。姿勢推定及び照合部２０は、姿勢候補決定部３０、比較画像生成部４０、鮮明度特徴抽出部（第１の鮮明度特徴抽出部）６０、加重相違度計算部５０、判定部５２を含む。
３次元物体モデル記憶部４５には、複数の物体の３次元物体モデルが予め記憶されている。３次元物体モデルは、例えば特開２００１−１２９２５号公報に開示された３次元形状計測装置を用いることにより生成することができる。あるいは、３次元物体モデルは、特開平９−９１４３６号公報に開示された、多数のカメラで撮影された複数画像から３次元形状を復元する装置を用いることにより生成することができる。いずれにしても、３次元物体モデルの生成方法は本発明の要旨ではないので詳しい説明は省略する。
姿勢推定及び照合部２０は、画像入力部１０より得られる入力画像と３次元物体モデル記憶部４５より得られる３次元物体モデルとを比較することにより物体の姿勢推定及び物体照合を行う。
具体的には、はじめに姿勢候補決定部３０は、少なくとも１つの姿勢候補を生成する。姿勢候補は複数個生成されるのが好ましく、以下では姿勢候補が複数個生成される場合について説明する。比較画像生成部４０は、画像入力部１０から入力画像を受ける。比較画像生成部４０はまた、生成された複数の姿勢候補に応じて、３次元物体モデル記憶部４５より得られる３次元物体モデルを２次元の画像に射影しつつ照明条件などが入力画像に近い比較画像を複数個生成する。鮮明度特徴抽出部６０は、生成された各比較画像から鮮明度を反映した特徴量を鮮明度特徴（以下、第１の鮮明度特徴量と呼ぶ）として抽出する。加重相違度計算部５０は、画像入力部１０からの入力画像と比較画像生成部４０で生成された比較画像の相違度に第１の鮮明度特徴量を加重した相違度（以下、加重相違度と呼ぶ）を比較画像毎に計算する。判定部５２は、計算された複数の加重相違度に基いて複数の比較画像の中から入力画像に最も近い（つまり、最小相違度）比較画像を選出し、選出した比較画像から最適な姿勢を推定する。
後に詳しく説明するように、判定部５２は、１つの物体（３次元物体モデル）との照合処理である１対１照合と、複数の３次元物体モデルから入力画像に最も近い物体を検索する１対Ｎ物体照合とを行うことができる。判定部５２は、１対１照合を行う場合は、最小相違度をあらかじめ設定されているしきい値と比較して、同一物体であるか否かを判定する。一方、判定部５２は、１対Ｎ照合を行う場合には、複数の３次元物体モデルについて得られる複数の最小相違度のうち最も小さい３次元物体モデルを選出し、物体照合を行う。
次に、図２及び図３を参照して第１の実施形態の姿勢推定における全体の動作について詳細に説明する。ここでは、入力画像と３次元物体モデルＣｋとを比較する場合について説明する。
図３において、はじめに画像入力部１０により入力画像が得られる（ステップ１００）。次に、姿勢候補決定部３０において、複数の姿勢候補｛ｅｊ｝が決定される（ステップ１１０）。次に、比較画像生成部４０は、決定された姿勢候補｛ｅｊ｝に応じて、３次元物体モデル記憶部４５より得られる３次元物体モデルＣｋを２次元の画像に射影しつつ入力画像に近い比較画像を複数個生成する（ステップ１２０）。次に、鮮明度特徴抽出部６０は、生成された各比較画像から鮮明度を反映した第１の鮮明度特徴量を抽出する（ステップ１３０）。加重相違度計算部５０は、第１の鮮明度特徴量を用い、入力画像と生成された比較画像との加重相違度Ｄ（１） ｋｊを比較画像毎に計算する（ステップ１４０）。判定部５２は、計算された加重相違度Ｄ（１） ｋｊに基づいて、複数の比較画像から最小相違度Ｄｋ＝ｍｉｎＤ（１） ｋｊを持つ比較画像を選出することにより、最適な姿勢ｅｊを求める（ステップ１５０）。なお、図２において、加重相違度計算部５０から姿勢候補決定部３０に向かう線は以下のことを示している。上記の動作では決定された複数の姿勢候補｛ｅｊ｝の中から相違度の最も小さい姿勢を選択しているが、姿勢候補決定部３０に戻って順次姿勢候補を変化させながら、相違度の最も小さい姿勢を探索してもよい。
次に、図２及び図４を参照して第１の実施形態の１対１照合における全体の動作について詳細に説明する。
図４のステップ１００から１５０は、図３におけるステップ１００から１５０と同一の処理である。ステップ１５０に続く最後のステップ１６５において、判定部５２は、最小相違度Ｄｋとあらかじめ決められたしきい値とを比較して、３次元モデルＣｋの物体と入力画像の物体とが同一であるか否かを判定する。つまり、最小相違度Ｄｋがあらかじめ決められたしきい値より小さければ両者は同一物体であると判定する。
次に、図２及び図５を参照して第１の実施形態の１対Ｎ照合における全体の動作について詳細に説明する。
はじめに、画像入力部１０により入力画像が得られる（ステップ１００）。次に、３次元物体モデルのモデル番号ｋが１とされる（ステップ１６０）。ステップ１１０から１５０は、図３におけるステップ１１０から１５０と同一の処理である。ステップ１５０の後に、判定部５２は、モデル番号ｋを１増やす（ステップ１６１）。続いて、ステップ１６２に移行し、判定部５２は、増やされたモデル番号ｋがあらかじめ決められたモデル数Ｍに達したかどうかを判別する。増やされたモデル番号ｋがモデル数Ｍ以下の場合は、ステップ１１０に戻り、ステップ１１０から１５０が実行される。これにより、モデル番号（ｋ＋１）の３次元物体モデルの最小相違度が求められる。ステップ１６２において、増やされたモデル番号ｋがモデル数Ｍに達していれば、ステップ１６３に移行し、判定部５２はＭ個の最小相違度Ｄｋのうちの最も小さい最小相違度Ｄｋが得られた３次元物体モデルＣｋを照合結果として出力する。
次に、第１の実施形態の効果について説明する。
第１の実施形態では、３次元物体モデルから生成された比較画像の鮮明度を反映した第１の鮮明度特徴量を、入力画像と比較画像との相違度計算に加重するように構成されている。このため、３次元物体モデルの姿勢や物体が入力画像の姿勢や物体に合っていない場合には大きな相違度が生じやすくなり、高精度に姿勢推定や照合ができる。
次に、具体的な実施例を用いて第１の実施形態の姿勢推定における動作を説明する。なお、本実施例では、人物の顔を例として説明するが、他の物体にも適用できることは言うまでも無い。
３次元物体モデル記憶部４５には、図６に示すような、物体ｋの３次元物体モデルが記憶されている。図６は３次元物体モデル記憶部４５に記憶されている複数の３次元物体モデルの一つの例のみを示している。３次元物体モデルは、物体表面の３次元空間（ｘ，ｙ，ｚ）内での形状ＰＱ（ｘ，ｙ，ｚ）とテクスチャＴＱ（Ｒ，Ｇ，Ｂ）を情報として持っている。Ｑは物体表面上の点のインデックスを表し、例えば物体の重心を中心とした球体へ物体表面上の点を重心から射影した点Ｑ（ｓ，ｔ）の座標に対応している。推定の効率化のために、予め３次元物体モデルから様々な照明条件による学習用ＣＧ画像をコンピュータグラフィックスにより生成し、当該学習用ＣＧ画像を主成分分析することにより基底画像群を求めておく。
まず、画像入力部１０により図７に示すような入力画像Ｉ（ｒ）が得られるものとする（図３のステップ１００）。ここで、ｒは画素を表す。
次に、姿勢候補決定部３０において、複数の姿勢候補｛ｅｊ｝を決定する（ステップ１１０）。姿勢候補｛ｅｊ｝は、入力画像に関係なく予め設定しておいてもよいが、以下のようにしてもよい。例えば、入力画像及び３次元物体モデルから目、鼻、口などの特徴点を手動または自動で抽出する。続いて、抽出された特徴点に基づいて周知の物体の位置及び向きを計算する方法によりおおよその姿勢を推定し、推定された姿勢の近辺で姿勢候補｛ｅｊ｝を生成する。上記の物体の位置及び向きを計算する方法は、例えば前述した特許文献３に開示されている。
次に、比較画像生成部４０は、生成された姿勢候補｛ｅｊ｝に応じて３次元物体モデルを２次元の画像に射影しつつ入力画像の照明条件に近い比較画像Ｇｋｊ（ｒ）を複数個生成する（ステップ１２０）。ここで、入力画像の照明条件に近い比較画像の生成は、以下のようにして行われる。予め求められている基底画像群を各姿勢候補に基づいて座標変換し、当該座標変換した基底画像の線形和が当該入力画像に近くなるように、線形和の係数を最小二乗法で求める。図７の入力画像に対して生成された比較画像の例を図８に示すが、濃淡情報は図示していない。
次に、鮮明度特徴抽出部６０は、比較画像Ｇｋｊ（ｒ）から鮮明度を反映した第１の鮮明度特徴量Ｓｋｊを抽出する（ステップ１３０）。鮮明度特徴量は、画像の輝度（色）の変化の度合いを表す量である。例えば、画像Ｇ（ｒ）の第１の鮮明度特徴量Ｓは、画像Ｇ（ｒ）のエッジ画像Ｇ’（ｒ）におけるエッジ強度がしきい値以上である画素数Ｅｅの全画素数Ｅに対する割合Ｅｅ／Ｅで定義できる。なお、第１の鮮明度特徴量Ｓは、画像のコントラスト（輝度値の範囲）や輝度値の分散などを用いて表しても良い。
次に、加重相違度計算部５０は、第１の鮮明度特徴量Ｓｋｊを用いて、入力画像Ｉ（ｒ）と比較画像Ｇｋｊ（ｒ）との加重相違度Ｄ（１） ｋｊを求める（ステップ１４０）。加重相違度は、比較画像から抽出された第１の鮮明度特徴量が大きい場合に相違度が小さくなるように設定される。例えば、入力画像Ｉ（ｒ）と比較画像Ｇｋｊ（ｒ）との相違度Ｄ（０） ｋｊにユークリッド距離を用いる場合、以下の式により計算される。
Ｄ（０） ｋｊ＝Σｒ｛Ｉ（ｒ）−Ｇｋｊ（ｒ）｝２
また、加重相違度Ｄ（１） ｋｊは、以下の式により計算される。
Ｄ（１） ｋｊ＝Ｄ（０） ｋｊ／｛１＋ａＳｋｊ｝（但し、ａは重み係数）
次に、判定部５２は、複数の比較画像の中から最小相違度Ｄ（１） ｋ＝ｍｉｎｊＤ（１） ｋｊを持つ比較画像を選出することにより、最適な姿勢ｅｊを求める（ステップ１５０）。
例えば、図８の場合、姿勢ｅ１（比較画像Ｇｋ１）が最適姿勢である。ここで、各比較画像と入力画像の相違度Ｄ（０） ｋｊがノイズ等によりＤ（０） ｋｊ＝｛１００，９５，１２０｝となった場合でも、各比較画像の第１の鮮明度特徴量ＳｋｊがＳｋｊ＝｛０．５，０．３，０．２｝となったとすると、加重相違度Ｄ（１） ｋｊは重み係数ａ＝１の場合、Ｄ（１） ｋｊ＝｛６７，７３，１００｝となる。その結果、比較画像Ｇｋ１が選出され、姿勢ｅ１が最適姿勢となる。
なお、上記の説明は、物体の姿勢推定及び照合システムとして適用する場合であるが、照合を行わない物体姿勢推定システムあるいは姿勢推定を伴わない物体照合システムとしての適用も可能であることは言うまでも無い。これは後述される第２の実施形態においても同様である。
次に、本発明の第２の実施形態について詳細に説明する。
図９を参照して、本発明の第２の実施形態による、物体の姿勢推定及び照合システムは、画像入力部１０と、第２の鮮明度特徴抽出部６１と、３次元物体モデル記憶部４５と、姿勢推定及び照合部２１とから構成されている。姿勢推定及び照合部２１は、姿勢候補決定部３０と、比較画像生成部４０と、鮮明度特徴抽出部（第１の鮮明度特徴抽出部）６０と、加重相違度計算部５１と、判定部５２とを含む。
画像入力部１０と、３次元物体モデル記憶部４５と、姿勢候補決定部３０と、比較画像生成部４０と、鮮明度特徴抽出部６０は、図２で説明したのと同じ処理を実行する。
第２の鮮明度特徴抽出部６１は、画像入力部１０より得られる入力画像の鮮明度を反映した第２の鮮明度特徴量を抽出する。
姿勢推定及び照合部２１は、画像入力部１０より得られる入力画像と第２の鮮明度特徴抽出部６１より得られる入力画像の第２の鮮明度特徴量とを用い、３次元物体モデル記憶部４５より得られる３次元物体モデルと比較することにより姿勢推定及び照合を行う。
具体的には、姿勢候補決定部３０は、複数の姿勢候補を生成する。比較画像生成部４０は、生成された姿勢候補に応じて、３次元物体モデルを２次元の画像に射影しつつ照明条件などが入力画像に近い比較画像を複数個生成する。鮮明度特徴抽出部６０は、生成された各比較画像から第１の鮮明度特徴量を抽出する。加重相違度計算部５１は、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量の相違度とを加重した加重相違度を比較画像毎に計算する。判定部５２は、計算された加重相違度に基いて複数の比較画像の中から入力画像に最も近い、つまり、最小相違度を持つ比較画像を選出することにより最適な姿勢を推定する。なお、判定部５２は、１対１照合の場合は、最小相違度とあらかじめ定められたしきい値とを比較して、３次元物体モデルの物体と入力画像の物体とが同一であるか否かを判定する。一方、１対Ｎ照合の場合は、判定部５２は、図５で説明したように、Ｍ個の３次元物体モデルの中から最小相違度の最も小さい３次元物体モデルを選出する。
次に、図９及び図１０を参照して第２の実施形態の姿勢推定における全体の動作について詳細に説明する。なお、１対１照合の動作の場合、図１０のステップ１５１の後に図４のステップ１６５が実行されることは明らかである。一方、１対Ｎ照合の動作の場合、図１０のステップ１１０の前に図５のステップ１６０が実行され、図１０のステップ１５１の後に図５のステップ１６１から１６３が実行されることも明白である。それ故、図１０のステップ１５１以降の動作説明は省略する。
まず、画像入力部１０により入力画像が得られる（図１０のステップ１００）。次に、第２の鮮明度特徴抽出部６１は、入力画像の第２の鮮明度特徴量を抽出する（ステップ１０１）。次に、姿勢候補決定部３０において、複数の姿勢候補｛ｅｊ｝を決定する（ステップ１１０）。次に、比較画像生成部４０は、決定された姿勢候補に応じて、３次元物体モデルＣｋを２次元の画像に射影しつつ入力画像に近い比較画像を複数個生成する（ステップ１２０）。次に、鮮明度特徴抽出部６０は、生成された比較画像から第１の鮮明度特徴量を抽出する（ステップ１３０）。加重相違度計算部５１は、入力画像と生成された比較画像及び入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量を用いた加重相違度Ｄ（２） ｋｊを比較画像毎に求める（ステップ１４１）。
例えば、入力画像と比較画像との相違度をＤ（０） ｋｊ、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度をＤ（ｅ） ｋｊとした場合、加重相違度Ｄ（２） ｋｊは以下の式で計算される。
Ｄ（２） ｋｊ＝Ｄ（０） ｋｊ＋ｂＤ（ｅ） ｋｊ（但し、ｂは重み係数）
第１、第２の鮮明度特徴量の相違度は、ユークリッド距離等により計算できる。判定部５２は、複数の比較画像の中から最小相違度を持つ比較画像を選出することにより、最適な姿勢ｅｊを求める（ステップ１５１）。
次に、第２の実施形態の効果について説明する。
第２の実施形態では、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を入力画像と比較画像との相違度計算に加重するように構成されている。このため、３次元物体モデルの姿勢や物体が入力画像の姿勢や物体と合っていない場合には大きな相違度が生じやすくなり、高精度に姿勢推定や照合ができる。
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。
図１１を参照して、本発明の第３の実施形態による物体照合システムは、画像入力部１０と、物体モデル記憶部４６と、照合部２２とから構成されている。照合部２２は、比較画像生成部４１と、鮮明度特徴抽出部６０と、加重相違度計算部５０と、判定部５４とを含む。
第３の実施形態は、物体の姿勢変動が少ない場合の照合を考慮して、第１の実施形態における姿勢候補決定部３０を省略している。物体の姿勢変動が少ない場合の照合というのは、例えば物体を正面から撮影した画像のみについて照合を行う場合である。
画像入力部１０と、鮮明度特徴抽出部６０は、図２に示したものと同じ処理を実行する。
物体モデル記憶部４６には、複数の物体の物体モデルが予め記憶されている。物体モデルは、物体を撮影した時の様々な画像変動の情報を含む。例えば、各物体の様々な照明条件での正面顔画像を予め用意し、当該正面顔画像を主成分分析することにより基底画像群を求めておけば、比較画像生成部４１において、当該基底画像群の合成により入力画像に近い比較画像を生成することができる。
照合部２２は、画像入力部１０より得られる入力画像と物体モデル記憶部４６より得られる物体モデルとを比較することにより照合を行う。
具体的には、比較画像生成部４１は、物体モデル記憶部４６より得られる物体モデルから照明条件などが入力画像に近い比較画像を生成する。鮮明度特徴抽出部６０は、生成された比較画像から鮮明度を反映した第１の鮮明度特徴量を抽出する。加重相違度計算部５０は、入力画像と生成された比較画像の相違度に第１の鮮明度特徴量を加重した加重相違度を計算する。なお、判定部５４は、１対１照合の場合は、計算された加重相違度とあらかじめ設定されたしきい値とを比較して、物体モデルの物体と入力画像の物体が同一であるか否かを判定する。一方、１対Ｎ照合の場合は、判定部５４は、複数の物体モデルの中から最も小さい最小相違度を持つ物体モデルを選出する。
次に、図１１及び図１２を参照して第３の実施形態の１対１照合における全体の動作について詳細に説明する。
まず、画像入力部１０により入力画像が得られる（図１２のステップ１００）。次に、比較画像生成部４１は、物体モデル記憶部４６より得られる物体モデルＣｋから入力画像に近い比較画像を複数個生成する（ステップ１２１）。次に、鮮明度特徴抽出部６０は、各比較画像から鮮明度を反映した第１の鮮明度特徴量を抽出する（ステップ１３０）。加重相違度計算部５０は、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した加重相違度Ｄｋ＝Ｄ（１） ｋを比較画像毎に計算する（ステップ１４２）。最後に、判定部５４は、計算された加重相違度とあらかじめ設定されたしきい値とを比較して、物体モデルの物体と入力画像の物体が同一であるか否かを判定する（ステップ１６５）。つまり、計算された加重相違度があらかじめ設定されたしきい値より小さい場合に同一であると判定する。
１対Ｎ照合の場合は、図５で説明した１対Ｎ照合における３次元物体モデルが物体モデルに代わることを除けば、ほぼ同じであるので説明は省略する。
次に、第３の実施形態の効果について説明する。
第３の実施形態では、第１の鮮明度特徴量を入力画像と比較画像の相違度計算に加重するように構成されている。このため、物体モデルの物体と入力画像の物体が合っていない場合には大きな相違度が生じやすくなり、高精度に照合ができる。
次に、本発明の第４の実施形態について図面を参照して詳細に説明する。
図１３を参照して、本発明の第４の実施形態による物体照合システムは、画像入力部１０と、第２の鮮明度特徴抽出部６１と、物体モデル記憶部４６と、照合部２３とから構成されている。照合部２３は、比較画像生成部４１と、鮮明度特徴抽出部（第１の鮮明度特徴抽出部）６０と、加重相違度計算部５１と、判定部５４とを含む。
第４の実施形態は、第３の実施形態と同様に、物体の姿勢変動が少ない場合の照合を考慮して、第２の実施形態における姿勢候補決定部３０を省略した形態である。物体の姿勢変動が少ない場合の照合というのは、前述したように、例えば物体を正面から撮影した画像のみについて照合を行う場合である。
画像入力部１０と、第２の鮮明度特徴抽出部６１と、加重相違度計算部５１は、図９で説明した第２の実施形態における各部と同じ処理を実行する。一方、物体モデル記憶部４６と、比較画像生成部４１と、鮮明度特徴抽出部６０は、図１１で説明した第３の実施形態における各部と同じ処理を実行する。
次に、図１３及び図１４を参照して第４の実施形態による１対１照合の全体の動作について詳細に説明する。
まず、画像入力部１０により入力画像が得られる（図１４のステップ１００）。次に、第２の鮮明度特徴抽出部６１は、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出する（ステップ１０１）。次に、比較画像生成部４１は、物体モデル記憶部４６より得られる物体モデルＣｋから入力画像に近い比較画像を複数個生成する（ステップ１２１）。次に、鮮明度特徴抽出部６０は、生成された比較画像から鮮明度を反映した第１の鮮明度特徴量を抽出する（ステップ１３０）。加重相違度計算部５１は、入力画像と生成された比較画像及び入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量とを用いた加重相違度Ｄｋ＝Ｄ（２） ｋを比較画像毎に計算する（ステップ１４３）。最後に、判定部５４は、計算された加重相違度をあらかじめ設定されたしきい値と比較して、物体モデルの物体と入力画像の物体が同一であるか否かを判定する（ステップ１６５）。
１対Ｎ照合の場合は、図５で説明した１対Ｎ照合における３次元物体モデルが物体モデルに代わることを除けば、ほぼ同じであるので説明は省略する。
次に、第４の実施形態の効果について説明する。
第４の実施形態では、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量の相違度とを、入力画像と比較画像の相違度計算に加重するように構成されている。このため、物体モデルの物体と入力画像の物体が合っていない場合には大きな相違度が生じやすくなり、高精度に照合ができる。
前述した第２及び第４の実施形態では、鮮明度特徴量は１次元の特徴量としたが、より高次の特徴量でもよい。例えば、エッジ画像を高次の鮮明度特徴量として、画素毎または小領域毎に鮮明度特徴量の相違度を求めても良い。また、画像が鮮明でない場合は特徴点を安定に抽出できないため、鮮明度を反映した鮮明度特徴量として特徴点を用いても良い。特徴点は、顔の場合、目、鼻、口などの位置が一般的であり、周知の顔特徴抽出方法などを用いて自動的に抽出できる。顔特徴抽出方法は、例えば「顔特徴点の自動抽出と追跡」（稲田ら）２００１年１月、電子情報通信学会信学技法、ＰＲＭＵ２０００−１５１に開示されている。特徴点の相違度は、特徴点の座標値を特徴量として、ユークリッド距離等により計算できる。
更に、いずれの実施形態においても、抽出された特徴点数を鮮明度特徴量として用いても良い。
いずれの実施形態においても、３次元物体モデルあるいは物体モデルは予め記憶され、画像は画像入力部から入力される。しかし、本発明は、画像を予め記憶装置に記憶しておき、３次元物体モデルあるいは物体モデルを別の入力部を通して入力する場合にも適用可能である。本発明はまた、画像と３次元物体モデルあるいは物体モデルの双方を入力部を通して入力する場合にも適用可能である。
本発明による物体の姿勢推定及び照合システムは、構成要素である各部の機能をハードウェア的に実現できることは勿論である。一方、上記各部の機能をソフトウェア的に実現することもできる。これは、上記した各部の機能を実行する姿勢推定及び照合プログラム（アプリケーション）をコンピュータ処理装置のメモリにロードしておき、姿勢推定及び照合プログラムに基いてコンピュータ処理装置を制御することで実現することができる。この姿勢推定及び照合プログラムは、磁気ディスク、半導体メモリその他の記録媒体に格納され、その記録媒体からコンピュータ処理装置にロードされて、コンピュータ処理装置の動作を制御する。これにより、上述した各機能が実現される。これは、物体の姿勢推定プログラム、物体の照合プログラムについても同様である。
本発明によれば、以下の効果が得られる。
様々な姿勢や照明の条件下で撮影された物体の画像に対して、高精度に姿勢推定や照合ができる。その第１の理由は、物体モデルから生成された複数の比較画像から鮮明度を反映する第１の鮮明度特徴量を抽出して、相違度計算に付加することにより、物体モデルの物体と入力画像の物体が合っていない場合には大きな相違度が生じやすくなるためである。比較画像を生成した物体モデルが入力画像と同じ物体であり、かつ推定姿勢が合っている場合、生成される比較画像は鮮明な画像となることが期待される。このため、鮮明度を反映した第１の鮮明度特徴量を相違度計算に用いることにより、姿勢推定や照合精度が向上する。
第２の理由は、比較画像と入力画像からそれぞれ鮮明度を反映する第１、第２の鮮明度特徴量を抽出して相違度計算に付加することにより、同様に物体モデルの物体と入力画像の物体が合っていない場合には大きな相違度が生じやすくなるためである。比較画像を生成した物体モデルが入力画像と同じ物体であり、かつ推定姿勢が合っている場合、生成される比較画像の鮮明度は入力画像の鮮明度に近くなることが期待される。このため、鮮明度を反映した第１、第２の鮮明度特徴量を相違度計算に用いることにより、姿勢推定や照合精度が向上する。
図２は、本発明による物体の姿勢推定及び照合システムの第１の実施形態を示す。図２において、図１で説明した要素と同じ要素には同一番号を付している。物体の姿勢推定及び照合システムは、ビデオカメラ等による画像入力部１０と、３次元物体モデル記憶部４５と、姿勢推定及び照合部２０とから構成されている。姿勢推定及び照合部２０は、姿勢候補決定部３０、比較画像生成部４０、鮮明度特徴抽出部（第１の鮮明度特徴抽出部）６０、加重相違度計算部５０、判定部５２を含む。
３次元物体モデル記憶部４５には、複数の物体の３次元物体モデルが予め記憶されている。３次元物体モデルは、例えば特開２００１−１２９２５号公報に開示された３次元形状計測装置を用いることにより生成することができる。あるいは、３次元物体モデルは、特開平９−９１４３６号公報に開示された、多数のカメラで撮影された複数画像から３次元形状を復元する装置を用いることにより生成することができる。いずれにしても、３次元物体モデルの生成方法は本発明の要旨ではないので詳しい説明は省略する。
姿勢推定及び照合部２０は、画像入力部１０より得られる入力画像と３次元物体モデル記憶部４５より得られる３次元物体モデルとを比較することにより物体の姿勢推定及び物体照合を行う。
具体的には、はじめに姿勢候補決定部３０は、少なくとも１つの姿勢候補を生成する。姿勢候補は複数個生成されるのが好ましく、以下では姿勢候補が複数個生成される場合について説明する。比較画像生成部４０は、画像入力部１０から入力画像を受ける。比較画像生成部４０はまた、生成された複数の姿勢候補に応じて、３次元物体モデル記憶部４５より得られる３次元物体モデルを２次元の画像に射影しつつ照明条件などが入力画像に近い比較画像を複数個生成する。鮮明度特徴抽出部６０は、生成された各比較画像から鮮明度を反映した特徴量を鮮明度特徴（以下、第１の鮮明度特徴量と呼ぶ）として抽出する。加重相違度計算部５０は、画像入力部１０からの入力画像と比較画像生成部４０で生成された比較画像の相違度に第１の鮮明度特徴量を加重した相違度（以下、加重相違度と呼ぶ）を比較画像毎に計算する。判定部５２は、計算された複数の加重相違度に基いて複数の比較画像の中から入力画像に最も近い（つまり、最小相違度）比較画像を選出し、選出した比較画像から最適な姿勢を推定する。
後に詳しく説明するように、判定部５２は、１つの物体（３次元物体モデル）との照合処理である１対１照合と、複数の３次元物体モデルから入力画像に最も近い物体を検索する１対Ｎ物体照合とを行うことができる。判定部５２は、１対１照合を行う場合は、最小相違度をあらかじめ設定されているしきい値と比較して、同一物体であるか否かを判定する。一方、判定部５２は、１対Ｎ照合を行う場合には、複数の３次元物体モデルについて得られる複数の最小相違度のうち最も小さい３次元物体モデルを選出し、物体照合を行う。
次に、図２及び図３を参照して第１の実施形態の姿勢推定における全体の動作について詳細に説明する。ここでは、入力画像と３次元物体モデルＣｋとを比較する場合について説明する。
図３において、はじめに画像入力部１０により入力画像が得られる（ステップ１００）。次に、姿勢候補決定部３０において、複数の姿勢候補｛ｅｊ｝が決定される（ステップ１１０）。次に、比較画像生成部４０は、決定された姿勢候補｛ｅｊ｝に応じて、３次元物体モデル記憶部４５より得られる３次元物体モデルＣｋを２次元の画像に射影しつつ入力画像に近い比較画像を複数個生成する（ステップ１２０）。次に、鮮明度特徴抽出部６０は、生成された各比較画像から鮮明度を反映した第１の鮮明度特徴量を抽出する（ステップ１３０）。加重相違度計算部５０は、第１の鮮明度特徴量を用い、入力画像と生成された比較画像との加重相違度Ｄ（１） ｋｊを比較画像毎に計算する（ステップ１４０）。判定部５２は、計算された加重相違度Ｄ（１） ｋｊに基づいて、複数の比較画像から最小相違度Ｄｋ＝ｍｉｎＤ（１） ｋｊを持つ比較画像を選出することにより、最適な姿勢ｅｊを求める（ステップ１５０）。なお、図２において、加重相違度計算部５０から姿勢候補決定部３０に向かう線は以下のことを示している。上記の動作では決定された複数の姿勢候補｛ｅｊ｝の中から相違度の最も小さい姿勢を選択しているが、姿勢候補決定部３０に戻って順次姿勢候補を変化させながら、相違度の最も小さい姿勢を探索してもよい。
次に、図２及び図４を参照して第１の実施形態の１対１照合における全体の動作について詳細に説明する。
図４のステップ１００から１５０は、図３におけるステップ１００から１５０と同一の処理である。ステップ１５０に続く最後のステップ１６５において、判定部５２は、最小相違度Ｄｋとあらかじめ決められたしきい値とを比較して、３次元モデルＣｋの物体と入力画像の物体とが同一であるか否かを判定する。つまり、最小相違度Ｄｋがあらかじめ決められたしきい値より小さければ両者は同一物体であると判定する。
次に、図２及び図５を参照して第１の実施形態の１対Ｎ照合における全体の動作について詳細に説明する。
はじめに、画像入力部１０により入力画像が得られる（ステップ１００）。次に、３次元物体モデルのモデル番号ｋが１とされる（ステップ１６０）。ステップ１１０から１５０は、図３におけるステップ１１０から１５０と同一の処理である。ステップ１５０の後に、判定部５２は、モデル番号ｋを１増やす（ステップ１６１）。続いて、ステップ１６２に移行し、判定部５２は、増やされたモデル番号ｋがあらかじめ決められたモデル数Ｍに達したかどうかを判別する。増やされたモデル番号ｋがモデル数Ｍ以下の場合は、ステップ１１０に戻り、ステップ１１０から１５０が実行される。これにより、モデル番号（ｋ＋１）の３次元物体モデルの最小相違度が求められる。ステップ１６２において、増やされたモデル番号ｋがモデル数Ｍに達していれば、ステップ１６３に移行し、判定部５２はＭ個の最小相違度Ｄｋのうちの最も小さい最小相違度Ｄｋが得られた３次元物体モデルＣｋを照合結果として出力する。
次に、第１の実施形態の効果について説明する。
第１の実施形態では、３次元物体モデルから生成された比較画像の鮮明度を反映した第１の鮮明度特徴量を、入力画像と比較画像との相違度計算に加重するように構成されている。このため、３次元物体モデルの姿勢や物体が入力画像の姿勢や物体に合っていない場合には大きな相違度が生じやすくなり、高精度に姿勢推定や照合ができる。
次に、具体的な実施例を用いて第１の実施形態の姿勢推定における動作を説明する。なお、本実施例では、人物の顔を例として説明するが、他の物体にも適用できることは言うまでも無い。
３次元物体モデル記憶部４５には、図６に示すような、物体ｋの３次元物体モデルが記憶されている。図６は３次元物体モデル記憶部４５に記憶されている複数の３次元物体モデルの一つの例のみを示している。３次元物体モデルは、物体表面の３次元空間（ｘ，ｙ，ｚ）内での形状ＰＱ（ｘ，ｙ，ｚ）とテクスチャＴＱ（Ｒ，Ｇ，Ｂ）を情報として持っている。Ｑは物体表面上の点のインデックスを表し、例えば物体の重心を中心とした球体へ物体表面上の点を重心から射影した点Ｑ（ｓ，ｔ）の座標に対応している。推定の効率化のために、予め３次元物体モデルから様々な照明条件による学習用ＣＧ画像をコンピュータグラフィックスにより生成し、当該学習用ＣＧ画像を主成分分析することにより基底画像群を求めておく。
まず、画像入力部１０により図７に示すような入力画像Ｉ（ｒ）が得られるものとする（図３のステップ１００）。ここで、ｒは画素を表す。
次に、姿勢候補決定部３０において、複数の姿勢候補｛ｅｊ｝を決定する（ステップ１１０）。姿勢候補｛ｅｊ｝は、入力画像に関係なく予め設定しておいてもよいが、以下のようにしてもよい。例えば、入力画像及び３次元物体モデルから目、鼻、口などの特徴点を手動または自動で抽出する。続いて、抽出された特徴点に基づいて周知の物体の位置及び向きを計算する方法によりおおよその姿勢を推定し、推定された姿勢の近辺で姿勢候補｛ｅｊ｝を生成する。上記の物体の位置及び向きを計算する方法は、例えば前述した特許文献３に開示されている。
次に、比較画像生成部４０は、生成された姿勢候補｛ｅｊ｝に応じて３次元物体モデルを２次元の画像に射影しつつ入力画像の照明条件に近い比較画像Ｇｋｊ（ｒ）を複数個生成する（ステップ１２０）。ここで、入力画像の照明条件に近い比較画像の生成は、以下のようにして行われる。予め求められている基底画像群を各姿勢候補に基づいて座標変換し、当該座標変換した基底画像の線形和が当該入力画像に近くなるように、線形和の係数を最小二乗法で求める。図７の入力画像に対して生成された比較画像の例を図８に示すが、濃淡情報は図示していない。
次に、鮮明度特徴抽出部６０は、比較画像Ｇｋｊ（ｒ）から鮮明度を反映した第１の鮮明度特徴量Ｓｋｊを抽出する（ステップ１３０）。鮮明度特徴量は、画像の輝度（色）の変化の度合いを表す量である。例えば、画像Ｇ（ｒ）の第１の鮮明度特徴量Ｓは、画像Ｇ（ｒ）のエッジ画像Ｇ’（ｒ）におけるエッジ強度がしきい値以上である画素数Ｅｅの全画素数Ｅに対する割合Ｅｅ／Ｅで定義できる。なお、第１の鮮明度特徴量Ｓは、画像のコントラスト（輝度値の範囲）や輝度値の分散などを用いて表しても良い。
次に、加重相違度計算部５０は、第１の鮮明度特徴量Ｓｋｊを用いて、入力画像Ｉ（ｒ）と比較画像Ｇｋｊ（ｒ）との加重相違度Ｄ（１） ｋｊを求める（ステップ１４０）。加重相違度は、比較画像から抽出された第１の鮮明度特徴量が大きい場合に相違度が小さくなるように設定される。例えば、入力画像Ｉ（ｒ）と比較画像Ｇｋｊ（ｒ）との相違度Ｄ（０） ｋｊにユークリッド距離を用いる場合、以下の式により計算される。
Ｄ（０） ｋｊ＝Σｒ｛Ｉ（ｒ）−Ｇｋｊ（ｒ）｝２
また、加重相違度Ｄ（１） ｋｊは、以下の式により計算される。
Ｄ（１） ｋｊ＝Ｄ（０） ｋｊ／｛１＋ａＳｋｊ｝（但し、ａは重み係数）
次に、判定部５２は、複数の比較画像の中から最小相違度Ｄ（１） ｋ＝ｍｉｎｊＤ（１） ｋｊを持つ比較画像を選出することにより、最適な姿勢ｅｊを求める（ステップ１５０）。
例えば、図８の場合、姿勢ｅ１（比較画像Ｇｋ１）が最適姿勢である。ここで、各比較画像と入力画像の相違度Ｄ（０） ｋｊがノイズ等によりＤ（０） ｋｊ＝｛１００，９５，１２０｝となった場合でも、各比較画像の第１の鮮明度特徴量ＳｋｊがＳｋｊ＝｛０．５，０．３，０．２｝となったとすると、加重相違度Ｄ（１） ｋｊは重み係数ａ＝１の場合、Ｄ（１） ｋｊ＝｛６７，７３，１００｝となる。その結果、比較画像Ｇｋ１が選出され、姿勢ｅ１が最適姿勢となる。
なお、上記の説明は、物体の姿勢推定及び照合システムとして適用する場合であるが、照合を行わない物体姿勢推定システムあるいは姿勢推定を伴わない物体照合システムとしての適用も可能であることは言うまでも無い。これは後述される第２の実施形態においても同様である。
次に、本発明の第２の実施形態について詳細に説明する。
図９を参照して、本発明の第２の実施形態による、物体の姿勢推定及び照合システムは、画像入力部１０と、第２の鮮明度特徴抽出部６１と、３次元物体モデル記憶部４５と、姿勢推定及び照合部２１とから構成されている。姿勢推定及び照合部２１は、姿勢候補決定部３０と、比較画像生成部４０と、鮮明度特徴抽出部（第１の鮮明度特徴抽出部）６０と、加重相違度計算部５１と、判定部５２とを含む。
画像入力部１０と、３次元物体モデル記憶部４５と、姿勢候補決定部３０と、比較画像生成部４０と、鮮明度特徴抽出部６０は、図２で説明したのと同じ処理を実行する。
第２の鮮明度特徴抽出部６１は、画像入力部１０より得られる入力画像の鮮明度を反映した第２の鮮明度特徴量を抽出する。
姿勢推定及び照合部２１は、画像入力部１０より得られる入力画像と第２の鮮明度特徴抽出部６１より得られる入力画像の第２の鮮明度特徴量とを用い、３次元物体モデル記憶部４５より得られる３次元物体モデルと比較することにより姿勢推定及び照合を行う。
具体的には、姿勢候補決定部３０は、複数の姿勢候補を生成する。比較画像生成部４０は、生成された姿勢候補に応じて、３次元物体モデルを２次元の画像に射影しつつ照明条件などが入力画像に近い比較画像を複数個生成する。鮮明度特徴抽出部６０は、生成された各比較画像から第１の鮮明度特徴量を抽出する。加重相違度計算部５１は、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量の相違度とを加重した加重相違度を比較画像毎に計算する。判定部５２は、計算された加重相違度に基いて複数の比較画像の中から入力画像に最も近い、つまり、最小相違度を持つ比較画像を選出することにより最適な姿勢を推定する。なお、判定部５２は、１対１照合の場合は、最小相違度とあらかじめ定められたしきい値とを比較して、３次元物体モデルの物体と入力画像の物体とが同一であるか否かを判定する。一方、１対Ｎ照合の場合は、判定部５２は、図５で説明したように、Ｍ個の３次元物体モデルの中から最小相違度の最も小さい３次元物体モデルを選出する。
次に、図９及び図１０を参照して第２の実施形態の姿勢推定における全体の動作について詳細に説明する。なお、１対１照合の動作の場合、図１０のステップ１５１の後に図４のステップ１６５が実行されることは明らかである。一方、１対Ｎ照合の動作の場合、図１０のステップ１１０の前に図５のステップ１６０が実行され、図１０のステップ１５１の後に図５のステップ１６１から１６３が実行されることも明白である。それ故、図１０のステップ１５１以降の動作説明は省略する。
まず、画像入力部１０により入力画像が得られる（図１０のステップ１００）。次に、第２の鮮明度特徴抽出部６１は、入力画像の第２の鮮明度特徴量を抽出する（ステップ１０１）。次に、姿勢候補決定部３０において、複数の姿勢候補｛ｅｊ｝を決定する（ステップ１１０）。次に、比較画像生成部４０は、決定された姿勢候補に応じて、３次元物体モデルＣｋを２次元の画像に射影しつつ入力画像に近い比較画像を複数個生成する（ステップ１２０）。次に、鮮明度特徴抽出部６０は、生成された比較画像から第１の鮮明度特徴量を抽出する（ステップ１３０）。加重相違度計算部５１は、入力画像と生成された比較画像及び入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量を用いた加重相違度Ｄ（２） ｋｊを比較画像毎に求める（ステップ１４１）。
例えば、入力画像と比較画像との相違度をＤ（０） ｋｊ、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度をＤ（ｅ） ｋｊとした場合、加重相違度Ｄ（２） ｋｊは以下の式で計算される。
Ｄ（２） ｋｊ＝Ｄ（０） ｋｊ＋ｂＤ（ｅ） ｋｊ（但し、ｂは重み係数）
第１、第２の鮮明度特徴量の相違度は、ユークリッド距離等により計算できる。判定部５２は、複数の比較画像の中から最小相違度を持つ比較画像を選出することにより、最適な姿勢ｅｊを求める（ステップ１５１）。
次に、第２の実施形態の効果について説明する。
第２の実施形態では、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を入力画像と比較画像との相違度計算に加重するように構成されている。このため、３次元物体モデルの姿勢や物体が入力画像の姿勢や物体と合っていない場合には大きな相違度が生じやすくなり、高精度に姿勢推定や照合ができる。
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。
図１１を参照して、本発明の第３の実施形態による物体照合システムは、画像入力部１０と、物体モデル記憶部４６と、照合部２２とから構成されている。照合部２２は、比較画像生成部４１と、鮮明度特徴抽出部６０と、加重相違度計算部５０と、判定部５４とを含む。
第３の実施形態は、物体の姿勢変動が少ない場合の照合を考慮して、第１の実施形態における姿勢候補決定部３０を省略している。物体の姿勢変動が少ない場合の照合というのは、例えば物体を正面から撮影した画像のみについて照合を行う場合である。
画像入力部１０と、鮮明度特徴抽出部６０は、図２に示したものと同じ処理を実行する。
物体モデル記憶部４６には、複数の物体の物体モデルが予め記憶されている。物体モデルは、物体を撮影した時の様々な画像変動の情報を含む。例えば、各物体の様々な照明条件での正面顔画像を予め用意し、当該正面顔画像を主成分分析することにより基底画像群を求めておけば、比較画像生成部４１において、当該基底画像群の合成により入力画像に近い比較画像を生成することができる。
照合部２２は、画像入力部１０より得られる入力画像と物体モデル記憶部４６より得られる物体モデルとを比較することにより照合を行う。
具体的には、比較画像生成部４１は、物体モデル記憶部４６より得られる物体モデルから照明条件などが入力画像に近い比較画像を生成する。鮮明度特徴抽出部６０は、生成された比較画像から鮮明度を反映した第１の鮮明度特徴量を抽出する。加重相違度計算部５０は、入力画像と生成された比較画像の相違度に第１の鮮明度特徴量を加重した加重相違度を計算する。なお、判定部５４は、１対１照合の場合は、計算された加重相違度とあらかじめ設定されたしきい値とを比較して、物体モデルの物体と入力画像の物体が同一であるか否かを判定する。一方、１対Ｎ照合の場合は、判定部５４は、複数の物体モデルの中から最も小さい最小相違度を持つ物体モデルを選出する。
次に、図１１及び図１２を参照して第３の実施形態の１対１照合における全体の動作について詳細に説明する。
まず、画像入力部１０により入力画像が得られる（図１２のステップ１００）。次に、比較画像生成部４１は、物体モデル記憶部４６より得られる物体モデルＣｋから入力画像に近い比較画像を複数個生成する（ステップ１２１）。次に、鮮明度特徴抽出部６０は、各比較画像から鮮明度を反映した第１の鮮明度特徴量を抽出する（ステップ１３０）。加重相違度計算部５０は、入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した加重相違度Ｄｋ＝Ｄ（１） ｋを比較画像毎に計算する（ステップ１４２）。最後に、判定部５４は、計算された加重相違度とあらかじめ設定されたしきい値とを比較して、物体モデルの物体と入力画像の物体が同一であるか否かを判定する（ステップ１６５）。つまり、計算された加重相違度があらかじめ設定されたしきい値より小さい場合に同一であると判定する。
１対Ｎ照合の場合は、図５で説明した１対Ｎ照合における３次元物体モデルが物体モデルに代わることを除けば、ほぼ同じであるので説明は省略する。
次に、第３の実施形態の効果について説明する。
第３の実施形態では、第１の鮮明度特徴量を入力画像と比較画像の相違度計算に加重するように構成されている。このため、物体モデルの物体と入力画像の物体が合っていない場合には大きな相違度が生じやすくなり、高精度に照合ができる。
次に、本発明の第４の実施形態について図面を参照して詳細に説明する。
図１３を参照して、本発明の第４の実施形態による物体照合システムは、画像入力部１０と、第２の鮮明度特徴抽出部６１と、物体モデル記憶部４６と、照合部２３とから構成されている。照合部２３は、比較画像生成部４１と、鮮明度特徴抽出部（第１の鮮明度特徴抽出部）６０と、加重相違度計算部５１と、判定部５４とを含む。
第４の実施形態は、第３の実施形態と同様に、物体の姿勢変動が少ない場合の照合を考慮して、第２の実施形態における姿勢候補決定部３０を省略した形態である。物体の姿勢変動が少ない場合の照合というのは、前述したように、例えば物体を正面から撮影した画像のみについて照合を行う場合である。
画像入力部１０と、第２の鮮明度特徴抽出部６１と、加重相違度計算部５１は、図９で説明した第２の実施形態における各部と同じ処理を実行する。一方、物体モデル記憶部４６と、比較画像生成部４１と、鮮明度特徴抽出部６０は、図１１で説明した第３の実施形態における各部と同じ処理を実行する。
次に、図１３及び図１４を参照して第４の実施形態による１対１照合の全体の動作について詳細に説明する。
まず、画像入力部１０により入力画像が得られる（図１４のステップ１００）。次に、第２の鮮明度特徴抽出部６１は、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出する（ステップ１０１）。次に、比較画像生成部４１は、物体モデル記憶部４６より得られる物体モデルＣｋから入力画像に近い比較画像を複数個生成する（ステップ１２１）。次に、鮮明度特徴抽出部６０は、生成された比較画像から鮮明度を反映した第１の鮮明度特徴量を抽出する（ステップ１３０）。加重相違度計算部５１は、入力画像と生成された比較画像及び入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量とを用いた加重相違度Ｄｋ＝Ｄ（２） ｋを比較画像毎に計算する（ステップ１４３）。最後に、判定部５４は、計算された加重相違度をあらかじめ設定されたしきい値と比較して、物体モデルの物体と入力画像の物体が同一であるか否かを判定する（ステップ１６５）。
１対Ｎ照合の場合は、図５で説明した１対Ｎ照合における３次元物体モデルが物体モデルに代わることを除けば、ほぼ同じであるので説明は省略する。
次に、第４の実施形態の効果について説明する。
第４の実施形態では、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量の相違度とを、入力画像と比較画像の相違度計算に加重するように構成されている。このため、物体モデルの物体と入力画像の物体が合っていない場合には大きな相違度が生じやすくなり、高精度に照合ができる。
前述した第２及び第４の実施形態では、鮮明度特徴量は１次元の特徴量としたが、より高次の特徴量でもよい。例えば、エッジ画像を高次の鮮明度特徴量として、画素毎または小領域毎に鮮明度特徴量の相違度を求めても良い。また、画像が鮮明でない場合は特徴点を安定に抽出できないため、鮮明度を反映した鮮明度特徴量として特徴点を用いても良い。特徴点は、顔の場合、目、鼻、口などの位置が一般的であり、周知の顔特徴抽出方法などを用いて自動的に抽出できる。顔特徴抽出方法は、例えば「顔特徴点の自動抽出と追跡」（稲田ら）２００１年１月、電子情報通信学会信学技法、ＰＲＭＵ２０００−１５１に開示されている。特徴点の相違度は、特徴点の座標値を特徴量として、ユークリッド距離等により計算できる。
更に、いずれの実施形態においても、抽出された特徴点数を鮮明度特徴量として用いても良い。
いずれの実施形態においても、３次元物体モデルあるいは物体モデルは予め記憶され、画像は画像入力部から入力される。しかし、本発明は、画像を予め記憶装置に記憶しておき、３次元物体モデルあるいは物体モデルを別の入力部を通して入力する場合にも適用可能である。本発明はまた、画像と３次元物体モデルあるいは物体モデルの双方を入力部を通して入力する場合にも適用可能である。
本発明による物体の姿勢推定及び照合システムは、構成要素である各部の機能をハードウェア的に実現できることは勿論である。一方、上記各部の機能をソフトウェア的に実現することもできる。これは、上記した各部の機能を実行する姿勢推定及び照合プログラム（アプリケーション）をコンピュータ処理装置のメモリにロードしておき、姿勢推定及び照合プログラムに基いてコンピュータ処理装置を制御することで実現することができる。この姿勢推定及び照合プログラムは、磁気ディスク、半導体メモリその他の記録媒体に格納され、その記録媒体からコンピュータ処理装置にロードされて、コンピュータ処理装置の動作を制御する。これにより、上述した各機能が実現される。これは、物体の姿勢推定プログラム、物体の照合プログラムについても同様である。
本発明によれば、以下の効果が得られる。
様々な姿勢や照明の条件下で撮影された物体の画像に対して、高精度に姿勢推定や照合ができる。その第１の理由は、物体モデルから生成された複数の比較画像から鮮明度を反映する第１の鮮明度特徴量を抽出して、相違度計算に付加することにより、物体モデルの物体と入力画像の物体が合っていない場合には大きな相違度が生じやすくなるためである。比較画像を生成した物体モデルが入力画像と同じ物体であり、かつ推定姿勢が合っている場合、生成される比較画像は鮮明な画像となることが期待される。このため、鮮明度を反映した第１の鮮明度特徴量を相違度計算に用いることにより、姿勢推定や照合精度が向上する。
第２の理由は、比較画像と入力画像からそれぞれ鮮明度を反映する第１、第２の鮮明度特徴量を抽出して相違度計算に付加することにより、同様に物体モデルの物体と入力画像の物体が合っていない場合には大きな相違度が生じやすくなるためである。比較画像を生成した物体モデルが入力画像と同じ物体であり、かつ推定姿勢が合っている場合、生成される比較画像の鮮明度は入力画像の鮮明度に近くなることが期待される。このため、鮮明度を反映した第１、第２の鮮明度特徴量を相違度計算に用いることにより、姿勢推定や照合精度が向上する。
Claims (29)
- 入力画像と３次元物体モデルとを比較して物体の姿勢推定を行う姿勢推定システムにおいて、
少なくとも１つの姿勢候補を生成する姿勢候補決定部と、
生成された姿勢候補に応じて、３次元物体モデルを２次元の画像に射影しつつ入力画像に近い比較画像を複数個生成する比較画像生成部と、
複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出する第１の鮮明度特徴抽出部と、
入力画像と比較画像の相違度に前記第１の鮮明度特徴量を加重した複数の加重相違度を計算する加重相違度計算部と、
複数の加重相違度の中から最小の加重相違度を持つ比較画像を選出し、選出された比較画像に基づいて最適な姿勢を推定する判定部と、
を備えたことを特徴とする姿勢推定システム。 - 請求項１に記載の姿勢推定システムにおいて、
更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出する第２の鮮明度特徴抽出部を備え、
前記加重相違度計算部は、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する、
ことを特徴とする姿勢推定システム。 - 請求項１に記載の姿勢推定システムにおいて、
前記加重相違度計算においては、鮮明度が高い画像ほど加重が高くなることを特徴とする姿勢推定システム。 - 請求項２に記載の姿勢推定システムにおいて、
前記第１、第２の鮮明度特徴量は、エッジ強度がしきい値以上の画素数の比率、輝度値の範囲、輝度値の分散、または特徴点数であることを特徴とする姿勢推定システム。 - 請求項２に記載の姿勢推定システムにおいて、
前記第１、第２の鮮明度特徴量は、エッジ画像、または特徴点であることを特徴とする姿勢推定システム。 - 請求項１に記載の姿勢推定システムを用いた姿勢推定及び照合システムであって、
前記判定部は更に、推定した最適姿勢の最小加重相違度をあらかじめ定められたしきい値と比較することにより物体照合をも行うことを特徴とする姿勢推定及び照合システム。 - 請求項２に記載の姿勢推定システムを用いた姿勢推定及び照合システムであって、
前記判定部は更に、推定した最適姿勢の最小相違度をあらかじめ定められたしきい値と比較することにより物体照合をも行うことを特徴とする姿勢推定及び照合システム。 - 請求項６に記載の姿勢推定及び照合システムにおいて、
前記加重相違度計算においては、鮮明度が高い画像ほど加重が高くなることを特徴とする姿勢推定及び照合システム。 - 請求項７に記載の姿勢推定及び照合システムにおいて、
前記第１、第２の鮮明度特徴量は、エッジ強度がしきい値以上の画素数の比率、輝度値の範囲、輝度値の分散、または特徴点数であることを特徴とする姿勢推定及び照合システム。 - 請求項７に記載の姿勢推定及び照合システムにおいて、
前記第１、第２の鮮明度特徴量は、エッジ画像、または特徴点であることを特徴とする姿勢推定及び照合システム。 - 入力画像と物体モデルとを比較して物体の照合を行う照合システムにおいて、
物体モデルから入力画像に近い比較画像を複数個生成する比較画像生成部と、
複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出する第１の鮮明度特徴抽出部と、
入力画像と比較画像の相違度に前記第１の鮮明度特徴量を加重した複数の加重相違度を計算する加重相違度計算部と、
計算された複数の加重相違度をあらかじめ設定したしきい値と比較することにより物体の照合を行う判定部と、
を備えたことを特徴とする照合システム。 - 請求項１１に記載の照合システムにおいて、
更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出する第２の鮮明度特徴抽出部を備え、
前記加重相違度計算部は、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する、
ことを特徴とする照合システム。 - 請求項１１に記載の照合システムにおいて、
前記加重相違度計算においては、鮮明度が高い画像ほど加重が高くなることを特徴とする照合システム。 - 請求項１２に記載の照合システムにおいて、
前記第１、第２の鮮明度特徴量は、エッジ強度がしきい値以上の画素数の比率、輝度値の範囲、輝度値の分散、または特徴点数であることを特徴とする照合システム。 - 請求項１２に記載の照合システムにおいて、
前記第１、第２の鮮明度特徴量は、エッジ画像、または特徴点であることを特徴とする照合システム。 - 入力画像と３次元物体モデルとを比較して物体の姿勢推定を行う姿勢推定方法において、
少なくとも１つの姿勢候補を生成し、
生成された姿勢候補に応じて、３次元物体モデルを２次元の画像に射影しつつ入力画像に近い比較画像を複数個生成し、
複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出し、
入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する、
ことを特徴とする姿勢推定方法。 - 請求項１６に記載の姿勢推定方法において、
更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出し、
前記加重相違度計算においては、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する、
ことを特徴とする姿勢推定方法。 - 請求項１６に記載の姿勢推定方法を用いた姿勢推定及び照合方法であって、
更に、複数の加重相違度の中から最小の加重相違度を持つ比較画像を選出し、選出された比較画像に基づいて最適な姿勢を推定する、
ことを特徴とする姿勢推定及び照合方法。 - 請求項１７に記載の姿勢推定方法を用いた姿勢推定及び照合方法であって、
更に、複数の加重相違度の中から最小の加重相違度を持つ比較画像を選出し、選出された比較画像に基づいて最適な姿勢を推定する、
ことを特徴とする姿勢推定及び照合方法。 - 入力画像と物体モデルとを比較するための物体相違度計算方法において、
物体モデルから入力画像に近い比較画像を複数個生成し、
複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出し、
入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する、
ことを特徴とする物体相違度計算方法。 - 請求項２０の物体相違度計算方法において、
更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出し、
前記加重相違度計算においては、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する、
ことを特徴とする物体相違度計算方法。 - 請求項２０に記載の物体相違度計算方法を用いた物体照合方法であって、
更に、計算された複数の加重相違度の比較を行うことにより照合を行う、
ことを特徴とする物体照合方法。 - 請求項２１に記載の物体相違度計算方法を用いた物体照合方法であって、
更に、計算された複数の相違度の比較を行うことにより照合を行う、
ことを特徴とする物体照合方法。 - コンピュータに、入力画像と３次元物体モデルとを比較して物体の姿勢推定を実行させるための姿勢推定プログラムにおいて、
少なくとも１つの姿勢候補を生成する姿勢候補決定処理と、
生成された姿勢候補に応じて、３次元物体モデルを２次元の画像に射影しつつ入力画像に近い比較画像を複数個生成する比較画像生成処理と、
複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出する第１の鮮明度特徴抽出処理と、
入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する加重相違度計算処理と、
複数の加重相違度の中から最小の加重相違度を持つ比較画像を選出し、選出された比較画像に基づいて最適な姿勢を推定する姿勢推定処理と、
を実行することを特徴とする姿勢推定プログラム。 - 請求項２４に記載の姿勢推定プログラムにおいて、
更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出する第２の鮮明度特徴抽出処理を実行し、
前記加重相違度計算処理においては、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する、
ことを特徴とする姿勢推定プログラム。 - 請求項２４に記載の姿勢推定プログラムを用いた姿勢推定及び照合プログラムであって、
前記姿勢推定処理においては更に、推定した最適姿勢の最小加重相違度をあらかじめ定められたしきい値と比較することにより物体照合をも行う、
ことを特徴とする姿勢推定及び照合プログラム。 - 請求項２５に記載の姿勢推定プログラムを用いた姿勢推定及び照合プログラムであって、
前記姿勢推定処理においては更に、推定した最適姿勢の最小加重相違度をあらかじめ定められたしきい値と比較することにより物体照合をも行う、
ことを特徴とする姿勢推定及び照合プログラム。 - コンピュータに、入力画像と物体モデルとを比較して物体の照合を実行させるための照合プログラムにおいて、
物体モデルから入力画像に近い比較画像を複数個生成する比較画像生成処理と、
複数の比較画像のそれぞれから鮮明度を反映した第１の鮮明度特徴量を抽出する第１の鮮明度特徴抽出処理と、
入力画像と比較画像の相違度に第１の鮮明度特徴量を加重した複数の加重相違度を計算する加重相違度計算処理と、
計算された複数の加重相違度の比較を行うことにより照合を行う照合処理と、
を実行することを特徴とする照合プログラム。 - 請求項２８に記載の照合プログラムにおいて、
更に、入力画像から鮮明度を反映した第２の鮮明度特徴量を抽出する第２の鮮明度特徴抽出処理を実行し、
前記加重相違度計算処理においては、入力画像と比較画像の相違度に、入力画像の第２の鮮明度特徴量と比較画像の第１の鮮明度特徴量との相違度を加重した複数の加重相違度を計算する、
ことを特徴とする物体照合プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006510803A JP4692773B2 (ja) | 2004-03-03 | 2005-03-03 | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004059531 | 2004-03-03 | ||
| JP2004059531 | 2004-03-03 | ||
| JP2006510803A JP4692773B2 (ja) | 2004-03-03 | 2005-03-03 | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム |
| PCT/JP2005/004148 WO2005086089A1 (ja) | 2004-03-03 | 2005-03-03 | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2005086089A1 true JPWO2005086089A1 (ja) | 2008-01-24 |
| JP4692773B2 JP4692773B2 (ja) | 2011-06-01 |
Family
ID=34917977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006510803A Active JP4692773B2 (ja) | 2004-03-03 | 2005-03-03 | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7986813B2 (ja) |
| EP (1) | EP1727087A1 (ja) |
| JP (1) | JP4692773B2 (ja) |
| KR (2) | KR20090037967A (ja) |
| CN (1) | CN1950844A (ja) |
| AU (1) | AU2005218408A1 (ja) |
| WO (1) | WO2005086089A1 (ja) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1872724B1 (en) * | 2006-01-10 | 2019-08-28 | Toshiba Medical Systems Corporation | Ultrasonograph and ultrasonogram creating method |
| JP4991317B2 (ja) * | 2006-02-06 | 2012-08-01 | 株式会社東芝 | 顔特徴点検出装置及びその方法 |
| US7483054B2 (en) * | 2006-03-16 | 2009-01-27 | Altek Corporation | Image unsharpness test method for a camera device |
| FR2913128B1 (fr) * | 2007-02-23 | 2009-08-28 | Total Immersion Sa | Procede et dispositif de determination de la pose d'un objet tridimensionnel dans une image et procede et dispositif de creation d'au moins une image cle |
| JP5009172B2 (ja) * | 2007-03-20 | 2012-08-22 | 株式会社リコー | 画像処理装置、撮像装置、画像処理方法、顔検出プログラムおよび記録媒体 |
| US8363909B2 (en) | 2007-03-20 | 2013-01-29 | Ricoh Company, Limited | Image processing apparatus, image processing method, and computer program product |
| CN101271515B (zh) | 2007-03-21 | 2014-03-19 | 株式会社理光 | 能识别多角度目标的图像检测装置 |
| US20090324024A1 (en) * | 2008-06-25 | 2009-12-31 | Postureminder Ltd | System and method for improving posture |
| US8605989B2 (en) * | 2009-02-13 | 2013-12-10 | Cognitech, Inc. | Registration and comparison of three dimensional objects in facial imaging |
| US9208400B2 (en) | 2009-02-13 | 2015-12-08 | Cognitech, Inc. | Registration and comparison of three-dimensional objects |
| JP4735783B2 (ja) * | 2009-03-13 | 2011-07-27 | 日本電気株式会社 | 画像識別子照合装置 |
| JP5290864B2 (ja) * | 2009-05-18 | 2013-09-18 | キヤノン株式会社 | 位置姿勢推定装置及び方法 |
| WO2012046392A1 (ja) | 2010-10-08 | 2012-04-12 | パナソニック株式会社 | 姿勢推定装置及び姿勢推定方法 |
| JP5771413B2 (ja) * | 2011-03-02 | 2015-08-26 | パナソニック株式会社 | 姿勢推定装置、姿勢推定システム、および姿勢推定方法 |
| GB2492779B (en) * | 2011-07-11 | 2016-03-16 | Toshiba Res Europ Ltd | An image processing method and system |
| US9626798B2 (en) | 2011-12-05 | 2017-04-18 | At&T Intellectual Property I, L.P. | System and method to digitally replace objects in images or video |
| JP5877053B2 (ja) * | 2011-12-14 | 2016-03-02 | パナソニック株式会社 | 姿勢推定装置および姿勢推定方法 |
| US9618327B2 (en) * | 2012-04-16 | 2017-04-11 | Digimarc Corporation | Methods and arrangements for object pose estimation |
| US20130314541A1 (en) * | 2012-04-16 | 2013-11-28 | Digimarc Corporation | Methods and arrangements for object pose estimation |
| JP6192088B2 (ja) * | 2013-02-20 | 2017-09-06 | 国立大学法人九州工業大学 | 物体検出方法および物体検出装置 |
| JP6189170B2 (ja) * | 2013-10-16 | 2017-08-30 | セコム株式会社 | 姿勢推定装置 |
| US9305345B2 (en) * | 2014-04-24 | 2016-04-05 | General Electric Company | System and method for image based inspection of an object |
| DE102016210538A1 (de) * | 2016-06-14 | 2017-12-14 | Eos Gmbh Electro Optical Systems | Verfahren und Vorrichtung zum Fertigen von Objekten mit verbesserter Oberflächenbeschaffenheit |
| JP6894685B2 (ja) * | 2016-09-29 | 2021-06-30 | 株式会社カブク | 情報処理装置、情報処理方法及びプログラム |
| JP6901386B2 (ja) * | 2017-12-08 | 2021-07-14 | 株式会社東芝 | 勾配推定装置、勾配推定方法、プログラムおよび制御システム |
| KR102178239B1 (ko) * | 2017-12-14 | 2020-11-12 | 캐논 가부시끼가이샤 | 3차원 모델의 생성 장치, 생성 방법, 및 프로그램 |
| JP6936974B2 (ja) * | 2017-12-19 | 2021-09-22 | オムロン株式会社 | 位置姿勢推定装置、位置姿勢推定方法及びプログラム |
| ES2882402T3 (es) | 2018-07-09 | 2021-12-01 | Argo Ai Gmbh | Método para estimar una posición relativa de un objeto en el entorno de una unidad de vehículo y unidad de control electrónico para un vehículo y vehículo |
| AU2019208182B2 (en) | 2018-07-25 | 2021-04-08 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000099722A (ja) * | 1998-09-22 | 2000-04-07 | Toshiba Corp | 人物顔認識装置及び人物顔認識方法 |
| JP2003058896A (ja) * | 2001-08-10 | 2003-02-28 | Nec Corp | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
| JP2003187229A (ja) * | 2001-12-14 | 2003-07-04 | Nec Corp | 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置 |
| JP2003256838A (ja) * | 2002-02-28 | 2003-09-12 | Canon Inc | 画像処理装置及び方法及びプログラム及び記憶媒体 |
| JP2005222419A (ja) * | 2004-02-06 | 2005-08-18 | Fujitsu Ltd | 生体情報照合装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0991436A (ja) | 1995-09-21 | 1997-04-04 | Toyota Central Res & Dev Lab Inc | 画像処理方法及びその装置 |
| US6002782A (en) * | 1997-11-12 | 1999-12-14 | Unisys Corporation | System and method for recognizing a 3-D object by generating a 2-D image of the object from a transformed 3-D model |
| JP3417377B2 (ja) | 1999-04-30 | 2003-06-16 | 日本電気株式会社 | 三次元形状計測方法及び装置並びに記録媒体 |
| WO2001067749A2 (en) * | 2000-03-07 | 2001-09-13 | Sarnoff Corporation | Camera pose estimation |
| JP2004054947A (ja) | 2002-07-16 | 2004-02-19 | Nec Corp | 物体照合システム、物体照合方法および物体照合プログラム |
| US7236615B2 (en) * | 2004-04-21 | 2007-06-26 | Nec Laboratories America, Inc. | Synergistic face detection and pose estimation with energy-based models |
| JP2007096405A (ja) * | 2005-09-27 | 2007-04-12 | Fujifilm Corp | ぶれ方向判定方法および装置ならびにプログラム |
-
2005
- 2005-03-03 KR KR1020097004377A patent/KR20090037967A/ko not_active Application Discontinuation
- 2005-03-03 JP JP2006510803A patent/JP4692773B2/ja active Active
- 2005-03-03 KR KR1020067020826A patent/KR20060116253A/ko active IP Right Grant
- 2005-03-03 US US10/598,529 patent/US7986813B2/en active Active
- 2005-03-03 EP EP05720419A patent/EP1727087A1/en not_active Withdrawn
- 2005-03-03 CN CNA2005800138773A patent/CN1950844A/zh active Pending
- 2005-03-03 AU AU2005218408A patent/AU2005218408A1/en not_active Abandoned
- 2005-03-03 WO PCT/JP2005/004148 patent/WO2005086089A1/ja active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000099722A (ja) * | 1998-09-22 | 2000-04-07 | Toshiba Corp | 人物顔認識装置及び人物顔認識方法 |
| JP2003058896A (ja) * | 2001-08-10 | 2003-02-28 | Nec Corp | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
| JP2003187229A (ja) * | 2001-12-14 | 2003-07-04 | Nec Corp | 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置 |
| JP2003256838A (ja) * | 2002-02-28 | 2003-09-12 | Canon Inc | 画像処理装置及び方法及びプログラム及び記憶媒体 |
| JP2005222419A (ja) * | 2004-02-06 | 2005-08-18 | Fujitsu Ltd | 生体情報照合装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7986813B2 (en) | 2011-07-26 |
| KR20060116253A (ko) | 2006-11-14 |
| AU2005218408A1 (en) | 2005-09-15 |
| WO2005086089A1 (ja) | 2005-09-15 |
| KR20090037967A (ko) | 2009-04-16 |
| US20070269080A1 (en) | 2007-11-22 |
| EP1727087A1 (en) | 2006-11-29 |
| JP4692773B2 (ja) | 2011-06-01 |
| CN1950844A (zh) | 2007-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4692773B2 (ja) | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム | |
| JP4556873B2 (ja) | 画像照合システム及び画像照合方法 | |
| JP4553141B2 (ja) | 重み情報を用いた物体姿勢推定・照合システム | |
| JP4469275B2 (ja) | ポーズ角度を推定するためのシステムおよび方法 | |
| CN104573614B (zh) | 用于跟踪人脸的设备和方法 | |
| JP4353246B2 (ja) | 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法 | |
| CN109934847B (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
| JP4991317B2 (ja) | 顔特徴点検出装置及びその方法 | |
| US9443325B2 (en) | Image processing apparatus, image processing method, and computer program | |
| US20140226877A1 (en) | Method, Apparatus and Computer Readable Recording Medium for Managing a Reference Face Database to Improve Face Recognition Performance Under a Restricted Memory Environment | |
| JP2006520055A (ja) | ２次元画像からの３次元オブジェクトの不変視点検出および識別 | |
| JPWO2005043466A1 (ja) | 物体の状態を推定する推定システム、推定方法および推定プログラム | |
| CN108737694B (zh) | 照相机***及图像提供方法 | |
| JP5833507B2 (ja) | 画像処理装置 | |
| JP2017123087A (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
| JP7230345B2 (ja) | 情報処理装置及び情報処理プログラム | |
| JP4816874B2 (ja) | パラメータ学習装置、パラメータ学習方法、およびプログラム | |
| JP2004054947A (ja) | 物体照合システム、物体照合方法および物体照合プログラム | |
| Paterson et al. | 3D head tracking using non-linear optimization. | |
| EP4273795A1 (en) | Template generation device, collation system, collation device, template generation method, collation method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A072 Effective date: 20071212 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110126 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110208 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4692773 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |