JP2010271861A - オブジェクト識別装置及びオブジェクト識別方法 - Google Patents
オブジェクト識別装置及びオブジェクト識別方法 Download PDFInfo
- Publication number
- JP2010271861A JP2010271861A JP2009122312A JP2009122312A JP2010271861A JP 2010271861 A JP2010271861 A JP 2010271861A JP 2009122312 A JP2009122312 A JP 2009122312A JP 2009122312 A JP2009122312 A JP 2009122312A JP 2010271861 A JP2010271861 A JP 2010271861A
- Authority
- JP
- Japan
- Prior art keywords
- identification
- dictionary data
- unit
- attribute
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】オブジェクト辞書データ生成手段によって生成されたオブジェクト辞書データからオブジェクトの属性に基づいてオブジェクト辞書データを選択するオブジェクト辞書データ選択手段とオブジェクト辞書データ選択手段で選択されたオブジェクト辞書データとオブジェクト識別用データとを照合し照合した結果に基づいてオブジェクトの属するクラスを識別するオブジェクト識別器を保持するオブジェクト識別器保持手段とオブジェクト属性推定手段で推定されたオブジェクトの属性に基づいてオブジェクト識別器を選択又は再構成するオブジェクト識別器選択・再構成手段とを有することによって課題を解決する。
【選択図】図5
Description
顔識別技術として、例えば、非特許文献1のような技術がある。この技術は、顔による個人の識別問題を、差分顔と呼ばれる特徴クラスの2クラス識別問題に置き換えることによって、顔の登録・追加学習をリアルタイムに行うことを可能にした記述である。
しかし、非特許文献1の方法によれば、個人識別の問題を、次に挙げる2クラスの識別問題に置き換えることよって、追加学習を実質的に不要にすることができる。即ち、
・intra−personal class:同一人物の画像間の、照明変動、表情・向き等の変動特徴クラス
・extra−personal class:異なる人物の画像間の、変動特徴クラス
の2クラスである。
この問題に対して、特許文献1では、2枚の画像から、自然な撮影条件で一般的に起こりうる変動に対して頑健な特徴量を抽出することによって、識別性能を向上させる手法の提案がなされている。より具体的には、顔画像の局所的な特徴量をガボァフィルタによって抽出し、2枚の画像間での相関値(類似度)を求め、それらを複数箇所で求め特徴ベクトルを生成する。さらに、この特徴ベクトルをSVMによる識別器に入力することによって、intra−classとextra−classとの識別を行っている。
かかる構成とすることにより、登録時と認証時に撮影条件又は変動条件等が異なった場合でも、高精度な識別を行うことができる。
また、本発明は、オブジェクト識別方法としてもよい。
以下、図面を参照して実施形態1について図面に基づいて説明する。
図1は、オブジェクト識別装置の構成の一例を示す図である。図1に示すように、オブジェクト識別装置100は、結像光学系1、撮像部2、撮像制御部3、画像記録部4、オブジェクト登録部5、オブジェクト識別部6、外部出力部7、バス8を含む。
なお、オブジェクト登録部5、オブジェクト識別部6は、典型的には、それぞれ専用回路(ASIC)、プロセッサ(リコンフィギュラブルプロセッサ、DSP、CPU等)であってもよい。また、オブジェクト登録部5、オブジェクト識別部6は、単一の専用回路及び汎用回路(PC用CPU)内部において実行されるプログラム(又はソフトウェア)として存在してもよい。
結像光学系1は、ズーム機構を備えた光学レンズで構成される。また、結像光学系1は、パン・チルト軸方向の駆動機構を備えてもよい。
撮像制御部3は、撮影者からの指示(画角調整指示、シャッター押下、等)及びオブジェクト登録部5又はオブジェクト識別部6からの情報を基に、実際に撮影が行われるタイミングを制御する。
画像記録部4は、半導体メモリ等で構成され、撮像部2から転送された画像データを保持し、オブジェクト登録部5、オブジェクト識別部6からの要求に応じて、所定のタイミングで、画像データを転送する。
オブジェクト登録部5は、画像データから識別の対象とするオブジェクトの情報を抽出し、記録・保持する。オブジェクト登録部5のより詳細な構成及び実際に行われる処理のより具体的な内容については、後で詳しく説明する。
外部出力部7は、典型的には、CRTやTFT液晶等のモニタであり、撮像部2及び画像記録部4から取得した画像データを表示したり、又は、画像データにオブジェクト登録部5及びオブジェクト識別部6の結果出力を重畳表示したりする。また、外部出力部7は、オブジェクト登録部5及びオブジェクト識別部6の結果出力を電子データとして、外部メモリ等に出力するようにしてもよい。
バス8は、前記構成要素間の制御・データ接続を行う。
図2は、オブジェクト識別装置における全体処理の一例を示したフローチャートである。図2を参照しながら、このオブジェクト識別装置100が、画像データからオブジェクトの識別を行う実際の処理について説明する。なお、以下では、識別するオブジェクトが人物の顔である場合を例に説明を行う。
初めに、オブジェクト識別部6は、画像記録部4から画像データを取得する(S00)。続いて、オブジェクト識別部6は、取得した画像データに対して、人の顔の検出処理を行う(S01)。画像中から、人物の顔を検出する方法については、公知の技術を用いればよい。オブジェクト識別部6は、例えば、「特許3078166号公報」や「特開2002−8032号公報」で提案されているような技術を用いることができる。
オブジェクト識別部6は、対象オブジェクトである人物の顔の検出処理をしたのち、画像中に人の顔が存在するならば(S02でYesの場合)、オブジェクト識別処理、即ち個人の識別処理を行う(S03)。オブジェクト識別部6は、画像中に人の顔が存在しない場合(S02でNoの場合)には、図2に示す処理を終了する。オブジェクト識別処理(S03)のより具体的な処理内容については、後で詳しく説明する。
登録すると判定された場合(S05でYesの場合)、オブジェクト登録部5は、後述するオブジェクト(人物の顔)の登録処理を行う(S06)。登録を行わないと判定した場合(S05でNoの場合)、オブジェクト識別部6は、そのまま処理を続行する。S06のオブジェクト登録処理後、又はS05で登録を行わないと判定した場合、オブジェクト識別部6は、検出されたオブジェクト全てについて処理が終わったか否かを判定する(S07)。未処理のオブジェクトがある場合(S07でNoの場合)、オブジェクト識別部6は、S03まで処理を戻す。検出された全てのオブジェクトについて処理が終わった場合(S07でYesの場合)、オブジェクト識別部6は、一連のオブジェクト識別処理の結果を、外部出力部7に出力する。
以上が、本実施形態にかかるオブジェクト識別装置の全体の処理フローである。
図3は、オブジェクト登録部の一例を示したブロック図である。図3に示すように、オブジェクト登録部5は、オブジェクト辞書データ生成部21、オブジェクト変動データ生成部22、オブジェクト辞書データ保持部23、オブジェクト辞書データ選択部24を含む。
オブジェクト辞書データ生成部21は、画像記録部4から取得した画像データから、オブジェクトの個体を識別するために必要なオブジェクト辞書データを生成する。例えば、非特許文献1にあるようなintra−class及びextra−classの2クラス問題を判別する場合、典型的には、人物の顔画像を辞書データとすればよい。オブジェクト辞書データ生成部21は、オブジェクト検出処理によって検出されたオブジェクトの画像データを、大きさや向き(面内回転方向)等を正規化したのち、オブジェクト辞書データ保持部23に格納する。なお、オブジェクト辞書データ生成部21は、画像データそのものではなく、識別時に必要なデータのみをオブジェクト辞書データ保持部23に格納するようにしてもよい。例えば、オブジェクト辞書データ生成部21は、オブジェクトを含んだ画像に対して、主成分分析や独立成分分析を用いて、射影したベクトルのみをオブジェクト辞書データ保持部23に保持させる。このようにすることによって、データ量を削減することができる上に、識別処理の計算時間も短縮することができる。また、オブジェクト辞書データ生成部21は、intra−class、extra−classの2クラス問題ではなく、例えば、オブジェクト識別処理で、局所領域のベクトル相関をとって識別演算を行う場合、その局所領域のみを切り出すようにしてもよい。
以上のように、オブジェクト辞書データ生成部21は、適宜必要な情報を画像から抽出し、オブジェクト辞書データ保持部23に格納する。
ここでオブジェクトに与える変動としては、単純には、画像に対するノイズや色相、解像度等の変動がある。また、オブジェクトに与える変動としては、照明条件や、オブジェクトの向き・姿勢等の変動もある。また、オブジェクトが人物である場合、表情の変化等をオブジェクトに与える変動として含めてもよい。例えば、オブジェクト変動データ生成部22は、予めオブジェクトの3次元データを保持しておくことで、オブジェクトの向き・姿勢を変化させた場合の画像を取得することができる。照明条件についても、オブジェクト変動データ生成部22が、3次元データと照明位置、光源等とを光線追跡法等の光学シミュレーションにより計算することによって、様々な照明条件でのオブジェクトの画像データを取得することができる。3次元データは、個々のオブジェクトの3次元データをオブジェクト変動データ生成部22が、予め入手しておいてもよいが、ジェネリックな3次元データ(人物の顔であれば、共通化された平均顔3次元モデル)を用いるとよい。3次元データにオブジェクトの画像データを対応付けるのに、オブジェクト変動データ生成部22は、公知の技術を用いることができる。表情の変動においては、オブジェクト変動データ生成部22は、例えば人物の表情筋のモデルを用いて、任意の表情を作り出すことによって、変動を作り出すことができる。
図4は、オブジェクト識別部の一例を示したブロック図である。図4に示すように、オブジェクト識別部6は、オブジェクト識別用データ生成部31、オブジェクト辞書データ取得部32、オブジェクト属性推定部33、オブジェクト識別演算部34、オブジェクト識別器選択・再構成部35、オブジェクト識別器保持部36を含む。
オブジェクト識別用データ生成部31は、画像記録部4から取得した画像データから、オブジェクトの識別に必要な情報の抽出を行う。ここで行われる処理については、後で詳しく説明する。
オブジェクト辞書データ取得部32は、オブジェクト登録部5より、オブジェクトの辞書データを取得する。
オブジェクト識別演算部34は、オブジェクト識別用データ生成部31から取得したデータと、オブジェクト辞書データ取得部32から得た辞書データと、から、オブジェクトの固体識別処理を行う。ここで行われる処理については、後で詳しく説明する。
オブジェクト識別器選択・再構成部35は、オブジェクト属性推定部33より得られたオブジェクトの属性から、この属性に適したオブジェクト識別器を選択又は、適するように識別器の再構成を行う。ここで行われる識別器の選択処理及び再構成処理についても後で詳しく説明する。
オブジェクト識別器保持部36は、異なったアルゴリズムの種類又は学習条件・パラメータ等の、オブジェクト識別器を複数保持している。後述するオブジェクト識別器選択・再構成処理によって、適切なオブジェクト識別器が選択・再構成され、オブジェクト識別演算部34に設定される。なおオブジェクト識別器は、オブジェクト辞書データ選択部24で選択されたオブジェクト辞書データと、オブジェクト識別用データ生成部31で生成されたオブジェクト識別用データと、を照合し、照合した結果に基づいてオブジェクトの属するクラスを識別する。
s = ( f/d − f )・S
ここで、sはオブジェクトの画像上での大きさ(ピクセル数)、fは焦点距離、dは装置からオブジェクトまでの距離、Sはオブジェクトの実際の大きさ、である。但し(d>f)であるとする。このように、撮影条件に影響されないオブジェクトの大きさを属性として推定することができる。
S14で対象オブジェクトの属性に対して適切な識別器が設定されたのち、オブジェクト識別演算部34において、オブジェクト識別演算処理が行われる(S15)。オブジェクト識別演算処理の出力として、登録済みデータ(辞書データ)との一致をバイナリ(0or1)で出力する場合と、正規化した出力値(0〜1の実数値)で出力する場合と、がある。更に、オブジェクト識別演算部34は、登録オブジェクト(登録者)が複数(複数人)ある場合には、それぞれの登録オブジェクト(登録者)に対して、出力値を出力してもよいが、最も良く一致した登録データだけを出力してもよい。なお、オブジェクト識別演算処理のより具体的な内容についても、後で詳しく説明する。
以上が、オブジェクト識別部6における処理フローの説明である。
図6は、図5のS14のオブジェクト識別器選択・再構成処理の一例を示したフローチャートである。
オブジェクト識別器選択・再構成部35は、オブジェクト識別用データの属性値を取得し(S21)、オブジェクト識別器保持部36のオブジェクト識別器の中から対象オブジェクトの識別に適したオブジェクト識別器の選択を行う(S22)。
ここで、選択されるオブジェクト識別器は、1つである場合もあるが、複数であってもよい。
オブジェクト識別器の選択には、例えばルックアップテーブル(LUT)を用いる方法がある。図7は、オブジェクトの属性と、オブジェクト識別器と、の対応を表にしたLUTの一例を示す図である。テーブルの1行目が、オブジェクト識別器の番号を表し、2行目以降には、オブジェクト識別器のアルゴリズムを表す識別子や、カメラパラメータ、オブジェクト識別器の対応する変動範囲等が列挙されている。ここで、変動範囲とは、典型的には、オブジェクト識別器学習時の学習データの変動範囲のことである。オブジェクト識別器選択・再構成部35は、このLUTの中から、S13の属性推定結果に最も一致する、属性と対応付けられたオブジェクト識別器を1つか、又はそれに類似するオブジェクト識別器を複数、選択すればよい。また、オブジェクト識別器選択・再構成部35は、変動範囲だけでなく、予め対応する変動範囲での識別性能を測定しておくことによって、LUT内に識別成績(スコア)を保持するようにしてもよい。オブジェクト識別器選択・再構成部35は、このスコアの値と変動範囲とを勘案して、オブジェクト識別器を選択するようにしてもよい。更には、オブジェクト識別器選択・再構成部35は、識別性能だけではなく、処理時間も予め計測しておくことによって、識別器選択のための評価に組み入れてもよい。
S22でオブジェクト識別器の選択を行った後、オブジェクト識別器選択・再構成部35は、識別器の再構成処理を行う(S23)。再構成処理の具体的な内容は、実際に選択されたオブジェクト識別器のアルゴリズムに依存する。ここでは、例としてintra−class、extra−classの2クラス問題を識別する、SVMを用いたオブジェクト識別器の再構成処理について説明する。
まず、オブジェクト識別器選択・再構成部35は、選択したオブジェクト識別器を取得する(S30)。オブジェクト識別器の数が1つか複数かで、以下の処理が分かれる(S31)。取得した識別器が複数であった場合(S31でYesの場合)、オブジェクト識別器選択・再構成部35は、各オブジェクト識別器(SVM)の重み付けと閾値とを計算する。ここで、重み付けの値は、典型的には、変動範囲が最もよく一致するSVM識別器の重みを大きくするようにするとよい。また、オブジェクト識別器選択・再構成部35は、識別器選択の際に用いた、識別性能によるスコアを参照して、性能の高いSVM識別器の重みを相対的に大きくしてもよい。また、オブジェクト識別器選択・再構成部35は、閾値調整に関して、予め閾値と識別率とのテーブルを保持しておくことによって、識別率と誤識別率との調整を行うことができる。
処理時間を算出した後、オブジェクト識別器選択・再構成部35は、閾値調整後の識別性能と処理時間とを勘案して、識別器として性能を満足するか判定する(S34)。条件を満足しない場合(S35でNoの場合)、オブジェクト識別器選択・再構成部35は、サポートベクター数を削減する処理を行う(S36)。サポートベクターの削減方法は、例えば「Burges, C.J.C(1996). "Simplified support vector decision rules." International Conference on Machine Learning (pp.71−77).」に記載されているような方法を用いて、予めサポートベクターを削除したSVM識別器を複数用意しておくことで実現することができる。以下、オブジェクト識別器選択・再構成部35は、識別性能と処理時間との条件を満たす構成が見つかるまでS34からS36までの処理を繰り返す。なお、オブジェクト識別器選択・再構成部35は、前記処理を所定回数繰り返したところで、繰り返しを止めるようにしてもよい。
以上のようにすることで、オブジェクト識別器選択・再構成部35は、SVM識別器(オブジェクト識別器)の再構成を行う。
以上が、SVM識別器における再構成方法の一例を示した説明である。なお、以上説明したオブジェクト識別器再構成処理は、一般に実行時の処理コストが高い。そのため、オブジェクト識別用データの属性が同程度のものに対しては、2度目の演算以降は、1回目の再構成結果を保持したものを用いる等、処理コストを低減する工夫を取り入れるとよい。
オブジェクト識別演算処理について説明する。ここでは、一例として、intral−class、extra−classの2クラス問題を、SVM識別器を用いて判定する場合について説明する。
図9は、オブジェクト識別演算部の一例を示すブロック図である。オブジェクト識別演算部34は、オブジェクト識別用データ取得部41、オブジェクト辞書データ取得部42、変動特徴抽出部43、SVM識別器44、識別結果保持部45、識別結果統合部46を含む。
始めに、オブジェクト識別演算部34は、オブジェクト識別用データ生成部31よりオブジェクト識別用データを取得する(S40)。続いて、オブジェクト識別演算部34は、オブジェクト辞書データ取得部32よりオブジェクト辞書データを取得する(S41)。次に、オブジェクト識別演算部34は、S40及びS41で取得したオブジェクト識別用データ及びオブジェクト辞書データに基づいて、変動特徴抽出処理を行う(S42)。ここで、変動特徴とは、典型的には2枚の画像から抽出される、同一オブジェクト間の変動、又は異なるオブジェクト間の変動、の何れかに属する特徴のことである。変動特徴の定義は様々なものが考えられているが、ここでは、一例として、局所特徴をベースとした特徴量を考える。
オブジェクト識別演算部34は、S42で取得した取得した変動特徴ベクトルをSVM識別器に投入する(S43)。SVMによる識別演算は、識別器選択・再構成処理の説明で述べたように、複数のSVM識別器を用いるとよい。局所領域の数を増やすと、それだけ変動特徴ベクトルの次元数が増え、演算時間が増加するので、処理時間を優先した場合、カスケード接続型のSVM識別器が有効である。この場合、SVM識別器は局所領域ごとに訓練されたもので構成される。そして、オブジェクト識別演算部34は、変動特徴ベクトルを、局所領域ごとに分割してSVM識別器に投入する。このようにすることで、演算時間を削減することができる。一方、識別精度を重視する場合、SVM識別器を並列に演算し、演算結果について重み付け和をとるようにするとよい。この場合でも、上述したように、サポートベクター数を削減するアルゴリズムを適用することで、ある程度演算時間を短縮することができる。
以上が、オブジェクト識別演算処理の説明である。
以下、図面を参照して実施形態2について図面に基づいて説明する。
実施形態2は、実施形態1に対して、オブジェクト登録部と、オブジェクト識別部と、の処理内容が異なる。
実施形態1では、識別対象オブジェクトの属性値のみに対応してオブジェクト識別器を選択・再構成していた。それに対して、本実施形態では、オブジェクト辞書データの属性と識別対象オブジェクトの属性との一致度を評価して、その一致度を基にオブジェクト識別器とオブジェクト辞書データとの選択及び再構成・再生成を行う点が異なる。
また、本実施形態では、オブジェクト識別器の識別器構成が実施形態1と異なっている。
以下、より具体的に説明する。なお、重複を避けるため、以下の説明において、実施形態1と同じ部分は、省略する。本実施形態に係わるオブジェクト識別装置全体の構成を説明するブロック図は実施形態1と同一である。なお、説明の便宜上、本実施形態においても、識別する対象となるオブジェクトを、画像中の人物の顔としているが、本実施形態は、人物の顔以外のオブジェクトにも適用可能である。
図11は、オブジェクト登録部5Aの一例を示すブロック図である。オブジェクト登録部5Aは、オブジェクト辞書データ生成部51、オブジェクト変動データ生成部52、オブジェクト辞書データ保持部53、オブジェクト辞書データ属性評価部54、オブジェクト辞書データ選択部55を含む。実施形態1と異なるのは、新たにオブジェクト辞書データ属性評価部54が加わった点である。
オブジェクト辞書データ属性評価部54は、登録されたオブジェクトの辞書データについて、その属性を評価する。評価する属性の項目及び方法は、実施形態1のオブジェクト識別部6のオブジェクトの属性の推定の方法と同様に行えばよい。また、 オブジェクト辞書データ属性評価部54は、オブジェクト変動データ生成部52によって与えられた変動によって生成された辞書データについては、その変動要素についても記録しておく。このオブジェクト辞書データ属性評価部54で評価された属性データは、後段のオブジェクト識別処理で用いられる。
図12は、オブジェクト識別部6Aの一例を示すブロック図である。図12に示すように、オブジェクト識別部6Aは、オブジェクト識別用データ生成部61、オブジェクト辞書データ取得部62、オブジェクト属性推定部63、オブジェクト属性一致度評価部64、オブジェクト識別演算部65を含む。また、オブジェクト識別部6Aは、オブジェクト識別器選択・再構成部66、オブジェクト識別器保持部67を含む。実施形態1と異なる点は、オブジェクト属性一致度評価部64が新たに加わったことである。更に、不図示であるが、後述するオブジェクト識別演算部の識別結果の統合処理及びオブジェクト識別器選択・再構成部66の処理内容が変わっている。これについては後で詳しく説明する。
例えば、オブジェクト属性一致度評価部64は、後述するオブジェクト属性一致度評価処理の評価値を基に、評価値が所定条件を満たしているか否かを判定する(S57)。ここで所定条件とは、典型的には、オブジェクト属性一致度がある閾値を超えているか、又は、前記処理の繰り返し回数(S54−S55−S56のループ回数)が所定回数を超えたか、等である。所定条件を満たしていると判定した場合(S55でYesの場合)、実施形態1と同様にオブジェクト識別器選択・再構成部66は、オブジェクト識別器選択・再構成処理を行う(S57)。満たしていないと判定した場合(S55でNoの場合)、オブジェクト辞書データ取得部62は、オブジェクト辞書データの再取得を行う(S56)。例えば、オブジェクト辞書データ取得部62は、オブジェクト辞書データ保持部53からより近い属性をもつオブジェクト辞書データを探し出す。オブジェクト辞書データ取得部62は、より近い属性をもつオブジェクト辞書データが見つからない場合には、動的にオブジェクト辞書データの再生成を行う。
続いて、オブジェクト属性一致度評価部64は、オブジェクト辞書データ取得部62を介してオブジェクト辞書データのオブジェクトの属性を取得する(S61)。そして、オブジェクト属性一致度評価部64は、S60で取得したオブジェクトの属性と、S61で取得したオブジェクト辞書データのオブジェクトの属性と、のマッチング処理(一致評価処理)を行う(S62)。オブジェクト属性一致度評価部64は、マッチング処理として、例えば、属性を数値化したベクトルを定義して、ベクトルの内積をとる。また、オブジェクト属性一致度評価部64は、マッチング処理として、例えば、重み付き内積をとるようにして、重要視すべき属性の重みを大きくするようにしてもよい。なお、S62の処理は、一致度算出手段による処理の一例である。
オブジェクト属性一致度評価部64は、計算した一致度を出力する(S63)。
このように、オブジェクト辞書データのオブジェクトの属性と、オブジェクト識別用データのオブジェクトの属性と、できるだけ一致させることによって、以下のような効果が期待できる。即ち、オブジェクト辞書データと識別用データとの本来的に識別に関係のない変動が小さくなり、後述するオブジェクト識別器による識別の精度が向上することが期待できる。
次に、オブジェクト識別器選択・再構成処理について説明する。実施形態1では、識別器が複数又は1つのSVM識別器である場合の説明を行った。本実施形態では、オブジェクト識別器が複数の弱識別器の集合体で構成される場合について説明する。
多数の弱識別器を接続し、識別性能を向上させる方法として、「Viola & Jones (2001) ”Rapid Object Detection using
a Boosted Cascade of Simple Features”,
Computer Vision and Pattern Recognition.」に記載されているようなAdaBoost用いた方法がある。本実施形態でも、弱識別器と呼ばれる、識別器単体では性能が低い識別器を多数接続した識別器(強識別器)の構成を用いる。また、弱識別器の演算も、前記文献のようなHaar様基底を用いたフィルタ演算を用いることができる。強識別器の構成は、典型的には前記文献に記載されているような弱識別器によるスコア値累積型の判別方法を部分的に用いてもよい。
なお、オブジェクト識別器選択・再構成部66が、必要のない弱識別器を間引いていくようにしてもよい。即ち、考えられる変動範囲全てをカバーする弱識別器ツリー構造を、予め用意しておく。次にオブジェクト識別器選択・再構成部66が、オブジェクト識別用データの属性及び辞書データとの一致度から、必要のない弱識別器系列を取り外せばよい。予め用意された弱識別器ツリーは、分岐選択ノード識別器も、分岐選択精度が高いと期待されるので、初めから識別器ツリーを構成するより、精度と処理時間ともに向上する可能性がある。
また、オブジェクト識別器選択・再構成部66は、弱識別器系列のツリー構造が決定した後に、個々の弱識別器の最適化を行うようにしてもよい。例えば、オブジェクト識別器選択・再構成部66は、弱識別器の重み付けであるスコア値を、オブジェクト属性一致度や、オブジェクト属性と弱識別器の学習条件との一致度を考慮して、調整するようにする。より典型的には、オブジェクト識別器選択・再構成部66は、識別対象であるオブジェクトの属性(顔の向き、表情等)と弱識別器の学習条件での変動範囲とが一致しているものほど、スコア値を高くするようにする。
また、実施形態1における、識別器再構成処理の説明のように、予め典型的なデータでの識別率を計測しておいて、テーブルとして保持しておくことで、実行時の調整を可能にすることもできる。弱識別器系列の構成が決定された後にも、個々の弱識別器の性能を前記テーブルによって算出することができるから、予め測定済みのデータに関してではあるが、最適な閾値を調整することができる。
図16は、オブジェクト識別演算部の処理の一部である識別結果の統合処理の一例を示したフローチャートである。以下、順に説明する。まず、オブジェクト識別演算部65は、全ての辞書データに対するオブジェクト識別結果の出力レベルが一定であるか否か判定する(S70)。辞書データによって、識別器が異なる可能性があるので、オブジェクト識別演算部65は、その出力レベルについて調べる。一般的には、SVMの学習条件や、弱識別器の数が異なると、出力レベルは一定でない可能性が高い。出力レベルが一定になるように学習していない場合や、出力値を正規化していない場合には、識別器によって出力レベルが異なる。このような場合(S70でNoの場合)、オブジェクト識別演算部65は、閾値処理を行う(S71)。ここでの閾値処理は、各識別器固有の閾値であるので、出力レベルの違いは考慮しなくてよい。S71で閾値を超えた辞書データに対して、オブジェクト識別演算部65は、オブジェクト属性一致度評価部64からオブジェクト属性一致度を取得する(S72)。そして、オブジェクト識別演算部65は、一致度が最大の識別結果に対応する辞書データを識別結果として出力する(S73)。S71の閾値処理で、閾値を超える結果がなかった場合は、オブジェクト識別演算部65は、入力されたオブジェクトに対応する登録オブジェクト辞書データがなかったとして、対応する登録オブジェクトなしを出力する。
Claims (4)
- オブジェクトがどのクラスに属するか識別するオブジェクト識別装置であって、
撮像されたオブジェクトの画像データから前記オブジェクトの識別用データを生成するオブジェクト識別用データ生成手段と、
前記識別用データに基づいて、前記オブジェクトの属性を推定するオブジェクト属性推定手段と、
所定の変動が与えられた前記オブジェクトの画像データに基づいて、オブジェクト辞書データを生成するオブジェクト辞書データ生成手段と、
前記オブジェクト辞書データ生成手段によって生成されたオブジェクト辞書データから、前記オブジェクト属性推定手段で推定されたオブジェクトの属性に基づいて、前記オブジェクト辞書データを選択するオブジェクト辞書データ選択手段と、
前記オブジェクト辞書データ選択手段で選択されたオブジェクト辞書データと、前記オブジェクト識別用データと、を照合し、照合した結果に基づいて、前記オブジェクトの属するクラスを識別するオブジェクト識別器を少なくとも1つ保持するオブジェクト識別器保持手段と、
前記オブジェクト属性推定手段で推定されたオブジェクトの属性に基づいて、前記オブジェクト識別器を選択、又は再構成するオブジェクト識別器選択・再構成手段と、
を有することを特徴とするオブジェクト識別装置。 - 前記オブジェクト辞書データ生成手段によって生成されたオブジェクト辞書データのオブジェクトの属性と、前記オブジェクト属性推定手段で推定されたオブジェクトの属性との、一致度を算出する一致度算出手段と、
を更に有し、
前記オブジェクト識別器選択・再構成手段は、前記一致度算出手段で算出された一致度に基づいて、前記オブジェクト識別器を選択、又は再構成することを特徴とする請求項1に記載のオブジェクト識別装置。 - 前記オブジェクト識別器は、更に、前記一致度算出手段で算出された一致度に基づいて、オブジェクトの属するクラスを識別することを特徴とする請求項2に記載のオブジェクト識別装置。
- オブジェクトがどのクラスに属するか識別するオブジェクト識別装置におけるオブジェクト識別方法であって、
撮像されたオブジェクトの画像データから前記オブジェクトの識別用データを生成するオブジェクト識別用データ生成ステップと、
前記オブジェクト識別用データ生成ステップで生成された前記識別用データに基づいて、前記オブジェクトの属性を推定するオブジェクト属性推定ステップと、
所定の変動が与えられた前記オブジェクトの画像データに基づいて、オブジェクト辞書データを生成するオブジェクト辞書データ生成ステップと、
予め登録された、又は前記オブジェクト辞書データ生成ステップによって生成された、オブジェクト辞書データから、前記オブジェクト属性推定ステップで推定されたオブジェクトの属性に基づいて、前記オブジェクト辞書データを選択するオブジェクト辞書データ選択ステップと、
前記オブジェクト辞書データ選択ステップで選択されたオブジェクト辞書データと、前記オブジェクト識別用データと、を照合し、照合した結果に基づいて、前記オブジェクトの属するクラスを識別するオブジェクト識別器を少なくとも1つ保持するオブジェクト識別器保持ステップと、
前記オブジェクト属性推定ステップで推定されたオブジェクトの属性に基づいて、前記オブジェクト識別器を選択、又は再構成するオブジェクト識別器選択・再構成ステップと、
を有することを特徴とするオブジェクト識別方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009122312A JP5241606B2 (ja) | 2009-05-20 | 2009-05-20 | オブジェクト識別装置及びオブジェクト識別方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009122312A JP5241606B2 (ja) | 2009-05-20 | 2009-05-20 | オブジェクト識別装置及びオブジェクト識別方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010271861A true JP2010271861A (ja) | 2010-12-02 |
JP5241606B2 JP5241606B2 (ja) | 2013-07-17 |
Family
ID=43419846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009122312A Active JP5241606B2 (ja) | 2009-05-20 | 2009-05-20 | オブジェクト識別装置及びオブジェクト識別方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5241606B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013196046A (ja) * | 2012-03-15 | 2013-09-30 | Omron Corp | 認証装置、認証装置の制御方法、制御プログラム、および記録媒体 |
CN104123533A (zh) * | 2013-04-26 | 2014-10-29 | 株式会社电装 | 对象检测设备 |
JP2016015045A (ja) * | 2014-07-02 | 2016-01-28 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
JP2017107422A (ja) * | 2015-12-10 | 2017-06-15 | 株式会社Screenホールディングス | 画像分類方法および画像分類装置 |
WO2017179728A1 (ja) * | 2016-04-14 | 2017-10-19 | シャープ株式会社 | 画像認識装置、画像認識方法および画像認識プログラム |
US10068321B2 (en) | 2014-11-28 | 2018-09-04 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, and recording medium |
WO2019215868A1 (ja) * | 2018-05-10 | 2019-11-14 | 日本電気株式会社 | パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム |
JP2019215755A (ja) * | 2018-06-13 | 2019-12-19 | 株式会社デンソーテン | 画像認識装置、画像認識方法、機械学習モデル提供装置、機械学習モデル提供方法、機械学習モデル生成方法、および機械学習モデル装置 |
JP2021530038A (ja) * | 2018-06-29 | 2021-11-04 | バイドゥ ドットコム タイムス テクノロジー (ベイジン) カンパニー リミテッド | 低電力のリアルタイムオブジェクト検出用のシステム及び方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006004003A (ja) * | 2004-06-15 | 2006-01-05 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2009087209A (ja) * | 2007-10-02 | 2009-04-23 | Sony Corp | 画像処理装置、撮像装置、これらにおける処理方法およびプログラム |
-
2009
- 2009-05-20 JP JP2009122312A patent/JP5241606B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006004003A (ja) * | 2004-06-15 | 2006-01-05 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2009087209A (ja) * | 2007-10-02 | 2009-04-23 | Sony Corp | 画像処理装置、撮像装置、これらにおける処理方法およびプログラム |
Non-Patent Citations (2)
Title |
---|
CSNG200100512006; 栗田 多喜夫: '向きに依存しない顔画像認識のための向きに依存した複数の識別器の統合' 電子情報通信学会技術研究報告 第99巻 第514号, 19991216, p.35-42, 社団法人電子情報通信学会 * |
JPN6013010437; 栗田 多喜夫: '向きに依存しない顔画像認識のための向きに依存した複数の識別器の統合' 電子情報通信学会技術研究報告 第99巻 第514号, 19991216, p.35-42, 社団法人電子情報通信学会 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013196046A (ja) * | 2012-03-15 | 2013-09-30 | Omron Corp | 認証装置、認証装置の制御方法、制御プログラム、および記録媒体 |
CN104123533A (zh) * | 2013-04-26 | 2014-10-29 | 株式会社电装 | 对象检测设备 |
JP2014215877A (ja) * | 2013-04-26 | 2014-11-17 | 株式会社デンソー | 物体検出装置 |
US9262693B2 (en) | 2013-04-26 | 2016-02-16 | Denso Corporation | Object detection apparatus |
JP2016015045A (ja) * | 2014-07-02 | 2016-01-28 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
US10068321B2 (en) | 2014-11-28 | 2018-09-04 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, and recording medium |
JP2017107422A (ja) * | 2015-12-10 | 2017-06-15 | 株式会社Screenホールディングス | 画像分類方法および画像分類装置 |
WO2017179728A1 (ja) * | 2016-04-14 | 2017-10-19 | シャープ株式会社 | 画像認識装置、画像認識方法および画像認識プログラム |
WO2019215868A1 (ja) * | 2018-05-10 | 2019-11-14 | 日本電気株式会社 | パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム |
JPWO2019215868A1 (ja) * | 2018-05-10 | 2021-04-01 | 日本電気株式会社 | パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム |
US11586850B2 (en) | 2018-05-10 | 2023-02-21 | Nec Corporation | Pattern recognition system, parameter generation method, and parameter generation program |
JP2019215755A (ja) * | 2018-06-13 | 2019-12-19 | 株式会社デンソーテン | 画像認識装置、画像認識方法、機械学習モデル提供装置、機械学習モデル提供方法、機械学習モデル生成方法、および機械学習モデル装置 |
JP7177609B2 (ja) | 2018-06-13 | 2022-11-24 | 株式会社デンソーテン | 画像認識装置、画像認識方法、機械学習モデル提供装置、機械学習モデル提供方法、機械学習モデル生成方法、および機械学習モデル装置 |
JP2021530038A (ja) * | 2018-06-29 | 2021-11-04 | バイドゥ ドットコム タイムス テクノロジー (ベイジン) カンパニー リミテッド | 低電力のリアルタイムオブジェクト検出用のシステム及び方法 |
JP7268063B2 (ja) | 2018-06-29 | 2023-05-02 | バイドゥドットコム タイムズ テクノロジー (ベイジン) カンパニー リミテッド | 低電力のリアルタイムオブジェクト検出用のシステム及び方法 |
US11741568B2 (en) | 2018-06-29 | 2023-08-29 | Baidu Usa Llc | Systems and methods for low-power, real-time object detection |
Also Published As
Publication number | Publication date |
---|---|
JP5241606B2 (ja) | 2013-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5241606B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
JP5247480B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
JP6544900B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
JP4443722B2 (ja) | 画像認識装置及び方法 | |
US8797448B2 (en) | Rapid auto-focus using classifier chains, MEMS and multiple object focusing | |
JP5554987B2 (ja) | オブジェクト識別装置及びその制御方法 | |
KR101725651B1 (ko) | 식별 장치 및 식별 장치의 제어 방법 | |
JP5424819B2 (ja) | 画像処理装置、画像処理方法 | |
US8659697B2 (en) | Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing | |
JP5174045B2 (ja) | 分類器チェーンを用いた照明検出 | |
JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
US8542887B2 (en) | Object identification apparatus and object identification method | |
CN110348270B (zh) | 影像物件辨识方法与影像物件辨识*** | |
JP2005056387A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP6351243B2 (ja) | 画像処理装置、画像処理方法 | |
JP2019057815A (ja) | 監視システム | |
JP6071002B2 (ja) | 信頼度取得装置、信頼度取得方法および信頼度取得プログラム | |
WO2020195732A1 (ja) | 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体 | |
JP2017058833A (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
JP5653003B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
JP5791361B2 (ja) | パターン識別装置、パターン識別方法およびプログラム | |
JP2006293720A (ja) | 顔検出装置、顔検出方法、及び顔検出プログラム | |
JP6714634B2 (ja) | 照合装置及び照合方法 | |
JP2012234497A (ja) | オブジェクト識別装置、オブジェクト識別方法、及びプログラム | |
JP2015158745A (ja) | 行動識別器生成装置、行動認識装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120521 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130402 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5241606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |