JP4349568B2 - 物体認識装置、物体認識方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、物体表面に鏡面反射や光沢が観察される状況において、静止画像、もしくは連続して入力される動画像中の鏡面反射成分を除去し、その結果を用いて物体を認識する物体認識装置および方法、そのプログラム並びに記録媒体に関する。

画像を用いた物体認識技術では、被写体表面に鏡面反射や光沢が観察される場合には、その影響により認識精度が低下する。この問題を解決するために、一般には、鏡面反射成分を含まない領域のみによる処理や、入力画像から鏡面反射成分を分離して得られた拡散反射成分の画像を用いた処理が行われている。

しかし、鏡面反射成分を含まない領域のみを用いた処理では、鏡面反射を含むか否かの判別を行う必要があり、複雑な処理を必要とする。また、被写体を特徴付けるテクスチヤが鏡面反射により隠蔽されている場合には、認識精度が著しく低下する。

一方、鏡面反射成分と拡散反射成分との分離を行い、拡散反射成分の画像を用いた処理では、照明光源および画像撮影装置の入力部において光の偏光を制御することで鏡面反射成分を除去し、拡散反射成分のみの画像を得ることができる（例えば、非特許文献1参照）。また、異なる方向から被写体に照明を当てて撮影した画像から、被写体の鏡面反射成分と拡散反射成分とを分離することができる（例えば、非特許文献２参照）。しかし、非特許文献１および非特許文献２に記載の技術では、１枚の拡散反射成分の画像を得るためには撮影条件を変えて撮影した複数枚の入力画像を必要とするため、動く物体を被写体とする場合や、動画像を入力画像とする場合には適さない。さらに、特殊な撮影装置を要するため、この技術を使用できる状況も制限されている。

また、被写体を多方向から撮影した複数の画像からは、画像での対応点追跡を行い、その結果を用いて鏡面反射成分と拡散反射成分を分離することができる（例えば、特許文献1参照）。しかし、特許文献１に記載の技術では、照明光源が複数存在する場合には鏡面反射成分や光沢の影響により対応点追跡の精度が低下し、その結果、鏡面反射成分と拡散反射成分との分離精度が低下する。

また、被写体の分光反射率を推定することにより、撮影時とは異なる照明環境（照明光スペクトルが異なる場合）でも、同じ照明下で観察した際の色を再現することができる。現在、この技術を医療分野や電子美術館（デジタルアーカイブ）、電子商取引（オンラインショッピング等）に応用した高色再画像システムの開発が進められている。しかし、主に目視による識別が主目的で、データベース等に蓄積された画像と入力画像で画像同士での照合を行う、画像認識、探索、検索は行われていない。その理由としては、鏡面反射が観測される（画像が含まれる）場合には、その影響により色再現が困難であること、また本来観察されるべき被写体表面のテクスチャが鏡面反射により隠蔽されていることがあげられる。

小島伸俊、他2名、「化粧肌の質感推定（II）（肌の凹凸情報の定量化）」、日本写真学会誌、56（4）、1993、pp．264〜269 YoichiSato、他2名、「Temporal-color space analysis of reflection」，Journal of OpticalSociety of America，A/vol.11，November，1994，pp.2990〜3002 特開２００３−８５５３１号広報

本発明は、上記従来技術の問題点を解決すべくなされたもので、照明光成分を用いて鏡面反射成分を含まない画像（鏡面反射除去画像）を生成し、得られた鏡面反射除去画像を用いて、照明条件（光源の数や種類、配置）の変化に対し、物体認識処理を安定に行うことができる物体認識装置及び方法、そのプログラム並びに記録媒体を提供することを目的とする。

また、本発明は、入力画像と照合画像とで撮影時の照明の種類（分光スペクトル）が異なる場合でも、画素値毎の単純な比較による照合が可能である物体認識装置及び方法、そのプログラム並びに記録媒体を提供することを目的とする。

本発明は、物体の撮影時に用いる照明光源の照明光成分を取得する手段と、撮影装置により撮影された対象物の画像である入力画像と対象物の表面からの反射光の分光放射輝度とを取り込む手段と、予め撮影されている対象物の画像である蓄積画像と、該蓄積画像の撮影時の照明光成分とを、少なくとも蓄積する手段と、取得した照明光成分を用いて入力画像から鏡面反射成分を含まない鏡面反射除去画像を生成する手段を備える。

また、本発明は、鏡面反射除去画像と蓄積手段に蓄積された蓄積画像とを照合する手段を更に備える。また、入力画像と当該入力画像の鏡面反射除去画像、または、入力画像と当該入力画像の鏡面反射除去画像および蓄積画像と当該蓄積画像の鏡面反射除去画像とを表示する手段を備える。

鏡面反射除去画像の生成は、入力画像の分光放射輝度を照明光成分で割って総合反射率画像を得（照明光を用いて物体表面の各画素における見かけの反射率を算出）、この総合反射率画像の各画素の信号値を、ベクトルＵ（λ）＝［１，１，…，１］（λは波長）を法線とする超平面に投影することで行う。

なお、照明光成分の計測装置、および画像の取り込みに用いる撮影装置に関しては、予め当該機器の入力及び出力特性を計測しておく。

まず、照明光源等の照明光成分の取得について説明する。一般には白色板からの拡散光を照明光成分とし、その計測には分光輝度計、色彩輝度計、もしくは３バンド以上の画像撮影が可能なデジタルカメラが用いられる。一般的に３バンドとは「赤、緑、青」の三原色を指す。ここで照明光成分とは、照明光の分光スペクトル、光原色、もしくは撮影装置により撮影された白色板の画像の信号値とする。デジタルカメラを使用する場合、一般に入力された光の強度と、出力される信号値は、比例関係にない。そこで、あらかじめデジタルカメラの特性を計測しておき、その結果を参照して信号値を明るさで規格化する。計測時には、１種類の照明光源だけ点灯させ、他の照明は消灯した状態で行う。これをすべての照明光源に対して行い、複数の照明光成分を得る。オフィス環境など、使用されている光源が有限種類に限定できる場合には、照明光源としてそれらすべてを仮定し、予め計測しておいたデータを用いてもよい。また、照明光としては太陽光等の自然光を用いることも可能である。ただし、自然光と複数の人工的な照明光とを組み合わせて照明光群として使用する場合は、人工的な照明光のみが被写体（対象物）を照らすことを可能にするような構成が必要になる。その構成としては、例えば、被写体と人工的な照明光との組み合わせを自然光から遮断するような覆いを用いる。

次に、被写体の画像取込みについて説明する。撮影装置としては、例えば、３バンド以上の画像撮影が可能なデジタルカメラを用いる。撮影装置からの出力信号値は、照明情報取得時と同じく、あらかじめ計測しておいた機器特性を基に明るさでの規格化を行う。画像中の光沢や鏡面反射が明るすぎて撮影装置のダイナミックレンジを超えてしまい画像情報が欠損する場合には、露光時間や絞り値を適切な値に調節するか、露光時間を変えて取得した複数のダイナミックレンジが広い１枚の画像を合成する。また用途にあわせ、得られた信号値から、撮影装置に入力された光の分光スペクトルもしくは色度値を推定する。

次に、照明光成分を用いて入力画像から鏡面反射成分を含まない鏡面反射除去画像を得る原理について説明する。ここでは、分光スペクトルを入力とする場合について述べる。

初めに、入力画像の各画素の信号値を照明光成分に直交する空間に投影することで、鏡面反射除去画像が得られる原理を、図１３にもとづき説明する。
対象とする被写体は、非金属で２色正反射が仮定できる有彩色の拡散物体とする。簡単のため、１つの点光源で被写体を照明する場合について考える。ある方向が被写体を観察した際に観察される、物体表面の１点からの反射光の分光放射輝度（反射光スペクトル）Ｉ（λ）は、標準２色性反射モデルが仮定できる場合、（１）式のように、拡散反射成分（第１項）と鏡面反射成分（第２項）の線形和で表わされる。

λは波長、ｋは鏡面反射成分の強度を表わす係数、Ｅ（λ）は照明光の分光分布である。

鏡面反射成分は照明光と同じ分光分布を持つ。Ｉ（λ）をＥ（λ）に直交する空間に投影して得られる成分をＰ（λ）とすると、

と表わすことができる。αと（１）式を（２）式に代入すると、

となり、Ｐ（λ）は、拡散反射成分Ｉ_ｄ（λ）をＥ（λ）に直交する空間へ投影したものであることが分かる（図１３）。したがって、Ｐ（λ）は鏡面反射成分の影響を含まないため、この成分に注目することで鏡面反射成分の変化に頑健な画像認識が可能となる。

次に、分光分布が異なるＬ個の照明光源で被写体を照明する場合を考える。ｉ番目の照明光源の分光スペクトルをＥ_ｉ（λ）とすると、観察される被写体表面のある１点からの反射光の分光放射輝度（反射光スペクトル）Ｉ（λ）は次式のように表わされる。

Ｄ(λ)は各光源単独で被写体を照明した際に観察される拡散反射成分の和、ｋ_ｉは各光源に対応する鏡面反射成分の強度を表わす係数である。

ここで、各光源の分光スペクトルＥ_ｉ（λ）（ｉ＝１，２，…，Ｎ）全てに直交する空間をＧ（λ
）とすると、反射光スペクトルＩ（λ）を空間Ｇ（λ）に投影して得られる成分Ｐ（λ）は次式のように表わされる。

従って、全ての照明光源の分光スペクトルに直交する空間Ｇ（λ）を求め、Ｉ（λ）をＧ（λ）へ投影することにより、先の照明光源が１種類の時と同様の処理が可能である。

なお、照明光スペクトルに直交する成分Ｐ(λ)は次のように求めることもできる。反射光スペクトルＩ(λ)のｉ番目の照明光源の分光スペクトルに直交する成分Ｐ_ｉ(λ)を求め、さらにＰ_ｉ(λ)を（ｉ＋1）番目の照明光源の分光スペクトルに直交する空間へ投影する。この処理をｉ＝０，・・・，Ｌに関して繰り返すことで、用いたすべての照明光スペクトルに直交する成分Ｐ(λ)が次式のように求まる。

ここで、上記式(５)あるいは式(６)、(７)の処理の違いは、計算機資源の使い方やプログラムに依存する。

オフィス環境など、使用されている光源が有限種類に限定できる場合には、照明光源としてそれら全てを仮定し、仮定した照明光源の分光スペクトルのすべてに直交する空間をＧ(λ)としてもよい。

以上の原理は、線形な入出力特性をもつ撮影装置からの出力信号に対しても同様に成り立つ。まず、各光源を単独に点灯させた状態で標準白色板のマルチバンド画像（バンド数：Ｎ≧３、波長選択性の強いカラーフィルタを複数用いた場合の画像に相当する）を撮影し、ｉ番目の光源下における画像の信号値を正規化したものＷ_ｉ＝［Ｗ_ｉ(1)，・・・，Ｗ_ｉ(N)］を、照明分光の分光スペクトルＥ_ｉ(λ)の代わりに用いる。次に被写体のマルチバンド画像を撮影する。なお、撮影装置は標準白色板の撮影時と同じものを使用する。分光スペクトルが異なるｌ個の照明光源で被写体を照明する場合を考える。画像上の１画素には被写体表面のある１点からの反射光が記録されると仮定すると、ｎバンド目の画像上のある１画素の画素値ｃ(ｎ)は次のように表される。

Ｗ_ｉ(ｎ)はｉ番目の照明光源下で白色板の画素値を正規化したもの、Ｄ'_ｉ(ｎ)とｋ'_ｉ(ｎ)Ｗ_ｉ(ｎ)はｉ番目の照明光源のみで被写体を照明したときの拡散反射成分と鏡面成分、
ｋ'_ｉ(ｎ)は鏡面反射成分の強度を表す係数である。全てのＷ_ｉに直交するベクトルＧ'＝［Ｇ'(1)，・・・，Ｇ'(N)］を求め、ｃ＝［ｃ(1)，・・・，ｃ(N)］をＧ'へ投影することにより、鏡面反射成分を含まない成分Ｐ'＝［Ｐ'(1)，・・・，Ｐ'(N)］が得られる。

以上の処理を画像中の全画素に対して行うことで、鏡面反射成分を含まない鏡面反射除去画像が得られる。なお、得られる画像は拡散成分の画像とは異なる。その画素値はＧ'に依存し、負の値にもなる。

上記のように求められた照明光スペクトルに直交する成分Ｐ(λ)、もしくはＰ'を用いて認識処理を行うことにより、鏡面反射成分の影響を受けない、照明変化に対して頑健な物体認識が可能となる。

さらに、得られた成分Ｐ（λ）、もしくはＰ’の各画素値を、そのパワーで正規化（例えば、Ｐ（λ）／｜Ｐ（λ）｜）して、照明条件に依存しない鏡面反射成分の除去された画像（照明不変画像）を生成し、この画像を用いて認識処理を行ってもよい。

次に、入力画像の分光放射輝度を照明光成分で割り、総合反射率画像を生成し（照明光スペクトルを用いて物体表面の各画素における見かけの反射率を算出）、総合反射率画像をベクトルＵ（λ）＝［１，１，…，１］を法線に持つ超平面に投影することで、鏡面反射除去画像を得る原理について説明する。ここでも、分光スペクトルを入力とする場合について述べる。

一つの点光源で被写体を照明する場合について考える。ある方向から被写体を観察した際に観測される、物体表面の１点ｘからの反射光の分光放射輝度（反射光スペクトル）Ｉ（ｘ，λ）は、標準２色反射モデルが仮定できる場合、（１０）式で表わされる。これは、先の（１）式と基本的に同じ式である（先の（１）式は位置座標ｘを省略した簡略式）。

ｘは物体表面の位置座標（ｘ＝［ｘ，ｙ，ｚ］^Ｔ）、λは波長、Ｉ_ｄ（ｘ，ｙ）は拡散反射成分、Ｉ_ｓ（ｘ，λ）は鏡面反射成分、Ｅ（λ）は照明光の分光スペクトル、Ｄ（ｘ）は拡散反射成分の明るさ、ｆ_ｄ（ｘ，λ）は拡散反射率、Ｓ（ｘ）は鏡面反射の強度である。

ここで、総合反射率画像Ｆ（ｘ，λ）を

とし、Ｆ（ｘ，λ）を、ベクトルＵ（λ）を法線にもつ超平面に投影し、Ｕ（λ）に直交する成分Ｐ（ｘ，λ）を次のように求める。

これにより、Ｐ（ｘ，λ）は物体の拡散反射率ｆ_ｄ（ｘ，λ）のみに依存することが分かる。また、ｆ_ｄ（ｘ，λ）は、照明光に依存しない物体固有の関数であるため、入力画像と照合用画像とで撮影時の照明の種類が異なる場合でも、Ｐ（ｘ，λ）は分光スペクトル空間内内で同じ方向を指す（Ｐ（ｘ，λ）を正規化したものが等しくなる）。なお、Ｐ（ｘ，λ）の正規化はＰ（ｘ，λ）／｜Ｐ（ｘ，λ）｜で求まる。

本発明によれば、鏡面反射により隠れているテクスチャ等の可視化が実現でき、入力画像と蓄積画像（照合用画像）の比較を行う際に、鏡面反射による認識精度の低下を抑制することができる。したがって、例えば、複数の照明光源が存在するオフィス環境や、窓のある部屋、また蓄積画像撮影時とは異なる照明環境での物体認識が容易となる。また、照明光スペクトルを用いて物体表面（各画素）における見かけの反射率を算出し、得られた結果をベクトルＵ（λ）＝［１，１，…，１］（全ての成分の値が同じ）を法線とする超平面に投影し、鏡面反射成分の除去された画像を用いることにより、入力画像と照合用画像とで撮影時の照明の種類（分光スペクトル）が異なる場合でも、画素値ごとの単純な比較による照合が可能になる。

以下、本発明の一実施の形態について図面により説明する。

図１は、本発明の一実施の形態に係る物体認識システムの概略構成図を示す。物体認識装置１は、例えばパソコンなどのコンピュータで構成し、撮影装置であるデジタルＣＣＤカメラ２の露光時間および画像取り込み、物体認識等の処理を制御する。また、取り込まれた画像は、物体認識装置１の内部に記憶される。該物体認識装置１には、あらかじめ照合用として撮影されている画像やその撮影時における照明光成分、鏡面反射除去画像等が蓄積されている。被写体３の撮影結果、鏡面反射除去画像および物体認識処理の結果等は結果表示用モニタ４に表示される。照明光源群５は、分光スペクトルが異なる複数の光源により構成されており、図示しない照明制御装置により、点灯、消灯を独立に制御できるようになっている。なお、物体認識装置１が照明制御装置を兼ねてもよい。白色板６の画像はデジタルＣＣＤカメラ２により撮影され、各光源の照明光成分の算出に用いられる。

図２は、本発明における物体認識装置１の一実施例を示す全体構成図である。本物体認識装置１は、撮影装置の入力、出力特性を計測する撮影装置特性計測部１１、照明光源の照明光成分を取得する照明光情報取得部１２、撮影装置により撮影される入力画像を取り込む画像取込部１３、入力画像から鏡面反射成分を含まない鏡面反射除去画像を生成する鏡面反射除去部１４、あらかじめ照合用として撮影されている画像やその撮影時における照明光成分、さらに鏡面反射除去画像等を蓄積している画像等蓄積部（照合画像データベース）１５、鏡面反射除去画像を照合用画像と照合して認識処理を行う画像解析部（画像認識部）１６、物体認識結果、あるいは入力画像とその鏡面反射除去画像、さらには蓄積されている画像やその鏡面反射除去画像の一部あるいは全部の表示を制御する画像表示制御部１７で構成される。

図３に、物体認識装置１の全体的処理フロー図を示す。撮影装置特性計測部１１では、あらかじめ撮影装置であるデジタルＣＣＤカメラ２の入力、出力特性を計測しておく（Ｓ１００１）。計測結果の撮影装置特性データは照明光情報取得部１２および画像取込部１３に送られる。

照明光情報取得部１２では、デジタルＣＣＤカメラ２において撮影された白色板６の画像を取り込み、撮影装置特性データを参照して信号値の変換を行い（γ補正処理）、規格化された信号値から照明光成分を取得し、記憶しておく（Ｓ１００２）。この照明光成分は鏡面反射除去部１４に送られる。

画像取込部１３では、デジタルＣＣＤカメラ２において撮影された被写体３の画像を取り込み、撮影装置特性データを参照して信号値の変換を行い（γ補正処理）、規格化された入力画像を出力する（Ｓ１００３）。ここで、デジタルＣＣＤカメラ２により取り込まれる入力画像には、鏡面反射成分に関する明るさおよび色の情報が記録されている。

鏡面反射除去部１４では、入力画像の分光放射輝度を照明光成分で割り、総合反射率画像を生成し、この総合反射率画像を、ベクトル［１,１,…,１］を法線に持つ超平面に投影することで、鏡面反射除去画像を得る（Ｓ１００４）。

画像解析部１６では、鏡面反射除去部１４で得られた鏡面反射除去画像を用い、該鏡面反射除去画像と画像等蓄積部１５にあらかじめ蓄積されている照合用画像とを照合することで、認識処理を行い、画像中の物体の認識結果を出力する（Ｓ１００５）。ここで、照合用画像としては、あらかじめ撮影されて画像等蓄積部１５に蓄積されている画像（蓄積画像）、あるいはその鏡面反射除去画像が用いられる。

画像表示制御部１７では、画像解析部１６で得られた物体認識結果を結果表示用モニタ２に表示する（Ｓ１００６）。画像表示制御部１７では、この時、物体認識結果と共に入力画像、鏡面反射除去画像等を表示してもよい。

なお、図２の構成図では必要な矢印は省略したが、鏡面反射除去部１４では、画像蓄積部１５からも蓄積画像の照明光成分データを入力して、これと照明光情報取得部１２からの照明光成分データとを用いて、入力画像と蓄積画像共通の投影空間を求めて、鏡面反射除去画像を得ることも可能である。この場合、算出された投影空間データは画像等蓄積部１５に送る。画像等蓄積部１５では、照合用画像に蓄積画像の鏡面反射除去画像を用いる場合、例えば、鏡面反射除去部１４で算出された投影空間データを用いて、蓄積画像の鏡面反射除去画像を生成し、その結果を照合用画像として画像解析部１６へ送るようにする。

図４に、物体認識装置１の他の処理フロー図を示す。図４において、Ｓ２００１〜Ｓ２００４までは図３のＳ１００１〜Ｓ１００４と同じである。図４では、鏡面反射除去部１４において入力画像の鏡面反射除去画像が得られたならば（Ｓ２００５）、画像解析部１６での画像認識処理は行わず、画像表示制御部１７は、入力画像およびその鏡面反射除去画像、さらには画像等蓄積部１５の画像等を結果表示用モニタ４に表示して、認識は人間により視覚的な判別にゆだねるものである（Ｓ２００５）。この場合、画像解析部（画像認識部）１６は省略でき、物体認識装置の構成が簡単化される。

なお、画像等蓄積部１５に対して、あらかじめ照合用の画像やその撮影時における照明光成分、鏡面反射除去画像等を蓄積する場合の動作は、基本的に図３の処理フロー図で説明したと同様であるので、説明は省略する。

次に、図２に示した物体認識装置１の各部の構成、動作について説明する。
撮影装置特性計測部１１では、例えば図１１に示す方法により、あらかじめデジタルＣＣＤカメラ２の入力、出力の特性を計測する。なお、対象のデジタルＣＣＤカメラ２のホワイトバランス、ゲイン、γ値などの自動補正機能はＯＦＦにしておく。まず、ＣＲＴ等の表示装置に明るさが既知である白色を表示し、それをデジタルＣＣＤカメラ２で撮影する。次に、表示した白色の明るさを変化させ、再び画像を撮影する。この作業を数回繰り返し、撮影装置（デジタルＣＣＤカメラ）への入力光の明るさと、出力信号値との関係を計測する。そして、この計測結果を基に、撮影装置からの出力信号値から入力光の明るさを推定する撮影装置特性データとしての変換式（多項式近似あるいは変換テーブル）を求める（図１２参照）。

図５に照明光情報取得部１２の構成例を示す。照明光情報取得部１２は、照明光取込部１２１、規格化処理部１２２、正規化処理部１２３、照明光成分蓄積部１２４から構成される。デジタルＣＣＤカメラ２において撮影された白色板６の画像（照明光）は照明光情報取込部１２１で取込まれ、規格化処理部１２２において、撮影装置特性計測部１１からの撮影装置特性データを参照して信号値の変換が行われ（γ補正処理）、規格化された信号値を得る。更に正規化処理部１２４において、パワーが１になるように正規化処理が行われ、その結果を照明光成分として照明光成分蓄積部１２５に蓄積する。照明制御装置７は、白色板６の画像撮影時に点灯している照明光源が１つのみとなるよう照明光源群５の照明を制御する。この処理を全ての照明光源に対して行い、得られた複数の照明光成分のデータが照明光成分蓄積部１２５に蓄積され、鏡面反射除去部１４へ送られる。なお、照明光情報取得部１２では、有限種類の一般的に用いられている照明光源の照明光成分をあらかじめ計測しておいて照明光成分蓄積部１２４に蓄積しておくことでもよい。

図６に画像取込部１３の構成例を示す。画像取込部１３は、規格化処理部１３１から構成される。デジタルＣＣＤカメラ２において撮影された被写体３の入力画像は、規格化処理部１３１において、撮影装置特性計測部１１からの撮影装置特性データを参照にした信号値の変換により（γ補正処理）、規格化された画像となり鏡面反射除去部１４へ送られる。この規格化画像には、光沢び鏡面反射成分に関する明るさおよび色の情報が含まれている。

図７に鏡面反射除去部１４の第１の構成例を示す。これは、入力画像を照明光成分に直交する空間に投影することで、鏡面反射除去画像を得る場合の構成例である。本鏡面反射除去部１４は、投影空間算出部１４１、投影演算処理部１４２から構成される。投影空間算出部１４１では照明光情報取得部１２で得られた全ての照明光成分に直交する空間（投影空間データ）を算出する。投影演算処理部１４２では、その結果に基づき、画像取込部１３において得られた規格化後の入力画像の各画素の信号値を投影空間へ投影し、鏡面反射成分を除去する。この処理を全ての画素に関して行うことで、鏡面反射除去画像が得られる。

先に述べたように、該鏡面反射除去部１４では、画像等蓄積部１５からの蓄積画像の照明光成分データと、照明光情報取得部１２で取られた人力画像撮影時の照明光成分データを用いて、投影空間算出部１４１にて入力画像と蓄積画像共通の投影空間データを算出し、投影演算処理部１４２にて、画像取込部１３において得られた規格化後の入力画像の各画素の信号値を該投影空間へ投影し、鏡面反射成分を除去することでもよい。投影空間算出部１４１で算出された入力画像と蓄積画像共通の投影空聞データは、画像等蓄積部１５にも送られる。

なお、図７では省略したが、投影演算処理部１４２の出力側に正規化処理部を設け、投影演算処理部１４２で得られた鏡面反射除去画像の各画素値をそのパワーで正規化するようにしてもよい。これにより、照明条件に依存しない鏡面反射除去画像（照明不変画像）が得られる。

図８に鏡面反射除去部１４の第２の構成例を示す。これが、入力画像の分光放射輝度を照明光成分で割って総合反射率画像を生成し、この総合反射率画像を、ベクトルＵ（λ）＝［１，１，…，１］を法線に持つ超平面に投影することで、鏡面反射除去画像を得る場合の本発明の構成例である。本鏡面反射除去部１４は、法線ベクトル設定部１４３、総合反射率画像生成部１４４、投影演算処理部１４５から構成される。法線ベクトル設定部１４３は、あらかじめベクトルＵ（λ）＝［１，１，…，１］を保持している。ベクトルの次元（要素数）Ｎは、取得する画像の色成分に対応し、例えば、色成分が３の場合はＮ＝３で、Ｕ（λ）＝［１，１，，１］となる。総合反射率画像生成部１４４では、照明光情報取得部１２で得られた照明光成分データ群と画像取込み部１３において得られた入力画像から総合反射率画像を生成する。すなわち、照明光スペクトルを用いて、入力画像の各画素における見かけの反射率を算出する。投影演算処理部１４５では、法線ベクトル設定部１４３からベクトル［１，１，…，１］を入力し、該ベクトルを法線に持つ超平面に、総合反射率画像生成部１４４で得られた総合反射率画像の各画素の信号値（画素値）を投影し、鏡面反射成分を除去する。この処理を全ての画素に関して行うことで、入力画像から鏡面反射成分の除去された鏡面反射除去画像が得られる。

なお、図８でも省略したが、投影演算処理部１４５の出力側に正規化処理部を設け、投影演算処理部１４２で得られた鏡面反射除去画像の各画素値をそのパワーで正規化するようにしてもよい。これにより、照明条件に依存しない鏡面反射除去画像（照明不変画像）が得られる。

図９に画像等蓄積部（照合画像データベース）１５の第１の構成例を示す。本画像等蓄積部１５は照明光成分蓄積部１５１、規格化画像蓄積部１５２、鏡面反射除去画像蓄積部１５３から構成される。規格化画像蓄積部１５２及び鏡面反射除去画像蓄積部１５３には、あらかじめ照合用としてデジタルＣＣＤカメラ２で撮影された全ての画像について、画像取込部１３及び鏡面反射除去部１４で算出された規格化画像及び鏡面反射除去画像がそれぞれ蓄積されている。照明光成分蓄積部１５１には、この照合用の画像の撮影時における照明光源の照明光成分データが照明光情報取得部１２から送られて蓄積されている。この規格化画像蓄積部１５２の規格化画像及び／又は鏡面反射除去画像蓄積部１５３の鏡面反射除去画像が照合用画像として画像解析部１６に送られる。

図１０に画像等蓄積部１５の第２の構成例を示す。本画像等蓄積部１５は、照明光成分蓄積部１５１、規格化画像蓄積部１５２、投影空間算出部１５４、投影演算処理部１５５から構成される。照明光成分蓄積部１５１、規格化画像蓄積部１５２は図９と同じである。図１０は、鏡面反射除去画像蓄積部１５３をなくして、当該画像等蓄積部１５自体で照合用画像としての鏡面反射除去画像を生成するものである。必要な投影空間データは当該画像等蓄積部１５自体で同様に算出するか、あるいは鏡面反射除去部１４から送られたものを利用する。すなわち、規格化画像蓄積部１５２の各規格化画像に対応する照明光成分蓄積部１５１内の照明光成分から、投影空間算出部１５４にて投影空間データを算出し、投影演算処理部１５５にて、規格化画像蓄積部１５２の各規格化画像（蓄積画像）の鏡面反射除去画像を算出し、これを照合用画像とする。もしくは、照明光成分蓄積部１５１内の照明光成分データを鏡面反射除去部１４へ送り、得られた入力画像と蓄積画像共通の投影空間データを用いて、投影演算処理部１５４にて規格化画像蓄積部１５２の各規格化画像（蓄積画像）の鏡面反射除去画像を算出し、これを照合用画像とする。

一般には、図９及び図１０で説明した照合用画像のいずれか、あるいは全部を照合用画像とすることができる。

図１１に画像解析部１６の構成例を示す。画像解析部１６は、基本的に画像照合部１６１から構成される。画像照合部１６１にて、鏡面反射除去部１４からの鏡面反射除去画像と、画像等蓄積部１５からの照合用画像の照合を行い、物体の認識結果を得る。なお、画像解析部１６では、必要に応じて、画像等蓄積部１５からの照合用画像との照合処理を行わずに、鏡面反射除去部１４からの鏡面反射除去画像を解析して認識結果を得るようにしてもよい。

画像表示制御部１７は、画像解析部１５からの物体の認識結果を結果表示用モニタ２に表示する。該表示制御部１７の構成図は省略する。先にも述べたように、表示制御部１７では、画像取込部１３と鏡面反射除去部１４からの入力画像およびその鏡面反射除去画像並びに画像等蓄積部１５からの蓄積画像およびその鏡面反射除去画像（照合用画像）、もしくは上記入力画像およびその鏡面反射除去画像のみを結果表示用モニタ４に表示し、人間により視覚的な判別を行うようにすることもできる。

以上、本発明の一実施形態を説明したが、図２で示した物体認識装置における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図３や図４で示した処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現させるためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤやＭＯ、ＲＯＭ、メモリーカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。

本発明の物体認識技術は、ロボットによる物体探索や物体認識、物体の形状推定、文字認識、データベース上の画像検索、内視鏡画像でのテクスチャ解析等に応用が可能である。

本発明の一実施形態に係る物体認識システムの概略構成図である。 本発明における物体認識装置の全体構成例を示す図である。 図２の全体的処理フロー（その一）を示す図である。 図２の全体的処理フロー（その二）を示す図である。 照明光情報取得部の詳細構成を示す図である。 画像取得部の詳細構成を示す図である。 鏡面反射除去部の詳細構成（その一）を示す図である。 鏡面反射除去部の詳細構成（その二）を示す図である。 画像等蓄積部の詳細構成（その一）を示す図である。 画像等蓄積部の詳細構成（その二）を示す図である。 画像解析部の詳細構成を示す図である。 撮影装置の入出力特性の計測を説明する図である。 鏡面反射成分除去の原理を説明する図である。

符号の説明

１ 物体認識装置
２ デジタルＣＣＤカメラ
３ 被写体
４ 結果表示用モニタ
５ 照明光源群
６ 白色板
７ 照明制御装置
１１ 撮影装置特性計測部
１２ 照明光情報取得部
１３ 画像取込部
１４ 鏡面反射除去部
１５ 画像等蓄積部
１６ 画像解析部
１７ 画像表示制御部
Ｓ１００１、Ｓ２００１ 撮影装置特性計測ステップ
Ｓ１００２、Ｓ２００２ 照明光成分計測ステップ
Ｓ１００３、Ｓ２００３ 画像取込みステップ
Ｓ１００４、Ｓ２００４ 鏡面反射成分除去ステップ
Ｓ１００５ 画像解析ステップ
Ｓ１００６ 認識結果等表示ステップ
Ｓ２００５ 入力画像、鏡面反射除去画像等表示ステップ

Claims (14)

1. 対象物の画像である入力画像から鏡面反射成分を除去した鏡面反射除去画像と予め撮影された対象物の画像である蓄積画像とを照合することにより、対象物の認識を行う物体認識装置であって、
   前記入力画像の撮影時の照明光源の照明光成分を取得する照明光情報取得手段と、
   撮影装置により撮影された入力画像と前記対象物の表面からの反射光の分光放射輝度とを取り込む画像取込手段と、
   前記予め撮影されている対象物の画像である蓄積画像と、前記蓄積画像の撮影時の照明光成分とを、少なくとも蓄積する蓄積手段と、
   前記対象物の表面からの反射光の分光放射輝度を前記照明光情報取得手段で取得した照明光成分で割って総合反射率画像を生成し、該総合反射率画像の信号値を、ベクトルＵ（λ）＝［１，１，…，１］（λは波長）を法線とする超平面に投影することにより、前記入力画像から鏡面反射成分を除去した鏡面反射除去画像を生成する鏡面反射除去手段と、
   を有することを特徴とする物体認識装置。
2. 請求項１に記載の物体認識装置において、前記鏡面反射除去画像と前記蓄積手段に蓄積された蓄積画像とを照合する画像解析手段を更に有することを特徴とする物体認識装置。
3. 請求項１乃至２に記載の物体認識装置において、前記入力画像と当該入力画像の鏡面反射除去画像、または、前記入力画像と当該入力画像の鏡面反射除去画像および前記蓄積画像とあらかじめ生成して当該蓄積画像と共に蓄積されている当該蓄積画像の鏡面反射除去画像とを表示する画像表示制御手段を更に有することを特徴とする物体認識装置。
4. 請求項１乃至３のいずれか１項に記載の物体認識装置において、あらかじめ撮影装置の入力及び出力特性を計測する撮影装置特性計測手段を更に備え、前記画像取込手段では、前記撮影装置特性計測手段の計測結果である撮影装置の入出力特性を基に規格化された画像を得ることを特徴とする物体認識装置。
5. 請求項１乃至３のいずれか１項に記載の物体認識装置において、前記鏡面反射除去手段では、全ての照明光源に関する照明光成分を入力画像から除去することにより、鏡面反射成分を含まない鏡面反射除去画像を生成することを特徴とする物体認識装置。
6. 請求項１乃至３のいずれか１項に記載の物体認識装置において、有限種類の一般的に用いられている照明光源の照明光成分をあらかじめ蓄積しておく照明光成分蓄積手段を備え、前記鏡面反射除去手段では、前記蓄積された照明光成分を用いて鏡面反射除去画像を得ることを特徴とする物体認識装置。
7. 対象物の画像である入力画像から鏡面反射成分を除去した鏡面反射除去画像と予め撮影された対象物の画像である蓄積画像とを照合することにより、対象物の認識を行う物体認識方法であって、
   前記入力画像の撮影時の照明光源の照明光成分を取得する照明光情報取得ステップと、
   撮影装置により撮影された入力画像と前記対象物の表面からの反射光の分光放射輝度とを取り込む画像取込ステップと、
   前記予め撮影されている対象物の画像である蓄積画像と、前記蓄積画像の撮影時の照明光成分とを、少なくとも蓄積手段に蓄積する蓄積制御ステップと、
   前記対象物の表面からの反射光の分光放射輝度を前記照明光情報取得ステップで取得した照明光成分で割って総合反射率画像を生成し、該総合反射率画像の信号値を、ベクトルＵ（λ）＝［１，１，…，１］（λは波長）を法線とする超平面に投影することにより、前記入力画像から鏡面反射成分を除去した鏡面反射除去画像を生成する鏡面反射除去ステップと、
   を有することを特徴とする物体認識方法。
8. 請求項７に記載の物体認識方法において、
   前記鏡面反射除去画像と前記蓄積手段に蓄積された蓄積画像とを照合する画像解析ステップを更に有することを特徴とする物体認識方法。
9. 請求項７乃至８に記載の物体認識方法において、前記入力画像と当該入力画像の鏡面反射除去画像、または、前記入力画像と当該入力画像の鏡面反射除去画像および前記蓄積画像とあらかじめ生成して当該蓄積画像と共に蓄積されている当該蓄積画像の鏡面反射除去画像を表示手段に表示する画像表示制御ステップを更に有することを特徴とする物体認識方法。
10. 請求項７乃至９のいずれか１項に記載の物体認識方法において、あらかじめ撮影装置の入力及び出力特性を計測する撮影装置特性計測ステップを更に備え、前記画像取込ステップでは、前記撮影装置特性計測ステップの計測結果である撮影装置の入出力特性を基に規格化された画像を得ることを特徴とする物体認識方法。
11. 請求項７乃至９のいずれか１項に記載の物体認識方法において、前記鏡面反射除去ステップでは、全ての照明光源に関する照明光成分を入力画像から除去することにより、鏡面反射成分を含まない鏡面反射除去画像を生成することを特徴とする物体認識方法。
12. 請求項７乃至９のいずれか１項に記載の物体認識方法において、有限種類の一般的に用いられている照明光源の照明光成分をあらかじめ蓄積手段に蓄積しておく照明光成分蓄積制御ステップを更に有し、前記鏡面反射除去ステップでは、前記蓄積された照明光成分を用いて鏡面反射除去画像を得ることを特徴とする物体認識方法。
13. コンピュータを請求項１乃至６のいずれか１項に記載の物体認識装置として機能させるためのプログラム。
14. コンピュータを請求項１乃至６のいずれか１項に記載の物体認識装置の各手段として機能させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。

Images