JP2004021373A - 物体及び光源情報推定方法並びに物体及び光源情報推定装置 - Google Patents
物体及び光源情報推定方法並びに物体及び光源情報推定装置 Download PDFInfo
- Publication number
- JP2004021373A JP2004021373A JP2002172331A JP2002172331A JP2004021373A JP 2004021373 A JP2004021373 A JP 2004021373A JP 2002172331 A JP2002172331 A JP 2002172331A JP 2002172331 A JP2002172331 A JP 2002172331A JP 2004021373 A JP2004021373 A JP 2004021373A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- information
- source information
- image data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】事前に光源の明るさ及びその方向並びに対象物１０１の面の向き及び反射率を与えないで、３次元物体の面の向き、３次元形状及び反射率を推定し、同時に光源の明るさ及びその方向を推定する。
【解決手段】カメラ１０２により撮影した画像の物体情報及び光源情報などの生成原理に、繰り返し計算を施すことにより、光源の制御を必要とせず、対象物１０１の既知情報がなくとも、対象物１０１の面の向き、３次元形状及び反射率、光源の明るさ及び方向を求める。
【選択図】 図１
【解決手段】カメラ１０２により撮影した画像の物体情報及び光源情報などの生成原理に、繰り返し計算を施すことにより、光源の制御を必要とせず、対象物１０１の既知情報がなくとも、対象物１０１の面の向き、３次元形状及び反射率、光源の明るさ及び方向を求める。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、未知の照明条件下で撮影された対象物の画像から、光源方向、光源の明るさ、対象物の面の向き、反射率及び物体の３次元形状等を推定し、その推定結果を用いて、画像の合成、物体の認識を行う顔画像の認識及び照合に関する。
【０００２】
【従来の技術】
画像強度の分布から３次元物体の情報を抽出する方法は、「陰影からの形状復元」と呼ばれている。また、カメラと物体の位置を固定したうえで、光源を異なる３方向から各々照射、すなわち、３つの光源の明るさを持つ３枚の画像強度の分布から、３次元物体の情報を抽出する、照度差ステレオ法が提案されている。また、特公平７−９２３７０号公報に記載されているような方法がある。図１２は、これらの従来方法を説明するための図である。
【０００３】
１２０１は情報を推定する対象物を示し、１２０２は対象物を撮影し、画像データとして出力するカメラを示し、１２０３はカメラにより得られた画像データに画像処理を施す画像処理手段を示し、１２０４は中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）を示し、１２０５は対象物を照明する光源を示し、１２０６は光源を移動させる移動手段を示す。
【０００４】
対象物１２０１は光源１２０５によって照明され、撮像手段としてのカメラ１２０２によって対象物１２０１が撮像される。カメラ１２０２で撮像された画像は、画像処理手段１２０３に与えられ、２次元行列である画像データを１次元の行データに変換し、列毎に異なる画像データを蓄積する。光源１２０５は、移動手段１２０６によって対象物との相対的な位置が制御される。画像処理手段１２０３と移動手段１２０６は、ＣＰＵ１２０４によって制御されるとともに、ＣＰＵ１２０４によって対象物１２０１の物体情報及び光源１２０５の光源情報を抽出するため、画像データの行列を回転する特異点分離により処理が実行される。
【０００５】
【発明が解決しようとする課題】
しかしながら、３つの光源の明るさが一様もしくは既知であり、それらの方向を精度よく求めておく必要がある。あるいは、光源の明るさが一定であるか、あるいは対象物の反射率が一定、もしくはその比が既知であるなどの条件を必要とし、それらを用いた処理ステップを必要とする。
【０００６】
このように、従来の３次元物体情報推定装置においては、光源の明るさや方向、対象物の反射率等が既知でなければならず、実世界において、この条件を満たすことは困難である。
【０００７】
本発明は、かかる点に鑑みてなされたものであり、事前に光源の明るさ及びその方向並びに対象物の面の向き及び反射率を与えないで、３次元物体の面の向き、３次元形状及び反射率を推定し、同時に光源の明るさ及びその方向を推定することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明は、撮影された対象物の画像から、事前に光源の明るさ及びその方向並びに対象物の面の向き及び反射率を与えないで、３次元物体の面の向き、３次元形状及び反射率を推定し、同時に光源の明るさ及び方向を推定するようにしたものである。
【０００９】
光源の明るさが一定である、あるいは対象物の反射率が一定であるというような推定のための条件を必要とせずに、画像の物体情報及び光源情報などの生成原理に、繰り返し計算を施すことにより、光源の制御を必要とせず、対象物の既知情報がなくとも、対象物の面の向き、３次元形状及び反射率が、また同時に光源の明るさ及び方向が求められる。この結果、光源の制御等なく対象物の情報を推定することができるので、実世界の対象物の情報推定精度を上げることができ、より実用的な推定を行うことが可能となる。
【００１０】
【発明の実施の形態】
本発明の請求項１に記載の発明は、少なくとも３回以上未知の対象物を、異なる未知の光源の照明条件により撮影し、画像データを出力する第１のステップと、前記画像データの配列を再構成する第２のステップと、前記配列を再構成した画像データを特異値分解することにより、物体情報及び光源情報を出力する第３のステップと、前記物体情報及び光源情報を初期値として、前記物体情報の擬似逆行列及び前記配列を再構成した画像データから新たな光源情報を求め、前記光源情報の擬似逆行列及び前記配列を再構成した画像データから新たな物体情報を求める第４のステップと、前記物体情報及び前記新たな物体情報の比較又は前記光源情報及び前記新たな光源情報の比較により、前記第４のステップの再実行を判定する第５のステップを含む物体及び光源情報推定方法としたものであり、光源の制御等なく対象物の物体情報及び光源情報を推定することができるため、実世界の対象物の情報推定精度を上げるという作用を有する。
【００１１】
本発明の請求項２に記載の発明は、第２ステップが、撮影毎に異なる各画像の対象物の方向又は位置の画像データを、前記各画像の対象物の方向又は位置が等しくなるように変換するステップである請求項１記載の物体及び光源情報推定方法としたものであり、対象物の撮影による差異を抑制し、光源の制御等なく対象物の情報を推定することができるため、実世界の対象物の情報推定精度を上げるという作用を有する。
【００１２】
本発明の請求項３に記載の発明は、特異値分解により出力される物体情報が、対象物の３次元形状である請求項１又は２記載の物体及び光源情報推定方法としたものであり、対象物の物体情報に３次元形状を用いることで、実世界の物体情報推定精度を上げるという作用を有する。
【００１３】
本発明の請求項４に記載の発明は、特異値分解により出力される物体情報が、対象物の面の法線方向及び反射率である請求項１ないし３のいずれか記載の物体及び光源情報推定方法としたものであり、光源の制御等なく物体情報を推定することができるため、実世界の物体情報の推定精度を上げるという作用を有する。
【００１４】
本発明の請求項５に記載の発明は、特異値分解により出力される光源情報が、光源の明るさである請求項１ないし４のいずれか記載の物体及び光源情報推定方法としたものであり、光源の制御等なく光源情報を推定することができるため、実世界の光源情報の推定精度を上げるという作用を有する。
【００１５】
本発明の請求項６に記載の発明は、特異値分解により出力される光源情報が、光源の方向である請求項１ないし４のいずれか記載の物体及び光源情報推定方法としたものであり、光源の制御等なく光源情報を推定することができるため、
実世界の光源情報の推定精度を上げるという作用を有する。
【００１６】
本発明の請求項７に記載の発明は、物体情報の初期値が、第３のステップで求めた前記物体情報と異なる既知の物体情報である請求項１ないし６のいずれか記載の物体及び光源情報推定方法としたものであり、既知の物体情報であれば、少数の画像からでも、対象物の物体情報を推定することができるという作用を有する。
【００１７】
本発明の請求項８に記載の発明は、光源情報の初期値が、第３のステップで求めた前記光源情報と異なる既知の光源情報である請求項１ないし６のいずれか記載の物体及び光源情報推定方法としたものであり、既知の光源情報であれば、少数の画像からでも、対象物の光源情報を推定することができるという作用を有する。
【００１８】
本発明の請求項９に記載の発明は、第３のステップが、画像データから影となる画像領域を含まない小行列を複数個作成し、前記小行列毎から特異値分解により物体情報及び光源情報に分離し、前記物体情報及び光源情報から、影となる画像領域の物体情報を推定するステップである請求項１ないし８のいずれか記載の物体及び光源情報推定方法としたものであり、影が存在する対象物においても、物体情報を推定することができるという作用を有する。
【００１９】
本発明の請求項１０に記載の発明は、請求項１ないし９のいずれか記載の物体及び光源情報推定方法を用い、更に、推定された光源情報から新たな光源情報を作成し、推定された物体情報及び前記新たな光源情報を乗算することで、画像を合成するステップを含む画像合成方法としたものであり、対象物の様々な条件による画像を合成できるという作用を有する。
【００２０】
本発明の請求項１１に記載の発明は、新たな光源情報が、推定した光源情報により設定された基準座標系から作成される請求項１１に記載の画像合成方法としたものであり、基準座標系を用いることで、容易に新たな光源情報を作成するこができ、様々な条件の画像を合成することができるという作用を有する。
【００２１】
本発明の請求項１２に記載の発明は、請求項１ないし９のいずれか記載の物体及び光源情報推定方法を用い、更に、推定された物体情報行列の差分から求まる類似度により、対象物を認識するステップを含む物体認識方法としたものであり、光源の制御を必要としない、物体の認識ができるという作用を有する。
【００２２】
本発明の請求項１３に記載の発明は、請求項１０又は１１記載の画像合成方法を用い、更に、推定した物体情報から対象物の所属する種別を認識するステップを含む物体認識方法としたものであり、対象物の様々な条件による合成画像を用いて認識を行うことができるため、認識精度が上がるという作用を有する。
【００２３】
本発明の請求項１４に記載の発明は、対象物を撮影し、複数の２次元行列の画像データとして出力するカメラと、前記カメラから入力される前記複数の画像データを、１行又は１列に１つの前記画像データが配置し、２次元行列の画像データ群を作成する画像データ再構成手段と、前記画像データ群を特異値分解により、物体情報及び光源情報に分解し、物体情報は光源情報の擬似逆行列を用いて更新し、光源情報は物体情報の擬似逆行列を用いて更新し、物体情報及び光源情報を推定する物体及び光源情報算出手段とを含む物体及び光源情報推定装置としたものであり、光源の制御等なく対象物の情報を推定することができるという作用を有する。
【００２４】
本発明の請求項１５に記載の発明は、物体及び光源情報算出手段が、画像データを特異値分解し、複数の行列に分解する特異値分解手段と、前記複数の行列から少なくとも１つを光源情報の初期値とし、前記光源情報の初期値の擬似逆行列及び前記画像データを乗算することで物体情報の初期値とする初期値決定手段と、前記物体情報の初期値の逆行列及び画像データを乗算し、光源情報が更新される光源情報更新手段と、前記光源情報更新手段から入力される光源情報の擬似逆行列及び画像データを乗算し、物体情報が更新される物体情報更新手段と、前記物体情報更新手段から入力される前記更新された物体情報及び更新される前の物体情報の差分値を、予め定められた閾値と比較し、前記差分値が前記閾値以下である場合は、前記更新された物体情報及び前記更新された光源情報を物体及び光源情報の推定値として出力し、前記差分値が前記閾値以上である場合は、前記更新された物体情報を前記物体情報の初期値として前記光源情報更新手段に出力する判定手段とを含む請求項１４記載の物体及び光源情報推定装置としたものであり、特異値分解により求めた物体及び光源情報をより正確に推定することができるという作用を有する。
【００２５】
本発明の請求項１６に記載の発明は、対象物を撮影し、複数の２次元行列の画像データとして出力するカメラと、前記画像データを特異値分解し、物体情報及び光源情報を推定する画像処理手段と、前記画像処理手段から入力される物体情報を基準座標系で示し、前記対象物の位置及び方向を調整し、新たな物体情報を算出する物体情報処理手段と、前記画像処理手段から入力される光源情報を基準座標系で示し、新たな光源情報を算出する光源情報処理手段と、前記新たな物体情報及び前記新たな光源情報を乗算し、新たな画像データを合成する乗算手段とを含む画像合成装置としたものであり、光源の制御を必要とせずに、対象物の情報を推定し、更に、新たな光源情報を用いて画像を合成することができるという作用を有する。
【００２６】
本発明の請求項１７に記載の発明は、対象物を撮影し、複数の２次元行列の画像データとして出力するカメラと、前記カメラから入力される前記複数の画像データを、１行又は１列に１つの前記画像データが配置し、２次元行列の画像データ群を作成する画像データ再構成手段と、前記画像データ群を特異値分解により、物体情報及び光源情報に分解し、物体情報は光源情報の擬似逆行列を用いて更新し、光源情報は物体情報の擬似逆行列を用いて更新し、物体情報及び光源情報を推定する物体及び光源情報算出手段と、前記推定された物体情報を基準座標系に変換し、前記対象物の位置及び方向が調整された新たな物体情報を作成し、前記推定された光源情報を基準座標系に変換し、方向及び強度が調整された新たな光源情報を作成し、前記新たな物体情報及び前記新たな光源情報を乗算することで、画像を合成する画像合成手段と、前記画像合成手段で作成された画像データを蓄積するデータベースと、前記画像データ再構成手段から入力された画像データ及び前記データベースに蓄積された画像データの差分値を算出する差分手段と、前記差分値を予め定めた閾値と比較し、前記対象物の認証を行う比較手段とを含む物体認識装置としたものであり、光源の制御なく物体を認識できるという作用を有する。
【００２７】
本発明の請求項１８に記載の発明は、請求項１ないし９のいずれか記載の物体及び光源情報推定方法を、コンピュータに処理させるプログラムとしたものであり、コンピュータを用いて、光源の制御等なく対象物の情報を推定することができるという作用を有する。
【００２８】
以下、本発明の実施の形態について、図１から図１１を用いて説明する。
【００２９】
（実施の形態１）
図１は、本願発明第１の実施の形態による物体及び光源情報推定方法を用いた装置の構成を示す図である。１０１は対象物を示し、１０２は対象物１０１を撮影するカメラを示し、１０３はカメラ１０２で得られた画像データを処理する画像処理手段を示し、１０４は画像処理手段１０３に含まれ、画像データの配列を変更する画像データ再構成手段を示し、１０５は画像処理手段１０３に含まれ、画像データから物体及び光源情報を推定する物体及び光源情報算出手段を示す。
【００３０】
撮像手段としてのカメラ１０２によって、対象物１０１が撮像される。カメラ１０２で撮像された画像は、画像処理手段１０３に入力され、画像データ再構成手段１０４により、画像データの配列を再構成し、物体及び光源情報算出手段１０５に入力する。２次元の行列データである１枚の画像データを、１行のデータに変換し、列毎に異なる画像が配置される。例えば、１枚の画像データが６４０×４８０画素で構成され、３枚の画像を画像データに配置すると、３０７２００×３の行列となる。
【００３１】
物体及び光源情報算出手段１０５は、入力された画像データから物体及び光源の情報を算出する。
【００３２】
この時、太陽のように制御できない光源を用いてもよい。異なる未知の光源により撮像されるとは、明るさ及び光源方向等を含む光源情報が、撮影毎に異なる光源の条件で撮像されたという意味である。従って、同一光源手段であっても、対象物１０１と光源手段の位置関係を変えて撮像したものは、別の光源とみなす。
【００３３】
ここで、カメラ１０２は、対象物１０１を異なった光源条件のもとで、少なくとも３回以上の撮像する。
【００３４】
次に、物体及び光源情報算出手段１０５の詳細を説明する。図２は、物体及び光源情報算出手段１０５の構成を示す図である。
【００３５】
４０１は画像データを物体情報と光源情報の元なる行列に分離する特異値分解手段を示し、４０２は特異値分解手段４０１により求められた光源情報を光源情報の初期値とし、光源情報の初期値から物体情報の初期値を求める初期値決定手段を示し、４０３は物体情報の擬似逆行列から光源情報を求める光源情報更新手段を示し、４０４は光源情報の擬似逆行列から物体情報を求める物体情報更新手段を示し、４０５は光源情報及び物体情報の収束を判定する判定手段を示す。
【００３６】
まず、画像データは特異値分解手段４０１により、光源情報と物体情報の元になる行列に分解される。ただし、この２つの行列は物体情報と光源情報が正確に分離されておらず、相互に入り混じった行列となっている。
【００３７】
次に、初期値決定手段４０２により、光源情報の初期値を、特異値分解手段４０１により算出した光源情報の行列とする。更に、物体情報の初期値を、光源情報の初期値の擬似逆行列及び画像データの乗算から算出し、光源情報更新手段４０３に出力する。
【００３８】
次に、光源情報更新手段４０３により、光源情報を画像データ及び初期値決定手段４０２で求められた物体情報の初期値の擬似逆行列の乗算から算出し、物体情報更新手段４０４に出力する。
【００３９】
次に、物体情報更新手段４０４により、物体情報を画像データ及び光源情報更新手段４０３で求められた光源情報の擬似逆行列の乗算から算出し、判定手段４０５に出力する。
【００４０】
次に、判定手段４０５では、光源情報更新手段４０３と物体情報更新手段４０４での、処理実行回数が１回である場合は、初期値決定手段４０２で求められた物体情報の初期値と物体情報更新手段４０４で求められた物体情報の差分を計算し、画像データの種類により決定する閾値と比較し、閾値以下であれば、推定値として出力し、閾値以上であれば、物体情報を光源情報更新手段４０３に出力し、再度、光源情報及び物体情報を算出する。
【００４１】
また、光源情報更新手段４０３と物体情報更新手段４０４での、処理実行回数が２回以上である場合は、ｎ回目の物体情報とｎ−１回目の物体情報の差分を計算し、閾値と比較し、閾値以下であれば、推定値として出力し、閾値以上であれば、物体情報を光源情報更新手段４０３に出力し、再度、光源情報及び物体情報を算出する。
【００４２】
ここで、画像データの種類としては、日本人の顔、アメリカ人の顔などの人種毎の顔画像を示す。
【００４３】
次に、光源情報を推定する方法について、図３及び図４を用いて説明する。図３は全体の流れを示し、図４は、図３に示したＳ２０３の具体的なフローを示す。
【００４４】
以降、本実施例の簡単な説明のため、画像から構成される入力データは、複数の画像濃淡データを行列にした画像データＸとする。
【００４５】
また、推定する対象物１０１の物体情報を、対象物１０１の各面を表現する反射率及び面の法線方向より成るベクトル群Ｂと、光源を表現するその明るさ及び光源方向より成るベクトルの集合Ｓとする。
【００４６】
ここで、対象物１０１が、拡散反射のみで構成される理想ランバート面の物体で、点光源によって照明され、影のない画像の場合は、画像データＸの行列のランクが３であれば、物体情報Ｂと光源情報Ｓがより精度良く求められる。
【００４７】
図３に示すように、ステップＳ２０１により、画像処理装置１０３から各画像信号を取込む。次に、Ｓ２０２により、画像データＸを生成する。更に、ステップＳ２０３により、画像データＸを特異値分解により、２つの行列の積に分解し、その行列の組を初期値とした繰り返し計算により、適当な行列組Ｂ及びＳを算出する。
【００４８】
なお、異なった光源方向により照明される対象物１０１を撮像した複数の画像において、どれか１枚にでも影の領域が存在するときには、ステップＳ２０２において、前処理と後処理を追加することにする。
【００４９】
上述の各ステップの動作についてより詳細に説明する。Ｓ２０２は、入力されたＮ画素より成るｃ枚の画像から、入力データとしての画像データＸ（Ｎ画素×ｃ入力画像数の行列）を構成する。なお、この行列の各行は、画像の各画素に対応し、各列は１つの光源条件のもとで撮像された各画像に対応している。
【００５０】
画像データＸは、観測している物体の表面を、近似的に拡散反射面で構成された理想ランバート面とみなすことによって、（数１）の関係式を満たす。
【００５１】
【数１】
【００５２】
（数１）の物体情報としてのＢは、物体情報行列と呼び、光源情報としてのＳは光源情報行列と呼ぶ。物体情報行列Ｂの行ベクトルを、各面に関する面情報ベクトルと呼び、その大きさは反射率に対応し、その方向は面の法線方向に対応する。また、光源情報行列Ｓの列ベクトルを各画像に関する光源情報ベクトルと呼び、その大きさは光源の明るさに対応し、その方向は光源方向に対応する。Ｂは、Ｎ×３の行列で、Ｓは３×ｃの行列を成す。
【００５３】
以下で説明するステップＳ２０３は、このような物体情報行列Ｂ、光源情報行列Ｓを求めるための処理となっている。
【００５４】
次に、図４を参照して、物体情報及び光源情報の算出方法について、詳細な説明を行う。Ｓ２０２により、配列を再構成した画像データを入力する（Ｓ３０１）。次に、画像データＸを特異値分解する（Ｓ３０２）。特異値分解とは、（数２）に分解することである。
【００５５】
【数２】
【００５６】
ここで、Ｘは階数ｒ（ｒは自然数）、Ｎ×ｃの行列であり、ＵはＵ＊・Ｕ＝Ｉ（Ｉは単位行列）を満たすＮ×ｒの行列であり、Λはｒ×ｒの対角行列であり、ＶはＶ＊・Ｖ＝Ｉを満たすｃ×ｒの行列である。このように求めた（数２）から、適当な行列対を選択する。例えば、Ｕ・ΛとＶ＊、あるいはＵとΛ・Ｖ＊のように選択する。選択した行列Ｖ＊あるいはΛ・Ｖ＊をＳの初期値Ｓ０とする。
【００５７】
【数３】
【００５８】
（数３）のように、ＳをＳ０に固定して、Ｂの各行ベクトルを求める。求めた行列がＢ０となる（Ｓ３０３）。ここで、ｘｉはＸのｉ行ベクトルであり、１×ｃ行列となり、Ｓ−はＳの擬似逆行列であり、ｃ×３行列となり、ｂｉはＢのｉ行ベクトルであり、１×３行列となる。
【００５９】
次に、（数４）のように、Ｂを固定して、Ｓの各列ベクトルを求める（Ｓ３０５）。ここで、ｘｊはＸのｊ列ベクトルであり、Ｎ×１行列となり、Ｂ−はＢの擬似逆行列であり、３×Ｎ行列となり、ｓｊはＳのｊ列ベクトルであり、３×１行列となる。
【００６０】
【数４】
【００６１】
これら（数３）と（数４）のＳｎとＢｎのｎ回目の計算を収束するまで繰り返す（Ｓ３０５〜Ｓ３０６）。収束判定は、例えば（数５）のように、ｎとｎ−１回目の行列Ｂの差分が、予め対象物１０１により設定される閾値δ以下に達したときに収束終了と見なす（Ｓ３０４）。
【００６２】
【数５】
【００６３】
このようにして求めたＢ及びＳが、本実施例で推定された物体情報及び光源情報である（Ｓ３０７）。Ｂ及びＳより、Ｘの再計算は可能である。
【００６４】
この際、初期値Ｓ０として、入力画像とは異なる既知の光源情報を、モデルとして与え、繰り返し計算により入力画像の光源情報を推定しても良い。与えるモデルは、光源情報関する条件、例えば、一画素の光源情報だけを拘束条件として、繰り返し計算を行うことも可能である。
【００６５】
ここで、拘束条件について、簡単に説明する。例えば、光源の方向が不明だが、１画像のみ光源強度が既知である場合は、Ｓ０を初期値として与えるだけでなく、それ以降の処理あるいは最終推定結果において光源強度を、（数６）に示すように、初期値Ｓ０の光源強度に一致するようにスカラーａで乗算し、物体情報はスカラーａで除算する。
【００６６】
【数６】
【００６７】
また、初期値は与えられず、この拘束条件だけが与えられる場合も考えられる。これらの計算の際に、必ずしも複数の画像を必要とはしないことも利点である。また、複数の画像についての光源強度が既知であり、各画像の光源強度の信頼性に優劣があるというような場合、スカラーａの決定に、この信頼性に比例する重みづけを加えて決定するという方法も考えられる。
【００６８】
同様に、物体情報も初期モデルを与え、繰り返し計算により入力画像の物体情報を推定しても良い。与えるモデルは、物体情報に関する条件であり、繰り返し計算を行う際の、拘束条件としても良い。
【００６９】
以上のように、初期値としてのモデルは、入力画像とは異なる光源情報又は物体情報を与える場合と、入力画像とは異なる光源情報又は物体情報と拘束条件を与える場合、拘束条件のみ与える場合があります。
【００７０】
また、光源情報又は物体情報の条件より、基準座標系を設定し、この基準座標系に従った光源情報及び物体情報を推定することも可能である。ここで、基準座標系を設定しない場合は、物体情報と光源情報の相対的な関係のみを表し、入力データ、初期モデル及び拘束条件によって、変化する座標系であり、入力データ等が変わると、共通の座標系で物体情報及び光源情報を表現することが不可能となる。
【００７１】
これに対して、基準座標系を設定することで、統一された座標系で表現することが可能になり、異なるデータから求めた物体情報、光源情報同士を比較することが可能となる。例えば、図５に示すように、原点にカメラ１０２を設置し、ｚ軸上に対象物１０１が配置、画像の横方向がｘ軸、画像の縦方向がｙ軸とする。
【００７２】
基準座標系としては、カメラ１０２と対象物１０１を配置した座標系をカメラ座標系とすることが可能である。光源情報として、１つあるいは、複数の光源方向のみが条件として与えられた場合、回転行列Ｒを用いてカメラ座標系の表現で、物体情報及び光源情報を推定する。回転行列Ｒの求め方は、一般に知られている方法を使用する。（数７）及び（数８）のように求めたＢ及びＳから、回転行列Ｒを用いてＢｆ及びＳｆを求め、これをカメラ座標系表現のＢ及びＳとする。
【００７３】
【数７】
【００７４】
【数８】
【００７５】
以上、説明した実施例は、撮像した複数画像の中に影の領域が、全く存在しない場合である。ここで、影とは、予め設定した輝度レベル以下となる領域である。以下に、異なった光源方向により照明される対象物１０１を撮像した複数の画像において、どれか１枚にでも影の領域が存在する場合のＳ２０３の処理を説明する。ただし、Ｓ２０１及びＳ２０２は同じ処理を行うものとし、説明は省略する。
【００７６】
まず、画像データＸが図６に示すように、画素数が１０、画像数が１０である場合に、黒で示した部分が影であるとする。例えば、画像の１行目では画素位置６及び８が影になる。
【００７７】
次に、画像データを適当な群に分割する。図７（ａ）はｃ１である画像１行目から３行目まで、図７（ｂ）ではｃ２である４行目から６行目まで、図７（ｃ）ではｃ３である７行目から１０行目までとした。
【００７８】
更に、図８に示すように、影となる画像データ要素を含む列を削除する。図８（ａ）では画素位置２、４、６、８及び９が削除され、画素位置１、３、５、７及び１０が残り、Ｍ１×ｃ１を常に影とならない画像データ要素からなる画像データＸ１として構成する。同様に図８（ｂ）では、画素位置５が削除され、画素位置１、２、３、４、６、７、８、９及び１０が残り、Ｍ２×ｃ２となる画像データ要素Ｘ２を構成し、図８（ｃ）では、画素位置３、７及び９が削除され、画素位置１、２、４、５、６、８及び１０が残り、Ｍ３×ｃ３となる画像データ要素Ｘ３を構成する。
【００７９】
以上のように、影とならない画像データ要素のみから成る画像データＸｉをＸの全画像データ要素に関して物体情報等が得られるように適当にｉ個構成する。
【００８０】
次に、得られた画像データＸｉに特異値分解を施す。処理方法はＳ３０１からＳ３０７と同様である。
【００８１】
この段階で、Ｍｉ個の物体情報を表わす仮の物体情報小行列とｃｉ個の光源情報を表わす仮の光源情報行列が得られる。
【００８２】
この時、どの要素がどの画素に対応しているかを示す画素位置等を保存し、算出した個々の物体情報の画素位置を識別する。
【００８３】
上述の処理結果から得られた物体情報及び光源情報により、必要とする画素位置に相当する物体情報と、必要とする画像に対する光源情報を算出し、最終推定結果とする。例えば、Ｘ２で影であったため、削除された画素位置の物体情報を、Ｘ２以外の画素位置が影でなかった画像データから求めた物体情報で補完する。図７（ｂ）では、影である画素位置は５であるから、Ｘ１及びＸ３から画素位置５から求めた物体情報により、Ｘ２の物体情報を補完する。
【００８４】
また、撮影毎に異なる対象物１０１の向き又は位置が異なる画像データを、一致した方向及び位置に変形する場合では、Ｓ２０２により、画像データを構成する際に、対象物１０１の方向及び位置が一致した画像データを生成することが可能である。ここで、対象物１０１の向きや位置を変えた画像の生成方法は、一般に知られている方法がある。例えば、近代科学社発行の徐剛著「写真から作る３次元ＣＧ」などに記載されている。このようにして生成された画像をもとに、Ｓ３０１からＳ３０７を施し、物体情報及び光源情報を得ることが可能である。
【００８５】
（実施の形態２）
第２の実施の形態は、第１の実施の形態により推定した物体情報、光源情報及び異なる別の光源情報から、画像を合成する画像合成方法を用いた装置である。
【００８６】
図９に、第２の実施の形態による画像合成装置の構成を示す。１００１は画像処理手段１０３から入力される物体情報及び光源情報から新たな画像を合成する画像合成手段を示し、１００２は物体の位置及び方向を調整する物体情報処理手段を示し、１００３は新たな光源情報を算出する光源情報処理手段を示し、１００４は物体情報処理手段１００２及び光源情報処理手段１００３から入力される物体情報及び光源情報の行列を乗算する乗算手段を示す。
【００８７】
物体情報及び光源情報の推定は、第１の実施の形態と同様であるため、ここでの説明は省略する。
【００８８】
まず、画像処理手段１０３から出力される物体情報及び光源情報を、それぞれ画像合成手段１００１の物体情報処理手段１００２及び光源情報処理手段１００３に入力する。
【００８９】
次に、物体情報処理手段１００２では、入力された物体情報を基準座標系に変換することで、任意の位置及び方向に調整し、乗算手段１００４に出力する。
【００９０】
次に、光源情報処理手段１００３では、入力された光源情報を基準座標系に変換し、基準座標系の任意の軸の値を調整することで、新たな光源情報を算出し、乗算手段１００４に出力する。例えば、図５に示した光源方向ベクトルを、ｚｘ平面に対して対照な光源にする場合は、ｙ軸に対応する光源情報の値の正負を逆転することで算出することが可能となる。
【００９１】
次に、乗算手段１００４では、入力された物体情報と光源情報の行列を乗算することで、新たな画像データを算出し、合成画像として出力する。
【００９２】
以下に、本発明の画像合成方法の動作を、図１０により説明する。図１０は、本発明の画像合成方法の動作を示すフローチャートである。第１の実施の形態と異なる点は、Ｓ５０４である。Ｓ５０４では、Ｓ２０３で求めた物体情報と、求めたい画像の既知の光源情報から求めた新規の光源情報ｓｎｅｗベクトルを用いて、（数９）のように新規の画像データｘｎｅｗを求めることができる。
【００９３】
ここで、新規の光源情報ｓｎｅｗベクトルについて、更に説明する。まず、何らかの基準座標系を設定する。例えば、入力画像の光源情報と左右対称な光が当たっている画像を合成する場合は、基準座標系として図５に示したｚ軸をカメラ座標系として設定し、既知の光源情報と光源強度は等しく、その光源方向がｚｙ平面に対して対称な方向となる場合は、ｘ座標の符号を反転することで光源情報ｓｎｅｗベクトルを求めることができる。
【００９４】
【数９】
【００９５】
１画素分データのベクトルｘｎｅｗの計算過程において、Ｂとベクトルであるｓｎｅｗの積により負になる要素については、ゼロと置き換える。
【００９６】
ここで、ｓベクトルとＢの行ベクトルが同一座標系で表現されている場合に、方向について説明する。負の要素をゼロにするには、物体情報又は光源情報のベクトルが、同一の座標系で表現され、更に、定められた方向に従って記述されていることが条件となる。例えば、ベクトルの方向を対称物の物体内部向きの法線方向ベクトルと光源から物体へ向かう光源方向ベクトルがある。
【００９７】
これにより、Ｂとｓｎｅｗの積により負になる要素は、照明があたらず影になっていると考えられる。従って、この位置に関して影とみなし、ゼロとおく。
【００９８】
なお、第１の実施の形態で記述した基準座標系を用いることにより、基準座標系における所望の光源情報の画像を合成することも可能である。
【００９９】
また、第１の実施の形態で記述した、対象物１０１の方向及び位置を、所望の方向及び位置へ変換し、画像を合成することも可能である。これは、対象物１０１以外の背景は無視する、又は、どこでも一様とし、未知の方向及び位置である対象物１０１を本発明の方法により、物体情報及び光源情報を推定し、別光源の画像を合成する。次に、合成された別光源の画像群から、全く異なる方向及び位置の画像を生成するものである。
【０１００】
（実施の形態３）
第３の実施の形態は、第１及び第２の実施の形態により推定された物体情報、光源情報及び合成画像等を用いた物体認識方法であり、物体認識方法への事前学習や比較時の入力として、これら第１及び第２の実施の形態で得られた情報を用い、物体の認識を行うものである。
【０１０１】
ここで、物体認識方法への入力が物体情報の場合は、入力された物体情報行列と、比較する物体情報行列の差分をとり、その差分の大小から求まる類似度から同種と見なせるかの判断に閾値を用いる。又は、合成画像の一部から得られるエッジ情報、主成分分析により求まる特徴量を、認識方法の事前学習や比較時の入力として用い、同種画像の判断を行う。
【０１０２】
これらの認識方法としては、一般に使われる認識方法を用いることができる。例えば、特徴点同士の３次元位置関係を比較する方法としては、合成画像の特徴点による３次元位置座標同士の差分値を算出し、差分値が閾値以下であれば類似度が高いとみなす方法であり、また、濃淡画像の差分を比較する方法としては、合成画像の差分値を算出し、差分値が閾値以下であれば類似度が高いとみなし、更に、合成画像の相関距離を比較する方法としては、合成画像の相関距離を算出し、相関距離値が閾値以上であれば類似度が高いとみなすなどの判断方法がある。
【０１０３】
図１１に、第３の実施の形態による物体認識装置の構成を示す。１１０１は予め作成した画像データを蓄積するデータベースを示し、１１０２は画像データの差分を算出する差分手段を示し、１１０３は差分手段１１０２の比較を行い、画像データの判定を行う比較手段を示す。
【０１０４】
ここで、物体情報及び光源情報の推定を行う画像処理手段１０３並びに画像合成手段１００１は、第１及び第２の実施の形態と同様であるため、ここでの説明は省略する。
【０１０５】
物体認証装置には、２つの処理があり、第１に、認証対象となる物体の画像データの蓄積する処理と、第２に、未知の物体と認証対象との比較する処理である。
【０１０６】
まず、第１の処理である画像データの蓄積について説明する。画像データの蓄積は、第２の実施の形態で説明した画像合成を用いて行い、認識対象となる物体の合成画像データを、様々な条件に適応するように複数個作成し、データベース１１０１に蓄積する。
【０１０７】
次に、第２の処理である未知の物体と認証対象との比較について説明する。未知の対象物１０１をカメラ１０２により撮影し、画像データ再構成手段１０４によりデータベース１１０１に蓄積されている画像データと同様の配列に再構成し、差分手段１１０２に出力する。差分手段１１０２では、データベース１１０１に蓄積されている画像データと未知の物体の画像データとの差分を算出し、比較手段１１０３に出力する。ここで、差分値は上記した特徴点などである。
【０１０８】
比較手段１１０３では、入力された差分値を予め定めた閾値と比較し、閾値以下であれば、未知の物体は認証対象であると判断される。ここでの閾値は、上記した認識方法により決定される値である。
【０１０９】
なお、本発明は、当業者に明らかなように、上記実施の形態に記載した技術に従い、プログラムされた一般的な市販のディジタルコンピュータ及びマイクロプロセッサを使って、実施することができる。また、当業者に明らかなように、本発明は、上記実施の形態に記載した技術に基づいて当業者により作成されるコンピュータプログラムを包含する。
【０１１０】
また、本発明を実施するコンピュータをプログラムするために使用できる命令を含む記憶媒体であるコンピュータプログラム製品が本発明の範囲に含まれる。この記憶媒体は、フレキシブルディスク、光ディスク、ＣＤＲＯＭ及び磁気ディスク等のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気光カード、メモリカードまたはＤＶＤ等であるが、特にこれらに限定されるものではない。
【０１１１】
【発明の効果】
以上説明したように本発明によれば、異なる未知の光源により照明された未知の対象物を撮影した複数の画像を処理することで、事前に光源の明るさやその方向、面の向き、反射率を与えずに、３次元物体の面の向きや３次元形状や反射率等の物体情報を精度よく推定し、同時に光源の明るさや方向等の光源情報も推定することができる。
【図面の簡単な説明】
【図１】本発明第１の実施の形態による物体及び光源情報推定装置を示す図
【図２】本発明第１の実施の形態による物体及び光源情報算出手段を示す図
【図３】同第１の実施の形態による物体及び光源情報推定方法を示すフローチャート
【図４】同第１の実施の形態による図２に示したＳ２０３の詳細を示すフローチャート
【図５】同第１の実施の形態による基準座標系を示す図
【図６】同第１の実施の形態による画像データを示す図
【図７】（ａ）同第１の実施の形態によるｃ１からなる画像データを示す図
（ｂ）同第１の実施の形態によるｃ２からなる画像データを示す図
（ｃ）同第１の実施の形態によるｃ３からなる画像データを示す図
【図８】（ａ）同第１の実施の形態による画像データ要素Ｘ１を示す図
（ｂ）同第１の実施の形態による画像データ要素Ｘ２を示す図
（ｃ）同第１の実施の形態による画像データ要素Ｘ３を示す図
【図９】同第２の実施の形態による画像合成装置を示す図
【図１０】同第２の実施の形態による画像合成方法を示すフローチャート
【図１１】同第３の実施の形態による物体認識装置を示す図
【図１２】従来の物体情報推定方法を示す図
【符号の説明】
１０１ 対象物
１０２ カメラ
１０３ 画像処理手段
１０４ 画像データ再構成手段
１０５ 物体及び光源情報算出手段
４０１ 特異値分解手段
４０２ 初期値決定手段
４０３ 光源情報更新手段
４０４ 物体情報更新手段
４０５ 判定手段
１００１ 画像合成手段
１００２ 物体情報処理手段
１００３ 光源情報処理手段
１００４ 乗算手段
１１０１ データベース
１１０２ 差分手段
１１０３ 比較手段
【発明の属する技術分野】
本発明は、未知の照明条件下で撮影された対象物の画像から、光源方向、光源の明るさ、対象物の面の向き、反射率及び物体の３次元形状等を推定し、その推定結果を用いて、画像の合成、物体の認識を行う顔画像の認識及び照合に関する。
【０００２】
【従来の技術】
画像強度の分布から３次元物体の情報を抽出する方法は、「陰影からの形状復元」と呼ばれている。また、カメラと物体の位置を固定したうえで、光源を異なる３方向から各々照射、すなわち、３つの光源の明るさを持つ３枚の画像強度の分布から、３次元物体の情報を抽出する、照度差ステレオ法が提案されている。また、特公平７−９２３７０号公報に記載されているような方法がある。図１２は、これらの従来方法を説明するための図である。
【０００３】
１２０１は情報を推定する対象物を示し、１２０２は対象物を撮影し、画像データとして出力するカメラを示し、１２０３はカメラにより得られた画像データに画像処理を施す画像処理手段を示し、１２０４は中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）を示し、１２０５は対象物を照明する光源を示し、１２０６は光源を移動させる移動手段を示す。
【０００４】
対象物１２０１は光源１２０５によって照明され、撮像手段としてのカメラ１２０２によって対象物１２０１が撮像される。カメラ１２０２で撮像された画像は、画像処理手段１２０３に与えられ、２次元行列である画像データを１次元の行データに変換し、列毎に異なる画像データを蓄積する。光源１２０５は、移動手段１２０６によって対象物との相対的な位置が制御される。画像処理手段１２０３と移動手段１２０６は、ＣＰＵ１２０４によって制御されるとともに、ＣＰＵ１２０４によって対象物１２０１の物体情報及び光源１２０５の光源情報を抽出するため、画像データの行列を回転する特異点分離により処理が実行される。
【０００５】
【発明が解決しようとする課題】
しかしながら、３つの光源の明るさが一様もしくは既知であり、それらの方向を精度よく求めておく必要がある。あるいは、光源の明るさが一定であるか、あるいは対象物の反射率が一定、もしくはその比が既知であるなどの条件を必要とし、それらを用いた処理ステップを必要とする。
【０００６】
このように、従来の３次元物体情報推定装置においては、光源の明るさや方向、対象物の反射率等が既知でなければならず、実世界において、この条件を満たすことは困難である。
【０００７】
本発明は、かかる点に鑑みてなされたものであり、事前に光源の明るさ及びその方向並びに対象物の面の向き及び反射率を与えないで、３次元物体の面の向き、３次元形状及び反射率を推定し、同時に光源の明るさ及びその方向を推定することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明は、撮影された対象物の画像から、事前に光源の明るさ及びその方向並びに対象物の面の向き及び反射率を与えないで、３次元物体の面の向き、３次元形状及び反射率を推定し、同時に光源の明るさ及び方向を推定するようにしたものである。
【０００９】
光源の明るさが一定である、あるいは対象物の反射率が一定であるというような推定のための条件を必要とせずに、画像の物体情報及び光源情報などの生成原理に、繰り返し計算を施すことにより、光源の制御を必要とせず、対象物の既知情報がなくとも、対象物の面の向き、３次元形状及び反射率が、また同時に光源の明るさ及び方向が求められる。この結果、光源の制御等なく対象物の情報を推定することができるので、実世界の対象物の情報推定精度を上げることができ、より実用的な推定を行うことが可能となる。
【００１０】
【発明の実施の形態】
本発明の請求項１に記載の発明は、少なくとも３回以上未知の対象物を、異なる未知の光源の照明条件により撮影し、画像データを出力する第１のステップと、前記画像データの配列を再構成する第２のステップと、前記配列を再構成した画像データを特異値分解することにより、物体情報及び光源情報を出力する第３のステップと、前記物体情報及び光源情報を初期値として、前記物体情報の擬似逆行列及び前記配列を再構成した画像データから新たな光源情報を求め、前記光源情報の擬似逆行列及び前記配列を再構成した画像データから新たな物体情報を求める第４のステップと、前記物体情報及び前記新たな物体情報の比較又は前記光源情報及び前記新たな光源情報の比較により、前記第４のステップの再実行を判定する第５のステップを含む物体及び光源情報推定方法としたものであり、光源の制御等なく対象物の物体情報及び光源情報を推定することができるため、実世界の対象物の情報推定精度を上げるという作用を有する。
【００１１】
本発明の請求項２に記載の発明は、第２ステップが、撮影毎に異なる各画像の対象物の方向又は位置の画像データを、前記各画像の対象物の方向又は位置が等しくなるように変換するステップである請求項１記載の物体及び光源情報推定方法としたものであり、対象物の撮影による差異を抑制し、光源の制御等なく対象物の情報を推定することができるため、実世界の対象物の情報推定精度を上げるという作用を有する。
【００１２】
本発明の請求項３に記載の発明は、特異値分解により出力される物体情報が、対象物の３次元形状である請求項１又は２記載の物体及び光源情報推定方法としたものであり、対象物の物体情報に３次元形状を用いることで、実世界の物体情報推定精度を上げるという作用を有する。
【００１３】
本発明の請求項４に記載の発明は、特異値分解により出力される物体情報が、対象物の面の法線方向及び反射率である請求項１ないし３のいずれか記載の物体及び光源情報推定方法としたものであり、光源の制御等なく物体情報を推定することができるため、実世界の物体情報の推定精度を上げるという作用を有する。
【００１４】
本発明の請求項５に記載の発明は、特異値分解により出力される光源情報が、光源の明るさである請求項１ないし４のいずれか記載の物体及び光源情報推定方法としたものであり、光源の制御等なく光源情報を推定することができるため、実世界の光源情報の推定精度を上げるという作用を有する。
【００１５】
本発明の請求項６に記載の発明は、特異値分解により出力される光源情報が、光源の方向である請求項１ないし４のいずれか記載の物体及び光源情報推定方法としたものであり、光源の制御等なく光源情報を推定することができるため、
実世界の光源情報の推定精度を上げるという作用を有する。
【００１６】
本発明の請求項７に記載の発明は、物体情報の初期値が、第３のステップで求めた前記物体情報と異なる既知の物体情報である請求項１ないし６のいずれか記載の物体及び光源情報推定方法としたものであり、既知の物体情報であれば、少数の画像からでも、対象物の物体情報を推定することができるという作用を有する。
【００１７】
本発明の請求項８に記載の発明は、光源情報の初期値が、第３のステップで求めた前記光源情報と異なる既知の光源情報である請求項１ないし６のいずれか記載の物体及び光源情報推定方法としたものであり、既知の光源情報であれば、少数の画像からでも、対象物の光源情報を推定することができるという作用を有する。
【００１８】
本発明の請求項９に記載の発明は、第３のステップが、画像データから影となる画像領域を含まない小行列を複数個作成し、前記小行列毎から特異値分解により物体情報及び光源情報に分離し、前記物体情報及び光源情報から、影となる画像領域の物体情報を推定するステップである請求項１ないし８のいずれか記載の物体及び光源情報推定方法としたものであり、影が存在する対象物においても、物体情報を推定することができるという作用を有する。
【００１９】
本発明の請求項１０に記載の発明は、請求項１ないし９のいずれか記載の物体及び光源情報推定方法を用い、更に、推定された光源情報から新たな光源情報を作成し、推定された物体情報及び前記新たな光源情報を乗算することで、画像を合成するステップを含む画像合成方法としたものであり、対象物の様々な条件による画像を合成できるという作用を有する。
【００２０】
本発明の請求項１１に記載の発明は、新たな光源情報が、推定した光源情報により設定された基準座標系から作成される請求項１１に記載の画像合成方法としたものであり、基準座標系を用いることで、容易に新たな光源情報を作成するこができ、様々な条件の画像を合成することができるという作用を有する。
【００２１】
本発明の請求項１２に記載の発明は、請求項１ないし９のいずれか記載の物体及び光源情報推定方法を用い、更に、推定された物体情報行列の差分から求まる類似度により、対象物を認識するステップを含む物体認識方法としたものであり、光源の制御を必要としない、物体の認識ができるという作用を有する。
【００２２】
本発明の請求項１３に記載の発明は、請求項１０又は１１記載の画像合成方法を用い、更に、推定した物体情報から対象物の所属する種別を認識するステップを含む物体認識方法としたものであり、対象物の様々な条件による合成画像を用いて認識を行うことができるため、認識精度が上がるという作用を有する。
【００２３】
本発明の請求項１４に記載の発明は、対象物を撮影し、複数の２次元行列の画像データとして出力するカメラと、前記カメラから入力される前記複数の画像データを、１行又は１列に１つの前記画像データが配置し、２次元行列の画像データ群を作成する画像データ再構成手段と、前記画像データ群を特異値分解により、物体情報及び光源情報に分解し、物体情報は光源情報の擬似逆行列を用いて更新し、光源情報は物体情報の擬似逆行列を用いて更新し、物体情報及び光源情報を推定する物体及び光源情報算出手段とを含む物体及び光源情報推定装置としたものであり、光源の制御等なく対象物の情報を推定することができるという作用を有する。
【００２４】
本発明の請求項１５に記載の発明は、物体及び光源情報算出手段が、画像データを特異値分解し、複数の行列に分解する特異値分解手段と、前記複数の行列から少なくとも１つを光源情報の初期値とし、前記光源情報の初期値の擬似逆行列及び前記画像データを乗算することで物体情報の初期値とする初期値決定手段と、前記物体情報の初期値の逆行列及び画像データを乗算し、光源情報が更新される光源情報更新手段と、前記光源情報更新手段から入力される光源情報の擬似逆行列及び画像データを乗算し、物体情報が更新される物体情報更新手段と、前記物体情報更新手段から入力される前記更新された物体情報及び更新される前の物体情報の差分値を、予め定められた閾値と比較し、前記差分値が前記閾値以下である場合は、前記更新された物体情報及び前記更新された光源情報を物体及び光源情報の推定値として出力し、前記差分値が前記閾値以上である場合は、前記更新された物体情報を前記物体情報の初期値として前記光源情報更新手段に出力する判定手段とを含む請求項１４記載の物体及び光源情報推定装置としたものであり、特異値分解により求めた物体及び光源情報をより正確に推定することができるという作用を有する。
【００２５】
本発明の請求項１６に記載の発明は、対象物を撮影し、複数の２次元行列の画像データとして出力するカメラと、前記画像データを特異値分解し、物体情報及び光源情報を推定する画像処理手段と、前記画像処理手段から入力される物体情報を基準座標系で示し、前記対象物の位置及び方向を調整し、新たな物体情報を算出する物体情報処理手段と、前記画像処理手段から入力される光源情報を基準座標系で示し、新たな光源情報を算出する光源情報処理手段と、前記新たな物体情報及び前記新たな光源情報を乗算し、新たな画像データを合成する乗算手段とを含む画像合成装置としたものであり、光源の制御を必要とせずに、対象物の情報を推定し、更に、新たな光源情報を用いて画像を合成することができるという作用を有する。
【００２６】
本発明の請求項１７に記載の発明は、対象物を撮影し、複数の２次元行列の画像データとして出力するカメラと、前記カメラから入力される前記複数の画像データを、１行又は１列に１つの前記画像データが配置し、２次元行列の画像データ群を作成する画像データ再構成手段と、前記画像データ群を特異値分解により、物体情報及び光源情報に分解し、物体情報は光源情報の擬似逆行列を用いて更新し、光源情報は物体情報の擬似逆行列を用いて更新し、物体情報及び光源情報を推定する物体及び光源情報算出手段と、前記推定された物体情報を基準座標系に変換し、前記対象物の位置及び方向が調整された新たな物体情報を作成し、前記推定された光源情報を基準座標系に変換し、方向及び強度が調整された新たな光源情報を作成し、前記新たな物体情報及び前記新たな光源情報を乗算することで、画像を合成する画像合成手段と、前記画像合成手段で作成された画像データを蓄積するデータベースと、前記画像データ再構成手段から入力された画像データ及び前記データベースに蓄積された画像データの差分値を算出する差分手段と、前記差分値を予め定めた閾値と比較し、前記対象物の認証を行う比較手段とを含む物体認識装置としたものであり、光源の制御なく物体を認識できるという作用を有する。
【００２７】
本発明の請求項１８に記載の発明は、請求項１ないし９のいずれか記載の物体及び光源情報推定方法を、コンピュータに処理させるプログラムとしたものであり、コンピュータを用いて、光源の制御等なく対象物の情報を推定することができるという作用を有する。
【００２８】
以下、本発明の実施の形態について、図１から図１１を用いて説明する。
【００２９】
（実施の形態１）
図１は、本願発明第１の実施の形態による物体及び光源情報推定方法を用いた装置の構成を示す図である。１０１は対象物を示し、１０２は対象物１０１を撮影するカメラを示し、１０３はカメラ１０２で得られた画像データを処理する画像処理手段を示し、１０４は画像処理手段１０３に含まれ、画像データの配列を変更する画像データ再構成手段を示し、１０５は画像処理手段１０３に含まれ、画像データから物体及び光源情報を推定する物体及び光源情報算出手段を示す。
【００３０】
撮像手段としてのカメラ１０２によって、対象物１０１が撮像される。カメラ１０２で撮像された画像は、画像処理手段１０３に入力され、画像データ再構成手段１０４により、画像データの配列を再構成し、物体及び光源情報算出手段１０５に入力する。２次元の行列データである１枚の画像データを、１行のデータに変換し、列毎に異なる画像が配置される。例えば、１枚の画像データが６４０×４８０画素で構成され、３枚の画像を画像データに配置すると、３０７２００×３の行列となる。
【００３１】
物体及び光源情報算出手段１０５は、入力された画像データから物体及び光源の情報を算出する。
【００３２】
この時、太陽のように制御できない光源を用いてもよい。異なる未知の光源により撮像されるとは、明るさ及び光源方向等を含む光源情報が、撮影毎に異なる光源の条件で撮像されたという意味である。従って、同一光源手段であっても、対象物１０１と光源手段の位置関係を変えて撮像したものは、別の光源とみなす。
【００３３】
ここで、カメラ１０２は、対象物１０１を異なった光源条件のもとで、少なくとも３回以上の撮像する。
【００３４】
次に、物体及び光源情報算出手段１０５の詳細を説明する。図２は、物体及び光源情報算出手段１０５の構成を示す図である。
【００３５】
４０１は画像データを物体情報と光源情報の元なる行列に分離する特異値分解手段を示し、４０２は特異値分解手段４０１により求められた光源情報を光源情報の初期値とし、光源情報の初期値から物体情報の初期値を求める初期値決定手段を示し、４０３は物体情報の擬似逆行列から光源情報を求める光源情報更新手段を示し、４０４は光源情報の擬似逆行列から物体情報を求める物体情報更新手段を示し、４０５は光源情報及び物体情報の収束を判定する判定手段を示す。
【００３６】
まず、画像データは特異値分解手段４０１により、光源情報と物体情報の元になる行列に分解される。ただし、この２つの行列は物体情報と光源情報が正確に分離されておらず、相互に入り混じった行列となっている。
【００３７】
次に、初期値決定手段４０２により、光源情報の初期値を、特異値分解手段４０１により算出した光源情報の行列とする。更に、物体情報の初期値を、光源情報の初期値の擬似逆行列及び画像データの乗算から算出し、光源情報更新手段４０３に出力する。
【００３８】
次に、光源情報更新手段４０３により、光源情報を画像データ及び初期値決定手段４０２で求められた物体情報の初期値の擬似逆行列の乗算から算出し、物体情報更新手段４０４に出力する。
【００３９】
次に、物体情報更新手段４０４により、物体情報を画像データ及び光源情報更新手段４０３で求められた光源情報の擬似逆行列の乗算から算出し、判定手段４０５に出力する。
【００４０】
次に、判定手段４０５では、光源情報更新手段４０３と物体情報更新手段４０４での、処理実行回数が１回である場合は、初期値決定手段４０２で求められた物体情報の初期値と物体情報更新手段４０４で求められた物体情報の差分を計算し、画像データの種類により決定する閾値と比較し、閾値以下であれば、推定値として出力し、閾値以上であれば、物体情報を光源情報更新手段４０３に出力し、再度、光源情報及び物体情報を算出する。
【００４１】
また、光源情報更新手段４０３と物体情報更新手段４０４での、処理実行回数が２回以上である場合は、ｎ回目の物体情報とｎ−１回目の物体情報の差分を計算し、閾値と比較し、閾値以下であれば、推定値として出力し、閾値以上であれば、物体情報を光源情報更新手段４０３に出力し、再度、光源情報及び物体情報を算出する。
【００４２】
ここで、画像データの種類としては、日本人の顔、アメリカ人の顔などの人種毎の顔画像を示す。
【００４３】
次に、光源情報を推定する方法について、図３及び図４を用いて説明する。図３は全体の流れを示し、図４は、図３に示したＳ２０３の具体的なフローを示す。
【００４４】
以降、本実施例の簡単な説明のため、画像から構成される入力データは、複数の画像濃淡データを行列にした画像データＸとする。
【００４５】
また、推定する対象物１０１の物体情報を、対象物１０１の各面を表現する反射率及び面の法線方向より成るベクトル群Ｂと、光源を表現するその明るさ及び光源方向より成るベクトルの集合Ｓとする。
【００４６】
ここで、対象物１０１が、拡散反射のみで構成される理想ランバート面の物体で、点光源によって照明され、影のない画像の場合は、画像データＸの行列のランクが３であれば、物体情報Ｂと光源情報Ｓがより精度良く求められる。
【００４７】
図３に示すように、ステップＳ２０１により、画像処理装置１０３から各画像信号を取込む。次に、Ｓ２０２により、画像データＸを生成する。更に、ステップＳ２０３により、画像データＸを特異値分解により、２つの行列の積に分解し、その行列の組を初期値とした繰り返し計算により、適当な行列組Ｂ及びＳを算出する。
【００４８】
なお、異なった光源方向により照明される対象物１０１を撮像した複数の画像において、どれか１枚にでも影の領域が存在するときには、ステップＳ２０２において、前処理と後処理を追加することにする。
【００４９】
上述の各ステップの動作についてより詳細に説明する。Ｓ２０２は、入力されたＮ画素より成るｃ枚の画像から、入力データとしての画像データＸ（Ｎ画素×ｃ入力画像数の行列）を構成する。なお、この行列の各行は、画像の各画素に対応し、各列は１つの光源条件のもとで撮像された各画像に対応している。
【００５０】
画像データＸは、観測している物体の表面を、近似的に拡散反射面で構成された理想ランバート面とみなすことによって、（数１）の関係式を満たす。
【００５１】
【数１】
（数１）の物体情報としてのＢは、物体情報行列と呼び、光源情報としてのＳは光源情報行列と呼ぶ。物体情報行列Ｂの行ベクトルを、各面に関する面情報ベクトルと呼び、その大きさは反射率に対応し、その方向は面の法線方向に対応する。また、光源情報行列Ｓの列ベクトルを各画像に関する光源情報ベクトルと呼び、その大きさは光源の明るさに対応し、その方向は光源方向に対応する。Ｂは、Ｎ×３の行列で、Ｓは３×ｃの行列を成す。
【００５３】
以下で説明するステップＳ２０３は、このような物体情報行列Ｂ、光源情報行列Ｓを求めるための処理となっている。
【００５４】
次に、図４を参照して、物体情報及び光源情報の算出方法について、詳細な説明を行う。Ｓ２０２により、配列を再構成した画像データを入力する（Ｓ３０１）。次に、画像データＸを特異値分解する（Ｓ３０２）。特異値分解とは、（数２）に分解することである。
【００５５】
【数２】
ここで、Ｘは階数ｒ（ｒは自然数）、Ｎ×ｃの行列であり、ＵはＵ＊・Ｕ＝Ｉ（Ｉは単位行列）を満たすＮ×ｒの行列であり、Λはｒ×ｒの対角行列であり、ＶはＶ＊・Ｖ＝Ｉを満たすｃ×ｒの行列である。このように求めた（数２）から、適当な行列対を選択する。例えば、Ｕ・ΛとＶ＊、あるいはＵとΛ・Ｖ＊のように選択する。選択した行列Ｖ＊あるいはΛ・Ｖ＊をＳの初期値Ｓ０とする。
【００５７】
【数３】
（数３）のように、ＳをＳ０に固定して、Ｂの各行ベクトルを求める。求めた行列がＢ０となる（Ｓ３０３）。ここで、ｘｉはＸのｉ行ベクトルであり、１×ｃ行列となり、Ｓ−はＳの擬似逆行列であり、ｃ×３行列となり、ｂｉはＢのｉ行ベクトルであり、１×３行列となる。
【００５９】
次に、（数４）のように、Ｂを固定して、Ｓの各列ベクトルを求める（Ｓ３０５）。ここで、ｘｊはＸのｊ列ベクトルであり、Ｎ×１行列となり、Ｂ−はＢの擬似逆行列であり、３×Ｎ行列となり、ｓｊはＳのｊ列ベクトルであり、３×１行列となる。
【００６０】
【数４】
これら（数３）と（数４）のＳｎとＢｎのｎ回目の計算を収束するまで繰り返す（Ｓ３０５〜Ｓ３０６）。収束判定は、例えば（数５）のように、ｎとｎ−１回目の行列Ｂの差分が、予め対象物１０１により設定される閾値δ以下に達したときに収束終了と見なす（Ｓ３０４）。
【００６２】
【数５】
このようにして求めたＢ及びＳが、本実施例で推定された物体情報及び光源情報である（Ｓ３０７）。Ｂ及びＳより、Ｘの再計算は可能である。
【００６４】
この際、初期値Ｓ０として、入力画像とは異なる既知の光源情報を、モデルとして与え、繰り返し計算により入力画像の光源情報を推定しても良い。与えるモデルは、光源情報関する条件、例えば、一画素の光源情報だけを拘束条件として、繰り返し計算を行うことも可能である。
【００６５】
ここで、拘束条件について、簡単に説明する。例えば、光源の方向が不明だが、１画像のみ光源強度が既知である場合は、Ｓ０を初期値として与えるだけでなく、それ以降の処理あるいは最終推定結果において光源強度を、（数６）に示すように、初期値Ｓ０の光源強度に一致するようにスカラーａで乗算し、物体情報はスカラーａで除算する。
【００６６】
【数６】
また、初期値は与えられず、この拘束条件だけが与えられる場合も考えられる。これらの計算の際に、必ずしも複数の画像を必要とはしないことも利点である。また、複数の画像についての光源強度が既知であり、各画像の光源強度の信頼性に優劣があるというような場合、スカラーａの決定に、この信頼性に比例する重みづけを加えて決定するという方法も考えられる。
【００６８】
同様に、物体情報も初期モデルを与え、繰り返し計算により入力画像の物体情報を推定しても良い。与えるモデルは、物体情報に関する条件であり、繰り返し計算を行う際の、拘束条件としても良い。
【００６９】
以上のように、初期値としてのモデルは、入力画像とは異なる光源情報又は物体情報を与える場合と、入力画像とは異なる光源情報又は物体情報と拘束条件を与える場合、拘束条件のみ与える場合があります。
【００７０】
また、光源情報又は物体情報の条件より、基準座標系を設定し、この基準座標系に従った光源情報及び物体情報を推定することも可能である。ここで、基準座標系を設定しない場合は、物体情報と光源情報の相対的な関係のみを表し、入力データ、初期モデル及び拘束条件によって、変化する座標系であり、入力データ等が変わると、共通の座標系で物体情報及び光源情報を表現することが不可能となる。
【００７１】
これに対して、基準座標系を設定することで、統一された座標系で表現することが可能になり、異なるデータから求めた物体情報、光源情報同士を比較することが可能となる。例えば、図５に示すように、原点にカメラ１０２を設置し、ｚ軸上に対象物１０１が配置、画像の横方向がｘ軸、画像の縦方向がｙ軸とする。
【００７２】
基準座標系としては、カメラ１０２と対象物１０１を配置した座標系をカメラ座標系とすることが可能である。光源情報として、１つあるいは、複数の光源方向のみが条件として与えられた場合、回転行列Ｒを用いてカメラ座標系の表現で、物体情報及び光源情報を推定する。回転行列Ｒの求め方は、一般に知られている方法を使用する。（数７）及び（数８）のように求めたＢ及びＳから、回転行列Ｒを用いてＢｆ及びＳｆを求め、これをカメラ座標系表現のＢ及びＳとする。
【００７３】
【数７】
【数８】
以上、説明した実施例は、撮像した複数画像の中に影の領域が、全く存在しない場合である。ここで、影とは、予め設定した輝度レベル以下となる領域である。以下に、異なった光源方向により照明される対象物１０１を撮像した複数の画像において、どれか１枚にでも影の領域が存在する場合のＳ２０３の処理を説明する。ただし、Ｓ２０１及びＳ２０２は同じ処理を行うものとし、説明は省略する。
【００７６】
まず、画像データＸが図６に示すように、画素数が１０、画像数が１０である場合に、黒で示した部分が影であるとする。例えば、画像の１行目では画素位置６及び８が影になる。
【００７７】
次に、画像データを適当な群に分割する。図７（ａ）はｃ１である画像１行目から３行目まで、図７（ｂ）ではｃ２である４行目から６行目まで、図７（ｃ）ではｃ３である７行目から１０行目までとした。
【００７８】
更に、図８に示すように、影となる画像データ要素を含む列を削除する。図８（ａ）では画素位置２、４、６、８及び９が削除され、画素位置１、３、５、７及び１０が残り、Ｍ１×ｃ１を常に影とならない画像データ要素からなる画像データＸ１として構成する。同様に図８（ｂ）では、画素位置５が削除され、画素位置１、２、３、４、６、７、８、９及び１０が残り、Ｍ２×ｃ２となる画像データ要素Ｘ２を構成し、図８（ｃ）では、画素位置３、７及び９が削除され、画素位置１、２、４、５、６、８及び１０が残り、Ｍ３×ｃ３となる画像データ要素Ｘ３を構成する。
【００７９】
以上のように、影とならない画像データ要素のみから成る画像データＸｉをＸの全画像データ要素に関して物体情報等が得られるように適当にｉ個構成する。
【００８０】
次に、得られた画像データＸｉに特異値分解を施す。処理方法はＳ３０１からＳ３０７と同様である。
【００８１】
この段階で、Ｍｉ個の物体情報を表わす仮の物体情報小行列とｃｉ個の光源情報を表わす仮の光源情報行列が得られる。
【００８２】
この時、どの要素がどの画素に対応しているかを示す画素位置等を保存し、算出した個々の物体情報の画素位置を識別する。
【００８３】
上述の処理結果から得られた物体情報及び光源情報により、必要とする画素位置に相当する物体情報と、必要とする画像に対する光源情報を算出し、最終推定結果とする。例えば、Ｘ２で影であったため、削除された画素位置の物体情報を、Ｘ２以外の画素位置が影でなかった画像データから求めた物体情報で補完する。図７（ｂ）では、影である画素位置は５であるから、Ｘ１及びＸ３から画素位置５から求めた物体情報により、Ｘ２の物体情報を補完する。
【００８４】
また、撮影毎に異なる対象物１０１の向き又は位置が異なる画像データを、一致した方向及び位置に変形する場合では、Ｓ２０２により、画像データを構成する際に、対象物１０１の方向及び位置が一致した画像データを生成することが可能である。ここで、対象物１０１の向きや位置を変えた画像の生成方法は、一般に知られている方法がある。例えば、近代科学社発行の徐剛著「写真から作る３次元ＣＧ」などに記載されている。このようにして生成された画像をもとに、Ｓ３０１からＳ３０７を施し、物体情報及び光源情報を得ることが可能である。
【００８５】
（実施の形態２）
第２の実施の形態は、第１の実施の形態により推定した物体情報、光源情報及び異なる別の光源情報から、画像を合成する画像合成方法を用いた装置である。
【００８６】
図９に、第２の実施の形態による画像合成装置の構成を示す。１００１は画像処理手段１０３から入力される物体情報及び光源情報から新たな画像を合成する画像合成手段を示し、１００２は物体の位置及び方向を調整する物体情報処理手段を示し、１００３は新たな光源情報を算出する光源情報処理手段を示し、１００４は物体情報処理手段１００２及び光源情報処理手段１００３から入力される物体情報及び光源情報の行列を乗算する乗算手段を示す。
【００８７】
物体情報及び光源情報の推定は、第１の実施の形態と同様であるため、ここでの説明は省略する。
【００８８】
まず、画像処理手段１０３から出力される物体情報及び光源情報を、それぞれ画像合成手段１００１の物体情報処理手段１００２及び光源情報処理手段１００３に入力する。
【００８９】
次に、物体情報処理手段１００２では、入力された物体情報を基準座標系に変換することで、任意の位置及び方向に調整し、乗算手段１００４に出力する。
【００９０】
次に、光源情報処理手段１００３では、入力された光源情報を基準座標系に変換し、基準座標系の任意の軸の値を調整することで、新たな光源情報を算出し、乗算手段１００４に出力する。例えば、図５に示した光源方向ベクトルを、ｚｘ平面に対して対照な光源にする場合は、ｙ軸に対応する光源情報の値の正負を逆転することで算出することが可能となる。
【００９１】
次に、乗算手段１００４では、入力された物体情報と光源情報の行列を乗算することで、新たな画像データを算出し、合成画像として出力する。
【００９２】
以下に、本発明の画像合成方法の動作を、図１０により説明する。図１０は、本発明の画像合成方法の動作を示すフローチャートである。第１の実施の形態と異なる点は、Ｓ５０４である。Ｓ５０４では、Ｓ２０３で求めた物体情報と、求めたい画像の既知の光源情報から求めた新規の光源情報ｓｎｅｗベクトルを用いて、（数９）のように新規の画像データｘｎｅｗを求めることができる。
【００９３】
ここで、新規の光源情報ｓｎｅｗベクトルについて、更に説明する。まず、何らかの基準座標系を設定する。例えば、入力画像の光源情報と左右対称な光が当たっている画像を合成する場合は、基準座標系として図５に示したｚ軸をカメラ座標系として設定し、既知の光源情報と光源強度は等しく、その光源方向がｚｙ平面に対して対称な方向となる場合は、ｘ座標の符号を反転することで光源情報ｓｎｅｗベクトルを求めることができる。
【００９４】
【数９】
１画素分データのベクトルｘｎｅｗの計算過程において、Ｂとベクトルであるｓｎｅｗの積により負になる要素については、ゼロと置き換える。
【００９６】
ここで、ｓベクトルとＢの行ベクトルが同一座標系で表現されている場合に、方向について説明する。負の要素をゼロにするには、物体情報又は光源情報のベクトルが、同一の座標系で表現され、更に、定められた方向に従って記述されていることが条件となる。例えば、ベクトルの方向を対称物の物体内部向きの法線方向ベクトルと光源から物体へ向かう光源方向ベクトルがある。
【００９７】
これにより、Ｂとｓｎｅｗの積により負になる要素は、照明があたらず影になっていると考えられる。従って、この位置に関して影とみなし、ゼロとおく。
【００９８】
なお、第１の実施の形態で記述した基準座標系を用いることにより、基準座標系における所望の光源情報の画像を合成することも可能である。
【００９９】
また、第１の実施の形態で記述した、対象物１０１の方向及び位置を、所望の方向及び位置へ変換し、画像を合成することも可能である。これは、対象物１０１以外の背景は無視する、又は、どこでも一様とし、未知の方向及び位置である対象物１０１を本発明の方法により、物体情報及び光源情報を推定し、別光源の画像を合成する。次に、合成された別光源の画像群から、全く異なる方向及び位置の画像を生成するものである。
【０１００】
（実施の形態３）
第３の実施の形態は、第１及び第２の実施の形態により推定された物体情報、光源情報及び合成画像等を用いた物体認識方法であり、物体認識方法への事前学習や比較時の入力として、これら第１及び第２の実施の形態で得られた情報を用い、物体の認識を行うものである。
【０１０１】
ここで、物体認識方法への入力が物体情報の場合は、入力された物体情報行列と、比較する物体情報行列の差分をとり、その差分の大小から求まる類似度から同種と見なせるかの判断に閾値を用いる。又は、合成画像の一部から得られるエッジ情報、主成分分析により求まる特徴量を、認識方法の事前学習や比較時の入力として用い、同種画像の判断を行う。
【０１０２】
これらの認識方法としては、一般に使われる認識方法を用いることができる。例えば、特徴点同士の３次元位置関係を比較する方法としては、合成画像の特徴点による３次元位置座標同士の差分値を算出し、差分値が閾値以下であれば類似度が高いとみなす方法であり、また、濃淡画像の差分を比較する方法としては、合成画像の差分値を算出し、差分値が閾値以下であれば類似度が高いとみなし、更に、合成画像の相関距離を比較する方法としては、合成画像の相関距離を算出し、相関距離値が閾値以上であれば類似度が高いとみなすなどの判断方法がある。
【０１０３】
図１１に、第３の実施の形態による物体認識装置の構成を示す。１１０１は予め作成した画像データを蓄積するデータベースを示し、１１０２は画像データの差分を算出する差分手段を示し、１１０３は差分手段１１０２の比較を行い、画像データの判定を行う比較手段を示す。
【０１０４】
ここで、物体情報及び光源情報の推定を行う画像処理手段１０３並びに画像合成手段１００１は、第１及び第２の実施の形態と同様であるため、ここでの説明は省略する。
【０１０５】
物体認証装置には、２つの処理があり、第１に、認証対象となる物体の画像データの蓄積する処理と、第２に、未知の物体と認証対象との比較する処理である。
【０１０６】
まず、第１の処理である画像データの蓄積について説明する。画像データの蓄積は、第２の実施の形態で説明した画像合成を用いて行い、認識対象となる物体の合成画像データを、様々な条件に適応するように複数個作成し、データベース１１０１に蓄積する。
【０１０７】
次に、第２の処理である未知の物体と認証対象との比較について説明する。未知の対象物１０１をカメラ１０２により撮影し、画像データ再構成手段１０４によりデータベース１１０１に蓄積されている画像データと同様の配列に再構成し、差分手段１１０２に出力する。差分手段１１０２では、データベース１１０１に蓄積されている画像データと未知の物体の画像データとの差分を算出し、比較手段１１０３に出力する。ここで、差分値は上記した特徴点などである。
【０１０８】
比較手段１１０３では、入力された差分値を予め定めた閾値と比較し、閾値以下であれば、未知の物体は認証対象であると判断される。ここでの閾値は、上記した認識方法により決定される値である。
【０１０９】
なお、本発明は、当業者に明らかなように、上記実施の形態に記載した技術に従い、プログラムされた一般的な市販のディジタルコンピュータ及びマイクロプロセッサを使って、実施することができる。また、当業者に明らかなように、本発明は、上記実施の形態に記載した技術に基づいて当業者により作成されるコンピュータプログラムを包含する。
【０１１０】
また、本発明を実施するコンピュータをプログラムするために使用できる命令を含む記憶媒体であるコンピュータプログラム製品が本発明の範囲に含まれる。この記憶媒体は、フレキシブルディスク、光ディスク、ＣＤＲＯＭ及び磁気ディスク等のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気光カード、メモリカードまたはＤＶＤ等であるが、特にこれらに限定されるものではない。
【０１１１】
【発明の効果】
以上説明したように本発明によれば、異なる未知の光源により照明された未知の対象物を撮影した複数の画像を処理することで、事前に光源の明るさやその方向、面の向き、反射率を与えずに、３次元物体の面の向きや３次元形状や反射率等の物体情報を精度よく推定し、同時に光源の明るさや方向等の光源情報も推定することができる。
【図面の簡単な説明】
【図１】本発明第１の実施の形態による物体及び光源情報推定装置を示す図
【図２】本発明第１の実施の形態による物体及び光源情報算出手段を示す図
【図３】同第１の実施の形態による物体及び光源情報推定方法を示すフローチャート
【図４】同第１の実施の形態による図２に示したＳ２０３の詳細を示すフローチャート
【図５】同第１の実施の形態による基準座標系を示す図
【図６】同第１の実施の形態による画像データを示す図
【図７】（ａ）同第１の実施の形態によるｃ１からなる画像データを示す図
（ｂ）同第１の実施の形態によるｃ２からなる画像データを示す図
（ｃ）同第１の実施の形態によるｃ３からなる画像データを示す図
【図８】（ａ）同第１の実施の形態による画像データ要素Ｘ１を示す図
（ｂ）同第１の実施の形態による画像データ要素Ｘ２を示す図
（ｃ）同第１の実施の形態による画像データ要素Ｘ３を示す図
【図９】同第２の実施の形態による画像合成装置を示す図
【図１０】同第２の実施の形態による画像合成方法を示すフローチャート
【図１１】同第３の実施の形態による物体認識装置を示す図
【図１２】従来の物体情報推定方法を示す図
【符号の説明】
１０１ 対象物
１０２ カメラ
１０３ 画像処理手段
１０４ 画像データ再構成手段
１０５ 物体及び光源情報算出手段
４０１ 特異値分解手段
４０２ 初期値決定手段
４０３ 光源情報更新手段
４０４ 物体情報更新手段
４０５ 判定手段
１００１ 画像合成手段
１００２ 物体情報処理手段
１００３ 光源情報処理手段
１００４ 乗算手段
１１０１ データベース
１１０２ 差分手段
１１０３ 比較手段
Claims (18)
- 少なくとも３回以上未知の対象物を、異なる未知の光源の照明条件により撮影し、画像データを出力する第１のステップと、前記画像データの配列を再構成する第２のステップと、前記配列を再構成した画像データを特異値分解することにより、物体情報及び光源情報を出力する第３のステップと、前記物体情報及び光源情報を初期値として、前記物体情報の擬似逆行列及び前記配列を再構成した画像データから新たな光源情報を求め、前記光源情報の擬似逆行列及び前記配列を再構成した画像データから新たな物体情報を求める第４のステップと、前記物体情報及び前記新たな物体情報の比較又は前記光源情報及び前記新たな光源情報の比較により、前記第４のステップの再実行を判定する第５のステップを含む物体及び光源情報推定方法。
- 第２ステップが、撮影毎に異なる各画像の対象物の方向又は位置の画像データを、前記各画像の対象物の方向又は位置が等しくなるように変換するステップである請求項１記載の物体及び光源情報推定方法。
- 特異値分解により出力される物体情報が、対象物の３次元形状である請求項１又は２記載の物体及び光源情報推定方法。
- 特異値分解により出力される物体情報が、対象物の面の法線方向及び反射率である請求項１ないし３のいずれか記載の物体及び光源情報推定方法。
- 特異値分解により出力される光源情報が、光源の明るさである請求項１ないし４のいずれか記載の物体及び光源情報推定方法。
- 特異値分解により出力される光源情報が、光源の方向である請求項１ないし４のいずれか記載の物体及び光源情報推定方法。
- 物体情報の初期値が、第３のステップで求めた前記物体情報と異なる既知の物体情報である請求項１ないし６のいずれか記載の物体及び光源情報推定方法。
- 光源情報の初期値が、第３のステップで求めた前記光源情報と異なる既知の光源情報である請求項１ないし６のいずれか記載の物体及び光源情報推定方法。
- 第３のステップが、画像データから影となる画像領域を含まない小行列を複数個作成し、前記小行列毎から特異値分解により物体情報及び光源情報に分離し、前記物体情報及び光源情報から、影となる画像領域の物体情報を推定するステップである請求項１ないし８のいずれか記載の物体及び光源情報推定方法。
- 請求項１ないし９のいずれか記載の物体及び光源情報推定方法を用い、更に、推定された光源情報から新たな光源情報を作成し、推定された物体情報及び前記新たな光源情報を乗算することで、画像を合成するステップを含む画像合成方法。
- 新たな光源情報が、推定された光源情報により設定された基準座標系から作成される請求項１０記載の画像合成方法。
- 請求項１ないし９のいずれか記載の物体及び光源情報推定方法を用い、更に、推定された物体情報行列の差分から求まる類似度により、対象物を認識するステップを含む物体認識方法。
- 請求項１０又は１１記載の画像合成方法を用い、更に、推定された物体情報行列の差分から求まる類似度により、対象物を認識するステップを含む物体認識方法。
- 対象物を撮影し、複数の２次元行列の画像データとして出力するカメラと、前記カメラから入力される前記複数の画像データを、１行又は１列に１つの前記画像データが配置し、２次元行列の画像データ群を作成する画像データ再構成手段と、前記画像データ群を特異値分解により、物体情報及び光源情報に分解し、物体情報は光源情報の擬似逆行列を用いて更新し、光源情報は物体情報の擬似逆行列を用いて更新し、物体情報及び光源情報を推定する物体及び光源情報算出手段とを含む物体及び光源情報推定装置。
- 物体及び光源情報算出手段が、画像データを特異値分解し、複数の行列に分解する特異値分解手段と、前記複数の行列から少なくとも１つを光源情報の初期値とし、前記光源情報の初期値の擬似逆行列及び前記画像データを乗算することで物体情報の初期値とする初期値決定手段と、前記物体情報の初期値の逆行列及び画像データを乗算し、光源情報が更新される光源情報更新手段と、前記光源情報更新手段から入力される光源情報の擬似逆行列及び画像データを乗算し、物体情報が更新される物体情報更新手段と、前記物体情報更新手段から入力される前記更新された物体情報及び更新される前の物体情報の差分値を、予め定められた閾値と比較し、前記差分値が前記閾値以下である場合は、前記更新された物体情報及び前記更新された光源情報を物体及び光源情報の推定値として出力し、前記差分値が前記閾値以上である場合は、前記更新された物体情報を前記物体情報の初期値として前記光源情報更新手段に出力する判定手段とを含む請求項１４記載の物体及び光源情報推定装置。
- 対象物を撮影し、複数の２次元行列の画像データとして出力するカメラと、前記画像データを特異値分解し、物体情報及び光源情報を推定する画像処理手段と、前記画像処理手段から入力される物体情報を基準座標系で示し、前記対象物の位置及び方向を調整し、新たな物体情報を算出する物体情報処理手段と、前記画像処理手段から入力される光源情報を基準座標系で示し、新たな光源情報を算出する光源情報処理手段と、前記新たな物体情報及び前記新たな光源情報を乗算し、新たな画像データを合成する乗算手段とを含む画像合成装置。
- 対象物を撮影し、複数の２次元行列の画像データとして出力するカメラと、前記カメラから入力される前記複数の画像データを、１行又は１列に１つの前記画像データが配置し、２次元行列の画像データ群を作成する画像データ再構成手段と、前記画像データ群を特異値分解により、物体情報及び光源情報に分解し、物体情報は光源情報の擬似逆行列を用いて更新し、光源情報は物体情報の擬似逆行列を用いて更新し、物体情報及び光源情報を推定する物体及び光源情報算出手段と、前記推定された物体情報を基準座標系に変換し、前記対象物の位置及び方向が調整された新たな物体情報を作成し、前記推定された光源情報を基準座標系に変換し、方向及び強度が調整された新たな光源情報を作成し、前記新たな物体情報及び前記新たな光源情報を乗算することで、画像を合成する画像合成手段と、前記画像合成手段で作成された画像データを蓄積するデータベースと、前記画像データ再構成手段から入力された画像データ及び前記データベースに蓄積された画像データの差分値を算出する差分手段と、前記差分値を予め定めた閾値と比較し、前記対象物の認証を行う比較手段とを含む物体認識装置。
- 請求項１ないし９のいずれか記載の物体及び光源情報推定方法を、コンピュータに処理させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002172331A JP2004021373A (ja) | 2002-06-13 | 2002-06-13 | 物体及び光源情報推定方法並びに物体及び光源情報推定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002172331A JP2004021373A (ja) | 2002-06-13 | 2002-06-13 | 物体及び光源情報推定方法並びに物体及び光源情報推定装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004021373A true JP2004021373A (ja) | 2004-01-22 |
Family
ID=31171930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002172331A Pending JP2004021373A (ja) | 2002-06-13 | 2002-06-13 | 物体及び光源情報推定方法並びに物体及び光源情報推定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004021373A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006351007A (ja) * | 2005-06-14 | 2006-12-28 | Mitsubishi Electric Research Laboratories Inc | 顔のバイリニアモデルを生成する方法 |
| WO2007020760A1 (ja) * | 2005-08-19 | 2007-02-22 | Matsushita Electric Industrial Co., Ltd. | 画像処理方法、画像処理システムおよび画像処理プログラム |
| WO2007139070A1 (ja) * | 2006-05-29 | 2007-12-06 | Panasonic Corporation | 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法 |
| JP2013245944A (ja) * | 2012-05-23 | 2013-12-09 | Nippon Telegr & Teleph Corp <Ntt> | 投影型３次元形状復元装置、投影型３次元形状復元方法、投影型３次元形状復元プログラムおよびそのプログラムを記録した記録媒体 |
| JP2014042210A (ja) * | 2012-08-23 | 2014-03-06 | Nippon Telegr & Teleph Corp <Ntt> | 投影型３次元形状復元装置、投影型３次元形状復元方法及び投影型３次元形状復元プログラム |
| JP2015059849A (ja) * | 2013-09-19 | 2015-03-30 | 凸版印刷株式会社 | 色と三次元形状の計測方法及び装置 |
| JP2019075118A (ja) * | 2017-10-16 | 2019-05-16 | 富士通株式会社 | 顔画像中の照明条件を評価する方法及び装置 |
-
2002
- 2002-06-13 JP JP2002172331A patent/JP2004021373A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006351007A (ja) * | 2005-06-14 | 2006-12-28 | Mitsubishi Electric Research Laboratories Inc | 顔のバイリニアモデルを生成する方法 |
| WO2007020760A1 (ja) * | 2005-08-19 | 2007-02-22 | Matsushita Electric Industrial Co., Ltd. | 画像処理方法、画像処理システムおよび画像処理プログラム |
| US7609892B2 (en) | 2005-08-19 | 2009-10-27 | Panasonic Corporation | Image processing method, image processing system, and image processing program |
| US7961940B2 (en) | 2005-08-19 | 2011-06-14 | Panasonic Corporation | Image processing method, image processing system, and image processing program |
| WO2007139070A1 (ja) * | 2006-05-29 | 2007-12-06 | Panasonic Corporation | 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法 |
| US7893971B2 (en) | 2006-05-29 | 2011-02-22 | Panasonic Corporation | Light source estimation device that captures light source images when it is determined that the imaging device is not being used by the cameraman |
| JP2013245944A (ja) * | 2012-05-23 | 2013-12-09 | Nippon Telegr & Teleph Corp <Ntt> | 投影型３次元形状復元装置、投影型３次元形状復元方法、投影型３次元形状復元プログラムおよびそのプログラムを記録した記録媒体 |
| JP2014042210A (ja) * | 2012-08-23 | 2014-03-06 | Nippon Telegr & Teleph Corp <Ntt> | 投影型３次元形状復元装置、投影型３次元形状復元方法及び投影型３次元形状復元プログラム |
| JP2015059849A (ja) * | 2013-09-19 | 2015-03-30 | 凸版印刷株式会社 | 色と三次元形状の計測方法及び装置 |
| JP2019075118A (ja) * | 2017-10-16 | 2019-05-16 | 富士通株式会社 | 顔画像中の照明条件を評価する方法及び装置 |
| JP7196519B2 (ja) | 2017-10-16 | 2022-12-27 | 富士通株式会社 | 顔画像中の照明条件を評価する方法及び装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255831B (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
| Chen et al. | Photo-realistic facial details synthesis from single image | |
| Shi et al. | Automatic acquisition of high-fidelity facial performances using monocular videos | |
| CN107481279B (zh) | 一种单目视频深度图计算方法 | |
| WO2022095721A1 (zh) | 参数估算模型的训练方法、装置、设备和存储介质 | |
| JP4341135B2 (ja) | 物体認識装置 | |
| WO2022001236A1 (zh) | 三维模型生成方法、装置、计算机设备及存储介质 | |
| US10832034B2 (en) | Facial image generating method, facial image generating apparatus, and facial image generating device | |
| US20190012578A1 (en) | 3D Spatial Transformer Network | |
| EP3905194A1 (en) | Pose estimation method and apparatus | |
| WO2019041660A1 (zh) | 人脸去模糊方法及装置 | |
| EP3872761A2 (en) | Analysing objects in a set of frames | |
| WO2018080533A1 (en) | Real-time generation of synthetic data from structured light sensors for 3d object pose estimation | |
| CN115239861A (zh) | 人脸数据增强方法、装置、计算机设备和存储介质 | |
| CN109829857B (zh) | 一种基于生成对抗网络的倾斜图像的矫正方法及装置 | |
| JP2004021373A (ja) | 物体及び光源情報推定方法並びに物体及び光源情報推定装置 | |
| Celik et al. | Enhancing face pose normalization with deep learning | |
| Wan et al. | Boosting image-based localization via randomly geometric data augmentation | |
| Taheri et al. | Joint albedo estimation and pose tracking from video | |
| KR102067423B1 (ko) | 지피유 가속 컴퓨팅을 이용한 3차원 복원 클라우드 포인트 생성 방법 | |
| Dong et al. | Learning stratified 3D reconstruction | |
| CN112132743B (zh) | 可自适应光照的视频换脸方法 | |
| CN111611997B (zh) | 一种基于人体动作迁移的卡通定制形象运动视频生成方法 | |
| Xu et al. | On the importance of feature aggregation for face reconstruction | |
| CN113034675A (zh) | 一种场景模型构建方法、智能终端及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050422 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050707 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080930 |