JP6567850B2

JP6567850B2 - 撮影装置

Info

Publication number: JP6567850B2
Application number: JP2015058721A
Authority: JP
Inventors: 青木　隆浩; 隆浩青木; 壮一 ▲浜▼; 功岩口
Original assignee: Fujitsu Ltd; Fujitsu Frontech Ltd
Current assignee: Fujitsu Ltd; Fujitsu Frontech Ltd
Priority date: 2015-03-20
Filing date: 2015-03-20
Publication date: 2019-08-28
Anticipated expiration: 2035-03-20
Also published as: EP3070457A1; JP2016177686A; CN105989360B; CN105989360A; KR20160112958A; KR101819602B1; US20160275362A1; US9846813B2

Description

本発明は、撮影装置に関する。

撮影装置を用いる技術のひとつとして、例えば、手のひら静脈などを用いて個人を認証する生体認証装置が知られている。特定の偏光方向の直線偏光を生体に照射した状態で、レンズアレイを含む縮小光学系を用い、特定偏光方向の偏光成分のみ通過させる検光子が設けられていないレンズによる個眼像から、上記検光子が設けられたレンズによる個眼像の成分を除去する例が知られている。また、生体からの反射光を用いて生体の画像を撮影する撮影部と、撮影部によって撮影された生体画像から、所定の空間周波数よりも高い周波数成分を抽出する抽出部と、を備える例も知られている（例えば、特許文献１〜２参照）。

撮影装置を用いる技術の別の例として、肌色に寄与するメラニン成分、ヘモグロビン成分等の色素成分の精度の高い計測を行うための以下のような例も知られている。すなわち、計測時に、ノイズ成分となる表面反射光成分を、偏光を用いて除去し、内部光成分についてメラニン成分、ヘモグロビン成分等の色素成分を求める例である（例えば、特許文献３参照）。

さらに、偏光を観察するカメラの例が知られている（例えば、非特許文献１参照）。生体内のどの深さで光が戻ってくるかを表す確率密度関数を拡散近似で計算した例も知られている（例えば、非特許文献２参照）。

特開２０１０−２１８２５８号公報特開２０１２−１８７１５０号公報特開２００２−２０００５０号公報

株式会社フォトニックラティスPI-110、[online]、[平成２７年２月１９日検索]、インターネット<URL：http://www.photonic-lattice.com/ja/prod,ucts/polarization_camera/pi-110/> Dominique J. Bicout, George H. Weiss 著、A measure of photon penetration into tissue in diffusion models、Optics Communications, Volume 158, Issues 1-6, 15 December 1998, Pages 213-220

ところで、手のひら静脈認証装置では、近赤外線を用いて生体内の静脈パターンを撮影し、個人を認証する。しかし、近赤外線の光に対して生体は強い散乱の性質を示すため、上記のような従来の方法では、散乱により精度のよい情報が得られない場合がある。例えば、生体内部の情報を得る際に、ある方向に偏光された光を照射し、照射された光と同じ偏光状態の光を除去するような方法では、内部からの散乱光で照明と同じ偏光状態の光も除去されてしまい、精度のよい画像が撮影できないことがある。

ひとつの側面によれば、本発明の目的は、散乱体の表面からの深さに応じた内層の情報を精度よく得るようにすることである。

ひとつの態様である撮影装置は、照明部と、カメラと、処理装置とを有する。照明部は、散乱体に所定の偏光方向の光を照射する。カメラは、複数の異なる偏光角で散乱体を撮影する。処理装置は、複数の異なる偏光角で撮影された散乱体の画像に基づき、散乱体内部の内層の散乱体の表面からの深さに応じた内層画像を生成して出力する。

ひとつの実施形態によれば、散乱体の表面からの深さに応じた内層の情報を精度よく得ることが可能になる。

第１の実施の形態による撮影装置の構成の一例を示す図である。第１の実施の形態による撮影装置の機能的な構成の一例を示す図である。被写体の輝度値の入射光の偏光角依存性の一例を示す図である。生体内の偏光状態の変化を説明する図である。偏光角θの占める割合の一例を示す図である。輝度比の偏光角θ依存性の実測値と理論値との比較例を示す図である。第１の実施の形態による撮影方式で得られる画像の種類の一例を示す表である。第１の実施の形態による生体認証処理の一例を示すフローチャートである。第２の実施の形態による撮影装置の機能的な構成の一例を示す図である。

（第１の実施の形態）
以下、図面を参照しながら、第１の実施の形態による撮影装置２０について説明する。撮影装置２０は、本実施の形態においては、撮影した画像を用いて生体認証を行う装置であるとして説明される。図１は、第１の実施の形態による撮影装置２０の構成の一例を示す図である。図１に示すように、撮影装置２０は、光学部３０および制御部４０を有している。光学部３０は、被写体となる散乱体に所定の偏光方向の光（以下、所定の偏光ということがある。）を照射し、複数の偏光方向の画像を撮影する。制御部４０は、撮影装置２０の動作を制御する。光学部３０と制御部４０とは、一体に形成されていてもよい。撮影装置２０の一例は、多機能携帯電話機、タブレット型情報処理装置等でもよい。

光学部３０は、照明部３１及びカメラ３５を有している。照明部３１は、光源３２及び偏光フィルタ３３を有し、散乱体を撮影するための所定の偏光を出力する。光源３２は、例えば、ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ（ＬＥＤ）としてもよい。光源３２は、ＬＥＤ以外のものを用いるようにしてもよい。偏光フィルタ３３は、照明用の偏光フィルタであり、特定方向の偏光を透過させる偏光フィルタである。偏光フィルタ３３の偏光方向を示す角度を、偏光角θ＝０とする。なお、図１の光源３２が２つ描かれているのは、カメラ３５周辺に、円状に光源３２と偏光フィルタ３３とを配置した例を示すためであり、これにより、被写体となる散乱体を均一に照射する。

カメラ３５は、撮影部３６とマルチ偏光フィルタ３７とを有している。撮影部３６は、レンズと撮像素子とを備え、レンズを介して入射した光を撮像素子で電気信号に変換することで、画像を撮影する。マルチ偏光フィルタ３７は、複数の偏光方向の光を透過させる機能を有するフィルタである。マルチ偏光フィルタ３７は、例えば、非特許文献１に記載のカメラに備えられたフィルタのように、ピクセルごとに偏光角θ=０°、４５°、９０°、１３５°に対応した偏光機能を持つフィルタであってもよい。なお、偏光角θは、上記の例には限定されない。また、マルチ偏光フィルタ３７は、偏光角を可変にした一つのフィルタや、複数の偏光角の異なるフィルタを脱着する構成など、他の構成でもよい。

本実施の形態においては、カメラ３５が撮影する光の偏光角θとして、偏光角θ=０°、４５°、９０°、１３５°が用いられる場合を例として説明する。カメラ３５は、被写体となる散乱体から反射してきた光を撮影する。撮影する際には、異なった偏光方向の画像を個別に出力する。本実施の形態においては、具体的には偏光角θ=０°、４５°、９０°、１３５°での画像を出力する。

制御部４０は、処理装置４２と記憶装置４４とを有している。処理装置４２は、撮影装置２０の動作を制御するための各種処理を行う演算処理装置を含む。記憶装置４４は、処理装置４２が撮影装置２０の動作を制御するためのプログラムや、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶装置である。記憶装置４４は、ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ（ＲＡＭ）、ＲｅａｄＯｎｌｙＭｅｍｏｒｙ（ＲＯＭ）などを含むようにしてもよい。

図２は、第１の実施の形態による撮影装置２０の機能的な構成の一例を示す図である。図１を参照しながら説明したように、撮影装置２０は、照明部３１とカメラ３５とを有する光学部３０を有している。図２に示すように、撮影装置２０は、記憶装置４４に、データベース４６や画像情報４８を記憶させるようにしてもよい。データベース４６は、例えば、生体認証に使用する登録テンプレートなどである。登録テンプレートとは、例えば、手のひら静脈認証の場合は、手のひら静脈画像から抽出した生体特徴が該当する。同一の生体に対して複数の認証が行われる場合には、例えば、手のひら静脈情報と、掌紋情報とを登録テンプレートとして記憶させるようにしてもよい。画像情報４８は、例えば一時的にバッファに記憶されるようにしてもよい。

撮影装置２０において、処理装置４２は、管理部５０、特徴抽出部５７、照合部５９、画像処理部５２としての機能を有している。これらの機能は、処理装置４２が、記憶装置４４に予め記憶された撮影装置２０を制御する制御プログラムを読み込んで実行することにより実現されるようにしてもよい。

管理部５０は、生体認証の処理を含む撮影装置２０全体の処理を管理する。画像処理部５２は、カメラ３５が撮影した画像に基づき、表面からの深さに応じた情報を持つ画像、例えば、異なる深さ情報を持つ画像を生成する。画像処理部５２は、画像管理部５４、画像演算部５５を有している。画像処理部５２の画像管理部５４は、画像生成処理全体を管理する。画像演算部５５は、後述する画像演算処理を行う。画像処理部５２による処理の詳細は後述される。

特徴抽出部５７は、撮影された画像から認証に使用する生体特徴を抽出する。照合部５９は、照合処理を行う。すなわち、照合部５９は、特徴抽出部５７が抽出した特徴データを用い、データベース４６に登録された登録テンプレートなどのデータと撮影された画像から得られた情報とがどの程度似ているかを表す類似度を出力する。

次に、第１の実施の形態によるカメラ３５により撮影される画像について、説明する。以下では、被写体となる散乱体は、生体であるとする。はじめに、拡散反射のみを検討対象とする。ここで拡散反射は、生体内に入った光が散乱を繰り返しながら最終的に生体を抜け、カメラ３５に入るような反射のことである。拡散反射以外には、生体と空気との間で反射する表面反射が存在する。

図３は、被写体の輝度値の入射光の偏光角依存性の一例を示す図である。図３に示した例は計測結果の一例であり、撮影装置２０と同様の構成を有するマルチ偏光用評価用治具を用いて計測したものである。尚、第１の実施の形態では偏光角θ=０°、４５°、９０°、１３５°のフィルタを用いているが、図３ではより細かく１５°単位で測定を行った結果を示している。

図３に示すように、輝度比の偏光角依存性７０では、横軸は、照明部３１の偏光フィルタ３３の偏光方向に対する、カメラ３５のマルチ偏光フィルタ３７の偏光方向の角度差を示す偏光角θに相当する。本実施の形態において、散乱体に照射される光の偏光方向は、偏光角＝０°とされる。よって、反射光を撮影するカメラ３５が検出する光の偏光方向を示す偏光角θは、照射される光の偏光方向との角度差のことである。縦軸は、偏光角θにおける輝度値を、偏光角θ＝９０°の輝度値を基準として正規化した輝度比を表している。

輝度比の偏光角依存性７０は、手のひらなどの散乱体に所定の偏光を照射し、カメラ側で偏光方向を様々に変えて撮影した場合の、輝度値変化を示す（実験結果）。輝度比７２と輝度比７４とは、異なる被験者に関する結果である。このように、照明からの光の偏光方向と、カメラで撮影される光の偏光方向とが同じ偏光角θ=０°（入射光の偏光方向）のときは、偏光角θ=９０°のときよりも輝度値が高い傾向を示す。また、偏光角θが０°≦θ≦９０°の範囲で、輝度値は連続的に変化している。

図４は、生体内の偏光状態の変化を説明する図である。図４に示すように、散乱モデル８０は、散乱体８２（生体）に入射光８４のように、Ｚ方向から所定の偏光が入射した場合の偏光状態のイメージを示している。偏光ばらつき状態８６〜８９は、円に近いほど、偏光のばらつきが大きいことを示している。散乱モデル８０は、散乱体８２内では、以下のようなモデルとなっている。すなわち、入射する際には直線偏光に近い状態であったものが、Ｚ方向（深さ方向）に進むにしたがって、偏光ばらつき状態８６〜８９のように、偏光方向が徐々に様々な方向を含むようになり、偏光状態のばらつきが大きくなるというモデルである。

導出の詳細は後述されるが、偏光角θの輝度値Ｉ（θ）は、下記式１によって表現される。なお、光の輝度値Ｉ（０°）、輝度値Ｉ（９０°）はそれぞれ、偏光角θ＝０°、θ=９０°における輝度値である。
Ｉ（θ）＝Ｉ（０°）ｃｏｓ^２θ＋Ｉ（９０°）ｓｉｎ^２θ・・・（式１）

すなわち、任意の偏光角θの散乱光は、輝度値Ｉ（０°）、輝度値Ｉ（９０°）の線形結合で求められ、その係数はｃｏｓ^２θおよびｓｉｎ^２θである。ここで、偏光角θ＝０°で撮影される画像は、照明光の偏光方向と同じ偏光方向に対してカメラで撮影した画像である。つまり、照明で設定した偏光方向が残っている光で撮影した画像である。そのため、被写体の浅い位置の情報を多く含んでいる。一方、偏光角θ＝９０°で撮影される画像は、照明の偏光状態が完全に崩れた光で撮影された画像であり、被写体の、より深い位置の情報を多く含んでいる。

＜散乱体モデル＞
以下、式１の導出方法について説明する。本実施の形態においては、偏光角θによる輝度値の変化を説明するため、下記の物理モデルを仮定する。すなわち、生体（散乱体）に、直線偏光した照明光が入射する場合を考える。生体内に入った光は、散乱を受けながら生体内部を進んでいく。この際、偏光状態は深さに応じて直線偏光から徐々にランダムになる割合が増えていくと考えられる。具体的には、表面のごく浅い所から戻ってくる光は入射光の偏光状態をほとんど保持していると考えられる。一方、生体の深い所から戻ってくる光は偏光状態がほとんど壊れており、偏光方向はランダムな偏光となっていると予想できる。よって、カメラ３５等、偏光カメラで撮影する画像は、上記のような光が混合した状態で撮影されるものと考えられる。

＜輝度値の偏光角度依存性の検討＞
図３を参照しながら説明したように、手のひらなどの生体に所定の方向に偏光した照明を当てて、受光する光の偏光角θを変えながら画像を撮影すると、平均輝度値が滑らかに変化していく。入射光と同じ偏光角θ=０°の時が最も輝度値が高く、入射角と直交するθ=９０°の時に輝度値が最も低くなる。この輝度値の偏光角θ依存性を上記物理モデルに基づいて検討する。

まず、生体内のどの深さで光が戻ってくるかを表す確率密度関数ｆ（ｚ）を定義する。これは、生体に光を照射した際に、深さｚ〜（ｚ＋ｄｚ）の間の深さで戻ってくる確率がｆ（ｚ）ｄｚとなるような関数である。尚、確率密度関数ｆ（ｚ）の具体的な形は未知であるが、例えば非特許文献２に、関連する確率密度関数を拡散近似で算出した例が記載されている。

上記仮定した物理モデルに従えば、生体内に入った光の偏光状態は、深さとともに直線偏光から崩れた状態の割合が増えていく。この偏光状態のばらつきを表す形状として、楕円を仮定する。

図５は、偏光角θの占める割合の一例を示す図である。図５に示すように、例えば、生体中の生体に入射する光の進行方向に対して垂直な平面ｘｙにおいて、偏光ばらつきイメージ９２は、偏光状態のばらつきを表す形状として楕円と仮定される。偏光ばらつきイメージ９２の楕円は、長径ａ、短径ｂの２つのパラメータで表現される。このとき、長径ａが偏光方向θ=０°の光を表し、短径ｂが偏光方向θ＝９０°の偏光を表すと考えることができる。深さが十分深い所では偏光状態が完全に崩れ、楕円が円に変わっていると考える。そのため、長径ａおよび短径ｂは、深さｚの関数で、下記式２のように表すことができる。
ａ＝ａ（ｚ）、ｂ＝ｂ（ｚ）・・・（式２）

ここで、任意の偏光角θの輝度値Ｉ（θ）がどのように表現されるかを検討する。直線偏光している光の偏光状態が崩れた場合の、偏光方向のばらつき状態を楕円として考える。例えばこの楕円は、偏光角θの光の光量の分布を示すと考えてよい。このとき、全光量は、楕円の面積Ｓ＝πａｂと考えることができる。一方、ある偏光角θの光量は、偏光方向９４に応じて切り取られる微小な扇型の面積、例えば微小面積９６と見做される。

偏光方向９４の偏光角θ方向の微小角度Δθで区切られた微小面積９６は、以下のように求められる。まず、偏光角θにおける楕円の径をＲ（θ）で表すとＲ（θ）は、下記式３のように表すことができる。

また、微小角Δθで切り取られる扇型の微小面積９６を面積ΔＳとすると、面積ΔＳは、楕円を円で近似することで、下記式４のように求めることができる。
ΔＳ＝（１／２）Ｒ（θ）^２Δθ・・・（式４）
ここで微小角Δθは、偏光フィルタのバンド幅を表す定数である。つまり、偏光フィルタとしてθ±（１／２）Δθの偏光を通す際のバンド幅がΔθである。

以上から、偏光角θ方向の偏光が占める光量の割合ｒａｔｉｏ（θ）は、下記式５のように求めることができる。ここで割合ｒａｔｉｏ（θ）は、全体の光量が輝度値Ｉ_０と対応する光量のときに、偏光角θ方向の光量が占める割合である。

式を簡略化するため、深さｚにおける長径ａ（ｚ）と短径ｂ（ｚ）の比を表す関数ε（ｚ）を式６のように定義する。尚、関数ε（ｚ）は、下記式７の関係を満たすものとする。

ε（ｚ）≧１．０・・・（式７）

関数ε（ｚ）を用いるとｒａｔｉｏ（θ）は下記式８のように求まる。

全光量に対する偏光方向θの光量の占める割合が上記の通り求まった。ここで、様々な深さｚからの反射光の合計として撮影される反射光の輝度値Ｉ（θ）を求める。反射光の輝度値Ｉ（θ）は、上記の確率密度関数ｆ（ｚ）、割合ｒａｔｉｏ（θ）、全体の光量を表す定数Ｉ_０を使って下記式９のように積分として表せる。

ここでθ=０°、θ=９０°における輝度値を求めると下記式１０のように表される。これらは、偏光方向が照明光と平行な場合および直交する場合の輝度値である。

これらの式１０の値を式９に代入すると、上記式１を含む下記式１１の関係が得られる。
Ｉ（θ）＝Ｉ（０°）ｃｏｓ^２θ＋Ｉ（９０°）ｓｉｎ^２θ
＝（Ｉ（０°）−Ｉ（９０°））ｃｏｓ^２θ＋Ｉ（９０°）・・・（式１１）

つまり、偏光角θの輝度値はｃｏｓ^２θに比例することが分かる。また、任意の偏光角θの画像は、θ=０°、θ＝９０°の２つの画像から合成される。この性質は、光の加法性から導かれるものと考えられる。つまり、偏光角θ方向の輝度値を求める式９においては、算出対象となる偏光角θ方向の微小面積を積分することで輝度値Ｉ（θ）が求められている。一方、偏光角θと深さｚは独立した変数であるため、偏光角θ方向の割合を求めてからｚ方向で積分する処理と、ｚ方向の積分を先に実行してから偏光角θ方向の割合を求める処理とは同じである。先にｚ方向の積分を行った結果が輝度値Ｉ（０°）、Ｉ（９０°）として求まり、偏光角θの輝度値は、両者を線形結合した形の式１１（または式１）として求まる。

図６は、輝度比の偏光角θ依存性の実測値と理論値との比較例を示す図である。図６において、横軸は、例えば、照明部３１の偏光フィルタ３３の偏光方向に対する、カメラ３５のマルチ偏光フィルタ３７の偏光方向の角度差を示す偏光角θである。縦軸は、偏光角θにおける輝度値を、偏光角θ＝９０°の輝度値を基準として正規化した輝度比を表している。図６において、理論輝度比１０２は、輝度比７２での０度と９０度との計測値から求めた理論値であり、理論輝度比１０４は、輝度比７４での０度と９０度との計測値から求めた理論値である。図６に示すように、実測値である輝度比７２と輝度比７４とは、理論値である理論輝度比１０２と理論輝度比１０４とに概ねよい一致を示している。

このように、生体などの散乱体に直線偏光を照射し、その反射光を複数の偏光角θで撮影した際の輝度値を表すモデルとして、上記のような物理モデルを用いることが好ましい。すなわち、生体を拡散反射物体と想定し、深さが増すごとに偏光度合いが崩れていく過程を楕円として表現することで、実験と良い一致を示す結果が得られる。下記に、説明の都合上、式１を再掲する。
Ｉ（θ）＝Ｉ（０°）ｃｏｓ^２θ＋Ｉ（９０°）ｓｉｎ^２θ・・・（式１）

式１は、任意の偏光角θにおける輝度値が、Ｉ（０°）、Ｉ（９０°）の２つの輝度値から求まることを表している。以下、式１で表される関係式を用いて、より多くの情報を得られる撮影方式の検討を行う。このとき、カメラ３５として、例えば、非特許文献１に記載のような、Photonic Lattice社のマルチ偏光カメラを使うようにしてもよい。Photonic Lattice 社のマルチ偏光カメラでは、偏光角が０度、４５度、９０度、１３５度の４方向の偏光画像が同時に取得される。このマルチ偏光カメラでは、撮像素子の各ピクセルにカラーカメラにおけるベイヤーフィルタの代わりに偏光フィルタが搭載されている。具体的には、偏光角=０°、４５°、９０°、１３５°のフィルタが４つ１組で搭載されている。

本実施の形態においては、例えば、これまであまり利用されていなかった偏光角４５度、１３５度の画像を含めて有効な情報を得る方式を検討する。具体的な撮影方式案のひとつとして、下記のような方式が考えられる。

これまでの検討では、生体からの拡散反射のみを対象にしていた。しかし、実際には拡散反射のみではなく、表面反射が存在する。表面反射は空気と被写体の屈折率の違いから生じる反射である。表面反射は偏光状態を維持する性質があるため、表面反射は偏光角θ=０°の画像でのみ撮影される。そのため、カメラ３５などマルチ偏光カメラ（θ=０°、４５°、９０°、１３５°）で撮影される画像は以下のようになる。尚、添え字「Ｃ」は、カメラで撮影される画像を、添え字「ＳＰ」は表面反射を意味する。添え字なしは、拡散反射成分を意味する。
Ｉ_Ｃ（０°）＝Ｉ（０°）＋Ｉ_ＳＰ
Ｉ_Ｃ（４５°）＝Ｉ（４５°）
Ｉ_Ｃ（９０°）＝Ｉ（９０°）
Ｉ_Ｃ（１３５°）＝Ｉ（１３５°）
・・・（式１２）
ここで、式１にθ=４５°及び１３５°を入力する。

式１３の両辺を加算すると、下記のようにθ=０°の拡散反射成分のみが得られる。
Ｉ（０°）＝Ｉ（４５°）＋Ｉ（１３５°）―Ｉ（９０°）・・・（式１４）
つまり、θ＝４５°、９０°、１３５°の画像からθ＝０°の拡散反射成分が計算される。更にこの式から表面反射成分を以下のように求めることができる。
Ｉ_ＳＰ＝Ｉ_Ｃ（０°）−Ｉ（０°）
＝Ｉ_Ｃ（０°）−（Ｉ_Ｃ（４５°）＋Ｉ_Ｃ（１３５°）−Ｉ_Ｃ（９０°））
・・・（式１５）

以上のように、表面反射による輝度値Ｉ_ＳＰ、浅い位置の情報に対応する輝度値Ｉ（０°）、深い位置の情報に対応する輝度値Ｉ（９０°）が得られる。このように異なる深さに夫々対応する３つの画像から、より多くの認証特徴を得られる可能性がある。

図７は、第１の実施の形態による撮影方式で得られる画像の種類の一例を示す表である。図７に示すように、画像の種類１１０では、本実施の形態による撮影装置２０により、表面情報、浅い情報、深い情報が得られることが示されている。表面情報としては、例えば掌紋情報が考えられる。深い情報としては、静脈情報などが考えられる。浅い情報は、例えば、掌紋情報を用いた認証の際に、実物の手の代りに掌紋の印刷物等を用いようとした場合、浅い情報が得られない場合に、成りすましであるなどと判断するために用いることも考えられる。

すなわち、表面反射は、式１５により得られ、散乱体表面の画像に対応する表面情報として、例えば掌紋情報などに利用される。浅い位置の情報は、例えば式１４より得られ、散乱体の内層情報のうちの、比較的浅い位置の第１の内層画像に対応する浅い情報として利用される。深い位置の情報は、式１２により得られ、例えば、散乱体の内層情報のうちの、上記浅い位置の情報より表面から遠い深い位置の第２の内層画像に対応し、例えば静脈情報等として利用される。

尚、偏光角＝０°のときの輝度値Ｉ（０°）として拡散反射光のみを求めるのは、本実施の形態による撮影装置２０の特徴である。単純に偏光角θ=０°に設定して画像を撮影すると、拡散反射と表面反射とが混在した状態の画像となってしまう。表面反射は、被写体の表面に関する情報が得られる利点がある一方、被写体、照明、カメラの位置関係に依存して強度が急激に変化する性質がある。そのため、装置の設置条件などによっては、表面反射で撮影された画像情報は認証処理には不向きな特徴となる場合があり得る。一方、本実施の形態においては、表面反射を含まない輝度値Ｉ（０°）を求めることができる。

なお、上記説明では、カメラ３５の入力として４つの方向（０度、４５度、９０度、１３５度）を用いる方式を説明した。これは、例えば、非特許文献１に記載のカメラのように、市販されているマルチ偏光カメラの仕様に合わせたものである。しかし、上記３種類の画像を計算するためには、３方向分の画像があれば良い。例えば、０度、４５度、９０度の３方向で十分である。具体的には、式１に、４５度を代入すればよい。すなわち、下記の式１６で表される。
Ｉ（４５°）＝１／２×Ｉ（０°）＋１／２×Ｉ（９０°）
Ｉ（０°）＝２×Ｉ（４５°）−Ｉ（９０°）・・・（式１６）

式１６は、式１４において、Ｉ（１３５°）＝Ｉ（４５°）とした場合に相当する式である。一般には、式１５に示す通りに４５度と１３５度の２つを利用した方が画質は良くなる。これは、画像には常にノイズが含まれており、複数の画像（４５度と１３５度）を用いた方が、ノイズの影響を低減できるためである。

＜画像算出の変形例＞
上記説明ではカメラ３５のフィルタ間の角度差が４５度の場合を説明した。４５度の差がある場合には、式１の係数であるｃｏｓθ、ｓｉｎθがともに１／√２となる。そのため、２乗すると係数がともに（１／２）になるため、計算が容易となる。しかし、本実施の形態の撮影方法は、フィルタ間の角度差４５度に限定される訳ではなく、他の角度の組合せでもよい。

以下、他の角度の組合せの例として、θ=０°、３０°、６０°の組合せの場合を検討する。カメラで撮影される画像を示す輝度値は下記のようになる。
Ｉ_Ｃ（０°）＝Ｉ（０°）＋Ｉ_ＳＰ
Ｉ_Ｃ（３０°）＝Ｉ（３０°）
Ｉ_Ｃ（６０°）＝Ｉ（６０°）
・・・（式１７）

ここで、拡散反射成分に成立する式１にθ=３０°、６０°を入力する。

式１８から、Ｉ（０°）およびＩ（９０°）が求まる。

このように、表面反射なしの浅い位置の情報の画像に対応する輝度値Ｉ（０°）を、撮影画像に対応する輝度値（Ｉ（３０°）、Ｉ（６０°））から計算することができる。よって、表面反射成分の輝度値Ｉ_ＳＰは、画像の種類１１０に示した方法と同様の計算で求められる。

以上から、撮影画像の偏光角θは、様々な方向に設定してもよいことがわかる。なお、表面情報を得るためには、θ=０°の画像は、必ず含む必要がある。これは、表面反射成分はθ=０°にのみ含まれていると考えられるためである。また、θ=０°以外の２偏光角θ_１、θ_２（上記の例では、θ_１＝３０°、θ_２＝６０°）に関しては、θ_１±θ_２＝９０°という関係を満たすように設定してもよい。このような関係の偏光角θ_１、θ_２を用いると、計算の係数が簡略化できるメリットがある。

さらに、式１９、式２０により輝度値Ｉ（０°）、輝度値Ｉ（９０°）が得られたため、式１を適用すれば、任意の偏光角θに対する画像を得ることができる。得られた偏光角θに対する画像は、輝度値Ｉ（０°）、Ｉ（９０°）に夫々対応する画像の中間的な深さの情報を含んでいる。

次に、フローチャートを参照しながら、本実施の形態の撮影装置２０を用いた生体認証方法について説明する。図８は、第１の実施の形態による生体認証処理の一例を示すフローチャートである。生体認証処理においては、制御部４０は、適切な位置で、マルチ偏光画像の撮影を行う。すなわち、例えば、マルチ偏光カメラ等、カメラ３５を使って、複数の偏光方向の偏光画像を撮影する。すなわち、カメラ３５は、被写体に照射された照明光と同一の偏光角を含む複数、少なくとも３方向、の偏光による画像を撮影する（Ｓ１５１）。

画像処理部５２は、画像生成処理を行う（Ｓ１５２）。画像生成処理は、上記に説明したように、例えば３方向の偏光角で撮影した画像に基づき、任意の偏光角θの画像を生成する処理である。例えば、画像処理部５２の画像演算部５５は、表面情報、浅い位置の情報、深い位置の情報等を、画像の種類１１０に示したような演算方法で生成する。

すなわち、各画像は、以下のように算出される。
ｉ）表面画像
Ｉ_ＳＰ＝Ｉ_Ｃ（０°）−（Ｉ_Ｃ（４５°）＋Ｉ_Ｃ（１３５°）−Ｉ_Ｃ（９０°））
・・・（式１５）
ｉｉ）浅い位置の情報
Ｉ（０°）＝Ｉ（４５°）＋Ｉ（１３５°）―Ｉ（９０°）・・・（式１４）
ｉｉｉ）深い位置の情報
Ｉ（９０°）＝Ｉ_Ｃ（９０°）・・・（式２１）
上記のように、必要な演算は単純な画像の加減算のみであり、係数は不要である。

特徴抽出部５７は、生成された画像において、生体認証特徴の抽出処理を行う（Ｓ１５３）。特徴抽出処理としては、エッジ抽出やMatched Filter、局所特徴量を用いる方法など、様々な方法を利用することが好ましい。

照合部５９は、特徴抽出部５７が抽出した生体特徴とデータベースに登録済のテンプレートとを比較して類似度を算出する。類似度の算出方法は、相関係数や相互相関関数、画像間の距離、など様々な算出方法のいずれかを用いてもよい（Ｓ１５４）。このとき、照合部５９は、上記ｉ）〜ｉｉｉ）のいずれの画像を用いるかにより、登録テンプレートの種類を判断して認証を行うようにしてもよい。

以上説明したように、第１の実施の形態による撮影装置２０は、散乱体に所定の偏光を照射する照明部３１と、複数の異なる偏光角で散乱体を撮影するカメラ３５と、処理装置４２とを有している。処理装置４２は、複数の偏光角で撮影された散乱体の画像に基づき、散乱体内部の内層の散乱体の表面からの深さに応じた内層画像を生成して出力する。また、処理装置４２は、生体を撮影して取得した画像に基づき、生体認証を行うようにしてもよい。生体認証を行うための画像は、表面情報、浅い位置の情報、深い位置の情報のいずれかとしてもよい。また、記憶装置４４には、撮影装置２０の動作を制御するプログラム、生体認証のための登録テンプレートなどが記憶されるようにしてもよい。

以上のように、撮影装置２０によれば、生体などの散乱体の、深さの異なる３種類の画像が得られる。このために、例えば、撮影装置２０は、偏光角の異なる３つの画像を撮影する。撮影装置２０は、撮影した画像から、任意の偏光角θの画像を求めることができる。任意の偏光角θでの画像を求めることは、散乱体の表面及び内部の異なる深さの画像を同時に取得できることである。よって、撮影装置２０による生体認証を行った場合には、生体認証に適した画像を生成することができ、認証精度が向上するという効果が得られる。

生体認証では、生体が近赤外線の波長帯の光を吸収する物体をあまり含まず、深くまで光が浸透することを利用している。このとき、近赤外線の光に対して生体は強い散乱の性質を示すため、散乱により精度のよい情報が得られない場合がある。しかし、上記のような演算により、複数の偏光方向で撮影した画像に基づいて算出される、所望の偏光方向での画像を取得できる。また、生体内での散乱による偏光状態のばらつきが、生体内の深い位置での散乱光ほど大きくなるという物理モデルを用いることで、所望の深さの情報をより多く含む偏光状態を想定できる。よって、生体内の深さに応じた画像を精度よく得ることが可能となる。これにより、生体の内層の静脈情報、表面の掌紋情報等を精度よく得ることが可能となり、生体認証の精度も向上される。

このように、複数の方向の偏光を用いる「マルチ偏光技術」により、より多くの特徴データを得ることが可能になる。すなわち、１つの被写体（例：手のひら）から複数の画像を算出して取得することで、一つの被写体からより多くの特徴情報を取得することができる。特に被写体の表面情報や、浅い位置の情報、深い位置の情報を個別に取得することができるので、認証精度を更に高めることが可能となる。

また、異なる深さの画像を同時に取得することによって、画像上のある点に着目した際、該当する点の様々な深さ情報を得ることができるという効果がある。例えば、偏光方向の異なる照明を複数用意し、順次点灯して撮影する方法等、時分割で異なる深さの情報を得ることができたとしても、得られる画像間には時間的な差が存在する。そのため、同一点での特徴同志の対応情報を得ることは困難である。しかし、撮影装置２０によれば、同一点での同時刻での深さの異なる画像が得られ、同一点での特徴同士の対応情報が得られる。

任意の偏光角θの画像を撮影するだけであれば、該当方向の偏光フィルタを機械的に設定する方法も考えられるが、任意の偏光角θに偏光フィルタを設定するためには機械的な機構が必要となる。しかしながら、本実施の形態による撮影装置２０によれば、任意の偏光角に関する画像を、演算のみから得ることができる利点がある。よって、機械的な機構が必要ない。また、一般に、光学フィルタや照明を切り替えるには時間が掛かるが、撮影装置２０ではそのような時間は不要である。このように、撮影装置２０は、コスト的な面、メンテナンスの面で有利な、撮影装置であるといえる。

（第２の実施の形態）
以下、第２の実施の形態による撮像装置について説明する。第２の実施の形態において、第１の実施の形態と同様の構成及び動作については同一符号を付し、重複説明を省略する．第２の実施の形態による撮影装置２００のハードウエア構成の一例は、第１の実施の形態による撮影装置２０と同様の構成に、表示部２７０を追加した構成である。

図９は、第２の実施の形態による撮影装置２００の機能的な構成の一例を示す図である。図９に示すように、撮影装置２００は、光学部３０、処理装置２４２、表示部２７０を有している。

処理装置２４２は、例えば不図示の記憶装置に記憶された制御プログラムを読み込んで実行することで、図９に記載の各機能を実現するようにしてもよい。処理装置２４２は、管理部２５０、画像処理部２５２、表示画像入力部２５９としての機能を有する。

表示画像入力部２５９は、利用者が表示したい画像情報を入力する。具体的には、表面画像、あるいは、所望の偏光角θ方向の拡散画像を選択して、表示部２７０に出力する。表示部２７０は、例えば液晶表示装置などとしてもよい。表示部２７０は、任意の偏光角θの画像を表示する。

管理部２５０は、撮影装置２００全体の処理を管理する。画像処理部２５２は、カメラ３５が撮影した画像に基づき、異なる深さ情報を持つ画像を生成する。画像処理部２５２は、画像管理部２５４、画像演算部２５５、係数計算部２５７を有している。画像処理部２５２の画像管理部２５４は、画像生成処理全体を管理する。画像演算部２５５は、第１の実施の形態による画像演算部５５と同様の画像演算処理を行う。係数計算部２５７は、撮影装置２００の利用者が入力した所望の偏光角θに対応した計算用係数を算出する。詳細は後述される。

本実施の形態において、カメラ３５は、偏光角θ=０°、３０°、６０°の３つの偏光方向の画像を撮影する。画像演算部２５５は、撮影された２つの偏光方向の画像に基づき、任意の偏光角θの画像を生成する処理を行う。すなわち、画像演算部２５５は、撮影された複数の偏光方向の画像に基づき、下記の画像を生成するための演算を行う。演算式は、下記の通りである。
α）表面画像（Ｉ_ＳＰ＝Ｉ_Ｃ（０°）−Ｉ（０°）。Ｉ（０°）は式１９による）
β）偏光角θ＝０°における拡散反射画像（式１９による）
γ）偏光角θ＝９０°における拡散反射画像（式２０による）
δ）偏光角θ（θ≠０°、θ≠９０°）の画像（式１による）

なお、式１を用いる際には、撮影装置２００は、コサイン関数、サイン関数のテーブルを記憶装置に予め記憶させておき、例えば、係数計算部２５７により、必要に応じて計算を行うことが好ましい。

利用者が、上記α）〜δ）のいずれかを選択すると、撮影装置２００は、画像処理部２５２は、選択された画像を演算により生成し、表示画像入力部２５９を介して表示部２７０に表示させることが好ましい。

以上詳細に説明したように、第２の実施の形態による撮影装置２００では、利用者が選択した所望の画像を表示部２７０に表示させることができる。このとき、第１の実施の形態による撮影装置２０と同様に、撮影装置２００では、画像を撮影する際の偏光方向を変更するための、偏光フィルタを回転させる機構等の機械的な部品が不要である。そのため、撮影装置２００は、偏光フィルタを回転させる機構を必要とする装置と比較して、価格やメンテナンスなどの点で有利である。

さらに、撮影装置２００では、任意の偏光角θに対する画像を算出し、画像として表示するので、偏光角θを変える、または複数の偏光角θにそれぞれ対応する画像に基づく演算を行うことによって、被写体に関する様々な情報を得ることが可能となる。例えば、被写体の任意の深さの情報に対応する画像を得ることが可能になる。さらに、得られた画像を医療における診療目的や肉や魚の鮮度検査などに利用することもできる。

（変形例）
以下、変形例について説明する。変形例において、第１の実施の形態または第２の実施の形態と同様の構成及び動作については、同一符号を付し、重複説明を省略する。本変形例は、表面画像の取得を必要としない構成である。撮影装置のハードウエア構成としては、撮影装置２０または撮影装置２００の構成と同様とすることが好ましい。

第１及び第２の実施の形態は、いずれも表面画像を取得可能な構成であった。しかし、撮影の目的によっては、表面画像は不要な場合が存在する。そのようなケースの場合、最初から表面反射を含まない偏光方向の画像を撮影する構成としてもよい。このような場合、撮影に必要な偏光方向は偏光角θ_１、θ_２の２方向のみである（ただし、θ_１、θ_２≠０°）。

以下に、具体的な演算方法を示す。まず、カメラ３５で撮影される偏光画像は下記式２２の通りである。
Ｉ_Ｃ（θ_１）＝Ｉ（θ_１）
Ｉ_Ｃ（θ_２）＝Ｉ（θ_２）
・・・（式２２）

拡散反射成分に対して成り立つ式１に、偏光角θ=θ_１、θ_２を代入する。
Ｉ（θ_１）＝Ｉ（０°）ｃｏｓ^２θ_１＋Ｉ（９０°）ｓｉｎ^２θ_１
Ｉ（θ_２）＝Ｉ（０°）ｃｏｓ^２θ_２＋Ｉ（９０°）ｓｉｎ^２θ_２
・・・（式２３）

この式をＩ（０°）、Ｉ（９０°）について解くと下記式２４が得られる。

以上説明したように、本変形例によれば、互いに異なる２方向の偏光角の画像に基づき、任意の偏光方向の画像を取得することができる。これにより、より簡易に、散乱体内部の画像を得ることができ、生体認証その他の応用範囲が拡大することが可能となる。
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、上記に説明した処理手順は説明した順に限定されない。また、装置の構成は、同様の作用効果を奏するものであれば、変形が可能である。

また、第１及び第２の実施の形態及び変形例における説明では、照明部３１はあらかじめ決まった方向の偏光角の照明光を照射し、撮影側にカメラ３５というマルチ偏光カメラを用いることで、異なった偏光方向の画像を取得した。ここで、異なった偏光方向の画像とは、照明の偏光方向をθ=０°とした時の、θ>０の偏光方向の画像のことである。しかし、照明部３１とカメラ３５の役割を逆の構成としてもよい。つまり、カメラは、所定の偏光方向のみ撮影するように偏光フィルタを搭載する。照明側は、異なった偏光方向の照明を照射する機構を備える。具体的には、各偏光方向のフィルタを持つ照明を別個に準備し、点灯を切り替えて光が照射されるようにする。

上記のような構成では、偏光方向の異なった各照明を点灯するのに時間が掛かるため、撮影にかかる時間は増大する。しかし、撮影装置を安価に構築することが可能になる。

以上の第１から第２の実施形態及び変形例に関し、さらに以下の付記を開示する。
（付記１）
散乱体に所定の偏光方向の光を照射する照明部と、
複数の異なる偏光角で前記散乱体を撮影するカメラと、
前記複数の異なる偏光角で撮影された前記散乱体の画像に基づき、前記散乱体内部の内層の前記散乱体の表面からの深さに応じた内層画像を生成して出力する処理装置と、
を有することを特徴とする撮影装置。
（付記２）
前記処理装置はさらに、前記複数の異なる偏光角で撮影された前記散乱体の画像に基づき、所定の偏光角で撮影された場合の前記散乱体の画像を生成し、前記所定の偏光角で撮影された場合の画像に基づき、前記散乱体の表面からの深さに応じた内層画像を生成して出力する
ことを特徴とする付記１に記載の撮影装置。
（付記３）
前記処理装置はさらに、前記複数の異なる偏光角で撮影された前記散乱体の画像に基づき、前記散乱体の表面に対応する表面画像を生成して出力する
ことを特徴とする付記１または付記２に記載の撮影装置。
（付記４）
前記複数の異なる偏光角は、前記所定の偏光方向の偏光角を含む３つの異なる偏光角である
ことを特徴とする付記１から付記３のいずれか一項に記載の撮影装置。
（付記５）
前記内層画像は、前記散乱体の内部の第１の内層に対応する第１の内層画像と、前記第１の内層より前記表面から遠い第２の内層に対応する第２の内層画像と、を含む
ことを特徴とする付記１から付記４のいずれか一項に記載の撮影装置。
（付記６）
前記散乱体の表面に対応する基準画像と、前記散乱体の内層に対応する基準画像とを格納する記憶装置、
をさらに有し、
前記処理装置は、前記複数の偏光角で撮影された画像について、前記表面に対応する基準画像と前記内層に対応する基準画像とのいずれと類似性の評価を行うか特定し、特定された基準画像との間の類似度を評価して認証処理を行う、
ことを特徴とする付記１から付記５のいずれか一項に記載の撮影装置。

２０撮影装置
３０光学部
３１照明部
３２光源
３３偏光フィルタ
３５カメラ
３６撮影部
３７マルチ偏光フィルタ
４０制御部
４２処理装置
４４記憶装置
４６データベース
４８画像情報
５０管理部
５２画像処理部
５４画像管理部
５５画像演算部
５７特徴抽出部
５９照合部
７０輝度比の偏光角依存性
７２輝度比
７４輝度比
８０散乱モデル
８２散乱体
８４入射光
８６〜８９偏光ばらつき状態
９０光量の偏光方向依存性
９２偏光ばらつきイメージ
９４偏光方向
９６微小面積
１０２理論輝度比
１０４理論輝度比
１１０画像の種類

Claims

散乱体に所定の偏光方向の光を照射する照明部であって、光源と偏光フィルタとを備える前記照明部と、
前記照明部で前記散乱体に前記所定の偏光方向の光を照射しながら、前記所定の偏光方向とは異なる偏光方向の光を透過させる複数の異なる偏光角で前記散乱体を撮影して複数の画像を生成するカメラと、
前記複数の画像に基づいて、前記複数の異なる偏光角とは別の偏光角における前記散乱体の画像を生成して出力する処理装置と、
を有することを特徴とする撮影装置。
前記処理装置はさらに、前記複数の異なる偏光角で撮影された前記散乱体の前記複数の画像に基づき、所定の偏光角で撮影された場合の前記散乱体の画像を生成し、前記所定の偏光角で撮影された場合の画像に基づき、前記別の偏光角における前記散乱体の画像を生成して出力する
ことを特徴とする請求項１に記載の撮影装置。
前記処理装置はさらに、前記複数の異なる偏光角で撮影された前記散乱体の前記複数の画像に基づき、前記散乱体の表面に対応する表面画像を生成して出力する
ことを特徴とする請求項１または請求項２に記載の撮影装置。
前記カメラは、更に、前記所定の偏光方向の偏光角で前記散乱体を撮影する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の撮影装置。
前記別の偏光角における前記散乱体の画像は、前記散乱体の内部の第１の内層に対応する第１の内層画像と、前記第１の内層よりも前記散乱体の表面から遠い第２の内層に対応する第２の内層画像と、を含む
ことを特徴とする請求項１から請求項４のいずれか一項に記載の撮影装置。
前記散乱体の表面に対応する基準画像と、前記散乱体の内層に対応する基準画像とを格納する記憶装置、
をさらに有し、
前記処理装置は、前記複数の異なる偏光角で撮影された前記複数の画像に基づいて生成される前記別の偏光角における前記散乱体の画像について、前記表面に対応する基準画像と前記内層に対応する基準画像とのいずれと類似性の評価を行うか特定し、特定された基準画像との間の類似度を評価して認証処理を行う、
ことを特徴とする請求項１から請求項５のいずれか一項に記載の撮影装置。
散乱体に所定の偏光方向の光を照射する工程と、
前記照射する工程により前記散乱体に前記所定の偏光方向の光を照射しながら、前記所定の偏光方向とは異なる偏光方向の光を透過させる複数の異なる偏光角で前記散乱体をカメラにより撮影して複数の画像を生成する工程と、
前記複数の画像に基づいて、前記複数の異なる偏光角とは別の偏光角における前記散乱体の画像を生成して出力する工程と、
を含む、撮影方法。