JP7424272B2 - 情報処理装置と情報処理方法およびプログラム - Google Patents

Description

この技術は、情報処理装置と情報処理方法およびプログラムに関し、対象物体の状態変化を検出する。

従来、対象物体の状態変化を温度に基づいて判別することが行われている。例えば、特許文献１では、大気温度と対象物体である洗濯物の温度を比較して、比較結果に基づき洗濯物が乾いたか否かを対象物体の状態変化として判別することが行われている。

特開平６－３４７４２８号公報

ところで、温度に基づいて対象物体の状態変化を判別する場合、温度が計測されていない部分は、状態変化を判別できない。このため、高解像度で対象物体の状態変化を判別するためには、解像度の高い高価な温度計測装置を用いなければならず、対象物体の状態変化を高い解像度で容易に判別することが難しい。

そこで、この技術では、対象物体の状態変化を容易に検出できる情報処理装置と情報処理方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、
対象物体を示す時系列の偏光画像から、偏光画像毎に偏光情報を算出する偏光情報算出部と、
前記偏光情報算出部で算出された前記偏光情報の時系列変化に基づいて前記対象物体の状態変化を検出する状態変化検出部と
を備える情報処理装置にある。

この技術において、偏光情報算出部は、対象物体を示す時系列の偏光画像から、偏光画像毎に１または異なる複数の偏光情報を算出する。状態変化検出部は、偏光情報算出部で算出された偏光情報の時系列の変化を示す状態変化指標を、画素位置毎や偏光情報毎あるいは対象物体の領域ごとや偏光画像毎に算出して、状態変化指標に基づいて対象物体の状態変化、例えば時間の経過と共に前記偏光情報の変化が所定の変化よりも少なくなったこと、あるいは前記偏光情報の変化が所定の変化よりも多くなったことを検出する。また、状態変化検出部は、対象物体を示す画像領域内の画素毎、または対象物体毎に状態変化指標の統合を行い、統合後の状態変化指標に基づいて前記対象物体の状態変化を検出する。状態変化指標の統合では、対象物体を示す画像領域内の画素毎、または対象物体を示す画像領域毎に状態変化指標に対して重み付けを行い、重み付け後の状態変化指標を統合する。重み付けは、信頼性の高い偏光情報の重みを大きくする。

偏光画像における対象物体の画像領域は対象物体特定部で特定する。対象物体特定部は、例えば無偏光画像生成部で生成された無偏光画像を用いて認識処理を行い対象物体の画像領域を特定する。

また、状態変化検出部で得られた対象物体の状態変化検出結果を出力する出力部を備えて、出力部は、例えば無偏光画像生成部で生成された無偏光画像に対して状態変化検出部で得られた状態変化検出結果の関連付けを行い、無偏光画像に対して状態変化検出結果に応じた画像処理を行って出力する。

この技術の第２の側面は、
対象物体を示す時系列の偏光画像から、偏光画像毎に偏光情報を偏光情報算出部で算出することと、
前記偏光情報算出部で算出された前記偏光情報の時系列変化に基づいて前記対象物体の状態変化を状態変化検出部で検出すること
を含む情報処理方法にある。

この技術の第３の側面は、
対象物体の状態変化の検出をコンピュータで実行させるプログラムであって、
前記対象物体を示す時系列の偏光画像から、偏光画像毎に偏光情報を算出する手順と、
算出した前記偏光情報の時系列変化に基づいて前記対象物体の状態変化を検出する手順と
を前記コンピュータで実行させるプログラムにある。

実施の形態の構成を例示した図である。 偏光撮像部の構成を例示した図である。 複数の偏光方向の画素構成を例示した図である。 複数の偏光方向の画素構成（三原色画素と白色画素を設けた場合）を例示した図である。 複数の偏光方向の画素構成（無偏光画素を設けた場合）を例示した図である。 実施の形態の動作を例示したフローチャートである。 状態変化検出処理を例示したフローチャートである。 時間の経過と共に偏光情報の変化が所定の変化よりも少なくなったことを検出する場合の動作を例示した図である。 時間の経過と共に偏光情報の変化が所定の変化よりも多くなったことを検出する場合の動作を例示した図である。 偏光情報と閾値の比較結果に基づき状態変化指標を設定する場合を例示した図である。 状態変化検出結果のみを出力する場合を例示した図である。 状態変化検出結果と無偏光画像と関連付けて出力する場合を例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．実施の形態の構成
２．実施の形態の動作
３．応用例

＜１．実施の形態の構成＞
図１は、本技術の実施の形態の構成を例示している。情報処理システム１０は、偏光画像を取得する偏光撮像部２０、偏光撮像部２０で取得された時系列の偏光画像から画像毎に偏光情報を算出する偏光情報算出部３０、状態変化の検出対象である対象物体を特定する対象物体特定部５０、偏光情報算出部３０で算出された偏光情報の時系列変化に基づいて対象物体の状態変化を検出する状態変化検出部６０、対象物体の状態変化検出結果を出力する出力部７０を有している。また、情報処理システム１０は、偏光撮像部２０で取得された偏光画像から無変更画像を生成する無偏光画像生成部４０を設けて、対象物体特定部５０は、無偏光画像に基づいて対象物体を特定してもよく、出力部７０は状態変化検出結果を無偏光画像と関連付けて出力してもよい。以下、無偏光画像生成部４０を設けた場合について説明する。

図２は、偏光撮像部の構成を例示している。偏光撮像部２０は、偏光素子を用いて撮像を行い、偏光画像を取得する。偏光撮像部２０は、例えば図２の（ａ）に示すように、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサ２０１に、複数の偏光方向の画素構成とされた偏光フィルタ２０２を配置して偏光画像を取得する。偏光フィルタ２０２は、対象物体を示す被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。なお、偏光フィルタ２０２および後述する偏光板２０４，２１２-1～２１２-4の矢印は偏光方向を示している。

また、偏光撮像部２０は、図２の（ｂ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサ２０１の前面にレンズ２０３を複数（図では４個）設けて、各レンズ２０３によって対象物体の光学像をイメージセンサ２０１の撮像面にそれぞれ結像させる。また、各レンズ２０３の前面に偏光板２０４を設けて、偏光板２０４の偏光方向を異なる方向として、偏光方向が異なる複数の偏光画像を生成する。このように偏光撮像部２０を構成すれば、１回の撮像で複数の偏光画像を取得できることから速やかに対象物体の認識処理を行える。また、図２の（ｃ）に示すように、撮像部２１０-1～２１０-4の前に互いに偏光方向が異なる偏光板２１２-1～２１２-4を設けた構成として、異なる複数の視点から偏光方向が異なる複数の偏光画像を生成してもよい。

なお、対象物体の動きが遅い場合やステップ的に動作する場合には、図２の（ｄ）に示すように、撮像部２１０の前に偏光板２１１を設けた構成としてもよい。この場合、偏光板２１１を回転させて異なる複数の偏光方向でそれぞれ撮像を行い、偏光方向が異なる複数の偏光画像を取得する。

また、図２の（ｂ），（ｃ）の場合、対象物体までの距離に対して各レンズ２０３や撮像部２１０-1～２１０-4の位置間隔が無視できる程度に短ければ、偏光方向が異なる複数の偏光画像では視差を無視することができる。したがって、偏光方向が異なる偏光画像の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、視差を無視することができない場合は、偏光方向が異なる偏光画像を視差量に応じて位置合わせして、位置合わせ後の偏光画像の輝度を平均すれば無偏光の通常輝度画像と同等の画像を取得することができる。また、図２の（ｄ）の場合、画素毎に偏光方向が異なる輝度偏光画像の輝度を平均することで、無偏光である通常輝度画像と同等の画像を取得できる。

図３，図４，図５は、複数の偏光方向の画素構成を例示しており、図に示す構成が水平方向及び垂直方向に繰り返されている。図３の（ａ）、（ｂ）は白黒画像を取得する場合の画素構成を例示している。なお、図３の（ａ）は２×２画素の偏光画素ブロックを、例えば偏光方向（偏光角）が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。また、図３の（ｂ）は２×２画素を偏光方向の単位として、４×４画素の偏光画素ブロックを、例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。なお、偏光フィルタの偏光成分単位が図３の（ｂ）に示すように２×２画素である場合、偏光成分単位毎に得られた偏光成分に対して、隣接する異なる偏光成分単位の領域からの偏光成分の漏れ込み分の割合は、図３の（ａ）に示す１×１画素に比べて少なくなる。また、偏光フィルタがワイヤーグリッドを用いている場合、格子の方向（ワイヤー方向）に対して電場成分が垂直方向である偏光光が透過されて、透過率はワイヤーが長いほど高くなる。このため、偏光成分単位が２×２画素である場合は、１×１画素に比べて透過率が高くなる。このため、偏光成分単位が２×２画素である場合は１×１画素に比べて透過率が高くなり、消光比を良くすることができる。

図３の（ｃ）乃至（ｇ）はカラー画像を取得する場合の画素構成を例示している。図３の（ｃ）は、図３の（ａ）に示す２×２画素の偏光画素ブロックを１つの色単位として、三原色画素（赤色画素と緑色画素と赤色画素）をベイヤ配列とした場合を示している。

図３の（ｄ）は、図３の（ｂ）に示す２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けた場合を例示している。

図３の（ｅ）は、２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けて、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。

図３の（ｆ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、水平方向に隣接する画素ブロックとの偏光方向の位相差が９０で、垂直方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。

図３の（ｇ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、垂直方向に隣接する画素ブロックとの偏光方向の位相差が９０で、水平方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。

図４は三原色画素と白色画素を設けた場合を例示している。例えば、図４の（ａ）は、図３の（ｄ）に示す２×２画素の同一偏光方向でベイヤ配列の画素ブロックにおいて１つの緑色画素を白色画素とした場合を例示している。

図４の（ｂ）は、図３の（ｅ）に示す２×２画素の同一偏光方向でベイヤ配列の画素ブロックにおいて１つの緑色画素を白色画素として、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。

このように白色画素を設けることで、特許文献「国際公開第２０１６／１３６０８５号」で開示されているように、法線情報の生成におけるダイナミックレンジを、白色画素を設けていない場合に比べて拡大できる。また、白色画素はＳ／Ｎ比が良好であることから、色差の算出等においてノイズの影響を受けにくくなる。

図５は、無偏光画素を設けた場合を例示しており、図５の（ａ）乃至（ｄ）は白黒画像、図５の（ｅ）乃至（ｌ）はカラー画像を取得する場合を例示している。なお、偏光方向と色画素の表示は、図３と同様である。

図５の（ａ）は、図３の（ｂ）に示す２×２画素の同一偏光方向の画素ブロックにおいて、斜め方向に位置する偏光画素を無偏光画素とした場合を例示している。

図５の（ｂ）は２×２画素の画素ブロック内に位相差が４５度の偏光画素を斜め方向に設けて、隣接する画素ブロックとは偏光画素が９０度の位相差を有するように構成した場合を例示している。

図５の（ｃ）は、２×２画素の画素ブロック内に等しい偏光方向の偏光画素を斜め方向に設けて、隣接する画素ブロックとは偏光画素が４５度の位相差を有しており、偏光画素の偏光方向は４５度の位相差を有する２方向とした場合を例示している。なお、無偏光画素と２つの偏光方向の偏光画素からの偏光情報の取得は、例えば特許文献「国際公開第２０１８／０７４０６４号」で開示された技術を用いればよい。

図５の（ｄ）は、２×２画素の画素ブロック内に４５度の位相差を有する偏光画素を斜め方向に設けて、偏光画素の偏光方向は４５度の位相差を有する２方向とした場合を例示している。

図５の（ｅ）は、４つ異なる偏光方向である２×２画素の画素ブロックと、無偏光画素からなる２×２画素の画素ブロックをそれぞれ２つ用いて、４×４画素の画素ブロックを構成して、偏光画素の画素ブロックは緑色画素、無偏光画素の画素ブロックは赤色画素または青色画素として、同一色の画素ブロック（２×２画素）をベイヤ配列として設けた場合を例示している。

図５の（ｆ）は、偏光画素が図５の（ｄ）と同様に設けられており、２つの異なる偏光方向の偏光画像と２つの無偏光画素からなる画素ブロックを色単位として、三原色の画素ブロックをベイヤ配列として設けた場合を例示している。

図５の（ｇ）は、２×２画素の画素ブロックを色単位として、三原色の画素ブロックをベイヤ配列として設けて、緑色画素の画素ブロックに２つの異なる偏光方向の偏光画素を設けた場合を例示している。

図５の（ｈ）は、偏光画素が図５の（ｄ）と同様に設けられており、２つの異なる偏光方向の偏光画像と２つの無偏光画素からなる画素ブロックは３つの緑色画素と、１つの無偏光画素を赤色画素として、隣接ずる画素ブロックでは１つの無偏光画素を青色画素とした場合を例示している。

図５の（ｉ）（ｊ）は、無偏光画素を色画素として、４×４画素の画素ブロックに三原色の画素を設けた場合を示している。また、図５の（ｋ），（ｌ）は、無偏光画素の一部を色画素として、４×４画素の画素ブロックに三原色の画素を設けた場合を示している。

なお、図３乃至図５に示す構成は例示であって、他の構成を用いてもよい。また、夜間等でも高感度な撮像を可能するため、赤外（ＩＲ）画素を混在して繰り返した構成であってもよい。

次に、偏光情報算出部３０で算出する偏光情報について説明する。偏光板を観測方向に対して垂直に設置して、部分偏光した光を偏光板を通して観測する場合、偏光板を回転させるごとに透過光の輝度が変化する。ここで、偏光板を回転させたとき，最も高い輝度をImax，最も低い輝度をIminとして、２次元座標系（ｘ軸とｙ軸）を偏光板の平面上に定義したとき，偏光板を回転させたときの角度である偏光角υは，偏光板の偏光軸とｘ軸のなす角として定義され，ｘ軸からｙ軸に向かう角度として表現される。なお、偏光軸は、偏光板において光が透過して偏光する向きを表す軸である。偏光板を回転させると偏光方向は１８０°の周期性を有しており、偏光角は０°から１８０°までの値をとる。ここで、最大輝度Imaxが観測されたときの偏光角θpolを位相角φと定義すると、偏光板を回転させたときに観測される輝度Ｉは式（１）のように表すことができることが知られている。

式（１）では、偏光角θpolが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび位相角φが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示す偏光モデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示す偏光モデル式に基づいて、所望の位相角φの輝度を推定できる。

ここで、最小輝度Ｉminと最大輝度Ｉmaxから、偏光情報として式（２）に基づき偏光度ρを算出できる。なお、偏光度は観測される光の中での偏光の割合を表している。

また、式（１）に示す偏光モデル式は、式（３）に変形できる。なお、偏光素子の偏光方向を４５度の間隔として、例えば偏光方向が０度であるときの輝度を「Ｉ0」、偏光方向が４５度であるときの輝度を「Ｉ1」、偏光方向が９０度であるときの輝度を「Ｉ2」、偏光方向が１３５であるときの輝度を「Ｉ3」とした場合、式（３）における係数ａは、式（４）に示す値である。また、式（３）における係数ｂ，ｃは、式（５），（６）に示す値である。

このとき、偏光度ρは式（７）に基づいて算出することができる。また、偏光情報として、偏光位相φpは式（８）に基づいて算出できる。

また、偏光情報算出部３０は、偏光情報としてストークスベクトルを算出してもよい。式（９）はストークスベクトルＳを示している。なお、観測値Ｉ0，Ｉ45，Ｉ90，Ｉ135は、偏光方向が０°，４５°，９０°，１３５°の観測値を示している。

ストークスベクトルＳにおいて、成分Ｓ0は式（１０）に示すように無偏光の輝度もしくは平均輝度を示している。また、成分Ｓ1は、式（１１）に示すように０°と９０°の偏光方向の強度の差、成分Ｓ2は、式（１２）に示すように４５°と１３５°の偏光方向の強度の差を示している。

無偏光画像生成部４０は、偏光撮像部２０で取得された偏光画像から無偏光画像を生成する。無偏光画像生成部４０は、上述の式（１０）の演算を行い無偏光画像を生成する。また、図５に示すように無偏光画素が設けられている場合、無偏光画素で生成された画素値を用いて無偏光画像を生成してもよい。無偏光画像生成部４０は生成した無偏光画像を対象物体特定部５０と出力部７０へ出力する。

対象物体特定部５０は、偏光撮像部２０で取得された偏光画像、あるいは無偏光画像生成部４０で生成された無偏光画像から状態変化の検出対象である対象物体の領域を特定する。

対象物体の領域は、ユーザが特定してもよく、認識処理に基づき自動的に特定してもよい。ユーザが対象物体の領域を特定する場合、例えば予め画像の領域分割を行い、１または複数の対象物体に相当する領域をユーザが対象物体毎に指定することで領域を特定する。また、ユーザが対象物体の領域と他の領域との境界を指定して、１つ以上の閉領域を対象物体の領域として特定してもよい。

認識処理に基づき対象物体の領域を自動的に特定する場合、無偏光画像生成部４０で生成された無偏光画像を用いて従来と同様な認識処理を行い、認識された所望の被写体の領域を対象物体の領域として特定する。また、対象物体特定部５０は、例えば偏光度が高いものだけ自動的に抽出してもよく、時系列に偏光情報が変化した部分だけを自動的に抽出してもよい。

状態変化検出部６０は、偏光情報算出部３０で算出された偏光情報における対象物体特定部５０で特定されている対象物体の領域の偏光情報を用いて、偏光情報の時系列な変化に基づき対象物体の状態変化を検出する。状態変化検出部６０は、例えば時間の経過と共に偏光情報の変化が所定の変化よりも少なくなったこと、あるいは偏光情報の変化が所定の変化よりも多くなったことを状態変化として検出する。状態変化検出部６０は、状態変化検出結果を出力部７０へ出力する。

出力部７０は、対象物体の状態変化検出結果を出力する。出力部７０は、状態変化検出部６０で生成された状態変化検出結果に基づき、対象物体の状態変化を例えば画素毎に二値あるいは連続値で示した状態変化検出画像を出力する。また、出力部７０は、対象物体の状態変化を例えば対象物体毎に二値あるいは連続値で示した状態変化検出画像を出力してもよく、対象物体を含む画像単位で状態変化を二値あるいは連続値の状態変化検出情報として出力してもよい。

また、出力部７０は、対象物体の状態変化を例えば画素毎にあるいは対象物体毎に二値あるいは連続値で示す場合、無偏光画像生成部４０で生成された無偏光画像と状態変化検出部６０で生成された状態変化検出結果を関連付けて、例えば無偏光画像に対して状態変化検出結果に応じた画像処理を行って出力してもよい。

＜２．実施の形態の動作＞
図６は、実施の形態の動作を例示したフローチャートである。ステップＳＴ１で情報処理システムは偏光画像の取得を開始する。情報処理システム１０の偏光撮像部２０は撮像動作を開始して偏光画像の取得を行いステップＳＴ２に進む。なお、偏光撮像部２０の撮像間隔は予め所定時間間隔に設定してもよく、対象物体の状態変化に応じて設定してもよい。例えば状態変化が短時間で生じる場合には撮像間隔を短くして、状態変化が長時間を要する場合には撮像間隔を長くする。

ステップＳＴ２で情報処理システムは偏光情報を取得する。情報処理システム１０の偏光情報算出部３０は、偏光撮像部２０で順に取得された偏光画像から画像毎に偏光情報を算出する。偏光情報算出部３０は、対象物体の状態変化に応じて変化する１つまたは複数の偏光情報を算出する。例えば、偏光撮像部２０は、偏光度や偏光位相、ストークスベクトルを算出してステップＳＴ３に進む。

ステップＳＴ３で情報処理システムは無偏光画像を生成する。情報処理システム１０の無偏光画像生成部４０は、ステップＳＴ１で取得した偏光画像から無偏光画像を生成してステップＳＴ４に進む。

ステップＳＴ４で情報処理システムは対象物体を特定する。情報処理システム１０の対象物体特定部５０は、偏光画像において対象物体の領域を、ユーザ指示に基づきあるいは認識処理等によって特定してステップＳＴ５に進む。

ステップＳＴ５で情報処理システムは状態変化検出処理を行う。情報処理システム１０の状態変化検出部６０は、ステップＳＴ４で特定した例えば対象物体の偏光情報に基づき対象物体の状態変化を検出する。

図７は、状態変化検出処理を例示したフローチャートである。ステップＳＴ１１で状態変化検出部はフィルタ処理を行う。状態変化検出部６０は、対象物体の領域の偏光情報に対して、時間方向もしくは空間方向のフィルタ処理を行いノイズを除去する。例えば、状態変化検出部６０は、平均化フィルタ、メディアンフィルタ、ガウシアンなど等を用いてフィルタ処理を行いステップＳＴ１２に進む。なお、時間方向のフィルタ処理を行う場合に遅延を生じることから、例えば遅延による影響を受けないように、偏光画像の撮像間隔を調整してもよい。

ステップＳＴ１２で状態変化検出部は状態変化指標を算出する。状態変化検出部６０は、画素毎もしくは偏光情報毎に、時系列の偏光情報の変化を示す状態変化指標を算出する。状態変化検出部６０は、状態変化指標の算出対象画素（ｘ，ｙ）について偏光情報ｐ(x,y)の変化の傾きｓ(x,y,p)を算出する。さらに、状態変化検出部６０は、傾きｓ(x,y,p)に基づき時間ｔにおける状態変化指標ｃ(t,x,y,p)を算出する。

状態変化検出部６０は、時間の経過と共に偏光情報の変化が所定の変化よりも少なくなったことを検出する場合、式（１３）および式（１４）に基づき、二値である状態変化指標ｃ(t,x,y,p)を生成する。また、状態変化検出部６０は、式（１５）に基づき、連続値である状態変化指標ｃ(t,x,y,p)を生成してもよい。

図８は、時間の経過と共に偏光情報の変化が所定の変化よりも少なくなったことを検出する場合の動作を例示している。図８の（ａ）（ｂ）は偏光情報ｐ(x,y)の時間変化を例示しており、図８の（ａ）は、時間の経過とともに偏光情報ｐ(x,y)の値の減少量が少なくなった場合を例示している。また、図８の（ｂ）は、時間の経過とともに偏光情報ｐ(x,y)の増加量が少なくなった場合を例示している。

状態変化検出部６０は、図８の（ａ）に示す偏光情報ｐ(x,y)の時間変化の傾きｓ(x,y,p)の絶対値が時点ｔ1で閾値Ｔｈ1以下となった場合、式（１３），（１４）に基づき、状態変化指標ｃ(x,y,p)は「１」から「０」に変化する。また、図８の（ｂ）に示す偏光情報ｐ(x,y)の時間変化の傾きｓ(x,y,p)の絶対値が時点ｔ2で閾値Ｔｈ1以下となった場合、式（１３），（１４）に基づき、状態変化指標ｃ(x,y,p)は図８の（ｃ）に示すように「０」から「１」に変化する。

また、式（１５）のパラメータαが傾きｓ(x,y,p)の絶対値の最大値に予め設定されている場合、式（１５）に基づき、状態変化指標ｃ(x,y,p)は図８の（ｄ）に示すように「０」から「１」へと連続的に変化する。

状態変化検出部６０は、時間の経過と共に偏光情報の変化が所定の変化よりも多くなったことを検出する場合、式（１６）および式（１７）に基づき、二値である状態変化指標ｃ(t,x,y,p)を生成する。また、状態変化検出部６０は、式（１８）に基づき、連続値である状態変化指標ｃ(t,x,y,p)を生成してもよい。

図９は、時間の経過と共に偏光情報の変化が所定の変化よりも多くなったことを検出する場合の動作を例示している。図９の（ａ）（ｂ）は偏光情報ｐ(x,y)の時間変化を例示しており、図９の（ａ）は、時間の経過とともに偏光情報ｐ(x,y)の値の減少量が多くなった場合を例示している。また、図９の（ｂ）は、時間の経過とともに偏光情報ｐ(x,y)の増加量が多くなった場合を例示している。

状態変化検出部６０は、図９の（ａ）に示す偏光情報ｐ(x,y)の時間変化の傾きｓ(x,y,p)の絶対値が時点ｔ3で閾値Ｔｈ2よりも小さくなった場合、式（１６），（１７）に基づき、状態変化指標ｃ(x,y,p)は「１」から「０」に変化する。また、図９の（ｂ）に示す偏光情報ｐ(x,y)の時間変化の傾きｓ(x,y,p)の絶対値が時点ｔ4で閾値Ｔｈ2よりも大きくなった場合、式（１６），（１７）に基づき、状態変化指標ｃ(x,y,p)は図９の（ｃ）に示すように「０」から「１」に変化する。

また、式（１８）のパラメータβが傾きｓ(x,y,p)の絶対値の最大値に予め設定されている場合、式（１８）に基づき、状態変化指標ｃ(x,y,p)は図９の（ｄ）に示すように「０」から「１」へと連続的に変化する。

また、状態変化検出部６０は、偏光情報の変化に関わらず偏光情報と予め設定された閾値との比較結果に基づき状態変化指標を設定してもよい。図１０は、偏光情報と閾値の比較結果に基づき状態変化指標を設定する場合を例示している。なお、状態変化検出部６０は、例えば偏光情報が閾値以下である場合に状態変化指標を「０」、偏光情報が閾値よりも大きい場合に状態変化指標を「１」とする。

図１０の（ａ），（ｃ）は、画素（ｘ，ｙ）の偏光情報ｐ(x,y)を時間毎に示している。例えば、画素（ｘ，ｙ）の偏光情報ｐ(x,y)が図１０の（ａ）のように変化する場合、図１０の（ｂ）に示すように、偏光情報ｐ(x,y)が閾値Ｔｈ3よりも大きい期間、状態変化指標ｃ(x,y,p)は「１」であり、偏光情報ｐ(x,y)が閾値Ｔｈ3以下となると状態変化指標ｃ(x,y,p)は「０」となる。

また、画素（ｘ，ｙ）の偏光情報ｐ(x,y)が図１０の（ｃ）のように変化する場合、図１０の（ｄ）に示すように、偏光情報ｐ(x,y)が閾値Ｔｈ4以下である期間、状態変化指標ｃ(x,y,p)は「０」であり、偏光情報ｐ(x,y)が閾値Ｔｈ4よりも大きくなると状態変化指標ｃ(x,y,p)は「１」となる。

状態変化検出部６０は、このように画素毎に状態変化指標の算出を偏光情報毎、および対象領域毎（あるいは画像全体）に行い、状態変化指標を「（偏光情報の数）×（領域内の画素数）×（領域の数（画像全体である場合は「１」））」の数だけ算出する。

ステップＳＴ１３で状態変化検出部は状態変化指標の統合処理を行う。状態変化検出部６０は、ステップＳＴ１２で算出した状態変化指標を統合する。状態変化指標の統合処理は、偏光情報毎、画素毎、対象物体の領域毎あるいは画像毎に行う。

状態変化検出部６０は、以下のいずれかの方法で状態変化指標の統合処理を行い、統合後の状態変化指標を対象物体の状態変化検出結果とする。

第１の方法では、（偏光情報の数）だけ統合して、対象物体の領域内の画素ごとに統合後の状態変化指標を対象物体の状態変化検出結果とする。例えば、時間ｔにおける領域Ｒjの画素(ｘi，ｙi)の状態変化指標の統合は、例えば式（１９）に基づいて行う。また、時間ｔにおける領域Ｒjの画素(ｘi，ｙi)の状態変化指標の統合は、式（２０）に示すように最大値を算出してもよく、式（２１）に示すように最小値や式（２２）に示すように中央値を算出してもよい。さらに、状態変化指標の統合は、平均値あるいはモード等の統計量を算出してもよい。なお、式（１９）における偏光情報の重みＷp1は偏光情報ｐ1に関する重み、重みＷpnは偏光情報ｐnに関する重みであり信頼性の高い偏光情報の重みを大きくする。例えば、偏光情報が偏光と偏光位相である場合、偏光度は状態変化に応じて変化する場合が多く、偏光位相はノイズによる影響が大きいことから、偏光度に対する重みＷpaを「Ｌａ」として、偏光位相に対する重みＷpbを「Ｌｂ＝（１－Ｌａ）：（Ｌａ＞Ｌｂ）」とする。また、偏光情報としてストークスベクトルをさらに用いる場合、偏光を表す成分Ｓ1について重みＷps1，成分Ｓ2についてＷps2を設定する。例えば、重みＷpa＝０．７、重みＷpb＝０．１、重みＷps1＝０．１、重みＷps2＝０．１とする。なお、偏光情報の数に応じて重みは予め正規化しておく。

第２の方法では、（偏光情報の数）×（領域内の画素数）を統合して領域毎に統合後の状態変化指標を対象物体の状態変化検出結果とする。例えば、時間ｔにおける領域Ｒjの状態変化指標の統合は、式（２３）または式（２４）に基づいて行う。また、式（２４）に示すように最大値を用いる場合に限らず、最小値や中央値、平均値やモードなど他の統計量を算出してもよい。なお、式（２３）における例えば重みＷi1は画素（ｘi1，ｙi1）に関する重み、重みＷinは画素（ｘin，ｙin）に関する重みである。重みＷi1～Ｗinは、領域重心からの距離の逆数、ガウス分布などの確率密度関数、偏光度やその他偏光情報の値を参考にする。また、領域ごとに画素数が異なるので重みは予め正規化しておく。

第３の方法では、（偏光情報の数）×（領域内の画素数）×（領域の数）を統合して画像に対して一つの状態変化指標を状態変化検出結果とする。例えば時間ｔにおける画像全体の状態変化指標は式（２５）または式（２６）に基づいて行う。また、式（２６）に示すように最大値を用いる場合に限らず、最小値や中央値あるいは平均値やモードなど他の統計量を算出してもよい。なお、式（２５）における例えば重みＷR1は領域Ｒ1に設定された重み、重みＷRnは領域Ｒnに設定された重みである。重みＷR1～ＷRnは、領域内の画素数、領域内の平均偏光度やその他偏光情報の値に基づいて設定する。また、画像ごとに領域数が異なるので重みは予め正規化しておく。

また、状態変化指標は、上述のように(偏光情報の数)→(領域内の画素数)→(領域の数)の順番で統合したが、順番を変えて(領域内の画素数)→(領域の数)→(偏光情報の数)の順番で統合しても良い。

図６に戻り、ステップＳＴ６で情報処理システムは状態変化検出結果を出力する。情報処理システム１０の出力部７０は、状態変化検出部６０で生成された状態変化検出結果の出力を行う。

出力部７０は、状態変化検出結果を出力する際に、状態変化検出結果のみを出力する。また、出力部７０は、状態変化検出結果を無偏光画像と関連付けて出力してもよい。例えば、出力部７０は、無偏光画像に対して状態変化検出結果に応じた画像処理を行い、状態変化検出結果に応じて無偏光画像の表示属性（例えば輝度，色相，彩度等の少なくとも何れか）を変化させてもよく、状態変化検出結果を示す画像を無偏光画像に重畳してもよい。

出力部７０は、画素毎に状態変化検出結果が得られている場合、例えば無偏光画像の対応する画素の表示属性を状態変化検出結果に応じて変化させる。また、領域毎に状態変化検出結果が得られている場合、出力部７０は無偏光画像の対応する領域の表示属性を状態変化検出結果に応じて変化させてもよく、状態変化検出結果に応じた画像を偏光画像の対応する領域に重畳してもよい。さらに、画像毎に状態変化検出結果が得られている場合、出力部７０は無偏光画像に状態変化検出結果を示す情報を付加する。

図１１は、状態変化検出結果のみを出力する場合を例示している。図１１では、２つの対象物体ＯＢ1，ＯＢ2が偏光画像に含まれており、図１１の（ａ），（ｂ）は、画素毎に状態変化検出結果のみを出力する場合であり、図１１の（ｃ），（ｄ）は、対象物体ＯＢ1，ＯＢ2の領域毎の状態変化検出結果のみを出力する場合である。また、図１１の（ａ），（ｃ）は、状態変化検出結果が「０」と「１」の二値である場合を示しており、図１１の（ｂ），（ｄ）は、状態変化検出結果が「０」から「１」の範囲の連続値である場合を示している。

図１２は、状態変化検出結果と無偏光画像と関連付けて出力する場合を例示している。図１２の（ａ）と図１２の（ｄ）は、無偏光画像を例示しており、対象物体ＯＢは例えばシャツである。なお、シャツが濡れていると偏光度が高く、乾いてくると偏光度が低くなる。

図１２の（ｂ）と図１２の（ｅ）は、状態変化検出結果を例示しており、図１２の（ｂ）は、状態変化検出結果が「０」と「１」の二値である場合、図１２の（ｅ）は、状態変化検出結果が「０」から「１」の範囲の連続値である場合を示している。

出力部７０は、状態変化検出結果が「０」と「１」の二値である場合、図１２の（ａ）に示す無偏光画像に対して、図１２の（ｂ）に示す状態変化検出結果に応じた画像処理を行い、無偏光画像に状態変化検出結果が関連付けられている図１２の（ｃ）に示す画像を出力する。

また、出力部７０は、状態変化検出結果が「０」から「１」の範囲の連続値である場合、図１２の（ｄ）に示す無偏光画像に対して、図１２の（ｅ）に示す状態変化検出結果に応じた画像処理を行い、無偏光画像に状態変化検出結果が関連付けられている図１２の（ｆ）に示す画像を出力する。

このように、濡れたシャツが乾いてくると偏光度が低くなって、シャツが乾いた状態では偏光度が低い状態となり、図８に示すように状態変化検出結果が「０」から「１」に、あるいは「０」から連続して「１」に変化する。したがって、情報処理システム１０は、シャツの乾き状態を数値や無偏光画像に対する画像処理結果で示すことができる。

このような本技術によれば、偏光情報の変化に基づき対象物体の状態変化を容易に把握できるようになる。また、状態変化検出結果は、無偏光画像と関連付けて出力できるので、対象物体がどのような対象物体であり、対処物体のいずれの位置でどのような状態変化を生じているか、例えば洗濯物などの乾き状態等を容易に判別できる。

＜３．応用例＞
ところで、上述の実施の形態の動作では、洗濯物の状態変化を検出する場合を例示したが、観測する状態変化が偏光情報の変化を伴うものであれば、種々の対象物体の観測に適用できる。例えば靴、床面、塗料や接着剤等の塗布面が乾燥状態となっているか、洗濯物に雨がかかってあるいは氷が溶けて液体付着状態となっているか検出できる。また、表面の劣化や腐食，摩耗等によって偏光情報が変化する場合、施設や設備等を所定時間間隔で撮像した偏光画像に基づき、離れた位置から施設や設備等の劣化や腐食，摩耗，金属疲労等を把握できるようになる。

また、道路等を所定時間間隔で撮像して偏光画像を取得すれば、偏光画像に基づき路面が乾燥状態や湿潤状態あるいは凍結状態であるか把握することが可能となるので、道路状況の管理を精度よく容易に行うこともできる。

さらに、本技術の情報処理システムは、状態変化を検出できるだけでなく無偏光画像を出力できるので、監視分野例えば盗難防止や不審者検知・ペットの見守り等にも利用できる。また、通常は無偏光画像を出力して、状態変化検出が必要となった場合（例えば状態変化を検出する機能が有効とされた場合等）にのみ、無偏光画像に状態変化検出結果を関連付けて出力することもできる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからセルラーに代表されるＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の情報処理装置は以下のような構成も取ることができる。
（１） 対象物体を示す時系列の偏光画像から、偏光画像毎に偏光情報を算出する偏光情報算出部と、
前記偏光情報算出部で算出された前記偏光情報の時系列変化に基づいて前記対象物体の状態変化を検出する状態変化検出部と
を備える情報処理装置。
（２） 前記状態変化検出部は、前記偏光情報の時系列の変化を示す状態変化指標を算出して、前記状態変化指標に基づいて前記対象物体の状態変化を検出する（１）に記載の情報処理装置。
（３） 前記状態変化検出部は、前記偏光画像の画素位置毎に前記状態変化指標を算出する（２）に記載の情報処理装置。
（４） 前記偏光情報算出部は、異なる複数の偏光情報を算出して、
前記状態変化検出部は、前記偏光情報毎に前記状態変化指標を算出する（２）または（３）に記載の情報処理装置。
（５） 前記状態変化検出部は、前記状態変化指標の統合を行い、統合後の前記状態変化指標に基づいて前記対象物体の状態変化を検出する（２）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記状態変化検出部は、前記状態変化指標に対して重み付けを行い、重み付け後の前記状態変化指標を統合する（５）に記載の情報処理装置。
（７） 前記状態変化検出部は、信頼性の高い偏光情報の重みを大きくする（６）に記載の情報処理装置。
（８） 前記状態変化検出部は、前記対象物体を示す画像領域内の画素毎、または前記対象物体を示す画像領域毎に重みを設定する（６）または（７）に記載の情報処理装置。
（９） 前記状態変化検出部は、前記偏光画像の画素位置毎に前記状態変化指標の統合を行う（５）乃至（８）のいずれかに記載の情報処理装置。
（１０） 前記状態変化検出部は、前記偏光画像における前記対象物体毎に前記状態変化指標の統合を行う（５）乃至（９）のいずれかに記載の情報処理装置。
請求項５に記載の情報処理装置。
（１１） 前記状態変化検出部は、前記対象物体の状態変化の検出として、時間の経過と共に前記偏光情報の変化が所定の変化よりも少なくなったこと、あるいは前記偏光情報の変化が所定の変化よりも多くなったことを検出する（２）乃至（１０）のいずれかに記載の情報処理装置。
（１２） 前記偏光画像における前記対象物体の画像領域を特定する対象物体特定部を備え、
前記対象物体特定部で特定された前記対象物体の画像領域の前記状態変化指標に基づいて状態変化を検出する（２）乃至（１１）のいずれかに記載の情報処理装置。
請求項２に記載の情報処理装置。
（１３） 前記偏光画像から無偏光画像を生成する無偏光画像生成部を備え、
前記対象物体特定部は、前記無偏光画像生成部で生成された前記無偏光画像を用いて認識処理を行い前記対象物体の画像領域を特定する（１２）に記載の情報処理装置。
（１４） 前記状態変化検出部で得られた前記対象物体の状態変化検出結果を出力する出力部を備える（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５） 前記偏光画像から無偏光画像を生成する無偏光画像生成部を備え、
前記出力部は、前記無偏光画像生成部で生成された無偏光画像に対して前記状態変化検出部で得られた状態変化検出結果を関連付けて出力する（１４）に記載の情報処理装置。
（１６） 前記出力部は、前記無偏光画像生成部で生成された前記無偏光画像に対して状態変化検出結果に応じた画像処理を行い出力する（１５）に記載の情報処理装置。

１０・・・情報処理システム
２０・・・偏光撮像部
３０・・・偏光情報算出部
４０・・・無偏光画像生成部
５０・・・対象物体特定部
６０・・・状態変化検出部
７０・・・出力部
２０１・・・イメージセンサ
２０２・・・偏光フィルタ
２０３・・・レンズ
２０４，２１１，２１２-1～２１２-4・・・偏光板
２１０，２１０-1～２１０-4・・・撮像部

Claims (17)

1. 対象物体を示す時系列の偏光画像から、偏光画像毎に偏光情報を算出する偏光情報算出部と、
   前記偏光情報算出部で算出された前記偏光情報の時系列変化を示す状態変化指標を算出して、前記状態変化指標に基づいて前記対象物体の状態変化を検出する状態変化検出部と
   を備える情報処理装置。
2. 前記状態変化検出部は、前記偏光画像の画素位置毎に前記状態変化指標を算出する
   請求項１に記載の情報処理装置。
3. 前記偏光情報算出部は、異なる複数の偏光情報を算出して、
   前記状態変化検出部は、前記偏光情報毎に前記状態変化指標を算出する
   請求項１に記載の情報処理装置。
4. 前記状態変化検出部は、前記状態変化指標の統合を行い、統合後の前記状態変化指標に基づいて前記対象物体の状態変化を検出する
   請求項１に記載の情報処理装置。
5. 前記状態変化検出部は、前記状態変化指標に対して重み付けを行い、重み付け後の前記状態変化指標を統合する
   請求項４に記載の情報処理装置。
6. 前記状態変化検出部は、信頼性の高い偏光情報の重みを大きくする
   請求項５に記載の情報処理装置。
7. 前記状態変化検出部は、前記対象物体を示す画像領域内の画素毎、または前記対象物体を示す画像領域毎に重みを設定する
   請求項５に記載の情報処理装置。
8. 前記状態変化検出部は、前記偏光画像の画素位置毎に前記状態変化指標の統合を行う
   請求項４に記載の情報処理装置。
9. 前記状態変化検出部は、前記偏光画像における前記対象物体毎に前記状態変化指標の統合を行う
   請求項４に記載の情報処理装置。
10. 前記状態変化検出部は、前記対象物体の状態変化の検出として、時間の経過と共に前記偏光情報の変化が所定の変化よりも少なくなったこと、あるいは前記偏光情報の変化が所定の変化よりも多くなったことを検出する
    請求項１に記載の情報処理装置。
11. 前記偏光画像における前記対象物体の画像領域を特定する対象物体特定部を備え、
    前記対象物体特定部で特定された前記対象物体の画像領域の前記状態変化指標に基づいて状態変化を検出する
    請求項１に記載の情報処理装置。
12. 前記偏光画像から無偏光画像を生成する無偏光画像生成部を備え、
    前記対象物体特定部は、前記無偏光画像生成部で生成された前記無偏光画像を用いて認識処理を行い前記対象物体の画像領域を特定する
    請求項１１に記載の情報処理装置。
13. 前記状態変化検出部で得られた前記対象物体の状態変化検出結果を出力する出力部を備える
    請求項１に記載の情報処理装置。
14. 前記偏光画像から無偏光画像を生成する無偏光画像生成部を備え、
    前記出力部は、前記無偏光画像生成部で生成された無偏光画像に対して前記状態変化検出部で得られた状態変化検出結果を関連付けて出力する
    請求項１３に記載の情報処理装置。
15. 前記出力部は、前記無偏光画像生成部で生成された前記無偏光画像に対して状態変化検出結果に応じた画像処理を行い出力する
    請求項１４に記載の情報処理装置。
16. 対象物体を示す時系列の偏光画像から、偏光画像毎に偏光情報を偏光情報算出部で算出することと、
    前記偏光情報算出部で算出された前記偏光情報の時系列変化を示す状態変化指標を算出して、前記状態変化指標に基づいて前記対象物体の状態変化を状態変化検出部で検出すること
    を含む情報処理方法。
17. 対象物体の状態変化の検出をコンピュータで実行させるプログラムであって、
    前記対象物体を示す時系列の偏光画像から、偏光画像毎に偏光情報を算出する手順と、
    算出した前記偏光情報の時系列変化を示す状態変化指標を算出して、前記状態変化指標に基づいて前記対象物体の状態変化を検出する手順と
    を前記コンピュータで実行させるプログラム。

Images