JP4771797B2 - 距離計測装置及び距離計測方法 - Google Patents

Description

本発明は、画像中の撮影対象物の距離を測定する距離計測装置及び距離計測方法に関する。

近年、特定の装置（以下、単に装置とも言う）から撮影対象物（人物）までの距離を取得する技術が開発されている。以下、説明を分かりやすくするため、撮影対象物を人物として説明をする。このような技術は、エアバッグ制御やロボット制御などへ応用されている。ここで、装置から人物までの距離を取得する方法として、超音波、レーザレーダ、カメラが用いられている。しかし、コストや人体への影響などを考えると、カメラがより適している。カメラにも様々なものがあるが、複眼カメラを用いることにより高精度な距離測定を行うことが可能となる。複眼カメラを用いた距離測定方法として、ステレオマッチングが挙げられる。ステレオマッチングとは、立体を構成する左右の画像から面積相関などにより自動的に写された立体物の同一場所を探索し、距離情報に変換する技術を言う。しかし、ステレオマッチングにおける処理コストは高い。なお、実環境下においては、光源の位置によってカメラごとで写される物体からの反射光量の違いなどが生じ、ステレオマッチングでの対応点を正しく探索することができない場合があり、これにより、求めた距離精度が低下する。さらに、実環境下においては、障害物による光の遮蔽（影）などによる照明条件の変化により、人物（顔）の表面上に輝度のムラが生じることで人物検出が困難になる。さらに、装置に対して正面に向いている人物の顔でも、無意識に顔がカメラに対してカメラ光軸のまわりに回転する（面内回転）場合があり、人物検出が困難になる。

このような問題を解決する技術を以下に示す。まず、ステレオマッチングにおける処理コストが高いという問題に対しては、ステレオマッチングで濃淡エッジなどの特徴を用いる。このような技術は、下記の特許文献１に開示されている。特許文献１に開示されている技術では、画像を微分し、得られたエッジ画像を用いてステレオマッチングを実施している。また、実環境下において、障害物による光の遮蔽（影）などによる照明条件の変化により、人物（顔）の表面上に輝度のムラが生じることで人物検出が困難になるという問題に対しては、超音波などの対面距離センサを用いた人物検出を導入する。このような技術は、下記の特許文献２に開示されている。特許文献２に開示されている技術では、人物の頭部を検出する頭部検出追従手段に対面距離センサを用いている。また、装置に対して正面に向いている人物の顔でも、無意識に顔がカメラに対してカメラ光軸のまわりに回転する（面内回転）場合があり、人物検出が困難になるという問題に対しては、顔の特徴である目、鼻、口の位置関係を用いて顔の向きを補正する技術を用いる。このような技術は、下記の特許文献３に開示されている。特許文献３に開示されている技術では、まず、顔の特徴である目の位置を抽出し、その情報を用いて口の位置を求めてから目と口の位置関係を用いて顔の向き（面内回転）を補正している。
特開２００３−１５８１６号公報（段落００３５） 特開２００２−５６３８８号公報（段落００１９） 特開２０００−１６３５９２号公報（段落００１０）

しかしながら、特許文献１に開示された技術では、エッジに対してのみ距離情報が求められるため、疎な距離情報になってしまうという問題がある。また、特許文献２に開示された技術では、対面距離センサによってコストが増加してしまうという問題がある。また、特許文献３に開示された技術では、目の位置の抽出精度に大きく依存しており、また顔の向きを補正するための計算量も多いという問題がある。

本発明は、上記問題を解決するためのものであり、コストを抑え、高速、かつ高精度な距離計測を行うことができる距離計測装置及び距離計測方法を提供することを目的とする。

上記目的を達成するために、本発明によれば、所定間隔を保って配置された２つのカメラによって撮影対象物を撮影する撮影手段と、前記撮影手段の前記２つのカメラによって撮影された前記撮影対象物の画像のうち、一方の画像に対して、所定の画像領域下において、撮影時の照明環境の影響を除去して前記画像の画質改善処理を行う画質改善手段と、前記画質改善手段によって画質改善された前記画像に基づいて、前記画像上の前記撮影対象物における輝度のムラの影響を低減させるため、前記画像上の輝度の濃い部分の画像領域を前記画像上の所定の基準線を基準にして反転させ、前記反転前の画像の輝度値と前記反転後の画像の輝度値を用いて前記画像の平滑化を行う反転・平滑化処理をして前記画像上における前記撮影対象物の前記位置情報を検出する検出手段と、前記検出手段によって検出された前記画像上における前記撮影対象物の前記位置情報に基づいて、処理対象となる前記画像上の画像領域を限定し、限定された前記画像領域において、前記撮影手段の前記２つのカメラによって撮影された２つの画像に対して輝度変化を強調する処理を行う補正処理手段と、限定された前記画像領域において、前記補正処理手段によって処理された２つの前記画像間の対応点を探索し、探索した前記対応点の位置のずれに基づいて、視差画像情報を生成する視差画像情報生成手段と、前記視差画像情報生成手段によって生成された前記視差画像情報に基づいて、視差値を求め、前記視差値に基づいて、前記撮像手段と前記撮影対象物との間の距離を算出する距離算出手段とを備える距離計測装置が提供される。この構成により、コストを抑え、高速、かつ高精度な距離計測を行うことができる。

また、本発明において、前記撮影対象物が人物の顔であることは、本発明の好ましい態様である。この構成により、人物の顔の特徴を用いることができる。

また、本発明において、前記撮影手段によって前記撮影対象物を撮影する際、２４時間撮影を可能とするために、近赤外光を前記撮影対象物に投光する近赤外光投光手段を備えることは、本発明の好ましい態様である。この構成により、距離計測装置を２４時間動作させることができる。

また、本発明において、前記２つのカメラの少なくとも一方に、前記撮影手段によって前記撮影対象物を撮影する際、可視光を含む外乱光の影響を低減させ、安定した画像を撮影可能とするために、前記近赤外光投光手段から投光される前記近赤外光の反射光のみを受光する特定波長透過フィルタを備えることは、本発明の好ましい態様である。この構成により、外乱光に対して安定した距離計測ができる。

また、本発明において、前記視差画像情報生成手段が高精度な前記対応点を探索するために動的計画法を用いることは、本発明の好ましい態様である。この構成により、高精度な距離計測ができる。

また、本発明において、前記補正処理手段が、光源位置による前記カメラごとで写される前記撮影対象物からの反射光の違いによる位置測定精度の低下を低減させ、実環境下において高精度な距離計測を可能とするために、LoGフィルタによる処理を行うことは、本発明の好ましい態様である。この構成により、実環境下において高精度な距離計測ができる。

また、本発明において、前記画質改善手段が、撮影時の照明環境の影響を吸収する対数変換フィルタと、前記対数変換フィルタを介した前記画像のコントラストの低下を軽減させるハイパスフィルタとを備えることは、本発明の好ましい態様である。この構成により、実環境下における照明条件の変化による影響が低減でき、照明変化に頑健な撮影対象物検出をすることができる。

また、本発明において、前記検出手段がニューラルネットワークを用いて前記画像上における前記撮影対象物の前記位置情報を検出することは、本発明の好ましい態様である。この構成により、対象物に適した識別を用いることができる。

また、本発明において、前記検出手段が、前記カメラの光軸まわりに回転する前記撮影対象物の検出を可能にするため、画質改善された前記画像が前記光軸に対して回転している場合に前記回転している方向とは逆方向に前記回転している回転量分を回転させ、前記画像上の前記撮影対象物があらかじめ学習された画像上の対象物に対してどの程度似ているかを示す類似度を求める複数の検出器を備え、前記検出器を用いて求められた前記類似度に基づいて絞り込まれた前記画像上における前記撮影対象物の前記位置情報を検出することは、本発明の好ましい態様である。この構成により、カメラの光軸まわりに回転（面内回転）する撮影対象物も検出することができる。

また、本発明において、前記検出手段が、前記画像上の輝度の濃い部分の画像領域を前記画像上の所定の基準線を基準にして反転させ、前記反転前の画像の輝度値と前記反転後の画像の輝度値を用いて前記画像の平滑化を行う反転・平滑化処理された画像上における前記撮影対象物の前記位置情報の検出を前記複数の検出器のうちの所定の検出器によって行い、前記反転・平滑化処理されていない画像上における前記撮影対象物の前記位置情報の検出を前記複数の検出器のうちの所定の検出器以外の検出器によって行うことは、本発明の好ましい態様である。この構成により、顔表面上の輝度ムラが軽減されるとともに、顔が左方向又は右方向に傾いている際でも顔表面上に擬似影が発生せず、顔を正しく検出することができる。

また、本発明において、前記検出手段が過去の検出結果に基づいて、用いる前記検出器を選択することは、本発明の好ましい態様である。この構成により、処理の高速化を実現することができる。

また、本発明によれば、所定間隔を保って配置された２つのカメラによって撮影対象物を撮影するステップと、前記２つのカメラによって撮影された前記撮影対象物の画像のうち、一方の画像に対して、所定の画像領域下において、撮影時の照明環境の影響を除去して前記画像の画質改善処理を行うステップと、画質改善された前記画像に基づいて、前記画像上の前記撮影対象物における輝度のムラの影響を低減させるため、前記画像上の輝度の濃い部分の画像領域を前記画像上の所定の基準線を基準にして反転させ、前記反転前の画像の輝度値と前記反転後の画像の輝度値を用いて前記画像の平滑化を行う反転・平滑化処理をして前記画像上における前記撮影対象物の位置情報を検出するステップと、検出された前記画像上における前記撮影対象物の前記位置情報に基づいて、処理対象となる前記画像上の画像領域を限定し、限定された前記画像領域において、前記２つのカメラによって撮影された２つの画像に対して輝度変化を強調する処理を行うステップと、限定された前記画像領域において、前記処理された２つの前記画像間の対応点を探索し、探索された前記対応点の位置のずれに基づいて、視差画像情報を生成するステップと、生成された前記視差画像情報に基づいて、視差値を求め、前記視差値に基づいて、前記２つのカメラを含む撮像手段と前記撮影対象物との間の距離を算出するステップとを有する距離計測方法が提供される。この構成により、コストを抑え、高速、かつ高精度な距離計測を行うことができる。

また、本発明において、前記撮影対象物が人物の顔であることは、本発明の好ましい態様である。この構成により、人物の顔の特徴を用いることができる。

また、本発明において、前記撮影対象物を撮影する際、２４時間撮影を可能とするために、近赤外光を前記撮影対象物に投光するステップを更に有することは、本発明の好ましい態様である。この構成により、距離計測装置を２４時間動作させることができる。

また、本発明において、前記撮影対象物を撮影する際、可視光を含む外乱光の影響を低減させ、安定した画像を撮影可能とするために、投光される前記近赤外光の反射光のみを受光するステップを更に有することは、本発明の好ましい態様である。この構成により、外乱光に対して安定した距離計測ができる。

また、本発明において、高精度な前記対応点を探索するために動的計画法を用いることは、本発明の好ましい態様である。この構成により、高精度な距離計測ができる。

また、本発明において、光源位置による前記カメラごとで写される前記撮影対象物からの反射光の違いによる位置測定精度の低下を低減させ、実環境下において高精度な距離計測を可能とするために、LoGフィルタによる処理を行うことは、本発明の好ましい態様である。この構成により、実環境において高精度な距離計測ができる。

また、本発明において、照明環境の影響を吸収する対数変換フィルタにより撮影時の照明環境の影響を吸収し、画像のコントラストの低下を軽減させるハイパスフィルタにより前記吸収された前記画像のコントラストの低下を軽減させることは、本発明の好ましい態様である。この構成により、実環境下における照明条件の変化による影響が低減でき、照明変化に頑健な撮影対象物検出をすることができる。

また、本発明において、ニューラルネットワークを用いて前記画像上における前記撮影対象物の前記位置情報を検出することは、本発明の好ましい態様である。この構成により、対象物に適した識別を用いることができる。

また、本発明において、前記カメラの光軸まわりに回転する前記撮影対象物の検出を可能にするため、画質改善された前記画像が前記光軸に対して回転している場合に前記回転している方向とは逆方向に前記回転している回転量分を回転させ、前記画像上の前記撮影対象物があらかじめ学習された画像の対象物に対してどの程度似ているかを示す類似度を求める複数の検出器を用いて求められた前記類似度に基づいて絞り込まれた前記画像上における前記撮影対象物の前記位置情報を検出することは、本発明の好ましい態様である。この構成により、カメラの光軸まわりに回転（面内回転）する撮影対象物も検出することができる。

また、本発明において、前記画像上の輝度の濃い部分の画像領域を前記画像上の所定の基準線を基準にして反転させ、前記反転前の画像の輝度値と前記反転後の画像の輝度値を用いて前記画像の平滑化を行う反転・平滑化処理された画像上における前記撮影対象物の前記位置情報の検出を前記複数の検出器のうちの所定の検出器によって行い、前記反転・平滑化処理されていない画像上における前記撮影対象物の前記位置情報の検出を前記複数の検出器のうちの所定の検出器以外の検出器によって行う本発明の好ましい態様である。この構成により、顔表面上の輝度ムラが軽減されるとともに、顔が左方向又は右方向に傾いている際でも顔表面上に擬似影が発生せず、顔を正しく検出することができる。

また、本発明において、過去の検出結果に基づいて、用いる前記検出器を選択することは、本発明の好ましい態様である。この構成により、処理の高速化を実現することができる。

本発明の距離計測装置及び距離計測方法は、上記構成を有し、コストを抑え、高速、かつ高精度な距離計測を行うことができる。

＜第１の実施の形態＞
以下、本発明の第１の実施の形態について、図１から図１６を用いて説明する。図１は本発明の第１の実施の形態に係る距離計測装置の構成を示す構成図である。図２は本発明の第１の実施の形態に係る距離計測装置における領域限定画質改善部の構成を示す構成図である。図３は本発明の第１の実施の形態に係る距離計測装置における顔検出部の構成を示す構成図である。図４は本発明の第１の実施の形態に係る距離計測装置における反転・平滑化処理について説明するための図である。図４（ａ）は反転前の画像を示す図である。図４（ｂ）は反転後の画像を示す図である。図４（ｃ）は平滑化された画像を示す図である。

図５は本発明の第１の実施の形態に係る距離計測装置における濃淡情報正規化の正規化について説明するための図である。図５（ａ）は入力画像の輝度値分布を示す図である。図５（ｂ）は出力画像の輝度値分布を示す図である。図６は本発明の第１の実施の形態に係る距離計測装置における顔識別部の入力画像の背景部分にかけられたマスクについて説明するための図である。図７は本発明の第１の実施の形態に係る距離計測装置における後処理部から出力される位置情報について説明するための図である。図８は本発明の第１の実施の形態に係る距離計測装置における過去の顔検出結果を示す図である。図９は本発明の第１の実施の形態に係る距離計測装置における領域限定明暗補正部の構成を示す構成図である。図１０は本発明の第１の実施の形態に係る距離計測装置における明暗補正処理の対象となる処理対象領域を示す図である。

図１１は本発明の第１の実施の形態に係る距離計測装置におけるLoGフィルタ処理後の画素値を変換した画素値を示す図である。図１２は本発明の第１の実施の形態に係る距離計測装置における領域限定ステレオマッチング部の構成を示す構成図である。図１３は本発明の第１の実施の形態に係る距離計測装置における視差値について説明するための図である。図１３（ａ）は視差値の概念を説明するための図である。図１３（ｂ）は動的計画法における視差値の算出について説明するための図である。図１４は本発明の第１の実施の形態に係る距離計測装置における人物距離算出部の構成を示す構成図である。図１５は本発明の第１の実施の形態に係る距離計測装置における最大視差値について説明するための図である。図１５（ａ）は顔表面における視差画像情報の視差値を示す図である。図１５（ｂ）は視差値の大小関係を示す図である。図１６は本発明の第１の実施の形態に係る距離計測装置における処理フローを説明するためのフローチャートである。

まず、本発明の第１の実施の形態に係る距離計測装置の構成について図１を用いて説明する。図１に示すように、距離計測装置１００は、ステレオ画像取得部１０４、近赤外光投光器１０５、領域限定画質改善部１０６、顔検出部１０７、領域限定明暗補正部１０８、領域限定ステレオマッチング部１０９、人物距離算出部１１０、履歴情報１１１から構成されている。ここで、以下に示す第１及び第２の実施の形態では、距離計測装置１００を特に人物との距離を計測する人物距離計測装置１００として説明する。本発明は様々な分野において用いることができる。ここでは、ロボット制御用、ゲーム制御用、エアバック制御用として説明する。まず、ロボット制御用の人物距離計測装置として説明する。人物距離計測装置１００では、人物距離算出部１１０で算出された距離情報を、不図示の知識・判断制御装置に送信する。この送信された距離情報に基づいて、知識・判断制御装置は、移動用のモーターを制御する。例えば、人間までの距離が遠ければ人間に近づくようにモーターを制御する。次に、ゲーム制御用の人物距離計測装置として説明する。人物距離計測装置１００では、人物距離算出部１１０で算出された距離情報を、不図示の操作制御装置に送信する。この送信された距離情報に基づいて、操作制御装置は、ゲームを操作する。最後に、エアバック制御用の人物距離計測装置として説明する。人物距離計測装置１００では、人物距離算出部１１０で算出された距離情報を不図示のエアバック制御装置に送信する。この送信された距離情報に基づいて、エアバック制御装置は、エアバックの展開方法や展開パワーなどを制御する。例えば、乗員の顔とエアバックとの距離に応じて、エアバックの展開パワーを数段階で制御する。

ステレオ画像取得部１０４は、さらに、特定波長透過フィルタ１０１ａを備えた右カメラ１０２ａ及び特定波長透過フィルタ１０１ｂを備えた左カメラ１０２ｂ、カメラ制御部１０３から構成されている。ここで、右カメラ１０２ａ及び左カメラ１０２ｂは、例えばCCD（Charge Coupled Device）カメラなどである。右カメラ１０２ａ及び左カメラ１０２ｂを設置する際、所定の間隔を保って配置させ、右カメラ１０２ａ及び左カメラ１０２ｂの光軸は、互いに平行で、かつ互いの光軸が同一の基準面にあることが望ましい。また、カメラ制御部１０３は、ステレオ画像取得部１０４全体の制御を行うものであり、例えば右カメラ１０２ａ及び左カメラ１０２ｂ、近赤外光投光器１０５に対して、撮影するための同期信号を送信する。この同期信号に基づいて、右カメラ１０２ａ及び左カメラ１０２ｂは撮影対象を撮影し、近赤外光投光器１０５は撮影対象に光を発する。

これにより、２４時間撮影を可能とする。なお、右カメラ１０２ａ及び左カメラ１０２ｂは、安定した画像を撮影するために、近赤外光投光器１０５が発光した光の反射光以外の光を受光しないことが必要である。そこで、近赤外光投光器１０５が発光した光の反射光のみを受光するように、右カメラ１０２ａ及び左カメラ１０２ｂに特定の波長の光だけを透過させる特定波長透過フィルタ１０１ａ及び１０１ｂを設けている。近赤外光投光器１０５は、上述したように、光を発光するものであるが、発光される光は、近赤外光である。発光される光が近赤外光であるため、特に人物を撮影対象とした場合、その視界に影響を与えない。

領域限定画質改善部１０６は、図２に示すように、注目領域設定部２００、ハイパスフィルタ２０１、対数変換フィルタ２０２を備えている。ここで、対数変換フィルタ２０２は、撮影時の照明環境（照明条件）の影響を吸収するためのフィルタである。対数変換後の輝度値は、下記の式（１）によって求めることができる。ここで、Iin（ｘ、ｙ）は対数変換前の画像の輝度値、Iout（ｘ、ｙ）は対数変換後の画像の輝度値であり、ａ、ｂ、ｃは所定のパラメータ値である。

しかし、対数変換フィルタ２０２を介した後の画像は、コントラストが低下するため、顔の器官（目、鼻、口など）も見えにくくなるという問題がある。ここで、顔の器官の画像は、高周波成分であるため、顔の器官の特徴を保つためにハイパスフィルタ２０１を導入することにより、撮影時の照明条件の影響を低減させながら高いコントラスト画像が得られる。ハイパスフィルタ２０１のフィルタマスクＨＰ（ｉ、ｊ）を下記の式（２）に示す。マスクサイズは、例えば３×３画素である。このように、フィルタマスクＨＰの中心を強調させることにより、高いコントラスト画像を得ることができる。

なお、上述したハイパスフィルタ２０１及び対数変換フィルタ２０２における処理において、無駄な処理を削減し、処理の高速化を実現するために、注目領域設定部２００は、履歴情報１１１に基づいて処理する領域を設定する。ハイパスフィルタ２０１及び対数変換フィルタ２０２は、設定された領域のみ処理を行えばよい。また、領域限定画質改善部１０６は、ステレオ画像取得部１０４から右カメラ１０２ａによって撮影された画像のみを受け取っているが、これについて説明する。高速な処理を実現するためには、まず測定したい対象物の位置を見つける必要がある。その対象物の位置を見つけるために右カメラ１０２ａのみの画像を用いている。なお、ここでは、右カメラ１０２ａの画像を用いているが、これに限られることはなく、左カメラ１０２ｂの画像を用いてもよい。また、履歴情報１１１には、過去に検出された人物の顔の、後述する位置情報などが蓄積されている。

顔検出部１０７は、図３に示すように、前処理部３００、顔識別部３０６〜３０８、後処理部３１６から構成されている。前処理部３００は、さらに、雑音除去部３０１、画像縮小部３０２、画像領域取得部３０３、反転・平滑化処理部３０４、濃淡情報正規化部３０５から構成されている。雑音除去部３０１では、領域限定画質改善部１０６から入力された画像に対して、不図示のローパスフィルタが適用され、雑音の除去が行われる。画像縮小部３０２では、右カメラ１０２ａ及び左カメラ１０２ｂから撮影対象の人物の顔までの距離の変化による顔の大きさの変化に対応するために、入力された画像が複数の大きさに変換される。

画像領域取得部３０３では、画像縮小部３０２で変換された複数の画像が所定の大きさ、例えばｈ（縦）×ｗ（幅）画素で切り出される。ここで、切り出された画像を切り出し画像と言う。反転・平滑化処理部３０４では、画像領域取得部３０３で切り出されたすべての切り出し画像に対して、偏った照明などにより顔の表面上に生じる輝度ムラの低減の処理がなされる。ここで、輝度ムラの低減の処理は、下記の式（３）及び（４）によって行われる。ここで、Ｉ’（ｘ、ｙ）は反転後の輝度値、Ｉ（ｘ、ｙ）は反転前の輝度値であり、ｗは上述した切り出し画像の幅である。また、Ｉ’’（ｘ、ｙ）は平滑化された輝度値である。ただし、ｘとｙの変域はそれぞれ０〜ｗ−１、０〜ｈ−１である。

反転・平滑化処理部３０４における処理の説明を分かりやすくするため、切り出し画像として顔全体が映し出された画像を用いて説明する。反転前の画像を図４（ａ）に、反転後の画像を図４（ｂ）に、平滑化後の画像を図４（ｃ）にそれぞれ示す。図４（ａ）は、反転前の画像を示しており、輝度の濃い（高い）部分４００が存在する。図４（ａ）の画像を反転させることにより、輝度の濃い部分４００が反転され、図４（ｂ）のような輝度の濃い部分４０１が得られる。この図４（ａ）及び（ｂ）を平滑化することによって図４（ｃ）のような平滑化画像が得られ、切り出し画像全体の輝度ムラが軽減される。

濃淡情報正規化部３０５では、反転・平滑化処理部３０４で処理された画像に対して、下記の式（５）を用いて切り出し画像全体の明るさの変動、例えば屋外での夜間と昼間などに対応するため、切り出し画像の濃淡情報を正規化する。ｈ（ｘ）は輝度値ｘの相対出現頻度、ｆ（ｇ）はヒストグラム平滑化後の輝度値である。また、Round［ ］は、小数点第１位以下を四捨五入することを意味する。この変換により、輝度値の累積出現割合に比例して０〜２５５までの輝度値に収まるように新たな輝度値が割り当てられる。図５（ａ）に入力画像の輝度値の分布が示されており、図５（ｂ）に出力画像の輝度値の分布が示されている。図５（ａ）に示す入力画像の輝度値の相対的な出現頻度を式（５）に代入することにより、図５（ｂ）に示すように画像の濃淡が正規化される。

濃淡情報正規化部３０５からの出力は、顔識別部３０６〜３０８へ入力される。本発明の第１の実施の形態では、右カメラ１０２ａ及び左カメラ１０２ｂの光軸のまわりに回転する顔の検出（顔の傾きの検出）を可能にするため、顔識別部３０７及び３０８を設けている。顔識別部３０７及び３０８の詳細については後述する。まず、顔識別部３０６について説明する。顔識別部３０６は、右カメラ１０２ａ及び左カメラ１０２ｂの光軸のまわりに回転しない顔の検出（正面に向いている顔の検出）をする識別部である。

顔識別部３０６は、階層型ニューラルネットワーク３０９を有している。階層型ニューラルネットワーク３０９は、入力層、隠れ層、出力層から構成されている。出力層からの出力値は、０から１までの数値であり、出力値が１に近いほど入力された画像は顔らしく、出力値が０に近いほど入力された画像は顔らしくないということを示す。なお、階層型ニューラルネットワークについては公知の技術であるため、詳細な説明については省略する。

顔識別部３０７及び３０８に関しては、双方とも同様の構成であるため、顔識別部３０７のみについて説明する。顔識別部３０７は、階層型ニューラルネットワーク３１０、マスク３１２、左右反転部３１３を有している。ここで、階層型ニューラルネットワーク３１０は、上述した階層型ニューラルネットワーク３０９と同様であるため、説明を省略する。左右反転部３１３は、撮影対象の人物が正面に向かって左右に傾いたときの顔の検出を可能にするため、入力された画像を正面（人物が左右に傾いていない）を対称軸にして反転させる。すなわち、左右反転部３１３は、例えば撮影対象の人物が正面に向かって右にα°傾いている（カメラの光軸に対して回転している）画像が自身に入力された場合、入力された画像を反転させて、左にα°傾いている画像を取得する。顔識別部３０８の左右反転部３１５でも同様であり、例えば撮影対象の人物が正面に向かって右にβ°傾いている画像が自身に入力された場合、入力された画像を反転させて、左にβ°傾いている画像を取得する。

ここで、撮影対象の人物が左右に傾いている画像には背景の部分も含まれ、精度の高い顔検出ができなくなるため、背景部分を排除する。背景部分を排除するものがマスク３１２である。マスク３１２について図６を用いて説明する。図６に示すように、マスク３１２は、入力画像に対して背景部分にマスクをかける。マスクをかけることにより、背景部分を排除することができ、より精度が高い顔検出ができる。

以上説明したように、顔識別部３０６〜３０８は、入力される画像に対して顔の類似度（入力された画像が学習された顔画像に対してどのくらい似ているかを表すもの）を求め、その結果を後処理部３１６へ出力する。後処理部３１６は、入力された顔の類似度に対して、所定の閾値などを用いて顔候補を選別し、選別後の複数の顔候補が同じ顔であるか調べ、候補を絞り込む。後処理部３１６は、絞り込まれた顔に対して、画像上での顔の位置情報、例えば検出された顔の中心座標、顔の大きさなどを出力する。位置情報について図７を用いて説明する。絞り込まれた画像上の顔７００には、ｈ×ｗで切り出された切り出し画像を拡大させた、顔の中心座標がＯｃで、Ｈｃ×Ｗｃの検出窓７０１がかけられる。

なお、顔検出の処理の高速化のために、図８に示す過去の顔検出結果を用いて顔識別部３０６〜３０８における処理範囲を限定することも可能である。この過去の顔検出結果は、履歴情報１１１に格納されていてもよく、また、不図示の所定の記憶領域に格納されていてもよい。ここで、図８について説明する。例えば、過去の時刻において、撮影対象の人物が左にα°傾いていた場合（図８の２行目の顔識別部３０７（左方向）において顔識別がされた場合）、次の時刻（現時刻）では、撮影対象の人物はさらに左にα°以上傾くか、若しくは正面方向に戻るかの２つの状態が考えられる。これは、短時間の間に、左にα°傾いていた状態から右にα°以上傾くということは考えにくいためである。よって、過去の時刻において、撮影対象の人物が左にα°傾いていた場合（図８の２行目の顔識別部３０７（左方向）において顔識別がされた場合）、次の時刻（現時刻）で想定される顔識別部３０８（左方向）、顔識別部３０７（左方向）、顔識別部３０６（正面）のみをそれぞれの顔識別部で処理すればよい。これにより、処理の高速化を図ることができる。

領域限定明暗補正部１０８は、図９に示すように、領域限定設定部９００と明暗補正処理部９０１とから構成されている。領域限定設定部９００は、顔検出部１０７から入力された画像上の顔の位置情報に基づいて、後述する明暗補正処理（輝度変化を強調する処理）の対象となる図１０に示すような処理対象領域１０００を設定し、その領域情報（座標）を出力する。明暗補正処理部９０１は、領域限定設定部９００からの領域情報に基づいて、ステレオ画像取得部１０４から右カメラ１０２ａ及び左カメラ１０２ｂの画像を取得し、取得した画像に対してLoG（Laplacian of Gaussian）フィルタによる明暗補正処理を行い、補正後の左右カメラの画像を出力する。なお、LoGフィルタについては公知の技術であるため、詳細については説明を省略する。LoGフィルタを下記の式（６）に示す。ここでは、Ｇ（ｘ、ｙ）、Ｉ（ｘ、ｙ）はそれぞれ入力画素値とLoGフィルタ処理後の画素値である。LoGフィルタの性能はσ（周辺画素との輝度変化を強調する度合いを表す数値）の値に依存する。ここではσ＝１とした。また、σ＝１の場合に生成されたフィルタマスクLoG（ｉ、ｊ）の係数を下記の式（７）に示す。このマスクサイズは７×７画素である。

LoGフィルタ処理後の輝度値は実数値であるが、画素（の輝度）値は離散値である。そのため、実数値から離散値に変換する必要がある。ここでは、下記の式（８）を用いて実数値から離散値に変換する。ここで、Ｊ（ｘ、ｙ）、Ｉ（ｘ、ｙ）はそれぞれ離散化した画素値とLoGフィルタ処理後の画素値である。また、ｓは変換に用いられる標本間隔で、既定のパラメータ値である。なお、式（８）による変換後の画素値を図１１に示す。

領域限定ステレオマッチング部１０９は、図１２に示すように、領域限定設定部１２００と対応点探索部１２０１とから構成されている。領域限定設定部１２００は、顔検出部１０７から入力された画像上の顔の位置情報に基づいて、後述する対応点探索の対象となる探索対象領域を設定し、その領域情報（座標）を出力する。対応点探索部１２０１は、領域限定設定部１２００からの領域情報に基づいて、領域限定明暗補正部１０８から入力された補正後の右カメラ１０２ａ、左カメラ１０２ｂの画像に対して画像間における対応点探索を行い、視差画像情報を出力する。なお、本発明の第１の実施の形態では、より正確な対応点を求めるために、画素単位での対応点検索を可能とする動的計画法による手法を用いる。この技術に関しては公知の技術であるため、詳細な説明は省略する。

視差値について図１３を用いて説明する。図１３（ａ）には、右カメラ１０２ａで撮影した画像１３００と左カメラ１０２ｂで撮影した画像１３０１とが示されている。視差値は、左右の画像の対応点間のｘ座標の差である。すなわち、この場合、ある頂点における視差値はＸｌ−Ｘｒである。視差画像情報は、視差値を輝度値として表したものである。一方、図１３（ｂ）は、動的計画法における視差値の算出について説明するための図である。右画像１３００及び左画像１３０１を除く図（以下、領域の位置を示す図とも言う）の横軸は右カメラ１０２ａで撮影した画像１３００（右画像１３００）におけるある走査線上の各領域の位置、縦軸は左カメラ１０２ｂで撮影した画像１３０１（左画像１３０１）におけるある走査線上の各領域の位置を示している。各画像の向かって左側から走査していくと、右画像１３００では物体１３０２の面１３０３の領域に入り、その後目的点１３０４に達する。一方、左画像１３０１では物体１３０２の面１３０５の領域に入り、その後物体１３０２の面１３０３に入り、その後目的点１３０４に達する。このことを示す図１３（ｂ）の領域の位置を示す図では、対応する点（対応する領域）では傾きのある直線、対応しない点（対応しない領域）では傾きのない直線が示される。この場合の目的点１３０４における視差値はＸｌ−Ｘｒである。

人物距離算出部１１０は、図１４に示すように、特定の視差値探索部１４００と距離算出部１４０１とから構成されている。特定の視差値探索部１４００は、領域限定ステレオマッチング部１０９から入力された視差画像情報に基づいて、測定対象の視差値を求める。この機能はアプリケーションによって異なる。安全性が要求されるロボット制御用やエアバック制御用などでは、人間との距離として最近距離が求められ、特定の視差値検索部１４００は最大視差値を求める。最大視差値を求めることは、左右のカメラから最も近い撮影対象の人物の顔の座標を求めるということである。最大視差値を求めることにより、ロボットが人間に衝突しないことや、エアバックを展開するか否かを判断することができる。ここで、視差画像情報から最大視差値を求める概念について図１５を用いて説明する。図１５（ａ）は、顔表面における視差画像情報の視差値を示す図である。図１５（ａ）に示すように、顔表面において、鼻部分が他の目や口に比べ突出している。この鼻部分に対応する視差値は他の目や口に対応する視差値より大きい。視差値の大小関係が図１５（ｂ）に示されている。図１５（ｂ）に示すように、カメラまで最も近い距離にあるのは鼻部分であり、その視差値はｃである。上述する２つのカメラはエアバック付近に設置されていることが前提となる。なお、精度が要求されないゲーム制御用では、特定の視差値検索部１４００は平均視差値を求めることも可能である。

距離算出部１４０１は、三角測量の原理に基づいて、特定視差値を用いて顔表面からステレオ画像取得部１０４までの距離を算出し、算出された距離情報を不図示のロボット制御装置やエアバック制御装置１４０２などに出力する。ここで、顔表面からステレオ画像取得部１０４までの距離を算出するとあるが、これに限られるものではない。すなわち、顔表面から２つのカメラの少なくとも一方までの距離であってもよく、また、顔表面からステレオ画像取得部１０４の所定の基準点までの距離であってもよく、また、顔表面からステレオ画像取得部１０４以外の所定の基準点までの距離であってもよい。具体的には、ロボット制御装置やエアバック制御装置１４０２などの場合、距離算出部１４０１は、下記の式（９）によって顔表面からカメラまでの最も近い距離を算出している。Dmin［mm］はカメラと顔表面との間の最も近い距離、ｚは顔表面上での最大視差値（図１５の例では視差値ｃに相当）を示す。また、ｆ、ｈ、ｓはそれぞれステレオカメラの焦点距離［mm］、２つのカメラ間の距離［mm］、ピクセルサイズ［mm/pixel］を示す。なお、それぞれのカメラについてDminを算出し、算出された一方のDminを用いるようにしてもよい。

三角測量については公知の技術であるため説明を省略する。この距離情報Dminに基づいて、エアバック制御装置１４０２はエアバックの制御をする。なお、ここでは、エアバック制御装置に本発明の第１の実施の形態に係る人物距離計測装置１００を用いているが、エアバック制御装置に限られるものではなく、ロボット制御やゲーム制御などさまざまな分野において応用可能である。また、上述した本発明の第１の実施の形態において、各構成要素の内部構成に関しては一例を示したものであって、処理が可能であれば、ある構成要素の内部構成の一部を他の構成要素内に移動させたものであってもよい。

次に、本発明の第１の実施の形態に係る人物距離計測装置における人物距離計測方法について図１６を用いて説明する。図１６に示すように、ステレオ画像取得部１０４のカメラ制御部１０３は、右カメラ１０２ａ及び左カメラ１０２ｂを介して撮影対象の人物の顔を撮影する（ステップＳ１６０１）。領域限定画質改善部１０６は、ステレオ画像取得部１０４から入力された右カメラ１０２ａによる画像をハイパスフィルタ２０１及び対数変換フィルタ２０２にかけ、撮影時の照明条件の影響を低減させながら高いコントラスト画像を取得する（ステップＳ１６０２）。このとき、履歴情報１１１に蓄積された過去に検出された人物の顔の位置情報に基づいて、処理する領域を限定することも可能である。

顔検出部１０７は、領域限定画質改善部１０６から入力された画像と、履歴情報１１１に蓄積された過去に検出された人物の顔の位置情報とに基づいて、画像上での顔の位置情報を出力する（ステップＳ１６０３）。領域限定明暗補正部１０８は、顔検出部１０７から入力された画像上の顔の位置情報に基づいて、明暗補正処理の処理対象領域を設定し、その処理対象領域に基づいて、ステレオ画像取得部１０４から右カメラ１０２ａ及び左カメラ１０２ｂの画像を取得し、取得した画像に対してLoGフィルタによる明暗補正処理を行う（ステップＳ１６０４）。領域限定ステレオマッチング部１０９は、顔検出部１０７から入力された画像上の顔の位置情報に基づいて、対応点探索の対象となる探索対象領域を設定し、その探索対象領域に基づいて、領域限定明暗補正部１０８から入力された補正後の左右カメラの画像に対して画像間における対応点探索を行い、視差画像情報を出力する（ステップＳ１６０５）。人物距離算出部１１０は、領域限定ステレオマッチング部１０９から入力された視差画像情報に基づいて特定視差値を求め、三角測量の原理に基づいて、特定視差値を用いて顔表面からカメラまでの距離を算出する（ステップＳ１６０６）。

＜第２の実施の形態＞
以下、本発明の第２の実施の形態に係る距離計測装置及び距離計測方法について図１７から図１９を用いて説明する。本発明の第２の実施の形態に係る距離計測装置の構成は第１の実施の形態に係る距離計測装置の構成と基本的には同様であり、相違する点は顔検出部の構成である。以下では、本発明の第２の実施の形態における顔検出部の構成及び本発明の第２の実施の形態に係る距離計測装置における人物距離計測方法について説明する。なお、第２の実施の形態に係る距離計測装置の構成要素であって、第１の実施の形態に係る距離計測装置の構成要素と同様のものについて説明する際、第１の実施の形態に係る距離計測装置の構成要素の符号を用いて説明する。

顔検出部１０７１は、図１７に示すように、前処理部１７００、顔識別部１７０７〜１７０９、後処理部１７１７から構成されている。前処理部１７００は、さらに、雑音除去部１７０１、画像縮小部１７０２、画像領域取得部１７０３、反転・平滑化処理部１７０４、濃淡情報正規化部１７０５、１７０６から構成されている。雑音除去部１７０１では、領域限定画質改善部１０６から入力された画像に対して、不図示のローパスフィルタが適用され、雑音の除去が行われる。画像縮小部１７０２では、右カメラ１０２ａ及び左カメラ１０２ｂから撮影対象の人物の顔までの距離の変化による顔の大きさの変化に対応するために、入力された画像が複数の大きさに変換される。

画像領域取得部１７０３では、画像縮小部１７０２で変換された複数の画像が所定の大きさ、例えばｈ（縦）×ｗ（幅）画素で切り出される。ここで、切り出された画像を切り出し画像と言う。反転・平滑化処理部１７０４では、画像領域取得部１７０３で切り出されたすべての切り出し画像に対して、偏った照明などにより顔の表面上に生じる輝度ムラの低減の処理がなされる。ここで、輝度ムラの低減の処理は、第１の実施の形態で説明した式（３）及び（４）によって行われる。

反転・平滑化処理部１７０４における処理の説明を分かりやすくするため、切り出し画像として顔全体が映し出された画像を用いて説明する。反転前の画像を第１の実施の形態で説明した図４（ａ）に、反転後の画像を第１の実施の形態で説明した図４（ｂ）に、平滑化後の画像を第１の実施の形態で説明した図４（ｃ）にそれぞれ示す。図４（ａ）は、反転前の画像を示しており、輝度の濃い部分４００が存在する。図４（ａ）の画像を反転させることにより、輝度の濃い部分４００が反転され、図４（ｂ）に示すような輝度の濃い部分４０１が得られる。この図４（ａ）及び図４（ｂ）を平滑化することによって図４（ｃ）に示すような平滑化画像が得られ、切り出し画像全体の輝度ムラが軽減される。

濃淡情報正規化部１７０５、１７０６は、反転・平滑化処理部１７０４で処理された画像と画像領域取得部１７０３で切り出された切り出し画像に対して、第１の実施の形態で説明した式（５）を用いて切り出し画像全体の明るさの変動、例えば屋外での夜間と昼間などに対応するため、切り出し画像の濃淡情報を正規化する。この変換により、輝度値の累積出現割合に比例して０〜２５５までの輝度値に収まるように新たな輝度値が割り当てられる。図５（ａ）に入力画像の輝度値の分布が示されており、図５（ｂ）に出力画像の輝度値の分布が示されている。図５（ａ）に示す入力画像の輝度値の相対的な出現頻度を式（５）に代入することにより、図５（ｂ）に示すように画像の濃淡が正規化される。

濃淡情報正規化部１７０５からの出力は、顔識別部１７０７へ入力される。また、濃淡情報正規化部１７０６からの出力は、顔識別部１７０８、１７０９へ入力される。このように出力を分けることについて以下に説明する。正面の顔に対しては直射日光や隠蔽物などによる顔表面上の輝度ムラは軽減されるが、顔が左方向又は右方向に傾いている際に反転・平滑化処理を行うと顔表面上に擬似影が生じる可能性があり、顔が正しく検出されない可能性がある。そこで、上述したように出力を分けることにより、顔表面上の輝度ムラが軽減されるとともに、顔が左方向又は右方向に傾いている際でも顔表面上に擬似影が発生せず、顔を正しく検出することができる。本発明の第２の実施の形態では、右カメラ１０２ａ及び左カメラ１０２ｂの光軸のまわりに回転する顔の検出（顔の傾きの検出）を可能にするため、顔識別部１７０８、１７０９を設けている。顔識別部１７０８、１７０９の詳細については後述する。まず、顔識別部１７０７について説明する。顔識別部１７０７は、右カメラ１０２ａ及び左カメラ１０２ｂの光軸のまわりに回転しない顔の検出（正面に向いている顔の検出）をする識別部である。

顔識別部１７０７は、階層型ニューラルネットワーク１７１０を有している。階層型ニューラルネットワーク１７１０は、入力層、隠れ層、出力層から構成されている。出力層からの出力値は、０から１までの数値であり、出力値が１に近いほど入力された画像は顔らしく、出力値が０に近いほど入力された画像は顔らしくないということを示す。なお、階層型ニューラルネットワークについては公知の技術であるため、詳細な説明については省略する。

顔識別部１７０８、１７０９に関しては、双方とも同様の構成であるため、顔識別部１７０８のみについて説明する。顔識別部１７０８は、階層型ニューラルネットワーク１７１１、マスク１７１２、左右反転部１７１３を有している。ここで、階層型ニューラルネットワーク１７１１は、上述した階層型ニューラルネットワーク１７１０と同様であるため、説明を省略する。左右反転部１７１３は、撮影対象の人物が正面に向かって左右に傾いたときの顔の検出を可能にするため、入力された画像を正面（人物が左右に傾いていない）を対称軸にして反転させる。すなわち、左右反転部１７１３は、例えば撮影対象の人物が正面に向かって右にα°傾いている（カメラの光軸に対して回転している）画像が自身に入力された場合、入力された画像を反転させて、左にα°傾いている画像を取得する。顔識別部１７０９の左右反転部１７１６でも同様であり、例えば撮影対象の人物が正面に向かって右にβ°傾いている画像が自身に入力された場合、入力された画像を反転させて、左にβ°傾いている画像を取得する。

ここで、撮影対象の人物が左右に傾いている画像には背景の部分も含まれ、精度の高い顔検出ができなくなるため、背景部分を排除する。背景部分を排除するものがマスク１７１２である。マスク１７１２については第１の実施の形態で説明した図６を参照する。図６に示すように、マスク１７１２は、入力画像に対して背景部分にマスクをかける。マスクをかけることにより、背景部分を排除することができ、より精度が高い顔検出ができる。

以上説明したように、顔識別部１７０７〜１７０９は、入力される画像に対して顔の類似度（入力された画像は学習された顔画像に対してどのくらい似ているかを表すもの）を求め、その結果を後処理部１７１７へ出力する。後処理部１７１７は、入力された顔の類似度に対して、所定の閾値などを用いて顔候補を選別し、選別後の複数の顔候補が同じ顔であるか否かを調べ、候補を絞り込む。後処理部１７１７は、絞り込まれた顔に対して、画像上での顔の位置情報、例えば検出された顔の中心座標、顔の大きさなどを出力する。位置情報については第１の実施の形態で説明した図７を用いて説明する。絞り込まれた画像上の顔７００には、ｈ×ｗで切り出された切り出し画像を拡大させた、顔の中心座標がＯｃで、２Ｈｃ×２Ｗｃの検出窓７０１がかけられる。

なお、顔検出の処理の高速化のために、図１８に示す過去顔検出結果を用いて顔識別部１７０７〜１７０９における処理範囲を限定することも可能である。この過去顔検出結果は、履歴情報１１１に格納されていてもよく、また、不図示の所定の記憶領域に格納されていてもよい。ここで、図１８について説明する。例えば、過去の時刻において、撮影対象の人物が左にα°傾いていた場合（図１８の２行目の顔識別部１７０８（左方向）において顔識別がされた場合）、次の時刻（現時刻）では、撮影対象の人物はさらに左にα°以上傾くか、若しくは正面方向に戻るかの２つの状態が考えられる。これは、短時間の間に、左にα°傾いていた状態から右にα°以上傾くということは考えにくいためである。よって、過去の時刻において、撮影対象の人物が左にα°傾いていた場合（図１８の２行目の顔識別部１７０８（左方向）において顔識別がされた場合）、次の時刻（現時刻）では想定される顔識別部１７０９（左方向）、顔識別部１７０８（左方向）、顔識別部１７０７（正面）のみをそれぞれの顔識別部で処理すればよい。これにより、処理の高速化を図ることができる。なお、第２の実施の形態に係る距離計測装置の顔識別部以外の他の構成要素については第１の実施の形態の構成要素と同様であるため説明を省略する。

次に、本発明の第２の実施の形態に係る人物距離計測装置における人物距離計測方法について図１９を用いて説明する。図１９に示すように、ステレオ画像取得部１０４のカメラ制御部１０３は、右カメラ１０２ａ及び左カメラ１０２ｂを介して撮影対象の人物の顔を撮影する（ステップＳ１９０１）。領域限定画質改善部１０６は、ステレオ画像取得部１０４から入力された右カメラ１０２ａによる画像をハイパスフィルタ２０１及び対数変換フィルタ２０２にかけ、撮影時の照明条件の影響を低減させながら高いコントラスト画像を取得する（ステップＳ１９０２）。このとき、履歴情報１１１に蓄積された過去に検出された人物の顔の位置情報に基づいて、処理する領域を限定することも可能である。

顔検出部１０７１は、領域限定画質改善部１０６から入力された画像と、履歴情報１１１に蓄積された過去に検出された人物の顔の位置情報とに基づいて、画像上での顔の位置情報を出力する（ステップＳ１９０３）。領域限定明暗補正部１０８は、顔検出部１０７１から入力された画像上の顔の位置情報に基づいて、明暗補正処理の処理対象領域を設定し、その処理対象領域に基づいて、ステレオ画像取得部１０４から右カメラ１０２ａ及び左カメラ１０２ｂの画像を取得し、取得した画像に対してLoGフィルタによる明暗補正処理を行う（ステップＳ１９０４）。領域限定ステレオマッチング部１０９は、顔検出部１０７１から入力された画像上の顔の位置情報に基づいて、対応点探索の対象となる探索対象領域を設定し、その探索対象領域に基づいて、領域限定明暗補正部１０８から入力された補正後の左右カメラの画像に対して画像間における対応点探索を行い、視差画像情報を出力する（ステップＳ１９０５）。人物距離算出部１１０は、領域限定ステレオマッチング部１０９から入力された視差画像情報に基づいて特定視差値を求め、三角測量の原理に基づいて、特定視差値を用いて顔表面からカメラまでの距離を算出する（ステップＳ１９０６）。

本発明に係る距離計測装置及び距離計測方法は、コストを抑え、高速、かつ高精度な距離計測を行うことができるため、画像中の撮影対象物の距離を測定する距離計測装置及び距離計測方法などに有用である。

本発明の第１の実施の形態に係る距離計測装置の構成を示す構成図である。 本発明の第１の実施の形態に係る距離計測装置における領域限定画質改善部の構成を示す構成図である。 本発明の第１の実施の形態に係る距離計測装置における顔検出部の構成を示す構成図である。 本発明の第１の実施の形態に係る距離計測装置における反転・平滑化処理について説明するための図である。（ａ）反転前の画像を示す図である。（ｂ）反転後の画像を示す図である。（ｃ）平滑化された画像を示す図である。 本発明の第１の実施の形態に係る距離計測装置における濃淡情報正規化の正規化について説明するための図である。（ａ）入力画像の輝度値分布を示す図である。（ｂ）出力画像の輝度値分布を示す図である。 本発明の第１の実施の形態に係る距離計測装置における顔識別部の入力画像の背景部分にかけられたマスクについて説明するための図である。 本発明の第１の実施の形態に係る距離計測装置における後処理部から出力される位置情報について説明するための図である。 本発明の第１の実施の形態に係る距離計測装置における過去の顔検出結果を示す図である。 本発明の第１の実施の形態に係る距離計測装置における領域限定明暗補正部の構成を示す構成図である。 本発明の第１の実施の形態に係る距離計測装置における明暗補正処理の対象となる処理対象領域を示す図である。 本発明の第１の実施の形態に係る距離計測装置におけるLoGフィルタ処理後の画素値を変換した画素値を示す図である。 本発明の第１の実施の形態に係る距離計測装置における領域限定ステレオマッチング部の構成を示す構成図である。 本発明の第１の実施の形態に係る距離計測装置における視差値について説明するための図である。（ａ）視差値の概念を説明するための図である。（ｂ）動的計画法における視差値の算出について説明するための図である。 本発明の第１の実施の形態に係る距離計測装置における人物距離算出部の構成を示す構成図である。 本発明の第１の実施の形態に係る距離計測装置における最大視差値について説明するための図である。（ａ）顔表面における視差画像情報の視差値を示す図である。（ｂ）視差値の大小関係を示す図である。 本発明の第１の実施の形態に係る距離計測装置における処理フローを説明するためのフローチャートである。 本発明の第２の実施の形態に係る距離計測装置における顔検出部の構成を示す構成図である。 本発明の第２の実施の形態に係る距離計測装置における過去の顔検出結果を示す図である。 本発明の第２の実施の形態に係る距離計測装置における処理フローを説明するためのフローチャートである。

符号の説明

１００ 人物距離計測装置（距離計測装置）
１０１ａ 右カメラの特定波長透過フィルタ
１０１ｂ 左カメラの特定波長透過フィルタ
１０２ａ 右カメラ
１０２ｂ 左カメラ
１０３ カメラ制御部
１０４ ステレオ画像取得部（撮影手段）
１０５ 近赤外光投光器
１０６ 領域限定画質改善部（画質改善手段）
１０７、１０７１ 顔検出部（検出手段）
１０８ 領域限定明暗補正部（補正処理手段）
１０９ 領域限定ステレオマッチング部（視差画像情報生成手段）
１１０ 人物距離算出部（距離算出手段）
１１１ 履歴情報
２００ 注目領域設定部
２０１ ハイパスフィルタ
２０２ 対数変換フィルタ
３００、１７００ 前処理部
３０１、１７０１ 雑音除去部
３０２、１７０２ 画像縮小部
３０３、１７０３ 画像領域取得部
３０４、１７０４ 反転・平滑化処理部
３０５、１７０５、１７０６ 濃淡情報正規化部
３０６、３０７、３０８、１７０７、１７０８、１７０９ 顔識別部
３０９、３１０、３１１、１７１０、１７１１、１７１４ 階層型ニューラルネットワーク
３１２、３１４、１７１２、１７１５ マスク
３１３、３１５、１７１３、１７１６ 左右反転部
３１６、１７１７ 後処理部
４００ 反転前の画像の輝度の濃い部分
４０１ 反転後の画像の輝度の濃い部分
７００ 画像上の顔
７０１ 検出窓
９００、１２００ 領域限定設定部
９０１ 明暗補正処理部
１０００ 処理対象領域
１２０１ 対応点探索部
１３００ 右カメラで撮影した画像（右画像）
１３０１ 左カメラで撮影した画像（左画像）
１３０２ 物体
１３０３、１３０５ 物体の面
１３０４ 目的点
１４００ 特定の視差値探索部
１４０１ 距離算出部
１４０２ エアバック制御装置

Claims (22)

1. 所定間隔を保って配置された２つのカメラによって撮影対象物を撮影する撮影手段と、
   前記撮影手段の前記２つのカメラによって撮影された前記撮影対象物の画像のうち、一方の画像に対して、所定の画像領域下において、撮影時の照明環境の影響を除去して前記画像の画質改善処理を行う画質改善手段と、
   前記画質改善手段によって画質改善された前記画像に基づいて、前記画像上の前記撮影対象物における輝度のムラの影響を低減させるため、前記画像上の輝度の濃い部分の画像領域を前記画像上の所定の基準線を基準にして反転させ、前記反転前の画像の輝度値と前記反転後の画像の輝度値を用いて前記画像の平滑化を行う反転・平滑化処理をして前記画像上における前記撮影対象物の前記位置情報を検出する検出手段と、
   前記検出手段によって検出された前記画像上における前記撮影対象物の前記位置情報に基づいて、処理対象となる前記画像上の画像領域を限定し、限定された前記画像領域において、前記撮影手段の前記２つのカメラによって撮影された２つの画像に対して輝度変化を強調する処理を行う補正処理手段と、
   限定された前記画像領域において、前記補正処理手段によって処理された２つの前記画像間の対応点を探索し、探索した前記対応点の位置のずれに基づいて、視差画像情報を生成する視差画像情報生成手段と、
   前記視差画像情報生成手段によって生成された前記視差画像情報に基づいて、視差値を求め、前記視差値に基づいて、前記撮像手段と前記撮影対象物との間の距離を算出する距離算出手段とを、
   備える距離計測装置。
2. 前記撮影対象物が人物の顔である請求項１に記載の距離計測装置。
3. 前記撮影手段によって前記撮影対象物を撮影する際、２４時間撮影を可能とするために、近赤外光を前記撮影対象物に投光する近赤外光投光手段を備える請求項１又は２に記載の距離計測装置。
4. 前記２つのカメラの少なくとも一方に、前記撮影手段によって前記撮影対象物を撮影する際、可視光を含む外乱光の影響を低減させ、安定した画像を撮影可能とするために、前記近赤外光投光手段から投光される前記近赤外光の反射光のみを受光する特定波長透過フィルタを備える請求項３に記載の距離計測装置。
5. 前記視差画像情報生成手段は、高精度な前記対応点を探索するために、動的計画法を用いる請求項１から４のいずれか１つに記載の距離計測装置。
6. 前記補正処理手段は、光源位置による前記カメラごとで写される前記撮影対象物からの反射光の違いによる位置測定精度の低下を低減させ、実環境下において高精度な距離計測を可能とするために、LoGフィルタによる処理を行う請求項１から５のいずれか１つに記載の距離計測装置。
7. 前記画質改善手段は、撮影時の照明環境の影響を吸収する対数変換フィルタと、前記対数変換フィルタを介した前記画像のコントラストの低下を軽減させるハイパスフィルタとを備える請求項１から６のいずれか１つに記載の距離計測装置。
8. 前記検出手段は、ニューラルネットワークを用いて前記画像上における前記撮影対象物の前記位置情報を検出する請求項１から７のいずれか１つに記載の距離計測装置。
9. 前記検出手段は、前記カメラの光軸まわりに回転する前記撮影対象物の検出を可能にするため、画質改善された前記画像が前記光軸に対して回転している場合に前記回転している方向とは逆方向に前記回転している回転量分を回転させ、前記画像上の前記撮影対象物があらかじめ学習された画像上の対象物に対してどの程度似ているかを示す類似度を求める複数の検出器を備え、前記検出器を用いて求められた前記類似度に基づいて絞り込まれた前記画像上における前記撮影対象物の前記位置情報を検出する請求項１から８のいずれか１つに記載の距離計測装置。
10. 前記検出手段は、前記画像上の輝度の濃い部分の画像領域を前記画像上の所定の基準線を基準にして反転させ、前記反転前の画像の輝度値と前記反転後の画像の輝度値を用いて前記画像の平滑化を行う反転・平滑化処理された画像上における前記撮影対象物の前記位置情報の検出を前記複数の検出器のうちの所定の検出器によって行い、前記反転・平滑化処理されていない画像上における前記撮影対象物の前記位置情報の検出を前記複数の検出器のうちの所定の検出器以外の検出器によって行う請求項９に記載の距離計測装置。
11. 前記検出手段は、過去の検出結果に基づいて、用いる前記検出器を選択する請求項９又は１０に記載の距離計測装置。
12. 所定間隔を保って配置された２つのカメラによって撮影対象物を撮影するステップと、
    前記２つのカメラによって撮影された前記撮影対象物の画像のうち、一方の画像に対して、所定の画像領域下において、撮影時の照明環境の影響を除去して前記画像の画質改善処理を行うステップと、
    画質改善された前記画像に基づいて、前記画像上の前記撮影対象物における輝度のムラの影響を低減させるため、前記画像上の輝度の濃い部分の画像領域を前記画像上の所定の基準線を基準にして反転させ、前記反転前の画像の輝度値と前記反転後の画像の輝度値を用いて前記画像の平滑化を行う反転・平滑化処理をして前記画像上における前記撮影対象物の位置情報を検出するステップと、
    検出された前記画像上における前記撮影対象物の前記位置情報に基づいて、処理対象となる前記画像上の画像領域を限定し、限定された前記画像領域において、前記２つのカメラによって撮影された２つの画像に対して輝度変化を強調する処理を行うステップと、
    限定された前記画像領域において、前記処理された２つの前記画像間の対応点を探索し、探索された前記対応点の位置のずれに基づいて、視差画像情報を生成するステップと、
    生成された前記視差画像情報に基づいて、視差値を求め、前記視差値に基づいて、前記２つのカメラを含む撮像手段と前記撮影対象物との間の距離を算出するステップとを、
    有する距離計測方法。
13. 前記撮影対象物が人物の顔である請求項１２に記載の距離計測方法。
14. 前記撮影対象物を撮影する際、２４時間撮影を可能とするために、近赤外光を前記撮影対象物に投光するステップを更に有する請求項１２又は１３に記載の距離計測方法。
15. 前記撮影対象物を撮影する際、可視光を含む外乱光の影響を低減させ、安定した画像を撮影可能とするために、投光される前記近赤外光の反射光のみを受光するステップを更に有する請求項１４に記載の距離計測方法。
16. 高精度な前記対応点を探索するために、動的計画法を用いる請求項１２から１５のいずれか１つに記載の距離計測方法。
17. 光源位置による前記カメラごとで写される前記撮影対象物からの反射光の違いによる位置測定精度の低下を低減させ、実環境下において高精度な距離計測を可能とするために、LoGフィルタによる処理を行う請求項１２から１６のいずれか１つに記載の距離計測方法。
18. 照明環境の影響を吸収する対数変換フィルタにより撮影時の照明環境の影響を吸収し、画像のコントラストの低下を軽減させるハイパスフィルタにより前記吸収された前記画像のコントラストの低下を軽減させる請求項１２から１７のいずれか１つに記載の距離計測方法。
19. ニューラルネットワークを用いて前記画像上における前記撮影対象物の前記位置情報を検出する請求項１２から１８のいずれか１つに記載の距離計測方法。
20. 前記カメラの光軸まわりに回転する前記撮影対象物の検出を可能にするため、画質改善された前記画像が前記光軸に対して回転している場合に前記回転している方向とは逆方向に前記回転している回転量分を回転させ、前記画像上の前記撮影対象物があらかじめ学習された画像の対象物に対してどの程度似ているかを示す類似度を求める複数の検出器を用いて求められた前記類似度に基づいて絞り込まれた前記画像上における前記撮影対象物の前記位置情報を検出する請求項１２から１９のいずれか１つに記載の距離計測方法。
21. 前記画像上の輝度の濃い部分の画像領域を前記画像上の所定の基準線を基準にして反転させ、前記反転前の画像の輝度値と前記反転後の画像の輝度値を用いて前記画像の平滑化を行う反転・平滑化処理された画像上における前記撮影対象物の前記位置情報の検出を前記複数の検出器のうちの所定の検出器によって行い、前記反転・平滑化処理されていない画像上における前記撮影対象物の前記位置情報の検出を前記複数の検出器のうちの所定の検出器以外の検出器によって行う請求項２０に記載の距離計測方法。
22. 過去の検出結果に基づいて、用いる前記検出器を選択する請求項２０又は２１に記載の距離計測方法。

Images