JP2013156109A

JP2013156109A - 距離計測装置

Info

Publication number: JP2013156109A
Application number: JP2012016084A
Authority: JP
Inventors: Shinichiro Hirooka; 慎一郎廣岡
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2012-01-30
Filing date: 2012-01-30
Publication date: 2013-08-15
Also published as: US20130194390A1; CN103226014A

Abstract

【課題】距離計測装置において，低コストと距離計測性能の向上を実現する。
【解決手段】可視光の波長域および不可視光の所定の波長域に分光感度特性を有する第一の撮像手段と、可視光の波長域に分光感度特性を有し不可視光の所定の波長域に分光感度特性を有ない第二の撮像手段と，所定の波長域の不可視光を第一の撮像手段の画角内に投影する不可視光投影手段と，第一の撮像手段が出力する撮像画像に対し画像処理を行い，撮像画像中の被写体に投影された所定の波長域の不可視光の情報を検出して，被写体までの距離情報を演算して出力する不可視光活用距離演算手段と，第一の撮像手段が出力する撮像画像と第二の撮像手段が出力する撮像画像に対しステレオ画像処理を行い被写体までの距離情報を演算して出力するステレオ距離演算手段と，不可視光活用距離演算手段およびステレオ距離演算手段の距離演算の演算条件を制御する距離演算制御手段によって構成される。
【選択図】図１

Description

本発明は、赤外パターン光投影方式の距離計測機能と複数のカメラ映像を用いたステレオ方式による距離計測機能を備える距離計測装置に関する。

本技術分野の背景技術として、例えば、特許文献１には、「装置の大型化、高コスト化を招くことなく、精度の高い距離画像を生成することができる距離画像生成装置を提供する」ことを目的とし、解決手段として、「カメラ１０には２つの撮像部ＰＡ、ＰＢが設けられ、撮像部ＰＡと撮像部ＰＢから、可視の波長域の光により結像された画像が取り込まれ、ステレオマッチング法を用いて距離画像Ａが生成される。一方、撮像部ＰＢは、赤外光により結像された画像を取り込むことができ、赤外光照射部１８から被写体に照射されて反射した赤外光による赤外画像が取り込まれ、ＴＯＦ法を用いて距離画像Ｂが生成される。そして、距離画像Ａにおいて距離データが不足する画素を距離画像Ｂの距離データで補間する」という技術が開示されている。

特許第４４５２９５１号

ハードウェアの性能向上や多様なニーズの広がりを受け，画像情報から被写体までの３次元距離および形状を計測する様々な技術が研究および実用化されつつある。そのうち，赤外光を照射して被写体に反射した光がセンサに撮像されるまでの時間や照射光との位相差などの情報を用いて被写体までの距離を算出するＴＯＦ方式や，特定のパターンで構成された赤外光を投影し被写体に照射されたときのパターン光の見え方から被写体までの距離を算出する構造化光（パターン光）投影方式に代表されるアクティブ型の距離計測手法は，被写体の形状やテクスチャに対しロバストに高精度な距離計測が得られ，計算時間も比較的短いが，その反面，赤外光の減衰する遠方の被写体や赤外光を吸収する黒色などの被写体では正確な距離情報が得られないという課題がある。また，複数のカメラで同一の被写体を撮像し，双方のカメラ映像において被写体の見え方の違いから被写体までの距離情報を測定するステレオ方式の距離計測手法では，特殊な光源等を必要としないが，テクスチャのない被写体などでは正確な距離が得られず，また，距離精度に従って画像処理による計算コストが大きくなるなどの課題がある。

特許文献１では，複数のカメラと赤外照射装置を有し，ＴＯＦ方式の距離計測とステレオ方式の距離計測を併用して，ステレオ方式で距離情報を計測できない被写体に対してはＴＯＦ方式で計測した距離情報を補間して統合することで距離情報の欠落を防ぐ方法が提案されている。しかし，ＴＯＦ方式で近赤外の波長域が撮像可能なカメラと，ステレオ方式で可視光の波長域のみが撮像可能なカメラを用いる構成となっており，３台以上のカメラを用意するか，２台のカメラで少なくとも１台に赤外カットフィルタの着脱が可能な光学系を備える必要があり，その分の部品コストを要する。また，ＴＯＦ方式とステレオ方式のそれぞれで距離情報を算出する構成となるため計算時間も膨大となる。

本発明は，上記課題を解決し，低部品コスト，低演算コストで高性能な距離情報を取得可能な距離計測装置を提供するものである。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次のとおりである。
(１)可視光の波長域および不可視光の所定の波長域に分光感度特性を有する第一の撮像手段と、可視光の波長域に分光感度特性を有しかつ不可視光の所定の波長域に分光感度特性を有ない第二の撮像手段と，前記所定の波長域の不可視光を前記第一の撮像手段の画角内に投影する不可視光投影手段と，前記第一の撮像手段が出力する撮像画像に対し画像処理を行い，撮像画像中から検出した被写体に投影された前記所定の波長域の不可視光の情報に基づいて，前記被写体までの距離情報を演算して出力する不可視光活用距離演算手段と，前記第一の撮像手段が出力する撮像画像と前記第二の撮像手段が出力する撮像画像に対しステレオ画像処理を行い前記被写体までの距離情報を演算して出力するステレオ距離演算手段と，前記不可視光活用距離演算手段および前記ステレオ距離演算手段の距離演算の演算条件を制御する距離演算制御手段と，を備えることを特徴とする距離計測装置である。
(２)可視光の波長域および不可視光の所定の波長域に分光感度特性を有する第一の撮像手段と、可視光の波長域に分光感度特性を有しかつ不可視光の所定の波長域に分光感度特性を有ない第二の撮像手段と，前記第一の撮像手段が出力する不可視光の所定の波長域を含む撮像画像と該第二の撮像手段が出力する不可視光の所定の波長域を含まない撮像画像に対しステレオ画像処理を行い被写体までの距離情報を演算して出力するステレオ距離演算手段とを備えることを特徴とする距離計測装置である。
(３)可視光の波長域および不可視光の所定の波長域に分光感度特性を有する第一の撮像手段と、可視光の波長域に分光感度特性を有し該不可視光の所定の波長域に分光感度特性を有ない第二の撮像手段と，該所定の波長域の不可視光を該第一の撮像手段の画角内に投影する不可視光投影手段と，該第一の撮像手段が出力する撮像画像に対し画像処理を行い，撮像画像中の被写体に投影された該所定の波長域の不可視光の情報を検出して，被写体までの距離情報を演算して出力する不可視光活用距離演算手段と，該第一の撮像手段が出力する撮像画像と該第二の撮像手段が出力する撮像画像に対しステレオ画像処理を行い被写体までの距離情報を演算して出力するステレオ距離演算手段と，該不可視光活用距離演算手段および該ステレオ距離演算手段の距離演算の演算条件を制御する距離演算制御手段と，該不可視光投影手段の不可視光を投影期間および該第一の撮像手段の撮像および撮像画像出力タイミングおよび該第二の撮像手段の撮像および撮像画像出力タイミングおよび該不可視光活用距離演算手段の距離演算タイミングおよび該ステレオ距離演算手段の距離演算タイミングを制御するタイミング制御手段と，を備え，該タイミング制御手段の制御するタイミングにより該不可視光投影手段は所定のタイミングで不可視光の投影を行い，該不可視光活用距離演算手段は不可視光の投影されているタイミングで該第一の撮像手段が撮像を行い出力した撮像画像を用いて距離演算処理を行い，該ステレオ距離演算手段は不可視光の投影されていないタイミングで該第一の撮像手段が撮像を行い出力した撮像画像と該第二の撮像手段が撮像を行い出力した撮像画像とを用いて距離演算処理を行うことを特徴とする距離計測装置である。
(４)可視光の波長域および不可視光の所定の波長域に分光感度特性を有する第一の撮像手段と、可視光の波長域に分光感度特性を有し該不可視光の所定の波長域に分光感度特性を有ない第二の撮像手段と，該第一の撮像手段が出力する撮像画像に対し画像処理を行い，撮像画像中の被写体に投影された該所定の波長域の不可視光の情報を検出して，被写体までの距離情報を演算して出力する不可視光活用距離演算手段と，該第一の撮像手段が出力する撮像画像と該第二の撮像手段が出力する撮像画像に対しステレオ画像処理を行い被写体までの距離情報を演算して出力するステレオ距離演算手段と，該不可視光活用距離演算手段および該ステレオ距離演算手段の距離演算の演算条件を制御する距離演算制御手段と，該不可視光活用距離演算手段および該ステレオ距離演算手段が距離演算を行う上で用いる校正情報を算出し格納する距離演算校正手段と，を備え，該距離演算制御部が該不可視光活用距離演算手段の距離計測範囲と前期ステレオ距離演算手段の距離計測範囲を一部が重複するように設定し，該距離演算校正手段が該重複した距離計測範囲における該不可視光活用距離演算手段の演算した距離情報と前期ステレオ距離演算手段の演算した距離情報とをもとに，該不可視光活用距離演算手段または該ステレオ距離演算手段が距離演算を行う上で用いる校正情報を算出し格納することを特徴とする距離計測装置である。

本発明によれば、低部品コスト，低演算コストで高性能な距離情報を取得可能な距離計測装置の提供が可能となる。

本発明の第１実施例に係る距離計測装置を示す第一の模式図である。本発明の第１実施例に係る距離計測装置の距離演算制御処理の一例を示す図である。本発明の第１実施例に係る距離計測装置のパターン光距離演算処理に対する距離演算制御処理の一例を示す図である。本発明の第１実施例に係る距離計測装置のステレオ距離演算処理に対する距離演算制御処理の一例を示す図である。本発明の第１実施例に係る距離計測装置の距離情報統合シーケンスの一例を示す図である。本発明の第１実施例に係る距離計測装置の距離演算制御処理と距離情報統合処理の異なる一例を示す図である。本発明の第１実施例に係るステレオ距離演算処理を示す図である。本発明の第１実施例に係るステレオ距離演算処理を示す第二の図である。本発明の第１実施例に係る距離計測装置を示す第二の模式図である。本発明の第１実施例に係る距離計測装置の感度補正処理を示す図である。本発明の第１実施例に係る距離計測装置の距離演算制御シーケンスの一例を示す図である。本発明の第２実施例に係る距離計測装置を示す模式図である。本発明の第２実施例に係る距離計測装置のタイミング制御処理の一例を示す図である。本発明の第２実施例に係る距離計測装置の距離演算制御処理の一例を示す図本発明の第３実施例に係る距離計測装置を示す模式図である。本発明の第４実施例に係る距離計測装置を示す模式図である。本発明の第４実施例に係る距離計測装置の距離演算情報校正シーケンスの一例を示す図である。本発明の第５実施例に係る距離計測装置を示す模式図である。本発明の第６実施例に係る距離計測装置を示す模式図である。

以下、適宜図面を用いて本発明の実施例を説明する。

図１は，本発明の第１実施例に係る距離計測装置を示す第一の模式図である。図１において０１０１は第一の撮像部、０１０２は第二の撮像部、０１０３は赤外パターン投影部、０１０４はパターン光距離演算部、０１０５はステレオ距離演算部，０１０６は距離演算制御部，０１０７は距離情報統合部，０１０８は映像出力部である。

図１に示した距離計測装置において、撮像部０１０１はズームレンズ及びフォーカスレンズを含むレンズ群や、アイリスや、シャッタや、CCDまたはCMOSなどの撮像素子や、CDSやAGCや、ADコンバータ等を適宜用いて構成され、撮像素子に受光した光学像を光電変換し、ノイズ除去やエッジ強調やガンマ処理などのカメラ信号処理を行って映像信号として出力する。撮像部０１０２はズームレンズ及びフォーカスレンズを含むレンズ群や、アイリスや、シャッタや、赤外カットフィルタやCCDまたはCMOSなどの撮像素子や、CDSやAGCや、ADコンバータ等を適宜用いて構成され、撮像素子に受光した光学像を光電変換し、ノイズ除去やエッジ強調やガンマ処理などのカメラ信号処理を行って映像信号として出力する。撮像部０１０１と撮像部０１０２の特徴的な差異は赤外カットフィルタの有無であり，撮像部０１０１は赤外カットフィルタを備えず，撮像素子は可視光に加え近赤外の波長域の分光感度特性を有し，近赤外成分を含む被写体の撮像が可能である。一方で，撮像部０１０２は赤外カットフィルタを備え，撮像素子は近赤外の波長域の分光感度特性を有さず，近赤外成分を除去した被写体の撮像が可能である。赤外カットフィルタ以外の構成要素については撮像部０１０１と撮像部０１０２は共通でよいが，画角や焦点距離など必要に応じて異ならせても良い。また，撮像部０１０２は撮像素子に原色ないし補色のカラーフィルタなどを備え，色生成処理を含むカメラ信号処理を行ってカラー映像信号として出力する形態でも良い。

赤外パターン投影部０１０３は撮像部０１０１の画角内に映るように赤外パターン光を投影する。赤外パターン投影部０１０３としては，例えば二次元のパターン画像を赤外の波長域で照射可能なプロジェクタや，拡散版を備えたレーザ光源，水平および垂直方向に時間軸で走査可能な制御部を備えたレーザ光源などを用いることができる。また，赤外パターン光としては，例えば格子パターンや水平ないし垂直バー等の繰り替えしパターン，あるいは予め所定の離散位置に点群や四角形群等を組み合わせたマーカとして配置した符号化パターンなどを用いることができる。撮像部０１０１と赤外パターン投影部０１０３の設置位置は予め校正されて既知であれば問題ないが，なるべく光軸が並行で設置間隔が短く，かつ赤外パターンの投影角と撮像部０１０１の画角が一致するように配置されていると，撮像部０１０１の撮像画像から精度良くパターンを検出できるため，より好ましく、少なくとも撮像部０１０１は撮像部０１０２よりも赤外パターン投影部１０３に近い位置に配置されるのが望ましい。

パターン光距離演算部０１０４は，赤外パターン投影部０１０３が赤外パターン光を投影したときの撮像部０１０１の撮像画像から被写体に反射して映るパターンを画像処理により検出し，検出したパターンの情報から被写体までの距離を測定する。照射するパターンの形状や撮像画像からのパターンの検出，および検出パターンからの被写体距離の演算の手法については，既存のパターン光投影法の手法を用いることができる。一例として，符号化パターンを用いた場合の例を説明する。赤外パターン光投影部０１０３は予め投影パターン光の水平ないし垂直座標を固有のマーカとして符号化した二次元パターン光を用意し，被写体に投影する。パターン光距離演算部０１０４は撮像部０１０１の撮像画像の小領域ごとに，特徴点検出処理や視点変換処理やパターンマッチング処理などを実施し，小領域内にうつるマーカを検出する。マーカを復号することで投影パターン光におけるマーカの位置と撮像画像中に映るマーカの位置が対応付けられるため，三角測量の原理に基づき被写体までの距離を算出することができる。得られた距離情報に対し，空間方向や時間軸方向の情報を参照して平滑化処理や外れ値の除去処理を行い，欠落した距離情報の補間や精度向上を図っても良い。また，パターン検出のためのマッチング処理の結果や周辺の距離情報との相関を算出した距離の確からしさ，すなわち評価値として出力しても良い。

ステレオ距離演算部０１０５は第一の撮像部０１０１が出力する撮像画像と撮像部０１０２が出力する撮像画像を用いてステレオ画像処理を行い、距離情報や情報の信頼度を演算し出力する。ステレオ画像処理部０１０５で行われるステレオ画像処理には、カラー映像から輝度情報を生成するための輝度生成処理や，撮像部感の感度補正処理や，レンズ歪み補正処理や像画像間倍率補正処理・平行化処理等のキャリブレーション処理や、ノイズ除去を行うためのローパスフィルタ処理等の前処理や、エッジ検出等の特徴量演算処理、所定の探索範囲内で正規化相互相関や差分絶対値和や増分符号相関等のブロックマッチングやspace-sweep法等の各種の相関演算処理を用いてステレオ画像間の対応点検索を行い視差情報を取得するステレオマッチング処理、ランクフィルタ処理やラベリング等により特異点の除去を行う後処理、視差情報を用いて距離情報を演算する距離計算処理、などがあり、処理の途中で得られる情報、例えばステレオマッチング処理で得られた評価値や視差情報、探索領域での評価値の分布、などを出力しても良い。赤外の波長域の分光感度の有無で得られたステレオ画像間の感度は大きく異なる可能性があるため，例えばエッジ成分などの特徴量を検出し，特徴量同士で画像間のステレオマッチングを行うことで感度差があっても安定的に距離を測定できるようにしても良い。

距離演算制御部０１０６はパターン光距離演算部０１０４やステレオ距離演算部０１０５が距離演算を行う上で必要な制御情報を距離演算条件として設定し，出力する。このような制御情報としては，例えばパターン光距離演算部０１０４がパターンを検出するときの判定閾値やステレオ距離演算部０１０５がステレオ画像間で対応点の探索を行う際の探索範囲などが挙げられる。具体的な作用については，図２や図３，図４を用いて後述する。距離情報統合部０１０７はパターン光距離演算部０１０４とステレオ距離演算部０１０５の出力したそれぞれの距離情報を統合し，一つの距離情報として出力する。距離情報の統合については図５を用いて後述する。映像出力部０１０８は撮像部０１０２の出力する撮像画像を所望の出力映像の規格に則った映像形式に変換して不図示のモニタやＰＣ等に出力する。必要に応じて映像の符号化を行い，圧縮した映像として出力しても良い。これにより、簡易な構成で通常の撮像映像とともに，パターン光投影法とステレオ法を組み合わせることによる高精度な距離情報を生成し，出力することが可能となる。

なお、パターン光距離演算部０１０４のパターン光距離演算処理や、ステレオ距離演算部０１０５のステレオ距離演算処理や、距離演算制御部０１０６の距離演算制御処理や，距離情報統合部０１０７の距離情報統合処理は，カメラ内のマイコンや専用のＬＳＩ，ＰＣのソフトウェアやＧＰＵなどによって行われる。処理の一部を専用のＬＳＩや付属のマイコンが，残りの処理をＰＣが行う形態を取っても良い。

図２は本発明の第１実施例に係る距離計測装置の距離演算制御処理の一例を示す図である。図２に示す距離演算制御処理は距離演算制御部０１０６で実施される。図２において，０２０１は本発明の第１実施例に係る距離計測装置，０２０２は第一の人物，０２０３は第二の人物であり，第一の人物０２０２は距離計測装置０２０１から光軸方向を基準として距離Ｚ［ｍ］よりも手前に存在する人物であり，第二の人物０２０３は距離Ｚ［ｍ］よりも奥に存在する被写体を想定している。本例では距離演算制御部０１０６は，パターン光距離演算部０１０４が距離Ｚ［ｍ］よりも手前の被写体について距離演算を行い，ステレオ距離演算部０１０５が距離Ｚ［ｍ］よりも奥の被写体について距離演算を行うように，各距離演算部の距離演算条件を制御する。計測範囲の切替え基準となる距離Ｚ［ｍ］については，パターン光が照射部から遠方になるほど減衰することを考慮し，例えばパターン光が注目する被写体，例えば人物の肌に反射したときに撮像映像中において一定の信号レベルで撮影できるおおよその限界距離を予め設定すれば良い。このとき，反射するパターン光の信号レベルが強く第一の撮像部０１０１で撮像した画像で十分に精度良くパターンが検出できる被写体人物０２０２はパターン光距離演算処理により精度良く距離情報を取得することができる。一方で，距離計測装置より遠い位置にいるためパターン光が減衰し，画像上から検出することが困難な被写体人物０２０３については，パターン光の影響による誤マッチングを避けるため，ステレオ距離演算処理により精度の良い距離情報を取得することができ，距離精度と計測可能な距離範囲の両立が可能である。本例ではＺ［ｍ］という一つの判定基準でどちらの距離演算処理を用いるかを選択しているが，距離計測装置０２０１の直近では被写体で反射したパターン光が合焦せず撮像画像中から検出できない場合などを考慮し，例えばパターン光距離演算部０１０４が距離計測装置０２０１よりＺ１［ｍ］からＺ２［ｍ］の範囲に存在する被写体について距離演算を行い，ステレオ距離演算部０１０５がその他の範囲に存在する被写体について距離演算を行うように制御を行っても良い。このように距離計測装置０２０１からの距離を元にパターン光距離演算部０１０４とステレオ距離演算部０１０５が被写体までの距離を測定するように制御することで，パターン光が当たる被写体についてはパターン光距離演算を，パターン光の当たらない被写体についてはステレオ距離演算を適応的に実施し，高精度かつ広範囲の距離計測が可能となる。

図３は本発明の第１実施例に係る距離計測装置のパターン光距離演算処理に対する距離演算制御処理の一例を示す図である。図３に示す距離演算制御処理は距離演算制御部０１０６で実施される。図３において，０３０１は第一の人物，０３０２は第二の人物，０３０３は第三の人物であり，第一の人物０３０１は距離計測装置０２０１から光軸方向を基準として距離Ｚ［ｍ］よりも手前に存在する人物であり，第二の人物０３０２は距離Ｚ［ｍ］よりも奥に存在し，パターン光の反射が若干ながら撮像画像中に映る被写体人物，第三の人物０３０３はさらに奥に存在し，パターン光の反射が撮像画像中に全く映らない被写体人物である。このとき，第二の人物０３０２は撮像画像中においてパターン光が若干ながら映っているものの，ノイズの影響を受けやすくパターン光による正確な距離計測が困難である。そこで，距離演算制御部０１０６は，パターン光距離演算部０１０４が距離計測を行う計測境界であるＺ［ｍ］を基準に撮像画像中から検出するマーカの面積や信号レベルの閾値を設定し，パターン光距離演算部０１０４は検出したマーカの面積および信号レベルを閾値と比較して，マーカの面積および信号レベルの一方ないし双方が閾値を上回れば距離演算処理を実施する。マーカの面積は照射光の拡散度合いと撮像部までの距離から定まり，マーカの信号レベルは撮像部までの距離にともなう減衰率に相関するため，パターン光距離演算部０１０４は距離Ｚ［ｍ］以内に存在する被写体のみ距離演算を行うことが可能であり，処理コストの低減を図ることができる。距離Ｚ［ｍ］に対応するマーカの面積や信号レベルの閾値は予め定めて対応表を生成し，不揮発性メモリ等に格納して用いればよい。実際には，マーカの信号レベルは被写体の組成等によっても影響を受けるため，注目被写体が固定である場合にはマーカの信号レベルの情報を用い，多様な被写体の距離情報を得たい場合はマーカの面積の情報のみを用いるといったように使い分けても良い。また，予め閾値に余裕を持たせてＺ［ｍ］より遠い被写体のマーカも検出できるようにし，検出マーカより演算した距離がＺ［ｍ］より遠い場合にはその情報を除去するといったような手段を取ってもよい。このように，パターン光の検出結果に対する閾値処理を距離演算制御部０１０６が制御することで，パターン光距離演算部０１０４は高速かつ安定に所定の計測範囲の距離演算を行うことが可能となる。

図４は本発明の第１実施例に係る距離計測装置のステレオ距離演算処理に対する距離演算制御処理の一例を示す図である。図４に示す距離演算制御処理は距離演算制御部０１０６で実施される。図４において，０４０１は第一の人物，０４０２は第二の人物であり，第一の人物０３０１は距離計測装置０２０１から光軸方向を基準として距離Ｚ［ｍ］よりも手前に存在する人物であり，第二の人物０３０２は距離Ｚ［ｍ］よりも奥に存在する。レンズ歪み補正処理や平行化処理等のキャリブレーション処理を行ったステレオ画像においては，同一の被写体はそれぞれの画像において同一のライン上に存在し，画像間における被写体のずれ，すなわち視差は被写体までの距離に反比例し，距離Ｚ［ｍ］より近くにいる被写体０３０１は所定の閾値ｔｈ３［画素］より大きい視差で撮像され，距離Ｚ［ｍ］より遠くにいる被写体０３０２は閾値ｔｈ３［画素］以下の視差で撮像される。そのため，距離演算制御部０１０６は，ステレオ距離演算処理０１０５が画像間で同一の被写体をステレオマッチングにより探索する際に，ｔｈ３［画素］以下の範囲でのみ探索を行うように制御することで，Ｚ［ｍ］より遠くにいる被写体のみ距離演算を行うことができ，演算量の低減を図ることができる。この閾値ｔｈ３は校正済みのステレオカメラであれば距離Ｚ［ｍ］に対し一意に決定することが可能である。このように，ステレオマッチングの探索範囲を距離演算制御部０１０６が制御することで，ステレオ距離演算部０１０５は高速かつ安定に所定の計測範囲の距離演算を行うことが可能となる。

図５は本発明の第１実施例に係る距離計測装置の距離情報統合シーケンスの一例を示す図である。図５に示す距離情報統合シーケンスは距離情報統合部０１０７で実施される。図５の距離情報統合シーケンスにおいて、ＳＴ０５０１では、距離演算制御部０１０６より各距離演算手段の計測範囲の境界であるＺ［ｍ］と，各距離演算手段が演算した距離情報の確からしさを示す評価値の判定閾値ｔｈ４を取得する。計測範囲の境界Ｚと判定閾値ｔｈ４は調整値として予めメモリに格納しても良いし，不図示のユーザインタフェースから対話型のインタフェースによってユーザが入力するようにしても良い。ＳＴ０５０２では，パターン光距離演算部０１０４とステレオ距離演算部０１０５より演算した距離情報と距離評価値を取得する。ＳＴ０５０３では，情報を統合したい画素を選択する。距離情報は撮像画像の各画素，ないしは間引きを行った画素ごとに得られるため，距離情報の存在しうる画素について左上からラスタ順に選択を行う。ＳＴ０５０４では，ＳＴ０５０３で選択した画素におけるパターン光距離演算部０１０４で演算した距離結果がＺ［ｍ］よりも小さくかつ評価値が閾値ｔｈ４より大きいかを判定し，条件を満たせばＳＴ０５０５に，そうでなければＳＴ０５０６に進む。ＳＴ０５０５では該画素の距離情報としてパターン光距離演算部０１０４で演算した距離情報を採用し，ＳＴ０５０９に進む。ＳＴ０５０６では，ＳＴ０５０３で選択した画素におけるステレオ距離演算部０１０５で演算した距離情報の評価値が閾値ｔｈ４より大きいかを判定し，条件を満たせばＳＴ０５０７に，そうでなければＳＴ０５０８に進む。ＳＴ０５０７では該画素の距離情報としてステレオ距離演算部０１０５で演算した距離情報を採用し，ＳＴ０５０９に進む。ＳＴ０５０８では該画素の距離情報としては優位な情報がいずれの距離演算処理でも得られなかったとして，どちらの結果も選択せずＳＴ０５０９に進む。ＳＴ０５０９では，全ての画素について距離情報の統合処理を行ったかを判定し，統合してない画素があれば次の画素についてＳＴ０５０３から繰り返し，全ての画素で統合処理が完了すれば処理を終了する。これにより，パターン光距離演算部０１０４の距離情報とステレオ距離演算部０１０５の距離情報を統合し，画像全体について精度の良い距離情報が得られる。なお，パターン光距離演算部０１０４の演算した距離情報とステレオ距離演算部０１０５で演算した距離情報について評価値による閾値処理を行うための閾値ｔｈ４は，それぞれの評価値のスケールが正規化されている場合は共通のものを用いればよいが，異なる閾値を用いて調整の自由度を持たせても良い。

図６は本発明の第１実施例に係る距離計測装置の距離演算制御処理と距離情報統合処理の異なる一例を示す図である。図６に示す距離演算制御処理は距離演算制御部０１０６で，距離情報統合処理は距離情報統合部０１０７で実施される。図６の例では，パターン光距離演算部０１０４の距離計測範囲とステレオ距離演算部０１０５の距離計測範囲を一部オーバラップするように距離演算制御部０１０６が制御した場合の例である。この例では，距離計測装置０６０１からの距離がＺ２［ｍ］＞Ｚ１［ｍ］であるという前提で，パターン光距離演算部０１０４はＺ２［ｍ］より近くにいる被写体について距離演算を行い，ステレオ距離演算部０１０５はＺ１［ｍ］より遠くにいる被写体について距離演算を行う。距離情報統合部０１０７は，各画素についてＺ１［ｍ］より手前の被写体についてはパターン光距離演算部０１０４の距離情報を採用し，Ｚ２［ｍ］より奥の被写体についてはステレオ距離演算部０１０５の距離情報を採用し，Ｚ１［ｍ］からＺ２［ｍ］の間に存在する被写体については，パターン光距離演算部０１０４の演算した距離情報とステレオ距離演算部０１０５で演算した距離情報のうち，評価値の高いほうを採用する。これにより，パターン光が減衰し，パターン光距離演算部０１０４では正確な距離が演算しにくい位置にいる被写体についても，評価値の高い距離演算手段の結果を採用することで精度の向上を図ることができる。

図７は，本発明の第１実施例に係るステレオ距離演算処理を示す図である。図７に示すステレオ距離演算処理はステレオ距離演算処理０１０５で実施される。図７において，（ａ）は第一の撮像部０１０１の出力する撮像画像，（ｂ）は第一の撮像部０１０１の出力する撮像画像に対しパターン除去処理を行った撮像画像，（ｃ）は第二の撮像部０１０２の出力する撮像画像，０７０１は第一の人物，０７０２は第二の人物であり，第一の人物０７０１は図６の例にてＺ１［ｍ］からＺ２［ｍ］の間に存在し，ステレオ距離演算部０１０５で距離演算を行う対象だがパターンの当たっている人物であり，第二の人物０７０２は距離Ｚ２［ｍ］よりも奥に存在しパターンの当たらない位置にいる人物を想定している。このとき第一の人物０７０１は赤外の波長域が撮像可能な第一の撮像部０１０１の出力する撮像画像（ａ）ではパターンが反射して映っており，赤外の波長域をカットする第二の撮像部０１０２の出力する撮像画像（ｂ）ではパターンが映らないためステレオ画像処理におけるステレオマッチングでは誤マッチングの原因となり正しい対応点の検出が困難である。この場合は，ステレオ距離演算処理０１０５は前処理として特徴点検出やテンプレートマッチングなどによるパターン光検出処理を行ったあと，平滑化処理や輝度補正処理によるパターン光除去処理を行ってパターン光の除去された画像（ｂ）を生成し，第二の撮像部０１０２の出力する撮像画像（ｂ）との間でステレオマッチング処理を行うことで，パターン光の当たった被写体に対しても距離情報の演算が可能となる。

図８は本発明の第１実施例に係るステレオ距離演算処理を示す第二の図である。図８に示すステレオ距離演算処理はステレオ距離演算処理０１０５で実施される。図８において，（ａ）はパターン光距離演算部０１０４が距離情報の一例として出力する距離画像，（ｂ）はパターン光距離演算部０１０５が距離情報の一例として出力する第一の撮像画像を基準画像としたときの距離画像，（ｃ）はパターン光距離演算部０１０５が距離情報の一例として出力する第二の撮像画像を基準画像としたときの距離画像，（ｄ）は（ａ）と（ｂ）を統合して生成した距離画像である。ここで，距離画像とはそれぞれの距離演算手段が演算した距離情報を画像として可視化したもので，濃い色の被写体は手前に存在することを，薄い色の被写体は奥に存在することを示す。また，白は距離演算の対象外で距離情報が得られていない被写体を示す。ステレオ距離演算処理部０１０５は第一の撮像部０１０１の出力する撮像画像および第二の撮像部０１０２の出力する撮像画像のいずれかを基準画像として各画素に対応する距離情報の演算を行う。このとき基準画像として選択した画像の各画素に対し距離情報が取得できる。そこでステレオ距離演算処理部０１０５は第一の撮像部０１０１の出力する撮像画像を基準画像とする。これにより，パターン光距離演算部０１０５の演算した距離情報が同一の画素について得られるため，距離情報統合部０１０７が距離情報を統合する際に，同一被写体の距離情報が異なる画素で得られることによる座標変換処理などを行う必要がなくなり，少ない演算コストで距離情報統合処理を行うことが可能となる。

図９は，本発明の第１実施例に係る距離計測装置を示す第二の模式図である。図９において０９０１は第一の撮像部、０９０２は第二の撮像部、０９０３は赤外パターン投影部、０９０４はパターン光距離演算部、０９０５はステレオ距離演算部，０９０６は距離演算制御部，０９０７は距離情報統合部，０９０８は映像出力部，０９０９は被写体識別部であり，図１に示した本発明の第１実施例に係る距離計測装置を示す第一の模式図に被写体識別部０９０９を加えた構成となっている。

図９に示した距離計測装置において、被写体識別部０９０９は第一の撮像部０９０１の出力する撮像画像および第二の撮像画像０９０２の出力する撮像画像に対し画像処理を行い，輝度情報や色情報や輝度分布の情報などをもとに特定の被写体の識別を行う。ステレオ距離演算部０９０５はステレオ画像処理の前処理として，被写体識別部０９０９の出力する被写体識別情報をもとに被写体ごとに異なる係数で画像間の感度補正処理を行う。被写体の組成ごとに赤外の波長域における光の反射率および吸収率は異なるため，被写体の種別ごとに赤外の波長域が撮像可能な第一の撮像部０９０１と赤外の波長域をカットする第二の撮像部０９０２の撮像感度が異なる。そこで，被写体の種別ごとに異なる係数で感度補正を行うことで，画像間の感度を適切に補正することができ，ステレオ画像処理による距離演算処理の演算精度を向上させることができる。また，ステレオ画像処理によるマッチング処理を行う際に，輝度ではなく輝度の増分符号を用いる増分符号相関等のマッチング手法を用いることで，より赤外波長域の感度差に対するロバスト性の向上を図っても良い。

図１０は，本発明の第１実施例に係る距離計測装置の感度補正処理を示す図である。図１０に示す感度補正処理はステレオ距離演算部０９０５で実施される。図１０において，１００１は第一の人物，１００２は第二の人物，１００３は植物である。植物は人物に比べ赤外の波長域の光の反射率が高いため，ステレオ距離演算部０９０５は被写体識別部０９０９の出力する被写体識別情報をもとに植物を人物よりも大きな係数で感度補正を行うことで，画像間の感度を被写体ごとに適切に行うことが可能となる。被写体識別部０９０９は，例えば第二の撮像部０１０２の出力するカラー映像から緑色といったカラー情報や微細な輝度変化の分布等から植物らしさを判定し，識別すればよく、その他既知の被写体識別方法を適宜用いればよい。このように被写体ごとに適切な感度補正を行うことで，ステレオ画像処理を一律に行うことができ，精度の良い距離演算が行える。

図１１は本発明の第１実施例に係る距離計測装置の距離演算制御シーケンスの一例を示す図である。図２に示す距離演算制御の一例においては，パターン光距離演算部０１０４とステレオ距離演算部０１０５がそれぞれ距離計測装置からの距離に基づく距離計測範囲内で距離演算を行うように制御を行ったが，図１１に示す距離演算制御シーケンスの一例では，パターン光距離演算部０１０４とステレオ距離演算部０１０５距離計測装置からの距離に係らず被写体単位で距離演算を行う。

図１１に示す距離演算制御シーケンスにおいて，ＳＴ１１０１では，パターン光距離演算部０１０４が距離演算処理を実施し，距離情報出力する。ＳＴ１１０２では，距離演算制御部０１０６がパターン光距離演算部０１０４の演算結果を取得し，演算評価値が低く正確な距離が得られていないと判断した画素位置を選択して出力する。ＳＴ１１０３では，ステレオ距離演算部０１０５は距離演算制御部０１０６よりパターン光距離演算部０１０４で距離の演算できなかった画素位置を取得し，その画素についてステレオ画像処理による距離演算処理を実施する。ＳＴ１１０４では距離情報統合部０１０７が距離演算結果を統合し，パターン光距離演算部０１０４で距離の演算できなかった画素の距離情報をステレオ距離演算部０１０５で演算した距離情報に置き換える。これにより，距離計測装置に近い位置に存在するにも係らず赤外の波長域の光を吸収し撮像画像中でパターンが検出できないため，パターン光距離演算部０１０４では距離が演算できないような被写体に対しても，ステレオ距離演算部０１０５により正確な距離が演算できるようになる。パターンが減衰するような遠くの被写体についても同様にステレオ距離演算部０１０５により正確な距離が演算できる。また，ステレオ距離演算部０１０５は，パターン光距離演算部０１０４で距離が得られなかった画素のみ距離演算を行えばよいため，計算量の低減を図ることができる。これにより，低コストでパターン光距離演算により距離が計測できないような被写体についてもステレオ距離演算による距離計測が行えることで，距離情報の欠落を防止することができる。
かように本実施例に拠れば，限られた構成で高精度かつ計測可能範囲の広い距離計測を行うことが可能となり，距離計測装置の低コスト化と性能向上を実現できる。

図１２は，本発明の第２実施例に係る距離計測装置を示す模式図である。図１２において１２０１は第一の撮像部、１２０２は第二の撮像部、１２０３は赤外パターン投影部、１２０４はパターン光距離演算部、１２０５はステレオ距離演算部，１２０６は距離演算制御部，１２０７は距離情報統合部，１２０８は映像出力部，１２１０はタイミング制御部，１２１１は被写体追跡部であり，図１に示した本発明の第１実施例に係る距離計測装置を示す第一の模式図にタイミング制御部１２１０と被写体追跡部１２１１を加えた構成となっている。

図１２に示した距離計測装置において、距離計測制御部１２０６の出力する制御タイミング情報にもとづきタイミング制御部１２１０は赤外パターン投影部１２０３の赤外パターンの投影期間や第一の撮像部１２０１や第二の撮像部１２０２の撮像タイミンングや撮像映像の出力タイミング，パターン光距離演算部１２０４およびステレオ距離演算部１２０５の距離演算タイミングを制御することで，赤外パターンを投影したときの第一の撮像部１２０１の出力する撮像画像に対しパターン光距離演算部１２０４が距離演算処理を，赤外パターンを投影していないときの第一の撮像部１２０１および第二の撮像部１２０２の出力する撮像画像に対しステレオ距離演算部１２０５が距離演算処理をそれぞれ同期して行えるようにする。これにより，ステレオ距離演算部１２０５はパターン光の影響を受けない画像を用いてステレオ画像処理が行えるため，距離演算精度を向上できる。被写体追跡部１２１１は第一の撮像部１２０１の出力する撮像画像，または，映像出力部１２０８の出力する出力映像，または，距離情報統合部１２０７の出力する距離情報を単独で，または組み合わせて用い，フレームごとに背景差分処理やラベリング処理やフィルタ処理などを行って移動人物などの特定の被写体を検出し，時間軸方向の検出被写体の変化情報を用いて被写体の追跡を行う。距離演算制御部１２０６は被写体追跡部１２１１の被写体追跡結果を取得し，追跡する被写体の距離を次のフレームにおいてパターン光距離演算部１２０４とステレオ距離演算部１２０５のいずれで演算するかを決定し，決定した距離演算手段が有効になるようにタイミング制御部１２１０に制御タイミング情報を出力する。これにより，距離検知装置を侵入者検知に転用した場合に，侵入者の追跡を行うなど，特定の被写体の距離情報を精度良く演算したい場合に，適応的にパターン光距離演算部１２０４とステレオ距離演算部１２０５を切り替えて使用することで高精度な距離情報の取得と追跡が実施できる。

図１３は本発明の第２実施例に係る距離計測装置のタイミング制御処理の一例を示す図である。図１３に示すタイミング制御処理はタイミング制御部１２１０で実施される。図１３において横軸は時間軸，縦軸は処理の種別を示し，フレームごとにどの処理が動作しているかを示す。この例では，１フレームおきにパターン光距離演算部１２０４とステレオ距離演算部１２０５が交互に距離演算処理を間欠で行うように制御することを想定している。赤外パターン光照射部１２０３は１フレームごとに赤外パターン光の照射の有無を切替え，パターン光距離演算部１２０４はパターン光が照射されている間に第一の撮像部１２０１が露光を行って撮像した映像が出力されるタイミングで距離演算を行い，ステレオ距離演算部１２０５はパターン光が照射されていない間に第一の撮像部１２０１および第二の撮像部１２０２が露光を行って撮像した映像がそれぞれ出力されるタイミングで距離演算を行い，距離情報統合部１２０７はパターン光距離演算部１２０４の距離演算結果とステレオ距離演算部１２０５の距離演算結果の両方が得られたタイミングで距離情報の統合を行う。また，映像出力部１２０８は毎フレームにおいて第二の撮像部１２０２の出力する撮像画像を表示映像として出力する。これにより，距離計測装置はフルフレームで撮像映像を出力するとともに，半分のフレーム間隔で精度の良い距離情報を出力することが可能となる。なお，上記の例では，パターン光距離演算部１２０４とステレオ距離演算部１２０５が交互に距離演算を行っているが，例えば，遠方の被写体は重要度が低いことを考慮し，ステレオ距離演算部１２０５の実施頻度をパターン光距離演算部１２０４の実施頻度より小さくすることで，近くの被写体の距離情報の更新頻度を高くすることを測っても良い。

図１４は本発明の第２実施例に係る距離計測装置の距離演算制御処理の一例を示す図である。図１４に示す距離演算制御処理は距離演算制御部１２０６で実施される。図１４に示す距離演算制御処理におおいて，（ａ）は時刻ｔにおける第一の撮像部１２０１の撮像画像，（ｂ）は時刻ｔ＋αにおける第一の撮像部１２０１の撮像画像，（ｃ）は時刻ｔ＋βにおける第一の撮像部１２０１の撮像画像であり，人物が時刻ｔから時刻ｔ＋βにかけて距離計測装置より遠方に移動することを想定している。このとき，被写体追跡部１２１１は人物を侵入者として検出および追跡し，距離演算制御部１２０６は被写体追跡部１２１１より人物の追跡結果を取得する。そして，時刻ｔでは人物が距離計測装置に近い距離Ｚ１［ｍ］以内にいることから次のフレームではパターン光距離演算部１２０４が距離演算処理を行うようにタイミング制御部１２１０の制御タイミングを決定し，時刻ｔ＋βでは人物が距離計測装置より遠い距離Ｚ２［ｍ］より遠方にいることから次のフレームではステレオ距離演算部１２０５が距離演算処理を行うようにタイミング制御部１２１０の制御タイミングを決定してそれぞれ精度の高い距離情報が得られるようにし，人物がＺ１［ｍ］とＺ２［ｍ］の間にいる時刻ｔ＋αではパターン光距離演算部１２０４とステレオ距離演算部１２０５を同時に行うように制御タイミングを決定して距離の計測漏れが発生しないようにする。これにより，注目被写体の位置により適切な距離計測を行い，高精度な距離情報の取得や追跡が行えるようになる。
かように本実施例に拠れば，時間軸でパターン光距離演算とステレオ距離演算を切り替えることで，ステレオ距離演算時にパターン光の影響を受けない高精度な距離演算を行うことが可能となる。

図１５は，本発明の第３実施例に係る距離計測装置を示す模式図である。図１５において１５０１は第一の撮像部、１５０２は第二の撮像部、１５０２＿１はステレオ演算用カメラ信号処理部，１５０２＿２は映像出力用カメラ信号処理部，１５０３は赤外パターン投影部、１５０４はパターン光距離演算部、１５０５はステレオ距離演算部，１５０６は距離演算制御部，１５０７は距離情報統合部，１５０８は映像出力部であり，図１に示した本発明の第１実施例に係る距離計測装置を示す第一の模式図に対し，第二の撮像部１５０２が複数のカメラ信号処理部を有する形態となっている。

図１５に示した距離計測装置において、撮像部１５０２はズームレンズ及びフォーカスレンズを含むレンズ群や、アイリスや、シャッタや、赤外カットフィルタやCCDまたはCMOSなどの撮像素子や、CDSやAGCや、ADコンバータ等から構成され、撮像素子に受光した光学像を光電変換し、ステレオ演算用カメラ信号処理部１５０２＿１は輝度生成処理やノイズ除去処理やエッジ強調処理などの非線形特性の信号処理を除くカメラ信号処理を行ってステレオ距離演算部１５０５に出力する。また，映像出力用カメラ信号処理部１５０２＿２は輝度生成処理や色生成処理やノイズ除去処理やエッジ強調処理や非線形のガンマ処理などのカメラ信号処理を行ってカラー映像信号として映像出力部１５０８に出力する。このように第二の撮像部１５０２が用途に応じて複数の信号処理を実施することで，ステレオ距離演算部１５０５ではステレオ画像処理に適した映像を，映像出力部１５０８ではカラー画像による画像認識やモニタへの映像表示に適した映像を，それぞれ高Ｓ／Ｎで用いることができる。
かように本実施例に拠れば，ステレオ距離演算の精度向上や表示映像のＳ／Ｎ向上を実現できる。

図１６は，本発明の第４実施例に係る距離計測装置を示す模式図である。図１６において１６０１は第一の撮像部、１６０２は第二の撮像部、１６０３は赤外パターン投影部、１６０４はパターン光距離演算部、１６０５はステレオ距離演算部，１６０６は距離演算制御部，１６０７は距離情報統合部，１６０８は映像出力部，１６１４は距離演算情報校正部であり，図１に示した本発明の第１実施例に係る距離計測装置を示す第一の模式図に対し，距離演算情報校正部１６１４を加えた形態となっている。

図１６に示した距離計測装置において，距離演算情報校正部１６１４はパターン光距離演算部１６０４とステレオ距離演算部１６０５より距離情報を取得し，同一の被写体に対する距離情報を比較することで，パターン光距離演算部１６０４ないしステレオ距離演算部１６０５で絶対距離を算出するための校正情報を演算し更新する。これにより，パターン光距離演算部１６０４とステレオ距離演算部１６０５の一方において，周辺との相対的な距離情報は演算できるが焦点距離などのスケールが不明であり絶対距離が性格に測定できない場合に，もう一方の絶対距離の情報を教示情報として用いることで絶対距離が演算できるように校正可能である。

図１７は本発明の第４実施例に係る距離計測装置の距離演算情報校正シーケンスの一例を示す図である。この例では第一の撮像部１６０１と第二の撮像部１６０２の撮像画像を用いてステレオ距離演算を行う際には既に校正されており被写体までの絶対距離が取得できるが，第一の撮像部１６０１の撮像画像と赤外パターン投影部１６０３の投影パターン光を用いてパターン光距離演算を行う際には，赤外パターン投影部１６０３の焦点距離などの厳密な校正が行われていないため相対的な距離情報が取得できない場合を想定している。

図１７においてＳＴ１７０１では，パターン光距離演算部１６０４はパターン光距離演算処理を実施し被写体までの相対的な概算の距離情報を演算する。ＳＴ１７０２では，ステレオ距離演算部１６０５はステレオ距離演算処理を実施し被写体までの精度の良い絶対距離情報を演算する。ＳＴ１７０３では，距離演算情報校正部１６１４は，パターン光距離演算処理とステレオ距離演算処理の双方で評価値が閾値以上の距離情報が取得できている画素を選択する。ＳＴ１７０４では，距離演算情報校正部１６１４は，ＳＴ１７０３で選択した画素についてステレオ距離演算処理部１６０５の出力する絶対距離情報を元にパターン光距離演算部１６０４で絶対距離情報を演算するために必要な焦点距離等の情報を算出し，校正情報としてメモリなどに格納する。これにより，以降はこの校正情報を用いることでパターン光距離演算部１６０４でも絶対距離の算出が行えるようになる。また，図１７に示した距離計測装置の距離演算情報校正シーケンスを定期的に行って，経年変化による絶対距離の演算精度の低下を抑制しても良い。
かように本実施例に拠れば，パターン光距離演算とステレオ距離演算で演算した距離情報を比較することで，一方の距離演算結果からもう一方の距離演算の校正を行うことが可能である。

図１８は，本発明の第５実施例に係る距離計測装置を示す第一の模式図である。図１８において１８０１＿１は可視光カットフィルタ，１８０１は可視光カットフィルタを備えた第一の撮像部、１８０２＿１は赤外カットフィルタ，１８０２は赤外カットフィルタを備えた第二の撮像部、１８０３は赤外パターン投影部、１８０４はパターン光距離演算部、１８０５はステレオ距離演算部，１８０６は距離演算制御部，１８０７は距離情報統合部，１８０８は映像出力部であり，図１に示した本発明の第１実施例に係る距離計測装置を示す第一の模式図に対し，第一の撮像部０１０１を可視光カットフィルタを備えた第一の撮像部１８０１に置き換えた形態となっている。第一の撮像部０１０１と可視光カットフィルタを備えた第一の撮像部１８０１との特徴的な差異は可視光カットフィルタの有無であり，撮像部０１０１において，撮像素子は可視光に加え近赤外の波長域の分光感度特性を有し，近赤外成分を含む被写体の撮像が可能である。一方で，可視光カットフィルタを備えた第一の撮像部１８０１は可視光カットフィルタを備え，撮像素子は可視光の波長域の分光感度特性を有さず，可視光成分を除去した被写体の撮像が可能である。そのため，パターン光距離演算部１８０４は，赤外パターン投影部１８０３が赤外パターン光を投影したときの可視光カットフィルタを備えた第一の撮像部１８０１の撮像画像から被写体に反射して映るパターンを画像処理により検出する際に，可視光成分を含む撮像画像に較べ，赤外パターンとその他の被写体との識別を容易に行うことができ，検出性能の向上による距離計測制度の向上や外乱の影響の低減，検出処理における計算コストの低減を実現できるという利点がある。

ステレオ距離演算部１８０５は可視光カットフィルタを備えた第一の撮像部１８０１が出力する赤外成分を含む撮像画像と，赤外カットフィルタを備えた第二の撮像部１８０２が出力する可視光成分を含む撮像画像を用いてステレオ画像処理を行い、距離情報や情報の信頼度を演算し出力する。このとき，ステレオ画像間で分光感度が大きく異なるため，輝度情報を用いたステレオマッチング処理の変わりに，例えばエッジ成分などの特徴量を検出し，特徴量同士で画像間のステレオマッチングを行うことで感度差があっても安定的に距離を測定できるようにすれば良い。可視光カットフィルタを備えた第一の撮像部１８０１が出力する赤外成分を含む撮像画像に対しては赤外成分の反射特性を踏まえた特徴量検出の識別器を，赤外カットフィルタを備えた第二の撮像部１８０２が出力する可視光成分を含む撮像画像に対しては可視光成分の反射特性を踏まえた特徴量検出の識別器を，それぞれ用いることで検出精度の工場を図ることができる。

また，可視光カットフィルタを備えた第一の撮像部１８０１は，屋外であれば自然光に含まれる赤外波長域の光を用いて被写体の赤外成分を撮像することができるが，夜間や屋内においては，本発明の第５実施例に係る距離計測装置を赤外ＬＥＤ等の光源と組み合わせて用いることで，被写体の赤外成分を安定的に撮像できるようにしても良い。
かように本実施例に拠れば，赤外パターン投影による距離計測性能を向上しつつ，計測可能範囲の広い距離計測を行うことが可能となり，距離計測装置の低コスト化と性能向上を実現できる。

図１９は，本発明の第６実施例に係る距離計測装置を示す模式図である。図１９において１９０１は第一の撮像部、１９０２は第二の撮像部、１９０２＿１はステレオ演算用カメラ信号処理部，１９０２＿２は映像出力用カメラ信号処理部，１９０３は赤外パターン投影部、１９０４はパターン光距離演算部、１９０５はステレオ距離演算部，１９０６は距離演算制御部，１９０７は距離情報統合部，１９０８は映像出力部である。本発明の第３実施例に係る距離計測装置と，本発明の第６実施例に係る距離計測装置との特徴的な差異は，第２の撮像部における赤外カットフィルタの有無であり，撮像部１５０２は赤外カットフィルタを備え，撮像素子は可視光の波長域の分光感度特性を有し，可視光成分を含む被写体の撮像が可能である。一方で，撮像部１９０２は赤外カットフィルタを備えず，撮像素子は可視光に加え近赤外の波長域の分光感度特性を有し，近赤外成分を含む被写体の撮像が可能である。そのため，第一の撮像部１９０１と第二の撮像部１９０２は同様の分光感度特性を備え，ステレオ距離演算部１９０６はステレオ画像間におけるマッチング処理を高精度に行うことができ，距離計測制度の向上や外乱の影響の低減，検出処理における計算コストの低減を実現できるという利点がある。

映像出力用カメラ信号処理部１９０２＿２は輝度生成処理や色生成処理やノイズ除去処理やエッジ強調処理や非線形のガンマ処理などのカメラ信号処理を行ってカラー映像信号として映像出力部１９０８に出力する。このとき，図１９で示した第二の撮像部１９０２の出力する撮像画像は赤外成分を含むことから，色生成処理を行った際に，図１５で示した第二の撮像部１５０２の出力する撮像画像に対し色生成処理を行った場合に比べて色再現性が低下する可能性がある。そのため，映像出力用カメラ信号処理部１９０２＿２はカラー映像信号の代わりに，輝度信号のみを映像信号として映像出力部１９０８に出力しても良い。これにより，色再現性の低下による視認性の低下を抑えることができる。
かように本実施例に拠れば，ステレオ画像処理による距離計測性能を向上しつつ，計測可能範囲の広い距離計測を行うことが可能となり，距離計測装置の低コスト化と性能向上を実現できる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、適宜他の構成の追加・削除・置換をすることが可能である。なお、本発明は民生や監視や車載や携帯電話や計測用や業務用の距離計測機能を有するカメラに利用可能である。

０１０１第一の撮像部
０１０２第二の撮像部
０１０３赤外パターン投影部
０１０４パターン光距離演算部
０１０５ステレオ距離演算部
０１０６距離演算制御部
０１０７距離情報統合部
０１０８映像出力部
０２０１距離計測装置
０２０２第一の人物
０２０３第二の人物
０３０１第一の人物
０３０２第二の人物
０３０３第三の人物
０４０１第一の人物
０４０２第二の人物
０７０１第一の人物
０７０２第二の人物
０９０１第一の撮像部
０９０２第二の撮像部
０９０３赤外パターン投影部
０９０４パターン光距離演算部
０９０５ステレオ距離演算部
０９０６距離演算制御部
０９０７距離情報統合部
０９０８映像出力部
０９０９被写体識別部
１００１第一の人物
１００２第二の人物
１００３植物
１２０１第一の撮像部
１２０２第二の撮像部
１２０３赤外パターン投影部
１２０４パターン光距離演算部
１２０５ステレオ距離演算部
１２０６距離演算制御部
１２０７距離情報統合部
１２０８映像出力部
１２１０タイミング制御部
１２１１被写体追跡部
１５０１第一の撮像部
１５０２第二の撮像部
１５０３赤外パターン投影部
１５０４パターン光距離演算部
１５０５ステレオ距離演算部
１５０６距離演算制御部
１５０７距離情報統合部
１５０８映像出力部
１５０２＿１ステレオ演算用カメラ信号処理部
１５０２＿２映像出力用カメラ信号処理部
１６０１第一の撮像部
１６０２第二の撮像部
１６０３赤外パターン投影部
１６０４パターン光距離演算部
１６０５ステレオ距離演算部
１６０６距離演算制御部
１６０７距離情報統合部
１６０８映像出力部
１６１４距離演算情報校正部
１８０１＿１可視光カットフィルタ
１８０２＿１赤外カットフィルタ
１８０３赤外パターン投影部
１８０４パターン光距離演算部
１８０５ステレオ距離演算部
１８０６距離演算制御部
１８０７距離情報統合部
１８０８映像出力部
１８０１可視光カットフィルタを備えた第一の撮像部
１８０２赤外カットフィルタを備えた第二の撮像部
１９０１第一の撮像部
１９０２第二の撮像部
１９０３赤外パターン投影部
１９０４パターン光距離演算部
１９０５ステレオ距離演算部
１９０６距離演算制御部
１９０７距離情報統合部
１９０８映像出力部
１９０２＿１ステレオ演算用カメラ信号処理部
１９０２＿２映像出力用カメラ信号処理部

Claims

可視光の波長域および不可視光の所定の波長域に分光感度特性を有する第一の撮像手段と、
可視光の波長域に分光感度特性を有しかつ不可視光の所定の波長域に分光感度特性を有さない第二の撮像手段と，
前記所定の波長域の不可視光を前記第一の撮像手段の画角内に投影する不可視光投影手段と，
前記第一の撮像手段が出力する撮像画像に対し画像処理を行い，撮像画像中から検出した被写体に投影された前記所定の波長域の不可視光の情報に基づいて，前記被写体までの距離情報を演算して出力する不可視光活用距離演算手段と，
前記第一の撮像手段が出力する撮像画像と前記第二の撮像手段が出力する撮像画像に対しステレオ画像処理を行い前記被写体までの距離情報を演算して出力するステレオ距離演算手段と，
前記不可視光活用距離演算手段および前記ステレオ距離演算手段の距離演算の演算条件を制御する距離演算制御手段と，
を備えることを特徴とする距離計測装置。
請求項１に記載の距離計測装置であって，
前記不可視光投影手段の投影する前記所定の波長域の不可視光が近赤外波長域の所定のパターン光であることを特徴とする距離計測装置。
請求項１又は２に記載の距離計測装置であって，
前記距離演算制御部が距離演算条件として前記不可視光活用距離演算手段の距離計測範囲を所定の第一の距離計測範囲とし，前期ステレオ距離演算手段の距離計測範囲を所定の第二の距離計測範囲とすることを特徴とする距離計測装置。
請求項３に記載の距離計測装置であって，
前記距離演算制御部が前記所定の第一の距離計測範囲と前記所定の第二の距離計測範囲を重複しないように設定することを特徴とする距離計測装置。
請求項３に記載の距離計測装置であって，
前記距離演算制御部が前記所定の第一の距離計測範囲と前記所定の第二の距離計測範囲を一部が重複するように設定することを特徴とする距離計測装置。
請求項３乃至５のいずれかに記載の距離計測装置であって，
前記不可視光活用距離演算手段は前記第一の撮像手段の出力する撮像画像に撮像された不可視光の画像上のパターンの大きさや信号レベルの強さをもとに前記所定の第一の距離計測範囲内に存在する被写体の距離情報のみ演算することを特徴とする距離計測装置。
請求項３乃至５のいずれかに記載の距離計測装置であって，
前記ステレオ距離演算手段は前記第一の撮像手段の出力する撮像画像と前記第二の撮像手段の出力する撮像画像における同一被写体の視差の範囲をもとに前記所定の第二の距離計測範囲内に存在する被写体の距離情報のみ演算することを特徴とする距離計測装置。
請求項１乃至７のいずれかに記載の距離計測装置であって，
さらに，前記距離演算制御部の制御する距離演算条件を取得し，前記不可視光活用距離演算手段の出力する距離情報と前記ステレオ距離演算手段の出力する距離情報を統合して一つの距離情報として出力する距離情報統合手段を備えることを特徴とする距離計測装置。
請求項８に記載の距離計測装置であって，
前記ステレオ距離演算手段がステレオ画像処理による距離演算を行う際に，前記第一の撮像手段の出力する撮像画像を基準画像としてステレオ画像処理を行うことを特徴とする距離計測装置。
可視光の波長域および不可視光の所定の波長域に分光感度特性を有する第一の撮像手段と、
可視光の波長域に分光感度特性を有しかつ不可視光の所定の波長域に分光感度特性を有さない第二の撮像手段と，
前記第一の撮像手段が出力する不可視光の所定の波長域を含む撮像画像と該第二の撮像手段が出力する不可視光の所定の波長域を含まない撮像画像に対しステレオ画像処理を行い被写体までの距離情報を演算して出力するステレオ距離演算手段とを備えることを特徴とする距離計測装置。
請求項１又は１０に記載の距離計測装置であって，
前記ステレオ距離演算手段が前記第一の撮像手段が出力する撮像画像と該第二の撮像手段が出力する撮像画像に対し，撮像可能な波長域の違いに基づく感度差を補正した上で，ステレオ画像処理を行い被写体までの距離情報を演算して出力すること，
を特徴とする距離計測装置。
請求項１又は１０に記載の距離計測装置であって，
さらに，前記第一の撮像手段が出力する撮像画像または前記第二の撮像手段が出力する撮像画像に対して画像処理を行い，特定の被写体を識別する被写体識別手段とを備え，
前記ステレオ距離演算手段が前記第一の撮像手段が出力する撮像画像と該第二の撮像手段が出力する撮像画像に対し，撮像可能な波長域の違いに基づく感度差を前記被写体識別手段の識別した特定の被写体に対し異なる重みで補正した上で，ステレオ画像処理を行い被写体までの距離情報を演算して出力することを特徴とする距離計測装置。
請求項１乃至１２のいずれかに記載の距離計測装置であって，
前記距離演算制御手段が距離演算条件として，前記不可視光活用距離演算手段については画像内の全てまたは一部の領域内に撮像されている被写体の距離情報を演算するように制御し，前記ステレオ距離演算手段については，前記不可視光活用距離演算手段で距離情報が演算できなかった被写体に対してのみ距離情報を演算するように制御することを特徴とする距離計測装置。
可視光の波長域および不可視光の所定の波長域に分光感度特性を有する第一の撮像手段と、
可視光の波長域に分光感度特性を有し該不可視光の所定の波長域に分光感度特性を有さない第二の撮像手段と，
該所定の波長域の不可視光を該第一の撮像手段の画角内に投影する不可視光投影手段と，
該第一の撮像手段が出力する撮像画像に対し画像処理を行い，撮像画像中の被写体に投影された該所定の波長域の不可視光の情報を検出して，被写体までの距離情報を演算して出力する不可視光活用距離演算手段と，
該第一の撮像手段が出力する撮像画像と該第二の撮像手段が出力する撮像画像に対しステレオ画像処理を行い被写体までの距離情報を演算して出力するステレオ距離演算手段と，
該不可視光活用距離演算手段および該ステレオ距離演算手段の距離演算の演算条件を制御する距離演算制御手段と，
該不可視光投影手段の不可視光を投影期間および該第一の撮像手段の撮像および撮像画像出力タイミングおよび該第二の撮像手段の撮像および撮像画像出力タイミングおよび該不可視光活用距離演算手段の距離演算タイミングおよび該ステレオ距離演算手段の距離演算タイミングを制御するタイミング制御手段と，
を備え，
該タイミング制御手段の制御するタイミングにより該不可視光投影手段は所定のタイミングで不可視光の投影を行い，該不可視光活用距離演算手段は不可視光の投影されているタイミングで該第一の撮像手段が撮像を行い出力した撮像画像を用いて距離演算処理を行い，該ステレオ距離演算手段は不可視光の投影されていないタイミングで該第一の撮像手段が撮像を行い出力した撮像画像と該第二の撮像手段が撮像を行い出力した撮像画像とを用いて距離演算処理を行うことを特徴とする距離計測装置。
請求項１４に記載の距離計測装置であって，
さらに，前記第一の撮像手段の撮像する撮像画像または前記第二の撮像手段の撮像する撮像画像または前記不可視光活用距離演算手段の出力する距離情報または前記ステレオ距離計測手段の出力する距離情報を用いて特定の被写体を検出および追跡する被写体追跡手段と，
を備え，
前記距離演算制御手段は前記被写体追跡手段の出力する特定の被写体の追跡結果に応じて前記不可視光活用距離演算手段および前記ステレオ距離演算手段の一方または双方を用いることを選択し，
前記タイミング制御手段が前記距離演算制御手段の選択結果に基づいて各手段の動作タイミングを制御することを特徴とする距離計測装置。
請求項１乃至１５のいずれかに記載の距離計測装置において，さらに，
前記第二の撮像手段の出力する撮像画像を映像表示媒体に出力するための映像出力部と，
を備え，
前記第二の撮像手段は前記ステレオ距離演算部と該映像出力部に対しそれぞれ異なるカメラ信号処理を行い生成した撮像画像を出力すること，
を特徴とする距離計測装置。
可視光の波長域および不可視光の所定の波長域に分光感度特性を有する第一の撮像手段と、
可視光の波長域に分光感度特性を有し該不可視光の所定の波長域に分光感度特性を有さない第二の撮像手段と，
該第一の撮像手段が出力する撮像画像に対し画像処理を行い，撮像画像中の被写体に投影された該所定の波長域の不可視光の情報を検出して，被写体までの距離情報を演算して出力する不可視光活用距離演算手段と，
該第一の撮像手段が出力する撮像画像と該第二の撮像手段が出力する撮像画像に対しステレオ画像処理を行い被写体までの距離情報を演算して出力するステレオ距離演算手段と，
該不可視光活用距離演算手段および該ステレオ距離演算手段の距離演算の演算条件を制御する距離演算制御手段と，
該不可視光活用距離演算手段および該ステレオ距離演算手段が距離演算を行う上で用いる校正情報を算出し格納する距離演算校正手段と，
を備え，
該距離演算制御部が該不可視光活用距離演算手段の距離計測範囲と前期ステレオ距離演算手段の距離計測範囲を一部が重複するように設定し，
該距離演算校正手段が該重複した距離計測範囲における該不可視光活用距離演算手段の演算した距離情報と前期ステレオ距離演算手段の演算した距離情報とをもとに，該不可視光活用距離演算手段または該ステレオ距離演算手段が距離演算を行う上で用いる校正情報を算出し格納することを特徴とする距離計測装置。
可視光の波長域に分光感度特性を有さずかつ不可視光の所定の波長域に分光感度特性を有する第一の撮像手段と、
可視光の波長域に分光感度特性を有しかつ不可視光の所定の波長域に分光感度特性を有さない第二の撮像手段と，
前記所定の波長域の不可視光を前記第一の撮像手段の画角内に投影する不可視光投影手段と，
前記第一の撮像手段が出力する撮像画像に対し画像処理を行い，撮像画像中から検出した被写体に投影された前記所定の波長域の不可視光の情報に基づいて，前記被写体までの距離情報を演算して出力する不可視光活用距離演算手段と，
前記第一の撮像手段が出力する撮像画像と前記第二の撮像手段が出力する撮像画像に対しステレオ画像処理を行い前記被写体までの距離情報を演算して出力するステレオ距離演算手段と，
前記不可視光活用距離演算手段および前記ステレオ距離演算手段の距離演算の演算条件を制御する距離演算制御手段と，
を備えることを特徴とする距離計測装置。
可視光の波長域および不可視光の所定の波長域に分光感度特性を有する第一の撮像手段と、
可視光の波長域および不可視光の所定の波長域に分光感度特性を有する第二の撮像手段と、
前記所定の波長域の不可視光を前記第一の撮像手段の画角内に投影する不可視光投影手段と，
前記第一の撮像手段が出力する撮像画像に対し画像処理を行い，撮像画像中から検出した被写体に投影された前記所定の波長域の不可視光の情報に基づいて，前記被写体までの距離情報を演算して出力する不可視光活用距離演算手段と，
前記第一の撮像手段が出力する撮像画像と前記第二の撮像手段が出力する撮像画像に対しステレオ画像処理を行い前記被写体までの距離情報を演算して出力するステレオ距離演算手段と，
前記不可視光活用距離演算手段および前記ステレオ距離演算手段の距離演算の演算条件を制御する距離演算制御手段と，
を備えることを特徴とする距離計測装置。
少なくとも可視光の波長域に分光感度特性を有する第一の撮像手段と、
少なくとも不可視光の所定の波長域に分光感度特性を有する第二の撮像手段と、
前記所定の波長域の不可視光を前記第一の撮像手段の画角内に投影する不可視光投影手段と，
前記第一の撮像手段が出力する撮像画像に対し画像処理を行い，撮像画像中から検出した被写体に投影された前記所定の波長域の不可視光の情報に基づいて，前記被写体までの距離情報を演算して出力する不可視光活用距離演算手段と，
前記第一の撮像手段が出力する撮像画像と前記第二の撮像手段が出力する撮像画像に対しステレオ画像処理を行い前記被写体までの距離情報を演算して出力するステレオ距離演算手段と，
前記不可視光活用距離演算手段および前記ステレオ距離演算手段の距離演算の演算条件を制御する距離演算制御手段と，
を備えることを特徴とする距離計測装置。