JPWO2009125577A1 - 撮像装置、撮像システムおよび撮像方法 - Google Patents

Abstract

温度の測定を要する撮像装置において、温度センサの実装数を削減する。複数のレンズを有するレンズアレイ（１１２）と、レンズアレイ（１１２）から所定の距離離れて設置され、複数のレンズのそれぞれに対応する撮像領域を有する撮像素子（１２２）と、各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、レンズアレイと撮像素子との間の空間を区画する遮光壁（１１３）と、撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力部（１３３）と、撮像信号から、撮像素子の撮像面に射影された遮光壁の像の長さを特定し、特定された遮光壁の像の長さを用いて、温度を推定する温度推定部（１４３）とを備えることを特徴とする。

Description

本発明は、小型かつ高精度な撮像装置に関し、特に複数のレンズを備えた撮像装置に関する。

従来の撮像装置として、複数のレンズが一体に形成されたレンズアレイを備えた撮像装置がある（例えば、特許文献１参照）。以下、特許文献１の撮像装置について、図３０および図３１を用いて説明する。

図３０は、特許文献１の撮像装置９０１の分解斜視図である。図３１は、特許文献１の撮像装置９０１の撮像ブロックを説明する図である。

図３０および図３１に示すように、撮像装置９０１は、絞り部材９０２、光学ブロックアレイ９０３、遮光ブロック９０４、光学フィルタ９０６、撮像ユニット９０７、駆動回路９０８、視差算出回路９０９、および半導体基板９１０を備える。

絞り部材９０２は、光学ブロックアレイ９０３に入射する光の量を調整する部材であり、複数の開口部９０２ａ、９０２ｂ、９０２ｃ、および９０２ｄを有する。

光学ブロックアレイ９０３は、いわゆるレンズアレイであり、光軸が互いに略平行である複数の光学ブロック９０３ａ、９０３ｂ、９０３ｃ、および９０３ｄが一体に形成された部材である。各光学ブロック９０３ａ、９０３ｂ、９０３ｃ、および９０３ｄは、絞り部材９０２が有する各開口部９０２ａ、９０２ｂ、９０２ｃ、および９０２ｄに対応して配置される。

遮光ブロック９０４は、絞り部材９０２が有する各開口部から入射した光が、対応する撮像ブロック以外の撮像ブロックに到達することを防止する部材である。

光学フィルタ９０６は、光学ローパスフィルタ、赤外線カットフィルタなどで構成される部材である。

撮像ユニット９０７は、ＣＣＤセンサ、ＣＭＯＳセンサなどの固体撮像素子からなり、光学ブロックアレイ９０３が有する複数の光学ブロック９０３ａ、９０３ｂ、９０３ｃ、および９０３ｄのそれぞれに対応する撮像ブロック９０７ａ、９０７ｂ、９０７ｃ、および９０７ｄを有する。

駆動回路９０８は、半導体基板９１０上に設置され、撮像ユニット９０７を駆動する回路である。

視差算出回路９０９は、各撮像ブロックに結像した像の視差を算出するための回路である。

半導体基板９１０は、撮像ユニット９０７、駆動回路９０８、視差算出回路９０９などが設置される基板である。

絞り部材９０２の開口部９０２ａ、９０２ｂ、９０２ｃ、および９０２ｄを通過した光は、それぞれ光学ブロック９０３ａ、９０３ｂ、９０３ｃ、および９０３ｄによる屈折作用を受けた後、遮光ブロック９０４内および光学フィルタ９０６を通過し、撮像ブロック９０７ａ、９０７ｂ、９０７ｃ、および９０７ｄに結像する。

そして、各撮像ブロックから得られる画像間の視差を算出することにより、撮像装置９０１から被写体までの距離が算出される。例えば、視差算出回路９０９が、ブロックマッチング演算により、撮像ブロック９０７ａから得られる画像と、撮像ブロック９０７ｂから得られる画像とのブロック間の類似度を算出する。そして、視差算出回路９０９は、算出された類似度に基づいて、視差ｄを求める。そして、視差算出回路９０９は、式（１）を用いて、視差ｄから距離Ｌを算出する。

ここで、ｆは光学ブロック９０３ａおよび９０３ｂの焦点距離である。また、Ｂは、光学ブロック９０３ａの光軸と、光学ブロック９０３ｂの光軸との間隔である。また、ｐは、光学ブロック９０３ａと光学ブロック９０３ｂとの光軸を結ぶ方向における撮像ユニット９０７の画素間隔である。

このように、光学ブロックアレイ９０３を備えた撮像装置９０１は、被写体までの距離を算出することができる。しかしながら、光学ブロックアレイ９０３は、温度の変化に伴って、形が変化する。つまり、温度が変化した場合、光軸間の間隔が変化するため、式（１）により算出された距離の誤差が大きくなるという問題がある。

そこで、従来、温度を検知する温度センサを撮像装置に備え、検知した温度を用いて、測距精度を向上させる方法が提案されている（例えば、特許文献２参照）。以下、図３０および図３１に示した撮像装置９０１が温度センサを備えているとした場合に、測距精度を向上させる方法について説明する。

撮像装置９０１が備える温度センサが検知した温度を検知温度Ｔとすると、式（２）を用いて、光軸間の距離の変化量ｚが算出される。

ここで、ａＬは光学ブロックアレイの熱線膨張率であり、ａＳは撮像ユニットの熱線膨張率である。また、Ｔ０は基準温度であり、Ｂは、基準温度Ｔ０における光学ブロック間の光軸の距離である。

このようにして得られる光軸間の距離の変化量ｚを用いて、撮像装置は、各撮像ブロックにより得られる画像を補正する。

具体的には、式（３）のように、撮像ブロック９０７ａにより得られる画像Ｉ１を基準とした場合、撮像装置は、撮像ブロック９０７ｂ、９０７ｃおよび９０７ｄにより得られる画像Ｉ２、Ｉ３およびＩ４を、式（４）、式（５）および式（６）を用いて補正する。

なお、光学ブロック９０３ａと光学ブロック９０３ｂとの光軸、および、光学ブロック９０３ｃと光学ブロック９０３ｄとの光軸は、互いにｘ軸方向に距離Ｂ離れて配置されている。また、光学ブロック９０３ａと光学ブロック９０３ｃとの光軸、および、光学ブロック９０３ｂと光学ブロック９０３ｄとの光軸は、互いにｙ軸方向に距離Ｂ離れて配置されている。

ここで、ｐは、撮像ユニット９０７のｘ軸方向およびｙ軸方向における画素間隔である。また、Ｉ１（ｘ，ｙ）、Ｉ２（ｘ，ｙ）、Ｉ３（ｘ，ｙ）、およびＩ４（ｘ，ｙ）は、座標（ｘ，ｙ）における、補正前および補正後の画像の輝度を示す。

温度変化により、光学ブロック９０３ｂは、光学ブロック９０３ａに対して、ｘ軸方向にｚ／ｐ画素だけ移動する。したがって、撮像装置は、式（４）のように、Ｉ２（ｘ，ｙ）を、ｘ軸方向にｚ／ｐだけ移動するように補正する。

また、温度変化により、光学ブロック９０３ｃは、光学ブロック９０３ａに対して、ｙ軸方向にｚ／ｐ画素だけ移動する。したがって、撮像装置は、式（５）のように、Ｉ３（ｘ，ｙ）を、ｙ軸方向にｚ／ｐだけ移動するように補正する。

また、温度変化により、光学ブロック９０３ｄは、光学ブロック９０３ａに対して、ｘ軸方向にｚ／ｐ画素、ｙ軸方向にｚ／ｐ画素だけ移動する。したがって、撮像装置は、式（６）のように、Ｉ４（ｘ，ｙ）を、ｘ軸方向にｚ／ｐ画素、ｙ軸方向にｚ／ｐ画素だけ移動するように補正する。

このように補正された画像を用いて、被写体までの距離を算出することにより、撮像装置の測距精度を向上させることができる。

特開２００３−１４３４５９号公報 特開２００２−２０４４６２号公報

しかしながら、上記従来の撮像装置では、レンズアレイおよび撮像素子の温度を得るために、温度センサを設置する必要がある。また、レンズアレイおよび撮像素子の温度の検知に関して、信頼性を向上させるためには、温度センサを複数設置する必要がある。そのため、温度センサの実装に伴って、撮像装置の部品点数が増大するとともに、製造コストも増大するという問題がある。

そこで、本発明は、温度の測定を要する撮像装置において、温度センサの実装数を削減することを目的とする。

上記目的を達成するために、本発明に係る撮像装置は、被写体を撮像する撮像装置であって、複数のレンズを有するレンズアレイと、前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁と、前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力部と、前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定した前記遮光壁の像の長さを用いて、第１温度を推定する温度推定部とを備えることを特徴とする。

これにより、レンズアレイを有する撮像装置が一般的に備える遮光壁を利用して温度を推定することが可能となる。つまり、本発明に係る撮像装置は、温度を検知するための温度センサを備えることなく、温度を測定することが可能となる。

また、前記撮像装置は、さらに、前記レンズアレイの近傍に配置され、第２温度を検知する温度センサと、前記第１温度と前記第２温度とに基づいて、前記第２温度の信頼度を算出する信頼度算出部とを備えてもよい。具体的には、前記信頼度算出部は、前記第１温度と前記第２温度との差分が大きいほど、前記第２温度の信頼性が低くなるように前記信頼度を算出してもよい。

これにより、遮光壁を利用して推定された温度と温度センサにより検知された温度とを比較することができるので、温度センサが検知した温度の信頼性を評価することが可能となる。その結果、信頼性が低い場合に外部に報知するなどにより、撮像装置の信頼性を向上させることが可能となる。つまり、本来であれば、新たに温度センサを追加して信頼性を向上する必要がある撮像装置において、新たな温度センサを追加することなく、信頼性を向上させることが可能となる。

また、前記撮像装置は、さらに、所定温度から前記第２温度に変化した場合の、前記複数のレンズの光軸間の距離の変化量を推定し、推定された変化量を用いて、前記撮像信号から得られる情報を補正する温度補償演算部と、前記温度補償演算部により補正された情報を用いて、前記複数の撮像領域に撮像された像の視差と前記被写体までの距離とを算出する距離演算部とを備えてもよい。

これにより、温度センサから得られる温度の信頼性を確認したうえで、距離を算出することが可能となる。つまり、信頼性の高い測距装置を提供することが可能となる。

また、前記撮像装置は、さらに、前記信頼度算出部により算出された前記信頼度が所定値を超えることにより、前記第２温度の信頼性が低いと判断された場合に、外部へ報知するための報知データを生成する報知部を備えてもよい。

これにより、測定された温度の信頼度が所定の値より低くなった場合に、その旨を報知することが可能となる。

また、前記撮像装置は、さらに、前記レンズアレイと前記撮像素子との間に、前記遮光壁を取り囲むように設置される筒状の鏡筒を備え、前記鏡筒は、内壁面に少なくとも一対の溝部を有し、前記遮光壁は、側端部を前記鏡筒の溝部に嵌合して設置されるとともに、前記撮像素子の撮像面から前記レンズアレイの方向に伸びる長方形状の板状部材であり、前記板状部材の同一板面から突起した突起部を少なくとも２つ有し、前記温度推定部は、前記突起部間の像の長さを用いて、前記第１温度を推定してもよい。

また、前記撮像装置は、さらに、前記レンズアレイと前記撮像素子との間に、前記遮光壁を取り囲むように設置される筒状の鏡筒を備え、前記鏡筒は、内壁面に少なくとも一対の溝部を有し、前記遮光壁は、前記撮像素子の撮像面から前記レンズアレイの方向に伸びる板状部材であり、側端部が前記鏡筒の溝部に嵌合される第１板部と、前記第１板部から前記撮像面側に突出する第２板部とを有し、前記温度推定部は、前記第２板部の像の長さを用いて、前記第１温度を推定してもよい。

これらにより、遮光壁を安定して設置することが可能となるとともに、撮像面に投影された遮光壁の像の長さの算出精度を向上させることができるので、温度推定の精度を向上させることが可能となる。

また、本発明に係る撮像システムは、前記撮像装置と、前記撮像装置が算出した被写体までの距離と信頼度とに基づいて所定の制御を行うシステム制御部とを備えることを特徴とする。

これにより、撮像システムにおいても、本発明に係る撮像装置と同様の効果が得られる。

また、本発明に係る撮像方法は、複数のレンズを有するレンズアレイと、前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁とを備える撮像装置で用いられる撮像方法であって、前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力ステップと、前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定した前記遮光壁の像の長さを用いて、温度を推定する温度推定ステップとを含むことを特徴とする。

これにより、撮像方法においても、本発明に係る撮像装置と同様の効果が得られる。

なお、本発明は、このような撮像方法に含まれるステップを実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。

本発明により、温度の測定を要する撮像装置において、温度センサの実装数を削減することが可能となる。

図１は、本発明の実施の形態１に係る撮像装置の構成を示す断面図である。 図２は、本発明の実施の形態１に係る撮像装置の鏡筒およびレンズアレイを取り外した状態における平面図である。 図３は、本発明に係る撮像装置が備えるレンズアレイの平面図である。 図４は、本発明に係る撮像装置が備える遮光壁の斜視図である。 図５は、本発明に係る撮像装置が備える撮像素子の平面図である。 図６は、本発明に係る撮像装置が備える撮像素子に投影された遮光壁の像を説明するための図である。 図７は、本発明の実施の形態１に係る撮像装置の特徴的な機能構成を示すブロック図である。 図８は、本発明の実施の形態１に係る撮像装置が実行する温度推定に関する処理の流れを示すフローチャートである。 図９は、本発明の実施の形態２に係る撮像装置の構成を示す断面図である。 図１０は、本発明の実施の形態２に係る撮像装置の鏡筒およびレンズアレイを取り外した状態における平面図である。 図１１は、本発明の実施の形態２に係る撮像装置が備える温度センサの回路図である。 図１２は、本発明の実施の形態２に係る撮像装置の特徴的な機能構成を示すブロック図である。 図１３は、本発明の実施の形態２に係る撮像装置において、無限遠にある物体像の結像位置を説明するための図である。 図１４は、本発明の実施の形態２に係る撮像装置において、有限距離の位置にある物体像の結像位置を説明するための図である。 図１５は、本発明の実施の形態２に係る撮像装置の動作を示すフローチャートである。 図１６は、本発明の実施の形態２に係る撮像装置の撮像信号の切り出し位置を説明するための図である。 図１７は、本発明の実施の形態２に係る撮像装置が備える距離演算部の動作を示すフローチャートである。 図１８は、本発明の実施の形態２に係る撮像装置におけるブロック分割を説明する図である。 図１９は、本発明の実施の形態２に係る視差評価値の演算領域を説明する図である。 図２０は、本発明の実施の形態２に係るずらし量と視差評価値との関係を説明する図である。 図２１は、本発明の実施の形態２に係る撮像装置の温度推定の動作を示すフローチャートである。 図２２は、本発明の実施の形態２に係る撮像装置の撮像信号のうち遮光壁に対応した撮像信号を切り出す位置と暗部とを説明するための図である。 図２３は、本発明の実施の形態３に係る撮像システムの構成を示すブロック図である。 図２４は、本発明の変形例に係る鏡筒の斜視図である。 図２５Ａは、本発明の変形例に係る遮光壁の斜視図である。 図２５Ｂは、本発明の変形例に係る遮光壁の斜視図である。 図２６Ａは、本発明の変形例に係る遮光壁の像を説明するための図である。 図２６Ｂは、本発明の変形例に係る遮光壁の像を説明するための図である。 図２７Ａは、本発明に係る撮像装置のレンズの平面図である。 図２７Ｂは、本発明に係る撮像装置のレンズの平面図である。 図２８Ａは、本発明に係る撮像装置の遮光壁の斜視図である。 図２８Ｂは、本発明に係る撮像装置の遮光壁の斜視図である。 図２９Ａは、本発明に係る遮光壁の撮像信号を示す図である。 図２９Ｂは、本発明に係る遮光壁の撮像信号を示す図である。 図３０は、従来の撮像装置の分解斜視図である。 図３１は、従来の撮像装置の撮像ブロックを説明する図である。

以下、本発明の実施の形態に係る撮像装置について、図面を参照しながら説明する。

（実施の形態１）
本発明の実施の形態１に係る撮像装置は、撮像素子の撮像面に射影した遮光壁の像の温度による変化量を算出し、算出した変化量を用いて温度を推定することができる点に特徴を有する。

以下、本発明の実施の形態１に係る撮像装置について、図面を参照しながら説明する。

図１は、本発明の実施の形態１に係る撮像装置１００の構成を示す断面図である。また、図２は、本発明の実施の形態１に係る撮像装置１００の、鏡筒１１１およびレンズアレイ１１２を取り外した状態における平面図である。

図１および図２に示すように、撮像装置１００は、レンズモジュール部１１０および回路部１２０を備える。レンズモジュール部１１０は、鏡筒１１１、レンズアレイ１１２、および遮光壁１１３を有し、回路部１２０は、基板１２１、撮像素子１２２、システムＬＳＩ（以下、ＳＬＳＩと記す）１２３を有する。以下、各構成部について詳細に説明する。

鏡筒１１１は、樹脂により一体に成型された直方体筒状の部材であり、レンズアレイ１１２および撮像素子１２２の周縁を囲む位置に設置される。また、鏡筒１１１の内壁面は、光の乱反射を防止するために、つや消しされた黒色である。

レンズアレイ１１２は、ガラス、透明樹脂などからなり、第１レンズ部１１２ａ、第２レンズ部１１２ｂ、第３レンズ部１１２ｃ、および第４レンズ部１１２ｄを有する。また、レンズアレイ１１２は、鏡筒１１１の内壁の上部に、接着剤などを用いて接合される。なお、レンズアレイ１１２の詳細は、図３を用いて後述する。

遮光壁１１３は、レンズアレイ１１２が有する各レンズ部を通過した光が、当該レンズ部に対応する撮像領域と異なる撮像領域に到達しないように、レンズアレイ１１２と撮像素子１２２との間の空間を区画する部材である。なお、遮光壁１１３の詳細は、図４を用いて後述する。

基板１２１は、撮像素子１２２、ＳＬＳＩ１２３などの部品を表面に固定し、その部品間を配線で接続することで電子回路を構成する樹脂製の板状部材である。基板１２１の上面には、鏡筒１１１の底面が接着剤などにより接合される。

撮像素子１２２は、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子であり、レンズアレイ１１２から所定の距離離れて配置される。また、撮像素子１２２は、レンズアレイ１１２の各レンズ部に対応する撮像領域を有する。これらの撮像領域は、対応する各レンズ部の光軸と略垂直となるように配置される。また、撮像素子１２２は、金線１２５および基板１２１を介して、ＳＬＳＩ１２３と電気的に接続される。なお、撮像素子１２２の詳細は、図５を用いて後述する。

ＳＬＳＩ１２３は、撮像素子１２２を駆動し、駆動した撮像素子１２２から電気信号を取得する。さらに、取得した電気信号に基づいて、温度を推定する。

図３は、本発明に係る撮像装置が備えるレンズアレイ１１２の平面図である。

図３に示すように、レンズアレイ１１２は、碁盤目状に配列された第１レンズ部１１２ａ、第２レンズ部１１２ｂ、第３レンズ部１１２ｃ、および第４レンズ部１１２ｄを有する。ここで、各レンズ部の配列方向の一方をｘ軸、他方をｙ軸と設定する。

この４つのレンズ部の光軸は、互いに略平行となるように設置されており、撮像素子１２２の撮像面と略垂直となるように設置されている。

図４は、本発明に係る撮像装置の遮光壁１１３の斜視図である。

図４に示すように、遮光壁１１３は、長方形状の２枚の樹脂板を十字状に組み合わせた形状をした部材であり、レンズアレイ１１２の底面に接着剤などで固着される。また、遮光壁１１３の壁面は、光の乱反射を防止するために、つやが消された黒色である。そして、遮光壁１１３は、樹脂を射出成形することにより、一体に形成される。

また、遮光壁１１３は、レンズアレイ１１２と撮像素子１２２との間に、第１レンズ部１１２ａ、第２レンズ部１１２ｂ、第３レンズ部１１２ｃ、および第４レンズ部１１２ｄを区切るように配置され、それぞれのレンズ部からの射出光が干渉しないように遮光する。

さらに、遮光壁１１３は、温度の変化に伴って、形状が変化する。一般的に、所定の温度範囲において、遮光壁の大きさは、温度に比例して大きくなる。

なお、遮光壁１１３は、一体成型ではなく、長方形状の２枚の樹脂板を組合せたものでもよい。また、遮光壁１１３は、樹脂に限定されるわけではない。つまり、遮光壁１１３は、光を遮り、かつ、温度変化に伴って変形する素材であればよい。

図５は、本発明に係る撮像装置が備える撮像素子１２２の平面図である。

図５に示すように、撮像素子１２２は、レンズアレイ１１２が有する４つのレンズ部（第１レンズ部１１２ａ、第２レンズ部１１２ｂ、第３レンズ部１１２ｃ、および第４レンズ部１１２ｄ）に対応する４つの撮像領域（第１撮像領域１２２ａ、第２撮像領域１２２ｂ、第３撮像領域１２２ｃ、および第４撮像領域１２２ｄ）を有する。

これらの各撮像領域には、対応する各レンズ部を通過した被写体からの光のみが結像する。つまり、各レンズ部を通過した光は、当該レンズ部に対応する撮像領域と異なる撮像領域には到達しない。すなわち、第１レンズ部１１２ａからの射出光は、第１撮像領域１２２ａのみに入射する。これは、第１レンズ部１１２ａからの射出光が、第２撮像領域、第３撮像領域、および第４撮像領域に入射するのを、遮光壁１１３が遮るからである。

さらに、撮像素子１２２は、遮光壁１１３の位置に対応する横中央部撮像領域１２２ｘおよび縦中央部撮像領域１２２ｙを有する。

図６は、撮像素子１２２に投影された遮光壁１１３の像を説明するための図である。

図６に示すように、遮光壁１１３は、撮像素子１２２の横中央部撮像領域１２２ｘおよび縦中央部撮像領域１２２ｙに、暗部１１３ｑｘおよび１１３ｑｙとして投影される。この暗部１１３ｑｘおよび１１３ｑｙの長さを、それぞれ長さＱｘおよびＱｙとする。

図７は、本発明の実施の形態１に係る撮像装置１００の特徴的な機能構成を示すブロック図である。

図７に示すように、撮像装置１００は、撮像信号入力部１３３、温度推定部１４３、記憶部１４６、および入出力部１３５を備える。

撮像信号入力部１３３は、ＡＤＣ（アナログ／デジタル変換器：Analog Digital Converter）などにより構成され、撮像素子１２２から取得した電気信号をデジタル値に変換した撮像信号を生成する。

温度推定部１４３は、撮像信号入力部１３３が生成した撮像信号を用いて、撮像素子１２２の撮像面に射影された遮光壁１１３の像の長さを算出することにより、遮光壁１１３の温度を推定する。

記憶部１４６は、フラッシュメモリなどからなり、所定温度において、遮光壁１１３が撮像素子１２２の撮像面に射影されたときの像の長さと遮光壁１１３の熱線膨張率とを記憶している。具体的には、温度Ｔ０、並びに温度Ｔ０における遮光壁１１３のｘ軸方向の像の長さＱｘ０およびｙ軸方向の像の長さＱｙ０並びに遮光壁１１３の熱線膨張率ｋｑを記憶している。

入出力部１３５は、温度推定部１４３が推定した温度を出力する。また、入出力部１３５は、他の装置からの命令を入力する。

次に、以上のように構成された撮像装置１００の動作について説明する。

図８は、本発明の実施の形態１に係る撮像装置１００が実行する温度推定に関する処理の流れを示すフローチャートである。

まず、撮像信号入力部１３３は、撮像素子１２２から取得した電気信号をデジタル値に変換した撮像信号を生成する（ステップＳ１００）。

次に、温度推定部１４３は、撮像信号入力部１３３が生成した撮像信号のうち、図５および図６に示した横中央部撮像領域１２２ｘに対応する横中央部撮像信号を切り出す（ステップＳ１０１）。

次に、温度推定部１４３は、撮像信号入力部１３３が生成した撮像信号のうち、図５および図６に示した縦中央部撮像領域１２２ｙに対応する縦中央部撮像信号を切り出す（ステップＳ１０２）。

次に、温度推定部１４３は、切り出された横中央部撮像信号から暗部１１３ｑｘの長さ、つまり遮光壁１１３の像のｘ軸方向の長さＱｘを検知する（ステップＳ１０３）。具体的には、温度推定部１４３は、横中央部撮像信号を二値化し、二値化された撮像信号を用いて、黒部の一端と他端との座標から、長さＱｘを検知する。

次に、温度推定部１４３は、ステップＳ１０３と同様に、縦中央部撮像信号から暗部１１３ｑｙの長さ、つまり遮光壁１１３の像のｙ軸方向の長さＱｙを検知する（ステップＳ１０４）。

次に、温度推定部１４３は、検知された長さＱｘおよびＱｙと、記憶部１４６に記憶された、温度Ｔ０における遮光壁１１３のｘ軸方向の像の長さＱｘ０およびｙ軸方向の像の長さＱｙ０並びに遮光壁１１３の熱線膨張率ｋｑとを用いて、予め定義された関係式に従って推定温度を算出する（ステップＳ１０５）。

具体的には、温度推定部１４３は、遮光壁１１３の温度による変化を数式化した式（７）および式（８）を用いて、温度ＴｘおよびＴｙを算出する。そして、式（９）のように、温度推定部１４３は、温度ＴｘおよびＴｙの相加平均値を推定温度Ｔｅとして算出する。

ここで、ｋｑは遮光壁１１３の熱線膨張率であり、遮光壁１１３の材質により定まる値である。

例えば、熱線膨張率ｋｑ＝７ｅ−５（／℃）、基準温度Ｔ０＝２０（℃）、基準温度Ｔ０における遮光壁１１３のｘ軸方向の長さＱｘ０＝１０（ｍｍ）とした場合、温度Ｔ＝３０（℃）のとき、遮光壁１１３のｘ軸方向の長さの変化量は、Ｑｘ−Ｑｘ０＝７（μｍ）である。ここで、撮像素子１２２の画素ピッチが２μｍとすると、長さの変化は３．５画素に相当する。したがって、画像からの長さを求めるときの分解能が０．１画素の場合、温度推定部１４３は、０．２９℃（＝１０℃／（３．５ｐｉｘ／０．１ｐｉｘ））の分解能で推定温度Ｔｅを算出できることになる。

以上のように、本実施の形態の撮像装置は、レンズアレイを有する撮像装置が一般的に備える遮光壁の温度変化による形状の変化を利用して温度を推定することが可能となる。つまり、本発明に係る撮像装置は、温度を検知するための温度センサを備えずに、温度を推定することが可能となる。

このようにして推定された推定温度は、複数の画像間の視差を利用して被写体までの距離を測定するときの温度補償に利用することができる。また、推定温度は、単に温度計などに表示する温度として利用することもできる。

なお、本実施の形態において、温度推定部１４３は、式（９）を用いて温度を推定していたが、温度と遮光壁の像の長さとの対応関係を複数の温度に対して格納した温度推定テーブルを参照することにより、検知した遮光壁の像の長さに対応する温度を推定してもよい。その場合、記憶部１４６は、温度推定テーブルを記憶することとなる。

また、本実施の形態において、温度推定部１４３は、式（９）とは異なる式を用いて温度を算出してもよい。例えば、温度推定部１４３は、遮光壁の長さを変数とする二次以上の多項式に従って、温度を算出してもよい。この場合、記憶部１４６は、多項式の係数を記憶することとなる。この多項式の係数は、熱線膨張率、基準温度、および基準温度における遮光壁の長さに限定されない。

また、本実施の形態において、温度推定部１４３は、記憶部１４６に記憶されたデータを用いて温度を推定していたが、撮像装置１００以外の装置に保持されたデータを取得して温度を推定してもよい。

（実施の形態２）
本発明の実施の形態２に係る撮像装置は、実施の形態１と同様の方法により推定した温度と、温度センサから得られる温度とを比較することにより、温度センサから得られる温度の信頼性を評価することができる点に特徴を有する。

以下、本発明の実施の形態２に係る撮像装置について、図面を参照しながら説明する。なお、実施の形態１と同じ構成部に関しては、同一符号にて示し、説明を省略する。

図９は、本発明の実施の形態２に係る撮像装置１０１の構成を示す断面図である。また、図１０は、本発明の実施の形態２に係る撮像装置１０１が備える鏡筒１１１およびレンズアレイ１１２を取り外した状態の平面図である。

図９および図１０に示すように、実施の形態２の撮像装置１０１は、温度センサ１２４を備える点が実施の形態１の撮像装置１００と異なっているが、他の構成部は実施の形態１の撮像装置１００と同じである。以下、温度センサ１２４について説明する。

温度センサ１２４は、サーミスタなどからなり、温度を検知することができる回路である。具体的には、図１１のように構成される。

図１１は、本発明の実施の形態２に係る撮像装置１０１が備える温度センサ１２４の回路図である。

図１１に示すように、温度センサ１２４は、第１固定抵抗１２４ａとサーミスタ１２４ｂと第２固定抵抗１２４ｃとが順に直列に接続された回路である。そして、第１固定抵抗１２４ａのサーミスタ１２４ｂと接続されない端部は、電源１２４ｄ（例えば３．３Ｖ、ＳＬＳＩとは別電源）に接続される。また、第２固定抵抗１２４ｃのサーミスタ１２４ｂと接続されない端部は、グランド１２４ｅ（例えば、０Ｖ。ＳＬＳＩ１２３のグランドと同一電位）に接続される。さらに、第１固定抵抗１２４ａとサーミスタ１２４ｂとの接続点１２４ｆは、ＳＬＳＩ１２３に接続される。

図１２は、本発明の実施の形態２に係る撮像装置１０１の特徴的な機能構成を示すブロック図である。

図１２に示すように、撮像装置１０１は、システム制御部１３１、撮像素子駆動部１３２、撮像信号入力部１３３、温度センサ信号入力部１３４、入出力部１３５、温度補償演算部１４１、距離演算部１４２、温度推定部１４３、温度センサ信号信頼度算出部１４４、報知部１４５、および記憶部１４６を備える。

システム制御部１３１は、ＣＰＵ（中央演算処理装置：Central Processing Unit）、ロジック回路などから構成され、ＳＬＳＩ１２３の全体を制御する。

撮像素子駆動部１３２は、ロジック回路などから構成され、システム制御部１３１の命令により、撮像素子１２２を駆動する信号を発生し、発生した信号に応じた電圧を撮像素子１２２に印加する。

撮像信号入力部１３３は、ＣＤＳ回路（相関二重サンプリング回路：Correlated Double Sampling Circuit）、ＡＧＣ（自動利得制御器：Automatic Gain Controller）およびＡＤＣ（アナログ／デジタル変換器：Analog Digital Converter）が直列に接続された回路からなる。撮像素子１２２から入力された電気信号は、ＣＤＳ回路により固定ノイズが除去され、ＡＧＣによりゲインが調整され、ＡＤＣによりアナログ信号からデジタル信号に変換され、撮像信号Ｉ０となる。

温度センサ信号入力部１３４は、ＡＤＣなどからなり、アナログ電圧信号である温度センサ信号をデジタル信号に変換した温度センサ信号Ｔｓを出力する。

入出力部１３５は、画像データ、距離データ、および報知データを撮像装置１０１の外部に出力する。

温度補償演算部１４１は、温度センサ信号Ｔｓを用いて、撮像信号の歪み補正を行う。具体的には、温度補償演算部１４１は、温度上昇に伴う、各レンズ部の光軸中心の移動距離を算出し、算出された移動距離に基づいて、座標変換テーブルの補正を行う。

距離演算部１４２は、撮像信号および座標変換テーブルを用いて、距離データおよび第１撮像信号を算出する。ここで、第１撮像信号は、第１レンズ部が第１撮像領域に結像した像に対応する信号である。距離データ算出の原理は、図１３および図１４を用いて後述する。

温度推定部１４３は、実施の形態１の撮像装置１００と同様に、撮像信号入力部１３３が出力した撮像信号Ｉ０を用いて、撮像素子１２２の撮像面に射影された遮光壁１１３の像の長さを算出することにより、遮光壁１１３の温度を推定する。

温度センサ信号信頼度算出部１４４は、センサ温度信号と推定温度との差分が大きいほど信頼性が低くなるように、温度センサ信号信頼度を算出する。ここで、温度センサ信号信頼度は、信頼性が低いほど、値が大きくなるように定義する。

報知部１４５は、温度センサ信号信頼度が設定値以上の場合、報知データの値を１とし、温度センサ信号信頼度が設定値より小さい場合、報知データの値を０とする。つまり、報知部１４５は、信頼性が低い場合には、値が１である報知データを生成する。

記憶部１４６は、フラッシュメモリなどからなり、所定温度と、所定温度における遮光壁１１３の像の長さを記憶する。具体的には、温度Ｔ０と、温度Ｔ０における、遮光壁１１３のｘ軸方向の長さＱｘ０とｙ軸方向の長さＱｙ０と熱線膨張率ｋｑとを記憶する。

なお、本実施の形態では、報知部１４５は、報知データを生成するのみであるが、作成した報知データに基づいて、報知部１４５は、ユーザ、管理会社などに報知する手段を備えてもよい。また、報知部１４５はＬＥＤ（Light Emitting Diode）を備え、報知データの値が１の場合に、ＬＥＤを点灯させてもよい。

次に、距離演算部１４２が行う距離データ算出の原理について、図１３および図１４を用いて説明する。なお、説明の便宜のため、図１３および図１４において、第１レンズ部１１２ａおよび第２レンズ部１１２ｂのみを図示し、第３レンズ部１１２ｃおよび第４レンズ部１１２ｄについては、図示を省略する。

図１３は、本発明の実施の形態２に係る撮像装置１０１において、無限遠にある物体像の結像位置を説明するための図である。

無限遠にある物体１０からの光の第１レンズ部１１２ａへの代表的な入射光Ｌ１は、第２レンズ部１１２ｂへの代表的な入射光Ｌ２と平行である。（ここで、説明の便宜のため、物体１０は２つ描画されている。しかし、実際は、物体１０は単一の物体である。つまり、無限遠にある物体１０からの入射光Ｌ１と入射光Ｌ２とが平行であることを明示するために、無限遠にある物体１０を２つ描画している。）このため、第１レンズ部１１２ａの光軸と第２レンズ部１１２ｂの光軸との間の距離は、撮像素子１２２上の物体像１１ａが結像される位置と物体像１１ｂが結像される位置との間の距離と等しい。すなわち、光軸間の距離と結像位置間の距離との差分である視差は発生しない。

図１４は、本発明の実施の形態２に係る撮像装置１０１において、有限距離の位置にある物体像の結像位置を説明するための図である。

有限距離の位置にある物体１２からの光の第１レンズ部１１２ａへの代表的な入射光Ｌ１は、第２レンズ部１１２ｂへの代表的な入射光Ｌ２と平行でない。したがって、第１レンズ部１１２ａの光軸と第２レンズ部１１２ｂの光軸との間の距離に比べて、撮像素子１２２上の物体像１３ａが結像される位置と物体像１３ｂが結像される位置との間の距離は長い。すなわち、視差が発生する。

ここで、第１レンズ部１１２ａの主点から物体像１２までの距離（被写体距離）をＡ、第１レンズ部１１２ａと第２レンズ部１１２ｂとの光軸間距離をＤ、第１レンズ部１１２ａおよび第２レンズ部１１２ｂの焦点距離をｆとする。その場合、図１４の直角を挟む２辺の長さがＡ、Ｄの直角三角形と、直角を挟む２辺の長さがｆ、Δの直角三角形とが相似であることにより、視差値Δは、式（１０）のように表される。

その他のレンズ部についても同様の関係が成立する。このように、被写体距離に応じて４つのレンズ部１１２ａ、１１２ｂ、１１２ｃ、１１２ｄのそれぞれが形成する４つの物体像の相対的位置が変化する。例えば、被写体距離Ａが小さくなると、視差値Δが大きくなる。そこで、式（１１）のように、式（１０）を被写体距離Ａについて解くことにより、視差値Δから被写体距離Ａを求めることができる。

次に、温度変化に伴う、各レンズ部の光軸中心の移動距離について、図３を用いて説明する。

レンズアレイ１１２の温度が上昇すると、レンズアレイ１１２が膨張する。つまり、図３の矢印のように、温度上昇に伴い、各レンズ部の光軸中心がレンズ外側に移動する。ここで、温度上昇に比例して、レンズアレイが等方的に膨張すると仮定すると、光軸中心の間隔の変化量は、式（１２）および（１３）により算出される。

ここで、ｄｄｘは温度上昇に伴う光軸間の間隔のｘ軸方向の変化量であり、単位は撮像素子１２２の受光素子の間隔である。また、ｄｄｙは温度上昇に伴う光軸間の間隔のｙ軸方向の変化量であり、単位は撮像素子１２２の受光素子の間隔である。また、Ｄｘは基準温度Ｔ０におけるｘ軸方向のレンズ間の光軸の間隔であり、Ｄｙは基準温度Ｔ０におけるｙ軸方向のレンズ間の光軸の間隔である。また、ａＬはレンズアレイ１１２の熱線膨張率であり、ａＳは撮像素子１２２の熱線膨張率である。また、Ｔは温度であり、Ｔ０は基準温度である。また、ｐは撮像素子１２２の受光素子の間隔である。

各レンズ部の光軸中心が等方的に膨張すると仮定すると、図３に示すように、各レンズ部の光軸中心は、温度上昇に伴うレンズ間の光軸間の間隔の変化の半分（ｘ軸方向にｐ＊ｄｄｘ／２、ｙ軸方向にｐ＊ｄｄｙ／２）だけ移動する。すなわち、第１レンズ部１１２ａの光軸中心は、ｘ軸方向に−ｐ＊ｄｄｘ／２、ｙ軸方向に−ｐ＊ｄｄｙ／２だけ移動する。また、第２レンズ部１１２ｂの光軸中心は、ｘ軸方向に＋ｐ＊ｄｄｘ／２、ｙ軸方向に−ｐ＊ｄｄｙ／２だけ移動する。また、第３レンズ部１１２ｃの光軸中心は、ｘ軸方向に−ｐ＊ｄｄｘ／２、ｙ軸方向に＋ｐ＊ｄｄｙ／２だけ移動する。また、第４レンズ部１１２ｄの光軸中心は、ｘ軸方向に＋ｐ＊ｄｄｘ／２、ｙ軸方向に＋ｐ＊ｄｄｙ／２だけ移動する。

したがって、検知した温度Ｔから求まる変化量ｄｄｘおよびｄｄｙを用いて、撮像装置は、レンズアレイ１１２の各レンズの光軸の移動距離を推定することができる。そして、推定された光軸の移動距離を用いて、撮像装置は、各種の補償を行うことができる。その結果、撮像装置は、温度変化に伴うレンズアレイ１１２の膨張の影響を低減し、正確な視差を求めることができる。つまり、撮像装置は、正確な視差から正確な距離を求めることができる。

次に、以上のように構成された撮像装置１０１の動作について説明する。

図１５は、本発明の実施の形態２に係る撮像装置１０１の動作を示すフローチャートである。

例えば、上位ＣＰＵ（図示せず）が、入出力部１３５を介して、撮像装置１０１に動作の開始を命令することにより、撮像装置１０１は、以下の動作を開始する。

まず、撮像信号入力部１３３は、ＣＤＳ回路、ＡＧＣ、ＡＤＣにより、撮像素子１２２から得られる電気信号から、撮像信号Ｉ０を生成する（ステップＳ１０２０）。ここで、撮像信号入力部１３３は、ｘ軸方向にＨ０画素、ｙ軸方向にＶ０画素を有する撮像信号Ｉ０（ｘ，ｙ）を、Ｉ０（０，０）、Ｉ０（１，０）、Ｉ０（２，０）、・・・、Ｉ０（Ｈ０−１，Ｖ０−１）の順に出力する。

次に、温度センサ信号入力部１３４は、アナログ電圧信号である温度センサ信号をデジタル値に変換し、変換した信号を温度センサ信号Ｔｓとして出力する（ステップＳ１０３０）。

次に、温度補償演算部１４１は、温度センサ信号Ｔｓを用いて、撮像信号の歪み補正を行う（ステップＳ１１００）。具体的には、図３に示すように、温度上昇に伴って、各レンズ部の光軸中心が移動する距離（ｐ＊ｄｄｘ／２、ｐ＊ｄｄｙ／２）に基づいて、座標変換テーブルを補正する。

以下に、図１６を用いて、温度補償演算部１４１が、ステップＳ１１００において行う処理の具体例を説明する。

図１６は、本発明の実施の形態２に係る撮像装置１０１の撮像信号の切り出し位置を説明するための図である。

温度補償演算部１４１は、第１撮像信号Ｉ１（ｘ，ｙ）用の変換テーブルｔｘ１（ｘ，ｙ）およびｔｙ１（ｘ，ｙ）を、式（１４）、（１５）および（１６）を用いて作成する。ここで、図１６に示すように、（ｘ０１，ｙ０１）は、撮像信号Ｉ０における歪みがないときの原点座標である。また、（ｘｃ１，ｙｃ１）は、撮像信号Ｉ１（ｘ，ｙ）における基準温度Ｔ０での光軸中心座標である。また、（−ｄｄｘ／２，−ｄｄｙ／２）は温度上昇による光軸中心の移動量であり、ｋｄ２およびｋｄ４は歪曲係数である。

また、温度補償演算部１４１は、第２撮像信号Ｉ２（ｘ，ｙ）用の変換テーブルｔｘ２（ｘ，ｙ）およびｔｙ２（ｘ，ｙ）を、式（１７）、（１８）および（１９）を用いて作成する。ここで、図１６に示すように、（ｘ０２，ｙ０２）は、撮像信号Ｉ０における歪みがないときの原点座標である。また、（ｘｃ２，ｙｃ２）は撮像信号Ｉ２（ｘ，ｙ）における基準温度Ｔ０での光軸中心座標である。また、（＋ｄｄｘ／２，−ｄｄｙ／２）は温度上昇による光軸中心の移動量であり、ｋｄ２およびｋｄ４は歪曲係数である。

また、温度補償演算部１４１は、第３撮像信号Ｉ３（ｘ，ｙ）用の変換テーブルｔｘ３（ｘ，ｙ）およびｔｙ３（ｘ，ｙ）を、式（２０）、（２１）および（２２）を用いて作成する。ここで、図１６に示すように、（ｘ０３，ｙ０３）は撮像信号Ｉ０における歪みがないときの原点座標である。また、（ｘｃ３，ｙｃ３）は、撮像信号Ｉ３（ｘ，ｙ）における基準温度Ｔ０での光軸中心座標である。また、（−ｄｄｘ／２，＋ｄｄｙ／２）は温度上昇による光軸中心の移動量であり、ｋｄ２およびｋｄ４は歪曲係数である。

また、温度補償演算部１４１は、第４撮像信号Ｉ４（ｘ，ｙ）用の変換テーブルｔｘ４（ｘ，ｙ）およびｔｙ４（ｘ，ｙ）を、式（２３）、（２４）および（２５）を用いて作成する。ここで、図１６に示すように、（ｘ０４，ｙ０４）は撮像信号Ｉ０における歪みがないときの原点座標である。また、（ｘｃ４，ｙｃ４）は、撮像信号Ｉ４（ｘ，ｙ）Ｉ４（ｘ，ｙ）における基準温度Ｔ０での光軸中心座標である。また、（＋ｄｄｘ／２，＋ｄｄｙ／２）は温度上昇による光軸中心の移動量であり、ｋｄ２およびｋｄ４は歪曲係数である。

なお、上記の座標変換テーブルの作成において、歪みがない場合は、式（２６）、（２７）、（２８）および（２９）のように、撮像信号Ｉ０（ｘ，ｙ）から画像を切り出した後に、式（３０）、（３１）、（３２）および（３３）のように、切り出した画像を平行移動することに相当する。

以下、図１５のフローチャートの説明の続きを行う。

次に、距離演算部１４２は、撮像信号Ｉ０、並びに座標変換テーブルｔｘ１（ｘ，ｙ）、ｔｙ１（ｘ，ｙ）、ｔｘ２（ｘ，ｙ）、ｔｙ２（ｘ，ｙ）、ｔｘ３（ｘ，ｙ）、ｔｙ３（ｘ，ｙ）、ｔｘ４（ｘ，ｙ）、およびｔｙ４（ｘ，ｙ）を用いて、距離データＤＩＳおよび第１撮像信号Ｉ１を生成する（ステップＳ１２００）。なお、本処理の詳細は、図１７を用いて後述する。

次に、温度推定部１４３は、撮像信号Ｉ０を用いて、推定温度Ｔｅを推定する（ステップＳ１３００）。なお、本処理の詳細は、図２１を用いて後述する。

次に、温度センサ信号信頼度算出部１４４は、センサ温度信号Ｔｓと推定温度Ｔｅとの差分が大きいほどセンサ温度信号Ｔｓの信頼性が低くなるように、温度センサ信号信頼度Ｔｓｒを算出する（ステップＳ１４００）。具体的には、温度センサ信号信頼度算出部１４４は、式（３４）を用いて、温度センサ信号信頼度Ｔｓｒを算出する。

ここで、Ｔｅ０およびＴｓ０は、オフセット値である。また、式（３４）のように、温度センサ信号信頼度Ｔｓｒを定義するため、温度センサ信号信頼度Ｔｓｒは、値が小さいほど信頼性が高いことを示し、値が大きいほど信頼性が低いことを示す。

次に、報知部１４５は、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０以上の場合、報知データＤＤＥの値を１とし、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０より小さい場合、報知データＤＤＥの値を０とする。具体的には、式（３５）を用いて、報知データＤＤＥを生成する（ステップＳ１５００）。つまり、報知データＤＤＥが１の場合は、温度センサ信号Ｔｓの信頼性が低いことを示す。一方、報知データＤＤＥが０の場合は、温度センサ信号Ｔｓの信頼性が高いことを示す。

次に、入出力部１３５は、画像データ、距離データ、信頼度データ、報知データなどを撮像装置１０１の外部に出力する（ステップＳ１９１０）。ここで、画像データとは、撮像信号Ｉ０、或いは第１撮像信号Ｉ１のことである。また、距離データとは、距離演算部１４２が算出した距離データＤＩＳのことである。また、信頼度データとは、温度センサ信号信頼度算出部１４４が算出した温度センサ信号信頼度Ｔｓｒのことである。また、報知データは、報知部１４５が生成した報知データＤＤＥのことである。

次に、システム制御部１３１は、処理を終了するか否かを判断する（ステップＳ１９２０）。例えば、システム制御部１３１は、入出力部１３５を介して、上位ＣＰＵ（図示せず）と通信し、動作を終了するか否かの命令を要求する。そして、上位ＣＰＵから終了命令を受け取った場合に、システム制御部１３１は、処理を終了すると判断する。

ここで、処理を終了しないと判断した場合（ステップＳ１９２０のＮ）、システム制御部１３１は、再度ステップＳ１０２０からの処理を繰り返す。一方、処理を終了すると判断した場合（ステップＳ１９２０のＹ）、システム制御部１３１は処理を終了する。

次に、図１５に示したステップＳ１２００の詳細な処理の流れを、図１７を用いて説明する。

図１７は、本発明の実施の形態２に係る撮像装置１０１が備える距離演算部１４２の動作を示すフローチャートである。

まず、距離演算部１４２は、撮像信号Ｉ０から、各レンズ部により結像された被写体像の画像を切り出す（ステップＳ１２２０）。この画像の切り出し処理では、歪曲補正処理も同時に行われる。つまり、距離演算部１４２は、第１レンズ部１１２ａに対応する第１撮像信号Ｉ１（ｘ，ｙ）、第２レンズ部１１２ｂに対応する第２撮像信号Ｉ２（ｘ，ｙ）、第３レンズ部１１２ｃに対応する第３撮像信号Ｉ３（ｘ，ｙ）、および第４レンズ部１１２ｄに対応する第４撮像信号ＩＩ４（ｘ，ｙ）を作成する。

具体的には、距離演算部１４２は、式（３６）のように、座標変換テーブルｔｘ１（ｘ，ｙ）およびｔｙ１（ｘ，ｙ）に基づいて、撮像信号Ｉ０（ｘ，ｙ）から第１撮像信号Ｉ１（ｘ，ｙ）を作成する。すなわち、座標 （ｔｘ１（ｘ，ｙ），ｔｙ１（ｘ，ｙ））の撮像信号Ｉ０を第１撮像信号Ｉ１（ｘ，ｙ）とする。

なお、座標（ｔｘ１（ｘ，ｙ），ｔｙ１（ｘ，ｙ））は、整数でなくてもよい。その場合、座標変換テーブルｔｘ１（ｘ，ｙ）の整数部分をｔｘ１ｉ（ｘ，ｙ）とし、小数部分をｔｘ１ｆ（ｘ，ｙ）とすると、式（３７）のように、４画素を利用して、第１撮像信号Ｉ１（ｘ，ｙ）を作成する。

同様に、距離演算部１４２は、式（３８）のように、座標変換テーブルｔｘ２（ｘ，ｙ）およびｔｙ２（ｘ，ｙ）に基づいて、撮像信号Ｉ０（ｘ，ｙ）から第２撮像信号Ｉ２（ｘ，ｙ）を作成する。

さらに、同様に、距離演算部１４２は、式（３９）のように、座標変換テーブルｔｘ３（ｘ，ｙ）およびｔｙ３（ｘ，ｙ）に基づいて、撮像信号Ｉ０（ｘ，ｙ）から第３撮像信号Ｉ３（ｘ，ｙ）を作成する。

さらに、同様に、距離演算部１４２は、式（４０）のように、座標変換テーブルｔｘ４（ｘ，ｙ）およびｔｙ４（ｘ，ｙ）に基づいて、撮像信号Ｉ０（ｘ，ｙ）から第４撮像信号Ｉ４（ｘ，ｙ）を作成する。

なお、歪みがなく、温度によるレンズの膨張がない場合、図１６に示すように、第１撮像信号Ｉ１（ｘ，ｙ）は、撮像信号Ｉ０を原点（ｘ０１，ｙ０１）から、ｘ軸方向にＨ１画素、ｙ軸方向にＶ１画素だけ切り出した領域の画像となる。また、第２撮像信号Ｉ２（ｘ，ｙ）は、撮像信号Ｉ０を原点（ｘ０２，ｙ０２）から、ｘ軸方向にＨ１画素、ｙ軸方向にＶ１画素だけ切り出した領域の画像となる。また、第３撮像信号Ｉ３（ｘ，ｙ）は、撮像信号Ｉ０を原点（ｘ０３，ｙ０３）から、ｘ軸方向にＨ１画素、ｙ軸方向にＶ１画素だけ切り出した領域の画像となる。また、第４撮像信号Ｉ４（ｘ，ｙ）は、撮像信号Ｉ０を原点（ｘ０４，ｙ０４）から、ｘ軸方向にＨ１画素、ｙ軸方向にＶ１画素だけ切り出した領域の画像となる。

次に、距離演算部１４２は、撮像信号をブロックに分割する（ステップＳ１２３０）。図１８は、本発明の実施の形態２に係る撮像装置１０１におけるブロック分割を説明する図である。図１８において、第１撮像信号Ｉ１は、ｘ軸方向にＨＢ画素、ｙ軸方向にＶＢ画素を有する長方形状のブロックに分割され、ｘ軸方向にＮｈ個、ｙ軸方向にＮｖ個のブロックを持つ。

次に、距離演算部１４２は、ブロックを選択する（ステップＳ１２４０）。ステップＳ１２３０の処理を実行した後、初めてこのステップＳ１２４０の処理を実行するときは、距離演算部１４２は、（０，０）で示されるブロックを選択する。そして、次回以後、ステップＳ１２４０の処理が実行されるときは、距離演算部１４２は、右側に順にずらしたブロックを選択する。

なお、距離演算部１４２が、図１８に示される右端のブロック（（Ｎｈ−１，０）、（Ｎｈ−１，１）、・・・で示されるブロック）を選択した場合、次回の処理において、距離演算部１４２は、１つ下の行の左端のブロック（（０，１）、（０，２）、・・・で示されるブロック）を選択する。

すなわち、ステップＳ１２３０の処理を実行後、初めてこのステップＳ１２４０の処理を実行するときを０番目とすると、距離演算部１４２は、ｉ番目において（ｉ％Ｎｈ，ｉｎｔ（ｉ／Ｎｈ））で示されるブロックを選択する。ここで、ｉ％Ｎｈは、ｉをＮｈで除算したときの剰余であり、ｉｎｔ（ｉ／Ｎｈ）は、ｉをＮｈで除算したときの商の整数部である。以後、このようにして選択されたブロックを選択ブロックＢ（ｉｈ，ｉｖ）と呼ぶ。

次に、距離演算部１４２は、視差を算出する（ステップＳ１２５０）。

以下、ステップＳ１２５０において、距離演算部１４２が行う視差の算出の詳細を説明する。

距離演算部１４２は、第１撮像信号Ｉ１と第２撮像信号Ｉ２との視差および視差信頼度を算出する。まず、距離演算部１４２は、第１撮像信号Ｉ１と第２撮像信号Ｉ２との視差評価値Ｒ１２（ｋｘ）を算出する。ここで、ｋｘは、画像をどれだけずらすかを示すずらし量であり、ｋｘ＝０、１、２、・・・、ＳＢのように変化させる。

図１９は、本発明の実施の形態２に係る撮像装置１０１において、第１撮像信号と第２撮像信号とを利用したときの視差演算における視差評価値の演算領域を説明する図である。

図１９において、Ｉ１で示される領域は、第１撮像信号Ｉ１の選択ブロックＢ（ｉｈ，ｉｖ）で選択された領域を示す。また、Ｉ２で示される領域は、選択ブロックの座標からｘ軸方向にｋｘだけずれた領域の第２撮像信号Ｉ２である。距離演算部１４２は、ずらし量ｋｘ＝０からＳＢについて、式（４１）に示される絶対値差分総和（ＳＡＤ：Sum of Absolute Differences）を演算し、視差評価値Ｒ１２（ｋｘ）を算出する。すなわち、距離演算部１４２は、第１撮像信号Ｉ１を基準として、視差評価値Ｒ１２（ｋｘ）を算出する。

この視差評価値Ｒ１２（ｋｘ）は、選択ブロックＢ（ｉｈ，ｉｖ）の第１撮像信号Ｉ１と、選択ブロックからｘ軸方向にｋｘだけずれた領域における第２撮像信号Ｉ２とが、どれだけ相関があるかを示す。そして、視差評価値Ｒ１２（ｋｘ）が小さいほど相関が大きい（よく似ている）ことを示す。

図２０は、本発明の実施の形態２に係る撮像装置１０１の第１撮像信号Ｉ１と第２撮像信号Ｉ２を利用したときの視差演算におけるずらし量と視差評価値との関係を説明する図である。

図２０に示すように、視差評価値Ｒ１２（ｋｘ）は、ずらし量ｋｘの値によって変化し、ずらし量ｋｘ＝Δのときに極小値となる。つまり、選択ブロックＢ（ｉｈ，ｉｖ）の第１撮像信号Ｉ１と、選択ブロックからｘ軸方向にΔだけずれた領域における第２撮像信号Ｉ２とが、最も相関が高いことを示す。したがって、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第２撮像信号Ｉ２との視差が、Δであることが分かる。

そこで、距離演算部１４２は、式（４２）のように、この視差Δを用いて、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第２撮像信号Ｉ２との視差値Δ１２（ｉｈ，ｉｖ）を算出する。そして、距離演算部１４２は、式（４３）のように、視差評価値Ｒ１２（Δ）を用いて、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第２撮像信号Ｉ２との視差信頼度Ｃ１２（ｉｈ，ｉｖ）を算出する。

次に、距離演算部１４２は、第１撮像信号Ｉ１と第３撮像信号Ｉ３との視差および視差信頼度も同様に算出する。ただし、ずらす方向はｙ軸方向とし、ずらし量はｋｙとする。

距離演算部１４２は、式（４４）のように、選択ブロックＢ（ｉｈ，ｉｖ）における、第１撮像信号Ｉ１と第３撮像信号Ｉ３との視差評価値Ｒ１３（ｋｙ）を算出する。すなわち、距離演算部１４２は、第１撮像信号Ｉ１を基準として、視差評価値Ｒ１３（ｋｙ）を算出する。

そして、距離演算部１４２は、最小値を与えるずらし量、すなわち視差Δを用いて、式（４５）のように、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第３撮像信号Ｉ３との視差値Δ１３（ｉｈ，ｉｖ）を算出する。また、距離演算部１４２は、式（４６）のように、視差評価値Ｒ１３（Δ）を用いて、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第３撮像信号Ｉ３との信頼度Ｃ１３（ｉｈ，ｉｖ）を算出する。

次に、距離演算部１４２は、第１撮像信号Ｉ１と第４撮像信号Ｉ４との視差および視差信頼度も同様に算出する。ただし、ずらす方向は斜め方向（第１レンズ部１１２ａの光軸と第４レンズ部１１２ｄの光軸とを結ぶ方向）とし、ずらし量はｘ軸方向にｋｘ、ｙ軸方向にｋｘ＊Ｄｙ／Ｄｘとする。

距離演算部１４２は、式（４７）のように、選択ブロックＢ（ｉｈ，ｉｖ）における、第１撮像信号Ｉ１と第４撮像信号Ｉ４との視差評価値Ｒ１４（ｋｘ）を算出する。すなわち、距離演算部１４２は、第１撮像信号Ｉ１を基準として、視差評価値Ｒ１４（ｋｘ）を算出する。

そして、距離演算部１４２は、最小値を与えるずらし量、すなわち視差Δを用いて、式（４８）のように、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第４撮像信号Ｉ４との視差値Δ１４（ｉｈ，ｉｖ）を算出する。また、距離演算部１４２は、式（４９）のように、視差評価値Ｒ１４（Δ）を用いて、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第４撮像信号Ｉ４との信頼度Ｃ１４（ｉｈ，ｉｖ）を算出する。

なお、式（４７）において座標（ｘ＋ｋｘ，ｙ＋ｋｘ＊Ｄｙ／Ｄｘ）が小数点以下の数字を有する座標となる場合、撮像信号Ｉ４は、周辺画素から線形補間などを用いて算出する。なお、図３に示すように、ＤｘおよびＤｙは、第１レンズ部１１２ａと第４レンズ部１１２ｄにおけるｘ軸方向の間隔、およびｙ軸方向の間隔である。

そして、距離演算部１４２は、上記３つの視差信頼度を比較し、最も信頼度の高い視差値をこのブロックにおける視差値とする。すなわち、距離演算部１４２は、式（５０）のように、３つの視差信頼度Ｃ１２（ｉｈ，ｉｖ）、Ｃ１３（ｉｈ，ｉｖ）、およびＣ１４（ｉｈ，ｉｖ）を比較し、Ｃ１２（ｉｈ，ｉｖ）が最も小さいときΔ１２（ｉｈ，ｉｖ）をブロックＢ（ｉｈ，ｉｖ）における視差値Δ（ｉｈ，ｉｖ）とし、Ｃ１３（ｉｈ，ｉｖ）が最も小さいとき Δ１３（ｉｈ，ｉｖ）をブロックＢ（ｉｈ，ｉｖ）における視差値Δ（ｉｈ，ｉｖ）とし、Ｃ１４（ｉｈ，ｉｖ）が最も小さいときΔ１４（ｉｈ，ｉｖ）をブロックＢ（ｉｈ，ｉｖ）における視差値Δ（ｉｈ，ｉｖ）とする。

なお、信頼度（Ｃ１２、Ｃ１３、およびＣ１４）として絶対値差分総和（式（４３）、（４６）、（４９））を用いたが、正規化相関係数を用いてもよい。この場合、最も大きい信頼度を与える視差値を選択する。ここで、視差値をｘ軸方向に統一するため、Δ１３（ｉｈ，ｉｖ）を採用する場合、レンズ部の間隔の比であるＤｘ／ＤｙをΔ１３（ｉｈ，ｉｖ）に乗ずる。

以下、図１７のフローチャートの説明の続きを行う。

次に、距離演算部１４２は、視差から距離を算出する（ステップＳ１２６０）。式（１０）を距離Ａについて解くと式（１１）のように表されるため、ブロックＢ（ｉｈ，ｉｖ）に含まれる領域の距離ＤＩＳ（ｘ，ｙ）は、式（５１）にように示される。

ここで、ｆは４つのレンズ部１１２ａ、１１２ｂ、１１２ｃ、および１１２ｄの焦点距離であり、ｐは撮像素子１２２の受光素子の間隔である。なお、視差値Δは、単位が画素である。したがって、式（５１）において、視差値Δが焦点距離ｆなどと同一の単位系となるように、受光素子の間隔ｐが乗じられている。

次に、距離演算部１４２は、距離演算を終了するか否かを判定する（ステップＳ１２７０）。ここで、距離演算を終了すると判定した場合（全てのブロックが選択された場合、つまり、選択ブロックがＢ（Ｎｈ−１，Ｎｖ−１）の場合）（ステップＳ１２７０のＹ）、図１５のステップＳ１３００の処理を実行する。一方、距離演算を終了すると判定しない場合（全てのブロックが選択されていない場合、つまり、選択ブロックがＢ（Ｎｈ−１，Ｎｖ−１）でない場合）（ステップＳ１２７０のＮ）、再度ステップＳ１２４０からの処理を実行する。

次に、図１５に示したステップＳ１３００の詳細な処理の流れを、図２１を用いて説明する。

図２１は、本発明の実施の形態２に係る撮像装置１０１の温度推定の動作を示すフローチャートである。

まず、温度推定部１４３は、撮像信号Ｉ０から横中央部撮像信号を切り出す（ステップＳ１３２０）。

図２２は、本発明の実施の形態２に係る撮像装置１０１の撮像信号のうち遮光壁に対応した撮像信号を切り出す位置と暗部とを説明するための図である。

図２２に示すように、温度推定部１４３は、遮光壁１１３に対応する暗部１１３ｑｘおよび１１３ｑｙを囲むように、横中央部撮像信号Ｉ５ｘ、縦中央部撮像信号Ｉ５ｙを切り出す。具体的には、温度推定部１４３は、原点（０，Ｖ０／２−Ｗ５／２）から、ｘ軸方向にＨ０画素、ｙ軸方向にＷ５画素だけ切り出した領域の撮像信号を、横中央部撮像信号Ｉ５ｘとする。

次に、温度推定部１４３は、撮像信号Ｉ０から縦中央部撮像信号を切り出す（ステップＳ１３３０）。具体的には、図２２に示すように、温度推定部１４３は、原点（Ｈ０／２−Ｗ５／２，０）から、ｘ軸方向にＷ５画素、ｙ軸方向にＶ０画素だけ切り出した領域の撮像信号を、縦中央部撮像信号Ｉ５ｙとする。

次に、温度推定部１４３は、切り出された横中央部撮像信号Ｉ５ｘから、横方向の暗部１１３ｑｘの長さＱｘを検知する（ステップＳ１３４０）。具体的には、温度推定部１４３は、横中央部撮像信号Ｉ５ｘを二値化し、二値化された撮像信号を用いて、黒部の左端から右端までの長さを検知する。

次に、温度推定部１４３は、切り出された縦中央部撮像信号Ｉ５ｙから、縦方向の暗部１１３ｑｙの長さＱｙを検知する（ステップＳ１３５０）。具体的には、温度推定部１４３は、縦中央部撮像信号Ｉ５ｙを二値化し、二値化された撮像信号を用いて、黒部の上端から下端までの長さを検知する。

次に、温度推定部１４３は、推定温度Ｔｅを算出する（ステップＳ１３６０）。具体的には、温度推定部１４３は、ステップＳ１３４０およびステップＳ１３５０において検知された横方向の暗部１１３ｑｘの長さＱｘおよび縦方向の暗部１１３ｑｙの長さＱｙを、式（９）に代入することにより、推定温度Ｔｅを算出する。

ここで、基準温度Ｔ０、遮光壁１１３の熱線膨張率ｋｑ、基準温度Ｔ０における横方向の暗部１１３ｑｘの長さＱｘ０、基準温度Ｔ０における縦方向の暗部１１３ｑｙの長さＱｙ０は、記憶部１４６に記憶された値が利用される。

以上、本発明の実施の形態２に係る撮像装置１０１は、温度推定部１４３が遮光壁１１３の像の長さに基づいて推定した推定温度を利用して、温度センサ１２４から得られる温度の信頼性を数値化した温度センサ信号信頼度を得ることが可能となる。すなわち、報知部１４５が、得られた温度センサ信号信頼度に基づいて、信頼性が低いことを報知するなどにより、ユーザは、不具合などが発生した状態での撮像装置の使用を回避することが可能となる。

具体的には、ユーザは、温度センサ１２４の経年劣化、温度センサ１２４の故障、温度センサ１２４とＳＬＳＩ１２３の配線の断線、ＳＬＳＩ１２３内部での温度センサ信号ラインの断線、温度センサ信号入力部１３４のＡＤＣの故障によるビット落ち、他部品の故障による負荷の増大による温度センサ信号入力部１３４のＡＤＣへのリファレンス電圧の低下、温度センサ１２４からＳＬＳＩ１２３への配線へのノイズの混入、ＳＬＳＩ１２３内部での温度センサ信号ラインへのノイズの混入などが発生した状態での撮像装置の使用を回避することが可能となる。

すなわち、本実施の形態の撮像装置によれば、撮像装置の信頼性を向上させることが可能となる。

このように、本来であれば、新たに温度センサを追加することにより信頼性を向上させる必要がある撮像装置において、新たな温度センサを追加することなく、信頼性を向上させることが可能となる。また、本実施の形態に係る撮像装置は、温度センサを新たに追加する必要がないので、製造コストを抑制すること、および撮像装置を小型化することが可能となる。

また、撮像装置１０１は、信頼性が評価された温度センサ１２４の温度を利用して温度補償し、被写体までの距離を算出することができる。つまり、温度センサを新たに追加することなく、信頼性の高い距離情報を提供することが可能となる。また、リファレンス電圧の変動により誤差が発生する可能性がある温度センサ信号Ｔｓと、リファレンス電圧が変動し画像濃淡が変動しても影響されない暗部の長さから求められる推定温度Ｔｅとを用いてセンサ温度信号信頼度Ｔｓｒを作成するため、本実施の形態の撮像装置によれば、より外部からのノイズに強い、つまり堅牢な撮像装置を提供することが可能となる。

なお、本実施の形態において、温度補償演算部１４１は、座標変換テーブルｔｘ１、ｔｙ１、ｔｘ２、ｔｙ２、ｔｘ３、ｔｙ３、ｔｘ４、ｔｙ４を算出することにより、温度補償を行っていたが、異なる温度補償を行ってもよい。例えば、温度補償演算部１４１は、距離演算部１４２が算出した視差に対して、式（５２）のように、レンズアレイ１１２の各レンズ部の光軸の間隔の変化分を減じて、温度補償を行ってもよい。

あるいは、温度補償演算部１４１は、距離演算部１４２が算出した距離ＤＩＳ（ｘ，ｙ）に対して、式（５３）のように補正することで、温度補償を行ってもよい。

また、本実施の形態において、温度センサ信号信頼度算出部１４４は、温度センサ信号信頼度Ｔｓｒを、２つの温度（センサ温度信号Ｔｓおよび推定温度Ｔｅ）の差分に基づいて算出しているが、２つの温度の比に基づいて算出してもよい。つまり、２つの温度の一致度が低いほど、温度センサ信号Ｔｓの信頼性が低くなるように、温度センサ信号信頼度Ｔｓｒが算出されればよい。このように、２つの温度の比に基づいて温度センサ信号信頼度を算出する場合、報知部１４５は、温度センサ信号信頼度が１を含む所定の値の範囲内にあるときに報知データＤＤＥを０とする。一方、温度センサ信号信頼度が１を含む所定の値の範囲外にあるときに、報知部１４５は報知データＤＤＥを１とする。

（実施の形態３）
本発明の実施の形態３に係る撮像システムは、実施の形態２に係る撮像装置１０１を利用したものである。

以下、本発明の実施の形態３に係る撮像システム２０２について、図面を参照しながら説明する。

図２３は、本発明の実施の形態３に係る撮像システム２０２の構成を示すブロック図である。

図２３に示すように、撮像システム２０２は、実施の形態２の撮像装置１０１、システム制御部２０３、警告報知部２０４、画像認識部２０５、記憶部２０６、および通信部２０７を備える。

システム制御部２０３は、ＣＰＵなどからなり、撮像システム２０２が有する各機能を制御する。

撮像装置１０１は、実施の形態２の撮像装置であり、システム制御部２０３によって制御される。また、撮像装置１０１は、画像データ（例えば、第１撮像信号Ｉ１）、距離データＤＩＳ、および温度センサ信号信頼度Ｔｓｒを出力する。

警告報知部２０４は、赤色のＬＥＤ、駆動回路などから構成される。温度センサ信号信頼度Ｔｓｒにより信頼性が高いと判断されるとき（例えば、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０未満のとき）、システム制御部２０３は、警告報知部２０４のＬＥＤを消灯する。一方、温度センサ信号信頼度Ｔｓｒにより信頼性が低いと判断されるとき（例えば、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０以上のとき）、システム制御部２０３は、警告報知部２０４のＬＥＤを点灯する。

これにより、ユーザは、撮像装置１０１の温度センサ信号の信頼度を知ることができる。その結果、ユーザは、使用中止、製造会社への通報などの対応を図ることができるので、撮像システム２０２の不具合による被害を抑制することが可能となる。

画像認識部２０５は、ＣＰＵなどから構成される。システム制御部２０３は、温度センサ信号信頼度Ｔｓｒに基づき、画像認識部２０５に、画像認識方法を命令する。温度センサ信号信頼度Ｔｓｒにより信頼性が高いと判断されるとき（例えば、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０未満のとき）、画像認識部２０５は、画像データＩ１と距離ＤＩＳとを利用した画像認識を行う。一方、温度センサ信号信頼度Ｔｓｒにより信頼性が低いと判断されるとき（例えば、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０以上のとき）、画像認識部２０５は、距離データＤＩＳを利用しないで、画像データＩ１のみを利用した画像認識を行う。

このように、温度センサ信号信頼度Ｔｓｒにより信頼性が低いと判断されるときは、画像認識部２０５は、例えば、距離ＤＩＳを利用せずに画像認識を行うため、温度センサの不具合による影響を回避することが可能となる。

記憶部２０６は、フラッシュＲＯＭなどの不揮発性メモリなどから構成される。システム制御部２０３は、温度センサ信号信頼度Ｔｓｒにより信頼性が低いと判断されるとき（例えば、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０以上のとき）、時刻および温度センサ信号信頼度Ｔｓｒを記憶部２０６に書き込む。

これにより、書き込まれた温度センサ信号信頼度Ｔｓｒの時系列情報を調べることができるので、温度センサの交換時期などを適切に判断することが可能となる。

通信部２０７は、無線通信機およびアンテナなどから構成される。システム制御部２０３は、温度センサ信号信頼度Ｔｓｒにより信頼性が低いと判断されるとき（例えば、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０以上のとき）、通信部２０７を介して、温度センサの不具合を、例えば管理会社などに報知する。

これにより、例えば、管理会社は、温度センサの不具合を検知し、管理要員の派遣、ユーザへの通報、部品の手配などを行うことができる。したがって、撮像システム２０２の不具合を早期に解消することが可能となる。

以上、本発明の実施の形態３に係る撮像システム２０２によれば、撮像装置１０１から得られる温度センサ信号信頼度に基づいて、画像処理などの処理方法を変更することが可能となる。つまり、撮像システム２０２は、温度センサの不具合による影響を回避することが可能となる。

（変形例）
本発明の変形例に係る撮像装置は、上記実施の形態に係る撮像装置の遮光壁および鏡筒の形状を変更することにより、遮光壁の像の長さの検知精度を向上させるものである。

以下、本発明の変形例に係る鏡筒１１１および遮光壁１１３について、図面を参照しながら説明する。

図２４は、本発明の変形例に係る鏡筒１１１の斜視図である。また、図２５Ａ及び図２５Ｂは、本発明の変形例に係る遮光壁１１３の斜視図である。また、図２６Ａ及び図２６Ｂは、本発明の変形例に係る遮光壁１１３の像を説明するための図である。

図２４に示すように、本変形例に係る鏡筒１１１は、遮光壁１１３をはめ合わせることが可能な４つの溝部１１１ｍを有する。この溝部１１１ｍに、図２５Ａ及び図２５Ｂに示す遮光壁１１３が挿入されることにより、遮光壁１１３は固定される。

図２５Ａは、変形例に係る遮光壁１１３の一例を示す。図２５Ａに示すように、遮光壁１１３は、下部に突起部１１３ｔを有する。

なお、本変形例に係る遮光壁１１３は、板面の両側に突起部１１３ｔを有しているが、片側だけに突起部１１３ｔを有する遮光壁１１３であってもよい。

図２６Ａは、図２５Ａに示す遮光壁１１３の像を示す。図２６Ａに示すように、温度推定部は、遮光壁１１３の突起部１１３ｔ間の像の長さＱｘおよびＱｙを用いて、温度を推定する。

なお、樽型の歪曲を持つレンズは、画像の斜め端は歪み補正によって不要となる。つまり、突起部の像の一部が４つの撮像信号（第１撮像信号１２２ａ、第２撮像信号１２２ｂ、第３撮像信号１２２ｃ、および第４撮像信号１２２ｄ）内に存在しているが、撮像信号の不要な部分が利用されていることになる。

また、遮光壁１１３は、図２５Ｂのような形状であってもよい。

図２５Ｂは、変形例に係る遮光壁１１３の一例を示す。図２５Ｂに示すように、遮光壁１１３は、上部に第１板部１１３ａ、下部に第２板部１１３ｂを有する。なお、第１板部１１３ａと第２板部１１３ｂは、一体で成型されている。

図２６Ｂは、図２５Ｂに示す遮光壁１１３の像を示す。図２６Ｂに示すように、温度推定部は、遮光壁１１３の第２板部１１３ｂの像の長さＱｘおよびＱｙを用いて、温度を推定する。

このように、遮光壁１１３が鏡筒１１１の溝部１１１ｍを用いて固定されることにより、遮光壁１１３を安定して保持することができる。また、遮光壁１１３と鏡筒１１１とが、同一の素材であれば、温度変化による変形も同一となる。つまり、レンズアレイに接着されるよりも、温度を正確に推定することが可能となる。

また、遮光壁１１３は、突起部１１３ｔまたは第２板部１１３ａを有するので、暗部の長さの検知が容易となり、暗部の長さの検知精度の向上も可能となる。つまり、温度推定の精度が向上する。

以上、本発明に係る撮像装置および撮像システムについて、実施の形態および変形例に基づいて説明したが、本発明は上記実施の形態および変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態および変形例に施したものや、異なる実施の形態および変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、本発明に係る撮像装置において、レンズアレイ１１２は、４つのレンズ部（第１レンズ部１１２ａ、第２レンズ部１１２ｂ、第３レンズ部１１２ｃ、および第４レンズ部１１２ｄ）を有していたが、レンズ部の数は４つに限定されない。以下に、レンズ部の数を変更した場合の具体例を、図を参照しながら説明する。

図２７Ａ及び図２７Ｂは、本発明に係る撮像装置のレンズの平面図である。また、図２８Ａ及び図２８Ｂは、本発明に係る撮像装置の遮光壁の斜視図である。また、図２９Ａ及び図２９Ｂは、本発明に係る遮光壁の撮像信号を示す図である。

例えば、図２７Ａに示すように、撮像装置が備えるレンズアレイは、２つのレンズ部を有してもよい。この場合、図２８Ａに示すように、遮光壁は、２つのレンズ部の射出光の干渉を防ぐために、１枚の板から構成される。

また、図２８Ａに示した遮光壁の像は、図２９Ａの暗部となる。ここで、遮光壁の像を取り囲む部分の撮像信号を縦中央部撮像信号Ｉ５ｙとすると、温度推定部は、縦中央部撮像信号Ｉ５ｙから遮光壁に対応する暗部の長さＱｙを検知する。そして、温度推定部は、式（５４）を用いて、検知した長さＱｙから推定温度Ｔｅを算出する。

また、例えば、図２７Ｂに示すように、撮像装置が備えるレンズアレイは、９つのレンズ部を有してもよい。この場合、図２８Ｂに示すように、遮光壁は、９つのレンズ部の射出光の干渉を防ぐために、井型に板を組合せて構成される。

また、図２８Ｂに示した遮光壁の像は、図２９Ｂの暗部となる。ここで、遮光壁の像を取り囲む部分の撮像信号を、第１横中央部撮像信号Ｉ５ｘ１、第２横中央部撮像信号Ｉ５ｘ２、第１縦中央部撮像信号Ｉ５ｙ１、および第２縦中央部撮像信号Ｉ５ｙ２とすると、温度推定部は、４つの中央部撮像信号から、それぞれの遮光壁に対応する暗部の長さＱｘ１、Ｑｘ２、Ｑｙ１、およびＱｙ２を検知する。そして、温度推定部は、式（５５）を用いて、検知した長さＱｘ１、Ｑｘ２、Ｑｙ１、およびＱｙ２から推定温度Ｔｅを算出する。

ここで、Ｑｘ１０は、基準温度Ｔ０における第１横中央部撮像信号Ｉ５ｘ１の暗部の長さである。また、Ｑｘ２０は、基準温度Ｔ０における第２横中央部撮像信号Ｉ５ｘ２の暗部の長さである。また、Ｑｙ１０は、基準温度Ｔ０における第１縦中央部撮像信号Ｉ５ｙ１の暗部の長さである。また、Ｑｙ２０は、基準温度Ｔ０における第２縦中央部撮像信号Ｉ５ｙ２の暗部の長さである。

本発明に係る撮像装置は、温度測定が可能な撮像装置として、例えば、カメラ機能を備えた携帯電話、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、立体画像入力カメラなどとして利用することができる。また、本発明に係る撮像システムは、被写体までの距離測定が可能な撮像システムとして、例えば、携帯電話、デジタルスチルカメラ、自動車、監視システム、３次元計測器、立体画像入力システムなどとして利用することができる。

１００、１０１ 撮像装置
１１０ レンズモジュール部
１１１ 鏡筒
１１２ レンズアレイ
１１３ 遮光壁
１２０ 回路部
１２１ 基板
１２２ 撮像素子
１２３ ＳＬＳＩ
１２４ 温度センサ
１２５ 金線
１３１ システム制御部
１３２ 撮像素子駆動部
１３３ 撮像信号入力部
１３４ 温度センサ信号入力部
１３５ 入出力部
１４１ 温度補償演算部
１４２ 距離演算部
１４３ 温度推定部
１４４ 温度センサ信号信頼度算出部
１４５ 報知部
１４６、２０６ 記憶部
２０２ 撮像システム
２０３ システム制御部
２０４ 警告報知部
２０５ 画像認識部
２０７ 通信部

本発明は、小型かつ高精度な撮像装置に関し、特に複数のレンズを備えた撮像装置に関する。

従来の撮像装置として、複数のレンズが一体に形成されたレンズアレイを備えた撮像装置がある（例えば、特許文献１参照）。以下、特許文献１の撮像装置について、図３０および図３１を用いて説明する。

図３０は、特許文献１の撮像装置９０１の分解斜視図である。図３１は、特許文献１の撮像装置９０１の撮像ブロックを説明する図である。

図３０および図３１に示すように、撮像装置９０１は、絞り部材９０２、光学ブロックアレイ９０３、遮光ブロック９０４、光学フィルタ９０６、撮像ユニット９０７、駆動回路９０８、視差算出回路９０９、および半導体基板９１０を備える。

絞り部材９０２は、光学ブロックアレイ９０３に入射する光の量を調整する部材であり、複数の開口部９０２ａ、９０２ｂ、９０２ｃ、および９０２ｄを有する。

光学ブロックアレイ９０３は、いわゆるレンズアレイであり、光軸が互いに略平行である複数の光学ブロック９０３ａ、９０３ｂ、９０３ｃ、および９０３ｄが一体に形成された部材である。各光学ブロック９０３ａ、９０３ｂ、９０３ｃ、および９０３ｄは、絞り部材９０２が有する各開口部９０２ａ、９０２ｂ、９０２ｃ、および９０２ｄに対応して配置される。

遮光ブロック９０４は、絞り部材９０２が有する各開口部から入射した光が、対応する撮像ブロック以外の撮像ブロックに到達することを防止する部材である。

光学フィルタ９０６は、光学ローパスフィルタ、赤外線カットフィルタなどで構成される部材である。

撮像ユニット９０７は、ＣＣＤセンサ、ＣＭＯＳセンサなどの固体撮像素子からなり、光学ブロックアレイ９０３が有する複数の光学ブロック９０３ａ、９０３ｂ、９０３ｃ、および９０３ｄのそれぞれに対応する撮像ブロック９０７ａ、９０７ｂ、９０７ｃ、および９０７ｄを有する。

駆動回路９０８は、半導体基板９１０上に設置され、撮像ユニット９０７を駆動する回路である。

視差算出回路９０９は、各撮像ブロックに結像した像の視差を算出するための回路である。

半導体基板９１０は、撮像ユニット９０７、駆動回路９０８、視差算出回路９０９などが設置される基板である。

絞り部材９０２の開口部９０２ａ、９０２ｂ、９０２ｃ、および９０２ｄを通過した光は、それぞれ光学ブロック９０３ａ、９０３ｂ、９０３ｃ、および９０３ｄによる屈折作用を受けた後、遮光ブロック９０４内および光学フィルタ９０６を通過し、撮像ブロック９０７ａ、９０７ｂ、９０７ｃ、および９０７ｄに結像する。

そして、各撮像ブロックから得られる画像間の視差を算出することにより、撮像装置９０１から被写体までの距離が算出される。例えば、視差算出回路９０９が、ブロックマッチング演算により、撮像ブロック９０７ａから得られる画像と、撮像ブロック９０７ｂから得られる画像とのブロック間の類似度を算出する。そして、視差算出回路９０９は、算出された類似度に基づいて、視差ｄを求める。そして、視差算出回路９０９は、式（１）を用いて、視差ｄから距離Ｌを算出する。

ここで、ｆは光学ブロック９０３ａおよび９０３ｂの焦点距離である。また、Ｂは、光学ブロック９０３ａの光軸と、光学ブロック９０３ｂの光軸との間隔である。また、ｐは、光学ブロック９０３ａと光学ブロック９０３ｂとの光軸を結ぶ方向における撮像ユニット９０７の画素間隔である。

このように、光学ブロックアレイ９０３を備えた撮像装置９０１は、被写体までの距離を算出することができる。しかしながら、光学ブロックアレイ９０３は、温度の変化に伴って、形が変化する。つまり、温度が変化した場合、光軸間の間隔が変化するため、式（１）により算出された距離の誤差が大きくなるという問題がある。

そこで、従来、温度を検知する温度センサを撮像装置に備え、検知した温度を用いて、測距精度を向上させる方法が提案されている（例えば、特許文献２参照）。以下、図３０および図３１に示した撮像装置９０１が温度センサを備えているとした場合に、測距精度を向上させる方法について説明する。

撮像装置９０１が備える温度センサが検知した温度を検知温度Ｔとすると、式（２）を用いて、光軸間の距離の変化量ｚが算出される。

ここで、ａＬは光学ブロックアレイの熱線膨張率であり、ａＳは撮像ユニットの熱線膨張率である。また、Ｔ０は基準温度であり、Ｂは、基準温度Ｔ０における光学ブロック間の光軸の距離である。

このようにして得られる光軸間の距離の変化量ｚを用いて、撮像装置は、各撮像ブロックにより得られる画像を補正する。

具体的には、式（３）のように、撮像ブロック９０７ａにより得られる画像Ｉ１を基準とした場合、撮像装置は、撮像ブロック９０７ｂ、９０７ｃおよび９０７ｄにより得られる画像Ｉ２、Ｉ３およびＩ４を、式（４）、式（５）および式（６）を用いて補正する。

なお、光学ブロック９０３ａと光学ブロック９０３ｂとの光軸、および、光学ブロック９０３ｃと光学ブロック９０３ｄとの光軸は、互いにｘ軸方向に距離Ｂ離れて配置されている。また、光学ブロック９０３ａと光学ブロック９０３ｃとの光軸、および、光学ブロック９０３ｂと光学ブロック９０３ｄとの光軸は、互いにｙ軸方向に距離Ｂ離れて配置されている。

ここで、ｐは、撮像ユニット９０７のｘ軸方向およびｙ軸方向における画素間隔である。また、Ｉ１（ｘ，ｙ）、Ｉ２（ｘ，ｙ）、Ｉ３（ｘ，ｙ）、およびＩ４（ｘ，ｙ）は、座標（ｘ，ｙ）における、補正前および補正後の画像の輝度を示す。

温度変化により、光学ブロック９０３ｂは、光学ブロック９０３ａに対して、ｘ軸方向にｚ／ｐ画素だけ移動する。したがって、撮像装置は、式（４）のように、Ｉ２（ｘ，ｙ）を、ｘ軸方向にｚ／ｐだけ移動するように補正する。

また、温度変化により、光学ブロック９０３ｃは、光学ブロック９０３ａに対して、ｙ軸方向にｚ／ｐ画素だけ移動する。したがって、撮像装置は、式（５）のように、Ｉ３（ｘ，ｙ）を、ｙ軸方向にｚ／ｐだけ移動するように補正する。

また、温度変化により、光学ブロック９０３ｄは、光学ブロック９０３ａに対して、ｘ軸方向にｚ／ｐ画素、ｙ軸方向にｚ／ｐ画素だけ移動する。したがって、撮像装置は、式（６）のように、Ｉ４（ｘ，ｙ）を、ｘ軸方向にｚ／ｐ画素、ｙ軸方向にｚ／ｐ画素だけ移動するように補正する。

このように補正された画像を用いて、被写体までの距離を算出することにより、撮像装置の測距精度を向上させることができる。

特開２００３−１４３４５９号公報 特開２００２−２０４４６２号公報

しかしながら、上記従来の撮像装置では、レンズアレイおよび撮像素子の温度を得るために、温度センサを設置する必要がある。また、レンズアレイおよび撮像素子の温度の検知に関して、信頼性を向上させるためには、温度センサを複数設置する必要がある。そのため、温度センサの実装に伴って、撮像装置の部品点数が増大するとともに、製造コストも増大するという問題がある。

そこで、本発明は、温度の測定を要する撮像装置において、温度センサの実装数を削減することを目的とする。

上記目的を達成するために、本発明に係る撮像装置は、被写体を撮像する撮像装置であって、複数のレンズを有するレンズアレイと、前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁と、前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力部と、前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定した前記遮光壁の像の長さを用いて、第１温度を推定する温度推定部とを備えることを特徴とする。

これにより、レンズアレイを有する撮像装置が一般的に備える遮光壁を利用して温度を推定することが可能となる。つまり、本発明に係る撮像装置は、温度を検知するための温度センサを備えることなく、温度を測定することが可能となる。

また、前記撮像装置は、さらに、前記レンズアレイの近傍に配置され、第２温度を検知する温度センサと、前記第１温度と前記第２温度とに基づいて、前記第２温度の信頼度を算出する信頼度算出部とを備えてもよい。具体的には、前記信頼度算出部は、前記第１温度と前記第２温度との差分が大きいほど、前記第２温度の信頼性が低くなるように前記信頼度を算出してもよい。

これにより、遮光壁を利用して推定された温度と温度センサにより検知された温度とを比較することができるので、温度センサが検知した温度の信頼性を評価することが可能となる。その結果、信頼性が低い場合に外部に報知するなどにより、撮像装置の信頼性を向上させることが可能となる。つまり、本来であれば、新たに温度センサを追加して信頼性を向上する必要がある撮像装置において、新たな温度センサを追加することなく、信頼性を向上させることが可能となる。

また、前記撮像装置は、さらに、所定温度から前記第２温度に変化した場合の、前記複数のレンズの光軸間の距離の変化量を推定し、推定された変化量を用いて、前記撮像信号から得られる情報を補正する温度補償演算部と、前記温度補償演算部により補正された情報を用いて、前記複数の撮像領域に撮像された像の視差と前記被写体までの距離とを算出する距離演算部とを備えてもよい。

これにより、温度センサから得られる温度の信頼性を確認したうえで、距離を算出することが可能となる。つまり、信頼性の高い測距装置を提供することが可能となる。

また、前記撮像装置は、さらに、前記信頼度算出部により算出された前記信頼度が所定値を超えることにより、前記第２温度の信頼性が低いと判断された場合に、外部へ報知するための報知データを生成する報知部を備えてもよい。

これにより、測定された温度の信頼度が所定の値より低くなった場合に、その旨を報知することが可能となる。

また、前記撮像装置は、さらに、前記レンズアレイと前記撮像素子との間に、前記遮光壁を取り囲むように設置される筒状の鏡筒を備え、前記鏡筒は、内壁面に少なくとも一対の溝部を有し、前記遮光壁は、側端部を前記鏡筒の溝部に嵌合して設置されるとともに、前記撮像素子の撮像面から前記レンズアレイの方向に伸びる長方形状の板状部材であり、前記板状部材の同一板面から突起した突起部を少なくとも２つ有し、前記温度推定部は、前記突起部間の像の長さを用いて、前記第１温度を推定してもよい。

また、前記撮像装置は、さらに、前記レンズアレイと前記撮像素子との間に、前記遮光壁を取り囲むように設置される筒状の鏡筒を備え、前記鏡筒は、内壁面に少なくとも一対の溝部を有し、前記遮光壁は、前記撮像素子の撮像面から前記レンズアレイの方向に伸びる板状部材であり、側端部が前記鏡筒の溝部に嵌合される第１板部と、前記第１板部から前記撮像面側に突出する第２板部とを有し、前記温度推定部は、前記第２板部の像の長さを用いて、前記第１温度を推定してもよい。

これらにより、遮光壁を安定して設置することが可能となるとともに、撮像面に投影された遮光壁の像の長さの算出精度を向上させることができるので、温度推定の精度を向上させることが可能となる。

また、本発明に係る撮像システムは、前記撮像装置と、前記撮像装置が算出した被写体までの距離と信頼度とに基づいて所定の制御を行うシステム制御部とを備えることを特徴とする。

これにより、撮像システムにおいても、本発明に係る撮像装置と同様の効果が得られる。

また、本発明に係る撮像方法は、複数のレンズを有するレンズアレイと、前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁とを備える撮像装置で用いられる撮像方法であって、前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力ステップと、前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定した前記遮光壁の像の長さを用いて、温度を推定する温度推定ステップとを含むことを特徴とする。

これにより、撮像方法においても、本発明に係る撮像装置と同様の効果が得られる。

なお、本発明は、このような撮像方法に含まれるステップを実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。

本発明により、温度の測定を要する撮像装置において、温度センサの実装数を削減することが可能となる。

図１は、本発明の実施の形態１に係る撮像装置の構成を示す断面図である。 図２は、本発明の実施の形態１に係る撮像装置の鏡筒およびレンズアレイを取り外した状態における平面図である。 図３は、本発明に係る撮像装置が備えるレンズアレイの平面図である。 図４は、本発明に係る撮像装置が備える遮光壁の斜視図である。 図５は、本発明に係る撮像装置が備える撮像素子の平面図である。 図６は、本発明に係る撮像装置が備える撮像素子に投影された遮光壁の像を説明するための図である。 図７は、本発明の実施の形態１に係る撮像装置の特徴的な機能構成を示すブロック図である。 図８は、本発明の実施の形態１に係る撮像装置が実行する温度推定に関する処理の流れを示すフローチャートである。 図９は、本発明の実施の形態２に係る撮像装置の構成を示す断面図である。 図１０は、本発明の実施の形態２に係る撮像装置の鏡筒およびレンズアレイを取り外した状態における平面図である。 図１１は、本発明の実施の形態２に係る撮像装置が備える温度センサの回路図である。 図１２は、本発明の実施の形態２に係る撮像装置の特徴的な機能構成を示すブロック図である。 図１３は、本発明の実施の形態２に係る撮像装置において、無限遠にある物体像の結像位置を説明するための図である。 図１４は、本発明の実施の形態２に係る撮像装置において、有限距離の位置にある物体像の結像位置を説明するための図である。 図１５は、本発明の実施の形態２に係る撮像装置の動作を示すフローチャートである。 図１６は、本発明の実施の形態２に係る撮像装置の撮像信号の切り出し位置を説明するための図である。 図１７は、本発明の実施の形態２に係る撮像装置が備える距離演算部の動作を示すフローチャートである。 図１８は、本発明の実施の形態２に係る撮像装置におけるブロック分割を説明する図である。 図１９は、本発明の実施の形態２に係る視差評価値の演算領域を説明する図である。 図２０は、本発明の実施の形態２に係るずらし量と視差評価値との関係を説明する図である。 図２１は、本発明の実施の形態２に係る撮像装置の温度推定の動作を示すフローチャートである。 図２２は、本発明の実施の形態２に係る撮像装置の撮像信号のうち遮光壁に対応した撮像信号を切り出す位置と暗部とを説明するための図である。 図２３は、本発明の実施の形態３に係る撮像システムの構成を示すブロック図である。 図２４は、本発明の変形例に係る鏡筒の斜視図である。 図２５Ａは、本発明の変形例に係る遮光壁の斜視図である。 図２５Ｂは、本発明の変形例に係る遮光壁の斜視図である。 図２６Ａは、本発明の変形例に係る遮光壁の像を説明するための図である。 図２６Ｂは、本発明の変形例に係る遮光壁の像を説明するための図である。 図２７Ａは、本発明に係る撮像装置のレンズの平面図である。 図２７Ｂは、本発明に係る撮像装置のレンズの平面図である。 図２８Ａは、本発明に係る撮像装置の遮光壁の斜視図である。 図２８Ｂは、本発明に係る撮像装置の遮光壁の斜視図である。 図２９Ａは、本発明に係る遮光壁の撮像信号を示す図である。 図２９Ｂは、本発明に係る遮光壁の撮像信号を示す図である。 図３０は、従来の撮像装置の分解斜視図である。 図３１は、従来の撮像装置の撮像ブロックを説明する図である。

以下、本発明の実施の形態に係る撮像装置について、図面を参照しながら説明する。

（実施の形態１）
本発明の実施の形態１に係る撮像装置は、撮像素子の撮像面に射影した遮光壁の像の温度による変化量を算出し、算出した変化量を用いて温度を推定することができる点に特徴を有する。

以下、本発明の実施の形態１に係る撮像装置について、図面を参照しながら説明する。

図１は、本発明の実施の形態１に係る撮像装置１００の構成を示す断面図である。また、図２は、本発明の実施の形態１に係る撮像装置１００の、鏡筒１１１およびレンズアレイ１１２を取り外した状態における平面図である。

図１および図２に示すように、撮像装置１００は、レンズモジュール部１１０および回路部１２０を備える。レンズモジュール部１１０は、鏡筒１１１、レンズアレイ１１２、および遮光壁１１３を有し、回路部１２０は、基板１２１、撮像素子１２２、システムＬＳＩ（以下、ＳＬＳＩと記す）１２３を有する。以下、各構成部について詳細に説明する。

鏡筒１１１は、樹脂により一体に成型された直方体筒状の部材であり、レンズアレイ１１２および撮像素子１２２の周縁を囲む位置に設置される。また、鏡筒１１１の内壁面は、光の乱反射を防止するために、つや消しされた黒色である。

レンズアレイ１１２は、ガラス、透明樹脂などからなり、第１レンズ部１１２ａ、第２レンズ部１１２ｂ、第３レンズ部１１２ｃ、および第４レンズ部１１２ｄを有する。また、レンズアレイ１１２は、鏡筒１１１の内壁の上部に、接着剤などを用いて接合される。なお、レンズアレイ１１２の詳細は、図３を用いて後述する。

遮光壁１１３は、レンズアレイ１１２が有する各レンズ部を通過した光が、当該レンズ部に対応する撮像領域と異なる撮像領域に到達しないように、レンズアレイ１１２と撮像素子１２２との間の空間を区画する部材である。なお、遮光壁１１３の詳細は、図４を用いて後述する。

基板１２１は、撮像素子１２２、ＳＬＳＩ１２３などの部品を表面に固定し、その部品間を配線で接続することで電子回路を構成する樹脂製の板状部材である。基板１２１の上面には、鏡筒１１１の底面が接着剤などにより接合される。

撮像素子１２２は、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子であり、レンズアレイ１１２から所定の距離離れて配置される。また、撮像素子１２２は、レンズアレイ１１２の各レンズ部に対応する撮像領域を有する。これらの撮像領域は、対応する各レンズ部の光軸と略垂直となるように配置される。また、撮像素子１２２は、金線１２５および基板１２１を介して、ＳＬＳＩ１２３と電気的に接続される。なお、撮像素子１２２の詳細は、図５を用いて後述する。

ＳＬＳＩ１２３は、撮像素子１２２を駆動し、駆動した撮像素子１２２から電気信号を取得する。さらに、取得した電気信号に基づいて、温度を推定する。

図３は、本発明に係る撮像装置が備えるレンズアレイ１１２の平面図である。

図３に示すように、レンズアレイ１１２は、碁盤目状に配列された第１レンズ部１１２ａ、第２レンズ部１１２ｂ、第３レンズ部１１２ｃ、および第４レンズ部１１２ｄを有する。ここで、各レンズ部の配列方向の一方をｘ軸、他方をｙ軸と設定する。

この４つのレンズ部の光軸は、互いに略平行となるように設置されており、撮像素子１２２の撮像面と略垂直となるように設置されている。

図４は、本発明に係る撮像装置の遮光壁１１３の斜視図である。

図４に示すように、遮光壁１１３は、長方形状の２枚の樹脂板を十字状に組み合わせた形状をした部材であり、レンズアレイ１１２の底面に接着剤などで固着される。また、遮光壁１１３の壁面は、光の乱反射を防止するために、つやが消された黒色である。そして、遮光壁１１３は、樹脂を射出成形することにより、一体に形成される。

また、遮光壁１１３は、レンズアレイ１１２と撮像素子１２２との間に、第１レンズ部１１２ａ、第２レンズ部１１２ｂ、第３レンズ部１１２ｃ、および第４レンズ部１１２ｄを区切るように配置され、それぞれのレンズ部からの射出光が干渉しないように遮光する。

さらに、遮光壁１１３は、温度の変化に伴って、形状が変化する。一般的に、所定の温度範囲において、遮光壁の大きさは、温度に比例して大きくなる。

なお、遮光壁１１３は、一体成型ではなく、長方形状の２枚の樹脂板を組合せたものでもよい。また、遮光壁１１３は、樹脂に限定されるわけではない。つまり、遮光壁１１３は、光を遮り、かつ、温度変化に伴って変形する素材であればよい。

図５は、本発明に係る撮像装置が備える撮像素子１２２の平面図である。

図５に示すように、撮像素子１２２は、レンズアレイ１１２が有する４つのレンズ部（第１レンズ部１１２ａ、第２レンズ部１１２ｂ、第３レンズ部１１２ｃ、および第４レンズ部１１２ｄ）に対応する４つの撮像領域（第１撮像領域１２２ａ、第２撮像領域１２２ｂ、第３撮像領域１２２ｃ、および第４撮像領域１２２ｄ）を有する。

これらの各撮像領域には、対応する各レンズ部を通過した被写体からの光のみが結像する。つまり、各レンズ部を通過した光は、当該レンズ部に対応する撮像領域と異なる撮像領域には到達しない。すなわち、第１レンズ部１１２ａからの射出光は、第１撮像領域１２２ａのみに入射する。これは、第１レンズ部１１２ａからの射出光が、第２撮像領域、第３撮像領域、および第４撮像領域に入射するのを、遮光壁１１３が遮るからである。

さらに、撮像素子１２２は、遮光壁１１３の位置に対応する横中央部撮像領域１２２ｘおよび縦中央部撮像領域１２２ｙを有する。

図６は、撮像素子１２２に投影された遮光壁１１３の像を説明するための図である。

図６に示すように、遮光壁１１３は、撮像素子１２２の横中央部撮像領域１２２ｘおよび縦中央部撮像領域１２２ｙに、暗部１１３ｑｘおよび１１３ｑｙとして投影される。この暗部１１３ｑｘおよび１１３ｑｙの長さを、それぞれ長さＱｘおよびＱｙとする。

図７は、本発明の実施の形態１に係る撮像装置１００の特徴的な機能構成を示すブロック図である。

図７に示すように、撮像装置１００は、撮像信号入力部１３３、温度推定部１４３、記憶部１４６、および入出力部１３５を備える。

撮像信号入力部１３３は、ＡＤＣ（アナログ／デジタル変換器：Analog Digital Converter）などにより構成され、撮像素子１２２から取得した電気信号をデジタル値に変換した撮像信号を生成する。

温度推定部１４３は、撮像信号入力部１３３が生成した撮像信号を用いて、撮像素子１２２の撮像面に射影された遮光壁１１３の像の長さを算出することにより、遮光壁１１３の温度を推定する。

記憶部１４６は、フラッシュメモリなどからなり、所定温度において、遮光壁１１３が撮像素子１２２の撮像面に射影されたときの像の長さと遮光壁１１３の熱線膨張率とを記憶している。具体的には、温度Ｔ０、並びに温度Ｔ０における遮光壁１１３のｘ軸方向の像の長さＱｘ０およびｙ軸方向の像の長さＱｙ０並びに遮光壁１１３の熱線膨張率ｋｑを記憶している。

入出力部１３５は、温度推定部１４３が推定した温度を出力する。また、入出力部１３５は、他の装置からの命令を入力する。

次に、以上のように構成された撮像装置１００の動作について説明する。

図８は、本発明の実施の形態１に係る撮像装置１００が実行する温度推定に関する処理の流れを示すフローチャートである。

まず、撮像信号入力部１３３は、撮像素子１２２から取得した電気信号をデジタル値に変換した撮像信号を生成する（ステップＳ１００）。

次に、温度推定部１４３は、撮像信号入力部１３３が生成した撮像信号のうち、図５および図６に示した横中央部撮像領域１２２ｘに対応する横中央部撮像信号を切り出す（ステップＳ１０１）。

次に、温度推定部１４３は、撮像信号入力部１３３が生成した撮像信号のうち、図５および図６に示した縦中央部撮像領域１２２ｙに対応する縦中央部撮像信号を切り出す（ステップＳ１０２）。

次に、温度推定部１４３は、切り出された横中央部撮像信号から暗部１１３ｑｘの長さ、つまり遮光壁１１３の像のｘ軸方向の長さＱｘを検知する（ステップＳ１０３）。具体的には、温度推定部１４３は、横中央部撮像信号を二値化し、二値化された撮像信号を用いて、黒部の一端と他端との座標から、長さＱｘを検知する。

次に、温度推定部１４３は、ステップＳ１０３と同様に、縦中央部撮像信号から暗部１１３ｑｙの長さ、つまり遮光壁１１３の像のｙ軸方向の長さＱｙを検知する（ステップＳ１０４）。

次に、温度推定部１４３は、検知された長さＱｘおよびＱｙと、記憶部１４６に記憶された、温度Ｔ０における遮光壁１１３のｘ軸方向の像の長さＱｘ０およびｙ軸方向の像の長さＱｙ０並びに遮光壁１１３の熱線膨張率ｋｑとを用いて、予め定義された関係式に従って推定温度を算出する（ステップＳ１０５）。

具体的には、温度推定部１４３は、遮光壁１１３の温度による変化を数式化した式（７）および式（８）を用いて、温度ＴｘおよびＴｙを算出する。そして、式（９）のように、温度推定部１４３は、温度ＴｘおよびＴｙの相加平均値を推定温度Ｔｅとして算出する。

ここで、ｋｑは遮光壁１１３の熱線膨張率であり、遮光壁１１３の材質により定まる値である。

例えば、熱線膨張率ｋｑ＝７ｅ−５（／℃）、基準温度Ｔ０＝２０（℃）、基準温度Ｔ０における遮光壁１１３のｘ軸方向の長さＱｘ０＝１０（ｍｍ）とした場合、温度Ｔ＝３０（℃）のとき、遮光壁１１３のｘ軸方向の長さの変化量は、Ｑｘ−Ｑｘ０＝７（μｍ）である。ここで、撮像素子１２２の画素ピッチが２μｍとすると、長さの変化は３．５画素に相当する。したがって、画像からの長さを求めるときの分解能が０．１画素の場合、温度推定部１４３は、０．２９℃（＝１０℃／（３．５ｐｉｘ／０．１ｐｉｘ））の分解能で推定温度Ｔｅを算出できることになる。

以上のように、本実施の形態の撮像装置は、レンズアレイを有する撮像装置が一般的に備える遮光壁の温度変化による形状の変化を利用して温度を推定することが可能となる。つまり、本発明に係る撮像装置は、温度を検知するための温度センサを備えずに、温度を推定することが可能となる。

このようにして推定された推定温度は、複数の画像間の視差を利用して被写体までの距離を測定するときの温度補償に利用することができる。また、推定温度は、単に温度計などに表示する温度として利用することもできる。

なお、本実施の形態において、温度推定部１４３は、式（９）を用いて温度を推定していたが、温度と遮光壁の像の長さとの対応関係を複数の温度に対して格納した温度推定テーブルを参照することにより、検知した遮光壁の像の長さに対応する温度を推定してもよい。その場合、記憶部１４６は、温度推定テーブルを記憶することとなる。

また、本実施の形態において、温度推定部１４３は、式（９）とは異なる式を用いて温度を算出してもよい。例えば、温度推定部１４３は、遮光壁の長さを変数とする二次以上の多項式に従って、温度を算出してもよい。この場合、記憶部１４６は、多項式の係数を記憶することとなる。この多項式の係数は、熱線膨張率、基準温度、および基準温度における遮光壁の長さに限定されない。

また、本実施の形態において、温度推定部１４３は、記憶部１４６に記憶されたデータを用いて温度を推定していたが、撮像装置１００以外の装置に保持されたデータを取得して温度を推定してもよい。

（実施の形態２）
本発明の実施の形態２に係る撮像装置は、実施の形態１と同様の方法により推定した温度と、温度センサから得られる温度とを比較することにより、温度センサから得られる温度の信頼性を評価することができる点に特徴を有する。

以下、本発明の実施の形態２に係る撮像装置について、図面を参照しながら説明する。なお、実施の形態１と同じ構成部に関しては、同一符号にて示し、説明を省略する。

図９は、本発明の実施の形態２に係る撮像装置１０１の構成を示す断面図である。また、図１０は、本発明の実施の形態２に係る撮像装置１０１が備える鏡筒１１１およびレンズアレイ１１２を取り外した状態の平面図である。

図９および図１０に示すように、実施の形態２の撮像装置１０１は、温度センサ１２４を備える点が実施の形態１の撮像装置１００と異なっているが、他の構成部は実施の形態１の撮像装置１００と同じである。以下、温度センサ１２４について説明する。

温度センサ１２４は、サーミスタなどからなり、温度を検知することができる回路である。具体的には、図１１のように構成される。

図１１は、本発明の実施の形態２に係る撮像装置１０１が備える温度センサ１２４の回路図である。

図１１に示すように、温度センサ１２４は、第１固定抵抗１２４ａとサーミスタ１２４ｂと第２固定抵抗１２４ｃとが順に直列に接続された回路である。そして、第１固定抵抗１２４ａのサーミスタ１２４ｂと接続されない端部は、電源１２４ｄ（例えば３．３Ｖ、ＳＬＳＩとは別電源）に接続される。また、第２固定抵抗１２４ｃのサーミスタ１２４ｂと接続されない端部は、グランド１２４ｅ（例えば、０Ｖ。ＳＬＳＩ１２３のグランドと同一電位）に接続される。さらに、第１固定抵抗１２４ａとサーミスタ１２４ｂとの接続点１２４ｆは、ＳＬＳＩ１２３に接続される。

図１２は、本発明の実施の形態２に係る撮像装置１０１の特徴的な機能構成を示すブロック図である。

図１２に示すように、撮像装置１０１は、システム制御部１３１、撮像素子駆動部１３２、撮像信号入力部１３３、温度センサ信号入力部１３４、入出力部１３５、温度補償演算部１４１、距離演算部１４２、温度推定部１４３、温度センサ信号信頼度算出部１４４、報知部１４５、および記憶部１４６を備える。

システム制御部１３１は、ＣＰＵ（中央演算処理装置：Central Processing Unit）、ロジック回路などから構成され、ＳＬＳＩ１２３の全体を制御する。

撮像素子駆動部１３２は、ロジック回路などから構成され、システム制御部１３１の命令により、撮像素子１２２を駆動する信号を発生し、発生した信号に応じた電圧を撮像素子１２２に印加する。

撮像信号入力部１３３は、ＣＤＳ回路（相関二重サンプリング回路：Correlated Double Sampling Circuit）、ＡＧＣ（自動利得制御器：Automatic Gain Controller）およびＡＤＣ（アナログ／デジタル変換器：Analog Digital Converter）が直列に接続された回路からなる。撮像素子１２２から入力された電気信号は、ＣＤＳ回路により固定ノイズが除去され、ＡＧＣによりゲインが調整され、ＡＤＣによりアナログ信号からデジタル信号に変換され、撮像信号Ｉ０となる。

温度センサ信号入力部１３４は、ＡＤＣなどからなり、アナログ電圧信号である温度センサ信号をデジタル信号に変換した温度センサ信号Ｔｓを出力する。

入出力部１３５は、画像データ、距離データ、および報知データを撮像装置１０１の外部に出力する。

温度補償演算部１４１は、温度センサ信号Ｔｓを用いて、撮像信号の歪み補正を行う。具体的には、温度補償演算部１４１は、温度上昇に伴う、各レンズ部の光軸中心の移動距離を算出し、算出された移動距離に基づいて、座標変換テーブルの補正を行う。

距離演算部１４２は、撮像信号および座標変換テーブルを用いて、距離データおよび第１撮像信号を算出する。ここで、第１撮像信号は、第１レンズ部が第１撮像領域に結像した像に対応する信号である。距離データ算出の原理は、図１３および図１４を用いて後述する。

温度推定部１４３は、実施の形態１の撮像装置１００と同様に、撮像信号入力部１３３が出力した撮像信号Ｉ０を用いて、撮像素子１２２の撮像面に射影された遮光壁１１３の像の長さを算出することにより、遮光壁１１３の温度を推定する。

温度センサ信号信頼度算出部１４４は、センサ温度信号と推定温度との差分が大きいほど信頼性が低くなるように、温度センサ信号信頼度を算出する。ここで、温度センサ信号信頼度は、信頼性が低いほど、値が大きくなるように定義する。

報知部１４５は、温度センサ信号信頼度が設定値以上の場合、報知データの値を１とし、温度センサ信号信頼度が設定値より小さい場合、報知データの値を０とする。つまり、報知部１４５は、信頼性が低い場合には、値が１である報知データを生成する。

記憶部１４６は、フラッシュメモリなどからなり、所定温度と、所定温度における遮光壁１１３の像の長さを記憶する。具体的には、温度Ｔ０と、温度Ｔ０における、遮光壁１１３のｘ軸方向の長さＱｘ０とｙ軸方向の長さＱｙ０と熱線膨張率ｋｑとを記憶する。

なお、本実施の形態では、報知部１４５は、報知データを生成するのみであるが、作成した報知データに基づいて、報知部１４５は、ユーザ、管理会社などに報知する手段を備えてもよい。また、報知部１４５はＬＥＤ（Light Emitting Diode）を備え、報知データの値が１の場合に、ＬＥＤを点灯させてもよい。

次に、距離演算部１４２が行う距離データ算出の原理について、図１３および図１４を用いて説明する。なお、説明の便宜のため、図１３および図１４において、第１レンズ部１１２ａおよび第２レンズ部１１２ｂのみを図示し、第３レンズ部１１２ｃおよび第４レンズ部１１２ｄについては、図示を省略する。

図１３は、本発明の実施の形態２に係る撮像装置１０１において、無限遠にある物体像の結像位置を説明するための図である。

無限遠にある物体１０からの光の第１レンズ部１１２ａへの代表的な入射光Ｌ１は、第２レンズ部１１２ｂへの代表的な入射光Ｌ２と平行である。（ここで、説明の便宜のため、物体１０は２つ描画されている。しかし、実際は、物体１０は単一の物体である。つまり、無限遠にある物体１０からの入射光Ｌ１と入射光Ｌ２とが平行であることを明示するために、無限遠にある物体１０を２つ描画している。）このため、第１レンズ部１１２ａの光軸と第２レンズ部１１２ｂの光軸との間の距離は、撮像素子１２２上の物体像１１ａが結像される位置と物体像１１ｂが結像される位置との間の距離と等しい。すなわち、光軸間の距離と結像位置間の距離との差分である視差は発生しない。

図１４は、本発明の実施の形態２に係る撮像装置１０１において、有限距離の位置にある物体像の結像位置を説明するための図である。

有限距離の位置にある物体１２からの光の第１レンズ部１１２ａへの代表的な入射光Ｌ１は、第２レンズ部１１２ｂへの代表的な入射光Ｌ２と平行でない。したがって、第１レンズ部１１２ａの光軸と第２レンズ部１１２ｂの光軸との間の距離に比べて、撮像素子１２２上の物体像１３ａが結像される位置と物体像１３ｂが結像される位置との間の距離は長い。すなわち、視差が発生する。

ここで、第１レンズ部１１２ａの主点から物体像１２までの距離（被写体距離）をＡ、第１レンズ部１１２ａと第２レンズ部１１２ｂとの光軸間距離をＤ、第１レンズ部１１２ａおよび第２レンズ部１１２ｂの焦点距離をｆとする。その場合、図１４の直角を挟む２辺の長さがＡ、Ｄの直角三角形と、直角を挟む２辺の長さがｆ、Δの直角三角形とが相似であることにより、視差値Δは、式（１０）のように表される。

その他のレンズ部についても同様の関係が成立する。このように、被写体距離に応じて４つのレンズ部１１２ａ、１１２ｂ、１１２ｃ、１１２ｄのそれぞれが形成する４つの物体像の相対的位置が変化する。例えば、被写体距離Ａが小さくなると、視差値Δが大きくなる。そこで、式（１１）のように、式（１０）を被写体距離Ａについて解くことにより、視差値Δから被写体距離Ａを求めることができる。

次に、温度変化に伴う、各レンズ部の光軸中心の移動距離について、図３を用いて説明する。

レンズアレイ１１２の温度が上昇すると、レンズアレイ１１２が膨張する。つまり、図３の矢印のように、温度上昇に伴い、各レンズ部の光軸中心がレンズ外側に移動する。ここで、温度上昇に比例して、レンズアレイが等方的に膨張すると仮定すると、光軸中心の間隔の変化量は、式（１２）および（１３）により算出される。

ここで、ｄｄｘは温度上昇に伴う光軸間の間隔のｘ軸方向の変化量であり、単位は撮像素子１２２の受光素子の間隔である。また、ｄｄｙは温度上昇に伴う光軸間の間隔のｙ軸方向の変化量であり、単位は撮像素子１２２の受光素子の間隔である。また、Ｄｘは基準温度Ｔ０におけるｘ軸方向のレンズ間の光軸の間隔であり、Ｄｙは基準温度Ｔ０におけるｙ軸方向のレンズ間の光軸の間隔である。また、ａＬはレンズアレイ１１２の熱線膨張率であり、ａＳは撮像素子１２２の熱線膨張率である。また、Ｔは温度であり、Ｔ０は基準温度である。また、ｐは撮像素子１２２の受光素子の間隔である。

各レンズ部の光軸中心が等方的に膨張すると仮定すると、図３に示すように、各レンズ部の光軸中心は、温度上昇に伴うレンズ間の光軸間の間隔の変化の半分（ｘ軸方向にｐ＊ｄｄｘ／２、ｙ軸方向にｐ＊ｄｄｙ／２）だけ移動する。すなわち、第１レンズ部１１２ａの光軸中心は、ｘ軸方向に−ｐ＊ｄｄｘ／２、ｙ軸方向に−ｐ＊ｄｄｙ／２だけ移動する。また、第２レンズ部１１２ｂの光軸中心は、ｘ軸方向に＋ｐ＊ｄｄｘ／２、ｙ軸方向に−ｐ＊ｄｄｙ／２だけ移動する。また、第３レンズ部１１２ｃの光軸中心は、ｘ軸方向に−ｐ＊ｄｄｘ／２、ｙ軸方向に＋ｐ＊ｄｄｙ／２だけ移動する。また、第４レンズ部１１２ｄの光軸中心は、ｘ軸方向に＋ｐ＊ｄｄｘ／２、ｙ軸方向に＋ｐ＊ｄｄｙ／２だけ移動する。

したがって、検知した温度Ｔから求まる変化量ｄｄｘおよびｄｄｙを用いて、撮像装置は、レンズアレイ１１２の各レンズの光軸の移動距離を推定することができる。そして、推定された光軸の移動距離を用いて、撮像装置は、各種の補償を行うことができる。その結果、撮像装置は、温度変化に伴うレンズアレイ１１２の膨張の影響を低減し、正確な視差を求めることができる。つまり、撮像装置は、正確な視差から正確な距離を求めることができる。

次に、以上のように構成された撮像装置１０１の動作について説明する。

図１５は、本発明の実施の形態２に係る撮像装置１０１の動作を示すフローチャートである。

例えば、上位ＣＰＵ（図示せず）が、入出力部１３５を介して、撮像装置１０１に動作の開始を命令することにより、撮像装置１０１は、以下の動作を開始する。

まず、撮像信号入力部１３３は、ＣＤＳ回路、ＡＧＣ、ＡＤＣにより、撮像素子１２２から得られる電気信号から、撮像信号Ｉ０を生成する（ステップＳ１０２０）。ここで、撮像信号入力部１３３は、ｘ軸方向にＨ０画素、ｙ軸方向にＶ０画素を有する撮像信号Ｉ０（ｘ，ｙ）を、Ｉ０（０，０）、Ｉ０（１，０）、Ｉ０（２，０）、・・・、Ｉ０（Ｈ０−１，Ｖ０−１）の順に出力する。

次に、温度センサ信号入力部１３４は、アナログ電圧信号である温度センサ信号をデジタル値に変換し、変換した信号を温度センサ信号Ｔｓとして出力する（ステップＳ１０３０）。

次に、温度補償演算部１４１は、温度センサ信号Ｔｓを用いて、撮像信号の歪み補正を行う（ステップＳ１１００）。具体的には、図３に示すように、温度上昇に伴って、各レンズ部の光軸中心が移動する距離（ｐ＊ｄｄｘ／２，ｐ＊ｄｄｙ／２）に基づいて、座標変換テーブルを補正する。

以下に、図１６を用いて、温度補償演算部１４１が、ステップＳ１１００において行う処理の具体例を説明する。

図１６は、本発明の実施の形態２に係る撮像装置１０１の撮像信号の切り出し位置を説明するための図である。

温度補償演算部１４１は、第１撮像信号Ｉ１（ｘ，ｙ）用の変換テーブルｔｘ１（ｘ，ｙ）およびｔｙ１（ｘ，ｙ）を、式（１４）、（１５）および（１６）を用いて作成する。ここで、図１６に示すように、（ｘ０１，ｙ０１）は、撮像信号Ｉ０における歪みがないときの原点座標である。また、（ｘｃ１，ｙｃ１）は、撮像信号Ｉ１（ｘ，ｙ）における基準温度Ｔ０での光軸中心座標である。また、（−ｄｄｘ／２，−ｄｄｙ／２）は温度上昇による光軸中心の移動量であり、ｋｄ２およびｋｄ４は歪曲係数である。

また、温度補償演算部１４１は、第２撮像信号Ｉ２（ｘ，ｙ）用の変換テーブルｔｘ２（ｘ，ｙ）およびｔｙ２（ｘ，ｙ）を、式（１７）、（１８）および（１９）を用いて作成する。ここで、図１６に示すように、（ｘ０２，ｙ０２）は、撮像信号Ｉ０における歪みがないときの原点座標である。また、（ｘｃ２，ｙｃ２）は撮像信号Ｉ２（ｘ，ｙ）における基準温度Ｔ０での光軸中心座標である。また、（＋ｄｄｘ／２，−ｄｄｙ／２）は温度上昇による光軸中心の移動量であり、ｋｄ２およびｋｄ４は歪曲係数である。

また、温度補償演算部１４１は、第３撮像信号Ｉ３（ｘ，ｙ）用の変換テーブルｔｘ３（ｘ，ｙ）およびｔｙ３（ｘ，ｙ）を、式（２０）、（２１）および（２２）を用いて作成する。ここで、図１６に示すように、（ｘ０３，ｙ０３）は撮像信号Ｉ０における歪みがないときの原点座標である。また、（ｘｃ３，ｙｃ３）は、撮像信号Ｉ３（ｘ，ｙ）における基準温度Ｔ０での光軸中心座標である。また、（−ｄｄｘ／２，＋ｄｄｙ／２）は温度上昇による光軸中心の移動量であり、ｋｄ２およびｋｄ４は歪曲係数である。

また、温度補償演算部１４１は、第４撮像信号Ｉ４（ｘ，ｙ）用の変換テーブルｔｘ４（ｘ，ｙ）およびｔｙ４（ｘ，ｙ）を、式（２３）、（２４）および（２５）を用いて作成する。ここで、図１６に示すように、（ｘ０４，ｙ０４）は撮像信号Ｉ０における歪みがないときの原点座標である。また、（ｘｃ４，ｙｃ４）は、撮像信号Ｉ４（ｘ，ｙ）Ｉ４（ｘ，ｙ）における基準温度Ｔ０での光軸中心座標である。また、（＋ｄｄｘ／２，＋ｄｄｙ／２）は温度上昇による光軸中心の移動量であり、ｋｄ２およびｋｄ４は歪曲係数である。

なお、上記の座標変換テーブルの作成において、歪みがない場合は、式（２６）、（２７）、（２８）および（２９）のように、撮像信号Ｉ０（ｘ，ｙ）から画像を切り出した後に、式（３０）、（３１）、（３２）および（３３）のように、切り出した画像を平行移動することに相当する。

以下、図１５のフローチャートの説明の続きを行う。

次に、距離演算部１４２は、撮像信号Ｉ０、並びに座標変換テーブルｔｘ１（ｘ，ｙ）、ｔｙ１（ｘ，ｙ）、ｔｘ２（ｘ，ｙ）、ｔｙ２（ｘ，ｙ）、ｔｘ３（ｘ，ｙ）、ｔｙ３（ｘ，ｙ）、ｔｘ４（ｘ，ｙ）、およびｔｙ４（ｘ，ｙ）を用いて、距離データＤＩＳおよび第１撮像信号Ｉ１を生成する（ステップＳ１２００）。なお、本処理の詳細は、図１７を用いて後述する。

次に、温度推定部１４３は、撮像信号Ｉ０を用いて、推定温度Ｔｅを推定する（ステップＳ１３００）。なお、本処理の詳細は、図２１を用いて後述する。

次に、温度センサ信号信頼度算出部１４４は、センサ温度信号Ｔｓと推定温度Ｔｅとの差分が大きいほどセンサ温度信号Ｔｓの信頼性が低くなるように、温度センサ信号信頼度Ｔｓｒを算出する（ステップＳ１４００）。具体的には、温度センサ信号信頼度算出部１４４は、式（３４）を用いて、温度センサ信号信頼度Ｔｓｒを算出する。

ここで、Ｔｅ０およびＴｓ０は、オフセット値である。また、式（３４）のように、温度センサ信号信頼度Ｔｓｒを定義するため、温度センサ信号信頼度Ｔｓｒは、値が小さいほど信頼性が高いことを示し、値が大きいほど信頼性が低いことを示す。

次に、報知部１４５は、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０以上の場合、報知データＤＤＥの値を１とし、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０より小さい場合、報知データＤＤＥの値を０とする。具体的には、式（３５）を用いて、報知データＤＤＥを生成する（ステップＳ１５００）。つまり、報知データＤＤＥが１の場合は、温度センサ信号Ｔｓの信頼性が低いことを示す。一方、報知データＤＤＥが０の場合は、温度センサ信号Ｔｓの信頼性が高いことを示す。

次に、入出力部１３５は、画像データ、距離データ、信頼度データ、報知データなどを撮像装置１０１の外部に出力する（ステップＳ１９１０）。ここで、画像データとは、撮像信号Ｉ０、或いは第１撮像信号Ｉ１のことである。また、距離データとは、距離演算部１４２が算出した距離データＤＩＳのことである。また、信頼度データとは、温度センサ信号信頼度算出部１４４が算出した温度センサ信号信頼度Ｔｓｒのことである。また、報知データは、報知部１４５が生成した報知データＤＤＥのことである。

次に、システム制御部１３１は、処理を終了するか否かを判断する（ステップＳ１９２０）。例えば、システム制御部１３１は、入出力部１３５を介して、上位ＣＰＵ（図示せず）と通信し、動作を終了するか否かの命令を要求する。そして、上位ＣＰＵから終了命令を受け取った場合に、システム制御部１３１は、処理を終了すると判断する。

ここで、処理を終了しないと判断した場合（ステップＳ１９２０のＮ）、システム制御部１３１は、再度ステップＳ１０２０からの処理を繰り返す。一方、処理を終了すると判断した場合（ステップＳ１９２０のＹ）、システム制御部１３１は処理を終了する。

次に、図１５に示したステップＳ１２００の詳細な処理の流れを、図１７を用いて説明する。

図１７は、本発明の実施の形態２に係る撮像装置１０１が備える距離演算部１４２の動作を示すフローチャートである。

まず、距離演算部１４２は、撮像信号Ｉ０から、各レンズ部により結像された被写体像の画像を切り出す（ステップＳ１２２０）。この画像の切り出し処理では、歪曲補正処理も同時に行われる。つまり、距離演算部１４２は、第１レンズ部１１２ａに対応する第１撮像信号Ｉ１（ｘ，ｙ）、第２レンズ部１１２ｂに対応する第２撮像信号Ｉ２（ｘ，ｙ）、第３レンズ部１１２ｃに対応する第３撮像信号Ｉ３（ｘ，ｙ）、および第４レンズ部１１２ｄに対応する第４撮像信号ＩＩ４（ｘ，ｙ）を作成する。

具体的には、距離演算部１４２は、式（３６）のように、座標変換テーブルｔｘ１（ｘ，ｙ）およびｔｙ１（ｘ，ｙ）に基づいて、撮像信号Ｉ０（ｘ，ｙ）から第１撮像信号Ｉ１（ｘ，ｙ）を作成する。すなわち、座標 （ｔｘ１（ｘ，ｙ），ｔｙ１（ｘ，ｙ））の撮像信号Ｉ０を第１撮像信号Ｉ１（ｘ，ｙ）とする。

なお、座標（ｔｘ１（ｘ，ｙ），ｔｙ１（ｘ，ｙ））は、整数でなくてもよい。その場合、座標変換テーブルｔｘ１（ｘ，ｙ）の整数部分をｔｘ１ｉ（ｘ，ｙ）とし、小数部分をｔｘ１ｆ（ｘ，ｙ）とすると、式（３７）のように、４画素を利用して、第１撮像信号Ｉ１（ｘ，ｙ）を作成する。

同様に、距離演算部１４２は、式（３８）のように、座標変換テーブルｔｘ２（ｘ，ｙ）およびｔｙ２（ｘ，ｙ）に基づいて、撮像信号Ｉ０（ｘ，ｙ）から第２撮像信号Ｉ２（ｘ，ｙ）を作成する。

さらに、同様に、距離演算部１４２は、式（３９）のように、座標変換テーブルｔｘ３（ｘ，ｙ）およびｔｙ３（ｘ，ｙ）に基づいて、撮像信号Ｉ０（ｘ，ｙ）から第３撮像信号Ｉ３（ｘ，ｙ）を作成する。

さらに、同様に、距離演算部１４２は、式（４０）のように、座標変換テーブルｔｘ４（ｘ，ｙ）およびｔｙ４（ｘ，ｙ）に基づいて、撮像信号Ｉ０（ｘ，ｙ）から第４撮像信号Ｉ４（ｘ，ｙ）を作成する。

なお、歪みがなく、温度によるレンズの膨張がない場合、図１６に示すように、第１撮像信号Ｉ１（ｘ，ｙ）は、撮像信号Ｉ０を原点（ｘ０１，ｙ０１）から、ｘ軸方向にＨ１画素、ｙ軸方向にＶ１画素だけ切り出した領域の画像となる。また、第２撮像信号Ｉ２（ｘ，ｙ）は、撮像信号Ｉ０を原点（ｘ０２，ｙ０２）から、ｘ軸方向にＨ１画素、ｙ軸方向にＶ１画素だけ切り出した領域の画像となる。また、第３撮像信号Ｉ３（ｘ，ｙ）は、撮像信号Ｉ０を原点（ｘ０３，ｙ０３）から、ｘ軸方向にＨ１画素、ｙ軸方向にＶ１画素だけ切り出した領域の画像となる。また、第４撮像信号Ｉ４（ｘ，ｙ）は、撮像信号Ｉ０を原点（ｘ０４，ｙ０４）から、ｘ軸方向にＨ１画素、ｙ軸方向にＶ１画素だけ切り出した領域の画像となる。

次に、距離演算部１４２は、撮像信号をブロックに分割する（ステップＳ１２３０）。図１８は、本発明の実施の形態２に係る撮像装置１０１におけるブロック分割を説明する図である。図１８において、第１撮像信号Ｉ１は、ｘ軸方向にＨＢ画素、ｙ軸方向にＶＢ画素を有する長方形状のブロックに分割され、ｘ軸方向にＮｈ個、ｙ軸方向にＮｖ個のブロックを持つ。

次に、距離演算部１４２は、ブロックを選択する（ステップＳ１２４０）。ステップＳ１２３０の処理を実行した後、初めてこのステップＳ１２４０の処理を実行するときは、距離演算部１４２は、（０，０）で示されるブロックを選択する。そして、次回以後、ステップＳ１２４０の処理が実行されるときは、距離演算部１４２は、右側に順にずらしたブロックを選択する。

なお、距離演算部１４２が、図１８に示される右端のブロック（（Ｎｈ−１，０）、（Ｎｈ−１，１）、・・・で示されるブロック）を選択した場合、次回の処理において、距離演算部１４２は、１つ下の行の左端のブロック（（０，１）、（０，２）、・・・で示されるブロック）を選択する。

すなわち、ステップＳ１２３０の処理を実行後、初めてこのステップＳ１２４０の処理を実行するときを０番目とすると、距離演算部１４２は、ｉ番目において（ｉ％Ｎｈ，ｉｎｔ（ｉ／Ｎｈ））で示されるブロックを選択する。ここで、ｉ％Ｎｈは、ｉをＮｈで除算したときの剰余であり、ｉｎｔ（ｉ／Ｎｈ）は、ｉをＮｈで除算したときの商の整数部である。以後、このようにして選択されたブロックを選択ブロックＢ（ｉｈ，ｉｖ）と呼ぶ。

次に、距離演算部１４２は、視差を算出する（ステップＳ１２５０）。

以下、ステップＳ１２５０において、距離演算部１４２が行う視差の算出の詳細を説明する。

距離演算部１４２は、第１撮像信号Ｉ１と第２撮像信号Ｉ２との視差および視差信頼度を算出する。まず、距離演算部１４２は、第１撮像信号Ｉ１と第２撮像信号Ｉ２との視差評価値Ｒ１２（ｋｘ）を算出する。ここで、ｋｘは、画像をどれだけずらすかを示すずらし量であり、ｋｘ＝０、１、２、・・・、ＳＢのように変化させる。

図１９は、本発明の実施の形態２に係る撮像装置１０１において、第１撮像信号と第２撮像信号とを利用したときの視差演算における視差評価値の演算領域を説明する図である。

図１９において、Ｉ１で示される領域は、第１撮像信号Ｉ１の選択ブロックＢ（ｉｈ，ｉｖ）で選択された領域を示す。また、Ｉ２で示される領域は、選択ブロックの座標からｘ軸方向にｋｘだけずれた領域の第２撮像信号Ｉ２である。距離演算部１４２は、ずらし量ｋｘ＝０からＳＢについて、式（４１）に示される絶対値差分総和（ＳＡＤ：Sum of Absolute Differences）を演算し、視差評価値Ｒ１２（ｋｘ）を算出する。すなわち、距離演算部１４２は、第１撮像信号Ｉ１を基準として、視差評価値Ｒ１２（ｋｘ）を算出する。

この視差評価値Ｒ１２（ｋｘ）は、選択ブロックＢ（ｉｈ，ｉｖ）の第１撮像信号Ｉ１と、選択ブロックからｘ軸方向にｋｘだけずれた領域における第２撮像信号Ｉ２とが、どれだけ相関があるかを示す。そして、視差評価値Ｒ１２（ｋｘ）が小さいほど相関が大きい（よく似ている）ことを示す。

図２０は、本発明の実施の形態２に係る撮像装置１０１の第１撮像信号Ｉ１と第２撮像信号Ｉ２を利用したときの視差演算におけるずらし量と視差評価値との関係を説明する図である。

図２０に示すように、視差評価値Ｒ１２（ｋｘ）は、ずらし量ｋｘの値によって変化し、ずらし量ｋｘ＝Δのときに極小値となる。つまり、選択ブロックＢ（ｉｈ，ｉｖ）の第１撮像信号Ｉ１と、選択ブロックからｘ軸方向にΔだけずれた領域における第２撮像信号Ｉ２とが、最も相関が高いことを示す。したがって、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第２撮像信号Ｉ２との視差が、Δであることが分かる。

そこで、距離演算部１４２は、式（４２）のように、この視差Δを用いて、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第２撮像信号Ｉ２との視差値Δ１２（ｉｈ，ｉｖ）を算出する。そして、距離演算部１４２は、式（４３）のように、視差評価値Ｒ１２（Δ）を用いて、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第２撮像信号Ｉ２との視差信頼度Ｃ１２（ｉｈ，ｉｖ）を算出する。

次に、距離演算部１４２は、第１撮像信号Ｉ１と第３撮像信号Ｉ３との視差および視差信頼度も同様に算出する。ただし、ずらす方向はｙ軸方向とし、ずらし量はｋｙとする。

距離演算部１４２は、式（４４）のように、選択ブロックＢ（ｉｈ，ｉｖ）における、第１撮像信号Ｉ１と第３撮像信号Ｉ３との視差評価値Ｒ１３（ｋｙ）を算出する。すなわち、距離演算部１４２は、第１撮像信号Ｉ１を基準として、視差評価値Ｒ１３（ｋｙ）を算出する。

そして、距離演算部１４２は、最小値を与えるずらし量、すなわち視差Δを用いて、式（４５）のように、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第３撮像信号Ｉ３との視差値Δ１３（ｉｈ，ｉｖ）を算出する。また、距離演算部１４２は、式（４６）のように、視差評価値Ｒ１３（Δ）を用いて、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第３撮像信号Ｉ３との信頼度Ｃ１３（ｉｈ，ｉｖ）を算出する。

次に、距離演算部１４２は、第１撮像信号Ｉ１と第４撮像信号Ｉ４との視差および視差信頼度も同様に算出する。ただし、ずらす方向は斜め方向（第１レンズ部１１２ａの光軸と第４レンズ部１１２ｄの光軸とを結ぶ方向）とし、ずらし量はｘ軸方向にｋｘ、ｙ軸方向にｋｘ＊Ｄｙ／Ｄｘとする。

距離演算部１４２は、式（４７）のように、選択ブロックＢ（ｉｈ，ｉｖ）における、第１撮像信号Ｉ１と第４撮像信号Ｉ４との視差評価値Ｒ１４（ｋｘ）を算出する。すなわち、距離演算部１４２は、第１撮像信号Ｉ１を基準として、視差評価値Ｒ１４（ｋｘ）を算出する。

そして、距離演算部１４２は、最小値を与えるずらし量、すなわち視差Δを用いて、式（４８）のように、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第４撮像信号Ｉ４との視差値Δ１４（ｉｈ，ｉｖ）を算出する。また、距離演算部１４２は、式（４９）のように、視差評価値Ｒ１４（Δ）を用いて、選択ブロックＢ（ｉｈ，ｉｖ）における第１撮像信号Ｉ１と第４撮像信号Ｉ４との信頼度Ｃ１４（ｉｈ，ｉｖ）を算出する。

なお、式（４７）において座標（ｘ＋ｋｘ，ｙ＋ｋｘ＊Ｄｙ／Ｄｘ）が小数点以下の数字を有する座標となる場合、撮像信号Ｉ４は、周辺画素から線形補間などを用いて算出する。なお、図３に示すように、ＤｘおよびＤｙは、第１レンズ部１１２ａと第４レンズ部１１２ｄにおけるｘ軸方向の間隔、およびｙ軸方向の間隔である。

そして、距離演算部１４２は、上記３つの視差信頼度を比較し、最も信頼度の高い視差値をこのブロックにおける視差値とする。すなわち、距離演算部１４２は、式（５０）のように、３つの視差信頼度Ｃ１２（ｉｈ，ｉｖ）、Ｃ１３（ｉｈ，ｉｖ）、およびＣ１４（ｉｈ，ｉｖ）を比較し、Ｃ１２（ｉｈ，ｉｖ）が最も小さいときΔ１２（ｉｈ，ｉｖ）をブロックＢ（ｉｈ，ｉｖ）における視差値Δ（ｉｈ，ｉｖ）とし、Ｃ１３（ｉｈ，ｉｖ）が最も小さいとき Δ１３（ｉｈ，ｉｖ）をブロックＢ（ｉｈ，ｉｖ）における視差値Δ（ｉｈ，ｉｖ）とし、Ｃ１４（ｉｈ，ｉｖ）が最も小さいときΔ１４（ｉｈ，ｉｖ）をブロックＢ（ｉｈ，ｉｖ）における視差値Δ（ｉｈ，ｉｖ）とする。

なお、信頼度（Ｃ１２、Ｃ１３、およびＣ１４）として絶対値差分総和（式（４３）、（４６）、（４９））を用いたが、正規化相関係数を用いてもよい。この場合、最も大きい信頼度を与える視差値を選択する。ここで、視差値をｘ軸方向に統一するため、Δ１３（ｉｈ，ｉｖ）を採用する場合、レンズ部の間隔の比であるＤｘ／ＤｙをΔ１３（ｉｈ，ｉｖ）に乗ずる。

以下、図１７のフローチャートの説明の続きを行う。

次に、距離演算部１４２は、視差から距離を算出する（ステップＳ１２６０）。式（１０）を距離Ａについて解くと式（１１）のように表されるため、ブロックＢ（ｉｈ，ｉｖ）に含まれる領域の距離ＤＩＳ（ｘ，ｙ）は、式（５１）にように示される。

ここで、ｆは４つのレンズ部１１２ａ、１１２ｂ、１１２ｃ、および１１２ｄの焦点距離であり、ｐは撮像素子１２２の受光素子の間隔である。なお、視差値Δは、単位が画素である。したがって、式（５１）において、視差値Δが焦点距離ｆなどと同一の単位系となるように、受光素子の間隔ｐが乗じられている。

次に、距離演算部１４２は、距離演算を終了するか否かを判定する（ステップＳ１２７０）。ここで、距離演算を終了すると判定した場合（全てのブロックが選択された場合、つまり、選択ブロックがＢ（Ｎｈ−１，Ｎｖ−１）の場合）（ステップＳ１２７０のＹ）、図１５のステップＳ１３００の処理を実行する。一方、距離演算を終了すると判定しない場合（全てのブロックが選択されていない場合、つまり、選択ブロックがＢ（Ｎｈ−１，Ｎｖ−１）でない場合）（ステップＳ１２７０のＮ）、再度ステップＳ１２４０からの処理を実行する。

次に、図１５に示したステップＳ１３００の詳細な処理の流れを、図２１を用いて説明する。

図２１は、本発明の実施の形態２に係る撮像装置１０１の温度推定の動作を示すフローチャートである。

まず、温度推定部１４３は、撮像信号Ｉ０から横中央部撮像信号を切り出す（ステップＳ１３２０）。

図２２は、本発明の実施の形態２に係る撮像装置１０１の撮像信号のうち遮光壁に対応した撮像信号を切り出す位置と暗部とを説明するための図である。

図２２に示すように、温度推定部１４３は、遮光壁１１３に対応する暗部１１３ｑｘおよび１１３ｑｙを囲むように、横中央部撮像信号Ｉ５ｘ、縦中央部撮像信号Ｉ５ｙを切り出す。具体的には、温度推定部１４３は、原点（０，Ｖ０／２−Ｗ５／２）から、ｘ軸方向にＨ０画素、ｙ軸方向にＷ５画素だけ切り出した領域の撮像信号を、横中央部撮像信号Ｉ５ｘとする。

次に、温度推定部１４３は、撮像信号Ｉ０から縦中央部撮像信号を切り出す（ステップＳ１３３０）。具体的には、図２２に示すように、温度推定部１４３は、原点（Ｈ０／２−Ｗ５／２，０）から、ｘ軸方向にＷ５画素、ｙ軸方向にＶ０画素だけ切り出した領域の撮像信号を、縦中央部撮像信号Ｉ５ｙとする。

次に、温度推定部１４３は、切り出された横中央部撮像信号Ｉ５ｘから、横方向の暗部１１３ｑｘの長さＱｘを検知する（ステップＳ１３４０）。具体的には、温度推定部１４３は、横中央部撮像信号Ｉ５ｘを二値化し、二値化された撮像信号を用いて、黒部の左端から右端までの長さを検知する。

次に、温度推定部１４３は、切り出された縦中央部撮像信号Ｉ５ｙから、縦方向の暗部１１３ｑｙの長さＱｙを検知する（ステップＳ１３５０）。具体的には、温度推定部１４３は、縦中央部撮像信号Ｉ５ｙを二値化し、二値化された撮像信号を用いて、黒部の上端から下端までの長さを検知する。

次に、温度推定部１４３は、推定温度Ｔｅを算出する（ステップＳ１３６０）。具体的には、温度推定部１４３は、ステップＳ１３４０およびステップＳ１３５０において検知された横方向の暗部１１３ｑｘの長さＱｘおよび縦方向の暗部１１３ｑｙの長さＱｙを、式（９）に代入することにより、推定温度Ｔｅを算出する。

ここで、基準温度Ｔ０、遮光壁１１３の熱線膨張率ｋｑ、基準温度Ｔ０における横方向の暗部１１３ｑｘの長さＱｘ０、基準温度Ｔ０における縦方向の暗部１１３ｑｙの長さＱｙ０は、記憶部１４６に記憶された値が利用される。

以上、本発明の実施の形態２に係る撮像装置１０１は、温度推定部１４３が遮光壁１１３の像の長さに基づいて推定した推定温度を利用して、温度センサ１２４から得られる温度の信頼性を数値化した温度センサ信号信頼度を得ることが可能となる。すなわち、報知部１４５が、得られた温度センサ信号信頼度に基づいて、信頼性が低いことを報知するなどにより、ユーザは、不具合などが発生した状態での撮像装置の使用を回避することが可能となる。

具体的には、ユーザは、温度センサ１２４の経年劣化、温度センサ１２４の故障、温度センサ１２４とＳＬＳＩ１２３の配線の断線、ＳＬＳＩ１２３内部での温度センサ信号ラインの断線、温度センサ信号入力部１３４のＡＤＣの故障によるビット落ち、他部品の故障による負荷の増大による温度センサ信号入力部１３４のＡＤＣへのリファレンス電圧の低下、温度センサ１２４からＳＬＳＩ１２３への配線へのノイズの混入、ＳＬＳＩ１２３内部での温度センサ信号ラインへのノイズの混入などが発生した状態での撮像装置の使用を回避することが可能となる。

すなわち、本実施の形態の撮像装置によれば、撮像装置の信頼性を向上させることが可能となる。

このように、本来であれば、新たに温度センサを追加することにより信頼性を向上させる必要がある撮像装置において、新たな温度センサを追加することなく、信頼性を向上させることが可能となる。また、本実施の形態に係る撮像装置は、温度センサを新たに追加する必要がないので、製造コストを抑制すること、および撮像装置を小型化することが可能となる。

また、撮像装置１０１は、信頼性が評価された温度センサ１２４の温度を利用して温度補償し、被写体までの距離を算出することができる。つまり、温度センサを新たに追加することなく、信頼性の高い距離情報を提供することが可能となる。また、リファレンス電圧の変動により誤差が発生する可能性がある温度センサ信号Ｔｓと、リファレンス電圧が変動し画像濃淡が変動しても影響されない暗部の長さから求められる推定温度Ｔｅとを用いてセンサ温度信号信頼度Ｔｓｒを作成するため、本実施の形態の撮像装置によれば、より外部からのノイズに強い、つまり堅牢な撮像装置を提供することが可能となる。

なお、本実施の形態において、温度補償演算部１４１は、座標変換テーブルｔｘ１、ｔｙ１、ｔｘ２、ｔｙ２、ｔｘ３、ｔｙ３、ｔｘ４、ｔｙ４を算出することにより、温度補償を行っていたが、異なる温度補償を行ってもよい。例えば、温度補償演算部１４１は、距離演算部１４２が算出した視差に対して、式（５２）のように、レンズアレイ１１２の各レンズ部の光軸の間隔の変化分を減じて、温度補償を行ってもよい。

あるいは、温度補償演算部１４１は、距離演算部１４２が算出した距離ＤＩＳ（ｘ，ｙ）に対して、式（５３）のように補正することで、温度補償を行ってもよい。

また、本実施の形態において、温度センサ信号信頼度算出部１４４は、温度センサ信号信頼度Ｔｓｒを、２つの温度（センサ温度信号Ｔｓおよび推定温度Ｔｅ）の差分に基づいて算出しているが、２つの温度の比に基づいて算出してもよい。つまり、２つの温度の一致度が低いほど、温度センサ信号Ｔｓの信頼性が低くなるように、温度センサ信号信頼度Ｔｓｒが算出されればよい。このように、２つの温度の比に基づいて温度センサ信号信頼度を算出する場合、報知部１４５は、温度センサ信号信頼度が１を含む所定の値の範囲内にあるときに報知データＤＤＥを０とする。一方、温度センサ信号信頼度が１を含む所定の値の範囲外にあるときに、報知部１４５は報知データＤＤＥを１とする。

（実施の形態３）
本発明の実施の形態３に係る撮像システムは、実施の形態２に係る撮像装置１０１を利用したものである。

以下、本発明の実施の形態３に係る撮像システム２０２について、図面を参照しながら説明する。

図２３は、本発明の実施の形態３に係る撮像システム２０２の構成を示すブロック図である。

図２３に示すように、撮像システム２０２は、実施の形態２の撮像装置１０１、システム制御部２０３、警告報知部２０４、画像認識部２０５、記憶部２０６、および通信部２０７を備える。

システム制御部２０３は、ＣＰＵなどからなり、撮像システム２０２が有する各機能を制御する。

撮像装置１０１は、実施の形態２の撮像装置であり、システム制御部２０３によって制御される。また、撮像装置１０１は、画像データ（例えば、第１撮像信号Ｉ１）、距離データＤＩＳ、および温度センサ信号信頼度Ｔｓｒを出力する。

警告報知部２０４は、赤色のＬＥＤ、駆動回路などから構成される。温度センサ信号信頼度Ｔｓｒにより信頼性が高いと判断されるとき（例えば、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０未満のとき）、システム制御部２０３は、警告報知部２０４のＬＥＤを消灯する。一方、温度センサ信号信頼度Ｔｓｒにより信頼性が低いと判断されるとき（例えば、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０以上のとき）、システム制御部２０３は、警告報知部２０４のＬＥＤを点灯する。

これにより、ユーザは、撮像装置１０１の温度センサ信号の信頼度を知ることができる。その結果、ユーザは、使用中止、製造会社への通報などの対応を図ることができるので、撮像システム２０２の不具合による被害を抑制することが可能となる。

画像認識部２０５は、ＣＰＵなどから構成される。システム制御部２０３は、温度センサ信号信頼度Ｔｓｒに基づき、画像認識部２０５に、画像認識方法を命令する。温度センサ信号信頼度Ｔｓｒにより信頼性が高いと判断されるとき（例えば、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０未満のとき）、画像認識部２０５は、画像データＩ１と距離ＤＩＳとを利用した画像認識を行う。一方、温度センサ信号信頼度Ｔｓｒにより信頼性が低いと判断されるとき（例えば、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０以上のとき）、画像認識部２０５は、距離データＤＩＳを利用しないで、画像データＩ１のみを利用した画像認識を行う。

このように、温度センサ信号信頼度Ｔｓｒにより信頼性が低いと判断されるときは、画像認識部２０５は、例えば、距離ＤＩＳを利用せずに画像認識を行うため、温度センサの不具合による影響を回避することが可能となる。

記憶部２０６は、フラッシュＲＯＭなどの不揮発性メモリなどから構成される。システム制御部２０３は、温度センサ信号信頼度Ｔｓｒにより信頼性が低いと判断されるとき（例えば、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０以上のとき）、時刻および温度センサ信号信頼度Ｔｓｒを記憶部２０６に書き込む。

これにより、書き込まれた温度センサ信号信頼度Ｔｓｒの時系列情報を調べることができるので、温度センサの交換時期などを適切に判断することが可能となる。

通信部２０７は、無線通信機およびアンテナなどから構成される。システム制御部２０３は、温度センサ信号信頼度Ｔｓｒにより信頼性が低いと判断されるとき（例えば、温度センサ信号信頼度Ｔｓｒが設定値Ｔｓｒ０以上のとき）、通信部２０７を介して、温度センサの不具合を、例えば管理会社などに報知する。

これにより、例えば、管理会社は、温度センサの不具合を検知し、管理要員の派遣、ユーザへの通報、部品の手配などを行うことができる。したがって、撮像システム２０２の不具合を早期に解消することが可能となる。

以上、本発明の実施の形態３に係る撮像システム２０２によれば、撮像装置１０１から得られる温度センサ信号信頼度に基づいて、画像処理などの処理方法を変更することが可能となる。つまり、撮像システム２０２は、温度センサの不具合による影響を回避することが可能となる。

（変形例）
本発明の変形例に係る撮像装置は、上記実施の形態に係る撮像装置の遮光壁および鏡筒の形状を変更することにより、遮光壁の像の長さの検知精度を向上させるものである。

以下、本発明の変形例に係る鏡筒１１１および遮光壁１１３について、図面を参照しながら説明する。

図２４は、本発明の変形例に係る鏡筒１１１の斜視図である。また、図２５Ａ及び図２５Ｂは、本発明の変形例に係る遮光壁１１３の斜視図である。また、図２６Ａ及び図２６Ｂは、本発明の変形例に係る遮光壁１１３の像を説明するための図である。

図２４に示すように、本変形例に係る鏡筒１１１は、遮光壁１１３をはめ合わせることが可能な４つの溝部１１１ｍを有する。この溝部１１１ｍに、図２５Ａ及び図２５Ｂに示す遮光壁１１３が挿入されることにより、遮光壁１１３は固定される。

図２５Ａは、変形例に係る遮光壁１１３の一例を示す。図２５Ａに示すように、遮光壁１１３は、下部に突起部１１３ｔを有する。

なお、本変形例に係る遮光壁１１３は、板面の両側に突起部１１３ｔを有しているが、片側だけに突起部１１３ｔを有する遮光壁１１３であってもよい。

図２６Ａは、図２５Ａに示す遮光壁１１３の像を示す。図２６Ａに示すように、温度推定部は、遮光壁１１３の突起部１１３ｔ間の像の長さＱｘおよびＱｙを用いて、温度を推定する。

なお、樽型の歪曲を持つレンズは、画像の斜め端は歪み補正によって不要となる。つまり、突起部の像の一部が４つの撮像信号（第１撮像信号１２２ａ、第２撮像信号１２２ｂ、第３撮像信号１２２ｃ、および第４撮像信号１２２ｄ）内に存在しているが、撮像信号の不要な部分が利用されていることになる。

また、遮光壁１１３は、図２５Ｂのような形状であってもよい。

図２５Ｂは、変形例に係る遮光壁１１３の一例を示す。図２５Ｂに示すように、遮光壁１１３は、上部に第１板部１１３ａ、下部に第２板部１１３ｂを有する。なお、第１板部１１３ａと第２板部１１３ｂは、一体で成型されている。

図２６Ｂは、図２５Ｂに示す遮光壁１１３の像を示す。図２６Ｂに示すように、温度推定部は、遮光壁１１３の第２板部１１３ｂの像の長さＱｘおよびＱｙを用いて、温度を推定する。

このように、遮光壁１１３が鏡筒１１１の溝部１１１ｍを用いて固定されることにより、遮光壁１１３を安定して保持することができる。また、遮光壁１１３と鏡筒１１１とが、同一の素材であれば、温度変化による変形も同一となる。つまり、レンズアレイに接着されるよりも、温度を正確に推定することが可能となる。

また、遮光壁１１３は、突起部１１３ｔまたは第２板部１１３ａを有するので、暗部の長さの検知が容易となり、暗部の長さの検知精度の向上も可能となる。つまり、温度推定の精度が向上する。

以上、本発明に係る撮像装置および撮像システムについて、実施の形態および変形例に基づいて説明したが、本発明は上記実施の形態および変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態および変形例に施したものや、異なる実施の形態および変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、本発明に係る撮像装置において、レンズアレイ１１２は、４つのレンズ部（第１レンズ部１１２ａ、第２レンズ部１１２ｂ、第３レンズ部１１２ｃ、および第４レンズ部１１２ｄ）を有していたが、レンズ部の数は４つに限定されない。以下に、レンズ部の数を変更した場合の具体例を、図を参照しながら説明する。

図２７Ａ及び図２７Ｂは、本発明に係る撮像装置のレンズの平面図である。また、図２８Ａ及び図２８Ｂは、本発明に係る撮像装置の遮光壁の斜視図である。また、図２９Ａ及び図２９Ｂは、本発明に係る遮光壁の撮像信号を示す図である。

例えば、図２７Ａに示すように、撮像装置が備えるレンズアレイは、２つのレンズ部を有してもよい。この場合、図２８Ａに示すように、遮光壁は、２つのレンズ部の射出光の干渉を防ぐために、１枚の板から構成される。

また、図２８Ａに示した遮光壁の像は、図２９Ａの暗部となる。ここで、遮光壁の像を取り囲む部分の撮像信号を縦中央部撮像信号Ｉ５ｙとすると、温度推定部は、縦中央部撮像信号Ｉ５ｙから遮光壁に対応する暗部の長さＱｙを検知する。そして、温度推定部は、式（５４）を用いて、検知した長さＱｙから推定温度Ｔｅを算出する。

また、例えば、図２７Ｂに示すように、撮像装置が備えるレンズアレイは、９つのレンズ部を有してもよい。この場合、図２８Ｂに示すように、遮光壁は、９つのレンズ部の射出光の干渉を防ぐために、井型に板を組合せて構成される。

また、図２８Ｂに示した遮光壁の像は、図２９Ｂの暗部となる。ここで、遮光壁の像を取り囲む部分の撮像信号を、第１横中央部撮像信号Ｉ５ｘ１、第２横中央部撮像信号Ｉ５ｘ２、第１縦中央部撮像信号Ｉ５ｙ１、および第２縦中央部撮像信号Ｉ５ｙ２とすると、温度推定部は、４つの中央部撮像信号から、それぞれの遮光壁に対応する暗部の長さＱｘ１、Ｑｘ２、Ｑｙ１、およびＱｙ２を検知する。そして、温度推定部は、式（５５）を用いて、検知した長さＱｘ１、Ｑｘ２、Ｑｙ１、およびＱｙ２から推定温度Ｔｅを算出する。

ここで、Ｑｘ１０は、基準温度Ｔ０における第１横中央部撮像信号Ｉ５ｘ１の暗部の長さである。また、Ｑｘ２０は、基準温度Ｔ０における第２横中央部撮像信号Ｉ５ｘ２の暗部の長さである。また、Ｑｙ１０は、基準温度Ｔ０における第１縦中央部撮像信号Ｉ５ｙ１の暗部の長さである。また、Ｑｙ２０は、基準温度Ｔ０における第２縦中央部撮像信号Ｉ５ｙ２の暗部の長さである。

本発明に係る撮像装置は、温度測定が可能な撮像装置として、例えば、カメラ機能を備えた携帯電話、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、立体画像入力カメラなどとして利用することができる。また、本発明に係る撮像システムは、被写体までの距離測定が可能な撮像システムとして、例えば、携帯電話、デジタルスチルカメラ、自動車、監視システム、３次元計測器、立体画像入力システムなどとして利用することができる。

１００、１０１ 撮像装置
１１０ レンズモジュール部
１１１ 鏡筒
１１２ レンズアレイ
１１３ 遮光壁
１２０ 回路部
１２１ 基板
１２２ 撮像素子
１２３ ＳＬＳＩ
１２４ 温度センサ
１２５ 金線
１３１ システム制御部
１３２ 撮像素子駆動部
１３３ 撮像信号入力部
１３４ 温度センサ信号入力部
１３５ 入出力部
１４１ 温度補償演算部
１４２ 距離演算部
１４３ 温度推定部
１４４ 温度センサ信号信頼度算出部
１４５ 報知部
１４６、２０６ 記憶部
２０２ 撮像システム
２０３ システム制御部
２０４ 警告報知部
２０５ 画像認識部
２０７ 通信部

Claims (10)

1. 被写体を撮像する撮像装置であって、
   複数のレンズを有するレンズアレイと、
   前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、
   前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁と、
   前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力部と、
   前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定した前記遮光壁の像の長さを用いて、第１温度を推定する温度推定部とを備える
   ことを特徴とする撮像装置。
2. さらに、
   前記レンズアレイの近傍に配置され、第２温度を検知する温度センサと、
   前記第１温度と前記第２温度とに基づいて、前記第２温度の信頼度を算出する信頼度算出部とを備える
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記信頼度算出部は、前記第１温度と前記第２温度との差分が大きいほど、前記第２温度の信頼性が低くなるように前記信頼度を算出する
   ことを特徴とする請求項２に記載の撮像装置。
4. さらに、
   所定温度から前記第２温度に変化した場合の、前記複数のレンズの光軸間の距離の変化量を推定し、推定された変化量を用いて、前記撮像信号から得られる情報を補正する温度補償演算部と、
   前記温度補償演算部により補正された情報を用いて、前記複数の撮像領域に撮像された像の視差と前記被写体までの距離とを算出する距離演算部とを備える
   ことを特徴とする請求項２に記載の撮像装置。
5. さらに、
   前記信頼度算出部により算出された前記信頼度が所定値を超えることにより、前記第２温度の信頼性が低いと判断された場合に、外部へ報知するための報知データを生成する報知部を備える
   ことを特徴とする請求項２に記載の撮像装置。
6. さらに、
   前記レンズアレイと前記撮像素子との間に、前記遮光壁を取り囲むように設置される筒状の鏡筒を備え、
   前記鏡筒は、内壁面に少なくとも一対の溝部を有し、
   前記遮光壁は、側端部を前記鏡筒の溝部に嵌合して設置されるとともに、前記撮像素子の撮像面から前記レンズアレイの方向に伸びる長方形状の板状部材であり、前記板状部材の同一板面から突起した突起部を少なくとも２つ有し、
   前記温度推定部は、前記突起部間の像の長さを用いて、前記第１温度を推定する
   ことを特徴とする請求項１に記載の撮像装置。
7. さらに、
   前記レンズアレイと前記撮像素子との間に、前記遮光壁を取り囲むように設置される筒状の鏡筒を備え、
   前記鏡筒は、内壁面に少なくとも一対の溝部を有し、
   前記遮光壁は、前記撮像素子の撮像面から前記レンズアレイの方向に伸びる板状部材であり、側端部が前記鏡筒の溝部に嵌合される第１板部と、前記第１板部から前記撮像面側に突出する第２板部とを有し、
   前記温度推定部は、前記第２板部の像の長さを用いて、前記第１温度を推定する
   ことを特徴とする請求項１に記載の撮像装置。
8. 請求項４に記載の撮像装置と、
   前記撮像装置が算出した被写体までの距離と信頼度とに基づいて所定の制御を行うシステム制御部とを備える
   ことを特徴とする撮像システム。
9. 複数のレンズを有するレンズアレイと、前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁とを備える撮像装置で用いられる撮像方法であって、
   前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力ステップと、
   前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定した前記遮光壁の像の長さを用いて、温度を推定する温度推定ステップとを含む
   ことを特徴とする撮像方法。
10. 複数のレンズを有するレンズアレイと、前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁とを備える撮像装置で実行されるプログラムであって、
    前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力ステップと、
    前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定された前記遮光壁の像の長さを用いて、温度を推定する温度推定ステップとを含む
    ことを特徴とするプログラム。

Images