JPWO2009125577A1 - 撮像装置、撮像システムおよび撮像方法 - Google Patents
撮像装置、撮像システムおよび撮像方法 Download PDFInfo
- Publication number
- JPWO2009125577A1 JPWO2009125577A1 JP2009539554A JP2009539554A JPWO2009125577A1 JP WO2009125577 A1 JPWO2009125577 A1 JP WO2009125577A1 JP 2009539554 A JP2009539554 A JP 2009539554A JP 2009539554 A JP2009539554 A JP 2009539554A JP WO2009125577 A1 JPWO2009125577 A1 JP WO2009125577A1
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- temperature
- image
- signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 813
- 238000005192 partition Methods 0.000 claims abstract description 6
- 230000003287 optical effect Effects 0.000 claims description 171
- 230000007423 decrease Effects 0.000 claims description 11
- 238000009529 body temperature measurement Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 64
- 230000014509 gene expression Effects 0.000 description 58
- 230000000875 corresponding effect Effects 0.000 description 54
- 238000000034 method Methods 0.000 description 40
- 238000012986 modification Methods 0.000 description 36
- 230000004048 modification Effects 0.000 description 36
- 238000011156 evaluation Methods 0.000 description 34
- 238000006243 chemical reaction Methods 0.000 description 30
- 238000003860 storage Methods 0.000 description 24
- 239000000758 substrate Substances 0.000 description 18
- 238000012545 processing Methods 0.000 description 16
- 239000011347 resin Substances 0.000 description 14
- 229920005989 resin Polymers 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 12
- 230000007257 malfunction Effects 0.000 description 10
- 239000004065 semiconductor Substances 0.000 description 8
- 239000000853 adhesive Substances 0.000 description 6
- 230000001070 adhesive effect Effects 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 241000872198 Serjania polyphylla Species 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000001746 injection moulding Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
- H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
温度の測定を要する撮像装置において、温度センサの実装数を削減する。複数のレンズを有するレンズアレイ(112)と、レンズアレイ(112)から所定の距離離れて設置され、複数のレンズのそれぞれに対応する撮像領域を有する撮像素子(122)と、各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、レンズアレイと撮像素子との間の空間を区画する遮光壁(113)と、撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力部(133)と、撮像信号から、撮像素子の撮像面に射影された遮光壁の像の長さを特定し、特定された遮光壁の像の長さを用いて、温度を推定する温度推定部(143)とを備えることを特徴とする。
Description
本発明は、小型かつ高精度な撮像装置に関し、特に複数のレンズを備えた撮像装置に関する。
従来の撮像装置として、複数のレンズが一体に形成されたレンズアレイを備えた撮像装置がある(例えば、特許文献1参照)。以下、特許文献1の撮像装置について、図30および図31を用いて説明する。
図30は、特許文献1の撮像装置901の分解斜視図である。図31は、特許文献1の撮像装置901の撮像ブロックを説明する図である。
図30および図31に示すように、撮像装置901は、絞り部材902、光学ブロックアレイ903、遮光ブロック904、光学フィルタ906、撮像ユニット907、駆動回路908、視差算出回路909、および半導体基板910を備える。
絞り部材902は、光学ブロックアレイ903に入射する光の量を調整する部材であり、複数の開口部902a、902b、902c、および902dを有する。
光学ブロックアレイ903は、いわゆるレンズアレイであり、光軸が互いに略平行である複数の光学ブロック903a、903b、903c、および903dが一体に形成された部材である。各光学ブロック903a、903b、903c、および903dは、絞り部材902が有する各開口部902a、902b、902c、および902dに対応して配置される。
遮光ブロック904は、絞り部材902が有する各開口部から入射した光が、対応する撮像ブロック以外の撮像ブロックに到達することを防止する部材である。
光学フィルタ906は、光学ローパスフィルタ、赤外線カットフィルタなどで構成される部材である。
撮像ユニット907は、CCDセンサ、CMOSセンサなどの固体撮像素子からなり、光学ブロックアレイ903が有する複数の光学ブロック903a、903b、903c、および903dのそれぞれに対応する撮像ブロック907a、907b、907c、および907dを有する。
駆動回路908は、半導体基板910上に設置され、撮像ユニット907を駆動する回路である。
視差算出回路909は、各撮像ブロックに結像した像の視差を算出するための回路である。
半導体基板910は、撮像ユニット907、駆動回路908、視差算出回路909などが設置される基板である。
絞り部材902の開口部902a、902b、902c、および902dを通過した光は、それぞれ光学ブロック903a、903b、903c、および903dによる屈折作用を受けた後、遮光ブロック904内および光学フィルタ906を通過し、撮像ブロック907a、907b、907c、および907dに結像する。
そして、各撮像ブロックから得られる画像間の視差を算出することにより、撮像装置901から被写体までの距離が算出される。例えば、視差算出回路909が、ブロックマッチング演算により、撮像ブロック907aから得られる画像と、撮像ブロック907bから得られる画像とのブロック間の類似度を算出する。そして、視差算出回路909は、算出された類似度に基づいて、視差dを求める。そして、視差算出回路909は、式(1)を用いて、視差dから距離Lを算出する。
ここで、fは光学ブロック903aおよび903bの焦点距離である。また、Bは、光学ブロック903aの光軸と、光学ブロック903bの光軸との間隔である。また、pは、光学ブロック903aと光学ブロック903bとの光軸を結ぶ方向における撮像ユニット907の画素間隔である。
このように、光学ブロックアレイ903を備えた撮像装置901は、被写体までの距離を算出することができる。しかしながら、光学ブロックアレイ903は、温度の変化に伴って、形が変化する。つまり、温度が変化した場合、光軸間の間隔が変化するため、式(1)により算出された距離の誤差が大きくなるという問題がある。
そこで、従来、温度を検知する温度センサを撮像装置に備え、検知した温度を用いて、測距精度を向上させる方法が提案されている(例えば、特許文献2参照)。以下、図30および図31に示した撮像装置901が温度センサを備えているとした場合に、測距精度を向上させる方法について説明する。
撮像装置901が備える温度センサが検知した温度を検知温度Tとすると、式(2)を用いて、光軸間の距離の変化量zが算出される。
ここで、aLは光学ブロックアレイの熱線膨張率であり、aSは撮像ユニットの熱線膨張率である。また、T0は基準温度であり、Bは、基準温度T0における光学ブロック間の光軸の距離である。
このようにして得られる光軸間の距離の変化量zを用いて、撮像装置は、各撮像ブロックにより得られる画像を補正する。
具体的には、式(3)のように、撮像ブロック907aにより得られる画像I1を基準とした場合、撮像装置は、撮像ブロック907b、907cおよび907dにより得られる画像I2、I3およびI4を、式(4)、式(5)および式(6)を用いて補正する。
なお、光学ブロック903aと光学ブロック903bとの光軸、および、光学ブロック903cと光学ブロック903dとの光軸は、互いにx軸方向に距離B離れて配置されている。また、光学ブロック903aと光学ブロック903cとの光軸、および、光学ブロック903bと光学ブロック903dとの光軸は、互いにy軸方向に距離B離れて配置されている。
ここで、pは、撮像ユニット907のx軸方向およびy軸方向における画素間隔である。また、I1(x,y)、I2(x,y)、I3(x,y)、およびI4(x,y)は、座標(x,y)における、補正前および補正後の画像の輝度を示す。
温度変化により、光学ブロック903bは、光学ブロック903aに対して、x軸方向にz/p画素だけ移動する。したがって、撮像装置は、式(4)のように、I2(x,y)を、x軸方向にz/pだけ移動するように補正する。
また、温度変化により、光学ブロック903cは、光学ブロック903aに対して、y軸方向にz/p画素だけ移動する。したがって、撮像装置は、式(5)のように、I3(x,y)を、y軸方向にz/pだけ移動するように補正する。
また、温度変化により、光学ブロック903dは、光学ブロック903aに対して、x軸方向にz/p画素、y軸方向にz/p画素だけ移動する。したがって、撮像装置は、式(6)のように、I4(x,y)を、x軸方向にz/p画素、y軸方向にz/p画素だけ移動するように補正する。
このように補正された画像を用いて、被写体までの距離を算出することにより、撮像装置の測距精度を向上させることができる。
しかしながら、上記従来の撮像装置では、レンズアレイおよび撮像素子の温度を得るために、温度センサを設置する必要がある。また、レンズアレイおよび撮像素子の温度の検知に関して、信頼性を向上させるためには、温度センサを複数設置する必要がある。そのため、温度センサの実装に伴って、撮像装置の部品点数が増大するとともに、製造コストも増大するという問題がある。
そこで、本発明は、温度の測定を要する撮像装置において、温度センサの実装数を削減することを目的とする。
上記目的を達成するために、本発明に係る撮像装置は、被写体を撮像する撮像装置であって、複数のレンズを有するレンズアレイと、前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁と、前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力部と、前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定した前記遮光壁の像の長さを用いて、第1温度を推定する温度推定部とを備えることを特徴とする。
これにより、レンズアレイを有する撮像装置が一般的に備える遮光壁を利用して温度を推定することが可能となる。つまり、本発明に係る撮像装置は、温度を検知するための温度センサを備えることなく、温度を測定することが可能となる。
また、前記撮像装置は、さらに、前記レンズアレイの近傍に配置され、第2温度を検知する温度センサと、前記第1温度と前記第2温度とに基づいて、前記第2温度の信頼度を算出する信頼度算出部とを備えてもよい。具体的には、前記信頼度算出部は、前記第1温度と前記第2温度との差分が大きいほど、前記第2温度の信頼性が低くなるように前記信頼度を算出してもよい。
これにより、遮光壁を利用して推定された温度と温度センサにより検知された温度とを比較することができるので、温度センサが検知した温度の信頼性を評価することが可能となる。その結果、信頼性が低い場合に外部に報知するなどにより、撮像装置の信頼性を向上させることが可能となる。つまり、本来であれば、新たに温度センサを追加して信頼性を向上する必要がある撮像装置において、新たな温度センサを追加することなく、信頼性を向上させることが可能となる。
また、前記撮像装置は、さらに、所定温度から前記第2温度に変化した場合の、前記複数のレンズの光軸間の距離の変化量を推定し、推定された変化量を用いて、前記撮像信号から得られる情報を補正する温度補償演算部と、前記温度補償演算部により補正された情報を用いて、前記複数の撮像領域に撮像された像の視差と前記被写体までの距離とを算出する距離演算部とを備えてもよい。
これにより、温度センサから得られる温度の信頼性を確認したうえで、距離を算出することが可能となる。つまり、信頼性の高い測距装置を提供することが可能となる。
また、前記撮像装置は、さらに、前記信頼度算出部により算出された前記信頼度が所定値を超えることにより、前記第2温度の信頼性が低いと判断された場合に、外部へ報知するための報知データを生成する報知部を備えてもよい。
これにより、測定された温度の信頼度が所定の値より低くなった場合に、その旨を報知することが可能となる。
また、前記撮像装置は、さらに、前記レンズアレイと前記撮像素子との間に、前記遮光壁を取り囲むように設置される筒状の鏡筒を備え、前記鏡筒は、内壁面に少なくとも一対の溝部を有し、前記遮光壁は、側端部を前記鏡筒の溝部に嵌合して設置されるとともに、前記撮像素子の撮像面から前記レンズアレイの方向に伸びる長方形状の板状部材であり、前記板状部材の同一板面から突起した突起部を少なくとも2つ有し、前記温度推定部は、前記突起部間の像の長さを用いて、前記第1温度を推定してもよい。
また、前記撮像装置は、さらに、前記レンズアレイと前記撮像素子との間に、前記遮光壁を取り囲むように設置される筒状の鏡筒を備え、前記鏡筒は、内壁面に少なくとも一対の溝部を有し、前記遮光壁は、前記撮像素子の撮像面から前記レンズアレイの方向に伸びる板状部材であり、側端部が前記鏡筒の溝部に嵌合される第1板部と、前記第1板部から前記撮像面側に突出する第2板部とを有し、前記温度推定部は、前記第2板部の像の長さを用いて、前記第1温度を推定してもよい。
これらにより、遮光壁を安定して設置することが可能となるとともに、撮像面に投影された遮光壁の像の長さの算出精度を向上させることができるので、温度推定の精度を向上させることが可能となる。
また、本発明に係る撮像システムは、前記撮像装置と、前記撮像装置が算出した被写体までの距離と信頼度とに基づいて所定の制御を行うシステム制御部とを備えることを特徴とする。
これにより、撮像システムにおいても、本発明に係る撮像装置と同様の効果が得られる。
また、本発明に係る撮像方法は、複数のレンズを有するレンズアレイと、前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁とを備える撮像装置で用いられる撮像方法であって、前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力ステップと、前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定した前記遮光壁の像の長さを用いて、温度を推定する温度推定ステップとを含むことを特徴とする。
これにより、撮像方法においても、本発明に係る撮像装置と同様の効果が得られる。
なお、本発明は、このような撮像方法に含まれるステップを実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc−Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。
本発明により、温度の測定を要する撮像装置において、温度センサの実装数を削減することが可能となる。
以下、本発明の実施の形態に係る撮像装置について、図面を参照しながら説明する。
(実施の形態1)
本発明の実施の形態1に係る撮像装置は、撮像素子の撮像面に射影した遮光壁の像の温度による変化量を算出し、算出した変化量を用いて温度を推定することができる点に特徴を有する。
本発明の実施の形態1に係る撮像装置は、撮像素子の撮像面に射影した遮光壁の像の温度による変化量を算出し、算出した変化量を用いて温度を推定することができる点に特徴を有する。
以下、本発明の実施の形態1に係る撮像装置について、図面を参照しながら説明する。
図1は、本発明の実施の形態1に係る撮像装置100の構成を示す断面図である。また、図2は、本発明の実施の形態1に係る撮像装置100の、鏡筒111およびレンズアレイ112を取り外した状態における平面図である。
図1および図2に示すように、撮像装置100は、レンズモジュール部110および回路部120を備える。レンズモジュール部110は、鏡筒111、レンズアレイ112、および遮光壁113を有し、回路部120は、基板121、撮像素子122、システムLSI(以下、SLSIと記す)123を有する。以下、各構成部について詳細に説明する。
鏡筒111は、樹脂により一体に成型された直方体筒状の部材であり、レンズアレイ112および撮像素子122の周縁を囲む位置に設置される。また、鏡筒111の内壁面は、光の乱反射を防止するために、つや消しされた黒色である。
レンズアレイ112は、ガラス、透明樹脂などからなり、第1レンズ部112a、第2レンズ部112b、第3レンズ部112c、および第4レンズ部112dを有する。また、レンズアレイ112は、鏡筒111の内壁の上部に、接着剤などを用いて接合される。なお、レンズアレイ112の詳細は、図3を用いて後述する。
遮光壁113は、レンズアレイ112が有する各レンズ部を通過した光が、当該レンズ部に対応する撮像領域と異なる撮像領域に到達しないように、レンズアレイ112と撮像素子122との間の空間を区画する部材である。なお、遮光壁113の詳細は、図4を用いて後述する。
基板121は、撮像素子122、SLSI123などの部品を表面に固定し、その部品間を配線で接続することで電子回路を構成する樹脂製の板状部材である。基板121の上面には、鏡筒111の底面が接着剤などにより接合される。
撮像素子122は、CCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの固体撮像素子であり、レンズアレイ112から所定の距離離れて配置される。また、撮像素子122は、レンズアレイ112の各レンズ部に対応する撮像領域を有する。これらの撮像領域は、対応する各レンズ部の光軸と略垂直となるように配置される。また、撮像素子122は、金線125および基板121を介して、SLSI123と電気的に接続される。なお、撮像素子122の詳細は、図5を用いて後述する。
SLSI123は、撮像素子122を駆動し、駆動した撮像素子122から電気信号を取得する。さらに、取得した電気信号に基づいて、温度を推定する。
図3は、本発明に係る撮像装置が備えるレンズアレイ112の平面図である。
図3に示すように、レンズアレイ112は、碁盤目状に配列された第1レンズ部112a、第2レンズ部112b、第3レンズ部112c、および第4レンズ部112dを有する。ここで、各レンズ部の配列方向の一方をx軸、他方をy軸と設定する。
この4つのレンズ部の光軸は、互いに略平行となるように設置されており、撮像素子122の撮像面と略垂直となるように設置されている。
図4は、本発明に係る撮像装置の遮光壁113の斜視図である。
図4に示すように、遮光壁113は、長方形状の2枚の樹脂板を十字状に組み合わせた形状をした部材であり、レンズアレイ112の底面に接着剤などで固着される。また、遮光壁113の壁面は、光の乱反射を防止するために、つやが消された黒色である。そして、遮光壁113は、樹脂を射出成形することにより、一体に形成される。
また、遮光壁113は、レンズアレイ112と撮像素子122との間に、第1レンズ部112a、第2レンズ部112b、第3レンズ部112c、および第4レンズ部112dを区切るように配置され、それぞれのレンズ部からの射出光が干渉しないように遮光する。
さらに、遮光壁113は、温度の変化に伴って、形状が変化する。一般的に、所定の温度範囲において、遮光壁の大きさは、温度に比例して大きくなる。
なお、遮光壁113は、一体成型ではなく、長方形状の2枚の樹脂板を組合せたものでもよい。また、遮光壁113は、樹脂に限定されるわけではない。つまり、遮光壁113は、光を遮り、かつ、温度変化に伴って変形する素材であればよい。
図5は、本発明に係る撮像装置が備える撮像素子122の平面図である。
図5に示すように、撮像素子122は、レンズアレイ112が有する4つのレンズ部(第1レンズ部112a、第2レンズ部112b、第3レンズ部112c、および第4レンズ部112d)に対応する4つの撮像領域(第1撮像領域122a、第2撮像領域122b、第3撮像領域122c、および第4撮像領域122d)を有する。
これらの各撮像領域には、対応する各レンズ部を通過した被写体からの光のみが結像する。つまり、各レンズ部を通過した光は、当該レンズ部に対応する撮像領域と異なる撮像領域には到達しない。すなわち、第1レンズ部112aからの射出光は、第1撮像領域122aのみに入射する。これは、第1レンズ部112aからの射出光が、第2撮像領域、第3撮像領域、および第4撮像領域に入射するのを、遮光壁113が遮るからである。
さらに、撮像素子122は、遮光壁113の位置に対応する横中央部撮像領域122xおよび縦中央部撮像領域122yを有する。
図6は、撮像素子122に投影された遮光壁113の像を説明するための図である。
図6に示すように、遮光壁113は、撮像素子122の横中央部撮像領域122xおよび縦中央部撮像領域122yに、暗部113qxおよび113qyとして投影される。この暗部113qxおよび113qyの長さを、それぞれ長さQxおよびQyとする。
図7は、本発明の実施の形態1に係る撮像装置100の特徴的な機能構成を示すブロック図である。
図7に示すように、撮像装置100は、撮像信号入力部133、温度推定部143、記憶部146、および入出力部135を備える。
撮像信号入力部133は、ADC(アナログ/デジタル変換器:Analog Digital Converter)などにより構成され、撮像素子122から取得した電気信号をデジタル値に変換した撮像信号を生成する。
温度推定部143は、撮像信号入力部133が生成した撮像信号を用いて、撮像素子122の撮像面に射影された遮光壁113の像の長さを算出することにより、遮光壁113の温度を推定する。
記憶部146は、フラッシュメモリなどからなり、所定温度において、遮光壁113が撮像素子122の撮像面に射影されたときの像の長さと遮光壁113の熱線膨張率とを記憶している。具体的には、温度T0、並びに温度T0における遮光壁113のx軸方向の像の長さQx0およびy軸方向の像の長さQy0並びに遮光壁113の熱線膨張率kqを記憶している。
入出力部135は、温度推定部143が推定した温度を出力する。また、入出力部135は、他の装置からの命令を入力する。
次に、以上のように構成された撮像装置100の動作について説明する。
図8は、本発明の実施の形態1に係る撮像装置100が実行する温度推定に関する処理の流れを示すフローチャートである。
まず、撮像信号入力部133は、撮像素子122から取得した電気信号をデジタル値に変換した撮像信号を生成する(ステップS100)。
次に、温度推定部143は、撮像信号入力部133が生成した撮像信号のうち、図5および図6に示した横中央部撮像領域122xに対応する横中央部撮像信号を切り出す(ステップS101)。
次に、温度推定部143は、撮像信号入力部133が生成した撮像信号のうち、図5および図6に示した縦中央部撮像領域122yに対応する縦中央部撮像信号を切り出す(ステップS102)。
次に、温度推定部143は、切り出された横中央部撮像信号から暗部113qxの長さ、つまり遮光壁113の像のx軸方向の長さQxを検知する(ステップS103)。具体的には、温度推定部143は、横中央部撮像信号を二値化し、二値化された撮像信号を用いて、黒部の一端と他端との座標から、長さQxを検知する。
次に、温度推定部143は、ステップS103と同様に、縦中央部撮像信号から暗部113qyの長さ、つまり遮光壁113の像のy軸方向の長さQyを検知する(ステップS104)。
次に、温度推定部143は、検知された長さQxおよびQyと、記憶部146に記憶された、温度T0における遮光壁113のx軸方向の像の長さQx0およびy軸方向の像の長さQy0並びに遮光壁113の熱線膨張率kqとを用いて、予め定義された関係式に従って推定温度を算出する(ステップS105)。
具体的には、温度推定部143は、遮光壁113の温度による変化を数式化した式(7)および式(8)を用いて、温度TxおよびTyを算出する。そして、式(9)のように、温度推定部143は、温度TxおよびTyの相加平均値を推定温度Teとして算出する。
ここで、kqは遮光壁113の熱線膨張率であり、遮光壁113の材質により定まる値である。
例えば、熱線膨張率kq=7e−5(/℃)、基準温度T0=20(℃)、基準温度T0における遮光壁113のx軸方向の長さQx0=10(mm)とした場合、温度T=30(℃)のとき、遮光壁113のx軸方向の長さの変化量は、Qx−Qx0=7(μm)である。ここで、撮像素子122の画素ピッチが2μmとすると、長さの変化は3.5画素に相当する。したがって、画像からの長さを求めるときの分解能が0.1画素の場合、温度推定部143は、0.29℃(=10℃/(3.5pix/0.1pix))の分解能で推定温度Teを算出できることになる。
以上のように、本実施の形態の撮像装置は、レンズアレイを有する撮像装置が一般的に備える遮光壁の温度変化による形状の変化を利用して温度を推定することが可能となる。つまり、本発明に係る撮像装置は、温度を検知するための温度センサを備えずに、温度を推定することが可能となる。
このようにして推定された推定温度は、複数の画像間の視差を利用して被写体までの距離を測定するときの温度補償に利用することができる。また、推定温度は、単に温度計などに表示する温度として利用することもできる。
なお、本実施の形態において、温度推定部143は、式(9)を用いて温度を推定していたが、温度と遮光壁の像の長さとの対応関係を複数の温度に対して格納した温度推定テーブルを参照することにより、検知した遮光壁の像の長さに対応する温度を推定してもよい。その場合、記憶部146は、温度推定テーブルを記憶することとなる。
また、本実施の形態において、温度推定部143は、式(9)とは異なる式を用いて温度を算出してもよい。例えば、温度推定部143は、遮光壁の長さを変数とする二次以上の多項式に従って、温度を算出してもよい。この場合、記憶部146は、多項式の係数を記憶することとなる。この多項式の係数は、熱線膨張率、基準温度、および基準温度における遮光壁の長さに限定されない。
また、本実施の形態において、温度推定部143は、記憶部146に記憶されたデータを用いて温度を推定していたが、撮像装置100以外の装置に保持されたデータを取得して温度を推定してもよい。
(実施の形態2)
本発明の実施の形態2に係る撮像装置は、実施の形態1と同様の方法により推定した温度と、温度センサから得られる温度とを比較することにより、温度センサから得られる温度の信頼性を評価することができる点に特徴を有する。
本発明の実施の形態2に係る撮像装置は、実施の形態1と同様の方法により推定した温度と、温度センサから得られる温度とを比較することにより、温度センサから得られる温度の信頼性を評価することができる点に特徴を有する。
以下、本発明の実施の形態2に係る撮像装置について、図面を参照しながら説明する。なお、実施の形態1と同じ構成部に関しては、同一符号にて示し、説明を省略する。
図9は、本発明の実施の形態2に係る撮像装置101の構成を示す断面図である。また、図10は、本発明の実施の形態2に係る撮像装置101が備える鏡筒111およびレンズアレイ112を取り外した状態の平面図である。
図9および図10に示すように、実施の形態2の撮像装置101は、温度センサ124を備える点が実施の形態1の撮像装置100と異なっているが、他の構成部は実施の形態1の撮像装置100と同じである。以下、温度センサ124について説明する。
温度センサ124は、サーミスタなどからなり、温度を検知することができる回路である。具体的には、図11のように構成される。
図11は、本発明の実施の形態2に係る撮像装置101が備える温度センサ124の回路図である。
図11に示すように、温度センサ124は、第1固定抵抗124aとサーミスタ124bと第2固定抵抗124cとが順に直列に接続された回路である。そして、第1固定抵抗124aのサーミスタ124bと接続されない端部は、電源124d(例えば3.3V、SLSIとは別電源)に接続される。また、第2固定抵抗124cのサーミスタ124bと接続されない端部は、グランド124e(例えば、0V。SLSI123のグランドと同一電位)に接続される。さらに、第1固定抵抗124aとサーミスタ124bとの接続点124fは、SLSI123に接続される。
図12は、本発明の実施の形態2に係る撮像装置101の特徴的な機能構成を示すブロック図である。
図12に示すように、撮像装置101は、システム制御部131、撮像素子駆動部132、撮像信号入力部133、温度センサ信号入力部134、入出力部135、温度補償演算部141、距離演算部142、温度推定部143、温度センサ信号信頼度算出部144、報知部145、および記憶部146を備える。
システム制御部131は、CPU(中央演算処理装置:Central Processing Unit)、ロジック回路などから構成され、SLSI123の全体を制御する。
撮像素子駆動部132は、ロジック回路などから構成され、システム制御部131の命令により、撮像素子122を駆動する信号を発生し、発生した信号に応じた電圧を撮像素子122に印加する。
撮像信号入力部133は、CDS回路(相関二重サンプリング回路:Correlated Double Sampling Circuit)、AGC(自動利得制御器:Automatic Gain Controller)およびADC(アナログ/デジタル変換器:Analog Digital Converter)が直列に接続された回路からなる。撮像素子122から入力された電気信号は、CDS回路により固定ノイズが除去され、AGCによりゲインが調整され、ADCによりアナログ信号からデジタル信号に変換され、撮像信号I0となる。
温度センサ信号入力部134は、ADCなどからなり、アナログ電圧信号である温度センサ信号をデジタル信号に変換した温度センサ信号Tsを出力する。
入出力部135は、画像データ、距離データ、および報知データを撮像装置101の外部に出力する。
温度補償演算部141は、温度センサ信号Tsを用いて、撮像信号の歪み補正を行う。具体的には、温度補償演算部141は、温度上昇に伴う、各レンズ部の光軸中心の移動距離を算出し、算出された移動距離に基づいて、座標変換テーブルの補正を行う。
距離演算部142は、撮像信号および座標変換テーブルを用いて、距離データおよび第1撮像信号を算出する。ここで、第1撮像信号は、第1レンズ部が第1撮像領域に結像した像に対応する信号である。距離データ算出の原理は、図13および図14を用いて後述する。
温度推定部143は、実施の形態1の撮像装置100と同様に、撮像信号入力部133が出力した撮像信号I0を用いて、撮像素子122の撮像面に射影された遮光壁113の像の長さを算出することにより、遮光壁113の温度を推定する。
温度センサ信号信頼度算出部144は、センサ温度信号と推定温度との差分が大きいほど信頼性が低くなるように、温度センサ信号信頼度を算出する。ここで、温度センサ信号信頼度は、信頼性が低いほど、値が大きくなるように定義する。
報知部145は、温度センサ信号信頼度が設定値以上の場合、報知データの値を1とし、温度センサ信号信頼度が設定値より小さい場合、報知データの値を0とする。つまり、報知部145は、信頼性が低い場合には、値が1である報知データを生成する。
記憶部146は、フラッシュメモリなどからなり、所定温度と、所定温度における遮光壁113の像の長さを記憶する。具体的には、温度T0と、温度T0における、遮光壁113のx軸方向の長さQx0とy軸方向の長さQy0と熱線膨張率kqとを記憶する。
なお、本実施の形態では、報知部145は、報知データを生成するのみであるが、作成した報知データに基づいて、報知部145は、ユーザ、管理会社などに報知する手段を備えてもよい。また、報知部145はLED(Light Emitting Diode)を備え、報知データの値が1の場合に、LEDを点灯させてもよい。
次に、距離演算部142が行う距離データ算出の原理について、図13および図14を用いて説明する。なお、説明の便宜のため、図13および図14において、第1レンズ部112aおよび第2レンズ部112bのみを図示し、第3レンズ部112cおよび第4レンズ部112dについては、図示を省略する。
図13は、本発明の実施の形態2に係る撮像装置101において、無限遠にある物体像の結像位置を説明するための図である。
無限遠にある物体10からの光の第1レンズ部112aへの代表的な入射光L1は、第2レンズ部112bへの代表的な入射光L2と平行である。(ここで、説明の便宜のため、物体10は2つ描画されている。しかし、実際は、物体10は単一の物体である。つまり、無限遠にある物体10からの入射光L1と入射光L2とが平行であることを明示するために、無限遠にある物体10を2つ描画している。)このため、第1レンズ部112aの光軸と第2レンズ部112bの光軸との間の距離は、撮像素子122上の物体像11aが結像される位置と物体像11bが結像される位置との間の距離と等しい。すなわち、光軸間の距離と結像位置間の距離との差分である視差は発生しない。
図14は、本発明の実施の形態2に係る撮像装置101において、有限距離の位置にある物体像の結像位置を説明するための図である。
有限距離の位置にある物体12からの光の第1レンズ部112aへの代表的な入射光L1は、第2レンズ部112bへの代表的な入射光L2と平行でない。したがって、第1レンズ部112aの光軸と第2レンズ部112bの光軸との間の距離に比べて、撮像素子122上の物体像13aが結像される位置と物体像13bが結像される位置との間の距離は長い。すなわち、視差が発生する。
ここで、第1レンズ部112aの主点から物体像12までの距離(被写体距離)をA、第1レンズ部112aと第2レンズ部112bとの光軸間距離をD、第1レンズ部112aおよび第2レンズ部112bの焦点距離をfとする。その場合、図14の直角を挟む2辺の長さがA、Dの直角三角形と、直角を挟む2辺の長さがf、Δの直角三角形とが相似であることにより、視差値Δは、式(10)のように表される。
その他のレンズ部についても同様の関係が成立する。このように、被写体距離に応じて4つのレンズ部112a、112b、112c、112dのそれぞれが形成する4つの物体像の相対的位置が変化する。例えば、被写体距離Aが小さくなると、視差値Δが大きくなる。そこで、式(11)のように、式(10)を被写体距離Aについて解くことにより、視差値Δから被写体距離Aを求めることができる。
次に、温度変化に伴う、各レンズ部の光軸中心の移動距離について、図3を用いて説明する。
レンズアレイ112の温度が上昇すると、レンズアレイ112が膨張する。つまり、図3の矢印のように、温度上昇に伴い、各レンズ部の光軸中心がレンズ外側に移動する。ここで、温度上昇に比例して、レンズアレイが等方的に膨張すると仮定すると、光軸中心の間隔の変化量は、式(12)および(13)により算出される。
ここで、ddxは温度上昇に伴う光軸間の間隔のx軸方向の変化量であり、単位は撮像素子122の受光素子の間隔である。また、ddyは温度上昇に伴う光軸間の間隔のy軸方向の変化量であり、単位は撮像素子122の受光素子の間隔である。また、Dxは基準温度T0におけるx軸方向のレンズ間の光軸の間隔であり、Dyは基準温度T0におけるy軸方向のレンズ間の光軸の間隔である。また、aLはレンズアレイ112の熱線膨張率であり、aSは撮像素子122の熱線膨張率である。また、Tは温度であり、T0は基準温度である。また、pは撮像素子122の受光素子の間隔である。
各レンズ部の光軸中心が等方的に膨張すると仮定すると、図3に示すように、各レンズ部の光軸中心は、温度上昇に伴うレンズ間の光軸間の間隔の変化の半分(x軸方向にp*ddx/2、y軸方向にp*ddy/2)だけ移動する。すなわち、第1レンズ部112aの光軸中心は、x軸方向に−p*ddx/2、y軸方向に−p*ddy/2だけ移動する。また、第2レンズ部112bの光軸中心は、x軸方向に+p*ddx/2、y軸方向に−p*ddy/2だけ移動する。また、第3レンズ部112cの光軸中心は、x軸方向に−p*ddx/2、y軸方向に+p*ddy/2だけ移動する。また、第4レンズ部112dの光軸中心は、x軸方向に+p*ddx/2、y軸方向に+p*ddy/2だけ移動する。
したがって、検知した温度Tから求まる変化量ddxおよびddyを用いて、撮像装置は、レンズアレイ112の各レンズの光軸の移動距離を推定することができる。そして、推定された光軸の移動距離を用いて、撮像装置は、各種の補償を行うことができる。その結果、撮像装置は、温度変化に伴うレンズアレイ112の膨張の影響を低減し、正確な視差を求めることができる。つまり、撮像装置は、正確な視差から正確な距離を求めることができる。
次に、以上のように構成された撮像装置101の動作について説明する。
図15は、本発明の実施の形態2に係る撮像装置101の動作を示すフローチャートである。
例えば、上位CPU(図示せず)が、入出力部135を介して、撮像装置101に動作の開始を命令することにより、撮像装置101は、以下の動作を開始する。
まず、撮像信号入力部133は、CDS回路、AGC、ADCにより、撮像素子122から得られる電気信号から、撮像信号I0を生成する(ステップS1020)。ここで、撮像信号入力部133は、x軸方向にH0画素、y軸方向にV0画素を有する撮像信号I0(x,y)を、I0(0,0)、I0(1,0)、I0(2,0)、・・・、I0(H0−1,V0−1)の順に出力する。
次に、温度センサ信号入力部134は、アナログ電圧信号である温度センサ信号をデジタル値に変換し、変換した信号を温度センサ信号Tsとして出力する(ステップS1030)。
次に、温度補償演算部141は、温度センサ信号Tsを用いて、撮像信号の歪み補正を行う(ステップS1100)。具体的には、図3に示すように、温度上昇に伴って、各レンズ部の光軸中心が移動する距離(p*ddx/2、p*ddy/2)に基づいて、座標変換テーブルを補正する。
以下に、図16を用いて、温度補償演算部141が、ステップS1100において行う処理の具体例を説明する。
図16は、本発明の実施の形態2に係る撮像装置101の撮像信号の切り出し位置を説明するための図である。
温度補償演算部141は、第1撮像信号I1(x,y)用の変換テーブルtx1(x,y)およびty1(x,y)を、式(14)、(15)および(16)を用いて作成する。ここで、図16に示すように、(x01,y01)は、撮像信号I0における歪みがないときの原点座標である。また、(xc1,yc1)は、撮像信号I1(x,y)における基準温度T0での光軸中心座標である。また、(−ddx/2,−ddy/2)は温度上昇による光軸中心の移動量であり、kd2およびkd4は歪曲係数である。
また、温度補償演算部141は、第2撮像信号I2(x,y)用の変換テーブルtx2(x,y)およびty2(x,y)を、式(17)、(18)および(19)を用いて作成する。ここで、図16に示すように、(x02,y02)は、撮像信号I0における歪みがないときの原点座標である。また、(xc2,yc2)は撮像信号I2(x,y)における基準温度T0での光軸中心座標である。また、(+ddx/2,−ddy/2)は温度上昇による光軸中心の移動量であり、kd2およびkd4は歪曲係数である。
また、温度補償演算部141は、第3撮像信号I3(x,y)用の変換テーブルtx3(x,y)およびty3(x,y)を、式(20)、(21)および(22)を用いて作成する。ここで、図16に示すように、(x03,y03)は撮像信号I0における歪みがないときの原点座標である。また、(xc3,yc3)は、撮像信号I3(x,y)における基準温度T0での光軸中心座標である。また、(−ddx/2,+ddy/2)は温度上昇による光軸中心の移動量であり、kd2およびkd4は歪曲係数である。
また、温度補償演算部141は、第4撮像信号I4(x,y)用の変換テーブルtx4(x,y)およびty4(x,y)を、式(23)、(24)および(25)を用いて作成する。ここで、図16に示すように、(x04,y04)は撮像信号I0における歪みがないときの原点座標である。また、(xc4,yc4)は、撮像信号I4(x,y)I4(x,y)における基準温度T0での光軸中心座標である。また、(+ddx/2,+ddy/2)は温度上昇による光軸中心の移動量であり、kd2およびkd4は歪曲係数である。
なお、上記の座標変換テーブルの作成において、歪みがない場合は、式(26)、(27)、(28)および(29)のように、撮像信号I0(x,y)から画像を切り出した後に、式(30)、(31)、(32)および(33)のように、切り出した画像を平行移動することに相当する。
以下、図15のフローチャートの説明の続きを行う。
次に、距離演算部142は、撮像信号I0、並びに座標変換テーブルtx1(x,y)、ty1(x,y)、tx2(x,y)、ty2(x,y)、tx3(x,y)、ty3(x,y)、tx4(x,y)、およびty4(x,y)を用いて、距離データDISおよび第1撮像信号I1を生成する(ステップS1200)。なお、本処理の詳細は、図17を用いて後述する。
次に、温度推定部143は、撮像信号I0を用いて、推定温度Teを推定する(ステップS1300)。なお、本処理の詳細は、図21を用いて後述する。
次に、温度センサ信号信頼度算出部144は、センサ温度信号Tsと推定温度Teとの差分が大きいほどセンサ温度信号Tsの信頼性が低くなるように、温度センサ信号信頼度Tsrを算出する(ステップS1400)。具体的には、温度センサ信号信頼度算出部144は、式(34)を用いて、温度センサ信号信頼度Tsrを算出する。
ここで、Te0およびTs0は、オフセット値である。また、式(34)のように、温度センサ信号信頼度Tsrを定義するため、温度センサ信号信頼度Tsrは、値が小さいほど信頼性が高いことを示し、値が大きいほど信頼性が低いことを示す。
次に、報知部145は、温度センサ信号信頼度Tsrが設定値Tsr0以上の場合、報知データDDEの値を1とし、温度センサ信号信頼度Tsrが設定値Tsr0より小さい場合、報知データDDEの値を0とする。具体的には、式(35)を用いて、報知データDDEを生成する(ステップS1500)。つまり、報知データDDEが1の場合は、温度センサ信号Tsの信頼性が低いことを示す。一方、報知データDDEが0の場合は、温度センサ信号Tsの信頼性が高いことを示す。
次に、入出力部135は、画像データ、距離データ、信頼度データ、報知データなどを撮像装置101の外部に出力する(ステップS1910)。ここで、画像データとは、撮像信号I0、或いは第1撮像信号I1のことである。また、距離データとは、距離演算部142が算出した距離データDISのことである。また、信頼度データとは、温度センサ信号信頼度算出部144が算出した温度センサ信号信頼度Tsrのことである。また、報知データは、報知部145が生成した報知データDDEのことである。
次に、システム制御部131は、処理を終了するか否かを判断する(ステップS1920)。例えば、システム制御部131は、入出力部135を介して、上位CPU(図示せず)と通信し、動作を終了するか否かの命令を要求する。そして、上位CPUから終了命令を受け取った場合に、システム制御部131は、処理を終了すると判断する。
ここで、処理を終了しないと判断した場合(ステップS1920のN)、システム制御部131は、再度ステップS1020からの処理を繰り返す。一方、処理を終了すると判断した場合(ステップS1920のY)、システム制御部131は処理を終了する。
次に、図15に示したステップS1200の詳細な処理の流れを、図17を用いて説明する。
図17は、本発明の実施の形態2に係る撮像装置101が備える距離演算部142の動作を示すフローチャートである。
まず、距離演算部142は、撮像信号I0から、各レンズ部により結像された被写体像の画像を切り出す(ステップS1220)。この画像の切り出し処理では、歪曲補正処理も同時に行われる。つまり、距離演算部142は、第1レンズ部112aに対応する第1撮像信号I1(x,y)、第2レンズ部112bに対応する第2撮像信号I2(x,y)、第3レンズ部112cに対応する第3撮像信号I3(x,y)、および第4レンズ部112dに対応する第4撮像信号II4(x,y)を作成する。
具体的には、距離演算部142は、式(36)のように、座標変換テーブルtx1(x,y)およびty1(x,y)に基づいて、撮像信号I0(x,y)から第1撮像信号I1(x,y)を作成する。すなわち、座標 (tx1(x,y),ty1(x,y))の撮像信号I0を第1撮像信号I1(x,y)とする。
なお、座標(tx1(x,y),ty1(x,y))は、整数でなくてもよい。その場合、座標変換テーブルtx1(x,y)の整数部分をtx1i(x,y)とし、小数部分をtx1f(x,y)とすると、式(37)のように、4画素を利用して、第1撮像信号I1(x,y)を作成する。
同様に、距離演算部142は、式(38)のように、座標変換テーブルtx2(x,y)およびty2(x,y)に基づいて、撮像信号I0(x,y)から第2撮像信号I2(x,y)を作成する。
さらに、同様に、距離演算部142は、式(39)のように、座標変換テーブルtx3(x,y)およびty3(x,y)に基づいて、撮像信号I0(x,y)から第3撮像信号I3(x,y)を作成する。
さらに、同様に、距離演算部142は、式(40)のように、座標変換テーブルtx4(x,y)およびty4(x,y)に基づいて、撮像信号I0(x,y)から第4撮像信号I4(x,y)を作成する。
なお、歪みがなく、温度によるレンズの膨張がない場合、図16に示すように、第1撮像信号I1(x,y)は、撮像信号I0を原点(x01,y01)から、x軸方向にH1画素、y軸方向にV1画素だけ切り出した領域の画像となる。また、第2撮像信号I2(x,y)は、撮像信号I0を原点(x02,y02)から、x軸方向にH1画素、y軸方向にV1画素だけ切り出した領域の画像となる。また、第3撮像信号I3(x,y)は、撮像信号I0を原点(x03,y03)から、x軸方向にH1画素、y軸方向にV1画素だけ切り出した領域の画像となる。また、第4撮像信号I4(x,y)は、撮像信号I0を原点(x04,y04)から、x軸方向にH1画素、y軸方向にV1画素だけ切り出した領域の画像となる。
次に、距離演算部142は、撮像信号をブロックに分割する(ステップS1230)。図18は、本発明の実施の形態2に係る撮像装置101におけるブロック分割を説明する図である。図18において、第1撮像信号I1は、x軸方向にHB画素、y軸方向にVB画素を有する長方形状のブロックに分割され、x軸方向にNh個、y軸方向にNv個のブロックを持つ。
次に、距離演算部142は、ブロックを選択する(ステップS1240)。ステップS1230の処理を実行した後、初めてこのステップS1240の処理を実行するときは、距離演算部142は、(0,0)で示されるブロックを選択する。そして、次回以後、ステップS1240の処理が実行されるときは、距離演算部142は、右側に順にずらしたブロックを選択する。
なお、距離演算部142が、図18に示される右端のブロック((Nh−1,0)、(Nh−1,1)、・・・で示されるブロック)を選択した場合、次回の処理において、距離演算部142は、1つ下の行の左端のブロック((0,1)、(0,2)、・・・で示されるブロック)を選択する。
すなわち、ステップS1230の処理を実行後、初めてこのステップS1240の処理を実行するときを0番目とすると、距離演算部142は、i番目において(i%Nh,int(i/Nh))で示されるブロックを選択する。ここで、i%Nhは、iをNhで除算したときの剰余であり、int(i/Nh)は、iをNhで除算したときの商の整数部である。以後、このようにして選択されたブロックを選択ブロックB(ih,iv)と呼ぶ。
次に、距離演算部142は、視差を算出する(ステップS1250)。
以下、ステップS1250において、距離演算部142が行う視差の算出の詳細を説明する。
距離演算部142は、第1撮像信号I1と第2撮像信号I2との視差および視差信頼度を算出する。まず、距離演算部142は、第1撮像信号I1と第2撮像信号I2との視差評価値R12(kx)を算出する。ここで、kxは、画像をどれだけずらすかを示すずらし量であり、kx=0、1、2、・・・、SBのように変化させる。
図19は、本発明の実施の形態2に係る撮像装置101において、第1撮像信号と第2撮像信号とを利用したときの視差演算における視差評価値の演算領域を説明する図である。
図19において、I1で示される領域は、第1撮像信号I1の選択ブロックB(ih,iv)で選択された領域を示す。また、I2で示される領域は、選択ブロックの座標からx軸方向にkxだけずれた領域の第2撮像信号I2である。距離演算部142は、ずらし量kx=0からSBについて、式(41)に示される絶対値差分総和(SAD:Sum of Absolute Differences)を演算し、視差評価値R12(kx)を算出する。すなわち、距離演算部142は、第1撮像信号I1を基準として、視差評価値R12(kx)を算出する。
この視差評価値R12(kx)は、選択ブロックB(ih,iv)の第1撮像信号I1と、選択ブロックからx軸方向にkxだけずれた領域における第2撮像信号I2とが、どれだけ相関があるかを示す。そして、視差評価値R12(kx)が小さいほど相関が大きい(よく似ている)ことを示す。
図20は、本発明の実施の形態2に係る撮像装置101の第1撮像信号I1と第2撮像信号I2を利用したときの視差演算におけるずらし量と視差評価値との関係を説明する図である。
図20に示すように、視差評価値R12(kx)は、ずらし量kxの値によって変化し、ずらし量kx=Δのときに極小値となる。つまり、選択ブロックB(ih,iv)の第1撮像信号I1と、選択ブロックからx軸方向にΔだけずれた領域における第2撮像信号I2とが、最も相関が高いことを示す。したがって、選択ブロックB(ih,iv)における第1撮像信号I1と第2撮像信号I2との視差が、Δであることが分かる。
そこで、距離演算部142は、式(42)のように、この視差Δを用いて、選択ブロックB(ih,iv)における第1撮像信号I1と第2撮像信号I2との視差値Δ12(ih,iv)を算出する。そして、距離演算部142は、式(43)のように、視差評価値R12(Δ)を用いて、選択ブロックB(ih,iv)における第1撮像信号I1と第2撮像信号I2との視差信頼度C12(ih,iv)を算出する。
次に、距離演算部142は、第1撮像信号I1と第3撮像信号I3との視差および視差信頼度も同様に算出する。ただし、ずらす方向はy軸方向とし、ずらし量はkyとする。
距離演算部142は、式(44)のように、選択ブロックB(ih,iv)における、第1撮像信号I1と第3撮像信号I3との視差評価値R13(ky)を算出する。すなわち、距離演算部142は、第1撮像信号I1を基準として、視差評価値R13(ky)を算出する。
そして、距離演算部142は、最小値を与えるずらし量、すなわち視差Δを用いて、式(45)のように、選択ブロックB(ih,iv)における第1撮像信号I1と第3撮像信号I3との視差値Δ13(ih,iv)を算出する。また、距離演算部142は、式(46)のように、視差評価値R13(Δ)を用いて、選択ブロックB(ih,iv)における第1撮像信号I1と第3撮像信号I3との信頼度C13(ih,iv)を算出する。
次に、距離演算部142は、第1撮像信号I1と第4撮像信号I4との視差および視差信頼度も同様に算出する。ただし、ずらす方向は斜め方向(第1レンズ部112aの光軸と第4レンズ部112dの光軸とを結ぶ方向)とし、ずらし量はx軸方向にkx、y軸方向にkx*Dy/Dxとする。
距離演算部142は、式(47)のように、選択ブロックB(ih,iv)における、第1撮像信号I1と第4撮像信号I4との視差評価値R14(kx)を算出する。すなわち、距離演算部142は、第1撮像信号I1を基準として、視差評価値R14(kx)を算出する。
そして、距離演算部142は、最小値を与えるずらし量、すなわち視差Δを用いて、式(48)のように、選択ブロックB(ih,iv)における第1撮像信号I1と第4撮像信号I4との視差値Δ14(ih,iv)を算出する。また、距離演算部142は、式(49)のように、視差評価値R14(Δ)を用いて、選択ブロックB(ih,iv)における第1撮像信号I1と第4撮像信号I4との信頼度C14(ih,iv)を算出する。
なお、式(47)において座標(x+kx,y+kx*Dy/Dx)が小数点以下の数字を有する座標となる場合、撮像信号I4は、周辺画素から線形補間などを用いて算出する。なお、図3に示すように、DxおよびDyは、第1レンズ部112aと第4レンズ部112dにおけるx軸方向の間隔、およびy軸方向の間隔である。
そして、距離演算部142は、上記3つの視差信頼度を比較し、最も信頼度の高い視差値をこのブロックにおける視差値とする。すなわち、距離演算部142は、式(50)のように、3つの視差信頼度C12(ih,iv)、C13(ih,iv)、およびC14(ih,iv)を比較し、C12(ih,iv)が最も小さいときΔ12(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C13(ih,iv)が最も小さいとき Δ13(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C14(ih,iv)が最も小さいときΔ14(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とする。
なお、信頼度(C12、C13、およびC14)として絶対値差分総和(式(43)、(46)、(49))を用いたが、正規化相関係数を用いてもよい。この場合、最も大きい信頼度を与える視差値を選択する。ここで、視差値をx軸方向に統一するため、Δ13(ih,iv)を採用する場合、レンズ部の間隔の比であるDx/DyをΔ13(ih,iv)に乗ずる。
以下、図17のフローチャートの説明の続きを行う。
次に、距離演算部142は、視差から距離を算出する(ステップS1260)。式(10)を距離Aについて解くと式(11)のように表されるため、ブロックB(ih,iv)に含まれる領域の距離DIS(x,y)は、式(51)にように示される。
ここで、fは4つのレンズ部112a、112b、112c、および112dの焦点距離であり、pは撮像素子122の受光素子の間隔である。なお、視差値Δは、単位が画素である。したがって、式(51)において、視差値Δが焦点距離fなどと同一の単位系となるように、受光素子の間隔pが乗じられている。
次に、距離演算部142は、距離演算を終了するか否かを判定する(ステップS1270)。ここで、距離演算を終了すると判定した場合(全てのブロックが選択された場合、つまり、選択ブロックがB(Nh−1,Nv−1)の場合)(ステップS1270のY)、図15のステップS1300の処理を実行する。一方、距離演算を終了すると判定しない場合(全てのブロックが選択されていない場合、つまり、選択ブロックがB(Nh−1,Nv−1)でない場合)(ステップS1270のN)、再度ステップS1240からの処理を実行する。
次に、図15に示したステップS1300の詳細な処理の流れを、図21を用いて説明する。
図21は、本発明の実施の形態2に係る撮像装置101の温度推定の動作を示すフローチャートである。
まず、温度推定部143は、撮像信号I0から横中央部撮像信号を切り出す(ステップS1320)。
図22は、本発明の実施の形態2に係る撮像装置101の撮像信号のうち遮光壁に対応した撮像信号を切り出す位置と暗部とを説明するための図である。
図22に示すように、温度推定部143は、遮光壁113に対応する暗部113qxおよび113qyを囲むように、横中央部撮像信号I5x、縦中央部撮像信号I5yを切り出す。具体的には、温度推定部143は、原点(0,V0/2−W5/2)から、x軸方向にH0画素、y軸方向にW5画素だけ切り出した領域の撮像信号を、横中央部撮像信号I5xとする。
次に、温度推定部143は、撮像信号I0から縦中央部撮像信号を切り出す(ステップS1330)。具体的には、図22に示すように、温度推定部143は、原点(H0/2−W5/2,0)から、x軸方向にW5画素、y軸方向にV0画素だけ切り出した領域の撮像信号を、縦中央部撮像信号I5yとする。
次に、温度推定部143は、切り出された横中央部撮像信号I5xから、横方向の暗部113qxの長さQxを検知する(ステップS1340)。具体的には、温度推定部143は、横中央部撮像信号I5xを二値化し、二値化された撮像信号を用いて、黒部の左端から右端までの長さを検知する。
次に、温度推定部143は、切り出された縦中央部撮像信号I5yから、縦方向の暗部113qyの長さQyを検知する(ステップS1350)。具体的には、温度推定部143は、縦中央部撮像信号I5yを二値化し、二値化された撮像信号を用いて、黒部の上端から下端までの長さを検知する。
次に、温度推定部143は、推定温度Teを算出する(ステップS1360)。具体的には、温度推定部143は、ステップS1340およびステップS1350において検知された横方向の暗部113qxの長さQxおよび縦方向の暗部113qyの長さQyを、式(9)に代入することにより、推定温度Teを算出する。
ここで、基準温度T0、遮光壁113の熱線膨張率kq、基準温度T0における横方向の暗部113qxの長さQx0、基準温度T0における縦方向の暗部113qyの長さQy0は、記憶部146に記憶された値が利用される。
以上、本発明の実施の形態2に係る撮像装置101は、温度推定部143が遮光壁113の像の長さに基づいて推定した推定温度を利用して、温度センサ124から得られる温度の信頼性を数値化した温度センサ信号信頼度を得ることが可能となる。すなわち、報知部145が、得られた温度センサ信号信頼度に基づいて、信頼性が低いことを報知するなどにより、ユーザは、不具合などが発生した状態での撮像装置の使用を回避することが可能となる。
具体的には、ユーザは、温度センサ124の経年劣化、温度センサ124の故障、温度センサ124とSLSI123の配線の断線、SLSI123内部での温度センサ信号ラインの断線、温度センサ信号入力部134のADCの故障によるビット落ち、他部品の故障による負荷の増大による温度センサ信号入力部134のADCへのリファレンス電圧の低下、温度センサ124からSLSI123への配線へのノイズの混入、SLSI123内部での温度センサ信号ラインへのノイズの混入などが発生した状態での撮像装置の使用を回避することが可能となる。
すなわち、本実施の形態の撮像装置によれば、撮像装置の信頼性を向上させることが可能となる。
このように、本来であれば、新たに温度センサを追加することにより信頼性を向上させる必要がある撮像装置において、新たな温度センサを追加することなく、信頼性を向上させることが可能となる。また、本実施の形態に係る撮像装置は、温度センサを新たに追加する必要がないので、製造コストを抑制すること、および撮像装置を小型化することが可能となる。
また、撮像装置101は、信頼性が評価された温度センサ124の温度を利用して温度補償し、被写体までの距離を算出することができる。つまり、温度センサを新たに追加することなく、信頼性の高い距離情報を提供することが可能となる。また、リファレンス電圧の変動により誤差が発生する可能性がある温度センサ信号Tsと、リファレンス電圧が変動し画像濃淡が変動しても影響されない暗部の長さから求められる推定温度Teとを用いてセンサ温度信号信頼度Tsrを作成するため、本実施の形態の撮像装置によれば、より外部からのノイズに強い、つまり堅牢な撮像装置を提供することが可能となる。
なお、本実施の形態において、温度補償演算部141は、座標変換テーブルtx1、ty1、tx2、ty2、tx3、ty3、tx4、ty4を算出することにより、温度補償を行っていたが、異なる温度補償を行ってもよい。例えば、温度補償演算部141は、距離演算部142が算出した視差に対して、式(52)のように、レンズアレイ112の各レンズ部の光軸の間隔の変化分を減じて、温度補償を行ってもよい。
あるいは、温度補償演算部141は、距離演算部142が算出した距離DIS(x,y)に対して、式(53)のように補正することで、温度補償を行ってもよい。
また、本実施の形態において、温度センサ信号信頼度算出部144は、温度センサ信号信頼度Tsrを、2つの温度(センサ温度信号Tsおよび推定温度Te)の差分に基づいて算出しているが、2つの温度の比に基づいて算出してもよい。つまり、2つの温度の一致度が低いほど、温度センサ信号Tsの信頼性が低くなるように、温度センサ信号信頼度Tsrが算出されればよい。このように、2つの温度の比に基づいて温度センサ信号信頼度を算出する場合、報知部145は、温度センサ信号信頼度が1を含む所定の値の範囲内にあるときに報知データDDEを0とする。一方、温度センサ信号信頼度が1を含む所定の値の範囲外にあるときに、報知部145は報知データDDEを1とする。
(実施の形態3)
本発明の実施の形態3に係る撮像システムは、実施の形態2に係る撮像装置101を利用したものである。
本発明の実施の形態3に係る撮像システムは、実施の形態2に係る撮像装置101を利用したものである。
以下、本発明の実施の形態3に係る撮像システム202について、図面を参照しながら説明する。
図23は、本発明の実施の形態3に係る撮像システム202の構成を示すブロック図である。
図23に示すように、撮像システム202は、実施の形態2の撮像装置101、システム制御部203、警告報知部204、画像認識部205、記憶部206、および通信部207を備える。
システム制御部203は、CPUなどからなり、撮像システム202が有する各機能を制御する。
撮像装置101は、実施の形態2の撮像装置であり、システム制御部203によって制御される。また、撮像装置101は、画像データ(例えば、第1撮像信号I1)、距離データDIS、および温度センサ信号信頼度Tsrを出力する。
警告報知部204は、赤色のLED、駆動回路などから構成される。温度センサ信号信頼度Tsrにより信頼性が高いと判断されるとき(例えば、温度センサ信号信頼度Tsrが設定値Tsr0未満のとき)、システム制御部203は、警告報知部204のLEDを消灯する。一方、温度センサ信号信頼度Tsrにより信頼性が低いと判断されるとき(例えば、温度センサ信号信頼度Tsrが設定値Tsr0以上のとき)、システム制御部203は、警告報知部204のLEDを点灯する。
これにより、ユーザは、撮像装置101の温度センサ信号の信頼度を知ることができる。その結果、ユーザは、使用中止、製造会社への通報などの対応を図ることができるので、撮像システム202の不具合による被害を抑制することが可能となる。
画像認識部205は、CPUなどから構成される。システム制御部203は、温度センサ信号信頼度Tsrに基づき、画像認識部205に、画像認識方法を命令する。温度センサ信号信頼度Tsrにより信頼性が高いと判断されるとき(例えば、温度センサ信号信頼度Tsrが設定値Tsr0未満のとき)、画像認識部205は、画像データI1と距離DISとを利用した画像認識を行う。一方、温度センサ信号信頼度Tsrにより信頼性が低いと判断されるとき(例えば、温度センサ信号信頼度Tsrが設定値Tsr0以上のとき)、画像認識部205は、距離データDISを利用しないで、画像データI1のみを利用した画像認識を行う。
このように、温度センサ信号信頼度Tsrにより信頼性が低いと判断されるときは、画像認識部205は、例えば、距離DISを利用せずに画像認識を行うため、温度センサの不具合による影響を回避することが可能となる。
記憶部206は、フラッシュROMなどの不揮発性メモリなどから構成される。システム制御部203は、温度センサ信号信頼度Tsrにより信頼性が低いと判断されるとき(例えば、温度センサ信号信頼度Tsrが設定値Tsr0以上のとき)、時刻および温度センサ信号信頼度Tsrを記憶部206に書き込む。
これにより、書き込まれた温度センサ信号信頼度Tsrの時系列情報を調べることができるので、温度センサの交換時期などを適切に判断することが可能となる。
通信部207は、無線通信機およびアンテナなどから構成される。システム制御部203は、温度センサ信号信頼度Tsrにより信頼性が低いと判断されるとき(例えば、温度センサ信号信頼度Tsrが設定値Tsr0以上のとき)、通信部207を介して、温度センサの不具合を、例えば管理会社などに報知する。
これにより、例えば、管理会社は、温度センサの不具合を検知し、管理要員の派遣、ユーザへの通報、部品の手配などを行うことができる。したがって、撮像システム202の不具合を早期に解消することが可能となる。
以上、本発明の実施の形態3に係る撮像システム202によれば、撮像装置101から得られる温度センサ信号信頼度に基づいて、画像処理などの処理方法を変更することが可能となる。つまり、撮像システム202は、温度センサの不具合による影響を回避することが可能となる。
(変形例)
本発明の変形例に係る撮像装置は、上記実施の形態に係る撮像装置の遮光壁および鏡筒の形状を変更することにより、遮光壁の像の長さの検知精度を向上させるものである。
本発明の変形例に係る撮像装置は、上記実施の形態に係る撮像装置の遮光壁および鏡筒の形状を変更することにより、遮光壁の像の長さの検知精度を向上させるものである。
以下、本発明の変形例に係る鏡筒111および遮光壁113について、図面を参照しながら説明する。
図24は、本発明の変形例に係る鏡筒111の斜視図である。また、図25A及び図25Bは、本発明の変形例に係る遮光壁113の斜視図である。また、図26A及び図26Bは、本発明の変形例に係る遮光壁113の像を説明するための図である。
図24に示すように、本変形例に係る鏡筒111は、遮光壁113をはめ合わせることが可能な4つの溝部111mを有する。この溝部111mに、図25A及び図25Bに示す遮光壁113が挿入されることにより、遮光壁113は固定される。
図25Aは、変形例に係る遮光壁113の一例を示す。図25Aに示すように、遮光壁113は、下部に突起部113tを有する。
なお、本変形例に係る遮光壁113は、板面の両側に突起部113tを有しているが、片側だけに突起部113tを有する遮光壁113であってもよい。
図26Aは、図25Aに示す遮光壁113の像を示す。図26Aに示すように、温度推定部は、遮光壁113の突起部113t間の像の長さQxおよびQyを用いて、温度を推定する。
なお、樽型の歪曲を持つレンズは、画像の斜め端は歪み補正によって不要となる。つまり、突起部の像の一部が4つの撮像信号(第1撮像信号122a、第2撮像信号122b、第3撮像信号122c、および第4撮像信号122d)内に存在しているが、撮像信号の不要な部分が利用されていることになる。
また、遮光壁113は、図25Bのような形状であってもよい。
図25Bは、変形例に係る遮光壁113の一例を示す。図25Bに示すように、遮光壁113は、上部に第1板部113a、下部に第2板部113bを有する。なお、第1板部113aと第2板部113bは、一体で成型されている。
図26Bは、図25Bに示す遮光壁113の像を示す。図26Bに示すように、温度推定部は、遮光壁113の第2板部113bの像の長さQxおよびQyを用いて、温度を推定する。
このように、遮光壁113が鏡筒111の溝部111mを用いて固定されることにより、遮光壁113を安定して保持することができる。また、遮光壁113と鏡筒111とが、同一の素材であれば、温度変化による変形も同一となる。つまり、レンズアレイに接着されるよりも、温度を正確に推定することが可能となる。
また、遮光壁113は、突起部113tまたは第2板部113aを有するので、暗部の長さの検知が容易となり、暗部の長さの検知精度の向上も可能となる。つまり、温度推定の精度が向上する。
以上、本発明に係る撮像装置および撮像システムについて、実施の形態および変形例に基づいて説明したが、本発明は上記実施の形態および変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態および変形例に施したものや、異なる実施の形態および変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、本発明に係る撮像装置において、レンズアレイ112は、4つのレンズ部(第1レンズ部112a、第2レンズ部112b、第3レンズ部112c、および第4レンズ部112d)を有していたが、レンズ部の数は4つに限定されない。以下に、レンズ部の数を変更した場合の具体例を、図を参照しながら説明する。
図27A及び図27Bは、本発明に係る撮像装置のレンズの平面図である。また、図28A及び図28Bは、本発明に係る撮像装置の遮光壁の斜視図である。また、図29A及び図29Bは、本発明に係る遮光壁の撮像信号を示す図である。
例えば、図27Aに示すように、撮像装置が備えるレンズアレイは、2つのレンズ部を有してもよい。この場合、図28Aに示すように、遮光壁は、2つのレンズ部の射出光の干渉を防ぐために、1枚の板から構成される。
また、図28Aに示した遮光壁の像は、図29Aの暗部となる。ここで、遮光壁の像を取り囲む部分の撮像信号を縦中央部撮像信号I5yとすると、温度推定部は、縦中央部撮像信号I5yから遮光壁に対応する暗部の長さQyを検知する。そして、温度推定部は、式(54)を用いて、検知した長さQyから推定温度Teを算出する。
また、例えば、図27Bに示すように、撮像装置が備えるレンズアレイは、9つのレンズ部を有してもよい。この場合、図28Bに示すように、遮光壁は、9つのレンズ部の射出光の干渉を防ぐために、井型に板を組合せて構成される。
また、図28Bに示した遮光壁の像は、図29Bの暗部となる。ここで、遮光壁の像を取り囲む部分の撮像信号を、第1横中央部撮像信号I5x1、第2横中央部撮像信号I5x2、第1縦中央部撮像信号I5y1、および第2縦中央部撮像信号I5y2とすると、温度推定部は、4つの中央部撮像信号から、それぞれの遮光壁に対応する暗部の長さQx1、Qx2、Qy1、およびQy2を検知する。そして、温度推定部は、式(55)を用いて、検知した長さQx1、Qx2、Qy1、およびQy2から推定温度Teを算出する。
ここで、Qx10は、基準温度T0における第1横中央部撮像信号I5x1の暗部の長さである。また、Qx20は、基準温度T0における第2横中央部撮像信号I5x2の暗部の長さである。また、Qy10は、基準温度T0における第1縦中央部撮像信号I5y1の暗部の長さである。また、Qy20は、基準温度T0における第2縦中央部撮像信号I5y2の暗部の長さである。
本発明に係る撮像装置は、温度測定が可能な撮像装置として、例えば、カメラ機能を備えた携帯電話、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、立体画像入力カメラなどとして利用することができる。また、本発明に係る撮像システムは、被写体までの距離測定が可能な撮像システムとして、例えば、携帯電話、デジタルスチルカメラ、自動車、監視システム、3次元計測器、立体画像入力システムなどとして利用することができる。
100、101 撮像装置
110 レンズモジュール部
111 鏡筒
112 レンズアレイ
113 遮光壁
120 回路部
121 基板
122 撮像素子
123 SLSI
124 温度センサ
125 金線
131 システム制御部
132 撮像素子駆動部
133 撮像信号入力部
134 温度センサ信号入力部
135 入出力部
141 温度補償演算部
142 距離演算部
143 温度推定部
144 温度センサ信号信頼度算出部
145 報知部
146、206 記憶部
202 撮像システム
203 システム制御部
204 警告報知部
205 画像認識部
207 通信部
110 レンズモジュール部
111 鏡筒
112 レンズアレイ
113 遮光壁
120 回路部
121 基板
122 撮像素子
123 SLSI
124 温度センサ
125 金線
131 システム制御部
132 撮像素子駆動部
133 撮像信号入力部
134 温度センサ信号入力部
135 入出力部
141 温度補償演算部
142 距離演算部
143 温度推定部
144 温度センサ信号信頼度算出部
145 報知部
146、206 記憶部
202 撮像システム
203 システム制御部
204 警告報知部
205 画像認識部
207 通信部
本発明は、小型かつ高精度な撮像装置に関し、特に複数のレンズを備えた撮像装置に関する。
従来の撮像装置として、複数のレンズが一体に形成されたレンズアレイを備えた撮像装置がある(例えば、特許文献1参照)。以下、特許文献1の撮像装置について、図30および図31を用いて説明する。
図30は、特許文献1の撮像装置901の分解斜視図である。図31は、特許文献1の撮像装置901の撮像ブロックを説明する図である。
図30および図31に示すように、撮像装置901は、絞り部材902、光学ブロックアレイ903、遮光ブロック904、光学フィルタ906、撮像ユニット907、駆動回路908、視差算出回路909、および半導体基板910を備える。
絞り部材902は、光学ブロックアレイ903に入射する光の量を調整する部材であり、複数の開口部902a、902b、902c、および902dを有する。
光学ブロックアレイ903は、いわゆるレンズアレイであり、光軸が互いに略平行である複数の光学ブロック903a、903b、903c、および903dが一体に形成された部材である。各光学ブロック903a、903b、903c、および903dは、絞り部材902が有する各開口部902a、902b、902c、および902dに対応して配置される。
遮光ブロック904は、絞り部材902が有する各開口部から入射した光が、対応する撮像ブロック以外の撮像ブロックに到達することを防止する部材である。
光学フィルタ906は、光学ローパスフィルタ、赤外線カットフィルタなどで構成される部材である。
撮像ユニット907は、CCDセンサ、CMOSセンサなどの固体撮像素子からなり、光学ブロックアレイ903が有する複数の光学ブロック903a、903b、903c、および903dのそれぞれに対応する撮像ブロック907a、907b、907c、および907dを有する。
駆動回路908は、半導体基板910上に設置され、撮像ユニット907を駆動する回路である。
視差算出回路909は、各撮像ブロックに結像した像の視差を算出するための回路である。
半導体基板910は、撮像ユニット907、駆動回路908、視差算出回路909などが設置される基板である。
絞り部材902の開口部902a、902b、902c、および902dを通過した光は、それぞれ光学ブロック903a、903b、903c、および903dによる屈折作用を受けた後、遮光ブロック904内および光学フィルタ906を通過し、撮像ブロック907a、907b、907c、および907dに結像する。
そして、各撮像ブロックから得られる画像間の視差を算出することにより、撮像装置901から被写体までの距離が算出される。例えば、視差算出回路909が、ブロックマッチング演算により、撮像ブロック907aから得られる画像と、撮像ブロック907bから得られる画像とのブロック間の類似度を算出する。そして、視差算出回路909は、算出された類似度に基づいて、視差dを求める。そして、視差算出回路909は、式(1)を用いて、視差dから距離Lを算出する。
ここで、fは光学ブロック903aおよび903bの焦点距離である。また、Bは、光学ブロック903aの光軸と、光学ブロック903bの光軸との間隔である。また、pは、光学ブロック903aと光学ブロック903bとの光軸を結ぶ方向における撮像ユニット907の画素間隔である。
このように、光学ブロックアレイ903を備えた撮像装置901は、被写体までの距離を算出することができる。しかしながら、光学ブロックアレイ903は、温度の変化に伴って、形が変化する。つまり、温度が変化した場合、光軸間の間隔が変化するため、式(1)により算出された距離の誤差が大きくなるという問題がある。
そこで、従来、温度を検知する温度センサを撮像装置に備え、検知した温度を用いて、測距精度を向上させる方法が提案されている(例えば、特許文献2参照)。以下、図30および図31に示した撮像装置901が温度センサを備えているとした場合に、測距精度を向上させる方法について説明する。
撮像装置901が備える温度センサが検知した温度を検知温度Tとすると、式(2)を用いて、光軸間の距離の変化量zが算出される。
ここで、aLは光学ブロックアレイの熱線膨張率であり、aSは撮像ユニットの熱線膨張率である。また、T0は基準温度であり、Bは、基準温度T0における光学ブロック間の光軸の距離である。
このようにして得られる光軸間の距離の変化量zを用いて、撮像装置は、各撮像ブロックにより得られる画像を補正する。
具体的には、式(3)のように、撮像ブロック907aにより得られる画像I1を基準とした場合、撮像装置は、撮像ブロック907b、907cおよび907dにより得られる画像I2、I3およびI4を、式(4)、式(5)および式(6)を用いて補正する。
なお、光学ブロック903aと光学ブロック903bとの光軸、および、光学ブロック903cと光学ブロック903dとの光軸は、互いにx軸方向に距離B離れて配置されている。また、光学ブロック903aと光学ブロック903cとの光軸、および、光学ブロック903bと光学ブロック903dとの光軸は、互いにy軸方向に距離B離れて配置されている。
ここで、pは、撮像ユニット907のx軸方向およびy軸方向における画素間隔である。また、I1(x,y)、I2(x,y)、I3(x,y)、およびI4(x,y)は、座標(x,y)における、補正前および補正後の画像の輝度を示す。
温度変化により、光学ブロック903bは、光学ブロック903aに対して、x軸方向にz/p画素だけ移動する。したがって、撮像装置は、式(4)のように、I2(x,y)を、x軸方向にz/pだけ移動するように補正する。
また、温度変化により、光学ブロック903cは、光学ブロック903aに対して、y軸方向にz/p画素だけ移動する。したがって、撮像装置は、式(5)のように、I3(x,y)を、y軸方向にz/pだけ移動するように補正する。
また、温度変化により、光学ブロック903dは、光学ブロック903aに対して、x軸方向にz/p画素、y軸方向にz/p画素だけ移動する。したがって、撮像装置は、式(6)のように、I4(x,y)を、x軸方向にz/p画素、y軸方向にz/p画素だけ移動するように補正する。
このように補正された画像を用いて、被写体までの距離を算出することにより、撮像装置の測距精度を向上させることができる。
しかしながら、上記従来の撮像装置では、レンズアレイおよび撮像素子の温度を得るために、温度センサを設置する必要がある。また、レンズアレイおよび撮像素子の温度の検知に関して、信頼性を向上させるためには、温度センサを複数設置する必要がある。そのため、温度センサの実装に伴って、撮像装置の部品点数が増大するとともに、製造コストも増大するという問題がある。
そこで、本発明は、温度の測定を要する撮像装置において、温度センサの実装数を削減することを目的とする。
上記目的を達成するために、本発明に係る撮像装置は、被写体を撮像する撮像装置であって、複数のレンズを有するレンズアレイと、前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁と、前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力部と、前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定した前記遮光壁の像の長さを用いて、第1温度を推定する温度推定部とを備えることを特徴とする。
これにより、レンズアレイを有する撮像装置が一般的に備える遮光壁を利用して温度を推定することが可能となる。つまり、本発明に係る撮像装置は、温度を検知するための温度センサを備えることなく、温度を測定することが可能となる。
また、前記撮像装置は、さらに、前記レンズアレイの近傍に配置され、第2温度を検知する温度センサと、前記第1温度と前記第2温度とに基づいて、前記第2温度の信頼度を算出する信頼度算出部とを備えてもよい。具体的には、前記信頼度算出部は、前記第1温度と前記第2温度との差分が大きいほど、前記第2温度の信頼性が低くなるように前記信頼度を算出してもよい。
これにより、遮光壁を利用して推定された温度と温度センサにより検知された温度とを比較することができるので、温度センサが検知した温度の信頼性を評価することが可能となる。その結果、信頼性が低い場合に外部に報知するなどにより、撮像装置の信頼性を向上させることが可能となる。つまり、本来であれば、新たに温度センサを追加して信頼性を向上する必要がある撮像装置において、新たな温度センサを追加することなく、信頼性を向上させることが可能となる。
また、前記撮像装置は、さらに、所定温度から前記第2温度に変化した場合の、前記複数のレンズの光軸間の距離の変化量を推定し、推定された変化量を用いて、前記撮像信号から得られる情報を補正する温度補償演算部と、前記温度補償演算部により補正された情報を用いて、前記複数の撮像領域に撮像された像の視差と前記被写体までの距離とを算出する距離演算部とを備えてもよい。
これにより、温度センサから得られる温度の信頼性を確認したうえで、距離を算出することが可能となる。つまり、信頼性の高い測距装置を提供することが可能となる。
また、前記撮像装置は、さらに、前記信頼度算出部により算出された前記信頼度が所定値を超えることにより、前記第2温度の信頼性が低いと判断された場合に、外部へ報知するための報知データを生成する報知部を備えてもよい。
これにより、測定された温度の信頼度が所定の値より低くなった場合に、その旨を報知することが可能となる。
また、前記撮像装置は、さらに、前記レンズアレイと前記撮像素子との間に、前記遮光壁を取り囲むように設置される筒状の鏡筒を備え、前記鏡筒は、内壁面に少なくとも一対の溝部を有し、前記遮光壁は、側端部を前記鏡筒の溝部に嵌合して設置されるとともに、前記撮像素子の撮像面から前記レンズアレイの方向に伸びる長方形状の板状部材であり、前記板状部材の同一板面から突起した突起部を少なくとも2つ有し、前記温度推定部は、前記突起部間の像の長さを用いて、前記第1温度を推定してもよい。
また、前記撮像装置は、さらに、前記レンズアレイと前記撮像素子との間に、前記遮光壁を取り囲むように設置される筒状の鏡筒を備え、前記鏡筒は、内壁面に少なくとも一対の溝部を有し、前記遮光壁は、前記撮像素子の撮像面から前記レンズアレイの方向に伸びる板状部材であり、側端部が前記鏡筒の溝部に嵌合される第1板部と、前記第1板部から前記撮像面側に突出する第2板部とを有し、前記温度推定部は、前記第2板部の像の長さを用いて、前記第1温度を推定してもよい。
これらにより、遮光壁を安定して設置することが可能となるとともに、撮像面に投影された遮光壁の像の長さの算出精度を向上させることができるので、温度推定の精度を向上させることが可能となる。
また、本発明に係る撮像システムは、前記撮像装置と、前記撮像装置が算出した被写体までの距離と信頼度とに基づいて所定の制御を行うシステム制御部とを備えることを特徴とする。
これにより、撮像システムにおいても、本発明に係る撮像装置と同様の効果が得られる。
また、本発明に係る撮像方法は、複数のレンズを有するレンズアレイと、前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁とを備える撮像装置で用いられる撮像方法であって、前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力ステップと、前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定した前記遮光壁の像の長さを用いて、温度を推定する温度推定ステップとを含むことを特徴とする。
これにより、撮像方法においても、本発明に係る撮像装置と同様の効果が得られる。
なお、本発明は、このような撮像方法に含まれるステップを実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc−Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。
本発明により、温度の測定を要する撮像装置において、温度センサの実装数を削減することが可能となる。
以下、本発明の実施の形態に係る撮像装置について、図面を参照しながら説明する。
(実施の形態1)
本発明の実施の形態1に係る撮像装置は、撮像素子の撮像面に射影した遮光壁の像の温度による変化量を算出し、算出した変化量を用いて温度を推定することができる点に特徴を有する。
本発明の実施の形態1に係る撮像装置は、撮像素子の撮像面に射影した遮光壁の像の温度による変化量を算出し、算出した変化量を用いて温度を推定することができる点に特徴を有する。
以下、本発明の実施の形態1に係る撮像装置について、図面を参照しながら説明する。
図1は、本発明の実施の形態1に係る撮像装置100の構成を示す断面図である。また、図2は、本発明の実施の形態1に係る撮像装置100の、鏡筒111およびレンズアレイ112を取り外した状態における平面図である。
図1および図2に示すように、撮像装置100は、レンズモジュール部110および回路部120を備える。レンズモジュール部110は、鏡筒111、レンズアレイ112、および遮光壁113を有し、回路部120は、基板121、撮像素子122、システムLSI(以下、SLSIと記す)123を有する。以下、各構成部について詳細に説明する。
鏡筒111は、樹脂により一体に成型された直方体筒状の部材であり、レンズアレイ112および撮像素子122の周縁を囲む位置に設置される。また、鏡筒111の内壁面は、光の乱反射を防止するために、つや消しされた黒色である。
レンズアレイ112は、ガラス、透明樹脂などからなり、第1レンズ部112a、第2レンズ部112b、第3レンズ部112c、および第4レンズ部112dを有する。また、レンズアレイ112は、鏡筒111の内壁の上部に、接着剤などを用いて接合される。なお、レンズアレイ112の詳細は、図3を用いて後述する。
遮光壁113は、レンズアレイ112が有する各レンズ部を通過した光が、当該レンズ部に対応する撮像領域と異なる撮像領域に到達しないように、レンズアレイ112と撮像素子122との間の空間を区画する部材である。なお、遮光壁113の詳細は、図4を用いて後述する。
基板121は、撮像素子122、SLSI123などの部品を表面に固定し、その部品間を配線で接続することで電子回路を構成する樹脂製の板状部材である。基板121の上面には、鏡筒111の底面が接着剤などにより接合される。
撮像素子122は、CCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの固体撮像素子であり、レンズアレイ112から所定の距離離れて配置される。また、撮像素子122は、レンズアレイ112の各レンズ部に対応する撮像領域を有する。これらの撮像領域は、対応する各レンズ部の光軸と略垂直となるように配置される。また、撮像素子122は、金線125および基板121を介して、SLSI123と電気的に接続される。なお、撮像素子122の詳細は、図5を用いて後述する。
SLSI123は、撮像素子122を駆動し、駆動した撮像素子122から電気信号を取得する。さらに、取得した電気信号に基づいて、温度を推定する。
図3は、本発明に係る撮像装置が備えるレンズアレイ112の平面図である。
図3に示すように、レンズアレイ112は、碁盤目状に配列された第1レンズ部112a、第2レンズ部112b、第3レンズ部112c、および第4レンズ部112dを有する。ここで、各レンズ部の配列方向の一方をx軸、他方をy軸と設定する。
この4つのレンズ部の光軸は、互いに略平行となるように設置されており、撮像素子122の撮像面と略垂直となるように設置されている。
図4は、本発明に係る撮像装置の遮光壁113の斜視図である。
図4に示すように、遮光壁113は、長方形状の2枚の樹脂板を十字状に組み合わせた形状をした部材であり、レンズアレイ112の底面に接着剤などで固着される。また、遮光壁113の壁面は、光の乱反射を防止するために、つやが消された黒色である。そして、遮光壁113は、樹脂を射出成形することにより、一体に形成される。
また、遮光壁113は、レンズアレイ112と撮像素子122との間に、第1レンズ部112a、第2レンズ部112b、第3レンズ部112c、および第4レンズ部112dを区切るように配置され、それぞれのレンズ部からの射出光が干渉しないように遮光する。
さらに、遮光壁113は、温度の変化に伴って、形状が変化する。一般的に、所定の温度範囲において、遮光壁の大きさは、温度に比例して大きくなる。
なお、遮光壁113は、一体成型ではなく、長方形状の2枚の樹脂板を組合せたものでもよい。また、遮光壁113は、樹脂に限定されるわけではない。つまり、遮光壁113は、光を遮り、かつ、温度変化に伴って変形する素材であればよい。
図5は、本発明に係る撮像装置が備える撮像素子122の平面図である。
図5に示すように、撮像素子122は、レンズアレイ112が有する4つのレンズ部(第1レンズ部112a、第2レンズ部112b、第3レンズ部112c、および第4レンズ部112d)に対応する4つの撮像領域(第1撮像領域122a、第2撮像領域122b、第3撮像領域122c、および第4撮像領域122d)を有する。
これらの各撮像領域には、対応する各レンズ部を通過した被写体からの光のみが結像する。つまり、各レンズ部を通過した光は、当該レンズ部に対応する撮像領域と異なる撮像領域には到達しない。すなわち、第1レンズ部112aからの射出光は、第1撮像領域122aのみに入射する。これは、第1レンズ部112aからの射出光が、第2撮像領域、第3撮像領域、および第4撮像領域に入射するのを、遮光壁113が遮るからである。
さらに、撮像素子122は、遮光壁113の位置に対応する横中央部撮像領域122xおよび縦中央部撮像領域122yを有する。
図6は、撮像素子122に投影された遮光壁113の像を説明するための図である。
図6に示すように、遮光壁113は、撮像素子122の横中央部撮像領域122xおよび縦中央部撮像領域122yに、暗部113qxおよび113qyとして投影される。この暗部113qxおよび113qyの長さを、それぞれ長さQxおよびQyとする。
図7は、本発明の実施の形態1に係る撮像装置100の特徴的な機能構成を示すブロック図である。
図7に示すように、撮像装置100は、撮像信号入力部133、温度推定部143、記憶部146、および入出力部135を備える。
撮像信号入力部133は、ADC(アナログ/デジタル変換器:Analog Digital Converter)などにより構成され、撮像素子122から取得した電気信号をデジタル値に変換した撮像信号を生成する。
温度推定部143は、撮像信号入力部133が生成した撮像信号を用いて、撮像素子122の撮像面に射影された遮光壁113の像の長さを算出することにより、遮光壁113の温度を推定する。
記憶部146は、フラッシュメモリなどからなり、所定温度において、遮光壁113が撮像素子122の撮像面に射影されたときの像の長さと遮光壁113の熱線膨張率とを記憶している。具体的には、温度T0、並びに温度T0における遮光壁113のx軸方向の像の長さQx0およびy軸方向の像の長さQy0並びに遮光壁113の熱線膨張率kqを記憶している。
入出力部135は、温度推定部143が推定した温度を出力する。また、入出力部135は、他の装置からの命令を入力する。
次に、以上のように構成された撮像装置100の動作について説明する。
図8は、本発明の実施の形態1に係る撮像装置100が実行する温度推定に関する処理の流れを示すフローチャートである。
まず、撮像信号入力部133は、撮像素子122から取得した電気信号をデジタル値に変換した撮像信号を生成する(ステップS100)。
次に、温度推定部143は、撮像信号入力部133が生成した撮像信号のうち、図5および図6に示した横中央部撮像領域122xに対応する横中央部撮像信号を切り出す(ステップS101)。
次に、温度推定部143は、撮像信号入力部133が生成した撮像信号のうち、図5および図6に示した縦中央部撮像領域122yに対応する縦中央部撮像信号を切り出す(ステップS102)。
次に、温度推定部143は、切り出された横中央部撮像信号から暗部113qxの長さ、つまり遮光壁113の像のx軸方向の長さQxを検知する(ステップS103)。具体的には、温度推定部143は、横中央部撮像信号を二値化し、二値化された撮像信号を用いて、黒部の一端と他端との座標から、長さQxを検知する。
次に、温度推定部143は、ステップS103と同様に、縦中央部撮像信号から暗部113qyの長さ、つまり遮光壁113の像のy軸方向の長さQyを検知する(ステップS104)。
次に、温度推定部143は、検知された長さQxおよびQyと、記憶部146に記憶された、温度T0における遮光壁113のx軸方向の像の長さQx0およびy軸方向の像の長さQy0並びに遮光壁113の熱線膨張率kqとを用いて、予め定義された関係式に従って推定温度を算出する(ステップS105)。
具体的には、温度推定部143は、遮光壁113の温度による変化を数式化した式(7)および式(8)を用いて、温度TxおよびTyを算出する。そして、式(9)のように、温度推定部143は、温度TxおよびTyの相加平均値を推定温度Teとして算出する。
ここで、kqは遮光壁113の熱線膨張率であり、遮光壁113の材質により定まる値である。
例えば、熱線膨張率kq=7e−5(/℃)、基準温度T0=20(℃)、基準温度T0における遮光壁113のx軸方向の長さQx0=10(mm)とした場合、温度T=30(℃)のとき、遮光壁113のx軸方向の長さの変化量は、Qx−Qx0=7(μm)である。ここで、撮像素子122の画素ピッチが2μmとすると、長さの変化は3.5画素に相当する。したがって、画像からの長さを求めるときの分解能が0.1画素の場合、温度推定部143は、0.29℃(=10℃/(3.5pix/0.1pix))の分解能で推定温度Teを算出できることになる。
以上のように、本実施の形態の撮像装置は、レンズアレイを有する撮像装置が一般的に備える遮光壁の温度変化による形状の変化を利用して温度を推定することが可能となる。つまり、本発明に係る撮像装置は、温度を検知するための温度センサを備えずに、温度を推定することが可能となる。
このようにして推定された推定温度は、複数の画像間の視差を利用して被写体までの距離を測定するときの温度補償に利用することができる。また、推定温度は、単に温度計などに表示する温度として利用することもできる。
なお、本実施の形態において、温度推定部143は、式(9)を用いて温度を推定していたが、温度と遮光壁の像の長さとの対応関係を複数の温度に対して格納した温度推定テーブルを参照することにより、検知した遮光壁の像の長さに対応する温度を推定してもよい。その場合、記憶部146は、温度推定テーブルを記憶することとなる。
また、本実施の形態において、温度推定部143は、式(9)とは異なる式を用いて温度を算出してもよい。例えば、温度推定部143は、遮光壁の長さを変数とする二次以上の多項式に従って、温度を算出してもよい。この場合、記憶部146は、多項式の係数を記憶することとなる。この多項式の係数は、熱線膨張率、基準温度、および基準温度における遮光壁の長さに限定されない。
また、本実施の形態において、温度推定部143は、記憶部146に記憶されたデータを用いて温度を推定していたが、撮像装置100以外の装置に保持されたデータを取得して温度を推定してもよい。
(実施の形態2)
本発明の実施の形態2に係る撮像装置は、実施の形態1と同様の方法により推定した温度と、温度センサから得られる温度とを比較することにより、温度センサから得られる温度の信頼性を評価することができる点に特徴を有する。
本発明の実施の形態2に係る撮像装置は、実施の形態1と同様の方法により推定した温度と、温度センサから得られる温度とを比較することにより、温度センサから得られる温度の信頼性を評価することができる点に特徴を有する。
以下、本発明の実施の形態2に係る撮像装置について、図面を参照しながら説明する。なお、実施の形態1と同じ構成部に関しては、同一符号にて示し、説明を省略する。
図9は、本発明の実施の形態2に係る撮像装置101の構成を示す断面図である。また、図10は、本発明の実施の形態2に係る撮像装置101が備える鏡筒111およびレンズアレイ112を取り外した状態の平面図である。
図9および図10に示すように、実施の形態2の撮像装置101は、温度センサ124を備える点が実施の形態1の撮像装置100と異なっているが、他の構成部は実施の形態1の撮像装置100と同じである。以下、温度センサ124について説明する。
温度センサ124は、サーミスタなどからなり、温度を検知することができる回路である。具体的には、図11のように構成される。
図11は、本発明の実施の形態2に係る撮像装置101が備える温度センサ124の回路図である。
図11に示すように、温度センサ124は、第1固定抵抗124aとサーミスタ124bと第2固定抵抗124cとが順に直列に接続された回路である。そして、第1固定抵抗124aのサーミスタ124bと接続されない端部は、電源124d(例えば3.3V、SLSIとは別電源)に接続される。また、第2固定抵抗124cのサーミスタ124bと接続されない端部は、グランド124e(例えば、0V。SLSI123のグランドと同一電位)に接続される。さらに、第1固定抵抗124aとサーミスタ124bとの接続点124fは、SLSI123に接続される。
図12は、本発明の実施の形態2に係る撮像装置101の特徴的な機能構成を示すブロック図である。
図12に示すように、撮像装置101は、システム制御部131、撮像素子駆動部132、撮像信号入力部133、温度センサ信号入力部134、入出力部135、温度補償演算部141、距離演算部142、温度推定部143、温度センサ信号信頼度算出部144、報知部145、および記憶部146を備える。
システム制御部131は、CPU(中央演算処理装置:Central Processing Unit)、ロジック回路などから構成され、SLSI123の全体を制御する。
撮像素子駆動部132は、ロジック回路などから構成され、システム制御部131の命令により、撮像素子122を駆動する信号を発生し、発生した信号に応じた電圧を撮像素子122に印加する。
撮像信号入力部133は、CDS回路(相関二重サンプリング回路:Correlated Double Sampling Circuit)、AGC(自動利得制御器:Automatic Gain Controller)およびADC(アナログ/デジタル変換器:Analog Digital Converter)が直列に接続された回路からなる。撮像素子122から入力された電気信号は、CDS回路により固定ノイズが除去され、AGCによりゲインが調整され、ADCによりアナログ信号からデジタル信号に変換され、撮像信号I0となる。
温度センサ信号入力部134は、ADCなどからなり、アナログ電圧信号である温度センサ信号をデジタル信号に変換した温度センサ信号Tsを出力する。
入出力部135は、画像データ、距離データ、および報知データを撮像装置101の外部に出力する。
温度補償演算部141は、温度センサ信号Tsを用いて、撮像信号の歪み補正を行う。具体的には、温度補償演算部141は、温度上昇に伴う、各レンズ部の光軸中心の移動距離を算出し、算出された移動距離に基づいて、座標変換テーブルの補正を行う。
距離演算部142は、撮像信号および座標変換テーブルを用いて、距離データおよび第1撮像信号を算出する。ここで、第1撮像信号は、第1レンズ部が第1撮像領域に結像した像に対応する信号である。距離データ算出の原理は、図13および図14を用いて後述する。
温度推定部143は、実施の形態1の撮像装置100と同様に、撮像信号入力部133が出力した撮像信号I0を用いて、撮像素子122の撮像面に射影された遮光壁113の像の長さを算出することにより、遮光壁113の温度を推定する。
温度センサ信号信頼度算出部144は、センサ温度信号と推定温度との差分が大きいほど信頼性が低くなるように、温度センサ信号信頼度を算出する。ここで、温度センサ信号信頼度は、信頼性が低いほど、値が大きくなるように定義する。
報知部145は、温度センサ信号信頼度が設定値以上の場合、報知データの値を1とし、温度センサ信号信頼度が設定値より小さい場合、報知データの値を0とする。つまり、報知部145は、信頼性が低い場合には、値が1である報知データを生成する。
記憶部146は、フラッシュメモリなどからなり、所定温度と、所定温度における遮光壁113の像の長さを記憶する。具体的には、温度T0と、温度T0における、遮光壁113のx軸方向の長さQx0とy軸方向の長さQy0と熱線膨張率kqとを記憶する。
なお、本実施の形態では、報知部145は、報知データを生成するのみであるが、作成した報知データに基づいて、報知部145は、ユーザ、管理会社などに報知する手段を備えてもよい。また、報知部145はLED(Light Emitting Diode)を備え、報知データの値が1の場合に、LEDを点灯させてもよい。
次に、距離演算部142が行う距離データ算出の原理について、図13および図14を用いて説明する。なお、説明の便宜のため、図13および図14において、第1レンズ部112aおよび第2レンズ部112bのみを図示し、第3レンズ部112cおよび第4レンズ部112dについては、図示を省略する。
図13は、本発明の実施の形態2に係る撮像装置101において、無限遠にある物体像の結像位置を説明するための図である。
無限遠にある物体10からの光の第1レンズ部112aへの代表的な入射光L1は、第2レンズ部112bへの代表的な入射光L2と平行である。(ここで、説明の便宜のため、物体10は2つ描画されている。しかし、実際は、物体10は単一の物体である。つまり、無限遠にある物体10からの入射光L1と入射光L2とが平行であることを明示するために、無限遠にある物体10を2つ描画している。)このため、第1レンズ部112aの光軸と第2レンズ部112bの光軸との間の距離は、撮像素子122上の物体像11aが結像される位置と物体像11bが結像される位置との間の距離と等しい。すなわち、光軸間の距離と結像位置間の距離との差分である視差は発生しない。
図14は、本発明の実施の形態2に係る撮像装置101において、有限距離の位置にある物体像の結像位置を説明するための図である。
有限距離の位置にある物体12からの光の第1レンズ部112aへの代表的な入射光L1は、第2レンズ部112bへの代表的な入射光L2と平行でない。したがって、第1レンズ部112aの光軸と第2レンズ部112bの光軸との間の距離に比べて、撮像素子122上の物体像13aが結像される位置と物体像13bが結像される位置との間の距離は長い。すなわち、視差が発生する。
ここで、第1レンズ部112aの主点から物体像12までの距離(被写体距離)をA、第1レンズ部112aと第2レンズ部112bとの光軸間距離をD、第1レンズ部112aおよび第2レンズ部112bの焦点距離をfとする。その場合、図14の直角を挟む2辺の長さがA、Dの直角三角形と、直角を挟む2辺の長さがf、Δの直角三角形とが相似であることにより、視差値Δは、式(10)のように表される。
その他のレンズ部についても同様の関係が成立する。このように、被写体距離に応じて4つのレンズ部112a、112b、112c、112dのそれぞれが形成する4つの物体像の相対的位置が変化する。例えば、被写体距離Aが小さくなると、視差値Δが大きくなる。そこで、式(11)のように、式(10)を被写体距離Aについて解くことにより、視差値Δから被写体距離Aを求めることができる。
次に、温度変化に伴う、各レンズ部の光軸中心の移動距離について、図3を用いて説明する。
レンズアレイ112の温度が上昇すると、レンズアレイ112が膨張する。つまり、図3の矢印のように、温度上昇に伴い、各レンズ部の光軸中心がレンズ外側に移動する。ここで、温度上昇に比例して、レンズアレイが等方的に膨張すると仮定すると、光軸中心の間隔の変化量は、式(12)および(13)により算出される。
ここで、ddxは温度上昇に伴う光軸間の間隔のx軸方向の変化量であり、単位は撮像素子122の受光素子の間隔である。また、ddyは温度上昇に伴う光軸間の間隔のy軸方向の変化量であり、単位は撮像素子122の受光素子の間隔である。また、Dxは基準温度T0におけるx軸方向のレンズ間の光軸の間隔であり、Dyは基準温度T0におけるy軸方向のレンズ間の光軸の間隔である。また、aLはレンズアレイ112の熱線膨張率であり、aSは撮像素子122の熱線膨張率である。また、Tは温度であり、T0は基準温度である。また、pは撮像素子122の受光素子の間隔である。
各レンズ部の光軸中心が等方的に膨張すると仮定すると、図3に示すように、各レンズ部の光軸中心は、温度上昇に伴うレンズ間の光軸間の間隔の変化の半分(x軸方向にp*ddx/2、y軸方向にp*ddy/2)だけ移動する。すなわち、第1レンズ部112aの光軸中心は、x軸方向に−p*ddx/2、y軸方向に−p*ddy/2だけ移動する。また、第2レンズ部112bの光軸中心は、x軸方向に+p*ddx/2、y軸方向に−p*ddy/2だけ移動する。また、第3レンズ部112cの光軸中心は、x軸方向に−p*ddx/2、y軸方向に+p*ddy/2だけ移動する。また、第4レンズ部112dの光軸中心は、x軸方向に+p*ddx/2、y軸方向に+p*ddy/2だけ移動する。
したがって、検知した温度Tから求まる変化量ddxおよびddyを用いて、撮像装置は、レンズアレイ112の各レンズの光軸の移動距離を推定することができる。そして、推定された光軸の移動距離を用いて、撮像装置は、各種の補償を行うことができる。その結果、撮像装置は、温度変化に伴うレンズアレイ112の膨張の影響を低減し、正確な視差を求めることができる。つまり、撮像装置は、正確な視差から正確な距離を求めることができる。
次に、以上のように構成された撮像装置101の動作について説明する。
図15は、本発明の実施の形態2に係る撮像装置101の動作を示すフローチャートである。
例えば、上位CPU(図示せず)が、入出力部135を介して、撮像装置101に動作の開始を命令することにより、撮像装置101は、以下の動作を開始する。
まず、撮像信号入力部133は、CDS回路、AGC、ADCにより、撮像素子122から得られる電気信号から、撮像信号I0を生成する(ステップS1020)。ここで、撮像信号入力部133は、x軸方向にH0画素、y軸方向にV0画素を有する撮像信号I0(x,y)を、I0(0,0)、I0(1,0)、I0(2,0)、・・・、I0(H0−1,V0−1)の順に出力する。
次に、温度センサ信号入力部134は、アナログ電圧信号である温度センサ信号をデジタル値に変換し、変換した信号を温度センサ信号Tsとして出力する(ステップS1030)。
次に、温度補償演算部141は、温度センサ信号Tsを用いて、撮像信号の歪み補正を行う(ステップS1100)。具体的には、図3に示すように、温度上昇に伴って、各レンズ部の光軸中心が移動する距離(p*ddx/2,p*ddy/2)に基づいて、座標変換テーブルを補正する。
以下に、図16を用いて、温度補償演算部141が、ステップS1100において行う処理の具体例を説明する。
図16は、本発明の実施の形態2に係る撮像装置101の撮像信号の切り出し位置を説明するための図である。
温度補償演算部141は、第1撮像信号I1(x,y)用の変換テーブルtx1(x,y)およびty1(x,y)を、式(14)、(15)および(16)を用いて作成する。ここで、図16に示すように、(x01,y01)は、撮像信号I0における歪みがないときの原点座標である。また、(xc1,yc1)は、撮像信号I1(x,y)における基準温度T0での光軸中心座標である。また、(−ddx/2,−ddy/2)は温度上昇による光軸中心の移動量であり、kd2およびkd4は歪曲係数である。
また、温度補償演算部141は、第2撮像信号I2(x,y)用の変換テーブルtx2(x,y)およびty2(x,y)を、式(17)、(18)および(19)を用いて作成する。ここで、図16に示すように、(x02,y02)は、撮像信号I0における歪みがないときの原点座標である。また、(xc2,yc2)は撮像信号I2(x,y)における基準温度T0での光軸中心座標である。また、(+ddx/2,−ddy/2)は温度上昇による光軸中心の移動量であり、kd2およびkd4は歪曲係数である。
また、温度補償演算部141は、第3撮像信号I3(x,y)用の変換テーブルtx3(x,y)およびty3(x,y)を、式(20)、(21)および(22)を用いて作成する。ここで、図16に示すように、(x03,y03)は撮像信号I0における歪みがないときの原点座標である。また、(xc3,yc3)は、撮像信号I3(x,y)における基準温度T0での光軸中心座標である。また、(−ddx/2,+ddy/2)は温度上昇による光軸中心の移動量であり、kd2およびkd4は歪曲係数である。
また、温度補償演算部141は、第4撮像信号I4(x,y)用の変換テーブルtx4(x,y)およびty4(x,y)を、式(23)、(24)および(25)を用いて作成する。ここで、図16に示すように、(x04,y04)は撮像信号I0における歪みがないときの原点座標である。また、(xc4,yc4)は、撮像信号I4(x,y)I4(x,y)における基準温度T0での光軸中心座標である。また、(+ddx/2,+ddy/2)は温度上昇による光軸中心の移動量であり、kd2およびkd4は歪曲係数である。
なお、上記の座標変換テーブルの作成において、歪みがない場合は、式(26)、(27)、(28)および(29)のように、撮像信号I0(x,y)から画像を切り出した後に、式(30)、(31)、(32)および(33)のように、切り出した画像を平行移動することに相当する。
以下、図15のフローチャートの説明の続きを行う。
次に、距離演算部142は、撮像信号I0、並びに座標変換テーブルtx1(x,y)、ty1(x,y)、tx2(x,y)、ty2(x,y)、tx3(x,y)、ty3(x,y)、tx4(x,y)、およびty4(x,y)を用いて、距離データDISおよび第1撮像信号I1を生成する(ステップS1200)。なお、本処理の詳細は、図17を用いて後述する。
次に、温度推定部143は、撮像信号I0を用いて、推定温度Teを推定する(ステップS1300)。なお、本処理の詳細は、図21を用いて後述する。
次に、温度センサ信号信頼度算出部144は、センサ温度信号Tsと推定温度Teとの差分が大きいほどセンサ温度信号Tsの信頼性が低くなるように、温度センサ信号信頼度Tsrを算出する(ステップS1400)。具体的には、温度センサ信号信頼度算出部144は、式(34)を用いて、温度センサ信号信頼度Tsrを算出する。
ここで、Te0およびTs0は、オフセット値である。また、式(34)のように、温度センサ信号信頼度Tsrを定義するため、温度センサ信号信頼度Tsrは、値が小さいほど信頼性が高いことを示し、値が大きいほど信頼性が低いことを示す。
次に、報知部145は、温度センサ信号信頼度Tsrが設定値Tsr0以上の場合、報知データDDEの値を1とし、温度センサ信号信頼度Tsrが設定値Tsr0より小さい場合、報知データDDEの値を0とする。具体的には、式(35)を用いて、報知データDDEを生成する(ステップS1500)。つまり、報知データDDEが1の場合は、温度センサ信号Tsの信頼性が低いことを示す。一方、報知データDDEが0の場合は、温度センサ信号Tsの信頼性が高いことを示す。
次に、入出力部135は、画像データ、距離データ、信頼度データ、報知データなどを撮像装置101の外部に出力する(ステップS1910)。ここで、画像データとは、撮像信号I0、或いは第1撮像信号I1のことである。また、距離データとは、距離演算部142が算出した距離データDISのことである。また、信頼度データとは、温度センサ信号信頼度算出部144が算出した温度センサ信号信頼度Tsrのことである。また、報知データは、報知部145が生成した報知データDDEのことである。
次に、システム制御部131は、処理を終了するか否かを判断する(ステップS1920)。例えば、システム制御部131は、入出力部135を介して、上位CPU(図示せず)と通信し、動作を終了するか否かの命令を要求する。そして、上位CPUから終了命令を受け取った場合に、システム制御部131は、処理を終了すると判断する。
ここで、処理を終了しないと判断した場合(ステップS1920のN)、システム制御部131は、再度ステップS1020からの処理を繰り返す。一方、処理を終了すると判断した場合(ステップS1920のY)、システム制御部131は処理を終了する。
次に、図15に示したステップS1200の詳細な処理の流れを、図17を用いて説明する。
図17は、本発明の実施の形態2に係る撮像装置101が備える距離演算部142の動作を示すフローチャートである。
まず、距離演算部142は、撮像信号I0から、各レンズ部により結像された被写体像の画像を切り出す(ステップS1220)。この画像の切り出し処理では、歪曲補正処理も同時に行われる。つまり、距離演算部142は、第1レンズ部112aに対応する第1撮像信号I1(x,y)、第2レンズ部112bに対応する第2撮像信号I2(x,y)、第3レンズ部112cに対応する第3撮像信号I3(x,y)、および第4レンズ部112dに対応する第4撮像信号II4(x,y)を作成する。
具体的には、距離演算部142は、式(36)のように、座標変換テーブルtx1(x,y)およびty1(x,y)に基づいて、撮像信号I0(x,y)から第1撮像信号I1(x,y)を作成する。すなわち、座標 (tx1(x,y),ty1(x,y))の撮像信号I0を第1撮像信号I1(x,y)とする。
なお、座標(tx1(x,y),ty1(x,y))は、整数でなくてもよい。その場合、座標変換テーブルtx1(x,y)の整数部分をtx1i(x,y)とし、小数部分をtx1f(x,y)とすると、式(37)のように、4画素を利用して、第1撮像信号I1(x,y)を作成する。
同様に、距離演算部142は、式(38)のように、座標変換テーブルtx2(x,y)およびty2(x,y)に基づいて、撮像信号I0(x,y)から第2撮像信号I2(x,y)を作成する。
さらに、同様に、距離演算部142は、式(39)のように、座標変換テーブルtx3(x,y)およびty3(x,y)に基づいて、撮像信号I0(x,y)から第3撮像信号I3(x,y)を作成する。
さらに、同様に、距離演算部142は、式(40)のように、座標変換テーブルtx4(x,y)およびty4(x,y)に基づいて、撮像信号I0(x,y)から第4撮像信号I4(x,y)を作成する。
なお、歪みがなく、温度によるレンズの膨張がない場合、図16に示すように、第1撮像信号I1(x,y)は、撮像信号I0を原点(x01,y01)から、x軸方向にH1画素、y軸方向にV1画素だけ切り出した領域の画像となる。また、第2撮像信号I2(x,y)は、撮像信号I0を原点(x02,y02)から、x軸方向にH1画素、y軸方向にV1画素だけ切り出した領域の画像となる。また、第3撮像信号I3(x,y)は、撮像信号I0を原点(x03,y03)から、x軸方向にH1画素、y軸方向にV1画素だけ切り出した領域の画像となる。また、第4撮像信号I4(x,y)は、撮像信号I0を原点(x04,y04)から、x軸方向にH1画素、y軸方向にV1画素だけ切り出した領域の画像となる。
次に、距離演算部142は、撮像信号をブロックに分割する(ステップS1230)。図18は、本発明の実施の形態2に係る撮像装置101におけるブロック分割を説明する図である。図18において、第1撮像信号I1は、x軸方向にHB画素、y軸方向にVB画素を有する長方形状のブロックに分割され、x軸方向にNh個、y軸方向にNv個のブロックを持つ。
次に、距離演算部142は、ブロックを選択する(ステップS1240)。ステップS1230の処理を実行した後、初めてこのステップS1240の処理を実行するときは、距離演算部142は、(0,0)で示されるブロックを選択する。そして、次回以後、ステップS1240の処理が実行されるときは、距離演算部142は、右側に順にずらしたブロックを選択する。
なお、距離演算部142が、図18に示される右端のブロック((Nh−1,0)、(Nh−1,1)、・・・で示されるブロック)を選択した場合、次回の処理において、距離演算部142は、1つ下の行の左端のブロック((0,1)、(0,2)、・・・で示されるブロック)を選択する。
すなわち、ステップS1230の処理を実行後、初めてこのステップS1240の処理を実行するときを0番目とすると、距離演算部142は、i番目において(i%Nh,int(i/Nh))で示されるブロックを選択する。ここで、i%Nhは、iをNhで除算したときの剰余であり、int(i/Nh)は、iをNhで除算したときの商の整数部である。以後、このようにして選択されたブロックを選択ブロックB(ih,iv)と呼ぶ。
次に、距離演算部142は、視差を算出する(ステップS1250)。
以下、ステップS1250において、距離演算部142が行う視差の算出の詳細を説明する。
距離演算部142は、第1撮像信号I1と第2撮像信号I2との視差および視差信頼度を算出する。まず、距離演算部142は、第1撮像信号I1と第2撮像信号I2との視差評価値R12(kx)を算出する。ここで、kxは、画像をどれだけずらすかを示すずらし量であり、kx=0、1、2、・・・、SBのように変化させる。
図19は、本発明の実施の形態2に係る撮像装置101において、第1撮像信号と第2撮像信号とを利用したときの視差演算における視差評価値の演算領域を説明する図である。
図19において、I1で示される領域は、第1撮像信号I1の選択ブロックB(ih,iv)で選択された領域を示す。また、I2で示される領域は、選択ブロックの座標からx軸方向にkxだけずれた領域の第2撮像信号I2である。距離演算部142は、ずらし量kx=0からSBについて、式(41)に示される絶対値差分総和(SAD:Sum of Absolute Differences)を演算し、視差評価値R12(kx)を算出する。すなわち、距離演算部142は、第1撮像信号I1を基準として、視差評価値R12(kx)を算出する。
この視差評価値R12(kx)は、選択ブロックB(ih,iv)の第1撮像信号I1と、選択ブロックからx軸方向にkxだけずれた領域における第2撮像信号I2とが、どれだけ相関があるかを示す。そして、視差評価値R12(kx)が小さいほど相関が大きい(よく似ている)ことを示す。
図20は、本発明の実施の形態2に係る撮像装置101の第1撮像信号I1と第2撮像信号I2を利用したときの視差演算におけるずらし量と視差評価値との関係を説明する図である。
図20に示すように、視差評価値R12(kx)は、ずらし量kxの値によって変化し、ずらし量kx=Δのときに極小値となる。つまり、選択ブロックB(ih,iv)の第1撮像信号I1と、選択ブロックからx軸方向にΔだけずれた領域における第2撮像信号I2とが、最も相関が高いことを示す。したがって、選択ブロックB(ih,iv)における第1撮像信号I1と第2撮像信号I2との視差が、Δであることが分かる。
そこで、距離演算部142は、式(42)のように、この視差Δを用いて、選択ブロックB(ih,iv)における第1撮像信号I1と第2撮像信号I2との視差値Δ12(ih,iv)を算出する。そして、距離演算部142は、式(43)のように、視差評価値R12(Δ)を用いて、選択ブロックB(ih,iv)における第1撮像信号I1と第2撮像信号I2との視差信頼度C12(ih,iv)を算出する。
次に、距離演算部142は、第1撮像信号I1と第3撮像信号I3との視差および視差信頼度も同様に算出する。ただし、ずらす方向はy軸方向とし、ずらし量はkyとする。
距離演算部142は、式(44)のように、選択ブロックB(ih,iv)における、第1撮像信号I1と第3撮像信号I3との視差評価値R13(ky)を算出する。すなわち、距離演算部142は、第1撮像信号I1を基準として、視差評価値R13(ky)を算出する。
そして、距離演算部142は、最小値を与えるずらし量、すなわち視差Δを用いて、式(45)のように、選択ブロックB(ih,iv)における第1撮像信号I1と第3撮像信号I3との視差値Δ13(ih,iv)を算出する。また、距離演算部142は、式(46)のように、視差評価値R13(Δ)を用いて、選択ブロックB(ih,iv)における第1撮像信号I1と第3撮像信号I3との信頼度C13(ih,iv)を算出する。
次に、距離演算部142は、第1撮像信号I1と第4撮像信号I4との視差および視差信頼度も同様に算出する。ただし、ずらす方向は斜め方向(第1レンズ部112aの光軸と第4レンズ部112dの光軸とを結ぶ方向)とし、ずらし量はx軸方向にkx、y軸方向にkx*Dy/Dxとする。
距離演算部142は、式(47)のように、選択ブロックB(ih,iv)における、第1撮像信号I1と第4撮像信号I4との視差評価値R14(kx)を算出する。すなわち、距離演算部142は、第1撮像信号I1を基準として、視差評価値R14(kx)を算出する。
そして、距離演算部142は、最小値を与えるずらし量、すなわち視差Δを用いて、式(48)のように、選択ブロックB(ih,iv)における第1撮像信号I1と第4撮像信号I4との視差値Δ14(ih,iv)を算出する。また、距離演算部142は、式(49)のように、視差評価値R14(Δ)を用いて、選択ブロックB(ih,iv)における第1撮像信号I1と第4撮像信号I4との信頼度C14(ih,iv)を算出する。
なお、式(47)において座標(x+kx,y+kx*Dy/Dx)が小数点以下の数字を有する座標となる場合、撮像信号I4は、周辺画素から線形補間などを用いて算出する。なお、図3に示すように、DxおよびDyは、第1レンズ部112aと第4レンズ部112dにおけるx軸方向の間隔、およびy軸方向の間隔である。
そして、距離演算部142は、上記3つの視差信頼度を比較し、最も信頼度の高い視差値をこのブロックにおける視差値とする。すなわち、距離演算部142は、式(50)のように、3つの視差信頼度C12(ih,iv)、C13(ih,iv)、およびC14(ih,iv)を比較し、C12(ih,iv)が最も小さいときΔ12(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C13(ih,iv)が最も小さいとき Δ13(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C14(ih,iv)が最も小さいときΔ14(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とする。
なお、信頼度(C12、C13、およびC14)として絶対値差分総和(式(43)、(46)、(49))を用いたが、正規化相関係数を用いてもよい。この場合、最も大きい信頼度を与える視差値を選択する。ここで、視差値をx軸方向に統一するため、Δ13(ih,iv)を採用する場合、レンズ部の間隔の比であるDx/DyをΔ13(ih,iv)に乗ずる。
以下、図17のフローチャートの説明の続きを行う。
次に、距離演算部142は、視差から距離を算出する(ステップS1260)。式(10)を距離Aについて解くと式(11)のように表されるため、ブロックB(ih,iv)に含まれる領域の距離DIS(x,y)は、式(51)にように示される。
ここで、fは4つのレンズ部112a、112b、112c、および112dの焦点距離であり、pは撮像素子122の受光素子の間隔である。なお、視差値Δは、単位が画素である。したがって、式(51)において、視差値Δが焦点距離fなどと同一の単位系となるように、受光素子の間隔pが乗じられている。
次に、距離演算部142は、距離演算を終了するか否かを判定する(ステップS1270)。ここで、距離演算を終了すると判定した場合(全てのブロックが選択された場合、つまり、選択ブロックがB(Nh−1,Nv−1)の場合)(ステップS1270のY)、図15のステップS1300の処理を実行する。一方、距離演算を終了すると判定しない場合(全てのブロックが選択されていない場合、つまり、選択ブロックがB(Nh−1,Nv−1)でない場合)(ステップS1270のN)、再度ステップS1240からの処理を実行する。
次に、図15に示したステップS1300の詳細な処理の流れを、図21を用いて説明する。
図21は、本発明の実施の形態2に係る撮像装置101の温度推定の動作を示すフローチャートである。
まず、温度推定部143は、撮像信号I0から横中央部撮像信号を切り出す(ステップS1320)。
図22は、本発明の実施の形態2に係る撮像装置101の撮像信号のうち遮光壁に対応した撮像信号を切り出す位置と暗部とを説明するための図である。
図22に示すように、温度推定部143は、遮光壁113に対応する暗部113qxおよび113qyを囲むように、横中央部撮像信号I5x、縦中央部撮像信号I5yを切り出す。具体的には、温度推定部143は、原点(0,V0/2−W5/2)から、x軸方向にH0画素、y軸方向にW5画素だけ切り出した領域の撮像信号を、横中央部撮像信号I5xとする。
次に、温度推定部143は、撮像信号I0から縦中央部撮像信号を切り出す(ステップS1330)。具体的には、図22に示すように、温度推定部143は、原点(H0/2−W5/2,0)から、x軸方向にW5画素、y軸方向にV0画素だけ切り出した領域の撮像信号を、縦中央部撮像信号I5yとする。
次に、温度推定部143は、切り出された横中央部撮像信号I5xから、横方向の暗部113qxの長さQxを検知する(ステップS1340)。具体的には、温度推定部143は、横中央部撮像信号I5xを二値化し、二値化された撮像信号を用いて、黒部の左端から右端までの長さを検知する。
次に、温度推定部143は、切り出された縦中央部撮像信号I5yから、縦方向の暗部113qyの長さQyを検知する(ステップS1350)。具体的には、温度推定部143は、縦中央部撮像信号I5yを二値化し、二値化された撮像信号を用いて、黒部の上端から下端までの長さを検知する。
次に、温度推定部143は、推定温度Teを算出する(ステップS1360)。具体的には、温度推定部143は、ステップS1340およびステップS1350において検知された横方向の暗部113qxの長さQxおよび縦方向の暗部113qyの長さQyを、式(9)に代入することにより、推定温度Teを算出する。
ここで、基準温度T0、遮光壁113の熱線膨張率kq、基準温度T0における横方向の暗部113qxの長さQx0、基準温度T0における縦方向の暗部113qyの長さQy0は、記憶部146に記憶された値が利用される。
以上、本発明の実施の形態2に係る撮像装置101は、温度推定部143が遮光壁113の像の長さに基づいて推定した推定温度を利用して、温度センサ124から得られる温度の信頼性を数値化した温度センサ信号信頼度を得ることが可能となる。すなわち、報知部145が、得られた温度センサ信号信頼度に基づいて、信頼性が低いことを報知するなどにより、ユーザは、不具合などが発生した状態での撮像装置の使用を回避することが可能となる。
具体的には、ユーザは、温度センサ124の経年劣化、温度センサ124の故障、温度センサ124とSLSI123の配線の断線、SLSI123内部での温度センサ信号ラインの断線、温度センサ信号入力部134のADCの故障によるビット落ち、他部品の故障による負荷の増大による温度センサ信号入力部134のADCへのリファレンス電圧の低下、温度センサ124からSLSI123への配線へのノイズの混入、SLSI123内部での温度センサ信号ラインへのノイズの混入などが発生した状態での撮像装置の使用を回避することが可能となる。
すなわち、本実施の形態の撮像装置によれば、撮像装置の信頼性を向上させることが可能となる。
このように、本来であれば、新たに温度センサを追加することにより信頼性を向上させる必要がある撮像装置において、新たな温度センサを追加することなく、信頼性を向上させることが可能となる。また、本実施の形態に係る撮像装置は、温度センサを新たに追加する必要がないので、製造コストを抑制すること、および撮像装置を小型化することが可能となる。
また、撮像装置101は、信頼性が評価された温度センサ124の温度を利用して温度補償し、被写体までの距離を算出することができる。つまり、温度センサを新たに追加することなく、信頼性の高い距離情報を提供することが可能となる。また、リファレンス電圧の変動により誤差が発生する可能性がある温度センサ信号Tsと、リファレンス電圧が変動し画像濃淡が変動しても影響されない暗部の長さから求められる推定温度Teとを用いてセンサ温度信号信頼度Tsrを作成するため、本実施の形態の撮像装置によれば、より外部からのノイズに強い、つまり堅牢な撮像装置を提供することが可能となる。
なお、本実施の形態において、温度補償演算部141は、座標変換テーブルtx1、ty1、tx2、ty2、tx3、ty3、tx4、ty4を算出することにより、温度補償を行っていたが、異なる温度補償を行ってもよい。例えば、温度補償演算部141は、距離演算部142が算出した視差に対して、式(52)のように、レンズアレイ112の各レンズ部の光軸の間隔の変化分を減じて、温度補償を行ってもよい。
あるいは、温度補償演算部141は、距離演算部142が算出した距離DIS(x,y)に対して、式(53)のように補正することで、温度補償を行ってもよい。
また、本実施の形態において、温度センサ信号信頼度算出部144は、温度センサ信号信頼度Tsrを、2つの温度(センサ温度信号Tsおよび推定温度Te)の差分に基づいて算出しているが、2つの温度の比に基づいて算出してもよい。つまり、2つの温度の一致度が低いほど、温度センサ信号Tsの信頼性が低くなるように、温度センサ信号信頼度Tsrが算出されればよい。このように、2つの温度の比に基づいて温度センサ信号信頼度を算出する場合、報知部145は、温度センサ信号信頼度が1を含む所定の値の範囲内にあるときに報知データDDEを0とする。一方、温度センサ信号信頼度が1を含む所定の値の範囲外にあるときに、報知部145は報知データDDEを1とする。
(実施の形態3)
本発明の実施の形態3に係る撮像システムは、実施の形態2に係る撮像装置101を利用したものである。
本発明の実施の形態3に係る撮像システムは、実施の形態2に係る撮像装置101を利用したものである。
以下、本発明の実施の形態3に係る撮像システム202について、図面を参照しながら説明する。
図23は、本発明の実施の形態3に係る撮像システム202の構成を示すブロック図である。
図23に示すように、撮像システム202は、実施の形態2の撮像装置101、システム制御部203、警告報知部204、画像認識部205、記憶部206、および通信部207を備える。
システム制御部203は、CPUなどからなり、撮像システム202が有する各機能を制御する。
撮像装置101は、実施の形態2の撮像装置であり、システム制御部203によって制御される。また、撮像装置101は、画像データ(例えば、第1撮像信号I1)、距離データDIS、および温度センサ信号信頼度Tsrを出力する。
警告報知部204は、赤色のLED、駆動回路などから構成される。温度センサ信号信頼度Tsrにより信頼性が高いと判断されるとき(例えば、温度センサ信号信頼度Tsrが設定値Tsr0未満のとき)、システム制御部203は、警告報知部204のLEDを消灯する。一方、温度センサ信号信頼度Tsrにより信頼性が低いと判断されるとき(例えば、温度センサ信号信頼度Tsrが設定値Tsr0以上のとき)、システム制御部203は、警告報知部204のLEDを点灯する。
これにより、ユーザは、撮像装置101の温度センサ信号の信頼度を知ることができる。その結果、ユーザは、使用中止、製造会社への通報などの対応を図ることができるので、撮像システム202の不具合による被害を抑制することが可能となる。
画像認識部205は、CPUなどから構成される。システム制御部203は、温度センサ信号信頼度Tsrに基づき、画像認識部205に、画像認識方法を命令する。温度センサ信号信頼度Tsrにより信頼性が高いと判断されるとき(例えば、温度センサ信号信頼度Tsrが設定値Tsr0未満のとき)、画像認識部205は、画像データI1と距離DISとを利用した画像認識を行う。一方、温度センサ信号信頼度Tsrにより信頼性が低いと判断されるとき(例えば、温度センサ信号信頼度Tsrが設定値Tsr0以上のとき)、画像認識部205は、距離データDISを利用しないで、画像データI1のみを利用した画像認識を行う。
このように、温度センサ信号信頼度Tsrにより信頼性が低いと判断されるときは、画像認識部205は、例えば、距離DISを利用せずに画像認識を行うため、温度センサの不具合による影響を回避することが可能となる。
記憶部206は、フラッシュROMなどの不揮発性メモリなどから構成される。システム制御部203は、温度センサ信号信頼度Tsrにより信頼性が低いと判断されるとき(例えば、温度センサ信号信頼度Tsrが設定値Tsr0以上のとき)、時刻および温度センサ信号信頼度Tsrを記憶部206に書き込む。
これにより、書き込まれた温度センサ信号信頼度Tsrの時系列情報を調べることができるので、温度センサの交換時期などを適切に判断することが可能となる。
通信部207は、無線通信機およびアンテナなどから構成される。システム制御部203は、温度センサ信号信頼度Tsrにより信頼性が低いと判断されるとき(例えば、温度センサ信号信頼度Tsrが設定値Tsr0以上のとき)、通信部207を介して、温度センサの不具合を、例えば管理会社などに報知する。
これにより、例えば、管理会社は、温度センサの不具合を検知し、管理要員の派遣、ユーザへの通報、部品の手配などを行うことができる。したがって、撮像システム202の不具合を早期に解消することが可能となる。
以上、本発明の実施の形態3に係る撮像システム202によれば、撮像装置101から得られる温度センサ信号信頼度に基づいて、画像処理などの処理方法を変更することが可能となる。つまり、撮像システム202は、温度センサの不具合による影響を回避することが可能となる。
(変形例)
本発明の変形例に係る撮像装置は、上記実施の形態に係る撮像装置の遮光壁および鏡筒の形状を変更することにより、遮光壁の像の長さの検知精度を向上させるものである。
本発明の変形例に係る撮像装置は、上記実施の形態に係る撮像装置の遮光壁および鏡筒の形状を変更することにより、遮光壁の像の長さの検知精度を向上させるものである。
以下、本発明の変形例に係る鏡筒111および遮光壁113について、図面を参照しながら説明する。
図24は、本発明の変形例に係る鏡筒111の斜視図である。また、図25A及び図25Bは、本発明の変形例に係る遮光壁113の斜視図である。また、図26A及び図26Bは、本発明の変形例に係る遮光壁113の像を説明するための図である。
図24に示すように、本変形例に係る鏡筒111は、遮光壁113をはめ合わせることが可能な4つの溝部111mを有する。この溝部111mに、図25A及び図25Bに示す遮光壁113が挿入されることにより、遮光壁113は固定される。
図25Aは、変形例に係る遮光壁113の一例を示す。図25Aに示すように、遮光壁113は、下部に突起部113tを有する。
なお、本変形例に係る遮光壁113は、板面の両側に突起部113tを有しているが、片側だけに突起部113tを有する遮光壁113であってもよい。
図26Aは、図25Aに示す遮光壁113の像を示す。図26Aに示すように、温度推定部は、遮光壁113の突起部113t間の像の長さQxおよびQyを用いて、温度を推定する。
なお、樽型の歪曲を持つレンズは、画像の斜め端は歪み補正によって不要となる。つまり、突起部の像の一部が4つの撮像信号(第1撮像信号122a、第2撮像信号122b、第3撮像信号122c、および第4撮像信号122d)内に存在しているが、撮像信号の不要な部分が利用されていることになる。
また、遮光壁113は、図25Bのような形状であってもよい。
図25Bは、変形例に係る遮光壁113の一例を示す。図25Bに示すように、遮光壁113は、上部に第1板部113a、下部に第2板部113bを有する。なお、第1板部113aと第2板部113bは、一体で成型されている。
図26Bは、図25Bに示す遮光壁113の像を示す。図26Bに示すように、温度推定部は、遮光壁113の第2板部113bの像の長さQxおよびQyを用いて、温度を推定する。
このように、遮光壁113が鏡筒111の溝部111mを用いて固定されることにより、遮光壁113を安定して保持することができる。また、遮光壁113と鏡筒111とが、同一の素材であれば、温度変化による変形も同一となる。つまり、レンズアレイに接着されるよりも、温度を正確に推定することが可能となる。
また、遮光壁113は、突起部113tまたは第2板部113aを有するので、暗部の長さの検知が容易となり、暗部の長さの検知精度の向上も可能となる。つまり、温度推定の精度が向上する。
以上、本発明に係る撮像装置および撮像システムについて、実施の形態および変形例に基づいて説明したが、本発明は上記実施の形態および変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態および変形例に施したものや、異なる実施の形態および変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、本発明に係る撮像装置において、レンズアレイ112は、4つのレンズ部(第1レンズ部112a、第2レンズ部112b、第3レンズ部112c、および第4レンズ部112d)を有していたが、レンズ部の数は4つに限定されない。以下に、レンズ部の数を変更した場合の具体例を、図を参照しながら説明する。
図27A及び図27Bは、本発明に係る撮像装置のレンズの平面図である。また、図28A及び図28Bは、本発明に係る撮像装置の遮光壁の斜視図である。また、図29A及び図29Bは、本発明に係る遮光壁の撮像信号を示す図である。
例えば、図27Aに示すように、撮像装置が備えるレンズアレイは、2つのレンズ部を有してもよい。この場合、図28Aに示すように、遮光壁は、2つのレンズ部の射出光の干渉を防ぐために、1枚の板から構成される。
また、図28Aに示した遮光壁の像は、図29Aの暗部となる。ここで、遮光壁の像を取り囲む部分の撮像信号を縦中央部撮像信号I5yとすると、温度推定部は、縦中央部撮像信号I5yから遮光壁に対応する暗部の長さQyを検知する。そして、温度推定部は、式(54)を用いて、検知した長さQyから推定温度Teを算出する。
また、例えば、図27Bに示すように、撮像装置が備えるレンズアレイは、9つのレンズ部を有してもよい。この場合、図28Bに示すように、遮光壁は、9つのレンズ部の射出光の干渉を防ぐために、井型に板を組合せて構成される。
また、図28Bに示した遮光壁の像は、図29Bの暗部となる。ここで、遮光壁の像を取り囲む部分の撮像信号を、第1横中央部撮像信号I5x1、第2横中央部撮像信号I5x2、第1縦中央部撮像信号I5y1、および第2縦中央部撮像信号I5y2とすると、温度推定部は、4つの中央部撮像信号から、それぞれの遮光壁に対応する暗部の長さQx1、Qx2、Qy1、およびQy2を検知する。そして、温度推定部は、式(55)を用いて、検知した長さQx1、Qx2、Qy1、およびQy2から推定温度Teを算出する。
ここで、Qx10は、基準温度T0における第1横中央部撮像信号I5x1の暗部の長さである。また、Qx20は、基準温度T0における第2横中央部撮像信号I5x2の暗部の長さである。また、Qy10は、基準温度T0における第1縦中央部撮像信号I5y1の暗部の長さである。また、Qy20は、基準温度T0における第2縦中央部撮像信号I5y2の暗部の長さである。
本発明に係る撮像装置は、温度測定が可能な撮像装置として、例えば、カメラ機能を備えた携帯電話、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、立体画像入力カメラなどとして利用することができる。また、本発明に係る撮像システムは、被写体までの距離測定が可能な撮像システムとして、例えば、携帯電話、デジタルスチルカメラ、自動車、監視システム、3次元計測器、立体画像入力システムなどとして利用することができる。
100、101 撮像装置
110 レンズモジュール部
111 鏡筒
112 レンズアレイ
113 遮光壁
120 回路部
121 基板
122 撮像素子
123 SLSI
124 温度センサ
125 金線
131 システム制御部
132 撮像素子駆動部
133 撮像信号入力部
134 温度センサ信号入力部
135 入出力部
141 温度補償演算部
142 距離演算部
143 温度推定部
144 温度センサ信号信頼度算出部
145 報知部
146、206 記憶部
202 撮像システム
203 システム制御部
204 警告報知部
205 画像認識部
207 通信部
110 レンズモジュール部
111 鏡筒
112 レンズアレイ
113 遮光壁
120 回路部
121 基板
122 撮像素子
123 SLSI
124 温度センサ
125 金線
131 システム制御部
132 撮像素子駆動部
133 撮像信号入力部
134 温度センサ信号入力部
135 入出力部
141 温度補償演算部
142 距離演算部
143 温度推定部
144 温度センサ信号信頼度算出部
145 報知部
146、206 記憶部
202 撮像システム
203 システム制御部
204 警告報知部
205 画像認識部
207 通信部
Claims (10)
- 被写体を撮像する撮像装置であって、
複数のレンズを有するレンズアレイと、
前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、
前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁と、
前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力部と、
前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定した前記遮光壁の像の長さを用いて、第1温度を推定する温度推定部とを備える
ことを特徴とする撮像装置。 - さらに、
前記レンズアレイの近傍に配置され、第2温度を検知する温度センサと、
前記第1温度と前記第2温度とに基づいて、前記第2温度の信頼度を算出する信頼度算出部とを備える
ことを特徴とする請求項1に記載の撮像装置。 - 前記信頼度算出部は、前記第1温度と前記第2温度との差分が大きいほど、前記第2温度の信頼性が低くなるように前記信頼度を算出する
ことを特徴とする請求項2に記載の撮像装置。 - さらに、
所定温度から前記第2温度に変化した場合の、前記複数のレンズの光軸間の距離の変化量を推定し、推定された変化量を用いて、前記撮像信号から得られる情報を補正する温度補償演算部と、
前記温度補償演算部により補正された情報を用いて、前記複数の撮像領域に撮像された像の視差と前記被写体までの距離とを算出する距離演算部とを備える
ことを特徴とする請求項2に記載の撮像装置。 - さらに、
前記信頼度算出部により算出された前記信頼度が所定値を超えることにより、前記第2温度の信頼性が低いと判断された場合に、外部へ報知するための報知データを生成する報知部を備える
ことを特徴とする請求項2に記載の撮像装置。 - さらに、
前記レンズアレイと前記撮像素子との間に、前記遮光壁を取り囲むように設置される筒状の鏡筒を備え、
前記鏡筒は、内壁面に少なくとも一対の溝部を有し、
前記遮光壁は、側端部を前記鏡筒の溝部に嵌合して設置されるとともに、前記撮像素子の撮像面から前記レンズアレイの方向に伸びる長方形状の板状部材であり、前記板状部材の同一板面から突起した突起部を少なくとも2つ有し、
前記温度推定部は、前記突起部間の像の長さを用いて、前記第1温度を推定する
ことを特徴とする請求項1に記載の撮像装置。 - さらに、
前記レンズアレイと前記撮像素子との間に、前記遮光壁を取り囲むように設置される筒状の鏡筒を備え、
前記鏡筒は、内壁面に少なくとも一対の溝部を有し、
前記遮光壁は、前記撮像素子の撮像面から前記レンズアレイの方向に伸びる板状部材であり、側端部が前記鏡筒の溝部に嵌合される第1板部と、前記第1板部から前記撮像面側に突出する第2板部とを有し、
前記温度推定部は、前記第2板部の像の長さを用いて、前記第1温度を推定する
ことを特徴とする請求項1に記載の撮像装置。 - 請求項4に記載の撮像装置と、
前記撮像装置が算出した被写体までの距離と信頼度とに基づいて所定の制御を行うシステム制御部とを備える
ことを特徴とする撮像システム。 - 複数のレンズを有するレンズアレイと、前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁とを備える撮像装置で用いられる撮像方法であって、
前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力ステップと、
前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定した前記遮光壁の像の長さを用いて、温度を推定する温度推定ステップとを含む
ことを特徴とする撮像方法。 - 複数のレンズを有するレンズアレイと、前記レンズアレイから所定の距離離れて設置され、前記複数のレンズのそれぞれに対応する撮像領域を有する撮像素子と、前記各レンズを通過した光が、当該レンズに対応する撮像領域と異なる撮像領域に到達しないように、前記レンズアレイと前記撮像素子との間の空間を区画する遮光壁とを備える撮像装置で実行されるプログラムであって、
前記撮像素子が出力する電気信号をデジタル値に変換した撮像信号を生成する撮像信号入力ステップと、
前記撮像信号から、前記撮像素子の撮像面に射影された前記遮光壁の像の長さを特定し、特定された前記遮光壁の像の長さを用いて、温度を推定する温度推定ステップとを含む
ことを特徴とするプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008102874 | 2008-04-10 | ||
JP2008102874 | 2008-04-10 | ||
PCT/JP2009/001598 WO2009125577A1 (ja) | 2008-04-10 | 2009-04-07 | 撮像装置、撮像システムおよび撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4456180B2 JP4456180B2 (ja) | 2010-04-28 |
JPWO2009125577A1 true JPWO2009125577A1 (ja) | 2011-07-28 |
Family
ID=41161714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009539554A Expired - Fee Related JP4456180B2 (ja) | 2008-04-10 | 2009-04-07 | 撮像装置、撮像システムおよび撮像方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8212912B2 (ja) |
JP (1) | JP4456180B2 (ja) |
WO (1) | WO2009125577A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5452973B2 (ja) * | 2009-04-28 | 2014-03-26 | 富士機械製造株式会社 | 撮像装置及びその撮像装置を備える切削機械 |
JP5375531B2 (ja) * | 2009-11-06 | 2013-12-25 | 株式会社リコー | 距離画像取得装置及び距離画像取得処理方法 |
JP5493900B2 (ja) * | 2010-01-18 | 2014-05-14 | 株式会社リコー | 撮像装置 |
JP5545527B2 (ja) * | 2010-02-22 | 2014-07-09 | 株式会社リコー | 距離画像取得装置 |
JP2011209269A (ja) | 2010-03-08 | 2011-10-20 | Ricoh Co Ltd | 撮像装置及び距離取得システム |
JP5742272B2 (ja) * | 2011-02-14 | 2015-07-01 | 株式会社リコー | 複眼式撮像装置 |
JP6167525B2 (ja) * | 2012-03-21 | 2017-07-26 | 株式会社リコー | 距離計測装置及び車両 |
US9659350B2 (en) | 2014-01-31 | 2017-05-23 | Morpho, Inc. | Image processing device and image processing method for image correction, and non-transitory computer readable recording medium thereof |
US20180095275A1 (en) * | 2015-03-30 | 2018-04-05 | Nikon Corporation | Image-capturing device, multi-lens camera, and method for manufacturing image-capturing device |
US11102467B2 (en) * | 2016-08-25 | 2021-08-24 | Facebook Technologies, Llc | Array detector for depth mapping |
US10397551B2 (en) * | 2017-07-26 | 2019-08-27 | Symbol Technologies, Llc | Temperature compensation for image acquisition and processing apparatus and methods |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002204462A (ja) * | 2000-10-25 | 2002-07-19 | Canon Inc | 撮像装置及びその制御方法及び制御プログラム及び記憶媒体 |
JP2003143459A (ja) * | 2001-11-02 | 2003-05-16 | Canon Inc | 複眼撮像系およびこれを備えた装置 |
JP2007271301A (ja) * | 2006-03-30 | 2007-10-18 | Matsushita Electric Ind Co Ltd | 撮像装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7262799B2 (en) * | 2000-10-25 | 2007-08-28 | Canon Kabushiki Kaisha | Image sensing apparatus and its control method, control program, and storage medium |
US7872574B2 (en) * | 2006-02-01 | 2011-01-18 | Innovation Specialists, Llc | Sensory enhancement systems and methods in personal electronic devices |
-
2009
- 2009-04-07 JP JP2009539554A patent/JP4456180B2/ja not_active Expired - Fee Related
- 2009-04-07 US US12/598,292 patent/US8212912B2/en active Active
- 2009-04-07 WO PCT/JP2009/001598 patent/WO2009125577A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002204462A (ja) * | 2000-10-25 | 2002-07-19 | Canon Inc | 撮像装置及びその制御方法及び制御プログラム及び記憶媒体 |
JP2003143459A (ja) * | 2001-11-02 | 2003-05-16 | Canon Inc | 複眼撮像系およびこれを備えた装置 |
JP2007271301A (ja) * | 2006-03-30 | 2007-10-18 | Matsushita Electric Ind Co Ltd | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US20100128140A1 (en) | 2010-05-27 |
WO2009125577A1 (ja) | 2009-10-15 |
JP4456180B2 (ja) | 2010-04-28 |
US8212912B2 (en) | 2012-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4456180B2 (ja) | 撮像装置、撮像システムおよび撮像方法 | |
JP4510930B2 (ja) | 撮像装置及び半導体回路素子 | |
JP4264464B2 (ja) | 撮像装置及び半導体回路素子 | |
JP5549230B2 (ja) | 測距装置、測距用モジュール及びこれを用いた撮像装置 | |
US8488872B2 (en) | Stereo image processing apparatus, stereo image processing method and program | |
TW201540066A (zh) | 包括主要高解析度成像器及次要成像器之影像感測器模組 | |
US20120200673A1 (en) | Imaging apparatus and imaging method | |
CN113039457A (zh) | 通过透射盖使用光学飞行时间技术进行深度感测 | |
US20080007627A1 (en) | Method of distance estimation to be implemented using a digital camera | |
EP3697080A2 (en) | Electronic device and method for controlling auto focusing thereof | |
US10220783B2 (en) | Vehicle-mounted stereo camera device and method for correcting the same | |
CN102377942B (zh) | 摄像设备 | |
KR20100088543A (ko) | 광학 네비게이션 시스템 및 광학 네비게이션 실행 방법 | |
JP7121269B2 (ja) | 測距カメラ | |
KR102597470B1 (ko) | 뎁스 맵 결정 방법 및 그 방법을 적용한 전자 장치 | |
JP2010002280A (ja) | 撮像装置、測距装置及び視差算出方法 | |
KR102655932B1 (ko) | 전자 장치 및 전자 장치의 광원 출력 제어방법 | |
US9621882B2 (en) | Calibration device, imaging device, calibration method, and method for manufacturing imaging device | |
JP4838652B2 (ja) | 撮像装置 | |
JP6060482B2 (ja) | 測距装置、測距システム、測距プログラムおよび視差補正方法 | |
JP6680335B2 (ja) | ステレオカメラ、車両、算出方法及びプログラム | |
US7054550B2 (en) | Rangefinder apparatus | |
JP2017009640A (ja) | 撮像装置および撮像装置の制御方法 | |
KR20200036264A (ko) | 자동 초점 방법 및 이를 수행하는 전자 장치 | |
JP2005043085A (ja) | 角度検出装置及びそれを備えたプロジェクタ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100112 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |