JP2020150427A - 撮像装置、撮像光学系及び移動体 - Google Patents

Abstract

【課題】広角領域での視野を確保するとともに望遠領域での遠方精度を確保し、且つ、小型化と低コスト化を実現することができる撮像装置、撮像光学系及び移動体を提供する。【解決手段】撮像素子と、前記撮像素子に被写体像を結像する撮像光学系と、を有し、前記撮像光学系は、前記撮像素子に結像される前記被写体像の画角に対する倍率変化の傾きが、光軸から離れるに従って減少する領域と、光軸から離れるに従って増加する領域と、を有する、ことを特徴とする撮像装置。撮像素子に被写体像を結像する撮像光学系であって、前記撮像素子に結像される前記被写体像の画角に対する倍率変化の傾きが、光軸から離れるに従って減少する領域と、光軸から離れるに従って増加する領域と、を有する、ことを特徴とする撮像光学系。【選択図】図７

Description

本発明は、撮像装置、撮像光学系及び移動体に関する。

近年、一対のステレオカメラ（車載カメラ）を用いたステレオ式監視装置が注目されている。三次元計測技術の一つであるステレオ法では、一方のカメラ画像（基準画像）の画素ブロックと相関を有する画素ブロックを他方のカメラ画像（比較画像）において特定し、両画像における相対的なずれ量である視差から三角測量の原理を用いて距離データを取得する。取得した距離データを用いて障害物までの距離を求めて、その値に応じて車間制御などの運転支援を実施する。また昨今では、車両の前方だけでなく、割り込み車両の検知や交差点の歩行者検知などのより広角の視野（ビジョン）のニーズが高まっている。

特許文献１には、視差画像を生成するステレオカメラ装置が開示されている。ステレオカメラ装置は、二つの撮像手段と、二つの光学系と、第一の画像生成手段と、第二の画像生成手段と、第一の視差画像生成手段と、第二の視差画像生成手段と、画像合成手段とを有している。二つの撮像手段は、光軸が平行に配置されている。二つの光学系は、二つの撮像手段が撮影した画像データを等距離射影画像に投影する。第一の画像生成手段は、二つの等距離射影画像からエピポーラ線が直線になる第一の変形画像データ及び第二の変形画像データを生成する。第二の画像生成手段は、二つの等距離射影画像の所定領域から第一の変形画像データ及び第二の変形画像データよりも倍率が大きくエピポーラ線が直線になる第三の変形画像データ及び第四の変形画像データを生成する。第一の視差画像生成手段は、第一の変形画像データと第二の変形画像データを比較して画素に視差情報が配置された第一の視差画像を生成する。第二の視差画像生成手段は、第三の変形画像データと第四の変形画像データを比較して画素に視差情報が配置された第二の視差画像を生成する。画像合成手段は、第一の変形画像データ又は第二の変形画像データと、第三の変形画像データ又は第四の変形画像データの倍率により定まる第一の視差画像の画素の画素値を、第二の視差画像の画素の画素値で置き換える。

特開２０１２−１９８０７７号公報

しかしながら、従来のステレオ式監視装置では、視野（ビジョン）を広角にすると遠方精度の確保が難しく、遠方精度の確保を優先すると扱うデータ量（使用する撮像センサの解像度）が膨大になるという問題がある。遠方精度の確保を優先する場合、システムコストが増大するとともに、２つのカメラ距離を大きめに確保する必要があるためにシステムサイズの大型化が避けられない。

例えば、特許文献１のステレオカメラ装置では、画像処理の元データに等距離射影画像を用いており、画像補正量が多くなることによる処理量の増大や処理遅延の発生、さらに補正フィッティング時に発生する誤差の増大が問題となってしまう。また、中心射影画像と比較すると元データの角度分解能が低くなってしまう。

一般的に、ステレオカメラ装置（ステレオ式監視装置）は、水平分解能（ＸＹ方向、縦横方向の分解能）は比較的優れているが、距離分解能（Ｚ方向、奥行方向の分解能）は比較的劣っているという特性を持つ。加えて、光学系に広角レンズが含まれる場合、遠方精度である距離分解能がより悪化する傾向がある。

ステレオ法は、ブロックマッチング等で視差を求めて、当該視差から距離を取得するものである。ここで、遠方領域は整数視差が小さい（Ｚ方向の距離が長い）ため、距離分解能を確保することが難しい。従って、遠方領域では、視差取得のばらつきが大きくなる結果、測距値のばらつきも大きくなる傾向がある。

以上の技術課題は、ステレオカメラ装置（ステレオ式監視装置）だけに特有のものではなく、ステレオカメラ装置（ステレオ式監視装置）以外の撮像装置及び撮像光学系にも同様に当てはまる。

本発明は、以上の問題意識に基づいて完成されたものであり、広角領域での視野を確保するとともに望遠領域での遠方精度を確保し、且つ、小型化と低コスト化を実現することができる撮像装置、撮像光学系及び移動体を提供することを目的の１つとする。

本実施形態の撮像装置は、撮像素子と、前記撮像素子に被写体像を結像する撮像光学系と、を有し、前記撮像光学系は、前記撮像素子に結像される前記被写体像の画角に対する倍率変化の傾きが、光軸から離れるに従って減少する領域と、光軸から離れるに従って増加する領域と、を有する、ことを特徴としている。

本実施形態の撮像光学系は、撮像素子に被写体像を結像する撮像光学系であって、前記撮像素子に結像される前記被写体像の画角に対する倍率変化の傾きが、光軸から離れるに従って減少する領域と、光軸から離れるに従って増加する領域と、を有する、ことを特徴としている。

本実施形態の移動体は、上述したいずれかの撮像装置又は撮像光学系を有している。

本発明によれば、広角領域での視野を確保するとともに望遠領域での遠方精度を確保し、且つ、小型化と低コスト化を実現することができる撮像装置、撮像光学系及び移動体を提供することができる。

平行配置したステレオカメラによる距離計測の原理を説明するための図である。 中心射影、等距離射影を説明する図の一例である。 ステレオカメラ装置を示す概略構成図である。 望遠領域と広角領域の一例を示す概念図である。 本実施形態の撮像装置及び撮像光学系における半画角と像高の関係を示す図である。 本実施形態の撮像装置及び撮像光学系における半画角と規格化像倍率の関係を示す図である。 本実施形態の撮像装置及び撮像光学系における半画角と像倍率の傾きの関係を示す図である。 撮像素子の撮像面を垂直画角で見たときの一例を示す概念図である。 本実施形態の撮像光学系の構成例を示す断面図である。 図９の撮像光学系の構成例における収差図である。 本実施形態の撮像装置及び撮像光学系における半画角と規格化非球面サグ量の関係を示す図である。 本実施形態の撮像装置及び撮像光学系における半画角と非球面サグ量の傾きの関係を示す図である。 本実施形態の撮像装置及び撮像光学系における半画角と規格化サグ量の２回微分の関係を示す図である。 ステレオカメラ装置の構成を示すブロック図である。 ステレオカメラ装置による画像フローの一例を示す概念図である。

図１は平行配置したステレオカメラによる距離計測の原理を説明するための図である。カメラＣ０とＣ１が距離Ｂだけ離れて設置されている。カメラＣ０とＣ１の焦点距離、光学中心、撮像面は下記のとおりである。
焦点距離：ｆ、
光学中心：Ｏ_０、Ｏ_１
撮像面：ｓ_０、ｓ_１
カメラＣ０の光学中心Ｏ_０から光軸方向に距離ｄだけ離れた位置にある被写体Ａの像は、直線Ａ−Ｏ_０と撮像面ｓ_０との交点であるＰ_０に像を結ぶ。一方カメラＣ１では、同じ被写体Ａが、撮像面ｓ_１上の位置Ｐ_１に像を結ぶ。ここで、カメラＣ１の光学中心Ｏ_１を通り、直線Ａ−Ｏ_０と平行な直線と、撮像面ｓ_１との交点をＰ_０’とし、点Ｐ_０’とＰ_１との距離をｐとする。

Ｐ_０’は、カメラＣ０上の像Ｐ_０と同じ位置であり、距離ｐは、同じ被写体の像の、二つのカメラで撮影した画像上での位置のずれ量を表し、これを視差と呼ぶ。
三角形:Ａ−Ｏ_０−Ｏ_１、三角形Ｏ_１−Ｐ_０’−Ｐ_１は相似なので、
ｄ＝Ｂｆ／ｐ
が得られる。カメラＣ０とＣ１の距離Ｂ（基線長）と焦点距離ｆが既知ならば、視差ｐから距離ｄを求めることができる。

ここで、このようなカメラの結像光学系は、カメラ外部にある被写体の像を撮像面上に投影するしくみである。カメラの結像光学系には、どの位置(方向) にある被写体を、撮像面上のどの位置に投影するか、という点で多くの方式がある。そのうちよく利用される、中心射影と等距離射影について説明する。

図２（ａ）は中心射影を説明する図の一例である。中心射影とは、カメラ光軸から角度θだけ離れた方向に存在する被写体を、撮像面中心（光軸との交点）からｆ・ｔａｎ（θ）だけ離れた位置に投影する方式である。ここでｆは光学系の焦点距離である。

中心射影には、三次元空間内の直線が画像上直線に写るという特徴がある。通常のカメラレンズはほぼこの中心射影特性を持つよう設計されている。特にステレオカメラでは、エピポーラ線が直線になるため、対応点探索が容易になるという大きな利点となる。しかしｔａｎ（θ）はθ＝９０°で発散するため、９０度以上の視野は投影できず、また９０度に近い広角の視野を投影する場合に非常に広い撮像面が必要になる。

図２（ｂ）は等距離射影を説明する図の一例である。等距離射影とは、カメラ光軸から角度θだけ離れた方向に存在する被写体を、撮像面中心からｆ・θだけ離れた位置に投影する方式である。

等距離射影は中心射影のように９０度で発散するようなことはなく、広い視野を表現することができる。そのため多くの魚眼レンズはこの特性を持つ。しかし等距離射影のステレオカメラではエピポーラ線が曲線となるので、対応点探索は非常に複雑な処理を必要とする。

これまでのステレオカメラシステムは、一般的に、中心射影（図２（ａ））が用いられることが多かった。これは、エピポーラ線が直線で定義され、視差から距離の変換が下記の簡単な式（１）で算出できるためである。
（１）ｄ＝Ｂｆ／ｐ
ここで、
ｄ：距離、Ｂ：基線長（２つのカメラ間距離）、ｆ：焦点距離、ｐ：視差。

一方で、昨今の広角化のトレンドからステレオカメラシステムの画角を全角で１００度以上とすることが要求されてきている。中心射影では像高と画角の関係が下記の式（２）で定義されるので、広角になればなるほど必要な像高が大きくなる。
（２）ｙ＝ｆ・ｔａｎ（θ）
ここで、
ｙ：像高、ｆ：焦点距離、θ：画角。

ここで式（２）の像高ｙを小さくするために焦点距離ｆを小さくすることが考えられる。しかし、この場合、式（１）で定義される視差ｐの値が小さくなるので、遠方の精度確保が困難になる。また、画像中央の角度分解能が小さくなり、画像中央の被写体のサイズが小さくなることから、遠方の障害物などをとらえることが困難になる。

上述の特許文献１のステレオカメラ装置は、等距離射影画像を中心射影画像に補正することを提案しているが、その補正量が大きくなりすぎることが問題となる。例えば、焦点距離２ｍｍの等距離射影の像高を焦点距離５ｍｍの中心射影へ画像補正する場合を考える。センサピッチ０．００３７５ｍｍとし、垂直方向の画角１０度の像高を補正する場合、約１４２ｐｉｘの画像補正量が必要となる。画像補正量が大きくなることでバッファするデータ量が増加するため、回路リソースが大きくなり、処理用のデバイスが高価になることや、その処理による遅延増加などの課題が発生する。また、画像補正量そのものが大きくなることで補正フィッティング時に発生する誤差の増大も予想される。

本実施形態のステレオカメラ装置は、左右の２つのカメラにおいて望遠、広角の２つの領域が設定されており、望遠領域は中心射影でかつ補正量が少なくなるように低ディストーションの光学特性を有し、広角領域は目的の画角が入るようなディストーション特性を有することができる。設定した望遠、広角の２つの領域でそれぞれ画像補正を実施して、それぞれ画像を取得する。左右のカメラで取得した望遠、広角の２つの画像ペアに対してステレオマッチングをすることで、望遠、広角それぞれの三次元データが取得できる。この構成により、望遠領域では中心射影光学系で画像撮影を実施することで角度分解能の高い元データを取得することができ、かつ、低ディストーションであるため画像補正時に発生する補正量や補正誤差が少なく、小さい回路リソースで実現することができる。

上記のようなディストーション特性を再現するレンズ（撮像光学系）としては、例えば、望遠領域と広角領域とで、上記の式（１）、（２）に規定される焦点距離ｆが明確に異なり、かつ望遠領域の焦点距離に比べて広角領域の焦点距離が短いことが要求される。また、最も物体側に位置する第１レンズを物体側に凸として負のパワーを持たせることで、光軸に対して大きい角度で入射する光線を像面方向に向けることができる。さらに、第２レンズにも負のパワーを持たせてレトロフォーカス型のパワー配置とすることで、短い焦点距離でも十分なレンズバックを設けることが可能となり、生産性を確保することができる。本実施形態のレンズ（撮像光学系）については後に詳細に説明することとする。

図３は、ステレオカメラ装置（撮像装置）１００を示す概略構成図である。ステレオカメラ装置１００は、例えば、移動体としての車両に設置して使用される。具体的には、車両内にあるルームミラー（バックミラー）の裏側（ミラー面の裏側）や、自家用車などの自動車においてはフロントグリル内に搭載することができる。これにより、運転手の前方視認性を確保する事ができる。カメラ部１１０には左カメラＣ０と右カメラＣ１（撮像装置）が配置されている。左カメラＣ０と右カメラＣ１は、同じレンズ、同じＣＭＯＳイメージセンサを有し、左カメラＣ０と右カメラＣ１は互いの光軸が平行に、かつ、二つの撮像面が同一平面になるように配置されている。左カメラＣ０と右カメラＣ１は同じレンズ（撮像光学系）２１、絞り２２、ＣＭＯＳイメージセンサ（撮像素子）２３を有する。

ＣＭＯＳイメージセンサ２３は、カメラ制御部１３が出力する制御信号を入力として動作する。ＣＭＯＳイメージセンサ２３は、例えば、１０００×１０００画素のモノクロイメージセンサとすることができる。レンズ２１は、例えば、上下左右共に片側８０度、両側１６０度の視野の像をＣＭＯＳイメージセンサ２３の撮像領域内に結像する特性を持つ。

ＣＭＯＳイメージセンサ２３が出力した画像信号は、ＣＤＳ２４に出力されて相関二重サンプリングによるノイズ除去が行われ、ＡＧＣ２５により信号強度に応じて利得制御され、Ａ／Ｄ変換部２６によりＡ／Ｄ変換される。画像信号はＣＭＯＳイメージセンサ２３の全体を記憶可能なフレームメモリ２７に記憶される。

フレームメモリ２７に記憶された画像信号はデジタル信号処理部２８により、距離の算出等が行われ、仕様によってはフォーマット変換され液晶などの表示手段に表示される。デジタル信号処理部２８は、ＤＳＰ、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたＬＳＩである。ステレオカメラ装置１００の機能ブロックは、例えばこのデジタル信号処理部２８により、ハード的又はソフト的に提供される。なお、カメラ制御部１３をデジタル信号処理部２８に配置してもよく、図示する構成は一例である。

デジタル信号処理部２８は、水平同期信号ＨＤ、垂直同期信号ＶＤ及びクロック信号の各パルスをカメラ制御部１３に出力する。または、カメラ制御部１３が水平同期信号ＨＤ及び垂直同期信号ＶＤを生成することも可能である。カメラ制御部１３は、タイミングジェネレータやクロックドライバを有し、ＨＤ、ＶＤ及びクロック信号からＣＭＯＳイメージセンサ２３を駆動するための制御信号を生成する。

このように、ステレオカメラ装置（撮像装置）１００は、左カメラＣ０と右カメラＣ１（撮像装置）のそれぞれにおいて、ＣＭＯＳイメージセンサ２３と、ＣＭＯＳイメージセンサ２３による撮像データを投影するレンズ（撮像光学系）２１とを有している。

レンズ（撮像光学系）２１は、ＣＭＯＳイメージセンサ２３による撮像データを望遠領域と広角領域に区画して投影するとともに、望遠領域では相対的にディストーションが小さく広角領域では相対的にディストーションが大きいディストーション特性を有している。

図４はレンズ（撮像光学系）２１が区画する望遠領域と広角領域の一例を示す概念図である。ＣＭＯＳイメージセンサ２３による撮像データは矩形の撮像領域を有しており、当該撮像領域の中央部分が望遠領域に区画され、当該撮像領域の周辺部分が広角領域に区画されている。図４では、中央部分の望遠領域を道路や道路標識を含んだ車からの風景を描いており、周辺部分の広角領域を簡略化したグラデーションパターンで描いている。なお、撮像領域に占める望遠領域と広角領域の割合や配置の態様には自由度があり、種々の設計変更が可能である。

このように、ステレオカメラ１００のカメラＣ０、Ｃ１は、ＣＭＯＳイメージセンサ（撮像素子）２３と、ＣＭＯＳイメージセンサ２３に被写体像を結像するレンズ（撮像光学系）２１とを有している。以下では、レンズ（撮像光学系）２１による光学特性を発揮するための構成について、詳細に説明する。

図５は、本実施形態の撮像装置及び撮像光学系における半画角と像高の関係を示す図である。図６は、本実施形態の撮像装置及び撮像光学系における半画角と規格化像倍率の関係を示す図である。図７は、本実施形態の撮像装置及び撮像光学系における半画角と像倍率の傾きの関係を示す図である。図５の曲線を１回微分したものが図６の曲線に相当し、図５の曲線を２回微分したもの（図６の曲線を１回微分したもの）が図７の曲線に相当する。

図５〜図７の例では、１／２．７型のセンサ（撮像素子）を用いており、対角の像高は３．３ｍｍ、センサピッチは０．００３ｍｍ、解像度は１９８０ｐｉｘ×１０８０ｐｉｘ（水平×垂直）に設定している。

また、像高が０ｍｍ〜１ｍｍ(半画角が０ｄｅｇ〜１３ｄｅｇ)の領域を望遠領域とし、像高が１ｍｍ〜１．７ｍｍ(半画角が１３ｄｅｇ〜２６ｄｅｇ)の領域を切替領域（望遠広角切替領域）とし、像高が１．７ｍｍ(半画角が２６ｄｅｇ)を超える領域を広角領域としている。

詳しくは後述するが、「望遠領域」は、「ＣＭＯＳイメージセンサ（撮像素子）２３に結像される被写体像の画角に対する倍率変化の傾きが光軸から離れるに従って減少する領域」に読替可能である。「切替領域」と「広角領域」は、「ＣＭＯＳイメージセンサ（撮像素子）２３に結像される被写体像の画角に対する倍率変化の傾きが光軸から離れるに従って増加する領域」に読替可能である。「切替領域」は、「ＣＭＯＳイメージセンサ（撮像素子）２３に結像される被写体像の画角に対する倍率変化の傾きが相対的に大きい第１の領域」に読替可能である。「広角領域」は、「ＣＭＯＳイメージセンサ（撮像素子）２３に結像される被写体像の画角に対する倍率変化の傾きが相対的に小さい第２の領域」に読替可能である。

望遠領域では、焦点距離約５ｍｍの中心射影の像高特性に近づけている。広角領域では、水平最外像高位置で焦点距離約１．２ｍｍとなるように等距離射影に近づけている。このような像高特性を持たせることにより、望遠領域では、約０．０３ｄｅｇ／ｐｉｘと高い角度分解能を持ちながら、画像全体で視野を１２０度以上確保することができる。単純に中心射影で１２０度以上の視野を確保しようとすると、画像中央の角度分解能は約０．１ｄｅｇ程度まで低下してしまう。広角領域に等距離射影の投射方式を採用したのは、像高によらず略一定の角度分解能を持たせるためである。勿論、より焦点距離の小さい中心射影の特性を持たせてもいいし、正射影にすることで、広角領域でもできるだけ中央付近の角度分解能が高くなるように設定してもいい。

像高特性は、下記の式（３）、（４）で近似して表すことができる。
（３）ｙ＝ｆ・ｔａｎ（θ） （ｙ≦ａ）
（４）ｙ＝ｆ・θ＋Ｂ （ｙ＞ａ）
ここで、
ｙ：像高、ｆ：焦点距離、θ：画角、Ｂ：基線長（２つのカメラ間距離）、ａ：望遠領域と広角領域の像高範囲（望遠領域と広角領域の境界となる像高）。

ここで、望遠領域と広角領域の像高範囲ａは、一義的に規定される境界値ではなく、一定の範囲を持つ値である。このため、像高範囲ａが持つ一定の範囲を持つ値が「切替領域（望遠広角切替領域）」あるいは「増加する領域の第１の領域」に相当する。

また、光学系の構成として、切替領域を設けることなく、望遠領域と広角領域のみを設定する場合には、例えば、光学系にレンズ有効径内において稜線を有するような素子を設けること、あるいは、望遠領域と広角領域に対応してその一方のみに介するような素子を設けることが考えられる。しかし、いずれの場合であっても、画角に対して対称に撮像を行う際には、望遠領域と広角領域の境界において光束にケラレが発生するため、撮像できない死角が生じてしまう。

本実施形態のステレオカメラ装置１００のように、移動体（例えば車両）に搭載され、安全性を向上させることを目的とした撮像装置及び撮像光学系では、特に、死角が存在することによる安全性の低下は許しがたい。そこで、本実施形態では、望遠領域と広角領域のみを設定するのではなく、両者の間に切替領域を設定することで死角をなくし、安全性を高いレベルで維持することに成功している。

図８は、ＣＭＯＳイメージセンサ（撮像素子）２３の撮像面（有効撮像面）を垂直画角で見たときの一例を示す概念図である。図８において、ＣＭＯＳイメージセンサ２３の撮像面中心を通って上下方向に延びる一点鎖線により、「撮像素子の撮像面の垂直画角を示す仮想線」を描いている。

図８に示すように、ＣＭＯＳイメージセンサ２３の撮像面を垂直画角で見たときに、望遠領域（減少する領域）が撮像面に含まれており、切替領域（増加する領域の第１の領域）の一部が撮像面に含まれており（その他の部分は撮像面に含まれておらず）、広角領域（増加する領域の第２の領域）が撮像面に含まれていない。

水平画角では、実運転環境において広い視野が必要であり、望遠領域から広角領域を撮像することが好ましい。一方、垂直画角では道路奥行方向の撮像を行うが、水平画角と比べて広角領域を必要としない。そこで、水平画角は広角領域を撮像するように設け、垂直画角は望遠領域から切替領域の途中画角までを撮像して広角領域を撮像しないように設けることが望ましい。垂直画角を大きくする場合には、水平画角と垂直画角ともに望遠領域の撮像画角を小さくする必要があり、垂直画角を小さくする場合には、水平画角の広角領域を小さくする必要がある。望遠領域の画角と広角領域の画角を両立させるためには、垂直画角が望遠領域から切替領域の途中画角までを含むようにすることが望ましい。

図６は、図５において、画角に対する中心で規格化を行った倍率特性を示している。図５、図６に示すように、望遠領域（減少する領域）から切替領域（増加する領域の第１の領域）、さらに広角領域（増加する領域の第２の領域）に入ることで、傾きの変化が異なっていることが確認できる。

図７は、図６において、規格化倍率範囲特性の画角に対する傾きを示している。

図７に示すように、望遠領域（減少する領域）では、ＣＭＯＳイメージセンサ（撮像素子）２３に結像される被写体像の画角に対する倍率変化の傾きが光軸から離れるに従って減少する。切替領域（増加する領域の第１の領域）と広角領域（増加する領域の第２の領域）では、ＣＭＯＳイメージセンサ（撮像素子）２３に結像される被写体像の画角に対する倍率変化の傾きが光軸から離れるに従って増加する。

切替領域（増加する領域の第１の領域）では、ＣＭＯＳイメージセンサ（撮像素子）２３に結像される被写体像の画角に対する倍率変化の傾きが相対的に大きくなっている。広角領域（増加する領域の第２の領域）では、ＣＭＯＳイメージセンサ（撮像素子）２３に結像される被写体像の画角に対する倍率変化の傾きが相対的に小さくなっている。

具体的に、広角領域（増加する領域の第２の領域）における傾きの増加率は、切替領域（増加する領域の第１の領域）における傾きの増加率の半値となっている（そのような箇所がある）。例えば、広角領域（増加する領域の第２の領域）における傾きの増加率の最大値又は最小値は、切替領域（増加する領域の第１の領域）における傾きの増加率の最大値又は最小値の半値となっている。

図６における半画角と規格化像倍率の傾きは、図５に示す像高特性が負のディストーションであるために、全領域にわたって負となるように設けている。図７に示すように、画角が０ｄｅｇから大きくなるに連れて、望遠領域では焦点距離５ｍｍから焦点距離を短くするために像倍率の傾きを急激に減少させ、切替領域では望遠領域の焦点距離から広角領域の焦点距離を連続的につなぐために、望遠領域とは逆の傾きに増加させている（傾きの符号が負から正に反転する）。さらに、切替領域の画角上限(傾きの増加からその最大の傾き値の半分の傾きになるところ)で境界を迎え、広角領域へ突入すると、等距離射影方式に近くなるような特性を再現するために緩やかに増加する特性へと変化させている。また、言い換えると、切替領域以降の傾きの変化に関しては、望遠領域の焦点距離から広角領域の焦点距離を連続的につなぎ、かつ広角領域では等距離射影方式に近くなるような特性を再現するために上に凸のグラフ形状となるように曲線が構成されるようにしている。

以上では、望遠領域（減少する領域）、切替領域（増加する領域の第１の領域）、及び、広角領域（増加する領域の第２の領域）の３つの特性で構成する方式を述べたが、これに限定されない。例えば、画角が０ｄｅｇから大きくなるにつれて第１の領域では焦点距離５ｍｍから焦点距離を短くするために像倍率の傾きを減少させ、それ以上の画角を第１の領域の焦点距離から逆の傾きに増加させる第２の領域とするに留めてもよい。この場合でも、中心付近において高解像度な画角を得ながら広角を撮像する撮像装置及び撮像光学系を実施可能である。あるいは、増加する領域を３つ以上の領域に分割して、ＣＭＯＳイメージセンサ（撮像素子）２３に結像される被写体像の画角に対する倍率変化の傾きの増加率を３段階以上で設定してもよい。

図９はレンズ（撮像光学系）２１の構成例を示す断面図であり、図１０はその収差図である。

図９に示すように、レンズ（撮像光学系）２１は、物体側から像側に向かって順に、近軸曲率で物体側に凸面を向けたメニスカス形状を持つ負の第１レンズ２１Ａと、近軸曲率で像側に凸面を向けたメニスカス形状を持つ負の第２レンズ２１Ｂと、近軸曲率で両凸形状を持つ正の第３レンズ２１Ｃと、絞りＳＴと、近軸曲率で両凸形状を持つ正の第４レンズ２１Ｄと、近軸曲率で像側に凸面を向けたメニスカス形状を持つ負の第５レンズ２１Ｅと、近軸曲率で両凸形状を持つ正の第６レンズ２１Ｆとから構成されている。

図９において、各レンズ面に付されている番号ｒｉ（ｉ＝１，２，３，・・・）は、物体側から数えた場合のｉ番目のレンズ面であり、ｒｉに「＊」印が付されている面は、非球面であることを示す。なお、絞りＳＴも１つの面として扱っている。

このような構成の下で、物体側から入射した光線は、光軸ＡＸに沿って、第１レンズ２１Ａ、第２レンズ２１Ｂ、第３レンズ２１Ｃ、絞りＳＴ、第４レンズ２１Ｄ、第５レンズ２１Ｅ及び第６レンズ２１Ｆを通過して、ＣＭＯＳイメージセンサ２３の受光面に物体の光学像が形成される。そして、ＣＭＯＳイメージセンサ２３では、光学像が電気的な信号に変換される。

レンズ（撮像光学系）２１の構成例における、各レンズのコンストラクションデータである表１、表２を以下に示す。

表１、表２の各レンズのコンストラクションデータにおいて、面番号は、図９に示した各レンズ面に付した符号ｒｉ（ｉ＝１，２，３，…）の番号ｉが対応する。番号ｉに＊が付された面は、非球面（非球面形状の屈折光学面または非球面と等価な屈折作用を有する面）であることを示す。

また、“曲率半径”は、各面の曲率半径（単位はｍｍ）、“面間隔”は、無限遠合焦状態での光軸上の各レンズ面の間隔（軸上面間隔）、“屈折率”は、各レンズのｄ線（波長５８７．５６ｎｍ）に対する屈折率、“アッベ数”は、各レンズのｄ線（波長５８７．５６ｎｍ）に対するアッベ数をそれぞれ示している。

上記の非球面データは、非球面とされている面（面データにおいて番号ｉに＊が付された面）の２次曲面パラメータ（円錐係数、コーニック係数ｋ）、面頂点での曲率ｃ、曲率半径ｒ、非球面係数Ａ、Ｂ、・・・、Ｊの値により算出されるサグ量（ｚ軸に平行な面のサグ量ｚ）を示すものである。具体的に、光学面の非球面形状は、次の数式（１）により定義することができる。

図１０は、図９のレンズ（撮像光学系）２１の構成例における収差図である。図１０（Ａ）は、球面収差（正弦条件）（LONGITUDINAL SPHERICAL ABERRATION）を示し、図１０（Ｂ）は、非点収差（ASTIGMATISM FIELD CURVES）を示し、そして、図１０（Ｃ）は、歪曲収差（DISTORTION）を示す。球面収差の横軸は、焦点位置のずれをｍｍ単位で表しており、その縦軸は、入射高で規格化した値で表している。非点収差の横軸は、焦点位置のずれをｍｍ単位で表しており、その縦軸は、像高をｍｍ単位で表している。歪曲収差の横軸は、実際の像高を理想像高に対する割合（％）で表しており、縦軸は、その画角を度単位で表している（ただし、ここでは半画角９０度までを表示）。また、非点収差の図中、実線は、サジタル、破線は、タンジェンシャルをそれぞれ表している。非点収差および歪曲収差の図は、ｄ線（波長５８７．５６ｎｍ）を用いた場合の結果である。

上述したように、レンズ（撮像光学系）２１は、最も物体側に位置する第１レンズ２１Ａと、物体側から２番目に位置する第２レンズ２１Ｂとを有している。そして、第１レンズ２１Ａの両面に非球面が形成されている。しかし、これはあくまで一例であり、第１レンズ２１Ａの一面だけに非球面が形成されていてもよいし、第２レンズ２１Ｂの一面又は両面に非球面が形成されていてもよい。すなわち、第１レンズ２１Ａと第２レンズ２１Ｂの少なくとも一方が、少なくとも一方の面に非球面を有していればよい。

図５〜図７に示したような倍率特性を実現するためには、より物体側の、光線が画角によって分離されるレンズ部分において非球面レンズ形状を採用することが好ましい。このため、最も物体側のレンズまたは最も物体側のレンズから数えて２枚目のレンズの少なくとも一つの面を非球面形状とすることが好ましい。仮に、３枚目以降のレンズ面に非球面を設けても、図５〜図７に示したような倍率特性を実現することができない。

図１１は、本実施形態の撮像装置及び撮像光学系における半画角と規格化非球面サグ量の関係を示す図である。図１２は、本実施形態の撮像装置及び撮像光学系における半画角と非球面サグ量の傾きの関係を示す図である。図１３は、本実施形態の撮像装置及び撮像光学系における半画角と規格化サグ量の２回微分の関係を示す図である。図１１の曲線を１回微分したものが図１２の曲線に相当し、図１１の曲線を２回微分したもの（図１２の曲線を１回微分したもの）が図１３の曲線に相当する。

図１１において、縦軸は、横軸に記載の画角を撮像する際の非球面レンズ通過位置のサグ量をレンズ有効径内のサグ量最大の値で規格化したものである。望遠領域（減少する領域）、切替領域（増加する領域の第１の領域）、及び、広角領域（増加する領域の第２の領域）に対応する規格化サブ量を読み取ることができ、各領域で傾きを変化させていることが分かる。

図１２において、傾きが画角によって逆転する場合、加工性が極端に低くなるために、全領域にわたって正となるように設けている。画角が０ｄｅｇから大きくなるにつれて、望遠領域（減少する領域）では焦点距離５ｍｍから焦点距離を短くするためにサグ量の傾きは正の方向に大きくなるように設け、切替領域（増加する領域の第１の領域）では望遠領域（減少する領域）の焦点距離から広角領域（増加する領域の第２の領域）の焦点距離を連続的につなぐために、望遠領域（減少する領域）とは逆に急激に小さくなるように設けている。さらに、広角領域（増加する領域の第２の領域）へ突入すると、等距離射影方式に近くなるような特性を再現するために、緩やかに小さくなる特性へと変化させている。

別言すると、第１レンズ２１Ａと第２レンズ２１Ｂの少なくとも一方に設ける非球面の形状は、図１２に示すように、画角に対するサグ量の傾きが、望遠領域（減少する領域）で符号反転することのない特性に設定されている。また、画角に対するサグ量の傾きは、望遠領域（減少する領域）では、符号反転することなく増加を維持し、切替領域（増加する領域の第１の領域）と広角領域（増加する領域の第２の領域）では、増加から減少に符号反転する。

図１２に示すように、画角が０ｄｅｇから大きくなるにつれて、望遠領域（減少する領域）から切替領域（増加する領域の第１の領域）に至る際にサグ量の傾きが逆転する。従って、図１３に示すように、望遠領域（減少する領域）では正の値であった２回微分値が、切替領域（増加する領域の第１の領域）では、負の値に反転する。さらに、広角領域（増加する領域の第２の領域）では、等距離射影方式に近くなるような特性を再現するために、２回微分値が負となる領域で傾きが逆転する特性を設けている。

別言すると、図１３に示すように、画角に対するサグ量を示す曲線を２回微分した曲線において、画角が０ｄｅｇから大きくなるにつれて、２回微分値が正の値から負の値に変化し、この負の値の中で、２回微分の曲線の接線の傾きが減少から増加に反転する。図１３の例では、切替領域（増加する領域の第１の領域）と広角領域（増加する領域の第２の領域）の境界部の近傍にて、２回微分の曲線の接線の傾きが減少から増加に反転している。

例えば、図５〜図７、図１１〜図１３において、水平最大画角をθａと規定し、切替領域（増加する領域の第１の領域）における任意の画角をθｃと規定したときに、θｃ／θａ＞０．１５を満足することが好ましい。水平最大画角をθａは、本実施形態では、６０°に設定されている。この条件式を満足することで、レンズ（撮像光学系）２１の撮像領域（有効撮像領域）に対して、十分な切替領域（増加する領域の第１の領域）を設けることが可能になる。条件式を満足しない場合、十分な切替領域（増加する領域の第１の領域）を設けることができず、例えば、図５〜図７の倍率特性を実現することが難しくなってしまう。また、撮像可能な広角領域（増加する領域の第２の領域）の減少を招いてしまう。

図１４は、ステレオカメラ装置１００の構成を示すブロック図である。ステレオカメラ装置１００は、左カメラＣ０と右カメラＣ１（第１、第２のカメラ）による撮像データが入力する画像処理部３０を有している。画像処理部３０は、補正パラメータ記憶部４０と、視差演算部５０とに接続されている。補正パラメータ記憶部４０は、不揮発性メモリから構成されており、左カメラＣ０と右カメラＣ１（撮像装置、撮像光学系）による撮像データ（低ディストーションの望遠領域と高ディストーションの広角領域を含んだ撮像データ）を補正するための補正パラメータを記憶している。視差演算部５０は、画像処理部３０の一機能構成要素とすることができる。また、画像処理部３０と補正パラメータ記憶部４０と視差演算部５０は、図３に示したデジタル信号処理部２８の一機能構成要素とすることができる。

画像処理部３０は、補正パラメータ記憶部４０が記憶した補正パラメータを参照して、左カメラＣ０と右カメラＣ１（撮像装置）に含まれる各レンズ（撮像光学系）２１による撮像データに対して、望遠領域と広角領域に応じた画像処理を施す。より具体的に、画像処理部３０は、左カメラＣ０と右カメラＣ１（撮像装置）に含まれる各レンズ（撮像光学系）２１による各撮像データに対してディストーション補正を行うとともに、望遠領域でのディストーション補正量を相対的に小さくし、且つ、広角領域でのディストーション補正量を相対的に大きくする。

左カメラＣ０と右カメラＣ１（撮像装置）に含まれる各レンズ（撮像光学系）２１は、望遠領域におけるディストーションが略ゼロに抑えられ（相対的に小さく設定され）、広角領域に入ったところからディストーションが急激に増加する（相対的に大きく設定される）というディストーション特性を有している。当該ディストーション特性に応じて最適化された補正パラメータが補正パラメータ記憶部４０に記憶されている。画像処理部３０は、望遠領域でのディストーション補正量を略ゼロに抑える一方で、広角領域でのディストーション補正量を上記の急激な増加に合わせてこれを相殺するように段階的に大きくするような幾何学的な補正を実行する。その結果、望遠領域と広角領域のそれぞれの画像処理データ（補正処理データ）が作成される。望遠領域と広角領域に応じて最適化した画像処理（補正処理）を実行することにより、広角領域での視野を確保するとともに望遠領域での遠方精度を確保し、且つ、小型化と低コスト化を実現することができる。

視差演算部５０は、画像処理部３０により画像処理（補正処理）が施された撮像データに対して視差演算を実行することで視差画像を出力する。より具体的に、視差演算部５０は、左カメラＣ０による望遠領域画像と右カメラＣ１による望遠領域画像の視差である望遠領域視差画像と、左カメラＣ０による広角領域画像と右カメラＣ１による広角領域画像の視差である広角領域視差画像とを演算する。さらに、視差演算部５０は、望遠領域視差画像と広角領域視差画像を合成することで、最終的な視差画像を出力する。

また画像処理部３０は、上述した画像処理（補正処理）に加えて、低下したＭＴＦ特性を復元させることや、シェーディング補正（周辺光量補正）、ノイズ低減などの補正を実行することで、画質を向上させた輝度画像を出力することができる。擬似的に基線方向と水平方向が一致した左カメラＣ０と右カメラＣ１（撮像装置）で撮影した画像に補正することで，水平方向の視差を計算すればよく，正確な視差画像を出力することができる。

以上の画像処理部３０と補正パラメータ記憶部４０と視差演算部５０とによる処理は、例えば、ステレオマッチング処理と呼ぶことができる。

図１５は本実施形態のステレオカメラ装置１００による画像フローの一例を示す概念図である。左カメラＣ０による撮像データ（輝度画像）と右カメラＣ１による撮像データ（輝度画像）の各々に対して望遠領域と広角領域のそれぞれで画像変換を実行する（広角領域は望遠領域を含んだ全画像領域である）。望遠領域画像は、中心射影の特性を持たせるとともに像高１．５ｍｍを対角とした１．２ｍｍ×０．９ｍｍ（水平×垂直）の領域画像とすることができる。また、望遠領域画像と広角領域画像を同一の解像度とすることで（例えば６４０ｐｉｘ×４８０ｐｉｘ）、ステレオカメラ装置１００を簡単なシステム構成で実現することができる。また、広角領域画像では補正量が大きくなるが、解像度を半分にすることで必要な補正量も半分とすることができる。もちろん、広角領域画像の画質をできるだけ生かすために望遠領域画像の解像度を２倍にして望遠領域画像と広角領域画像の解像度を合わせてもいいし、システム構成は複雑になるが、そのままの解像度（解像度を変えることなく）、望遠領域画像（６４０ｐｉｘ×４８０ｐｉｘ）と広角領域画像（１２８０ｐｉｘ×９６０ｐｉｘ）画像をそれぞれ作成してもよい。

左カメラＣ０による望遠領域画像と右カメラＣ１による望遠領域画像のペアに基づいて両画像の視差である望遠領域視差画像が作成される。左カメラＣ０による広角領域画像と右カメラＣ１による広角領域画像のペアに基づいて両画像の視差である広角領域視差画像が作成される。この望遠領域視差画像と広角領域視差画像を合成することで、最終的な視差画像が作成される。

以上では、本実施形態の撮像装置及び撮像光学系をステレオカメラ装置１００に適用する場合を例示して説明したが、本実施形態の撮像装置及び撮像光学系の適用例はこれに限定されず、種々の設計変更が可能である。例えば、本実施形態の撮像装置及び撮像光学系は、各種施設（工場等）に設置されるセキュリティカメラ（監視カメラ）、鉄道の路線に沿って設置される運行管理用カメラ、工業用ロボット、フォークリフトに適用することができる。また、本実施形態の撮像装置及び撮像光学系は、２つのカメラ（第１、第２のカメラ）をセットで使用する場合だけでなく、単一のカメラ（単眼のカメラ）に適用することもできる。例えば、本実施形態の撮像装置及び撮像光学系は、奥行、幅ともに広いスペースを有する商業施設に配置される単眼の防犯カメラなどに用いられてもよい。この場合、中心を高角度分解能でモニタリングしながら広角領域もモニタリングすることが可能となり、従来のズーム機能を有したカメラを配置するより安価に、防犯性を高めることが可能となる。

以上では、本実施形態の撮像装置及び撮像光学系をステレオカメラ装置１００の画像取得部として設けた場合を例示して説明したが、ステレオカメラ１００以外の各種装置の画像取得部に本実施形態の撮像装置及び撮像光学系を設けることも可能である。

以上では、本実施形態の撮像装置及び撮像光学系を移動体としての車両に設置して使用する場合を例示して説明したが、車両以外の移動体に本実施形態の撮像装置及び撮像光学系を設置して使用することも可能である。あるいは、移動体以外の固定体に本実施形態の撮像装置及び撮像光学系を設置して使用することも可能である。例えば、固定体としてのセキュリティカメラ（監視カメラ）に本実施形態の撮像装置及び撮像光学系を適用してもよい。この場合、注目度の高い中心領域を高い分解能で撮影して、注目度の低い周辺領域を低い分解能で撮影してもよい。

１００ ステレオカメラ装置（撮像装置）
Ｃ０ Ｃ１ カメラ（撮像装置）
１３ カメラ制御部
２１ レンズ（撮像光学系）
２２ 絞り
２３ ＣＭＯＳイメージセンサ（撮像素子）
２４ ＣＤＳ
２５ ＡＧＣ
２６ Ａ／Ｄ変換部
２７ フレームメモリ
２８ デジタル信号処理部
３０ 画像処理部
４０ 補正パラメータ記憶部
５０ 視差演算部

Claims (12)

1. 撮像素子と、
   前記撮像素子に被写体像を結像する撮像光学系と、
   を有し、
   前記撮像光学系は、
   前記撮像素子に結像される前記被写体像の画角に対する倍率変化の傾きが、光軸から離れるに従って減少する領域と、光軸から離れるに従って増加する領域と、を有する、
   ことを特徴とする撮像装置。
2. 前記増加する領域は、前記傾きの増加率が相対的に大きい第１の領域と、前記傾きの増加率が相対的に小さい第２の領域と、を有する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の領域における前記傾きの増加率は、前記第１の領域における前記傾きの増加率の半値となる、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記撮像素子の撮像面を垂直画角で見たとき、前記減少する領域が前記撮像面に含まれ、前記第１の領域の一部が前記撮像面に含まれ、前記第２の領域が前記撮像面に含まれない、
   ことを特徴とする請求項２又は請求項３に記載の撮像装置。
5. 前記撮像光学系は、最も物体側に位置する第１レンズと、物体側から２番目に位置する第２レンズと、を有し、
   前記第１レンズと前記第２レンズの少なくとも一方は、少なくとも一方の面に非球面を有する、
   ことを特徴とする請求項１から請求項４のいずれかに記載の撮像装置。
6. 前記非球面の形状は、前記画角に対するサグ量の傾きが前記減少する領域で符号反転することのない特性に設定される、
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記サグ量の傾きは、前記減少する領域では、符号反転することなく増加を維持し、前記増加する領域では、増加から減少に符号反転する、
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記画角に対する前記サグ量を示す曲線を２回微分した曲線において、２回微分値が正の値から負の値に変化し、前記負の値の中で、前記曲線の接線の傾きが減少から増加に反転する、
   ことを特徴とする請求項６又は請求項７に記載の撮像装置。
9. 水平最大画角をθａと規定し、前記第１の領域における任意の画角をθｃと規定したときに、θｃ／θａ＞０．１５を満足する、
   ことを特徴とする少なくとも請求項２に記載の撮像装置。
10. 前記撮像装置は、ステレオカメラ装置の画像情報取得部として設けられる、
    ことを特徴とする請求項１から請求項９のいずれかに記載の撮像装置。
11. 撮像素子に被写体像を結像する撮像光学系であって、
    前記撮像素子に結像される前記被写体像の画角に対する倍率変化の傾きが、光軸から離れるに従って減少する領域と、光軸から離れるに従って増加する領域と、を有する、
    ことを特徴とする撮像光学系。
12. 請求項１から請求項１０のいずれかに記載の撮像装置又は請求項１１に記載の撮像光学系を有する移動体。