JP7266165B2 - 撮像装置、撮像システム、および表示システム - Google Patents

Description

本開示は、移動体の側方に取り付けられて被写体の画像を撮像する撮像装置と、撮像装置を含む撮像システムおよび表示システムに関する。

特許文献１は、車両の側方に取り付けられ、車両後方を撮像する撮像装置を開示する。特許文献１の撮像装置は、車両の後側方に位置する第１被写体及び車両の側方に位置する第２被写体からの光をそれぞれ収束させる光学系と、光学系により撮像した像に対応する画像データを出力する撮像素子と、車両の車室内に設けられ、画像データを表示するディスプレイとを備える。光学系の画角は１８０度以上である。撮像素子は、光学系の焦点面に、矩形の形状に並べられた複数の画素を有する。矩形の複数の対角線のうち一の対角線は、後側方に向かって配置されている。この構成により、多数のカメラを設けることなく、車両の後側方に位置する被写体及び当該車両の側方に位置する被写体を撮像することが可能となる。

特開２０１５－３２９３６号公報

車両の側方に取り付けられた撮像装置で車両の斜め後方の画像を撮像する場合、できるだけ多くの情報を得るために広角で撮影することが望まれる。しかしながら、画角を広くすると画像の単位面積当たりの画素数が減少し、被写体の画質は低下する。このため、広角で撮像された画像を用いて画像解析を行った場合、解析のための画素数が不足し、解析精度が低下する。これを解決するためには、１つの撮像装置に、広角で撮影可能な撮像装置と、画像解析に重要な部分を撮影可能な撮像装置とを含めることが考えられる。しかし、このような構成は撮像装置の大型化を招き、コストも増大する。

本開示は、移動体の側方に取り付けられる撮像装置であって、装置の大型化を招かずに、広い画角を実現しつつ、画像解析に重要な部分の領域について高い解像度の画像を得ることができる撮像装置を提供する。

本開示の一態様において、移動体の側方に取り付けられる撮像装置が提供される。前記撮像装置は、複数の画素が二次元的に配置された撮像面を含み、前記撮像面上に結像された被写体像から画像データを生成する画像センサと、所定の垂直画角と所定の水平画角の範囲に含まれる前記被写体像を前記撮像面上に結像させる光学系と、を備える。単位画角に含まれる前記被写体像を撮像する画素の数を解像度とする。前記撮像面は、前記被写体像のうち第１の被写体像を撮像する第1の領域と、前記第１の領域とは異なり、前記被写体像のうち第２の被写体像を撮像する第２の領域と、を含む。前記光学系は、前記第１の領域の解像度が、前記第２の領域の解像度よりも高くなるように前記撮像面上に前記被写体像を結像する。前記第１の領域の中心の位置は、前記所定の水平画角の中心から水平にシフトした位置、および前記所定の垂直画角の中心から垂直にシフトした位置の少なくとも一方である。

本開示によれば、移動体の側方に取り付けられる撮像装置であって、装置の大型化を招かずに、広い画角を実現しつつ、画像解析に重要な部分の領域について高い解像度の画像を得ることができる撮像装置を提供できる。

自動車の車両に搭載された、本開示の実施の形態１における撮像システムの構成を示す図 撮像システムにおける制御装置の構成を示す図 撮像システムにおける左サイドカメラの構成を示す図 左サイドカメラの水平方向の撮影可能な範囲（画角）を説明した図 左サイドカメラの垂直方向の撮影可能な範囲（画角）を説明した図 左サイドカメラで撮像された像の拡大率を説明するための図 サイドカメラの光学系の構成例を示した図（光軸を含む垂直面で自由曲面レンズを仮想的に切断したときの断面） 左サイドカメラの光学系により結像される画像の解像度の分布の例を説明した図 左サイドカメラの光学系により画像センサ上に結像される像の解像度を説明するための図 左サイドカメラの光学系に使用される自由曲面レンズの解像度（角度分解能）特性を示す図 右サイドカメラの光学系に使用される自由曲面レンズの解像度（角度分解能）特性を示す図 本開示が解決しようとする課題を説明するための図 従来の魚眼レンズを用いた左サイドカメラで撮影された画像を説明した図 本開示の左サイドカメラで撮影された画像を説明した図 本開示の撮像システムにより得られる効果を説明するための図 実施の形態１の左サイドカメラにおける光学系及び画像センサと、それらにより形成される撮像画像とを説明した図 実施の形態２の左サイドカメラにおける光学系及び画像センサと、それらにより形成される撮像画像とを説明した図 実施の形態２のサイドカメラにおける光学系の解像度（角度分解能）特性を示す図 実施の形態２の左サイドカメラにおける、画像センサの画角に対する画素密度を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
［１－１．全体構成］
図１は、本開示に係る撮像装置を自動車（移動体の一例）のサイドカメラに適用した例を示す図である。図１の例では、自動車の車両１００の側方に左右のサイドカメラ１０Ｒ、１０Ｌが取り付けられている。右サイドカメラ１０Ｒ及び左サイドカメラ１０Ｌは、車両側方及び斜め後方の領域の被写体を撮像し、画像データを生成する。右サイドカメラ１０Ｒは、車両の右側方及び右斜め後方のシーンを撮像するように、車両の右側において後ろ向きに取り付けられる。左サイドカメラ１０Ｌは、車両の左側方及び左斜め後方のシーンを撮像するように、車両の左側において後ろ向きに取り付けられる。以下の説明では、右サイドカメラ１０Ｒと左サイドカメラ１０Ｌをまとめて称する場合、サイドカメラ１０と称する。

車両１００は、左右のサイドカメラ１０Ｒ、１０Ｌからの画像データを処理する制御装置２０と、制御装置２０により処理された画像データに基づき画像を表示する表示装置３０と、制御装置２０により制御される制御対象６０とを備える。左右のサイドカメラ１０Ｒ、１０Ｌと制御装置２０とは撮像システムを構成する。また、左右のサイドカメラ１０Ｒ、１０Ｌと表示装置３０は表示システムを構成する。

表示装置３０は、液晶表示パネルまたは有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示デバイスと、表示デバイスを駆動する駆動回路とを備える。表示装置３０は、電子ルームミラーまたは車載ディスプレイ等であり、種々の情報（地図、ルート案内、ラジオ選局、および各種設定等の少なくともいずれか一つ）を表示できる。また、表示装置３０は、車両１００の走行中または停車中に、各サイドカメラ１０Ｒ、１０Ｌにより撮像された車両の側方及び斜め後方のシーンの画像を表示する。表示装置３０が配置される場所は、特に限定されないが、例えば、ダッシュボードの中央に配置されてもよい。または、表示装置３０の数は二つ以上あり、車内において、フロントガラスの両側方にそれぞれ配置されてもよい。

制御装置２０は、各サイドカメラ１０Ｒ，１０Ｌから画像データを受信し、画像解析を行い、車両１００の側方または斜め後方のオブジェクトを認識し、必要に応じて制御対象６０を制御する。オブジェクトとは、例えば、自動車、バイク、自転車、および人等の少なくともいずれか一つである。制御対象は、例えば、ブレーキ、アクセル、ステアリング、および警告装置の少なくともいずれか一つである。また、制御装置２０は、各サイドカメラ１０Ｒ、１０Ｌからの画像データに対して所定の画像処理を施し、表示装置３０に表示させる画像データを生成する。

以下、サイドカメラ１０及び制御装置２０それぞれの具体的な構成を説明する。

［１－１－１．制御装置］
図２は、制御装置２０の構成を示すブロック図である。制御装置２０は、左サイドカメラ１０Ｌから画像データを入力するための第１インタフェース２３（回路）と、右サイドカメラ１０Ｒから画像データを入力するための第２インタフェース２４（回路）と、入力した画像データに対して画像処理及び画像解析を行うコントローラ２１と、データ等を格納するデータ記憶部２９とを備える。制御装置２０は、さらに、生成した画像データを表示装置３０へ送信する第３インタフェース２５（回路）と、制御対象６０を制御するための制御信号を制御対象６０へ送信する第４インタフェース２７（回路）と、を備える。

コントローラ２１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含み、データ記憶部２９に格納されたプログラムを実行することで種々の機能を実現する。コントローラ２１は、所望の機能を実現するように設計された専用のハードウェア回路を含んでも良い。すなわち、コントローラ２１は、ＣＰＵ、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等を含んでもよい。

データ記憶部２９は、ハードディスク装置、ＳＳＤ(Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ)、半導体メモリなどの記録媒体である。データ記憶部２９は、コントローラ２１で実行されるプログラムおよびデータ等を格納する。

［１－１－２．サイドカメラ］
左サイドカメラ１０Ｌ及び右サイドカメラ１０Ｒは基本的に同様の構成を有するので、以下の説明では、便宜上、主として左サイドカメラ１０Ｌについて構成および動作を説明する。

図３は、左サイドカメラ１０Ｌの構成を示すブロック図である。図３に示すように、左サイドカメラ１０Ｌは、光学系１１と、光学系１１を介して受光した被写体像を撮像し画像信号を生成する画像センサ１２と、画像信号に対して所定の画像処理（ガンマ補正、歪曲補正等）を施す信号処理回路１３と、信号処理回路１３で信号処理された画像信号を外部機器へ出力するためのインタフェース１４（回路）とを備える。

光学系１１は、画像センサ１２の撮像面に像を結像させる光学素子である。光学系１１は、レンズ、絞り、およびフィルター等を含む。光学系１１の詳細は後述する。画像センサ１２は、光学信号を電気信号に変換する撮像素子であり、複数の画素が等間隔で二次元的に配置されている。画像センサ１２は例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、またはＮＭＯＳ（ｎ‐Ｃｈａｎｎｅｌ Ｍｅｔａｌ‐Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。

図４は、左サイドカメラ１０Ｌが撮影可能な水平方向の画角（水平画角）の範囲を説明した図である。図４に示すように、左サイドカメラ１０Ｌは、水平方向において、１００°の画角の被写体領域Ｒ２０を撮像することができる。特に、被写体領域Ｒ２０の内側の、３０°の画角の被写体領域Ｒ１０においては、より大きな拡大率で撮像することができる。左サイドカメラ１０Ｌは、車両１００の側部に、車両の左側後部の一部が撮像されるように取り付けられている。

図５は、左サイドカメラ１０Ｌが撮影可能な垂直方向の画角（垂直画角）の範囲を説明した図である。垂直方向において、図５に示すように、左サイドカメラ１０Ｌは８３°の画角の被写体領域Ｒ２０の被写体を撮像することができる。特に領域Ｒ２０の内側の２３°の画角の被写体領域Ｒ１０においては、より大きな拡大率で撮像することができる。なお、サイドカメラの光軸の方向または画角を調整することで、サイドカメラで所望の領域を撮像できる。

図６は、左サイドカメラ１０Ｌの光学系１１を介して撮像される撮像画像における像の拡大率を説明するための図である。図６において左側が車両側となる。撮像画像３００Ｌにおいて領域Ｒ１（本開示の第１の領域の一例）は、比較的高い倍率で拡大される領域であり、被写体領域Ｒ１０に対応する。また、領域Ｒ２（本開示の第２の領域の一例）は、比較的低い倍率で拡大される領域であり、被写体領域Ｒ２０において被写体領域Ｒ１０を除いた領域に対応する。なお、領域Ｒ１および領域Ｒ２において倍率が不連続とならないように連続的かつ単調に変化するように光学系１１が設計されている。以下、このような光学特性を実現する光学系１１の構成について説明する。

［１－１－２－１．光学系］
図７は、左サイドカメラ１０Ｌの光学系１１の具体的な構成例を示した図である。図７は、光軸Ｚを含む垂直面（画像センサの水平方向を法線とする平面）で光学系１１を仮想的に切断したときの断面図である。ここで、光軸Ｚは、画像センサ１２の撮像面の中心を通過し、撮像面と直交する仮想線である。なお、光学系１１が光を反射するミラーおよびプリズムなどの少なくとも一方を備えている場合は、光軸は反射によって屈曲する。図７に示すように、光学系１１は、複数のレンズ及び絞り１１５を含む。特に光学系１１は自由曲面レンズ１１１、１１２を含む。

自由曲面レンズとは、結像のために光を屈折させる面が、非円弧状で、且つ回転対称ではないレンズである。なお、シリンドリカルレンズも円弧状レンズの一種として、自由曲面レンズとは異なるレンズとする。自由曲面レンズは、真円の一部ではない非円弧状の形状を有する。自由曲面レンズの材質は、特に限定されるものではないが、ガラスまたは樹脂などを例示することができる。自由曲面レンズの製造方法も特に限定されるものではないが、例えば金型などの型を用いて自由曲面レンズを成形する製造方法を例示することができる。

自由曲面レンズ１１１及び１１２の組は、画角に応じて、結像する像の拡大率を異ならせることが可能なレンズを構成する。自由曲面レンズ１１１及び１１２は、図６に示すように、撮像画像３００Ｌにおいて、一部の領域Ｒ１の拡大率が他の領域Ｒ２の拡大率よりも高くなるように設計される。高い拡大率を有する領域Ｒ１は、その中心Ｇ１が、撮像画像３００Ｌの中心Ｇ０から水平方向及び垂直方向の双方にシフトした位置に位置するように配置される。より具体的には、領域Ｒ１は、領域Ｒ１の中心Ｇ１が撮像画像３００Ｌの中心Ｇ０を基準として水平方向において車両側に、且つ、垂直方向において上方にシフトした位置になるように配置される。

本実施の形態の画像センサ１２は水平方向及び垂直方向において均一な画素分布を有している。このため、左サイドカメラ１０Ｌの光学系１１により画像センサ１２の撮像面に結像される像の解像度は図８に示すようになる。図８に示すように、撮像画像３００Ｌにおいて、領域Ｒ１における像の解像度は高く（密）、領域Ｒ１の外の領域Ｒ２の像の解像度は領域Ｒ１に比して小さく（疎）なる。本実施の形態では、領域Ｒ１を画像解析に使用する領域に設定する。これにより、領域Ｒ１の画像は高い解像度を有するため、解析精度を高めることができる。

ここで、像の解像度とは、光学系１１を介して画像センサ１２上に形成される単位画角の像を撮像するために使用される画像センサ１２の画素の数（単位画角当たりの画素の数）とする。解像度は下記式で定義される。

解像度＝所定画角の像を撮像するのに要する画素の数／所定画角 （１）
図９を参照し、光学系１１により結像される像の解像度についてより具体的に説明する。図９は、光軸Ｚを含む水平面で光学系１１および画像センサ１２を仮想的に切断したときの、画像センサ１２上の結像状態を模式的に説明した図である。図９に示すように、水平方向における画角θｘの範囲の第一領域ｒ１の被写体像と、同じ画角θｘを有する第二領域ｒ２の被写体像とを光学系１１を介して画像センサ１２上に結像する場合を検討する。領域ｒ１は被写体領域Ｒ１０の一部であり、撮像画像において領域Ｒ１の一部に対応する。領域ｒ２は被写体領域Ｒ２０の一部であり、撮像画像において領域Ｒ２の一部に対応する。

光学系１１は、撮像画像３００Ｌにおいて領域Ｒ１の拡大率Ｍ１が比較的高く、領域Ｒ２の拡大率Ｍ２が比較的低くなるように設計されている。光学系１１を介して画像センサ１２により、第一領域ｒ１の被写体を撮像した場合、図９に示すように、第一領域ｒ１の像は拡大率Ｍ１で拡大されて画像センサ１２の撮像面に結像される。一方、第二領域ｒ２の被写体を撮像した場合、拡大率Ｍ１よりも低い拡大率Ｍ２で像が拡大されて画像センサ１２の撮像面に結像される。このため、撮像面上の第二領域ｒ２の像の長さＬ２は第一領域ｒ１の像の長さＬ１よりも小さくなる。

画像センサ１２上では画素が二次元的に等間隔で配置されているため、水平方向の像の長さが大きいほど、その像の撮像に要する画素の数は多くなる。つまり、長さＬ１の範囲に含まれる第一領域ｒ１の像を撮像するのに要する画素の数Ｎ１は、長さＬ２（＜Ｌ１）の範囲に含まれる第二領域ｒ２の像を撮像するのに要する画素の数Ｎ２よりも大きくなる。第一領域ｒ１の画角と第二領域ｒ２の画角は同じ（θｘ）である。したがって、第一領域ｒ１に対する像の解像度（＝Ｎ１／θｘ）は、第二領域ｒ２に対する像の解像度（＝Ｎ２／θｘ）よりも高くなる。第一領域ｒ１に対する像は、画像センサ１２の撮像面において第１の領域Ｒ１に対応する位置に結像される。第二領域ｒ２に対する像は、画像センサ１２の撮像面において第２の領域Ｒ２に対応する位置に結像される。このように、第１の領域Ｒ１内の像の解像度は第２の領域Ｒ２内の像の解像度よりも高くなる。なお、ここでいう第１の領域Ｒ１の解像度とは、第１の領域Ｒ１の平均の解像度とする。また、第２の領域Ｒ２の解像度とは、第２の領域Ｒ２の平均の解像度とする。

図１０は、左サイドカメラ１０Ｌの光学系１１について、垂直方向および水平方向それぞれにおける画角に対する解像度（角度分解能）特性を示した図である。図１０においては、垂直方向及び水平方向の画角の中心を０°としている。図１０に示すように、垂直方向において、＋８°を中心として±１１．５°の範囲で画素密度が高くなっている。また、水平方向においては、－２５°を中心として±１５°の範囲で画素密度が高くなっている。換言すれば、垂直方向において＋８°かつ水平方向において－２５°の画角位置を中心として、垂直方向に±１１．５°かつ水平方向において±１５°の範囲（領域Ｒ１０）における解像度が、それ以外の範囲（領域Ｒ２０から領域Ｒ１０を除いた領域）の解像度よりも高くなっている。

図１１は、右サイドカメラ１０Ｒの光学系について、垂直方向および水平方向それぞれにおける画角に対する解像度（角度分解能）特性を示した図である。図１１において、＋５０°側が車両側となる。図１０と図１１の特性では、垂直方向の特性が同じであるが、水平方向の特性が左右反転した特性となっている。すなわち、図１１に示すように、垂直方向において、＋８°を中心として±１１．５°の範囲で解像度が高くなっている。また、水平方向においては、＋２５°を中心として±１５°の範囲で解像度が高くなっている。換言すれば、垂直方向において＋８°かつ水平方向において＋２５°の画角位置を中心として、垂直方向に±１１．５°かつ水平方向において±１５°の範囲における解像度が、それ以外の範囲の解像度よりも高くなっている。

以上のような光学特性を持つように自由曲面レンズ１１１及び１１２を設計することにより、図８に示すように、画像センサ１２により生成される撮像画像３００Ｌにおいて一部の領域Ｒ１に結像される像の解像度をそれ以外の領域Ｒ２に結像される像の解像度よりも大きく（すなわち、密に）することができる。

なお、本実施の形態では、解像度が異なるとは、光学系（例えば、一般的な回転対称な球面レンズ及び非球面レンズを含む光学系）と平面の画像センサの組み合わせによって発生する解像度との相違を意味している。

以上のような光学系１１を備えたサイドカメラ１０の効果について説明する。自動車の車両において従来のサイドミラーを電子ミラー化する場合、車両の近傍を検知するためには、図１２の（Ａ）に示すような広角Ｗ１の画像が必要となる。さらに、レーンチェンジする際に、後方の状況を検知するためには、図１２の（Ｂ）に示すような狭い画角Ｗ２の画像が必要となる。これは、画角が広いと、撮像画像における検知したい対象物の大きさが小さくなり、遠方の対象物の解像度が不足してセンシング精度が劣化するためである。そのため、二つの目的を達成するためには、広角Ｗ１の画像を撮影するカメラと、狭い画角Ｗ２の画像を撮影するカメラとをそれぞれ設ける必要があり、カメラ数が増加し、コストが増加するという課題があった。また、車両１００に設置されるカメラの数が増加することにより、車両デザイン性が低下し、また、空力特性が劣化するという課題があった。

このような課題に対して、本実施の形態のような光学系１１を備えたサイドカメラ１０によれば、図１２の（Ｃ）に示すように、１つのカメラで、全体として広い画角の領域Ｒ２０を撮像でき、さらに一部の狭い画角の領域Ｒ１０をより高い拡大率（すなわち高い解像度）で撮像することができる。撮像画像における高い解像度の部分を画像解析することで、解析精度を向上することができ、換言するとより遠方の被写体まで検知することができる。また広角部分については検知対象が比較的近傍にあるため、拡大率を比較的抑えても（すなわち比較的低い解像度でも）充分な精度で検知することができる。すなわち、本実施の形態のサイドカメラ１０によれば、全体として広い画角を確保しつつ、画像解析に使用する一部の領域については高い解像度を持つ画像を撮像することができる。

例えば、図１３の（Ａ）は、従来の広角カメラで撮影した画像である。この場合、後方検知の画像解析のために領域Ｒ０の部分を拡大すると、図１３の（Ｂ）に示すように解像度が低い画像が得られる。このような解像度が低い画像では、画像解析において物体を認識できず、車両後方を走行する、検知対象のバイク１０４を認識できない場合がある。

これに対して、本実施の形態のサイドカメラ１０によれば、図１４の（Ａ）に示すように、画像解析に使用する領域Ｒ１において被写体（ここでは、バイク１０４）が拡大された画像が得られる。よって、この領域Ｒ１を切り出した場合、図１４の（Ｂ）に示すように解像度の高い画像が得られるため、画像解析において検知対象であるバイク１０４を精度よく認識することができる。換言すると、より遠方まで検知することが可能となる。なお、説明を容易にするため、図１２～図１４において、バイク１０４に乗車している運転者が省略されている。

［１－２．動作］
以上のように構成されたサイドカメラ１０及び制御装置２０の動作を以下に説明する。

サイドカメラ１０は、車両１００の走行中または停車中に車両側方及び車両後方の画像を撮像し、画像データを生成して制御装置２０に送信する。

制御装置２０は、第１インタフェース２３及び第２インタフェース２４を介してサイドカメラ１０から画像データを受信する。制御装置２０のコントローラ２１は、受信した画像データに対して所定の画像処理を施し、表示用画像データを生成し、第３インタフェース２５を介して表示装置３０へ送信する。表示装置３０は、制御装置２０から受信した画像データに基づき画像を表示する。車両１００のドライバは、表示装置３０に表示された画像を確認することで、車両の側方及び斜め後方の状況を把握することができる。

さらに、制御装置２０のコントローラ２１は、サイドカメラ１０から受信した画像データを画像解析（センシング）して、車両の斜め後方の状況に関する様々な情報を取得する。このとき、コントローラ２１は、撮像画像において領域Ｒ１部分の画像を解析する。領域Ｒ１部分は高い解像度を有することから、精度良く解析を行うことができる。例えば、コントローラ２１は画像解析により、図１５に示すように、車両１００が走行中のレーンの隣のレーンの後方において走行中の自動車またはバイクがあるか否かを判断し、検知できる。また、コントローラ２１は、これらの自動車またはバイクが、どの程度の速度で自車両に近接してくるかを判断し、検知できる。そしてコントローラ２１は、検知した情報をドライバまたは車両に伝えることで、安全なレーンチェンジを実現できる。なお、図１５においても、説明を容易にするため、バイク１０４に乗車している運転者が省略されている。

コントローラ２１は、画像解析の結果に基づき所定の制御対象６０に対する制御信号を生成し、第４インタフェース２７を介して制御対象６０に送信する。これにより、車両側方または後方の状況に応じて制御対象６０が制御される。制御対象６０は例えば、ブレーキ、アクセル、および警告装置の少なくともいずれか一つである。

例えば、車両１００の左サイドカメラ１０Ｌの撮像画像の画像解析により、図１５に示すように、車両１００が走行中のレーンの隣のレーンにおいて、車両１００と並走する車両１０２があることを検出した場合、または、隣のレーンの後方において走行中のバイク１０４を検出した場合、コントローラ２１は、ステアリング動作を制御し、車両１００が隣のレーンに移動しないように車両１００の挙動を制御することができる。

本実施の形態のサイドカメラ１０によれば、１つのカメラで広角画像を撮像しつつ、センシングに重要な一部の領域において解像度の高い画像を撮像できる。このため、カメラを２台設ける必要がなく、撮像装置の小型化が実現できる。

このように、本実施の形態のサイドカメラ１０によれば、一台の装置で、広い画角範囲で撮影することができるとともに、センシングに重要な一部の領域において高い解像度で画像を撮影することができる。よって、装置数の低減が実現できる。また、装置全体の小型化を実現できる。また、撮影画像を用いた画像解析の精度を向上することができる。

［１－３．効果等］
以上のように、本実施の形態のサイドカメラ１０（本開示の撮像装置の一例）は、車両１００（本開示の移動体の一例）の側方に取り付けられる撮像装置である。サイドカメラ１０は、画像センサ１２と光学系１１とを備える。画像センサ１２は、複数の画素が二次元的に配置された撮像面を含む。画像センサ１２は、撮像面上に結像された被写体像から画像データを生成する。光学系１１は、所定の垂直画角（例えば、８３°）と所定の水平画角（例えば、１００°）の範囲に含まれる被写体像を画像センサ１２の撮像面上に結像させる。

ここで、単位画角に含まれる被写体像を撮像する画素の数を解像度とする。撮像面は、被写体像のうち第１の被写体像を撮像する第1の領域（例えば図６の領域Ｒ１）と、第１の領域とは異なり、被写体像のうち第２の被写体像を撮像する第２の領域（例えば図６の領域Ｒ２）と、を含む。

光学系１１は、撮像面の第１の領域Ｒ１における像の解像度が、第２の領域Ｒ２における像の解像度よりも高くなるように撮像面上に像を結像する。第１の領域Ｒ１は、その領域の中心Ｇ１の位置が水平画角の中心から水平にシフトした位置に配置されてもよい。例えば、第１の領域Ｒ１は、水平方向において、水平画角の中心Ｇ０から、車両１００の一部の画像を結像する領域に近い方にシフトした位置に配置されてもよい。

上記構成により、撮像画像（例えば、車両の側方及び斜め後方を撮像した画像）において第１の領域Ｒ１の解像度を他の領域Ｒ２の解像度よりも高くできる。これにより、１台の装置で、全体として広い画角を確保しつつ、画像解析に必要な領域の画像の解像度を高くした画像の撮像が可能になり、撮像画像の解析精度を向上できる。すなわち、装置の大型化及びコストの増大を抑制できる。また、第１の領域Ｒ１の中心Ｇ１を、水平画角の中心から水平にシフトした位置に配置することにより、例えば隣のレーンの車両が撮像される領域を高解像度に撮像できる。よって、画像解析により必要な領域の解像度を高くできる。

また、本実施の形態では、第１の領域Ｒ１は、水平画角の中心から、車両１００の画像を結像する領域に向かって水平にシフトした位置に配置されてもよい。これにより、第１の領域Ｒ１において、車両１００の隣接するレーンを走行する車両の像が結像されやすくなる。つまり、隣接するレーンを走行する車両をより確実に検出できるようになる。

さらに、本実施の形態では、第１の領域Ｒ１の中心Ｇ１の位置は、垂直画角の中心からシフトした位置になるように配置されてもよい。例えば、第１の領域Ｒ１の中心Ｇ1は、垂直画角の中心から、車両１００の斜め後方の画像が撮像される領域に近づくように、垂直にシフトした位置に配置されてもよい。これにより、より画像解析に必要な領域の画像の解像度を高くでき、撮像画像の解析精度を向上できる。

また、本実施の形態では、水平画角および前記所定の垂直画角のそれぞれにおける解像度のピークの数は、一つであってもよい。解像度のピーク数を一つにすることにより、より画像解析に必要な領域の解像度を高くでき、撮像画像の解析精度を向上できる。

また、本実施の形態では、光学系１１は自由曲面レンズ１１１、１１２を含んでもよい。これにより、光学系において画角に応じて変化する拡大率を自由に設計できる。

また、本実施の形態では、サイドカメラ１０は、車両１００の側方に取り付けられたときに、車両１００の側方および斜め後方の画像を撮像してもよい。これにより、例えばレーンチェンジの際に安全確認したい領域を撮像できる。

なお、サイドカメラ１０により生成された画像データを、車両のフロントガラスの側方に投影、または表示すれば、サイドミラーを電子ミラー化できる。この場合、電子ミラーに表示される画像は、図１４の（Ａ）に示す画像を補正した画像であってもよい。つまり、図１４の（Ａ）に示す画像は、領域Ｒ１が大きく表示され、領域Ｒ２が小さく表示されるため、歪んだ画像となっている。したがって、画像を電子ミラーに表示する場合は、図１４の（Ａ）に示す画像の拡大率を平均化した画像を表示してもよい。

具体的には、領域Ｒ１の画素を減らしてもよい。この場合、電子ミラーに表示される領域Ｒ１の画像は小さくなる。しかし、領域Ｒ１のデータ量は領域Ｒ２のデータ量よりも多いため、領域Ｒ１の画像は小さくても明瞭な画像となる。また、領域Ｒ２の画素を増やしてもよい。この場合、電子ミラーに表示される領域Ｒ２の画像は大きくなる。領域Ｒ２のデータ量は比較的少ないため、データが補完されてもよい。

一方で、サイドカメラ１０で生成された画像データを専らセンシング用の画像解析に用いられる場合は、画像を補正する必要はない。つまり、図１４の（Ａ）に示すような歪んだ画像のデータをそのまま解析に用いればよい。

（実施の形態２）
実施の形態１では、一部の領域Ｒ１の解像度が高い撮像画像を得るために、光学系１１を、自由曲面レンズを用いて構成した。しかし、必ずしも光学系１１に自由曲面レンズを使用しなくてもよい。このような撮像画像は、画像センサ１２の画素分布を工夫することで、通常の回転対称な光学系を用いても実現することができる。以下、自由曲面レンズを含まない光学系を備えたサイドカメラ１０の構成を説明する。

図１６は、実施の形態１のサイドカメラ１０における画像センサ１２の画素分布と、光学系１１と画像センサ１２の組み合わせにより撮像される撮像画像の解像度分布とを説明した図である。図１７は、実施の形態２のサイドカメラ１０ｂにおける画像センサ１２ｂの画素分布と、光学系１１ｂと画像センサ１２ｂの組み合わせにより撮像される撮像画像３００ｂの解像度分布とを説明した図である。

図１６に示すように、実施の形態１においては、画像センサ１２は、複数の画素が二次元的に等間隔に配置されている。このような画像センサ１２の撮像面に対して、光学系１１の自由曲面レンズ１１１、１１２により、一部の領域Ｒ１の解像度が高い像が形成される。その結果、領域Ｒ１の解像度が高く、それ以外の領域の解像度が低くなる撮像画像を得ることができる。

これに対して、本実施の形態では、図１７に示すように、サイドカメラ１０は、回転対称なレンズである光学系１１ｂと、特定の画素分布を有する画像センサ１２ｂとを備える。光学系１１ｂは、均一な画素分布を有する画像センサ上に像を結像したときの垂直方向及び水平方向の解像度に関して、図１８に示すような解像度（角度分解能）特性を有するようなレンズである。すなわち、光学系１１ｂは、垂直方向及び水平方向における画角に対して同一の解像度特性を有する。

画像センサ１２ｂは、図１９に示すように、中心からシフトした領域Ｒ１に対応する領域の画素密度が高く、それ以外の領域（領域Ｒ２に対応する部分）の画素密度が低くなるような画素分布を有する。図１９に示すように、垂直方向において、＋８°を中心として±１１．５°の範囲で画素密度が高くなっている。一方、水平方向においては、－２５°を中心として±１５°の範囲で画素密度が高くなっている。このような光学系１１ｂと画像センサ１２ｂの組み合わせにより、実施の形態１の場合と同様の解像度分布を有する撮像画像３００ｂを得ることができる。

以上のように、本実施の形態のサイドカメラ１０ｂは、車両１００（移動体の一例）の側方に取り付けられる撮像装置である。サイドカメラ１０ｂは、画像センサ１２ｂと、光学系１１ｂとを備える。画像センサ１２ｂは、複数の画素が二次元的に配置された撮像面を含む。画像センサ１２ｂは、撮像面上に結像された被写体像から画像データを生成する。光学系１１ｂは、所定の垂直画角と所定の水平画角の範囲にある被写体像を画像センサ１２ｂの撮像面上に結像させる。ここで、単位画角に含まれる被写体像を撮像する画素の数を解像度とする。光学系１１ｂは、撮像面上に均一な解像度で像を結像する。画像センサ１２ｂは、撮像面の第１の領域Ｒ１に対応する領域の画素密度が、第１の領域と異なる第２の領域Ｒ２に対応する領域の画素密度よりも高くなるような画素分布を有する。第１の領域Ｒ１は、その領域の中心Ｇ１の位置が水平画角の中心からシフトした位置になるように配置される。さらに、第１の領域Ｒ１の中心Ｇ１の位置が垂直画角の中心からシフトした位置になるように配置される。

上記の構成によって、実施の形態１と同様に、撮像画像において中央部分の領域Ｒ１の解像度をそれ以外の領域Ｒ２の解像度よりも高くできる。これにより、全体として広い画角を確保しつつ、画像解析に必要な中央部分の画像の解像度を高くした画像の撮像が可能になり、撮像画像の解析精度を向上できる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、または省略などを行った実施の形態にも適用可能である。また、上記実施の形態１、２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上記の実施の形態では、表示装置として、電子ルームミラーと車載ディスプレイを例示したが、表示装置の種類はこれらに限定されない。本開示の思想は、用途に応じて種々のタイプの表示装置（例えば、ヘッドアップディスプレイ）を用いた表示システムに適応できる。

上記の実施の形態では、サイドカメラ１０の信号処理回路１３において、画像に対するガンマ補正、および歪曲補正等を行ったが、これらの画像処理を制御装置２０において行ってもよい。

上記の実施の形態では、移動体の一例として、自動車の車両１００を説明したが、移動体は自動車に限らない。上記の実施の形態の撮像装置を、他の移動体、例えば、鉄道、船舶、航空機、ロボット、ロボットアーム、ドローン、コンバインなどの農業用機械、またはクレーンなどの建設用機械に適用してもよい。

上記の実施の形態で示した画角および解像度等は一例であり、画像解析したい対象（物、事象）に応じて適宜設定することができる。

上記の実施の形態では、光学系において自由曲面レンズを用いたが、自由曲面レンズに代えて、画角に応じて拡大率（解像度）を自由に設計できるレンズであれば、他の種類のレンズを用いても良い。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示の撮像装置は、全体として広い画角を確保しつつ、画像解析に必要な中央部分の画像の解像度を高くした画像の撮像が可能になり、撮像画像の解析精度を向上でき、種々の用途（移動体での撮像システムまたは表示システム等）に適用することができる。

１０ サイドカメラ
１０Ｒ 右サイドカメラ
１０Ｌ 左サイドカメラ
１１、１１ｂ 光学系
１２、１２ｂ 画像センサ
１３ 信号処理回路
１４ インタフェース
２０ 制御装置
２１ コントローラ
２３、２５、２７ インタフェース
２９ データ記憶部
３０ 表示装置
６０ 制御対象
１００ 自動車の車両
１１１、１１２ 自由曲面レンズ
Ｒ１ 撮像画像における像の解像度（拡大率）が比較的高い領域
Ｒ２ 撮像画像における像の解像度（拡大率）が比較的低い領域
ｒ１、ｒ２ 被写体の領域
Ｚ 光軸

Claims (8)

1. 複数の画素が二次元的に配置された撮像面を含み、前記撮像面上に結像された被写体像から画像データを生成する画像センサと、
   自由曲面レンズを含み、所定の垂直画角と所定の水平画角の範囲に含まれる前記被写体像を前記撮像面上に結像させる光学系と、を備えた撮像装置であって、
   前記光学系の光軸が前記画像センサの前記撮像面の中心を通り、単位画角に含まれる前記被写体像を撮像する画素の数を解像度とし、
   前記撮像面は、前記被写体像のうち第１の被写体像を撮像する第1の領域と、前記第１の領域とは異なり、前記被写体像のうち第２の被写体像を撮像する第２の領域と、を含み、
   前記光学系は、前記第１の領域の解像度が、前記第２の領域の解像度よりも高くなるように前記撮像面上に前記被写体像を結像し、
   前記撮像装置は移動体の側方用の撮像装置であり、前記第１の領域の中心の位置は、前記所定の水平画角の中心から水平にシフトした位置であり、前記移動体側から水平方向に順に前記第２の領域、前記第１の領域、前記第２の領域は配置される、
   撮像装置。
2. 前記撮像装置が前記移動体の左側用の撮像装置であるときは、前記第１の領域の中心の位置は、前記所定の水平画角の中心から水平にシフトした位置であり、前記移動体側から水平方向に順に前記第２の領域、前記第１の領域、前記第２の領域は配置され、
   前記撮像装置が前記移動体の右側用の撮像装置であるときは、前記第１の領域の中心の位置は、前記所定の水平画角の中心から前記左側用の撮像装置とは反対方向に水平にシフトした位置であり、前記移動体側から水平方向に順に前記第２の領域、前記第１の領域、前記第２の領域は配置される、請求項１に記載の撮像装置。
3. 前記所定の水平画角および前記所定の垂直画角のそれぞれにおける前記解像度のピークの数は、一つである、請求項１または２に記載の撮像装置。
4. 前記第１の領域の前記中心の前記位置は、前記水平画角の前記中心から、前記移動体の一部の画像を結像する領域に向かって水平にシフトした前記位置に配置される、請求項１～３のいずれか一つに記載の撮像装置。
5. 前記移動体の前記側方に取り付けられたときに、前記移動体の前記側方及び斜め後方の画像を撮像する、請求項１～４に記載のいずれか一つに記載の撮像装置。
6. 前記移動体は、自動車、鉄道、船舶、航空機、ロボット、ロボットアーム、ドローン、農業用機械、および建設用機械のいずれか一つである、請求項１～５のいずれか一つに記載の撮像装置。
7. 請求項１～６のいずれか一つに記載の撮像装置と、
   前記撮像装置により生成された前記画像データに基づき画像を表示する表示装置と、
   を備えた表示システム。
8. 請求項１～６のいずれか一つに記載の撮像装置と、
   前記撮像装置により生成された画像データを解析する制御装置と、
   を備えた撮像システム。

Images