JP6459016B2 - 撮像システム、および、移動体システム - Google Patents

Description

本開示は、所定の領域の像を画像データとして生成する撮像システム、および、当該撮像システムを備えた移動体システムに関する。

従来、自動車に撮像装置を複数台取り付け、複数台の撮像装置から得られる画像を合成して自動車の周囲を示す画像とするいわゆるトップビュー及びフリービューという技術がある。

特許文献１には、車両に配置された複数台の撮像装置に基づき画像を合成する装置において、一つの撮像装置に異常が発生した場合に、合成画像の解像度が低下することを抑制する技術が記載されている。

特開２０１５−１９２７１号公報

昨今、特に自動車などの車両について、撮像装置で撮像した画像を表示することによりバックミラーなどに代替させることが可能となってきている。しかし、これに用いられる画像は、人が確認し易いように高い解像度が要求されている。しかしながら車両に用いられる撮像素子は高信頼性を確保するために従来より使用されている比較的低解像度の撮像素子を使用する必要がある。この比較的低解像度の撮像素子で車両の全周囲を撮像する撮像装置では解像度が不足する恐れがあり、バックミラーの代替として画像をモニタに表示させるために比較的低解像度の撮像素子でも解像度の高い映像を撮影する必要がある。

以下、自由曲面レンズを用いることにより一つの撮像装置であっても必要な撮像領域を高解像度とすることができる撮像システム、および、当該撮像システムを備えた移動体システムを開示する。

本開示にかかる撮像システムは、複数の撮像画素が行列状に配置される撮像素子と、前記撮像素子の撮像面に所定の領域の像を結像させる光学系とを有する撮像装置と、前記撮像素子から取得した画像データに基づき画像を生成する生成部とを備え、前記光学系は、単位画角に含まれる像を撮像する前記撮像画素の数を解像度とした場合に、前記領域の一部分の解像度と前記領域の他部分の解像度とが異なるように前記撮像面に結像させることのできる形状を有する自由曲面レンズを備える。

本開示に係る移動体システムは、複数の撮像画素が行列状に配置される撮像素子と、前記撮像素子の撮像面に所定の領域の像を結像させる光学系とを有する撮像装置と、前記撮像装置が取り付けられ、空間を移動する移動体と、前記撮像素子から取得した画像データに基づき画像を生成する生成部と、前記生成部により生成された画像を表示する表示装置とを備え、前記光学系は、単位画角に含まれる像を撮像する前記撮像画素の数を解像度とした場合に、前記領域の一部分の解像度と前記領域の他部分の解像度とが異なるように前記撮像面に結像させることのできる形状を有する自由曲面レンズを備える。

以上のように、本開示の撮像システム、および、移動体システムは、自由曲面レンズを用いることで１台の撮像装置の中で高解像度の画像と低解像度の画像を得ることが可能となる。

図１は、水平面において、実施の形態１に係る車両に取り付けられた複数の撮像装置のそれぞれの撮像領域を示す図である。 図２は、実施の形態１に係る移動体システムの機構部と機能部とを示すブロック図である。 図３は、第二光軸を含む垂直面で実施の形態１に係る第二光学系を仮想的に切断した断面を示す構成図である。 図４は、実施の形態１に係る第二光学系を用いて解像度を説明するための図である。 図５は、実施の形態１に係る自由曲面レンズに基づく解像度の状態を示す図である。 図６は、実施の形態１に係る生成部により生成された移動体の後方を示す画像データを示す図である。 図７は、従来の魚眼レンズにより撮像装置に結像させた状態を示す図である。 図８は、実施の形態１に係る自由曲面レンズにより撮像装置に結像させた状態を示す図である。 図９は、実施の形態２に係る移動体に取り付けられた複数の撮像装置のそれぞれの撮像領域を示す図である。 図１０は、実施の形態２に係る移動体システムの機構部と機能部とを示すブロック図である。 図１１は、実施の形態２に係る生成部により生成される画像を段階的に示した図である。

次に、本開示に係る撮像システム、および、移動体システムの実施の形態について、図面を参照しつつ説明する。なお、以下の実施の形態は、本開示に係る撮像システム、および、移動体システムの一例を示したものに過ぎない。従って本開示は、以下の実施の形態を参考に請求の範囲の文言によって範囲が確定されるものであり、以下の実施の形態のみに限定されるものではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

また、図面は、本開示のために適宜強調や省略、比率の調整を行った模式的な図となっており、実際の形状や位置関係、比率とは異なる場合がある。

（実施の形態１）
図１は、水平面において、車両に取り付けられた複数の撮像装置のそれぞれの撮像領域を示す図である。

図２は、移動体システムの機構部と機能部とを示すブロック図である。

これらの図に示すように、移動体システム２００は、撮像システム１００を含み、移動体を中心とした所定の方向の領域の像を画像として表示することができるシステムであって、移動体２０１と、撮像装置と、生成部１０５と、表示装置２０２とを備えている。本実施の形態１の場合、撮像装置には、第一撮像装置１１０、第二撮像装置１２０、第三撮像装置１３０、第四撮像装置１４０が含まれている。

［移動体２０１］
移動体２０１は、撮像装置が取り付けられた状態で空間を移動する装置である。本実施の形態１の場合、移動体２０１は、人を乗せて道路上を移動することができる自動車などの車両である。

［撮像装置］
撮像装置は、所定の領域に含まれる像を画像データに変換することができる装置であり、撮像素子と、光学系とを備えている。本実施の形態１の場合、移動体システム２００が備える撮像システム１００は、撮像装置として第一撮像装置１１０と、第二撮像装置１２０と、第三撮像装置１３０と、第四撮像装置１４０とを備えている。

［撮像素子］
撮像素子は、光学的に撮像面に結ばれた像を行列状に並んで配置される複数の撮像画素により画像データに変換することができる素子であり、例えばＣＭＯＳやＣＣＤなどのいわゆるイメージングセンサである。本実施の形態１の場合、各撮像装置は、撮像素子として、第一撮像素子１１１、第二撮像素子１２１、第三撮像素子１３１、第四撮像素子１４１をそれぞれ備えている。

［光学系］
光学系は、撮像素子の撮像面に所定の領域の像を結像させる装置であり、複数のレンズや絞り、フィルタなどの組み合わせにより構成されるものである。また、光学系が備える複数のレンズの少なくとも１つは、自由曲面レンズである。本実施の形態１の場合、各撮像装置は、光学系として、第一光学系１１２、第二光学系１２２、第三光学系１３２、第四光学系１４２をそれぞれ備えている。

以下、第二光学系１２２を例として光学系を具体的に説明する。

図３は、第二光軸を含む水平面で第二光学系を仮想的に切断した断面を示す構成図である。

図３は、第二光軸を含む垂直面で第二光学系を仮想的に切断した断面を示す構成図である。

図４は、第二光学系を用いて解像度を説明するための図である。

これらの図に示すように、第二光学系１２２は、第二撮像素子１２１の撮像面に所定の領域に含まれる像を結像させる装置である。また、第二光学系１２２は、第二光軸１２９と直交する第一軸（図中左右軸）と第二光軸１２９とを含む平面（水平面）の断面において、第二自由曲面レンズ１２３、１２４は、第二領域３０２（図１参照）の一部である中央部分の解像度が第二領域３０２の両端部分の解像度よりも高くなるように第二撮像素子１２１に結像させる形状を有する。

ここで、光軸とは、原則、撮像素子の撮像面の中央（中心）を通過し、撮像面に垂直な仮想線である。なお、光学系が光を反射するミラーやプリズムなどを備えている場合は、光軸は反射によって屈曲する。

また、解像度とは、単位画角に含まれる像を撮像する撮像画素の多さである。具体的に例えば、図４に示すように第二光軸１２９を含む第一部分領域ｒ１（濃い色の部分）の画角とこれに隣接する第二部分領域ｒ２の画角はθ１で同じである。しかし、水平面において、第二撮像素子１２１に撮像面に結ばれる像の長さは、第一部分領域ｒ１に対応する像の方が第二部分領域ｒ２に対応する像の長さよりも長い。一方、第二撮像素子１２１は等間隔に撮像画素を備えている。以上により、同じ角度の画角である場合、これらに対応する像を撮像する撮像画素の数が多いほど、解像度が高くなる。

また、解像度が異なるとは、主として球面レンズからなる光学系と平面の撮像素子の組み合わせによって発生する解像度の相違、つまり光軸近傍部の解像度と光軸から最も遠い部分の解像度との相違以上に異なることを意味している。

また、自由曲面レンズとは、結像のために光を屈折させる面が、非円弧状、且つ回転対称ではないレンズである。なお、シリンドリカルレンズも円弧状レンズの一種として、自由曲面レンズとは異なるレンズとする。自由曲面レンズとしては例えば、第二自由曲面レンズ１２３は、図３に示すように、第二光軸１２９と第一軸（左右軸）とを含む面（水平面）で仮想的に切断した断面の形状と、第二光軸１２９および第一軸と直交する第二軸（上下軸）と第二光軸１２９とを含む面（垂直面）で仮想的に切断した断面の形状（図示せず）とが異なり、かつ、いずれも真円の一部ではない非円弧となっている。

また、自由曲面レンズの材質は、特に限定されるものではないが、ガラスや樹脂などを例示することができる。自由曲面レンズの製造方法も特に限定されるものではないが、例えば、金型などの型を用いて自由曲面レンズを成形する製造方法を例示することができる。

［生成部１０５］
生成部１０５は、撮像装置の撮像素子からインターフェース１０６を介して取得した画像データに基づき１以上の画像を生成する処理部であり、撮像装置の光学系が備える自由曲面レンズの形状を示す形状データを保持し、当該形状データに基づき生成する画像に補正を加え、自由曲面レンズが用いられていない場合の画像、つまり実際の像に画像を近づける機能を備えている。また、生成部１０５は、複数の撮像素子から画像データを取得した場合、複数の画像データに基づき画像を合成し、必要な部分を切り出して１以上の合成画像を生成する機能を備えてもよい。

なお、生成部１０５は、専用のハードウェアで構成されてもよく、演算素子などのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

［撮像装置各論］
次に、移動体２０１に取り付けられた第一撮像装置１１０〜第四撮像装置１４０のそれぞれについて説明する。

第一撮像装置１１０は、移動体２０１の右側部に、移動体２０１よりも右方向が撮像できるように取り付けられており、第一撮像素子１１１と、第一撮像素子１１１の撮像面に移動体２０１より右側の第一領域３０１の像を結像させる第一光学系１１２とを備えている。

第二撮像装置１２０は、移動体２０１の後方部に、移動体２０１よりも後ろ方向が撮像できるように取り付けられており、第二撮像素子１２１と、第二撮像素子１２１の撮像面に移動体２０１より後方の第二領域３０２の像を結像させる第二光学系１２２とを備えている。

第三撮像装置１３０は、移動体２０１の左側部に、移動体２０１よりも左方向が撮像できるように取り付けられており、第三撮像素子１３１と、第三撮像素子１３１の撮像面に移動体２０１より左側の第三領域３０３の像を結像させる第三光学系１３２とを備えている。

第四撮像装置１４０は、移動体２０１の前方部に、移動体２０１よりも前方向が撮像できるように取り付けられており、第四撮像素子１４１と、第四撮像素子１４１の撮像面に移動体２０１より前方の第四領域３０４の像を結像させる第四光学系１４２とを備えている。

ここで、第一領域３０１は、第四領域３０４と第二領域３０２とのいずれとも一部重複している。第二領域３０２は、第一領域３０１と第三領域３０３とのいずれとも一部重複している。第三領域３０３は、第二領域３０２と第四領域３０４とのいずれとも一部重複している。第四領域３０４は、第三領域３０３と第一領域３０１とのいずれとも一部重複している。これにより、移動体システム２００、および、撮像システム１００は、移動体２０１の周囲の全てを示す画像を生成することができるものとなっている。なお、撮像装置の水平面における全画角は、特に限定されるものではないが、例えばいずれもおよそ１８０°程度である。また、各撮像装置は、垂直面にも広がった視野を備えており、垂直面における全画角は、例えば１５０°程度である。

［撮像素子各論］
本実施の形態１の場合、各撮像装置が備える第一撮像素子１１１、第二撮像素子１２１、第三撮像素子１３１、第四撮像素子１４１は、同じ種類のイメージングセンサが採用されている。

［光学系各論］
第一光学系１１２は、図５に示すように、第二領域３０２と重複する部分の解像度は、第一領域３０１の他部分の解像度よりも高くなるように第一撮像素子１１１の撮像面に結像させることのできる形状の第一自由曲面レンズを備えている。但し、第一領域３０１の解像度が高い部分は、第二領域３０２と重複する部分以上に設定しても良い。

第二光学系１２２は、図５に示すように、第一領域３０１、および、第三領域３０３と重複しない部分の解像度は、重複する部分の解像度よりも高くなるように第二撮像素子１２１の撮像面に結像させることのできる形状の第二自由曲面レンズ１２３を備えている。

第三光学系１３２は、図５に示すように、第三領域３０３において第二領域３０２と重複する部分が他の部分よりも解像度が高くなるように第三撮像素子１３１に結像させる形状を有する第三自由曲面レンズを備えている。但し、第三領域３０３の解像度が高い部分は、第二領域３０２と重複する部分以上に設定しても良い。

第四光学系１４２は、図５に示すように、中央部分が最も解像度が高く、側方に向かうほど段階的に解像度が低下するように第四撮像素子１４１に結像される形状を有する第四自由曲面レンズを備えている。

［生成部］
本実施の形態１の場合、生成部１０５は、第一領域３０１と第二領域３０２とが重複する部分の画像データを第一撮像素子１１１から取得し、第三領域３０３と第二領域３０２とが重複する部分の画像データを第三撮像素子１３１から取得する。そして、これらの画像データと第二撮像素子１２１から取得した画像データの高い解像度の部分とを合成し、図６に示すような、移動体２０１の後方を示す画像データを生成する。これにより得られる合成画像は、移動体２０１の後方を示す画像であって、移動体２０１の後方の左右方向の一方端から他方端に至るまで全域にわたって高い解像度の画像とすることができる。

さらに生成部１０５は、第一撮像素子１１１、第二撮像素子１２１、第三撮像素子１３１、および、第四撮像素子１４１から取得した画像データから、歪み補正・視点変換処理を行った後、領域が重複している部分の画像データに基づき位置合わせを行い、移動体２０１の全周囲を示す合成画像を生成する。これにより、いわゆるトップビューの画像を得ることができる。

以上のように、本実施の形態１の撮像システム１００、および、移動体システム２００によれば、４つの撮像装置を用いてトップビューの画像を形成できると共に、移動体２０１の後方を高い解像度の画像で示すことが可能となる。

表示装置２０２は、生成部１０５により生成された画像を表示する装置である。本実施の形態１の場合、表示装置２０２は、移動体２０１の室内であって、移動体２０１を運転する運転者が視認しやすい位置に取り付けられている。さらに、表示装置２０２は、第一表示装置（図示せず）と第二表示装置（図示せず）とを備え、第一表示装置は、移動体２０１の後方を示す高解像度の画像を表示し、例えば駐車時には第二表示装置は、移動体２０１を仮想的に示す画像と共に移動体２０１の周囲全体を示すいわゆるトップビューの画像を表示する。これによれば、４つの撮像装置によって、移動体２０１を駐車させる際の補助を行うことができ、かつ、移動体２０１が走行している際の車線変更などの補助を行う事も可能となる。

（実施の形態２）
続いて、撮像システム、および、移動体システムの他の実施の形態について説明する。なお、前記実施の形態１と同様の作用や機能、同様の形状や機構や構造を有するもの（部分）には同じ符号を付して説明を省略する場合がある。また、以下では実施の形態１と異なる点を中心に説明し、同じ内容については説明を省略する場合がある。

図９は、実施の形態２に係る水平面において、車両に取り付けられた複数の撮像装置のそれぞれの撮像領域を示す図である。

図１０は、実施の形態２に係る移動体システムの機構部と機能部とを示すブロック図である。

これらの図に示すように、移動体システム２００は、撮像システム１００を含み、移動体を中心とした所定の方向の領域の像を画像として表示することができるシステムであって、移動体２０１と、撮像装置と、生成部１０５と、表示装置２０２とを備えている。

［撮像装置］
撮像装置は、所定の領域に含まれる像を画像データに変換することができる装置であり、撮像素子と、光学系とを備えている。本実施の形態２の場合、移動体システム２００が備える撮像システム１００は、撮像装置として第五撮像装置１５０と、第六撮像装置１６０と、第七撮像装置１７０と、第八撮像装置１８０とを備えている。

［撮像素子］
撮像素子は、光学的に撮像面に結ばれた像を行列状に並んで配置される複数の撮像画素により画像データに変換することができる素子であり、例えばＣＭＯＳやＣＣＤなどのいわゆるイメージングセンサである。本実施の形態２の場合、各撮像装置は、撮像素子として、第五撮像素子１５１、第六撮像素子１６１、第七撮像素子１７１、第八撮像素子１８１をそれぞれ備えている。

［光学系］
光学系は、撮像素子の撮像面に所定の領域の像を結像させる装置であり、複数のレンズや絞り、フィルタなどの組み合わせにより構成されるものである。また、光学系が備える複数のレンズの少なくとも１つは、自由曲面レンズである。本実施の形態２の場合、各撮像装置は、光学系として、第五光学系１５２、第六光学系１６２、第七光学系１７２、第八光学系１８２をそれぞれ備えている。

以下、第五光学系１５２を例として光学系を具体的に説明する。

第五光学系１５２は、第五撮像素子１５１の撮像面に所定の領域に含まれる像を結像させる装置である。特に、第五光学系１５２は、第五光学系１５２の光軸に平行または略平行に配置された第一平面領域３５１が第五撮像素子１５１の撮像面に結像するように配置されている。

本実施の形態の場合、第一平面領域３５１は、自動車である移動体２０１が走行する道路、駐車場などの平面の一部の領域であり、少なくとも周縁の一部に直線部分を備える領域である。各平面領域は、多角形であっても良く、具体的には、第一平面領域３５１、および、第三平面領域３５３は六角形、第二平面領域３５２、および、第四平面領域３５４は、台形である。

また、第五光学系１５２は、第一平面領域３５１の第五光学系１５２に近い部分より遠い部分の解像度が高くなるように第五撮像素子１５１に結像させる第五自由曲面レンズを有する。また、第五光学系１５２は、第一平面領域３５１において、第二平面領域３５２、および、第四平面領域３５４の少なくとも一方の境界部分に近い領域の解像度が高くなるように第五撮像素子１５１に結像することができるものである。ここで、解像度が高くなるようにとは、解像度の低い部分から高い部分まで段階的に解像度が変化しても良く、連続的に変化してもかまわない、また、段階的に変化する部分と連続的に変化する部分とを組み合わせてもかまわない。

［生成部１０５］
生成部１０５は、撮像装置の撮像素子からインターフェース１０６を介して取得した画像データに基づき１以上の画像を生成する処理部であり、実際の第一平面領域３５１、第二平面領域３５２、第三平面領域３５３、および、第四平面領域３５４のそれぞれの形状に画像の対応する部分を近づける機能を備えている。また、生成部１０５は、複数の撮像素子から画像データを取得し、複数の画像データ基づき画像を合成し、実際の第一平面領域３５１、第二平面領域３５２、第三平面領域３５３、および、第四平面領域３５４の配置を再現して移動体２０１の周囲を示す合成画像を生成する機能を備えている。とくに各領域の境界の近傍は解像度が高く設定されているため、生成部１０５は、解像度が高い部分の画像データを用いてスティッチングを行い、合成画像のつなぎ目部分の画像劣化を抑制している。

［撮像装置各論］
次に、移動体２０１に取り付けられた第五撮像装置１５０〜第八撮像装置１８０のそれぞれについて説明する。

第五撮像装置１５０は、移動体２０１の前方部に、移動体２０１よりも前方向が撮像できるように取り付けられており、第五撮像素子１５１と、第五撮像素子１５１の撮像面に移動体２０１が走行する面において、移動体２０１を取り囲むように仮想的に設定される矩形の環状領域３５０の一部である第一平面領域３５１の像を結像させる第五光学系１５２とを備えている。

第六撮像装置１６０は、移動体２０１の右側方部に、移動体２０１よりも右方向が撮像できるように取り付けられており、第六撮像素子１６１と、第六撮像素子１６１の撮像面に環状領域３５０の第一平面領域３５１とは異なる領域であって第一平面領域３５１と線接触する第二平面領域３５２の像を結像させる第六光学系１６２とを備えている。

第七撮像装置１７０は、移動体２０１の後方部に、移動体２０１よりも後ろ方向が撮像できるように取り付けられており、第七撮像素子１７１と、第七撮像素子１７１の撮像面に環状領域３５０の第一平面領域３５１および第二平面領域３５２とは異なる領域であって第二平面領域３５２と線接触する第三平面領域３５３の像を結像させる第七光学系１７２とを備えている。

第八撮像装置１８０は、移動体２０１の左側方部に、移動体２０１よりも左方向が撮像できるように取り付けられており、第八撮像素子１８１と、第八撮像素子１８１の撮像面に環状領域３５０の第一平面領域３５１、第二平面領域３５２および第三平面領域３５３とは異なる領域であって第一平面領域３５１および第三平面領域３５３とそれぞれ線接触する第四平面領域３５４の像を結像させる第八光学系１８２とを備えている。

ここで、第一平面領域３５１、第二平面領域３５２、第三平面領域３５３、および、第四平面領域３５４により、環状領域３５０が形成され隣り合う平面領域は重複していない。なお、各撮像素子に結像される像は一部重複する場合がある。

［動作など］
次に、撮像システム１００の作用、および、動作について図９に示す矩形領域３５９を例として説明する。

図１１は、第五光学系１５２が俯角０度で移動体２０１に取り付けられた場合の撮像装置により得られる画像データおよび生成部により得られる画像のイメージを段階的に示した図である。

第五光学系１５２は、図９に示す矩形領域３５９を仮想的に設定した場合、図１１の（ａ）に示す画像のように、矩形領域３５９が多角形に撮像されるような特性を備えている。また、第五光学系１５２は矩形領域３５９の第五撮像装置１５０に近い部分の解像度よりも、第五撮像装置１５０から遠い部分の解像度が高くなるように第五撮像素子１５１の撮像面に結像させることのできる形状の第一自由曲面レンズを備えている。具体的には、図１１の（ａ）内に記載する多角形の下端部の頂角を形成する二つの線分近傍の解像度よりも、画像の中間部であって路面と建物との境界部分に沿った線分近傍の解像度が高くなっている。また、路面と建物との境界部分に沿った線分近傍において中央の解像度よりも両側方部の解像度が高くなっている。この解像度の状態を図１１の（ｄ）に模式的に示している。図１１の（ｄ）に記載される円は第五光学系１５２により得られる像全体を示している。長方形の部分は第五撮像素子１５１を示している。また、「高」の文字が記載されている部分は「低」と記載されている部分よりも解像度が相対的に高いことを示している。また、「低」から「高」に向かう矢印は、解像度が徐々に高くなっている様子を示している。なお、複数箇所に「高」が記載されているが、「高」が記載されている場所が同じ解像度であることを意味するものではない。

また、第六光学系１６２、第七光学系１７２、および、第八光学系１８２も同様である。

生成部１０５は、第五撮像装置１５０の第五光学系１５２が備える自由曲面レンズの形状を示す形状データ及び歪曲データに代表される第五光学系１５２の光学データを保持しており、第五撮像素子１５１から得られる画像データに補正を加え、図１１の（ｂ）（ｅ）に示すように歪を補正する。

次に、図１１の（ｃ）に示すように、矩形領域３５９の形状を再現した画像、つまり矩形領域３５９の法線方向に視線を転換した状態の画像を生成する。つまり、図１１の（ａ）の画像から歪み補正を行った図１１の（ｂ）の画像を経て、その後視点変換を行った図１１の（ｃ）の画像を得ている。図１１の（ｅ）は矩形領域３５９を引き伸ばして上記歪み補正と視点変換を同時に行っている様子を模式的に示している。

以上のように矩形領域３５９の形状を再現するためには、第五撮像装置１５０の近い部分から遠い部分（図１１の（ａ）、（ｄ）において下から上）に行くほど徐々に引き延ばし倍率が高くなるが、第五撮像装置１５０の近い部分から遠い部分（図１１の（ａ）、（ｄ）において下から中間部）に行くほど徐々に解像度が高くなるため、得られる画像は全体的に均一な解像度を持つ画像を得ることが可能となる。これは、第六光学系１６２、第七光学系１７２、および、第八光学系１８２も同様である。

本実施の形態の場合においては、移動体２０１を取り囲む環状領域３５０を分割した複数の領域を設定し、各撮像装置にそれぞれの領域を撮像させ、生成部１０５は、それぞれの撮像素子から取得した画像データから、各領域の形状を再現するとともに、移動体２０１の全周囲を示すように各領域の位置を再現してつなぎ合わせて合成画像を生成する。この際、環状領域３５０を形成する第一平面領域３５１、第二平面領域３５２、第三平面領域３５３、第四平面領域３５４のそれぞれの境界部分に当たる領域において解像度が高い画像データとなっているため、精度よく合成画像を生成する事にも貢献する。これにより、均質な解像度を持ち精度の高い上質なトップビューの画像を得ることができる。

以上のように、本実施の形態２の撮像システム１００、および、移動体システム２００によれば、複数の撮像装置を用いて均質な解像度を持つトップビューの画像を形成できる。

また、生成部１０５が生成した画像を移動体２０１の室内に取り付けられる表示装置２０２にトップビューの画像として表示することにより、運転者などに移動体２０１を駐車させる際の周囲の画像を違和感なく看取させることができる。

なお、本開示は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。

例えば、自由曲面レンズを領域の重複する部分としない部分とで段階的に異なる解像度となるような形状であるとして説明したが、これに限定されるものではない。例えば、自由曲面レンズは、領域の一端部から他端部に向けて徐々に解像度が高くなるような形状であっても構わない。また、上記実施の形態では、水平面における解像度の相違のみに言及したが、自由曲面レンズは、水平面の解像度を変化させる形状ばかりでなく、垂直面の解像度を変化させる形状も採用することができる。例えば、地上を走行する移動体２０１の場合は、仰角において所定角度以上の部分や、伏角において所定角度以上の部分は、空や路面に対応するため、解像度を低下させる形状の自由曲面レンズを採用しても構わない。

また、移動体２０１がドローンなどのように、空中を移動して移動体の下方を撮像するような場合は、伏角において所定角度以上の部分の解像度を高める形状の自由曲面レンズを採用しても構わない。

また、図７に示すように、従来の球面からなる魚眼レンズによる全体の像を撮像素子の撮像面に結像させた場合に対し、図８に示すように、像を撮像する撮像画素つまり、図７、図８の中に示される白い部分と黒い線の部分に対応する画素の数が魚眼レンズよりも多くなるように撮像素子の撮像面に結像させる形状を有する自由曲面レンズを採用しても構わない。これにより、主として球面のレンズで構成される光学系を採用した場合に比べて、撮像素子が備える撮像画素を有効に利用することができ、より解像度の高い画像を得ることが可能となる。

また、移動体２０１に撮像システム１００が取り付けられている場合、移動体２０１の走行状態を示す走行状態情報を撮像システム１００が取得し、走行状態情報に基づいて生成部１０５の画像の合成態様を変更してもかまわない。例えば、移動体２０１である車が通常走行している場合は、生成部１０５は、車の後方の画像を含む３つの画像データを合成し、表示装置２０２の１つであるルームミラー型ディスプレイにバックビューを出力する。また、車がバックする場合、例えばシフトレバーが“Ｒ”に入った走行状態情報を取得した場合、生成部１０５は、表示装置２０２の１つであるナビゲーションシステム用のモニタにトップビューを出力する。

撮像システム、および、移動体システムは、自動車、航空機、船舶など人を乗せて移動する移動体、ドローンや搬送装置など人を乗せることなく移動する移動体、さらには、ロボットのアームの先端などの移動体などに利用可能である。また、セキュリティカメラなどにも利用可能である。

１００ 撮像システム
１０５ 生成部
１０６ インターフェース
１１０ 第一撮像装置
１１１ 第一撮像素子
１１２ 第一光学系
１２０ 第二撮像装置
１２１ 第二撮像素子
１２２ 第二光学系
１２３ 第二自由曲面レンズ
１２９ 第二光軸
１３０ 第三撮像装置
１３１ 第三撮像素子
１３２ 第三光学系
１４０ 第四撮像装置
１４１ 第四撮像素子
１４２ 第四光学系
２００ 移動体システム
２０１ 移動体
２０２ 表示装置
３０１ 第一領域
３０２ 第二領域
３０３ 第三領域
３０４ 第四領域

Claims (6)

1. 複数の撮像画素が行列状に配置される第一撮像素子と、前記第一撮像素子の撮像面に所定の第一領域の像を結像させる第一光学系とを有する第一撮像装置と、
   第二撮像素子と、前記第二撮像素子の撮像面に前記第一領域と一部重複する第二領域の像を結像させる第二光学系とを有する第二撮像装置と、
   前記第一撮像素子、および、前記第二撮像素子から取得した画像データに基づき合成画像を生成する生成部とを備え、
   前記第一光学系は、
   前記第二領域と重複する部分の解像度と前記第一領域の他部分の解像度とが異なるように前記第一撮像素子の撮像面に結像させる形状を有する第一自由曲面レンズを備える
   撮像システム。
2. 前記第一光学系が備える前記第一自由曲面レンズは、
   前記第一領域において前記第二領域と重複する部分が他の部分よりも解像度が高くなる形状であり、
   前記第二光学系は、
   前記第二領域において、前記第一領域と重複する部分が他の部分よりも解像度が低くなるように前記第二撮像素子に結像させる形状を有する第二自由曲面レンズを備える
   請求項１に記載の撮像システム。
3. 前記第一領域における前記第二領域と重複する部分の解像度は、前記第二領域における前記第一領域と重複する部分よりも高い
   請求項２に記載の撮像システム。
4. 前記第一領域において、前記第二領域と重複する部分の解像度が最も高い
   請求項２または３に記載の撮像システム。
5. 第三撮像素子と、前記第三撮像素子の撮像面に前記第二領域と一部重複し前記第一領域とは異なる第三領域の像を結像させる第三光学系とを有する第三撮像装置をさらに備え、
   前記第三光学系は、
   前記第三領域において前記第二領域と重複する部分が他の部分よりも解像度が高くなるように前記第三撮像素子に結像させる形状を有する第三自由曲面レンズを備え、
   前記生成部は、
   前記第一領域と前記第二領域とが重複する部分の画像データ、前記第三領域と前記第二領域とが重複する部分の画像データ、および、非重複の第二領域の画像データに基づき合成画像を生成する
   請求項２〜４のいずれか一項に記載の撮像システム。
6. 複数の撮像画素が行列状に配置される第一撮像素子と、前記第一撮像素子の撮像面に所定の第一領域の像を結像させる第一光学系とを有する第一撮像装置と、
   第二撮像素子と、前記第二撮像素子の撮像面に前記第一領域と一部重複する第二領域の像を結像させる第二光学系とを有する第二撮像装置と、
   前記第一撮像装置、および前記第二撮像装置が取り付けられ、空間を移動する移動体と、
   前記第一撮像素子、および、前記第二撮像素子から取得した画像データに基づき合成画像を生成する生成部と、
   前記生成部により生成された画像を表示する表示装置とを備え、
   前記第一光学系は、
   前記第二領域と重複する部分の解像度と前記第一領域の他部分の解像度とが異なるように前記第一撮像素子の撮像面に結像させる形状を有する第一自由曲面レンズを備える
   移動体システム。

Images