JP2019062479A - 撮像装置及び移動体 - Google Patents

Abstract

【課題】フォーカルプレーン歪みを低減しうる撮像装置及び移動体を提供する。【解決手段】撮像装置１は、移動面２００に沿って移動する移動体１００に搭載される、撮像光学系２４と、撮像素子２２とを備え、撮像光学系２４は、移動体１００の周囲に位置する被写体２１４を結像し、撮像素子２２は、撮像光学系２４で結像された被写体像２１０を撮像する画素セル２６が並ぶ撮像面２３を有し、画素セル２６は、移動面２００に対して交差する第１方向に沿って並ぶ画素毎に画素グループ２８に属し、画素グループ２８は、第１方向に交差する第２方向に並び、撮像素子２２は、画素グループ２８が第２方向に沿って並ぶ順番で、画素グループ２８毎に被写体像の撮像データを読み出す。【選択図】図１

Description

本開示は、撮像装置及び移動体に関する。

車両にＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載して走行中に車外を撮像する構成が知られている（例えば、特許文献１参照）。

特開２００２−２０９１７３号公報

ＣＭＯＳイメージセンサによる撮像画像は、フォーカルプレーン歪みを含みうる。

本開示の目的は、撮像画像のフォーカルプレーン歪みを低減できる撮像装置及び移動体を提供することにある。

本開示の一実施形態に係る撮像装置は、移動面に沿って移動する移動体に搭載される、撮像光学系と、撮像素子とを備える。前記撮像光学系は、前記移動体の周囲に位置する被写体を結像する。前記撮像素子は、前記撮像光学系で結像された被写体像を撮像する画素が並ぶ撮像面を有する。前記画素は、前記移動面に対して交差する第１方向に沿って並ぶ画素毎に画素グループに属する。前記画素グループは、前記第１方向に交差する第２方向に並ぶ。前記撮像素子は、前記画素グループが前記第２方向に沿って並ぶ順番で、前記画素グループ毎に前記被写体像の撮像データを読み出す。

本開示の一実施形態に係る移動体は、移動面に沿って移動する。前記移動体は、撮像光学系と、撮像素子とを備える撮像装置を搭載する。前記撮像光学系は、前記移動体の周囲に位置する被写体を結像する。前記撮像素子は、前記撮像光学系で結像された被写体像を撮像する画素が並ぶ撮像面を有する。前記画素は、前記移動面に対して交差する第１方向に沿って並ぶ画素毎に画素グループに属する。前記画素グループは、前記第１方向に交差する第２方向に並ぶ。前記撮像素子は、前記画素グループが前記第２方向に沿って並ぶ順番で、前記画素グループ毎に前記被写体像の撮像データを読み出す。

本開示の一実施形態に係る撮像装置及び移動体によれば、撮像画像のフォーカルプレーン歪みが低減されうる。

一実施形態に係る撮像装置の構成例を示すブロック図である。 撮像面における画素の配置の一例を示す平面図である。 撮像面における画素の配置の一例を示す平面図である。 撮像面における画素の配置の一例を示す平面図である。 オブジェクトの移動と読み出し画素との関係の一例を示す図である。 図５の例で読み出された撮像データに基づく撮像画像を示す図である。 オブジェクトの移動と読み出し画素との関係の一例を示す図である。 図７の例で読み出された撮像データに基づく撮像画像を示す図である。 カメラを搭載した移動体の構成例を示す側面図である。 カメラを搭載した移動体の室内の構成例を示す図である。 第１方向が移動面に交差する場合の撮像画像の一例を示す図である。 第１方向が移動面に平行な場合の撮像画像の一例を示す図である。 移動体と被写体との位置関係の例を示す図である。 図１３の被写体の像を撮像した画像の例を示す図である。 一実施形態に係る撮像装置の構成例を示す平面図である。

ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが移動する物体を撮像する場合、撮像した画像に写る物体の形状が斜めに歪む、いわゆるフォーカルプレーン歪みが発生しうる。ＣＭＯＳイメージセンサが車両に搭載され、例えば電子ミラーとして用いられる場合、画像に写る物体の形状の歪みは、車両を運転する人間の誤認を誘発しうる。

フォーカルプレーン歪みを低減するために、ＣＭＯＳイメージセンサによる撮像のフレームレートを高くする場合、消費電力の増大、又は、露光時間不足による画像の明度低下等の問題が生じうる。

フォーカルプレーン歪みを低減するために、ＣＭＯＳイメージセンサで撮像した画像を補正する場合、画像処理回路の増大、又は、画像処理回路における消費電力の増大等の問題が生じうる。

フォーカルプレーン歪みを低減するために、ＣＣＤ（Charge Coupled Device）が採用されてよい。しかし、自動車に搭載されるイメージセンサの主流は、ＣＭＯＳイメージセンサとなっている。一部のイメージセンサだけをＣＣＤとすることは現実的ではない。

フォーカルプレーン歪みを低減するために、グローバルシャッター機能が採用されてよい。しかし、コストの増大、又は、部品の占有面積の増大等の問題が生じうる。

フォーカルプレーン歪みを低減するために、上述の方法が採用される場合、種々の問題が生じうる。本実施形態に係る撮像装置１によれば、以下説明するように、上述の問題が発生することなく、撮像画像のフォーカルプレーン歪みが低減されうる。

図１に示されるように、一実施形態に係る撮像装置１は、プロセッサ１０と、記憶部１２と、カメラ２０とを備える。撮像装置１は、ディスプレイ３０に接続される。カメラ２０は、撮像素子２２と撮像光学系２４とを備える。撮像光学系２４は、レンズ又はミラー等の光学素子を含んでよい。カメラ２０は、撮像光学系２４によって結像される被写体像を撮像素子２２で撮像する。カメラ２０で撮像された画像は、撮像画像ともいう。撮像素子２２は、原理的にフォーカルプレーン歪みが発生しうる、ＣＭＯＳイメージセンサ等のデバイスであってよい。

プロセッサ１０は、カメラ２０に対して制御情報を出力し、カメラ２０から撮像画像を取得する。プロセッサ１０は、ディスプレイ３０に撮像画像を出力し、ディスプレイ３０に撮像画像を表示させてよい。

プロセッサ１０は、プログラムに応じた汎用の処理を実行するものであってよいし、特定の処理を実行するものであってよい。プロセッサ１０は、特定用途向けＩＣ（Integrated Circuit）を含んでよい。特定用途向けＩＣは、ＡＳＩＣ（Application Specific Integrated Circuit）ともいう。プロセッサ１０は、プログラマブルロジックデバイスを含んでよい。プログラマブルロジックデバイスは、ＰＬＤ（Programmable Logic Device）ともいう。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。プロセッサ１０は、１つ又は複数のＩＣ又はデバイス等が協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

記憶部１２は、撮像装置１の動作に関する各種情報又はパラメータを格納してよい。記憶部１２は、プロセッサ１０で実行されるプログラムを格納してよい。記憶部１２は、例えば半導体メモリ等で構成されてよい。記憶部１２は、プロセッサ１０のワークメモリとして機能してよい。記憶部１２は、撮像画像を格納してよい。記憶部１２は、プロセッサ１０に含まれてよい。

ディスプレイ３０は、プロセッサ１０から取得した撮像画像を表示してよい。ディスプレイ３０は、例えば液晶、有機ＥＬ（Electro-Luminescence）、無機ＥＬ又はＬＥＤ（Light Emission Diode）等の表示デバイスで構成されてよい。

プロセッサ１０、カメラ２０、及びディスプレイ３０は、互いに通信するための通信デバイスを備えてよい。通信デバイスは、例えば、ＬＡＮ（Local Area Network）又はＣＡＮ（Control Area Network）等の通信インターフェースであってよい。通信デバイスは、有線又は無線で通信してよい。

図２に示されるように、撮像素子２２は、複数の画素セル２６が並ぶ撮像面２３を有する。被写体像は、撮像光学系２４によって、撮像面２３上に結像される。撮像素子２２は、各画素セル２６において被写体像を受光し、各画素セル２６が出力する電圧又は電流の信号に基づいて、撮像画像を生成する。各画素セル２６が出力する電圧又は電流の信号は、撮像データともいう。画素セル２６は、撮像面２３上で、ｕで表される第１方向と、ｖで表される第２方向とにそれぞれ沿って並んでよい。第１方向は、上から下に向かう方向であるがこれに限られず他の方向であってよい。第２方向は、左から右に向かう方向であるがこれに限られず他の方向であってよい。第１方向と第２方向とは、互いに交差する。第１方向と第２方向とは、直交してよい。第２方向を表すベクトルは、少なくとも第１方向に直交する成分を含むといえる。

撮像素子２２は、複数の画素セル２６を要素とする画素グループ２８を有してよい。画素グループ２８は、要素として第１方向に沿って並ぶ画素セル２６を含んでよい。言い換えれば、画素セル２６は、第１方向に沿って並ぶ画素セル２６毎に画素グループ２８に属してよい。画素グループ２８は、第１方向に沿う直線上に並ぶ画素セル２６を含んでよい。画素グループ２８は、一列に並ぶ画素セル２６を要素として含んでよいし、二列以上に並ぶ画素セル２６を要素として含んでよい。

例えば図３に示されるように、画素セル２６は、撮像面２３上で、第１方向に沿いつつ、第２方向にずれて並んでもよい。画素グループ２８は、第１方向に沿って並びつつ、第２方向に所定距離以内のずれで並ぶ画素セル２６を含んでよい。所定距離は、画素セル２６の第２方向の長さと同一又は近い値であってよいし、他の値であってよい。

第１方向に沿って並ぶ画素セル２６を含む画素グループ２８は、第２方向に並ぶ。第２方向が第１方向に直交しない場合であっても、画素グループ２８の少なくとも一部の画素セル２６は、第１方向に直交する方向に並ぶといえる。第１方向に直交する方向に並ぶ画素セル２６は、まっすぐに並んでよいし、第１方向にずれて並んでもよい。画素グループ２８に属する画素セル２６の少なくとも一部は、第１方向に直交する方向に見て、他の少なくとも１つの画素グループ２８に属する画素セル２６と重なってよい。

例えば図４に示されるように、第２方向に並ぶ画素グループ２８に含まれる画素セル２６は、第１方向にずれて位置してよい。つまり、第２方向に並ぶ画素グループ２８に含まれる画素セル２６は、第２方向にまっすぐに並ばなくてもよい。

撮像素子２２は、画素グループ２８毎に、第２方向に並ぶ順番で撮像データを読み出すものとする。第２方向が第１方向に直交しない場合であっても、撮像素子２２は、画素グループ２８の少なくとも一部の画素セル２６から、第１方向に直交する方向に順番に撮像データを読み出すといえる。撮像素子２２は、画素グループ２８の中で、第１方向に並ぶ順番で各画素セル２６から撮像データを読み出してよい。撮像素子２２は、画素グループ２８の各画素セル２６から撮像データを読み出した後、次の画素グループ２８からの読み出しを開始してよい。撮像素子２２は、一列に並ぶ画素セル２６のグループごとに撮像データを読み出す、ＣＭＯＳイメージセンサ等のデバイスであってよい。撮像素子２２は、ＣＭＯＳイメージセンサに限られず、画素グループ２８ごとに、第２方向に並ぶ順番で撮像データを読み出す、他のデバイスであってよい。

画素グループ２８は、ハードウェアで特定されてよいし、ソフトウェアで特定されてよい。撮像素子２２は、プロセッサ１０からの制御情報に基づいて、ソフトウェアによって第１方向を異なる向きに変更してよい。つまり、撮像素子２２は、画素グループ２８に含まれる画素セル２６の組合せを変更してよい。撮像素子２２は、ソフトウェアによって第２方向を異なる向きに変更してよい。

仮に、撮像素子２２がＣＣＤのように画素セル２６の全てから一括で撮像データを読み出す場合、被写体像２１０（図５参照）が移動していたとしても、撮像画像に写る被写体像２１０は歪みにくい。ＣＭＯＳイメージセンサのように、一部の画素セル２６から順番に撮像データを読み出す場合、撮像データを読み出している間に被写体像２１０が移動することによって、撮像画像に写る被写体像２１０が歪みうる。

例えば図５に示されるように、ｕで表される第１方向が上から下に向かう方向であり、且つ、ｖで表される第２方向が左から右に向かう方向である場合に、撮像装置１は、時間の経過とともに第２方向に移動する被写体像２１０を撮像しうる。図５（Ａ）、図５（Ｂ）及び図５（Ｃ）にはそれぞれ、Ｔ１、Ｔ２及びＴ３で表される時刻において被写体像２１０が結像する画素セル２６が示されている。図５には、各時刻において撮像データの読み出しの対象となる画素グループ２８が示されている。画素グループ２８は、第１方向に沿って並ぶ６個の画素セル２６を含む。図６（Ａ）、図６（Ｂ）及び図６（Ｃ）はそれぞれ、図５（Ａ）、図５（Ｂ）及び図５（Ｃ）で示される各時刻において読み出された撮像データに基づいて生成された撮像画像を表す。

図５（Ａ）に示されるように、Ｔ１で表される時刻において、被写体像２１０は、その像が左から３列目から４列目までの画素セル２６に結像する。Ｔ１で表される時刻において撮像データが読み出される画素グループ２８は、左から３列目のグループである。撮像データが読み出される画素グループ２８に含まれる画素セル２６のうち、上から３つ目から５つ目までの画素セル２６に被写体像２１０が結像する。結果として、図６（Ａ）に示されるように、撮像画像の左から３列目、且つ、上から３行目から５行目までの画素に、被写体像２１０が写る。

図５（Ｂ）に示されるように、Ｔ２で表される時刻において、被写体像２１０は、その像が左から３列目の右半分から５列目の左半分までの画素セル２６に結像する。Ｔ２で表される時刻において撮像データが読み出される画素グループ２８は、左から４列目のグループである。撮像データが読み出される画素グループ２８に含まれる画素セル２６のうち、上から３つ目から５つ目までの画素セル２６に被写体像２１０が結像する。結果として、図６（Ｂ）に示されるように、撮像画像の左から４列目、且つ、上から３行目から５行目までの画素に、被写体像２１０がさらに写る。

図５（Ｃ）に示されるように、Ｔ３で表される時刻において、被写体像２１０は、その像が左から４列目から５列目までの画素セル２６に結像する。Ｔ３で表される時刻において撮像データが読み出される画素グループ２８は、左から５列目のグループである。撮像データが読み出される画素グループ２８に含まれる画素セル２６のうち、上から３つ目から５つ目までの画素セル２６に被写体像２１０が結像する。結果として、図６（Ｃ）に示されるように、撮像画像の左から５列目、且つ、上から３行目から５行目までの画素に、被写体像２１０がさらに写る。

図６（Ｃ）に示されるように、撮像画像に写った被写体像２１０の左右方向の大きさは、３画素分の大きさに相当する。一方で、図５に示されるように、被写体像２１０の実際の左右方向の大きさは、２画素分の大きさに相当する。つまり、撮像データが第２方向に順番に読み出されている間に被写体像２１０が第２方向に移動することによって、撮像画像に写る被写体像２１０の形状は、実際の被写体像２１０の形状と比べて、左右方向に拡大しうる。

図５及び図６に示される例において、撮像装置１が時間の経過とともに第２方向と逆の向きに移動する被写体像２１０を撮像する場合、撮像画像に写る被写体像２１０の形状は、実際の被写体像２１０の形状と比べて、左右方向に縮小しうる。つまり、撮像装置１が第２方向と同じ向き又は逆の向きに移動する被写体像２１０を撮像する場合、撮像画像に写る被写体像２１０の形状は、実際の被写体像２１０の形状と比べて、左右方向に所定の倍率で変形した形状となりうる。所定の倍率は、１より大きくなったり、１より小さくなったりしうる。

図５及び図６に示される例において、画素セル２６の配置は、６行６列の格子状の配置であるが、これに限られず、行数又は列数が異なる配置であってよいし、斜格子状の配置であってよい。画素セル２６の配置は、各画素セル２６が行又は列にまっすぐに並ばない配置であってもよい。画素セル２６の配置は、種々の配置でありうる。

図５及び図６に示される例とは異なる比較例として、図７に示されるように、撮像装置１は、時間の経過とともに第１方向に移動する被写体像２１０を撮像してよい。図７における第１方向は、図５における第１方向とは異なり、左から右に向かう方向である。第２方向は、上から下に向かう方向である。図７（Ａ）、図７（Ｂ）及び図７（Ｃ）にはそれぞれ、Ｔ１、Ｔ２及びＴ３で表される時刻において被写体像２１０が結像する画素セル２６と、撮像データの読み出しの対象となる画素グループ２８とが示されている。画素グループ２８は、第１方向に沿って並ぶ６個の画素セル２６を含む。図８（Ａ）、図８（Ｂ）及び図８（Ｃ）はそれぞれ、図７（Ａ）、図７（Ｂ）及び図７（Ｃ）で示される画素グループ２８から読み出された撮像データによって生成される撮像画像を表す。

図７（Ａ）に示されるように、Ｔ１で表される時刻において、被写体像２１０は、左から３列目から４列目まで、且つ、上から３行目から５行目までの画素セル２６に結像する。Ｔ１で表される時刻において撮像データが読み出される画素グループ２８は、上から３行目のグループである。撮像データが読み出される画素グループ２８に含まれる画素セル２６のうち、左から３つ目及び４つ目の画素セル２６に被写体像２１０が結像する。結果として、図８（Ａ）に示されるように、撮像画像の上から３行目、且つ、左から３列目及び４列目の画素に、被写体像２１０が写る。

図７（Ｂ）に示されるように、Ｔ２で表される時刻において、被写体像２１０は、左から３列目の右半分から５列目の左半分まで、且つ、上から３行目から５行目までの画素セル２６に結像する。Ｔ２で表される時刻において撮像データが読み出される画素グループ２８は、上から４行目のグループである。撮像データが読み出される画素グループ２８に含まれる画素セル２６のうち、左から３列目の画素セル２６の右半分、４列目の画素セル２６、及び５列目の画素セル２６の左半分に被写体像２１０が結像する。結果として、図８（Ｂ）に示されるように、撮像画像の上から４行目、且つ、左から３列目の画素の右半分、４列目の画素、及び５列目の画素の左半分に、被写体像２１０がさらに写る。

図７（Ｃ）に示されるように、Ｔ３で表される時刻において、被写体像２１０は、左から４列目から５列目まで、且つ、上から３行目から５行目までの画素セル２６に結像する。Ｔ３で表される時刻において撮像データが読み出される画素グループ２８は、上から５行目のグループである。撮像データが読み出される画素グループ２８に含まれる画素セル２６のうち、左から４つ目及び５つ目の画素に被写体像２１０が結像する。結果として、図８（Ｃ）に示されるように、撮像画像の上から５行目、且つ、左から４列目及び５列目の画素に、被写体像２１０がさらに写る。

図８（Ｃ）に示されるように、撮像画像に写った被写体像２１０の形状は、平行四辺形状である。一方で、図７に示されるように、被写体像２１０の実際の形状は、長方形状である。つまり、撮像データが第２方向に順番に読み出されている間に、被写体像２１０が第２方向に交差する第１方向に移動することによって、撮像画像に写る被写体像２１０の形状は、実際の被写体像２１０の形状と比べて、斜めに歪むように変形しうる。

撮像画像を見る人間は、図８（Ｃ）に示されるように斜めに歪むように変形して写った被写体像２１０の形状よりも、図６（Ｃ）に示されるように左右方向に拡大又は縮小するように変形して写った被写体像２１０の形状の方に、違和感を覚えにくい。つまり、図５及び図６に例示されるように第１方向が被写体像２１０の移動方向に交差する場合、第１方向が被写体像２１０の移動方向に平行となる場合と比べて、撮像画像に写る被写体像２１０の形状に対して人間が覚える違和感が低減されうる。

撮像装置１は、第１方向が被写体像２１０の移動方向に直交するように構成されてよい。つまり、第１方向を表すベクトルは、被写体像２１０の移動方向と同じ向きの成分を有しなくてよい。第１方向を表すベクトルが被写体像２１０の移動方向と同じ向きの成分を有しない場合、第１方向を表すベクトルが被写体像２１０の移動方向と同じ向きの成分を有する場合と比較して、撮像画像に写る被写体像２１０は、斜めに歪みにくくなる。結果として、撮像画像に写る被写体像２１０の形状に対して人間が覚える違和感が低減されうる。

図９及び図１０に示されるように、撮像装置１のカメラ２０ａ、２０ｂ及び２０ｃは、移動面２００に沿って移動する移動体１００に搭載されてよい。カメラ２０ａ、２０ｂ及び２０ｃは、カメラ２０と総称される。移動面２００は、平面であってよいし、曲面であってもよい。移動面２００は、複数の面がつながった面であってもよい。図９に示される移動面２００は、地面であり、且つ、ＸＹ平面であるものとするが、他の種々の面であってよい。移動体１００は、乗用車であるものとするが、地面を走行する他の車両又は航空機等であってよいし、海上を移動する船舶であってもよい。移動体１００の前進方向は、Ｘ軸の正の方向であるものとする。つまり、図９における移動体１００の前進方向は、右から左に向く方向であるものとする。図１０における移動体１００の前進方向は、図面の手前側から奥側に向く方向であるものとする。移動体１００には、二点鎖線の仮想線で示される運転者１１０が搭乗するものとする。移動体１００には、撮像画像を表示するディスプレイ３０がさらに搭載されてよい。撮像装置１とディスプレイ３０との組み合わせは、撮像装置１で移動体１００の周囲を撮像した画像がディスプレイ３０で表示されることによって、電子ミラー又は周囲モニタ等として機能してよい。ディスプレイ３０は、車両のセンターコンソールの中央付近に位置してよいし、サイドミラーの代わりとして車両の室内の右端及び左端に位置してもよい。

カメラ２０ａは、移動体１００の前進方向に向かって左側のサイドミラーの代わりに、移動体１００の左側面に位置し、移動体１００の左後方又は左斜め後方を撮像する。移動体１００の前進方向に向かって左側は、Ｙ軸の正の方向の側に対応する。カメラ２０ｂは、移動体１００の前進方向に向かって右側のサイドミラーの代わりに、移動体１００の右側面に位置し、移動体１００の右後方又は右斜め後方を撮像する。移動体１００の前進方向に向かって右側は、Ｙ軸の負の方向の側に対応する。カメラ２０ａ及び２０ｂが撮像する範囲は、移動体１００がサイドミラーを備える場合に、運転者１１０がサイドミラーによって確認しうる範囲を含む。

カメラ２０のうち少なくとも撮像光学系２４は、移動体１００の側面に位置してよい。撮像光学系２４の、被写体像２１０の側に位置する少なくとも一部は、移動体１００の側面に位置してよい。撮像素子２２は、移動体１００の側面から離れて位置してよい。例えば撮像素子２２は、車両の車体内に位置してよい。この場合、被写体像２１０の側に位置する撮像光学系２４の一部に入射した被写体像２１０は、撮像光学系２４の他の部分を介して、撮像素子２２の撮像面２３に結像しうる。言い換えれば、撮像装置１は、被写体像２１０の側に位置する撮像光学系２４に対応する撮像素子２２を備えてよい。

カメラ２０ａは、移動体１００の左後方又は左斜め後方だけでなく、移動体１００の左側方又は左斜め前方を撮像してよい。カメラ２０ｂは、移動体１００の右後方又は右斜め後方だけでなく、移動体１００の右側方又は右斜め前方を撮像してよい。

カメラ２０ｃは、移動体１００の前進方向に対して後方に対応する方向を撮像するバックカメラとして移動体１００の後方に位置する。移動体１００の前進方向に向かって後方は、Ｘ軸の負の方向である。カメラ２０ｃは、車両のバックミラーの代わりとして位置してよい。カメラ２０ｃがバックミラーの代わりとして位置する場合、カメラ２０ｃが撮像する範囲は、運転者１１０がバックミラーによって確認しうる範囲を含む。

移動体１００は、移動面２００に沿って移動する。つまり、移動体１００の移動方向は、移動面２００に沿う。移動面２００がＸＹ平面に対応する場合、移動体１００の移動方向は、ＸＹ平面上のベクトルで表されうる。撮像素子２２の画素セル２６の配列を表す第１方向が移動面２００に交差するように撮像装置１が移動体１００に搭載される場合、第１方向は、移動体１００の移動方向と交差しうる。

移動体１００に搭載された撮像装置１によって、移動面２００の上に位置する被写体像２１０が撮像されると仮定する。撮像装置１のカメラ２０から見た被写体像２１０の形状は、図１１及び図１２において破線で示される、矩形状の被写体形状２１２ａであるものとする。つまり、移動体１００が静止している状態で撮像装置１が静止している被写体像２１０を撮像する場合、被写体像２１０は、図１１及び図１２において破線で示される被写体形状２１２ａと同じ形状で撮像画像に写りうる。

カメラ２０は、ｕで表される第１方向に沿って並ぶ画素セル２６を含む画素グループ２８から、ｖで表される第２方向の順番に撮像データを読み出すものとする。第１方向は、図面の上から下に向かう方向であってよい。第２方向は、図面の左から右に向かう方向であってよい。移動体１００の移動によって、相対的に、カメラ２０から見た被写体像２１０は移動する。カメラ２０から見た被写体像２１０が移動する場合、撮像画像に写る被写体像２１０は変形しうる。

第２方向が左から右に向かう方向である場合、被写体像２１０の移動方向が、第２方向と同一でありうる。この場合、被写体像２１０は、図１１において実線で示される被写体形状２１２ｂのように、実際の被写体形状２１２ａと比べて左右方向に拡大した形状で撮像画像に写りうる。撮像画像に写る被写体形状２１２ｂが実際の被写体形状２１２ａに対して左右方向に拡大する原因は、図５及び図６に示される例において撮像画像に写った被写体像２１０が変形した原因と同一である。

比較例として、図１２に例示されるように、カメラ２０は、上から下に向けて順番に画素グループ２８から撮像データを読み出してよい。つまり、ｖで表される第２方向は、上から下に向かう方向であってよい。第２方向が上から下に向かう方向である場合、被写体像２１０の移動方向が、第２方向と交差しうる。この場合、被写体像２１０は、実線で示される被写体形状２１２ｂのように、実際の被写体形状２１２ａと比べて斜めに歪んだ形状で撮像画像に写りうる。撮像画像に写る被写体形状２１２ｂが実際の被写体形状２１２ａに対して斜めに歪む原因は、図７及び図８に示される例において撮像画像に写った被写体像２１０が変形した原因と同一である。

撮像画像を見る人間は、図１２に示されるように斜めに歪んで写った被写体形状２１２ｂよりも、図１１に示されるように左右方向に拡大して写った被写体形状２１２ｂの方に違和感を覚えにくい。つまり、第２方向が被写体像２１０の移動方向と同一になる場合、第２方向が被写体像２１０の移動方向と直交する場合と比べて、撮像画像に写る被写体像２１０の形状に対して人間が覚える違和感が低減されうる。

第２方向が被写体像２１０の移動方向と交差する場合、第２方向は、被写体像２１０の移動方向と同一の方向の成分を有する。第２方向が被写体像２１０の移動方向と同一の方向の成分を有することによって、第２方向が被写体像２１０の移動方向と直交する場合と比べて、撮像画像に写る被写体像の形状に対して人間が覚える違和感が低減されうる。撮像画像が移動体１００における電子ミラーの表示画像等として用いられる場合において、移動体１００の運転者１１０は、撮像画像に違和感を覚えにくくなりうる。結果として、運転者１１０が周囲の状況を誤認しにくくなる。

図１３に示されるように、移動体１００に搭載されたカメラ２０は、移動面２００において、移動体１００の周囲に位置する被写体２１４ａ〜２１４ｇを撮像しうる。被写体２１４ａ〜２１４ｇは、被写体２１４と総称される。カメラ２０は、撮像面２３がＹＺ平面に沿うように移動体１００に搭載されるものとする。撮像面２３は、ＹＺ平面に限られず、他の面に沿ってよい。撮像面２３において、ｕで表される第１方向、及び、ｖで表される第２方向はそれぞれ、Ｚ軸の負の方向、及び、Ｙ軸の正の方向であるものとする（図１４参照）。

移動体１００の左側に搭載されるカメラ２０ａは、撮像面２３ａで、移動体１００の左後方に位置する被写体像２１０ａ及び２１０ｂを撮像しうる。被写体像２１０ａ及び２１０ｂはそれぞれ、被写体２１４ａ及び２１４ｂに対応する。被写体像２１０ａは、撮像面２３ａから見て、移動体１００の進行方向の逆方向に位置するものとする。被写体像２１０ｂは、ＸＹ平面に沿う面において、被写体像２１０ａが位置する方向に対してαで表される所定角度を有する方向に位置するものとする。撮像面２３ａには、図１４（Ａ）に示されるような像が結像されうる。図１４に示される像において、左から右を向く方向がＹ軸の正の方向に対応する。奥側から手前側を向く方向がＸ軸の正の方向に対応する。被写体像２１０ｂは、被写体像２１０ａよりもＹ軸の正の方向の側に結像する。移動体１００がＸ軸の正の方向に向けて前進する場合、撮像面２３ａから見た被写体像２１０ａの方向は変わりにくい。よって、被写体像２１０ａが撮像面２３ａ内に結像される位置は、動きにくい。移動体１００がＸ軸の正の方向に向けて前進する場合、撮像面２３ａから見た被写体像２１０ｂの方向を表す角度（α）は、小さくなりうる。よって、被写体像２１０ｂが撮像面２３ａ内に結像される位置は、図１４（Ａ）においてＬで表される方向に移動しうる。Ｌで表される方向は、図面上で右から左に向く方向である。撮像面２３ａから見た被写体像２１０ｂの方向を表す角度（α）が大きいほど、被写体像２１０ｂが撮像面２３ａ内に結像される位置は、速く移動しうる。

移動体１００の右側に搭載されるカメラ２０ｂは、撮像面２３ｂで、移動体１００の右後方に位置する被写体像２１０ｃ及び２１０ｄを撮像しうる。被写体像２１０ｃ及び２１０ｄはそれぞれ、被写体２１４ｃ及び２１４ｄに対応する。被写体像２１０ｃは、撮像面２３ｂから見て、移動体１００の進行方向の逆方向に位置するものとする。被写体像２１０ｄは、ＸＹ平面に沿う面において、被写体像２１０ｃが位置する方向に対してβで表される所定角度を有する方向に位置するものとする。撮像面２３ｂには、図１４（Ｂ）に示されるような像が結像されうる。被写体像２１０ｄは、被写体像２１０ｃよりもＹ軸の負の方向の側に結像する。移動体１００がＸ軸の正の方向に向けて前進する場合、撮像面２３ｂから見た被写体像２１０ｃの方向は変わりにくい。よって、被写体像２１０ｃが撮像面２３ｂ内に結像される位置は、動きにくい。移動体１００がＸ軸の正の方向に向けて前進する場合、撮像面２３ｂから見た被写体像２１０ｄの方向を表す角度（β）は、小さくなりうる。よって、被写体像２１０ｄが撮像面２３ｂ内に結像される位置は、図１４（Ｂ）においてＲで表される方向に移動しうる。Ｒで表される方向は、図面上で左から右に向く方向である。撮像面２３ｂから見た被写体像２１０ｄの方向を表す角度（β）が大きいほど、被写体像２１０ｄが撮像面２３ｂ内に結像される位置は、速く移動しうる。

図１４（Ａ）及び図１４（Ｂ）に示されるように、移動体１００の前進によって、撮像面２３ａにおいて被写体像２１０ｂが結像される位置と、撮像面２３ｂにおいて被写体像２１０ｄが結像される位置とは、互いに逆方向に移動しうる。撮像画像に写る被写体像２１０ｂ及び２１０ｄの像は、所定の倍率でＹ軸方向に拡大したり縮小したりしうる。

撮像面２３ａにおいて、第１方向が移動面２００であるＸＹ平面に交差し、且つ、第２方向がＹ軸の正の方向である場合、被写体像２１０ｂがＹ軸の負の方向に移動するので、撮像画像に写る被写体像２１０ｂの形状は、Ｙ軸方向に縮小した形状となりうる。一方、撮像面２３ｂにおいて、第１方向が移動面２００であるＸＹ平面に交差し、且つ、第２方向がＹ軸の正の方向である場合、被写体像２１０ｄがＹ軸の正の方向に移動するので、撮像画像に写る被写体像２１０ｄの形状は、Ｙ軸方向に拡大した形状となる。つまり、移動体１００において互いに反対の側面に位置する撮像面２３ａ及び２３ｂにおいて、第２方向が同一の方向である場合、撮像画像に写る被写体像２１０の変形が互いに異なりうる。

撮像面２３ｂの第２方向が、撮像面２３ａの第２方向とは逆に、Ｙ軸の負の方向である場合、撮像画像に写る被写体像２１０ｄの形状は、Ｙ軸方向に縮小した形状となる。撮像面２３ａの第２方向と撮像面２３ｂの第２方向とが互いに逆の方向であることによって、それぞれの撮像画像に写る被写体像２１０ｂ及び２１０ｄは、同じように変形しうる。つまり、移動体１００において互いに反対の側面に位置する撮像面２３において、その第２方向が互いに逆の方向である場合、各撮像面２３で撮像される撮像画像に写る被写体像２１０の形状は、実際の被写体像２１０の形状に対して同じように変形しうる。結果として、移動体１００の運転者１１０は、左右の撮像画像の違いに違和感を覚えにくくなる。

移動体１００の後方に搭載されるカメラ２０ｃは、撮像面２３ｃで、移動体１００の後方に位置する被写体像２１０ｅ、２１０ｆ及び２１０ｇを撮像しうる。被写体像２１０ｅ、２１０ｆ及び２１０ｇはそれぞれ、被写体２１４ｅ、２１４ｆ及び２１４ｇに対応する。被写体像２１０ｅは、撮像面２３ｃから見て、移動体１００の進行方向の逆方向に位置するものとする。被写体像２１０ｆ及び２１０ｇはそれぞれ、ＸＹ平面に沿う面において、被写体像２１０ｅが位置する方向に対して所定角度を有する方向に位置するものとする。撮像面２３ｃには、図１４（Ｃ）に示されるような像が結像されうる。被写体像２１０ｆは、被写体像２１０ｅよりもＹ軸の正の方向の側に結像する。被写体像２１０ｇは、被写体像２１０ｅよりもＹ軸の負の方向の側に結像する。移動体１００がＸ軸の正の方向に向けて前進する場合、撮像面２３ｃから見た被写体像２１０ｅの方向は変わりにくい。よって、被写体像２１０ｅが撮像面２３ｃ内に結像される位置は、動きにくい。移動体１００がＸ軸の正の方向に向けて前進する場合、被写体像２１０ｆ及び２１０ｇが撮像面２３ｃ内に結像される位置はそれぞれ、Ｌ及びＲで表される方向に移動しうる。被写体像２１０ｆ及び２１０ｇが結像される位置が移動する理由は、移動体１００が前進することによって、被写体像２１０ｆ及び２１０ｇが位置する方向と、被写体像２１０ｅが位置する方向との間の所定角度が小さくなるためである。

撮像面２３ｃにおいて、第２方向がＹ軸の正の方向であると仮定する。被写体像２１０ｆ及び２１０ｇはそれぞれ、Ｙ軸の負の方向及びＹ軸の正の方向に移動する。よって、撮像画像に写る被写体像２１０ｆ及び２１０ｇそれぞれの形状は、Ｙ軸方向に縮小した形状及びＹ軸方向に拡大した形状となりうる。撮像面２３ｃにおいて、第２方向がＹ軸の負の方向であると仮定した場合、撮像画像に写る被写体像２１０ｆ及び２１０ｇそれぞれの形状は、Ｙ軸方向に拡大した形状及び縮小した形状となりうる。つまり、撮像面２３において被写体像２１０が結像する位置によって、撮像画像に写る被写体像２１０は、異なる形状に変形しうる。

プロセッサ１０は、撮像画像に写った被写体像２１０の形状を補正してよい。プロセッサ１０は、撮像面２３の第２方向と、被写体像２１０が撮像画像に写っている位置とに基づいて、撮像画像に写っている被写体像２１０の形状を補正してよい。このようにすることで、運転者１１０は、撮像画像に対してさらに違和感を覚えにくくなる。

例えば、図１４（Ａ）に示される例において、プロセッサ１０は、撮像画像に写っている被写体像２１０ｂの形状をＹ軸方向に拡大するように補正してよい。プロセッサ１０は、撮像面２３ａにおける被写体像２１０ｂが結像する位置が、被写体像２１０ａが結像する位置よりもＹ軸の正の方向の側に位置するほど、撮像画像に写っている被写体像２１０ｂの形状をＹ軸方向に拡大する倍率を大きくしてよい。

例えば、図１４（Ｂ）に示される例において、プロセッサ１０は、撮像画像に写っている被写体像２１０ｄの形状をＹ軸方向に縮小するように補正してよい。プロセッサ１０は、撮像面２３ｂにおける被写体像２１０ｄが結像する位置が、被写体像２１０ｃが結像する位置よりもＹ軸の負の方向の側に位置するほど、撮像画像に写っている被写体像２１０ｄの形状をＹ軸方向に縮小する倍率を小さくしてよい。

例えば、図１４（Ｃ）に示される例において、プロセッサ１０は、撮像画像に写っている被写体像２１０ｆの形状をＹ軸方向に拡大するように補正してよい。プロセッサ１０は、撮像面２３ｃにおける被写体像２１０ｆが結像する位置が、被写体像２１０ｅが結像する位置よりもＹ軸の正の方向の側に位置するほど、撮像画像に写っている被写体像２１０ｆの形状をＹ軸方向に拡大する倍率を大きくしてよい。プロセッサ１０は、撮像画像に写っている被写体像２１０ｇの形状をＹ軸方向に縮小するように補正してよい。プロセッサ１０は、撮像面２３ｃにおける被写体像２１０ｇが結像する位置が、被写体像２１０ｅが結像する位置よりもＹ軸の負の方向の側に位置するほど、撮像画像に写っている被写体像２１０ｇの形状をＹ軸方向に縮小する倍率を小さくしてよい。

プロセッサ１０は、撮像画像に写る被写体像２１０の形状を、さらに移動体１００の速度に基づいて、補正してよい。例えば、プロセッサ１０は、移動体１００が前進する速度が速いほど、被写体像２１０の形状をＹ軸方向に拡大する倍率を大きくしたり、被写体像２１０の形状をＹ軸方向に縮小する倍率を小さくしたりしてよい。このようにすることで、運転者１１０は、撮像画像に対してさらに違和感を覚えにくくなる。プロセッサ１０は、撮像画像に写る被写体像２１０の形状を、撮像面２３における被写体像２１０が結像する位置の移動速度に基づいて、補正してもよい。プロセッサ１０は、移動体１００の速度に基づいて、撮像面２３における被写体像２１０が結像する位置の移動速度を算出してもよい。

移動体１００が後退する場合、前進する場合と比較して、移動体１００の移動速度は、遅くなりうる。移動体１００が後退する場合、撮像画像に写る被写体像２１０の形状の変形は、無視できる程度の変形であるとみなされてよい。この場合、プロセッサ１０は、撮像画像を補正しないようにしてよい。このようにすることで、プロセッサ１０の負荷が低減されうる。

移動体１００が狭い幅の道路を移動したり、渋滞している車列の中にいたりする場合、移動体１００が高速道路又は幹線道路等を通常に移動する場合と比較して、移動体１００の移動速度は遅くなりうる。移動体１００の移動速度が所定速度よりも遅い場合、撮像画像に写る被写体像２１０の形状の変形は、無視できる程度の変形であるとみなされてよい。この場合、プロセッサ１０は、撮像画像を補正しないようにしてよい。このようにすることで、プロセッサ１０の負荷が低減されうる。所定速度は、移動体１００の位置、移動体１００の周囲の状況等の種々の情報に基づいて決定されてよい。

撮像装置１が移動体１００に搭載される際、撮像素子２２が各画素セル２６から撮像データを読み出す順番を特定する第１方向及び第２方向と、移動面２００との関係が調整されうる。撮像装置１は、第１方向が移動面２００に交差するように、移動体１００に搭載されてよい。例えば図１５に示されるように、撮像装置１は、撮像素子２２が実装された基板１４を備えてよい。基板１４には、プロセッサ１０がさらに実装されてよい。撮像素子２２は、第１方向及び第２方向がＺ軸の正の方向及びＹ軸の負の方向となるように実装されてよい。二点鎖線の仮想線で示される撮像光学系２４は、その光軸が撮像素子２２の撮像面２３の中心に合うように位置してよい。

撮像装置１は、筐体５０を備えてよい。筐体５０は、撮像装置１を移動体１００に取り付けるための取付部５２を備えてよい。取付部５２は、ねじ等を貫通させる孔を有してよい。筐体５０は、取付部５２を少なくとも２つ備えてよい。取付部５２は、筐体５０の周囲に位置してよい。取付部５２は、筐体５０の、撮像光学系２４とは反対側の面に位置してよい。

取付部５２は、筐体５０の任意の点を中心として、点対称とならないように位置してよい。このようにすることで、取付部５２は、撮像面２３における第１方向と移動面２００との関係を特定しうる。撮像装置１は、第１方向が移動面２００に交差するように、移動体１００に搭載されうる。第１方向がプロセッサ１０からの制御情報に基づいて変更されうる場合、取付部５２によって撮像装置１の取付方向が特定されることによって、プロセッサ１０は、第１方向と移動面２００との関係を実際の取り付け状態に合わせて制御しうる。

撮像装置１は、筐体５０に、撮像素子２２の第１方向又は第２方向を表すマーク等を備えてよい。取付部５２が筐体５０の任意の点を中心として点対称でない場合、取付部５２の位置が撮像素子２２の第１方向又は第２方向を表すマークであるともいえる。撮像装置１が第１方向又は第２方向を表すマーク等を備えることによって、撮像装置１が移動体１００に取り付けられる際にミスが起こりにくくなる。

図１３に例示されるように、カメラ２０ａ及び２０ｂは、移動体１００の左側及び右側にそれぞれ搭載されてよい。この場合、カメラ２０ａの取付部５２と、カメラ２０ｂの取付部５２とは、それぞれ異なる位置関係を有してよい。このようにすることで、第２方向がそれぞれ異なるカメラ２０は、移動体１００に搭載される際、逆に取り付けられにくくなる。

本開示における移動体１００は、車両及び船舶等を含んでよい。本開示における車両は、自動車および産業車両を含むが、これに限られず、鉄道車両及び生活車両、並びに滑走路を走行する飛行機を含んでよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両は、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。本開示における船舶は、マリンジェット、ボート、及びタンカーを含む。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部などに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部などを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

１ 撮像装置
１０ プロセッサ
１２ 記憶部
１４ 基板
２０（２０ａ、２０ｂ、２０ｃ） カメラ
２２ 撮像素子
２３（２３ａ、２３ｂ、２３ｃ） 撮像面
２４ 撮像光学系
２６ 画素セル
２８ 画素グループ
３０ ディスプレイ
５０ 筐体
５２ 取付部
１００ 移動体
１１０ 運転者
２００ 移動面
２１０（２１０ａ〜２１０ｇ） 被写体
２１２ａ、２１２ｂ 被写体形状

Claims (11)

1. 移動面に沿って移動する移動体に搭載される、撮像光学系と、撮像素子とを備え、
   前記撮像光学系は、前記移動体の周囲に位置する被写体を結像し、
   前記撮像素子は、前記撮像光学系で結像された被写体像を撮像する画素が並ぶ撮像面を有し、
   前記画素は、前記移動面に対して交差する第１方向に沿って並ぶ画素毎に画素グループに属し、
   前記画素グループは、前記第１方向に交差する第２方向に並び、
   前記撮像素子は、前記画素グループが前記第２方向に沿って並ぶ順番で、前記画素グループ毎に前記被写体像の撮像データを読み出す
   撮像装置。
2. 前記第１方向は、前記被写体像の移動方向に直交する、請求項１に記載の撮像装置。
3. 前記移動体は、車両である、請求項１又は２に記載の撮像装置。
4. 前記撮像光学系の、前記被写体の側に位置する少なくとも一部は、前記移動体の側面に位置する、請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記撮像光学系は、前記移動体の右側面及び左側面それぞれに位置し、
   前記車両の右側面及び左側面それぞれに位置する撮像光学系に対応する撮像素子における前記第２方向は、互いに逆向きである、請求項４に記載の撮像装置。
6. 前記撮像素子から撮像画像を取得するプロセッサをさらに備え、
   前記プロセッサは、前記撮像画像に対して、前記第２方向に沿った拡大及び縮小の少なくとも一方を含む補正を実行する、請求項１乃至５のいずれか一項に記載の撮像装置。
7. 前記プロセッサは、前記移動体の速度に基づいて、前記補正を実行する、請求項６に記載の撮像装置。
8. 前記プロセッサは、前記撮像画像内における前記第２方向に沿った位置に基づいて、前記補正を実行する、請求項６又は７に記載の撮像装置。
9. 前記移動体に取り付けるための取付部をさらに備え、
   前記取付部によって、前記移動体に取り付けられる方向が特定される、請求項１乃至８のいずれか一項に記載の撮像装置。
10. 前記移動体に取り付けられる方向を特定するマークをさらに備える、請求項１乃至９のいずれか一項に記載の撮像装置。
11. 移動面に沿って移動し、
    撮像光学系と、撮像素子とを備える撮像装置を搭載し、
    前記撮像光学系は、周囲に位置する被写体を結像し、
    前記撮像素子は、前記撮像光学系で結像された被写体像を撮像する画素が並ぶ撮像面を有し、
    前記画素は、前記移動面に対して交差する第１方向に沿って並ぶ画素毎に画素グループに属し、
    前記画素グループは、前記第１方向に交差する第２方向に並び、
    前記撮像素子は、前記画素グループが前記第２方向に沿って並ぶ順番で、前記画素グループ毎に前記被写体像の撮像データを読み出す
    移動体。

Images