JP2021156579A - 画像処理装置、画像処理方法、移動機器、並びにプログラム - Google Patents

Abstract

【課題】距離測定を精度良く行う。【解決手段】長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、長時間露光距離画像と短時間露光距離画像を合成して距離画像を生成する距離画像生成部とを備える。本技術は、画像を解析することで対象物までの距離を測定する画像処理装置に適用できる。【選択図】図１

Description

本技術は画像処理装置、画像処理方法、移動機器、並びにプログラムに関し、例えば、撮像された画像を用いて距離測定を行うときに、より精度良く距離を測定できるようにした画像処理装置、画像処理方法、移動機器、並びにプログラムに関する。

近年、ステレオカメラなど複数のカメラを用いて歩行者や車両などの障害物を検出することが実用化されている。ステレオカメラとは、同時刻に撮像された複数の画像上における同一対象物の位置ずれ（視差）を算出し、算出した視差をもとに対象物の実空間上の位置を算出する装置である。このステレオカメラは、左右２つの撮像素子で撮像した１対の画像を用いて、対象物の距離を算出し、対象物の認識を行うものである。

特許文献１では、露光時間のことなる第１の画像と第２の画像を取得し、取得した第１の画像または第２の画像に対して輝度補正を行い、補正した画像を用いて視差を算出することが提案されている。

特開２０１３−８８５８７号公報

特許文献１によると、取得された画像に対して輝度補正を行うため、例えば画素値が飽和や黒潰れしている領域においては正しく輝度補正できず、結果として正しく視差を算出できない可能性があった。また、飽和や黒潰れが発生するような撮像が行われないように、適切な撮像が行われる必要があった。例えば、明暗が激しいシーンなどでは、飽和や黒潰れが発生しない撮像を行うのは難しく、画像内の一部の領域で飽和や黒潰れが発生してしまう可能性が高まり、正しい視差を算出できない可能性があった。

どのようなシーンであっても、正しい視差を算出できる、換言すれば精度良く、対象物までの距離を測定できることが望まれている。

本技術は、このような状況に鑑みてなされたものであり、対象物までの距離を精度良く測定することができるようにするものである。

本技術の一側面の第１の画像処理装置は、長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する距離画像生成部とを備える。

本技術の一側面の第１の画像処理方法は、画像処理装置が、長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成し、前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する。

本技術の一側面の第１のプログラムは、コンピュータに、長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成し、前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する処理を実行させる。

本技術の一側面の第１の移動機器は、長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラと、短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラと、前記第１の長時間露光カメラからの第１の長時間露光画像と、前記第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、前記第１の短時間露光カメラからの第１の短時間露光画像と、前記第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する距離画像生成部とを備える。

本技術の一側面の第２の画像処理装置は、長時間露光で画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と、短時間露光で画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像を合成することで、広ダイナミックレンジの第１の画像を生成する第１の画像生成部と、前記第１の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第２の長時間露光カメラからの第２の長時間露光画像と、前記第１の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第２の短時間露光カメラからの第２の短時間露光画像を合成することで、広ダイナミックレンジの第２の画像を生成する第２の画像生成部と、前記第１の画像と前記第２の画像とから視差を算出し、基準となる基準距離画像を生成する基準距離画像生成部と、前記第１の長時間露光画像と前記第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する距離画像生成部とを備える。

本技術の一側面の第２の画像処理方法は、画像処理装置が、長時間露光で画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と、短時間露光で画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像を合成することで、広ダイナミックレンジの第１の画像を生成し、前記第１の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第２の長時間露光カメラからの第２の長時間露光画像と、前記第１の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第２の短時間露光カメラからの第２の短時間露光画像を合成することで、広ダイナミックレンジの第２の画像を生成し、前記第１の画像と前記第２の画像とから視差を算出し、基準となる基準距離画像を生成し、前記第１の長時間露光画像と前記第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する。

本技術の一側面の第２のプログラムは、コンピュータに、長時間露光で画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と、短時間露光で画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像を合成することで、広ダイナミックレンジの第１の画像を生成し、前記第１の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第２の長時間露光カメラからの第２の長時間露光画像と、前記第１の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第２の短時間露光カメラからの第２の短時間露光画像を合成することで、広ダイナミックレンジの第２の画像を生成し、前記第１の画像と前記第２の画像とから視差を算出し、基準となる基準距離画像を生成し、前記第１の長時間露光画像と前記第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する処理を実行させる。

本技術の一側面の第２の移動機器は、長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラと、短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラと、前記第１の長時間露光カメラからの第１の長時間露光画像と、前記第１の短時間露光カメラからの第１の短時間露光画像を合成することで、広ダイナミックレンジの第１の画像を生成する第１の画像生成部と、前記第２の長時間露光カメラからの第２の長時間露光画像と、前記第２の短時間露光カメラからの第２の短時間露光画像を合成することで、広ダイナミックレンジの第２の画像を生成する第２の画像生成部と、前記第１の画像と前記第２の画像とから視差を算出し、基準となる基準距離画像を生成する基準距離画像生成部と、前記第１の長時間露光画像と前記第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する距離画像生成部とを備える。

本技術の一側面の第１の画像処理装置、画像処理方法、プログラム、移動機器においては、長時間露光で画像が撮像され、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光画像とから視差が算出され、長時間露光距離画像が生成され、短時間露光で画像が撮像され、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光画像とから視差が算出され、短時間露光距離画像が生成され、長時間露光距離画像と短時間露光距離画像が合成されて距離画像が生成される。

本技術の一側面の第２の画像処理装置、画像処理方法、プログラム、移動機器においては、長時間露光で画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と、短時間露光で画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像が合成されることで、広ダイナミックレンジの第１の画像が生成され、第１の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第２の長時間露光カメラからの第２の長時間露光画像と、第１の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第２の短時間露光カメラからの第２の短時間露光画像が合成されることで、広ダイナミックレンジの第２の画像が生成され、第１の画像と第２の画像とから視差が算出され、基準となる基準距離画像が生成され、第１の長時間露光画像と第２の長時間露光画像とから視差が算出され、長時間露光距離画像が生成され、基準距離画像と長時間露光距離画像が合成されて距離画像が生成される。

なお、画像処理装置、移動機器は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。また移動機器は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。

本技術の一側面によれば、対象物までの距離を精度良く測定することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本発明を適用した画像処理装置の第１の実施の形態における構成を示す図である。 露光時間に関するタイミングチャートである。 カメラの配置について説明するための図である。 ラインまたは画素の配置について説明するための図である。 カメラの配置について説明するための図である。 カメラの配置について説明するための図である。 画像処理装置の動作について説明するためのフローチャートである。 距離画像の生成の仕方について説明するための図である。 距離画像の生成の仕方について説明するための図である。 本発明を適用した画像処理装置の第２の実施の形態における構成を示す図である。 画像処理装置の動作について説明するためのフローチャートである。 距離画像の生成の仕方について説明するための図である。 距離画像の生成の仕方について説明するための図である。 距離画像の生成の仕方について説明するための図である。 距離画像の生成の仕方について説明するための図である。 記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。

本技術は、自己と所定の物体までの距離を測定する測定装置に適用できる。また、以下に説明する本実施の形態における距離の測定は、画像を撮像し、撮像した画像を解析することで行われる。以下の説明においては、撮像された画像を処理する画像処理装置に、本技術を適用した場合を例に挙げて説明を続ける。

また、画像処理装置は、例えば、車、ドローン、ロボットなどの移動物体に搭載され、物体までの距離を測定し、その物体との衝突を避けるなどの処理を行うときに用いることができる。本技術は、自律して移動する移動物体や、工場の製造ラインに設置されている機械などに適用可能である。以下の説明では、車に本技術を適用した画像処理装置を搭載した場合を例に挙げて説明を行う。

＜第１の実施の形態における画像処理装置の構成＞
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示す図である。図１に示した第１の実施の形態における画像処理装置１２は、撮像装置１１−１と撮像装置１１−２でそれぞれ撮像された画像を処理する構成とされている。

撮像装置１１−１と撮像装置１１−２は、所定の間隔を有して配置され、例えば、車の左右にそれぞれ搭載されたカメラである。ここでは、撮像装置１１−１は、車の左側に装着されたカメラであるとし、以下、左撮像装置１１−１と記述する。また、撮像装置１１−２は、車の右側に装着されたカメラであるとし、以下、右撮像装置１１−２と記述する。なお、左撮像装置１１−１と右撮像装置１１−２を、個々に区別する必要が無い場合、単に撮像装置１１と記述する。他の部分も同様に記述する。

左撮像装置１１−１と右撮像装置１１−２は、１組のステレオカメラを構成し、左撮像装置１１−１で撮像された画像と、右撮像装置１１−２で撮像された画像に視差があることを利用し、この２枚の画像が処理されることで、距離が測定され、距離画像が生成されるようにすることができる。

距離画像とは、距離に応じた色づけされた画像である。ここでの距離は、撮像装置１１からの測定対象とされている物体までの距離であるとするが、例えば、車の中心から物体までの距離や、車の先端から物体までの距離であっても良く、距離としては、画像処理装置１２を搭載している機器の任意の位置を基準とし、その基準とした位置からの距離であるとすることができる。

左撮像装置１１−１は、長時間露光カメラ２１−１と短時間露光カメラ２２−１を備える。以下、左撮像装置１１−１に含まれる長時間露光カメラ２１−１と短時間露光カメラ２２−１を、左長時間露光カメラ２１−１と左短時間露光カメラ２２−１と記述する。

同様に右撮像装置１１−２は、長時間露光カメラ２１−２と短時間露光カメラ２２−２を備える。以下、右撮像装置１１−２に含まれる長時間露光カメラ２１−２と短時間露光カメラ２２−２を、右長時間露光カメラ２１−２と右短時間露光カメラ２２−２と記述する。

以下の説明において、左長時間露光カメラ２１−１と右長時間露光カメラ２１−２を、個々に区別する必要が無い場合、単に長時間露光カメラ２１と記述する。同様に、左短時間露光カメラ２２−１と右短時間露光カメラ２２−２を、個々に区別する必要が無い場合、単に短時間露光カメラ２２と記述する。

長時間露光カメラ２１は、短時間露光カメラ２２の露光時間よりも長い時間露光し、画像を撮像する。長時間露光カメラ２１で撮像された長時間露光画像と、短時間露光カメラ２２で撮像された短時間露光画像を合成することで、広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。

長時間露光画像と短時間露光画像を個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成することで、広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。

長時間露光カメラ２１の露光と短時間露光カメラ２２の露光は、例えば、図２に示すようなタイミングで制御される。時刻ｔ１において、長時間露光カメラ２１と短時間露光カメラ２２は、ともに露光を開始する。時刻ｔ２において、短時間露光カメラ２２は、露光を停止する。その後、時刻ｔ３において、長時間露光カメラ２１は、露光を停止する。

長時間露光カメラ２１は、時刻ｔ１から時刻ｔ３まで（時間Ｔ１とする）露光し、短時間露光カメラ２２は、時刻ｔ１から時刻ｔ２まで（時間Ｔ２とする）露光する。時間Ｔ１は、時間Ｔ２よりも長い時間である。このように露光が制御されることで、長時間露光カメラ２１は、短時間露光カメラ２２の露光時間よりも長い時間露光し、画像を撮像する。

なお、露光開始や終了のタイミングは、一例であり、長時間露光カメラ２１の露光時間が、短時間露光カメラ２２の露光時間よりも長くなるように制御されれば、露光開始のタイミングなどは、どのようなタイミングであっても、本技術に適用することができる。

またここでは、長時間露光と短時間露光を例に挙げて説明を続けるが、さらに他の露光時間を設けて、複数の露光時間の画像が合成されることで、ＨＤＲ画像が生成されるようにしても良い。

例えば、一例として、図３に示すように、長時間露光用の長時間露光カメラ２１、短時間露光用の短時間露光カメラ２２、および長時間露光と短時間露光の中間の中時間露光用の中時間露光カメラ２３を備える構成としても良い。

図３に示した左撮像装置１１−１は、左長時間露光カメラ２１―１、左短時間露光カメラ２２―１、左中時間露光カメラ２３―１の３台のカメラを備える構成とされている。同様に、右撮像装置１１−２は、右長時間露光カメラ２１―２、右短時間露光カメラ２２―２、右中時間露光カメラ２３―２の３台のカメラを備える構成とされている。

このような多眼ステレオカメラを、本技術に用いることもできる。すなわち、本技術は、１台の撮像装置１１が、ｎ（ｎは２以上）個の異なる露光時間で、それぞれ画像を撮像するｎ台のカメラで構成されている場合に適用できる。また、図４に示すように、１台の撮像装置１１が、１台のカメラで構成されているようにすることもできる。

図４は、１台の撮像装置１１を、１台のカメラで構成した場合について説明するための図である。図４では、長時間露光と短時間露光を、１台のカメラで行う場合を例に挙げて説明するが、図３を参照して説明したように、ｎ個の異なる露光時間を、１台のカメラで行う場合にも適用できる。

図４のＡに示すように、長時間露光のライン２１Ｌと短時間露光のライン２２Ｓを交互に配置し、長時間露光のライン２１Ｌで長時間露光カメラ２１を構成し、短時間露光のライン２２Ｓで短時間露光カメラ２２を構成する。

図４のＢに示すように、長時間露光の画素２１Ｌと短時間露光の画素２２Ｓを縦方向および横方向にそれぞれ交互に配置し、長時間露光の画素２１Ｌで長時間露光カメラ２１を構成し、短時間露光の画素２２Ｓで短時間露光カメラ２２を構成する。

図４に示したように、撮像装置１１を、ライン毎に長時間露光と短時間露光を行う構成としても良いし、画素毎にライン毎に長時間露光と短時間露光を行う構成としても良い。

ここでは１台の撮像装置１１を、図１に示したように、長時間露光カメラ２１と短時間露光カメラ２２の２台のカメラで構成するようにした場合を例に挙げて説明を続ける。そして、長時間露光カメラ２１と短時間露光カメラ２２の２台のカメラの配置は、図５に示したように配置とすることができる。

図５のＡに示した配置例は、長時間露光カメラ２１と短時間露光カメラ２２を横方向に配置した配置例である。また、図５のＡに示した配置例は、長時間露光カメラ２１を外側に配置し、短時間露光カメラ２２を内側に配置した配置例である。左撮像装置１１−１の左長時間露光カメラ２１−１は、外側に配置され、左短時間露光カメラ２２−１は、内側に配置されている。同様に、右撮像装置１１−２の右長時間露光カメラ２１−２は、外側に配置され、右短時間露光カメラ２２−２は、内側に配置されている。

このように配置した場合、左長時間露光カメラ２１−１と右長時間露光カメラ２１−２の距離は、左短時間露光カメラ２２−１と右短時間露光カメラ２２−２の距離は、異なる距離となる。この配置の場合、ベースラインと露光時間がともに異なる配置となる。

図５のＢに示した配置例は、長時間露光カメラ２１と短時間露光カメラ２２を横方向に配置した配置例である。また、図５のＢに示した配置例は、左撮像装置１１−１を構成する左長時間露光カメラ２１−１と左短時間露光カメラ２２−１の配置と、右撮像装置１１−２を構成する右長時間露光カメラ２１−２と右短時間露光カメラ２２−２の配置を、同一の配置とした配置例である。

左撮像装置１１−１の左長時間露光カメラ２１−１は、外側に配置され、左短時間露光カメラ２２−１は、内側に配置されている。一方、右撮像装置１１−２の右長時間露光カメラ２１−２は、内側に配置され、右短時間露光カメラ２２−２は、外側に配置されている。

このように配置した場合、左長時間露光カメラ２１−１と右長時間露光カメラ２１−２の距離と、左短時間露光カメラ２２−１と右短時間露光カメラ２２−２の距離は、同じ距離となる。この配置の場合、ベースラインは共通となり、露光時間が異なる配置となる。

図５のＣに示した配置例は、長時間露光カメラ２１と短時間露光カメラ２２を縦方向に配置した配置例である。また、図５のＣに示した配置例は、長時間露光カメラ２１を上側に配置し、短時間露光カメラ２２を下側に配置した配置例である。

左撮像装置１１−１の左長時間露光カメラ２１−１は、縦方向において上側に配置され、左短時間露光カメラ２２−１は、縦方向において下側に配置されている。同様に、右撮像装置１１−２の右長時間露光カメラ２１−２は、縦方向において上側に配置され、右短時間露光カメラ２２−２は、縦方向において下側に配置されている。

このように配置した場合、左長時間露光カメラ２１−１と右長時間露光カメラ２１−２の距離と、左短時間露光カメラ２２−１と右短時間露光カメラ２２−２の距離は、同じ距離となる。この配置の場合、ベースラインは共通となり、露光時間が異なる配置となる。

図示はしないが、長時間露光カメラ２１を縦方向において下側に配置し、短時間露光カメラ２２を縦方向において上側に配置しても良い。

ここでは図示していない配置例で配置されていても良い。以下の説明では、図５のＡまたは図５のＢに示した横配置である配置例を例に挙げて説明を続ける。また、以下の説明においては、図１に示したように、２台の撮像装置１１がある場合を例に挙げて説明を続けるが、図６に示すように、２台の撮像装置１１に、長時間露光カメラまたは短時間露光カメラをさらに追加した構成とした場合にも、本技術を適用できる。

図６を参照するに、左撮像装置１１−１と右撮像装置１１−２との間に、中撮像装置１１−３が追加された構成とされている。また、中撮像装置１１−３は、長時間露光で画像を撮像する中長時間露光カメラ２１−３を含む構成とされている。このように構成した場合、長時間露光カメラ２１においては３つのペアでステレオ対応を取ることができる。

１つめのペアは、左長時間露光カメラ２１−１と右長時間露光カメラ２１−２とのペアである。２つめのペアは、左長時間露光カメラ２１−１と中長時間露光カメラ２１−３とのペアである。３つめのペアは、右長時間露光カメラ２１−２と中長時間露光カメラ２１−３とのペアである。

さらに、図６に示した構成によると、ステレオ対応としては左短時間露光カメラ２２−１と右短時間露光カメラ２２−２とのペアもある。このように、複数のステレオ対応で処理を行う構成としても良い。

なお、中撮像装置１１−３を、中短時間露光カメラ２２-３（不図示）で構成されるようにしても良い。この場合、短時間露光カメラ２２において、３つのペアでのステレオ対応を取ることができる。

図６を参照して説明した構成にすると、例えば、左撮像装置１１−１で撮像が行えなかった場合であっても、中撮像装置１１−３で撮像を行うことで、中撮像装置１１−３と右撮像装置１１−２のペアにより、ステレオ対応を取ることができ、距離を測定することができる。

例えば、撮像装置１１が車に搭載されている場合、泥や葉などが、カメラに付着し、画像を撮像できない状態になる可能性もある。このような状態が発生したときにも、図６に示したような構成とすることとで、画像を撮像できないカメラの代わりに、中撮像装置１１−３で撮像を行うことで、ステレオ対応をとれるようにすることができる。

なお、撮像装置１１を構成するカメラは、モノクロ画像を撮像するカメラであっても良いし、カラー画像を撮像するカメラであっても良い。また、近赤外（NIR：Near infrared）カメラ、遠赤外（FIR：Far infrared）カメラであっても良い。また、カラーカメラと近赤外カメラを組み合わせた構成や、カラーカメラと遠赤外カメラを組み合わせた構成とすることも可能である。

図１を参照した説明に戻る。

画像処理装置１２は、左撮像装置１１−１と右撮像装置１１−２でそれぞれ撮像された画像を取得し、処理する。撮像装置１１は、静止画像を所定の間隔で撮像し、撮像したタイミングで、画像処理装置１２に供給することで、画像処理装置１２に、画像が入力されるようにしても良い。

または、撮像装置１１は、動画像を撮影し、画像処理装置１２に画像（フレーム）を供給し続けることで、画像処理装置１２に、画像が入力されるようにしても良い。または、画像処理装置１２が、所定のタイミングで、撮像装置１１を制御し、画像を撮像させ、その撮像させた画像を撮像装置１１から取得するようにしても良い。

左撮像装置１１−１の左長時間露光カメラ２１―１で撮像された画像（以下、左長時間露光画像と記述する）と、右撮像装置１１−２の右長時間露光カメラ２１―２で撮像された画像（以下、右長時間露光画像と記述する）は、それぞれ長時間露光画像入力部３１に供給される。

左撮像装置１１−１の左短時間露光カメラ２２―１で撮像された画像（以下、左短時間露光画像と記述する）と、右撮像装置１１−２の右短時間露光カメラ２２―２で撮像された画像（以下、右短時間露光画像と記述する）は、それぞれ短時間露光画像入力部３２に供給される。

長時間露光画像入力部３１に入力された左長時間露光画像と右長時間露光画像は、長時間露光マスク画像生成部３３に供給される。短時間露光画像入力部３２に入力された左短時間露光画像と右短時間露光画像は、短時間露光マスク画像生成部３４に供給される。

長時間露光マスク画像生成部３３は、供給された左長時間露光画像と右長時間露光画像の飽和領域や黒潰れ領域を抽出し、それらの領域をマスクした画像を生成する。左長時間露光画像をマスクした結果生成される画像を、左長時間露光マスク画像と記述し、右長時間露光画像をマスクした結果生成される画像を、右長時間露光マスク画像と記述する。

短時間露光マスク画像生成部３４は、供給された左短時間露光画像と右短時間露光画像の飽和領域や黒潰れ領域を抽出し、それらの領域をマスクした画像を生成する。左短時間露光画像をマスクした結果生成される画像を、左短時間露光マスク画像と記述し、右短時間露光画像をマスクした結果生成される画像を、右短時間露光マスク画像と記述する。

長時間露光マスク画像生成部３３で生成された左長時間露光マスク画像と右長時間露光マスク画像は、長時間露光距離画像生成部３５に供給される。長時間露光距離画像生成部３５は、左長時間露光マスク画像と右長時間露光マスク画像から、視差を計算し、距離画像を生成する。生成された距離画像を、長時間露光距離画像と記述する。なおここでは、マスクされた長時間露光マスク画像を用いて視差が算出される場合を例に挙げて説明を続けるが、例えば、長時間露光マスク画像生成部３３におけるマスク処理をせずに、左長時間露光画像と右長時間露光画像から、視差が算出されるようにしても良い。

短時間露光マスク画像生成部３４で生成された左短時間露光マスク画像と右短時間露光マスク画像は、短時間露光距離画像生成部３６に供給される。短時間露光距離画像生成部３６は、左短時間露光マスク画像と右短時間露光マスク画像から、視差を計算し、距離画像を生成する。生成された距離画像を、短時間露光距離画像と記述する。なおここでは、マスクされた短時間露光マスク画像を用いて視差が算出される場合を例に挙げて説明を続けるが、例えば、短時間露光マスク画像生成部３４におけるマスク処理をせずに、左短時間露光画像と右短時間露光画像から、視差が算出されるようにしても良い。

長時間露光距離画像生成部３５で生成された長時間露光距離画像と、短時間露光距離画像生成部３６で生成された短時間露光距離画像は、合成画像生成部３７に供給される。合成画像生成部３７は、長時間露光距離画像と短時間露光距離画像を合成することで、距離画像を生成する。長時間露光距離画像と短時間露光距離画像は、それぞれマスクされた領域には、距離画像が生成されていないため、距離画像がない領域を補うような合成が行われる。

合成画像生成部３７により生成された距離画像は、距離画像出力部３８に供給され、図示されていない後段の処理部へと出力される。

＜第１の実施の形態における画像処理装置の動作＞
図１に示した画像処理装置１２の動作について、図７のフローチャートを参照して説明する。また、図７のフローチャートの各処理の具体的な処理例を、図８、図９を参照して説明する。

ステップＳ１１において、長時間露光画像入力部３１は、左撮像装置１１−１の左長時間露光カメラ２１―１で撮像された左長時間露光画像と、右撮像装置１１−２の右長時間露光カメラ２１―２で撮像された右長時間露光画像を取得する。取得された左長時間露光画像と右長時間露光画像は、長時間露光マスク画像生成部３３に供給される。

ステップＳ１２において、短時間露光画像入力部３２は、左撮像装置１１−１の左短時間露光カメラ２２―１で撮像された左短時間露光画像と、右撮像装置１１−２の右短時間露光カメラ２２―２で撮像された右短時間露光画像を取得する。取得された左短時間露光画像と右短時間露光画像は、短時間露光マスク画像生成部３４に供給される。

ステップＳ１３において、長時間露光マスク画像生成部３３は、供給された左長時間露光画像と右長時間露光画像の飽和領域や黒潰れ領域を抽出し、それらの領域をマスクした左長時間露光マスク画像と右長時間露光マスク画像を、それぞれ生成する。長時間露光により得られる画像は、撮像素子の飽和容量を超えてしまっている飽和領域、所謂白飛びが発生して領域がある可能性がある。

長時間露光マスク画像生成部３３は、長時間露光画像の画素値が、所定の閾値Ｖ１より大きい否かを判定し、閾値Ｖ１より大きい画素をマスクした長時間露光マスク画像を生成する。このような判定を行うことで、飽和している領域を抽出し、飽和していると判定される領域をマスクしたマスク画像を生成することができる。

ステップＳ１４において、短時間露光マスク画像生成部３４は、供給された左短時間露光画像と右短時間露光画像の飽和領域や黒潰れ領域を抽出し、それらの領域をマスクした左短時間露光マスク画像と右短時間露光マスク画像を、それぞれ生成する。短時間露光により得られる画像は、黒潰れしてしまっている領域がある可能性がある。

短時間露光マスク画像生成部３４は、短時間露光画像の画素値が、所定の閾値Ｖ２より小さいか否かを判定し、閾値Ｖ２より小さい画素をマスクした短時間露光マスク画像を生成する。このような判定を行うことで、黒潰れしている領域を抽出し、黒潰れしていると判定される領域をマスクしたマスク画像を生成することができる。

ここまでの処理を、図８を参照して再度説明を加える。図８の上部に示した４枚の画像は、それぞれ左長時間露光画像１１１、右長時間露光画像１１２、左短時間露光画像１１３、および右短時間露光画像１１４を表している。これらの画像は、同時刻に露光が開始され、撮像された画像であるとする。

左長時間露光画像１１１と右長時間露光画像１１２は、視差分のずれがある画像であるが、露光時間が同じであるため、飽和している領域は、略同じとなる。また、左短時間露光画像１１３と右短時間露光画像１１４は、視差分のずれがある画像であるが、露光時間が同じであるため、黒潰れしている領域は、略同じとなる。

これらの画像には、太陽、木、車、標識などが撮像されている。左長時間露光画像１１１と右長時間露光画像１１２において、例えば、空や木が撮像されている領域は、飽和領域であるとする。また、左短時間露光画像１１３と右短時間露光画像１１４において、例えば、車や標識が撮像されている領域は、黒潰れ領域であるとする。

このような画像を、長時間露光マスク画像生成部３３と短時間露光マスク画像生成部３４が、それぞれ処理した場合、図８の下部に示すようなマスク画像が生成される。

左長時間露光画像１１１と右長時間露光画像１１２が、それぞれ長時間露光マスク画像生成部３３により処理されることで、車と標識が撮像されている以外の領域がマスクされた左長時間露光マスク画像１２１と右長時間露光マスク画像１２２が生成される。

左短時間露光画像１１３と右短時間露光画像１１４が、それぞれ短時間露光マスク画像生成部３４により処理されることで、車と標識が撮像されている領域がマスクされた左短時間露光マスク画像１２３と右短時間露光マスク画像１２４が生成される。

このような処理が、ステップＳ１１乃至Ｓ１４において実行される。

図７のフローチャートを参照した説明にもどり、ステップＳ１５において、長時間露光距離画像生成部３５は、長時間露光距離画像を生成する。長時間露光距離画像生成部３５には、長時間露光マスク画像生成部３３から、飽和領域がマスクされたマスク画像が供給される。例えば、図８を参照して説明したように、車と標識以外の領域がマスクされた左長時間露光マスク画像１２１と右長時間露光マスク画像１２２が、長時間露光距離画像生成部３５に供給される。

左長時間露光マスク画像１２１と右長時間露光マスク画像１２２は、視差分のずれがある画像であり、長時間露光距離画像生成部３５は、左長時間露光マスク画像１２１と右長時間露光マスク画像１２２を用いて視差を算出する。例えば、ステレオマッチングにより視差が算出され、視差を基に計算された深度マップ、すなわち距離画像を生成する。

例えば、左長時間露光マスク画像１２１と右長時間露光マスク画像１２２は、車と標識の領域がマスクされずに残っている画像であるため、この車と標識までの視差（距離）が算出され、図９に示したような長時間露光距離画像１３１が生成される。

図７のフローチャートを参照した説明にもどり、ステップＳ１６において、短時間露光距離画像生成部３６は、短時間露光距離画像を生成する。短時間露光距離画像生成部３６には、短時間露光マスク画像生成部３４から、黒潰れ領域がマスクされたマスク画像が供給される。例えば、図８を参照して説明したように、車と標識の領域がマスクされた左短時間露光マスク画像１２３と右短時間露光マスク画像１２４が、短時間露光距離画像生成部３６に供給される。

左短時間露光マスク画像１２３と右短時間露光マスク画像１２４は、視差分のずれがある画像であり、短時間露光距離画像生成部３６は、左短時間露光マスク画像１２３と右短時間露光マスク画像１２４を用いて視差を算出する。例えば、左短時間露光マスク画像１２３と右短時間露光マスク画像１２４は、車と標識の領域がマスクされた画像であるため、この車と標識以外の物体までの距離が算出され、図９に示したような短時間露光距離画像１３２が生成される。

ステップＳ１７において、合成画像生成部３７は、長時間露光距離画像生成部３５で生成された長時間露光距離画像１３１と、短時間露光距離画像生成部３６で生成された短時間露光距離画像１３２を合成する処理を行う。

例えば、図９に示したように、車までの距離と標識までの距離が情報として含まれる長時間露光距離画像１３１と、車と標識以外の物体までの距離が情報として含まれる短時間露光距離画像１３２が合成されることで、距離画像１４１が生成される。この場合、長時間露光距離画像１３１では距離情報が欠落している部分は、短時間露光距離画像１３２で補われるため、生成される距離画像１４１は、距離情報が欠落している部分がない画像とすることができる。

長時間露光距離画像１３１と短時間露光距離画像１３２が合成されるとき、長時間露光距離画像１３１で欠落している領域の距離情報を、短時間露光距離画像１３２から抽出して補うように合成される。例えば、長時間露光距離画像１３１と短時間露光距離画像１３２の両方に、距離情報があるような領域は、長時間露光距離画像１３１の距離情報が優先的に用いられる。

長時間露光距離画像１３１と短時間露光距離画像１３２が合成されることで、ダイナミックレンジが広い画像から距離画像を生成した場合と同等の距離画像を得ることができる。すなわち、ダイナミックレンジが広い距離画像を生成することができる。さらに、得られる距離画像は、ゴーストなどの影響を受けていない画像とすることができる。

長時間露光画像と短時間露光画像を個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成することで、広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。

しかしながら、移動物体がある場合、長時間露光画像内の移動物体の位置と短時間露光画像内の移動物体の位置は異なるときがあり、そのようなときに、長時間露光画像と短時間露光画像を合成すると、合成された画像は、ぼけたり、物体が二重、三重になってしまったりするなどの現象、俗にゴーストなどと称される現象が発生してしまう。

上記した本実施の形態における処理では、左長時間露光画像１１１と右長時間露光画像１１２（図８）から長時間露光距離画像１３１（図９）を生成するため、生成された長時間露光距離画像１３１には、ゴースト現象は発生していない。

すなわち、左長時間露光画像１１１と右長時間露光画像１１２は、露光時間が同じであり、違いは視差のみであるため、合成時にゴーストが一切生じないステレオ画像が得られる。そのような画像から、距離画像を生成するため、長時間露光距離画像１３１にも、ゴースト現象は発生しない。

同様に、左短時間露光画像１１３と右短時間露光画像１１４（図８）から短時間露光距離画像１３２（図９）を生成するため、生成された短時間露光距離画像１３２には、ゴースト現象は発生していない。

すなわち、左短時間露光画像１１３と右短時間露光画像１１４は、露光時間が同じであり、違いは視差のみであるため、ゴーストが一切生じない正しい距離画像が得られる。そのような画像から、距離画像を生成するため、短時間露光距離画像１３２にも、ゴースト現象は発生しない。

そして、ゴースト現象が発生していない長時間露光距離画像１３１と短時間露光距離画像１３２を合成することで、最終的な距離画像１４１が生成されるため、生成された距離画像１４１も、ゴーストによる影響が一切ない正しい距離画像となる。

仮に、ゴースト現象が発生している画像から、距離画像を生成した場合、ゴーストの部分は、ゴーストであるのか、視差によるずれであるのか判定できず、誤った距離情報を含む距離画像が生成される可能性がある。しかしながら、本技術を用いて距離画像を生成することで、上記したように正しい距離情報を含む距離画像を生成することが可能となる。

また、長時間露光距離画像１３１（図９）は、飽和領域がマスキングされている左長時間露光マスク画像１２１と右長時間露光マスク画像１２２（図８）が用いられて生成されるため、この点においても、正しい距離情報を得ることができる。

仮に飽和領域から距離情報を取得するようにした場合、飽和領域の画素値は、正しい画素値ではないため、そのような画素値を用いて算出された距離情報も、正しい距離情報ではない可能性が高い。

しかしながら、本技術によれば、上記したように、飽和領域はマスキングして用いないようにしているため、換言すれば、正しい画素値が得られていると想定される領域から距離情報を算出しているため、得られる距離情報は、正しい距離情報である可能性が高い。

同様に、短時間露光距離画像１３２（図９）は、黒潰れの領域がマスキングされている左短時間露光マスク画像１２３と右短時間露光マスク画像１２４（図８）が用いられて生成されるため、この点においても、正しい距離情報を得ることができる。

すなわち、正しい画素値ではない可能性が高い黒潰れの領域はマスキングして用いないようにしているため、正しい画素値が得られていると想定される領域からのみ距離情報を算出することができ、得られる距離情報は、正しい距離情報である可能性が高い。

また、長時間露光距離画像１３１と短時間露光距離画像１３２（図９）を合成することで、距離画像１４１が生成されるが、この合成の処理のとき、露光時間の違いを吸収するための所定の係数を乗算するといったような処理を行わなくても良い。

通常、長時間露光時の画像と短時間露光時の画像を合成する場合、露光時間による差、例えば輝度値の差を吸収し、同一の露光時間で撮像された画像として扱えるようにするといった処理、例えば係数を乗算するといった処理が含まれる。

本実施の形態によれば、画像同士を合成するのではなく、距離画像（距離情報）を合成するため、このような処理を行わなくても良い。よって、適切な係数を設定したり、係数を乗算するといった処理を省いたりすることができるため、このような設定や処理を行うことにより発生する可能性のある誤差をなくすことができ、より精度良い距離測定を可能とすることができる。

また、通常、撮影するシーンにより、露光時間を変更する必要があるが、換言すれば、飽和や黒潰れができるだけ発生しないよう、シーンに合わせた露光時間を設定して撮像を行う必要がある。

本実施の形態によれば、露光時間の設定は必要無いため、急激なシーンの変化、例えば、暗いトンネルから抜け、明るいところに出たことにより、明るさが急減に変化するようなシーンにも対応でき、急激なシーンの変化が発生したような場合にも、正しい距離測定を行うことができる。

上記したように、本技術によると、飽和や黒潰れが発生した場合、その領域はマスキングして、距離測定には用いないようにしている。一方で、マスキングされた領域の情報は、その領域がマスクキングされてない他の画像から得ることができる（補間される）ようにしている。よって、飽和や黒潰れが発生したようなときにも対応できるため、そのような飽和や黒潰れが発生しないように、露光時間をシーンに合わせて設定しなくても良い。

よって、上記したように、急激なシーンの変化が発生したような場合にも、正しい距離測定を行うことができ、安定して処理を行うことができる。

＜第２の実施の形態における画像処理装置の構成＞
図１０は、本技術を適用した画像処理装置の他の実施の形態（第２の実施の形態）の構成を示す図である。

第２の実施の形態における画像処理装置２１１は、第１の実施の形態の画像処理装置１２と同じく、左撮像装置１１−１と右撮像装置１１−２でそれぞれ撮像された画像を用いて、距離画像を生成する。左撮像装置１１−１と右撮像装置１１−２の構成やカメラの配置は、第１の実施の形態と同じようにすることができる。

画像処理装置２１１は、左撮像装置１１−１を構成する左長時間露光カメラ２１−１で撮像された左長時間露光画像を入力する左長時間露光画像入力部２３１と、左撮像装置１１−１を構成する左短時間露光カメラ２２−１で撮像された左短時間露光画像を入力する左短時間露光画像入力部２３２を備える。

また、画像処理装置２１１は、右撮像装置１１−２を構成する右長時間露光カメラ２１−２で撮像された右長時間露光画像を入力する右長時間露光画像入力部２３３と、右撮像装置１１−２を構成する右短時間露光カメラ２２−２で撮像された右短時間露光画像を入力する右短時間露光画像入力部２３４を備える。

左長時間露光画像入力部２３１に入力された左長時間露光画像と左短時間露光画像入力部２３２に入力された左短時間露光画像は、左マスク画像生成部２３５に供給される。左マスク画像生成部２３５は、左長時間露光画像と左短時間露光画像を用いて、動被写体を判定し、動被写体と判定された領域をマスクしたマスク画像を生成する。

左マスク画像生成部２３５は、左長時間露光画像をマスクした左長時間露光マスク画像と、左短時間露光画像をマスクした左短時間露光マスク画像を生成し、左ＨＤＲ生成部２３７に供給する。

右長時間露光画像入力部２３３に入力された右長時間露光画像と右短時間露光画像入力部２３４に入力された右短時間露光画像は、右マスク画像生成部２３６に供給される。右マスク画像生成部２３６は、右長時間露光画像と右短時間露光画像を用いて、動被写体を判定し、動被写体と判定された領域をマスクしたマスク画像を生成する。

右マスク画像生成部２３６は、右長時間露光画像をマスクした右長時間露光マスク画像と、右短時間露光画像をマスクした右短時間露光マスク画像を生成し、右ＨＤＲ生成部２３８に供給する。

左ＨＤＲ生成部２３７は、左長時間露光マスク画像と左短時間露光マスク画像を合成することで、ＨＤＲ画像（左ＨＤＲ画像と記述）を生成する。生成される左ＨＤＲ画像マスク画像から生成されているため、マスクされている領域は、マスクされたままの画像である。この場合、動被写体がマスクされているため、動被写体がマスクされた左ＨＤＲ画像が生成される。生成された左ＨＤＲ画像は、基準距離画像生成部２３９に供給される。なおここでは、マスクされた長時間露光マスク画像と短時間露光マスク画像を用いてＨＤＲ画像が生成される場合を例に挙げて説明を続けるが、例えば、左マスク画像生成部２３５におけるマスク処理をせずに、左長時間露光画像と左短時間露光画像から、左ＨＤＲ画像が生成されるようにしても良い。

右ＨＤＲ生成部２３８は、右長時間露光マスク画像と右短時間露光マスク画像を合成することで、ＨＤＲ画像（右ＨＤＲ画像と記述）を生成する。生成される右ＨＤＲ画像マスク画像から生成されているため、マスクされている領域は、マスクされたままの画像である。この場合、動被写体がマスクされているため、動被写体がマスクされた右ＨＤＲ画像が生成される。生成された右ＨＤＲ画像は、基準距離画像生成部２３９に供給される。なおここでは、マスクされた長時間露光マスク画像と短時間露光マスク画像を用いてＨＤＲ画像が生成される場合を例に挙げて説明を続けるが、例えば、右マスク画像生成部２３６におけるマスク処理をせずに、右長時間露光画像と右短時間露光画像から、右ＨＤＲ画像が生成されるようにしても良い。

基準距離画像生成部２３９は、左ＨＤＲ画像と右ＨＤＲ画像を用いて、距離画像を生成する。左ＨＤＲ画像は、左撮像装置１１−１で撮像された画像から生成されたＨＤＲ画像であり、右ＨＤＲ画像は、右撮像装置１１−２で撮像された画像から生成されたＨＤＲ画像である。左ＨＤＲ画像と右ＨＤＲ画像を用いて、例えばステレオマッチングにより距離画像が生成される。

左ＨＤＲ画像と右ＨＤＲ画像は、それぞれ動被写体がマスクされた画像から生成された画像であるため、距離画像も、動被写体の領域の距離情報が欠落している画像となる。この欠落している部分の距離画像は、長時間露光画像と短時間露光画像を処理することで生成され、補間（合成）される。ここでは、基準距離画像生成部２３９は、合成される距離画像の基準となる画像とし、基準距離画像と記述する。

基準距離画像生成部２３９により生成された基準距離画像は、第１の距離画像合成部２４２に供給される。第１の距離画像合成部２４２には、長時間露光距離画像生成部２４０で生成された長時間露光距離画像も供給される。

長時間露光距離画像生成部２４０には、左長時間露光画像入力部２３１から左長時間露光画像と、右長時間露光画像入力部２３３から右長時間露光画像と、左マスク画像生成部２３５からマスクされた領域に関する情報が、供給される。

長時間露光距離画像生成部２４０は、マスクされた領域、換言すれば、動被写体であると判定された領域の距離画像を、左長時間露光画像と右長時間露光画像を用いて生成する。左長時間露光画像と右長時間露光画像は、ともに長時間露光画像であるため、動被写体の領域であっても、ゴーストが発生することなく、距離画像を生成できる。

第１の距離画像合成部２４２は、基準距離画像生成部２３９からの基準距離画像と、長時間露光距離画像生成部２４０の長時間露光距離画像を合成する。基準距離画像のマスキングされている領域に該当する領域の距離画像が、長時間露光距離画像から抽出され、合成される。合成後の距離画像は、第２の距離画像合成部２４３に供給される。

第２の距離画像合成部２４３には、短時間露光距離画像生成部２４１で生成された短時間露光距離画像も供給される。短時間露光距離画像生成部２４１には、左短時間露光画像入力部２３２から左短時間露光画像と、右短時間露光画像入力部２３４から右短時間露光画像と、右マスク画像生成部２３６からマスクされた領域に関する情報が、供給される。

短時間露光距離画像生成部２４１は、マスクされた領域、換言すれば、動被写体であると判定された領域の距離画像を、左短時間露光画像と右短時間露光画像を用いて生成する。左短時間露光画像と右短時間露光画像は、ともに短時間露光画像であるため、動被写体の領域であっても、ゴーストが発生することなく、距離画像を生成できる。

第２の距離画像合成部２４３は、第１の距離画像合成部２４２からの距離画像と、短時間露光距離画像生成部２４１の短時間露光距離画像を合成する。第１の距離画像合成部２４２からの距離画像は、既に、長時間露光画像から生成された距離画像で、マスクされていた領域の距離画像が補間されている。補間仕切れてない領域に対して、その該当する距離画像が、短時間露光距離画像から抽出され、合成される。合成後の距離画像は、距離画像出力部２４４に供給される。

距離画像出力部２４４は、供給された距離画像を、図示されていない後段の処理部へと出力する。

＜第２の実施の形態における画像処理装置の動作＞
図１０に示した画像処理装置２１１の動作について、図１１のフローチャートを参照して説明する。また、図１１のフローチャートの各処理の具体的な処理例を、図１２乃至１５を参照して説明する。

ステップＳ１１１において、左長時間露光画像入力部２３１は、左撮像装置１１−１の左長時間露光カメラ２１―１で撮像された左長時間露光画像を取得し、左マスク画像生成部２３５に供給する。また、左短時間露光画像入力部２３２は、左撮像装置１１−１の左短時間露光カメラ２２―１で撮像された左短時間露光画像を取得し、左マスク画像生成部２３５に供給する。

ステップＳ１１２において、左マスク画像生成部２３５は、供給された左長時間露光画像と左短時間露光画像の動被写体を抽出し、それらの領域をマスクした左長時間露光マスク画像と左短時間露光マスク画像を、それぞれ生成する。

左マスク画像生成部２３５は、動被写体の検出を、例えば、以下の判定式（１）に基づく判定を行うことで行い、判定式（１）に該当する画素をマスクする。
｜（左長時間露光画像）×（係数ｇ１）―（左短時間露光画像）×（係数ｇ２）｜
＞ （閾値Ｔｈ１） ・・・（１）

左長時間露光画像と左短時間露光画像は、露光時間が異なるため、係数ｇ１と係数ｇ２を、それぞれ左長時間露光画像と左短時間露光画像に乗算し、露光時間が同一の画像として比較できるようにしてから、減算が行われる。

左長時間露光画像と左短時間露光画像は、露光時間が異なるだけで、同一のシーンを撮影しているため、同一の位置の画素値は、基本的に同一となる。しかしながら動被写体の場合、長時間露光と短時間露光の時間差の間に、動被写体が移動し、同一の位置の画素値であっても同一とはならない可能性がある。

式（１）は、左長時間露光画像の画素値に係数ｇ１を乗算した値から、左短時間露光画像の画素値に係数ｇ２を乗算した値を減算し、その絶対値が、閾値Ｔｈ１より大きいか否かを判定する式である。絶対値が、閾値Ｔｈ１よりも大きい場合は、左長時間露光画像の画素値と左短時間露光画像の画素値の差分が大きいことを示し、上記したように、動被写体が撮像されている領域である可能性が高い。

ステップＳ１１２において、左マスク画像生成部２３５により、左長時間露光画像のうち動被写体がマスクされた左長時間露光マスク画像と、左短時間露光画像のうち動被写体がマスクされた左短時間露光マスク画像とが生成され、左ＨＤＲ生成部２３７に供給される。

ステップＳ１１３において、左ＨＤＲ生成部２３７は、供給された左長時間露光マスク画像と左短時間露光マスク画像を合成し、左ＨＤＲ画像を生成し、基準距離画像生成部２３９に供給する。長時間露光画像と短時間露光画像を合成することで、広ダイナミックレンジの画像を生成する処理は、既存の処理を適用できる。例えば、式（１）と同じく、露光時間の違いを吸収するための係数が乗算された後、合成されるなどの処理がなされる。

左撮像装置１１−１で撮像された画像に対するステップＳ１１１乃至Ｓ１１３の処理と同様に、ステップＳ１１４乃至Ｓ１１６において右撮像装置１１−２で撮像された画像に対する処理が実行される。

ステップＳ１１４において、右長時間露光画像入力部２３３は、右撮像装置１１−２の右長時間露光カメラ２１―２で撮像された右長時間露光画像を取得し、右マスク画像生成部２３６に供給する。また、右短時間露光画像入力部２３４は、右撮像装置１１−２の右短時間露光カメラ２２―２で撮像された右短時間露光画像を取得し、右マスク画像生成部２３６に供給する。

ステップＳ１１５において、右マスク画像生成部２３６は、供給された右長時間露光画像と右短時間露光画像の動被写体を抽出し、それらの領域をマスクした右長時間露光マスク画像と右短時間露光マスク画像を、それぞれ生成する。ステップＳ１１５におけるマスク処理は、ステップＳ１１２におけるマスク処理と、基本的に同様に行われる。

すなわち、動被写体の検出は、以下の判定式（２）に基づく判定が行われることで行われ、判定式（２）に該当する画素がマスクされる。
｜（右長時間露光画像）×（係数ｇ１）―（右短時間露光画像）×（係数ｇ２）｜
＞ （閾値Ｔｈ２） ・・・（２）

式（２）においては、閾値Ｔｈ２としたが、閾値Ｔｈ１（式（１））と同一の閾値であっても良い。また、式（２）では、係数ｇ１、係数ｇ２とし、式（１）と同じ係数が用いられるとして記載しているが、式（１）とは異なる係数が用いられるようにしても良い。

式（２）の判定式により、絶対値が、閾値Ｔｈ２よりも大きいと判定された画素値（領域）は、動被写体が撮像されている領域であるとしてマスクされる。

ステップＳ１１５において、右マスク画像生成部２３６により、右長時間露光画像のうち動被写体がマスクされた右長時間露光マスク画像と、右短時間露光画像のうち動被写体がマスクされた右短時間露光マスク画像とが生成され、右ＨＤＲ生成部２３８に供給される。

ステップＳ１１６において、右ＨＤＲ生成部２３８は、供給された右長時間露光マスク画像と右短時間露光マスク画像を合成し、右ＨＤＲ画像を生成し、基準距離画像生成部２３９に供給する。

ステップＳ１１７において、基準距離画像生成部２３９は、左ＨＤＲ画像と右ＨＤＲ画像を用いて、基準距離画像を生成する。左ＨＤＲ画像と右ＨＤＲ画像は、視差分のずれがある画像であり、基準距離画像生成部２３９は、左ＨＤＲ画像と右ＨＤＲ画像を用いて視差を算出する。例えば、ステレオマッチングにより視差が算出され、視差を基に計算された深度マップ、すなわち距離画像を生成する。

ここまでの処理について、図１２、図１３を参照して再度説明する。図１２の上部に示した４枚の画像は、それぞれ左長時間露光画像１１１、右長時間露光画像１１２、左短時間露光画像１１３、および右短時間露光画像１１４を表している。これらの画像は、図８に示した画像と同じである場合を例に挙げて説明を続ける。

左長時間露光画像１１１が、左マスク画像生成部２３５により処理されることで、車の領域が、動被写体であると判定され、車の領域がマスクされた左長時間露光マスク画像３１１が生成される。

同じく左短時間露光画像１１３が、左マスク画像生成部２３５により処理されることで、車の領域が、動被写体であると判定され、車の領域がマスクされた左短時間露光マスク画像３１３が生成される。

このようにして生成された左長時間露光マスク画像３１１と左短時間露光マスク画像３１３から、左ＨＤＲ画像３２１（図１３）が生成される。左ＨＤＲ画像３２１も、車の領域はマスクされた画像である。

このように、動被写体の領域は、マスクされ、マスクされた画像が用いられて、ＨＤＲ画像が生成されるため、生成された左ＨＤＲ画像３２１は、ゴーストが発生していない画像とすることができる。

左撮像装置１１−１で撮像された左長時間露光画像１１１と左短時間露光画像１１３に対する処理と同じ処理が、右撮像装置１１−２で撮像された右長時間露光画像１１２と右短時間露光画像１１４に対しても行われる。

右長時間露光画像１１２（図１２）が、右マスク画像生成部２３６により処理されることで、車の領域が、動被写体であると判定され、車の領域がマスクされた右長時間露光マスク画像３１２が生成される。

同じく右短時間露光画像１１４が、右マスク画像生成部２３６により処理されることで、車の領域が、動被写体であると判定され、車の領域がマスクされた右短時間露光マスク画像３１４が生成される。

このようにして生成された右長時間露光マスク画像３１２と右短時間露光マスク画像３１４から、右ＨＤＲ画像３２２（図１３）が生成される。右ＨＤＲ画像３２２も、車の領域はマスクされた画像である。

このように、動被写体の領域は、マスクされ、マスクされた画像が用いられて、ＨＤＲ画像が生成されるため、生成された右ＨＤＲ画像３２２は、ゴーストが発生していない画像とすることができる。

基準距離画像生成部２３９は、左ＨＤＲ画像３２１と右ＨＤＲ画像３２２を用いて、基準距離画像３３１を生成する。基準距離画像３３１も、動被写体と判定された車の領域はマスクされた画像（車の領域の距離画像がない画像）である。

このように基準距離画像３３１が生成されるため、基準距離画像３３１は、ゴーストによる影響を受けていない距離情報（距離画像）とすることができ、精度良く距離測定できた画像とすることができる。

基準距離画像３３１は、動被写体の領域の距離情報が無い画像であるため、この動被写体の領域の距離情報を生成する処理が、実行される。

図１１のフローチャートを参照した説明に戻り、ステップＳ１１７において、基準距離画像が生成されると、処理は、ステップＳ１１８に進められる。ステップＳ１１８において、長時間露光距離画像生成部２４０により、マスク領域の距離画像の生成が、長時間露光画像を用いて行われる。

長時間露光距離画像生成部２４０は、左長時間露光画像入力部２３１からの左長時間露光画像と、右長時間露光画像入力部２３３からの右長時間露光画像と、左マスク画像生成部２３５からのマスクされた領域に関する情報を用い、マスクされた領域、換言すれば、動被写体であると判定された領域の距離画像を、左長時間露光画像と右長時間露光画像を用いて生成する。左長時間露光画像と右長時間露光画像は、ともに長時間露光画像であるため、動被写体の領域であっても、ゴーストが発生することなく、距離画像を生成できる。

ステップＳ１１９において、第１の距離画像合成部２４２は、基準距離画像生成部２３９からの基準距離画像と、長時間露光距離画像生成部２４０の長時間露光距離画像を合成する。基準距離画像のマスクされている領域に該当する領域の距離画像が、長時間露光距離画像から抽出され、基準距離画像に合成される。合成後の距離画像は、第２の距離画像合成部２４３に供給される。

なお、第１の距離画像合成部２４２における合成において、基準距離画像で欠落している距離情報が、全て長時間露光距離画像で補完できた場合には、合成後の距離画像は、第２の距離画像合成部２４３ではなく、距離画像出力部２４４に供給されるようにし、また、ステップＳ１２３以降の処理は行われないようにしても良い。

ステップＳ１２０において、短時間露光距離画像生成部２４１により、短時間露光画像を用いた、マスク領域の距離画像の生成が行われる。

短時間露光距離画像生成部２４１は、左短時間露光画像入力部２３２からの左短時間露光画像と、右短時間露光画像入力部２３４からの右短時間露光画像と、右マスク画像生成部２３６からのマスクされた領域に関する情報を用い、マスクされた領域、換言すれば、動被写体であると判定された領域の距離画像を、左短時間露光画像と右短時間露光画像を用いて生成する。左短時間露光画像と右短時間露光画像は、ともに短時間露光画像であるため、動被写体の領域であっても、ゴーストが発生することなく、距離画像を生成できる。

第２の距離画像合成部２４３は、第１の距離画像合成部２４２からの距離画像と、短時間露光距離画像生成部２４１の短時間露光距離画像を合成する。第１の距離画像合成部２４２からの距離画像は、既に、長時間露光画像から生成された距離画像で、マスクされていた領域の距離画像が補間されている。さらに必要に応じて、短時間露光距離画像の結果を合成することもできる。また、用途に応じて、短時間露光距離画像、長時間露光距離画像のどちらを優先的に採用するかは選択できる。合成後の距離画像は、距離画像出力部２４４に供給される。

このようにして、ゴーストの影響を受けない距離画像が生成される。

ステップＳ１１８乃至Ｓ１２１の処理について、再度、図１４、図１５を参照して説明する。

図１４に示したように、長時間露光距離画像生成部２４０は、左長時間露光画像１１１と右長時間露光画像１１２から、長時間露光距離画像３４１を生成する。生成される長時間露光距離画像３４１は、左マスク画像生成部２３５により動被写体の領域であるとしてマスクされた領域の情報に基づき、マスクされている領域に該当する領域の距離画像のみを生成する。

この場合、車の領域が、マスクされた領域であるため、長時間露光距離画像３４１は、車の領域の距離画像となる。

同様に、短時間露光距離画像生成部２４１は、左短時間露光画像１１３と右短時間露光画像１１４から、短時間露光距離画像３４２を生成する。生成される短時間露光距離画像３４２は、右マスク画像生成部２３６により動被写体の領域であるとしてマスクされた領域の情報に基づき、マスクされている領域に該当する領域の距離画像のみを生成する。

この場合、車の領域が、マスクされた領域であるため、短時間露光距離画像３４２は、車の領域の距離画像となる。

図１５に示すように、第１の距離画像合成部２４２と第２の距離画像合成部２４３の処理により、基準距離画像３３１、長時間露光距離画像３４１、および短時間露光距離画像３４２が合成されることで、最終的な距離画像３５１が生成される。

このようにして、ゴーストの影響を受けていない距離画像３５１を生成することができる。よって、本技術によれば、精度良い距離測定を行い、距離画像を生成することができる。

＜第３の実施の形態における画像処理装置の構成、動作＞
第３の実施の形態における画像処理装置の構成と動作について説明する。第３の実施の形態における画像処理装置は、図１０に示した第２の実施の形態における画像処理装置２１１と同様の構成とすることができるため、ここではその説明を省略する。また、第３の実施の形態における画像処理装置２１１は、図１１に示した第２の実施の形態における画像処理装置２１１の動作と基本的に同様の動作を行うため、ここではその詳細な説明は省略する。

第３の実施の形態における画像処理装置２１１（図１０）は、左マスク画像生成部２３５と右マスク画像生成部２３６が、マスク画像を生成するときのマスクの仕方が、第２の実施の形態における画像処理装置２１１と異なる。

換言すれば、第３の実施の形態における画像処理装置２１１が、ステップＳ１１２またはステップＳ１１５の処理を実行するときの、マスクする領域を設定する際の設定の仕方が異なる。

左マスク画像生成部２３５と右マスク画像生成部２３６は、セマンティックセグメンテーション（Semantic Segmentation）に基づき、マスクする領域を設定する。セマンティックセグメンテーションとは、画像を画素レベルで把握し、画像内の各画素をオブジェクト、例えば、人、車、木、空といったクラスに割り当てる処理である。

例えば、セマンティックセグメーションによると、図１４の上部に示したような画像、例えば、左長時間露光画像１１１が解析されると、太陽、空、木、車、地面、標識等に、各画素が関連付けられる。

本実施の形態における画像処理装置２１１に、セマンティックセグメンテーションを適用することができる。左マスク画像生成部２３５と右マスク画像生成部２３６が、セマンティックセグメンテーションによりマスクする領域を設定する場合、例えば、車、人などの動体となる可能性のある物体を検出し、その検出された車、人などをマスクする領域として設定する。

セマンティックセグメンテーションにより、静止している車や人なども、検出される。車、人などは動被写体（動体となる可能性のある物体）であるため、第２の実施の形態と同じく、動被写体を検出し、そのような領域をマスクすることができる。

第３の実施の形態においても、ゴーストの影響を受けていない距離画像を生成することができる。また、精度良い距離測定を行い、距離画像を生成することができる。

上記した実施の形態における画像処理装置１２（２１１）は、例えば、車、ドローン、ロボットなどの移動機器に搭載することができる。また、移動機器の前方、後方、左方、右方などに、撮像装置１１が搭載され、搭載された撮像装置１１からの画像が、画像処理装置１２（２１１）により処理されることで、所定の物体と移動機器との距離が測定される。

なお、上記した実施の形態においては、距離画像が生成されるとして説明を行ったが、距離情報として、画像まで生成しなくても良い。本実施の形態は、撮像された画像を解析することで、所定の物体までの距離を測定する際に適用できる。また、撮像された画像を全て測定対象とするのではなく、所定の領域、例えば、車や人などの所定の物体が検出された領域内の距離情報が生成されるようにしても良い。

＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージ記録媒体等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記憶部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
（１）
長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、
前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する距離画像生成部と
を備える画像処理装置。
（２）
前記第１の長時間露光画像と前記第２の長時間露光画像のそれぞれに対して、所定の領域をマスクした第１の長時間露光マスク画像と第２の長時間露光マスク画像とを生成し、
前記第１の短時間露光画像と前記第２の短時間露光画像のそれぞれに対して、所定の領域をマスクした第１の短時間露光マスク画像と第２の短時間露光マスク画像とを生成し、
前記第１の長時間露光マスク画像と前記第２の長時間露光マスク画像とから視差を算出し、前記長時間露光距離画像を生成し、
前記第１の短時間露光マスク画像と前記第２の短時間露光マスク画像とから視差を算出し、前記短時間露光距離画像を生成する
前記（１）に記載の画像処理装置。
（３）
前記第１の長時間露光マスク画像と前記第２の長時間露光マスク画像は、画素値が所定の閾値より大きい画素がマスクされた画像である
前記（２）に記載の画像処理装置。
（４）
前記第１の短時間露光マスク画像と前記第２の短時間露光マスク画像は、画素値が所定の閾値より小さい画素がマスクされた画像である
前記（２）または（３）に記載の画像処理装置。
（５）
前記距離画像生成部は、前記長時間露光距離画像のマスクされている領域を、前記短時間露光距離画像で補完する
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）
画像処理装置が、
長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成し、
前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する
画像処理方法。
（７）
コンピュータに、
長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成し、
前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する
処理を実行させるためのプログラム。
（８）
長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラと、
短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラと、
前記第１の長時間露光カメラからの第１の長時間露光画像と、前記第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
前記第１の短時間露光カメラからの第１の短時間露光画像と、前記第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、
前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する距離画像生成部と
を備える移動機器。
（９）
長時間露光で画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と、短時間露光で画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像を合成することで、広ダイナミックレンジの第１の画像を生成する第１の画像生成部と、
前記第１の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第２の長時間露光カメラからの第２の長時間露光画像と、前記第１の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第２の短時間露光カメラからの第２の短時間露光画像を合成することで、広ダイナミックレンジの第２の画像を生成する第２の画像生成部と、
前記第１の画像と前記第２の画像とから視差を算出し、基準となる基準距離画像を生成する基準距離画像生成部と、
前記第１の長時間露光画像と前記第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する距離画像生成部と
を備える画像処理装置。
（１０）
前記第１の長時間露光画像と前記第１の短時間露光画像のそれぞれに対して、所定の領域をマスクした第１の長時間露光マスク画像と第１の短時間露光マスク画像とを生成し、
前記第２の長時間露光画像と前記第２の短時間露光画像のそれぞれに対して、所定の領域をマスクした第２の長時間露光マスク画像と第２の短時間露光マスク画像とを生成し、
前記第１の長時間露光マスク画像と前記第１の短時間露光マスク画像を合成することで、広ダイナミックレンジの前記第１の画像を生成し、
前記第２の長時間露光マスク画像と前記第２の短時間露光マスク画像を合成することで、広ダイナミックレンジの前記第２の画像を生成し、
前記第１の長時間露光マスク画像と前記第２の長時間露光マスク画像とから視差を算出し、前記長時間露光距離画像を生成する
前記（９）に記載の画像処理装置。
（１１）
前記第１の長時間露光マスク画像と前記第１の短時間露光マスク画像は、画像内の動被写体と判定された領域がマスクされた画像である
前記（１０）に記載の画像処理装置。
（１２）
前記第１の長時間露光マスク画像と前記第１の短時間露光マスク画像は、セマンティックセグメンテーションにより所定の物体が検出され、前記所定の物体として検出された領域がマスクされた画像である
前記（１０）に記載の画像処理装置。
（１３）
前記距離画像生成部は、前記基準距離画像のマスクされている領域を、前記長時間露光距離画像で補完する
前記（１０）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記第１の短時間露光マスク画像と前記第２の短時間露光マスク画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、
前記距離画像生成部により生成された前記距離画像に前記短時間露光距離画像を合成する合成部と
をさらに備える前記（１０）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
画像処理装置が、
長時間露光で画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と、短時間露光で画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像を合成することで、広ダイナミックレンジの第１の画像を生成し、
前記第１の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第２の長時間露光カメラからの第２の長時間露光画像と、前記第１の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第２の短時間露光カメラからの第２の短時間露光画像を合成することで、広ダイナミックレンジの第２の画像を生成し、
前記第１の画像と前記第２の画像とから視差を算出し、基準となる基準距離画像を生成し、
前記第１の長時間露光画像と前記第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する
画像処理方法。
（１６）
コンピュータに、
長時間露光で画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と、短時間露光で画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像を合成することで、広ダイナミックレンジの第１の画像を生成し、
前記第１の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第２の長時間露光カメラからの第２の長時間露光画像と、前記第１の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第２の短時間露光カメラからの第２の短時間露光画像を合成することで、広ダイナミックレンジの第２の画像を生成し、
前記第１の画像と前記第２の画像とから視差を算出し、基準となる基準距離画像を生成し、
前記第１の長時間露光画像と前記第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する
処理を実行させるプログラム。
（１７）
長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラと、
短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラと、
前記第１の長時間露光カメラからの第１の長時間露光画像と、前記第１の短時間露光カメラからの第１の短時間露光画像を合成することで、広ダイナミックレンジの第１の画像を生成する第１の画像生成部と、
前記第２の長時間露光カメラからの第２の長時間露光画像と、前記第２の短時間露光カメラからの第２の短時間露光画像を合成することで、広ダイナミックレンジの第２の画像を生成する第２の画像生成部と、
前記第１の画像と前記第２の画像とから視差を算出し、基準となる基準距離画像を生成する基準距離画像生成部と、
前記第１の長時間露光画像と前記第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する距離画像生成部と
を備える移動機器。

１１ 撮像装置， １２ 画像処理装置， ２１ 長時間露光カメラ， ２２ 短時間露光カメラ， ２３ 中時間露光カメラ， ３１ 長時間露光画像入力部， ３２ 短時間露光画像入力部， ３３ 長時間露光マスク画像生成部， ３４ 短時間露光マスク画像生成部， ３５ 長時間露光距離画像生成部， ３６ 短時間露光距離画像生成部， ３７ 合成画像生成部， ３８ 距離画像出力部， １１１ 左長時間露光画像， １１２ 右長時間露光画像， １１３ 左短時間露光画像， １１４ 右短時間露光画像， １２１ 左長時間露光マスク画像， １２２ 右長時間露光マスク画像， １２３ 左短時間露光マスク画像， １２４ 右短時間露光マスク画像， １３１ 長時間露光距離画像， １３２ 短時間露光距離画像， １４１ 距離画像， ２１１ 画像処理装置， ２３１ 左長時間露光画像入力部， ２３２ 左短時間露光画像入力部， ２３３ 右長時間露光画像入力部， ２３４ 右短時間露光画像入力部， ２３５ 左マスク画像生成部， ２３６ 右マスク画像生成部， ２３７ 左ＨＤＲ生成部， ２３８ 右ＨＤＲ生成部， ２３９ 基準距離画像生成部， ２４０ 長時間露光距離画像生成部， ２４１ 短時間露光距離画像生成部， ２４２ 第１の距離画像合成部， ２４３ 第２の距離画像合成部， ２４４ 距離画像出力部， ３１１ 左長時間露光マスク画像， ３１２ 右長時間露光マスク画像， ３１３ 左短時間露光マスク画像， ３１４ 右短時間露光マスク画像， ３２１ 左ＨＤＲ画像， ３２２ 右ＨＤＲ画像， ３３１ 基準距離画像， ３４１ 長時間露光距離画像， ３４２ 短時間露光距離画像， ３５１ 距離画像

Claims (17)

1. 長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
   短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、
   前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する距離画像生成部と
   を備える画像処理装置。
2. 前記第１の長時間露光画像と前記第２の長時間露光画像のそれぞれに対して、所定の領域をマスクした第１の長時間露光マスク画像と第２の長時間露光マスク画像とを生成し、
   前記第１の短時間露光画像と前記第２の短時間露光画像のそれぞれに対して、所定の領域をマスクした第１の短時間露光マスク画像と第２の短時間露光マスク画像とを生成し、
   前記第１の長時間露光マスク画像と前記第２の長時間露光マスク画像とから視差を算出し、前記長時間露光距離画像を生成し、
   前記第１の短時間露光マスク画像と前記第２の短時間露光マスク画像とから視差を算出し、前記短時間露光距離画像を生成する
   請求項１に記載の画像処理装置。
3. 前記第１の長時間露光マスク画像と前記第２の長時間露光マスク画像は、画素値が所定の閾値より大きい画素がマスクされた画像である
   請求項２に記載の画像処理装置。
4. 前記第１の短時間露光マスク画像と前記第２の短時間露光マスク画像は、画素値が所定の閾値より小さい画素がマスクされた画像である
   請求項２に記載の画像処理装置。
5. 前記距離画像生成部は、前記長時間露光距離画像のマスクされている領域を、前記短時間露光距離画像で補完する
   請求項２に記載の画像処理装置。
6. 画像処理装置が、
   長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
   短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成し、
   前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する
   画像処理方法。
7. コンピュータに、
   長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラからの第１の長時間露光画像と第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
   短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラからの第１の短時間露光画像と第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成し、
   前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する
   処理を実行させるためのプログラム。
8. 長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラと、
   短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラと、
   前記第１の長時間露光カメラからの第１の長時間露光画像と、前記第２の長時間露光カメラからの第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
   前記第１の短時間露光カメラからの第１の短時間露光画像と、前記第２の短時間露光カメラからの第２の短時間露光画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、
   前記長時間露光距離画像と前記短時間露光距離画像を合成して距離画像を生成する距離画像生成部と
   を備える移動機器。
9. 長時間露光で画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と、短時間露光で画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像を合成することで、広ダイナミックレンジの第１の画像を生成する第１の画像生成部と、
   前記第１の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第２の長時間露光カメラからの第２の長時間露光画像と、前記第１の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第２の短時間露光カメラからの第２の短時間露光画像を合成することで、広ダイナミックレンジの第２の画像を生成する第２の画像生成部と、
   前記第１の画像と前記第２の画像とから視差を算出し、基準となる基準距離画像を生成する基準距離画像生成部と、
   前記第１の長時間露光画像と前記第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
   前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する距離画像生成部と
   を備える画像処理装置。
10. 前記第１の長時間露光画像と前記第１の短時間露光画像のそれぞれに対して、所定の領域をマスクした第１の長時間露光マスク画像と第１の短時間露光マスク画像とを生成し、
    前記第２の長時間露光画像と前記第２の短時間露光画像のそれぞれに対して、所定の領域をマスクした第２の長時間露光マスク画像と第２の短時間露光マスク画像とを生成し、
    前記第１の長時間露光マスク画像と前記第１の短時間露光マスク画像を合成することで、広ダイナミックレンジの前記第１の画像を生成し、
    前記第２の長時間露光マスク画像と前記第２の短時間露光マスク画像を合成することで、広ダイナミックレンジの前記第２の画像を生成し、
    前記第１の長時間露光マスク画像と前記第２の長時間露光マスク画像とから視差を算出し、前記長時間露光距離画像を生成する
    請求項９に記載の画像処理装置。
11. 前記第１の長時間露光マスク画像と前記第１の短時間露光マスク画像は、画像内の動被写体と判定された領域がマスクされた画像である
    請求項１０に記載の画像処理装置。
12. 前記第１の長時間露光マスク画像と前記第１の短時間露光マスク画像は、セマンティックセグメンテーションにより所定の物体が検出され、前記所定の物体として検出された領域がマスクされた画像である
    請求項１０に記載の画像処理装置。
13. 前記距離画像生成部は、前記基準距離画像のマスクされている領域を、前記長時間露光距離画像で補完する
    請求項１０に記載の画像処理装置。
14. 前記第１の短時間露光マスク画像と前記第２の短時間露光マスク画像とから視差を算出し、短時間露光距離画像を生成する短時間露光距離画像生成部と、
    前記距離画像生成部により生成された前記距離画像に前記短時間露光距離画像を合成する合成部と
    をさらに備える請求項１０に記載の画像処理装置。
15. 画像処理装置が、
    長時間露光で画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と、短時間露光で画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像を合成することで、広ダイナミックレンジの第１の画像を生成し、
    前記第１の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第２の長時間露光カメラからの第２の長時間露光画像と、前記第１の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第２の短時間露光カメラからの第２の短時間露光画像を合成することで、広ダイナミックレンジの第２の画像を生成し、
    前記第１の画像と前記第２の画像とから視差を算出し、基準となる基準距離画像を生成し、
    前記第１の長時間露光画像と前記第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
    前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する
    画像処理方法。
16. コンピュータに、
    長時間露光で画像を撮像する第１の長時間露光カメラからの第１の長時間露光画像と、短時間露光で画像を撮像する第１の短時間露光カメラからの第１の短時間露光画像を合成することで、広ダイナミックレンジの第１の画像を生成し、
    前記第１の長時間露光カメラと所定の距離だけ離れた位置に配置され、長時間露光で画像を撮像する第２の長時間露光カメラからの第２の長時間露光画像と、前記第１の短時間露光カメラと所定の距離だけ離れた位置に配置され、短時間露光で画像を撮像する第２の短時間露光カメラからの第２の短時間露光画像を合成することで、広ダイナミックレンジの第２の画像を生成し、
    前記第１の画像と前記第２の画像とから視差を算出し、基準となる基準距離画像を生成し、
    前記第１の長時間露光画像と前記第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成し、
    前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する
    処理を実行させるプログラム。
17. 長時間露光で画像を撮像し、所定の間隔を有して配置されている第１の長時間露光カメラと第２の長時間露光カメラと、
    短時間露光で画像を撮像し、所定の間隔を有して配置されている第１の短時間露光カメラと第２の短時間露光カメラと、
    前記第１の長時間露光カメラからの第１の長時間露光画像と、前記第１の短時間露光カメラからの第１の短時間露光画像を合成することで、広ダイナミックレンジの第１の画像を生成する第１の画像生成部と、
    前記第２の長時間露光カメラからの第２の長時間露光画像と、前記第２の短時間露光カメラからの第２の短時間露光画像を合成することで、広ダイナミックレンジの第２の画像を生成する第２の画像生成部と、
    前記第１の画像と前記第２の画像とから視差を算出し、基準となる基準距離画像を生成する基準距離画像生成部と、
    前記第１の長時間露光画像と前記第２の長時間露光画像とから視差を算出し、長時間露光距離画像を生成する長時間露光距離画像生成部と、
    前記基準距離画像と前記長時間露光距離画像を合成して距離画像を生成する距離画像生成部と
    を備える移動機器。

Images