WO2014027511A1

WO2014027511A1 - 画像処理装置、および画像処理方法、並びにプログラム

Info

Publication number: WO2014027511A1
Application number: PCT/JP2013/067455
Authority: WO
Inventors: 裕考篠崎
Original assignee: ソニー株式会社
Priority date: 2012-08-16
Filing date: 2013-06-26
Publication date: 2014-02-20
Also published as: JP2014039170A

Abstract

長時間露光画素と短時間露光画素からなる画像の画素合成により高ダイナミックレンジ画像を生成する装置、方法を提供する。長時間露光画素と短時間露光画素を含む入力画像の各構成画素に対するエッジ検出を実行するエッジ検出部と、合成対象となる長時間露光画素と短時間露光画素の重心補正処理を実行する重心補正部と、重心補正部の生成画素の合成処理を実行する画素合成部を有する。画素合成部は、長時間露光画素の画素値に応じたブレンド率（α）を適用した平坦部合成結果と、固定ブレンド率を適用したエッジ部合成結果と、飽和部領域に適応した飽和部合成結果から、各画素の状況に応じた最適な合成結果を選択し、選択された合成結果に基づいて高ダイナミックレンジ（ＨＤＲ）画像を生成して出力する。

Description

画像処理装置、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、異なる露光時間に設定した画素の合成処理によって高ダイナミックレンジ画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。

　ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像デバイスは入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行い、蓄積電荷量に応じた画素値からなる画像を生成する。

　昨今、低輝度領域から高輝度領域まで高精度な画素値を設定した高ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）画像を生成する撮像装置（カメラ）が提案されている。

　高ダイナミックレンジ（ＨＤＲ）画像は、例えば、短時間露光画像と長時間露光画像の複数の画像の合成、または、１枚の撮影画像中に設定された長時間露光画素と、短時間露光画素の画素合成によって生成される。

　図１は、短時間露光画像と長時間露光画像の複数の画像の合成による高ダイナミックレンジ（ＨＤＲ）画像の生成処理構成を示す図である。
　２つの異なる露光時間に設定して長時間露光画像１１と短時間露光画像１２を連続撮影する。合成部２０において、これらの２つの画像の対応画素の画素値をブレンドして出力画像としての高ダイナミックレンジ（ＨＤＲ）画像２１の画素値を決定する。

　例えば、高ダイナミックレンジ（ＨＤＲ）画像２１の画素値Ｄ（ＨＤＲ）は、
　長時間露光画像１１と短時間露光画像１２の対応画素の画素値をそれぞれＤ（Ｌ）、Ｄ（Ｓ）としたとき、以下の式によって算出される。
　Ｄ（ＨＤＲ）＝（１－α）×Ｄ（Ｌ）＋α×Ｄ（Ｓ）×（ＧＡＩＮ）
　ただし、
　Ｄ（Ｌ）は、長時間露光画像の画素値、
　Ｄ（Ｓ）は、短時間露光画像の画素値、
　ＧＡＩＮは、長時間露光画像と短時間露光画像との露光時間比（露光比）、
　αは、ブレンド比率、
　である。
　上記式に従った画素値算出処理はαブレンド処理と呼ばれる。

　例えば高輝度画素領域等、長時間露光画像の画素値が飽和しているような画素領域では、上記のαブレンド処理において、長時間露光画像の画素値を利用しない、あるいは長時間露光画像の画素値のブレンド比率を低下させて、出力画像である高ダイナミックレンジ（ＨＤＲ）画像２１の画素値Ｄ（ＨＤＲ）を算出する。

　また、低輝度領域においては、上記のαブレンド処理において、短時間露光画像の画素値を利用しない、あるいは長時間露光画像の画素値のブレンド比率を増加させる。
　このような処理を実行して、合成画像を生成することで、低輝度領域へ高輝度領域までより精度の高い画素値を設定した高ダイナミックレンジ（ＨＤＲ）画像を生成することが可能となる。

　図２は、１枚の撮影画像中に設定された長時間露光画素と、短時間露光画素の画素合成による高ダイナミックレンジ（ＨＤＲ）画像の生成処理構成を示す図である。
　撮影画像３０には長時間露光画素と短時間露光画素が所定の画素領域単位で設定される。
　図２に示す例は、ベイヤ（Ｂａｙｅｒ）配列を持つ撮像素子において、２行単位で長時間露光画素と短時間露光画素を交互に設定した例である。なお、長時間露光画素と短時間露光画素の設定構成は、１行おきなど、その他の様々な設定が可能である。

　合成部４０は、撮影画像３０に含まれる近傍領域の長時間露光画素と短時間露光画素の画素値をブレンドして出力画像の画素値を算出して、高ダイナミックレンジ（ＨＤＲ）画像４１を生成する。
　例えば、図に示す２つのＲ画素、すなわち長時間露光画素Ｒ３１と、短時間露光画素Ｒ３２を利用して高ダイナミックレンジ（ＨＤＲ）画像４１の１つのＲ画素値を決定する。

　この１枚の撮影画像３０を利用した高ダイナミックレンジ（ＨＤＲ）画像４１の画素値Ｄ（ＨＤＲ）の算出処理も、先に図１を参照して説明したブレンド処理と基本的に同様の処理として実行される。すなわち、
　高ダイナミックレンジ（ＨＤＲ）画像４１の画素値Ｄ（ＨＤＲ）は、ブレンド対象となる長時間露光画素と短時間露光画素の画素値をそれぞれＤ（Ｌ）、Ｄ（Ｓ）としたとき、以下の式によって算出される。
　Ｄ（ＨＤＲ）＝（１－α）×Ｄ（Ｌ）＋α×Ｄ（Ｓ）×（ＧＡＩＮ）
　ただし、
　Ｄ（Ｌ）は、長時間露光画素の画素値、
　Ｄ（Ｓ）は、短時間露光画素の画素値、
　ＧＡＩＮは、長時間露光画素と短時間露光画素との露光時間比（露光比）、
　αは、ブレンド比率、
　である。

　なお、１枚の画像に、異なる露光時間の画素を設定し、これらの画素を合成して高ダイナミックレンジ画像を生成する処理については、例えば特許文献１（特開２０１１－２４４３０９号公報）、特許文献２（特開２０１２－８０２９７号公報）等に記載されている。

　しかし、このように、１枚の撮影画像に基づく高ダイナミックレンジ（ＨＤＲ）画像の生成を行なう場合、１枚の画像中の異なる画素位置にある長時間露光画素と短時間露光画素の合成処理が必要となる。
　１枚の画像中の長時間露光画素と短時間露光画素は、厳密には異なる位置の被写体の撮影画素であり、この異なる被写***置を撮影した画素値を合成して１つの出力画像の画素値を算出しなければならない。

　このような処理により高ダイナミックレンジ画像を生成すると、輝度変化の大きいエッジ領域などにジャギーが発生しやすくなる。ジャギーは、例えばエッジ等の境界が階段状のギザギザ模様に出力されてしまう現象である。
　本来なら、なめらかなエッジ境界であっても、階段状の不自然なエッジ境界として出力されてしまう。多くの場合、「ジャギー」は入力信号の帯域に対してサンプリング数が足りないため発生するエイリアシングであり、画像内の例えば被写体境界や模様のあるテクスチャ領域等に現れやすい。

特開２０１１－２４４３０９号公報特開２０１２－８０２９７号公報

　本開示は、例えばこのような状況に鑑みてなされたものであり、一枚の撮影画像を利用して高ダイナミックレンジ画像を生成する構成において高品質な画像生成を行なう画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　長時間露光画素と短時間露光画素を含む入力画像に含まれる画素の画素値合成処理を実行して出力画像を生成する信号処理部を有し、
　前記信号処理部は、
　前記入力画像の各構成画素に対するエッジ検出を実行して、各画素対応のエッジ情報を出力するエッジ検出部と、
　合成処理対象となる長時間露光画素と短時間露光画素の重心補正処理を実行して、重心補正部出力長時間露光画素と重心補正部出力短時間露光画素を出力する重心補正部と、
　前記重心補正部の生成した重心補正部出力長時間露光画素と重心補正部出力短時間露光画素との合成処理を実行する画素合成部を有する画像処理装置にある。

　さらに、本開示の画像処理装置の一実施態様において、前記重心補正部は、前記重心補正処理として、合成処理対象となる長時間露光画素と短時間露光画素の画素位置を一致させる処理を実行する構成であり、異なる画素位置の複数の同一色の長時間露光画素の画素値を適用した重み付け加算により、前記重心補正部出力長時間露光画素の画素値を算出し、異なる画素位置の複数の同一色の短時間露光画素の画素値を適用した重み付け加算により、前記重心補正部出力短時間露光画素の画素値を算出する処理を実行する。

　さらに、本開示の画像処理装置の一実施態様において、前記重心補正部は、前記重心補正処理に適用した画素が飽和しているか否かを判定する飽和判定部を有し、前記重心補正処理に適用した画素が飽和している場合は、前記入力画像の画素値を前記重心補正部出力長時間露光画素と重心補正部出力短時間露光画素の画素値とし、前記重心補正処理に適用した画素が飽和していない場合は、異なる画素位置の複数の同一色の長時間露光画素の画素値を適用した重み付け加算により算出した画素値を、前記重心補正部出力長時間露光画素の画素値とし、異なる画素位置の複数の同一色の短時間露光画素の画素値を適用した重み付け加算により算出した画素値を、前記重心補正部出力短時間露光画素の画素値として選択出力する。

　さらに、本開示の画像処理装置の一実施態様において、前記重心補正部は、前記重心補正処理に適用した画素が飽和しているか否かを判定する飽和判定部を有し、前記重心補正処理に適用した画素が飽和している場合は、前記重心補正部出力長時間露光画素の画素値を、入力画像の長時間露光画素の画素値とし、前記重心補正部出力短時間露光画素の画素値を、入力画像の短時間露光画素の複数の画素値に基づく平滑化処理によって算出した画素値として設定する。

　さらに、本開示の画像処理装置の一実施態様において、前記重心補正部は、前記平滑化処理を、前記エッジ検出部から入力するエッジ方向に応じた係数の設定された平滑化フィルタを適用して実行する。

　さらに、本開示の画像処理装置の一実施態様において、前記画素合成部は、前記重心補正部出力長時間露光画素と重心補正部出力短時間露光画素との合成処理を実行する合成部として、平坦部領域に適応した合成処理を実行する平坦部合成部と、エッジ部領域に適応した合成処理を実行するエッジ部合成部と、飽和部領域に適応した合成処理を実行する飽和部合成部と、前記各合成部の合成結果を選択して合成結果画像を生成する選択部を有し、前記選択部は、前記エッジ情報、および前記重心補正処理に適用した画素が飽和画素であるか否かを示す飽和フラグを入力し、前記重心補正処理に適用した画素が飽和画素である場合は、前記飽和部合成部の合成結果を選択し、前記重心補正処理に適用した画素が飽和画素でなく、エッジ領域である場合は、前記エッジ部合成部の合成結果を選択し、前記重心補正処理に適用した画素が飽和画素でなく、エッジ領域でない場合は、前記平坦部合成部の合成結果を選択する。

　さらに、本開示の画像処理装置の一実施態様において、前記平坦部合成部は、前記重心補正部出力長時間露光画素の画素値に応じて変化するブレンド率（α）に応じて前記重心補正部出力長時間露光画素と前記重心補正部出力短時間露光画素の画素値をブレンドして合成結果の画素値を算出し、前記エッジ部合成部は、前記重心補正部出力長時間露光画素の画素値に依存しない固定ブレンド率（β）に応じて前記重心補正部出力長時間露光画素と前記重心補正部出力短時間露光画素の画素値をブレンドして合成結果の画素値を算出し、前記飽和部合成部は、前記重心補正部出力短時間露光画素の画素値を合成結果の画素値として算出する。

　さらに、本開示の画像処理装置の一実施態様において、前記画素合成部は、さらに、動被写体領域に適応した合成処理を実行する動被写体部合成部を有し、前記選択部は、前記重心補正処理に適用した画素が動被写体領域であるか否かを示す動被写体検出フラグを入力し、前記重心補正処理に適用した画素が動被写体領域である場合は、前記動被写体合成部の合成結果を選択する。

　さらに、本開示の画像処理装置の一実施態様において、前記入力画像は、ＲＧＢ画素によって構成されるベイヤ配列画像であり、前記エッジ検出部は、Ｇ画素のみを用いたエッジ検出処理を実行する。

　さらに、本開示の第２の側面は、
　長時間露光画素と短時間露光画素を含む入力画像に含まれる画素の画素値合成処理を実行して出力画像を生成する信号処理部を有し、
　前記信号処理部は、
　前記入力画像の各構成画素に対するエッジ検出を実行して、各画素対応のエッジ情報を出力するエッジ検出部と、
　前記入力画像の特定色高域信号と全色低域信号を生成する配列変換重心補正部と、
　前記特定色高域信号と全色低域信号を入力して、特定色高域高ダイナミックレンジ（ＨＤＲ）信号と、全色低域高ダイナミックレンジ（ＨＤＲ）信号を生成する画素合成部と、
　前記特定色高域高ダイナミックレンジ（ＨＤＲ）信号と、全色低域高ダイナミックレンジ（ＨＤＲ）信号を入力して、前記入力画像と同画素数の高ダイナミックレンジ（ＨＤＲ）画像を生成する相関処理部を有する画像処理装置にある。

　さらに、本開示の画像処理装置の一実施態様において、前記入力画像は、ＲＧＢ画素によって構成されるベイヤ配列画像であり、前記配列変換重心補正部は、前記入力画像のＧ色高域信号とＲＧＢ各色低域信号を生成し、前記画素合成部は、前記Ｇ色高域信号と前記ＲＧＢ各色低域信号を入力して、Ｇ色高域高ダイナミックレンジ（ＨＤＲ）信号と、ＲＧＢ各色低域高ダイナミックレンジ（ＨＤＲ）信号を生成し、前記前記相関処理部は、前記Ｇ色高域高ダイナミックレンジ（ＨＤＲ）信号と、前記ＲＧＢ各色低域高ダイナミックレンジ（ＨＤＲ）信号を入力して、前記入力画像と同画素数のベイヤ配列からなる高ダイナミックレンジ（ＨＤＲ）画像を生成する。

　さらに、本開示の第３の側面は、
　画像処理装置において実行する画像処理方法であり、
　信号処理部が、長時間露光画素と短時間露光画素を含む入力画像に含まれる画素の画素値合成処理を実行して出力画像を生成する信号処理ステップを実行し、
　前記信号処理ステップにおいて、
　前記入力画像の各構成画素に対するエッジ検出を実行して、各画素対応のエッジ情報を出力するエッジ検出処理と、
　合成処理対象となる長時間露光画素と短時間露光画素の重心補正処理を実行して、重心補正部出力長時間露光画素と重心補正部出力短時間露光画素を出力する重心補正処理と、
　前記重心補正部の生成した重心補正部出力長時間露光画素と重心補正部出力短時間露光画素との合成処理を実行する画像処理方法にある。

　さらに、本開示の第４の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　信号処理部に、長時間露光画素と短時間露光画素を含む入力画像に含まれる画素の画素値合成処理を実行して出力画像を生成する信号処理ステップを実行させ、
　前記信号処理ステップにおいて、
　前記入力画像の各構成画素に対するエッジ検出を実行して、各画素対応のエッジ情報を出力するエッジ検出処理と、
　合成処理対象となる長時間露光画素と短時間露光画素の重心補正処理を実行して、重心補正部出力長時間露光画素と重心補正部出力短時間露光画素を出力する重心補正処理と、
　前記重心補正部の生成した重心補正部出力長時間露光画素と重心補正部出力短時間露光画素との合成処理を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素からなる画像の画素合成による高品質な高ダイナミックレンジ画像を生成する装置、方法が実現される。
　具体的には、長時間露光画素と短時間露光画素を含む入力画像の各構成画素に対するエッジ検出を実行するエッジ検出部と、合成対象となる長時間露光画素と短時間露光画素の重心補正処理を実行する重心補正部と、重心補正部の生成画素の合成処理を実行する画素合成部を有する。画素合成部は、長時間露光画素の画素値に応じたブレンド率（α）を適用した平坦部合成結果と、固定ブレンド率を適用したエッジ部合成結果と、飽和部領域に適応した飽和部合成結果から、各画素の状況に応じた最適な合成結果を選択し、選択された合成結果に基づいて高ダイナミックレンジ（ＨＤＲ）画像を生成して出力する。
　上記手法の適用により、各構成画素の状況に応じた画素対応の最適な合成結果が得られ、高品質な高ダイナミックレンジ画像を生成することが可能となる。

複数画像に基づく高ダイナミックレンジ画像生成処理について説明する図である。単一画像に基づく高ダイナミックレンジ画像生成処理について説明する図である。本開示の画像処理装置の一構成例について説明する図である。本開示の画像処理装置の信号処理部の一構成例について説明する図である。撮像素子の画素配列構成例について説明する図である。撮像素子の露光制御構成について説明する図である。本開示の画像処理装置のＨＤＲ画像生成部の一構成例について説明する図である。本開示の画像処理装置のＨＤＲ画像生成部のエッジ検出部の一構成例について説明する図である。エッジ検出部の実行する処理の一例について説明する図である。エッジ検出部の実行する処理の一例について説明する図である。本開示の画像処理装置のＨＤＲ画像生成部の重心補正部の一構成例について説明する図である。重心補正部の実行する処理の一例について説明する図である。重心補正部の実行する処理の一例について説明する図である。重心補正部の実行する処理の一例について説明する図である。本開示の画像処理装置のＨＤＲ画像生成部の画素合成部の一構成例について説明する図である。画素合成部の実行する処理の一例について説明する図である。画素合成部の実行する処理のシーケンスについて説明するフローチャートを示す図である。画素合成部の実行する処理の一例について説明する図である。本開示の画像処理装置のＨＤＲ画像生成部の重心補正部の一構成例について説明する図である。重心補正部において実行する一処理例について説明する図である。本開示の画像処理装置のＨＤＲ画像生成部の画素合成部の一構成例について説明する図である。画素合成部の実行する処理のシーケンスについて説明するフローチャートを示す図である。撮像素子の画素配列構成例について説明する図である。撮像素子の露光制御構成について説明する図である。本開示の画像処理装置のＨＤＲ画像生成部の一構成例について説明する図である。エッジ検出部の実行する処理の一例について説明する図である。エッジ検出部の実行する処理の一例について説明する図である。本開示の画像処理装置のＨＤＲ画像生成部の配列変換重心補正部の一構成例について説明する図である。配列変換重心補正部の実行する処理の一処理例について説明する図である。配列変換重心補正部の実行する処理の一処理例について説明する図である。配列変換重心補正部の実行する処理の一処理例について説明する図である。本開示の画像処理装置のＨＤＲ画像生成部の画素合成部の一構成例について説明する図である。本開示の画像処理装置のＨＤＲ画像生成部の相関処理部の一構成例について説明する図である。本開示の画像処理装置の一構成例について説明する図である。

　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログ
ラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　　１．画像処理装置の全体構成例について
　　２．ＨＤＲ画像生成部の構成と処理について
　　２－１．エッジ検出部の構成と処理について
　　２－２．重心補正部の構成と処理について
　　２－３．画素合成部の構成と処理について
　　３．実施例２：重心補正部の構成を変更した実施例
　　４．実施例３：画素合成部の構成を変更した実施例
　　５．実施例４：撮像素子の画素配列と長短露光画素設定の変更例
　　６．実施例５：画素数を削減することのないＨＤＲ画像を生成する実施例について
　　６－１．エッジ検出部の構成と処理について
　　６－２．配列変換重心補正部の構成と処理について
　　６－３．画素合成部の構成と処理について
　　６－４．相関処理部の構成と処理について
　　７．実施例６：階調変換部、カメラ信号処理部を有する撮像装置の構成例について
　　８．本開示の構成のまとめ

　　［１．画像処理装置の全体構成例について］
　まず、本開示の第１実施例の画像処理装置の全体構成例について説明する。
　図３に、本開示の画像処理装置の一構成例である撮像装置１００の構成例を示す。

　光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。出力画像データは信号処理部１０３に入力される。信号処理部１０３は、例えば、以下に説明する画素合成処理を実行し、さらに、ホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。

　制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。

　次に、信号処理部１０３の構成例について図４を参照して説明する。
　図４は、本開示の一実施例の信号処理部１０３の構成を示す図である。
　信号処理部１０３は、図４に示すようにＨＤＲ画像生成部１３１、後段信号処理部１３２、出力部１３３を有する。

　ＨＤＲ画像生成部１３１は、撮像素子１０２から入力する画素信号の合成処理を実行する。
　後段信号処理部１３２は、ホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行する。
　出力部１３３は、これらの信号処理のなされた処理画像を出力画像１２０として出力する。

　撮像素子１０２は、多数の画素各々に被写体光に基づく電荷を蓄積し画像データを出力する。なお、撮像素子１０２は、長時間露光を行う高感度画素と、短時間露光を行う低感度画素を有する構成となっている。
　なお、以下の説明では、
　長時間露光を行う高感度画素を「長露光画素」、
　短時間露光を行う低感度画素を「短露光画素」、
　として説明する。

　ＨＤＲ画像生成部１３１は、長露光画素の画素値と、短露光画素の画素値の合成（ブレンド）処理を実行する。例えば、撮像素子の垂直方向近傍にある長露光画素の画素値と、短露光画素の画素値の合成（ブレンド）処理を実行し、さらに、この合成後に、水平方向の合成画素同士を再合成する。このような画素値合成処理を実行して画素数を削減した高ダイナミックレンジ（ＨＤＲ）画像を生成する。
　なお、画素数を削減せずに高ダイナミックレンジ（ＨＤＲ）画像を生成する手法もある。これらの高ダイナミックレンジ（ＨＤＲ）画像の生成構成については、後段で詳細に説明する。

　以下では、一例として、撮像素子１０２が図５に示すようなＲＧＢ配列、すなわちベイヤ（Ｂａｙｅｒ）配列を持つＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである場合の処理例について説明する。

　撮像素子１０２は、図６に示すように２行毎に異なる露光時間の画素、すなわち短露光画素と長露光画素を有する構成である。
　この画素単位の露光時間制御は制御部１０５の制御によって実行される。

　図６に示すグレー領域が露光時間の短い短露光画素領域であり、白領域が露光時間の長い長露光画素領域である。各矩形領域が１つの画素を示す。

　以下の実施例では、図６に示すように２行単位で短露光画素と長露光画素を設定して撮影された画像に対する処理例を説明する。
　なお、このように画素ごとに露光時間を変える露光処理をＳＶＥ（Ｓｐａｔｉａｌｌｙ　Ｖａｒｙｉｎｇ　Ｅｘｐｏｓｕｒｅ）方式と呼び、このＳＶＥ方式によって得られた画像をＳＶＥ画像、ＳＶＥ配列画像、あるいはＳＶＥ信号と呼ぶ。

　このように画素ごとに露光時間を変えて撮影したＳＶＥ画像の長露光画素と短露光画素の各画素信号を合成することで、ダイナミックレンジの広い画像を得ることができる。この合成処理によって生成する画像を高ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）画像と呼ぶ。

　　［２．ＨＤＲ画像生成部の構成と処理について］
　次に、本開示の第１実施例の画像処理装置におけるＨＤＲ画像生成部１３１の構成と処理について説明する。
　図７は、ＨＤＲ画像生成部１３１の詳細構成を示すブロック図である。
　ＨＤＲ画像生成部１３１は、撮像素子１０２の出力画像、すなわち、２行単位で長露光画素と短露光画素が交互に設定された入力画像（ＳＶＥ配列画像）１４１を入力する。
　ＨＤＲ画像生成部１３１は、この入力画像（ＳＶＥ配列画像）１４１を構成する長露光画素と短露光画素画素を合成して高ダイナミックレンジ（ＨＤＲ）画像１４２を生成して出力する。
　例えば、Ｎ×Ｍ画素の入力画像（ＳＶＥ配列画像）１４１を入力して、Ｐ×Ｑ画素のＨＤＲ画像１４２を生成して出力する。
　ただし、
　Ｐ≦Ｎ，
　Ｑ≦Ｍ
　である。

　図７に示すように、ＨＤＲ画像生成部１３１は、エッジ検出部１５１、重心補正部１５２、画素合成部１５３を有する。
　エッジ検出部１５１は、入力されたＳＶＥ配列の各画素領域におけるエッジの有無やエッジ方向を解析し、これらの解析情報からなるエッジ情報を生成して出力する。
　重心補正部１５２は、エッジ検出部１５１の検出したエッジ情報を利用して、合成対象となる長露光画素と短露光画素の重心位置を補正する。
　画素合成部１５３は、重心補正部１５２の出力である重心補正画素値を利用して、エッジ成分情報を利用して、長露光画素と短露光画素の合成を行う。
　以下、ＨＤＲ画像生成部１３１の各構成部の詳細構成と処理について、順次説明する。

　　（２－１．エッジ検出部の構成と処理について）
　まず、図８以下を参照してエッジ検出部１５１の構成と処理について説明する。
　図８はエッジ検出部１５１の詳細構成を示すブロック図である。
　エッジ検出部１５１は、撮像素子１０２からの出力画像である図７に示す入力画像（ＳＶＥ配列画像）１４１から、エッジ検出対象とする注目画素をほぼ中心画素とした注目画素の近傍９×９画素領域のＧ画素のみからなる画像信号、すなわち、図８に示すエッジ検出用画像１４１Ｇを利用して、注目画素対応のエッジ情報を生成して、図７に示す重心補正部１５２と画素合成部１５３に出力する。

　なお、図７に示すＨＤＲ画像生成部１３１が最終的に生成するＨＤＲ画像１４２の各画素は、入力画像（ＳＶＥ配列画像）１４１中の少なくとも１つの長露光画素と短露光画素を含む複数画素の画素値合成によって生成される。
　従って、ＨＤＲ画像生成部１３１は、入力画像（ＳＶＥ配列画像）中の長露光画素のみを順次、処理対象画素（注目画素）として選択して処理を行なう設定としてよい。短露光画素は、処理対象画素（注目画素）として選択された長露光画素との合成に適用する画素として自動的に選択される。

　なお、処理対象画素（注目画素）として選択された長露光画素との合成対象となる短露光画素は、例えば選択された長露光画素の垂直方向の近傍にある同一色の短露光画素である。この合成対象とする長露光画素と短露光画素の組み合わせは予め設定されており、ＨＤＲ画像生成部１３１は、この設定情報に基づいて画素合成を行なう。

　図８に示すエッジ検出部１５１が生成するエッジ情報は、図８に示すように以下の各信号である。
　（ａ）長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１、
　（ｂ）長露光エッジ方向フラグ（ＬＤｉｒ＿ｆｌｇ）１７２、
　（ｃ）短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３、
　（ｄ）短露光エッジ方向フラグ（ＳＤｉｒ＿ｆｌｇ）１７４、
　エッジ検出部１５１は、これら（ａ）～（ｄ）からなるエッジ情報を生成して重心補正部１５２と画素合成部１５３に出力する。

　図８に示すように、エッジ検出部１５１は、差分算出部（垂直）１６１、差分算出部（水平）１６２、差分算出部（右上）１６３、差分算出部（左上）１６４を有する。
　さらに、長露光エッジ検出部１６５、長露光エッジ方向判定部１６６、短露光エッジ検出部１６７、短露光エッジ方向判定部１６８を有する。

　差分算出部（垂直）１６１は、図８に示すエッジ検出用画像１４１Ｇ、すなわち注目画素の近傍９×９画素領域に含まれるＧ画素を適用して、以下の２つの垂直方向の画素値差分情報を算出する。
　垂直方向に近接する２つの長時間露光Ｇ画素同士の画素値差分の平均値（ＬＤｉｆｆ＿ｖ）、
　垂直方向に近接する２つの短時間露光Ｇ画素同士の画素値差分の平均値（ＳＤｉｆｆ＿ｖ）、
　これらを算出する。

　差分算出部（水平）１６２は、図８に示すエッジ検出用画像１４１Ｇ、すなわち注目画素の近傍９×９画素領域に含まれるＧ画素を適用して、以下の２つの水平方向の画素値差分情報を算出する。
　水平方向に近接する２つの長時間露光Ｇ画素同士の画素値差分の平均値（ＬＤｉｆｆ＿ｈ）、
　水平方向に近接する２つの短時間露光Ｇ画素同士の画素値差分の平均値（ＳＤｉｆｆ＿ｈ）、
　これらを算出する。

　差分算出部（右上）１６３は、図８に示すエッジ検出用画像１４１Ｇ、すなわち注目画素の近傍９×９画素領域に含まれるＧ画素を適用して、以下の２つの右上方向の画素値差分情報を算出する。
　右上方向に近接する２つの長時間露光Ｇ画素同士の画素値差分の平均値（ＬＤｉｆｆ＿ａ）、
　右上方向に近接する２つの短時間露光Ｇ画素同士の画素値差分の平均値（ＳＤｉｆｆ＿ａ）、
　これらを算出する。

　差分算出部（左上）１６４は、図８に示すエッジ検出用画像１４１Ｇ、すなわち注目画素の近傍９×９画素領域に含まれるＧ画素を適用して、以下の２つの左上方向の画素値差分情報を算出する。
　左上方向に近接する２つの長時間露光Ｇ画素同士の画素値差分の平均値（ＬＤｉｆｆ＿ｄ）、
　左上方向に近接する２つの短時間露光Ｇ画素同士の画素値差分の平均値（ＳＤｉｆｆ＿ｄ）、
　これらを算出する。

　図９は、差分算出部１６１～１６４において実行する長露光画素に関する垂直、水平、右上、左上の各差分算出処理の具体例を示す図である。
　（Ｌｖ）長露光垂直方向、
　（Ｌｈ）長露光水平方向、
　（Ｌａ）長露光右上方向、
　（Ｌｄ）長露光左上方向、
　これらの各処理において差分を算出する画素の組み合わせ（画素ペア）を矢印で示している。

　複数の画素ペアの画素値差分を算出し、さらにこの平均値を算出して、以下の各値を算出する。
　（１）長露光画素垂直方向画素値差分平均値（ＬＤｉｆｆ＿ｖ）、
　（２）長露光画素水平方向画素値差分平均値（ＬＤｉｆｆ＿ｈ）、
　（３）長露光画素右上方向画素値差分平均値（ＬＤｉｆｆ＿ａ）、
　（４）長露光画素左上方向画素値差分平均値（ＬＤｉｆｆ＿ｄ）、
　これらの各値の算出式は、以下の（式１）に示す通りである。

　　　・・・・・（式１）
　なお、上記式において、Ｎ，Ｍ．Ｏ，Ｐは算出した差分の数である。

　図１０は、差分算出部１６１～１６４において実行する短露光画素に関する垂直、水平、右上、左上の各差分算出処理の具体例を示す図である。
　（Ｓｖ）短露光垂直方向、
　（Ｓｈ）短露光水平方向、
　（Ｓａ）短露光右上方向、
　（Ｓｄ）短露光左上方向、
　これらの各処理において差分を算出する画素の組み合わせ（画素ペア）を矢印で示している。

　複数の画素ペアの画素値差分を算出し、さらにこの平均値を算出して、以下の各値を算出する。
　（１）短露光画素垂直方向画素値差分平均値（ＳＤｉｆｆ＿ｖ）、
　（２）短露光画素水平方向画素値差分平均値（ＳＤｉｆｆ＿ｈ）、
　（３）短露光画素右上方向画素値差分平均値（ＳＤｉｆｆ＿ａ）、
　（４）短露光画素左上方向画素値差分平均値（Ｓ）Ｄｉｆｆ＿ｄ）、
　これらの各値の算出式は、以下の（式２）に示す通りである。

　　　・・・・・（式２）
　なお、上記式において、Ｑ，Ｒ．Ｓ，Ｔは算出した差分の数である。

　図８に示す差分算出部（垂直）１６１、差分算出部（水平）１６２、差分算出部（右上）１６３、差分算出部（左上）１６４は、このように長時間露光Ｇ画素および短時間露光Ｇ画素を適用して４方向の画素値差分平均値を算出する。この算出値は、長露光エッジ検出部１６５、長露光エッジ方向判定部１６６、短露光エッジ検出部１６７、短露光エッジ方向判定部１６８に出力される。

　長露光エッジ検出部１６５、長露光エッジ方向判定部１６６は、長時間露光Ｇ画素の４方向の画素値差分平均値を入力し、長露光画素の各方向の画素値差分平均値を用いて、長露光画素から判断されるエッジの有無、およびエッジ方向を判定する。
　また、短露光エッジ検出部１６７、短露光エッジ方向判定部１６８は、短時間露光Ｇ画素の４方向の画素値差分平均値を入力し、短露光画素の各方向の画素値差分平均値を用いて、短露光画素から判断されるエッジの有無、およびエッジ方向を判定する。

　長露光エッジ検出部１６５は、以下に示す（式３）に従って、長露光画素から判断されるエッジの有無を示す長露光エッジ判定フラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１を算出する。

　　　・・・・・（式３）

　上記（式３）において、
　ＴＨは予め定めた閾値である。
長露光エッジ判定フラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１は、
　ＬＥｄｇｅ＿ｆｌｇ＝１の場合、注目画素がエッジ領域であることを示し、
　ＬＥｄｇｅ＿ｆｌｇ＝０の場合、注目画素がエッジ領域でない、すなわち平坦領域であることを示す。

　長露光エッジ方向判定部１６６は、以下に示す（式４）に従って、長露光画素から判断されるエッジの方向を示す長露光エッジ方向フラグ（ＬＤｉｒ＿ｆｌｇ）１７２を算出する。

　　　・・・・・（式４）

　上記（式４）において、
　ｍｉｎ｛ａ，ｂ，ｃ，ｄ｝は、ａ，ｂ，ｃ，ｄから最小値を選択する関数である。

　長露光エッジ方向フラグ（ＬＤｉｒ＿ｆｌｇ）１７２は、上記（式４）によって定義される各値０～３に応じて以下のエッジ方向であることをほ示す。
　ＬＤｉｒ＿ｆｌｇ＝０：エッジ方向が垂直方向、
　ＬＤｉｒ＿ｆｌｇ＝１：エッジ方向が水平方向、
　ＬＤｉｒ＿ｆｌｇ＝２：エッジ方向が左上方向、
　ＬＤｉｒ＿ｆｌｇ＝３：エッジ方向が右上方向、

　また、短露光エッジ検出部１６７は、以下に示す（式５）に従って、短露光画素から判断されるエッジの有無を示す短露光エッジ判定フラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３を算出する。

　　　・・・・・（式５）

　上記（式５）において、
　ＴＨは予め定めた閾値である。
　短露光エッジ判定フラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３は、
　ＳＥｄｇｅ＿ｆｌｇ＝１の場合、注目画素がエッジ領域であることを示し、
　ＳＥｄｇｅ＿ｆｌｇ＝０の場合、注目画素がエッジ領域でない、すなわち平坦領域であることを示す。

　短露光エッジ方向判定部１６８は、以下に示す（式６）に従って、短露光画素から判断されるエッジの方向を示す長露光エッジ方向フラグ（ＳＤｉｒ＿ｆｌｇ）１７４を算出する。

　　　・・・・・（式６）

　上記（式６）において、
　ｍｉｎ｛ａ，ｂ，ｃ，ｄ｝は、ａ，ｂ，ｃ，ｄから最小値を選択する関数である。

　短露光エッジ方向フラグ（ＳＤｉｒ＿ｆｌｇ）１７４は、上記（式６）によって定義される各値０～３に応じて以下のエッジ方向であることを示す。
　ＳＤｉｒ＿ｆｌｇ＝０：エッジ方向が垂直方向、
　ＳＤｉｒ＿ｆｌｇ＝１：エッジ方向が水平方向、
　ＳＤｉｒ＿ｆｌｇ＝２：エッジ方向が左上方向、
　ＳＤｉｒ＿ｆｌｇ＝３：エッジ方向が右上方向、

　このように、エッジ検出部１５１は。注目画素対応の以下の各情報をエッジ情報として生成して、重心補正部１５２と画素合成部１５３に出力する。
　（１）長露光画素に基づいて判定した注目画素がエッジ領域であるか否かを示す長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１
　（２）長露光画素に基づいて判定した注目画素におけるエッジ方向を示す長露光エッジ方向フラグ（ＬＤｉｒ＿ｆｌｇ）１７２
　（３）短露光画素に基づいて判定した注目画素がエッジ領域であるか否かを示す短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３
　（４）短露光画素に基づいて判定した注目画素におけるエッジ方向を示す短露光エッジ方向フラグ（ＳＤｉｒ＿ｆｌｇ）１７４

　　（２－２．重心補正部の構成と処理について）
　次に、図１１以下を参照して重心補正部１５２の構成と処理について説明する。
　図１１は重心補正部１５２の詳細構成を示すブロック図である。

　図７に示すＨＤＲ画像生成部１３１は、撮像素子１０２からの出力画像である図７に示す入力画像（ＳＶＥ配列画像）１４１に含まれる長露光画素と短露光画素を合成して出力画像であるＨＤＲ画像１４２の１つの出力画素値を算出する。
　例えば合成処理後の出力画像であるＨＤＲ画像１４２は、合成処理前の入力画像である入力画像（ＳＶＥ配列画像）１４１を水平垂直方向とも画素数を１／２とした設定となる。

　図１２に示すように、合成対象となる長露光画素と短露光画素は、異なる画素位置にあり、異なる被写***置の撮影画素値を合成することになる。
　このような処理を行なうと、例えばエッジ等の境界が階段状に設定されるジャギーや、偽色等のエイリアシングが発生する場合がある。
　このようなジャギー、エイリアシングの発生を抑制するためには、合成対象となる長露光画素と短露光画素の画素位置を同じ画素位置とする調整を行なうことが有効となる。この処理を重心補正と呼ぶ。

　図１１に示す重心補正部１５２の垂直重心補正部１８１は、入力画像（ＳＶＥ配列画像）１４１に含まれる長露光画素と短露光画素に対して、各画素位置を同じ画素位置とした場合の各画素値を算出し、これらを「重心補正あり長露光画素（Ｌ＿ｗ）」と「重心補正あり短露光画素（Ｓ＿ｗ）」として補正結果選択部１８３に出力する。

　重心補正部１５２の垂直重心補正部１８１は、このように合成処理対象となる長時間露光画素と短時間露光画素の画素位置を一致させる処理を実行する。具体的には、
　異なる画素位置の複数の同一色の長時間露光画素の画素値を適用した重み付け加算により、重心補正部出力長時間露光画素の画素値を算出する。
　また、異なる画素位置の複数の同一色の短時間露光画素の画素値を適用した重み付け加算により、重心補正部出力短時間露光画素の画素値を算出する処理を実行する。

　例えば図１３に示すような処理を行なう。
　図１３には、以下の各処理例を示している。
　（ａ）長露光画素の重心補正処理、
　（ｂ）短露光画素の重心補正処理、
　図１３に示す処理例は、処理対象とする注目画素を入力画像（ＳＶＥ配列画像）における第５，６，９，１０行目の長露光画素とした場合の処理例を説明している。

　なお、前述したように、図７に示すＨＤＲ画像生成部１３１が最終的に生成するＨＤＲ画像１４２の各画素は、入力画像（ＳＶＥ配列画像）１４１中の少なくとも１つの長露光画素と短露光画素を含む複数画素の画素値合成によって生成される。
　従って、ＨＤＲ画像生成部１３１は、処理対象画素（注目画素）として入力画像（ＳＶＥ配列画像）中の長露光画素のみを順次選択する設定としてよい。短露光画素は、処理対象画素（注目画素）として選択された長露光画素との合成に適用する画素として自動的に選択されるからである。

　図１３に示す例は、入力画像（ＳＶＥ配列画像）における第５，６，９，１０行目の長露光画素を処理対象画素（注目画素）として選択した場合の重心補正処理を示している。具体的には、
　（ａ）重心補正あり長露光画素（Ｌ＿ｗ）、
　（ｂ）重心補正あり短露光画素（Ｓ＿ｗ）、
　これらの各露光画素の重心補正処理例を示している。

　例えば、図１３（ａ）に示す長露光画素の重心補正処理においては、以下の処理を実行する。
　入力画像（ＳＶＥ配列画像）における第５行目のＧＲＧＲ画素のいずれかが注目画素である場合、入力画像（ＳＶＥ配列画像）の第１行目の画素位置の長露光画素（ＧＲＧＲ）の画素値と、第５行目の長露光画素（ＧＲＧＲ）の画素値と、第９行目の長露光画素（ＧＲＧＲ）の画素値とを１：６：１で加算平均することで、図１３（ａ２）長時間露光重心補正画像の最上段（５行目相当）の各画素（ＧＲＧＲ）の画素値を算出する。
　図１３（ａ２）長時間露光重心補正画像の右端に示す（ｘ行目相当）は、重心補正画素の画素値が、入力画像においてどの画素位置（ｘ行目）に対応する画素値に相当するかを示している。

　また、入力画像（ＳＶＥ配列画像）における第６行目のＢＧＢＧ画素のいずれかが注目画素である場合、入力画像（ＳＶＥ配列画像）の第６行目の画素位置の長露光画素（ＢＧＢＧ）の画素値と、第１０行目の長露光画素（ＢＧＢＧ）の画素値を３：１で加算平均することで、（ａ２）長時間露光重心補正画像の二番目（７行目相当）の各画素（ＢＧＢＧ）の画素値を算出する。

　以下同様に、入力画像（ＳＶＥ配列画像）における第９行目のＧＲＧＲ画素のいずれかが注目画素である場合、第５行目の処理と同様、入力画像（ＳＶＥ配列画像）の第５行目の画素位置の長露光画素（ＧＲＧＲ）の画素値と、第９行目の長露光画素（ＧＲＧＲ）の画素値と、第１３行目の長露光画素（ＧＲＧＲ）の画素値とを１：６：１で加算平均することで、図１３（ａ２）長時間露光重心補正画像の三番目（９行目相当）の各画素（ＧＲＧＲ）の画素値を算出する。
　また、入力画像（ＳＶＥ配列画像）における第１０行目のＢＧＢＧ画素のいずれかが注目画素である場合、第６行目の処理と同様、入力画像（ＳＶＥ配列画像）の第１０行目の画素位置の長露光画素（ＢＧＢＧ）の画素値と、第１４行目の長露光画素（ＢＧＢＧ）の画素値を３：１で加算平均することで、（ａ２）長時間露光重心補正画像の四番目（１１行目相当）の各画素（ＢＧＢＧ）の画素値を算出する。

　図１３（ａ２）長時間露光重心補正画像には、
　処理対象画素（注目画素）が、入力画像（ＳＶＥ配列画像）の第５，６，９，１０行目の長露光画素である場合の重心補正画素の画素値が、入力画像においてどの画素位置（ｘ行目）に対応するかを示している。
　処理対象画素（注目画素）が、入力画像の第５行目のＧＲＧＲ画素の場合、重心補正画像の画素位置は、入力画像における第５行の位置となる。
　処理対象画素（注目画素）が、入力画像の第６行目のＢＧＢＧ画素の場合、重心補正画像の画素位置は、入力画像における第７行の位置となる。
　処理対象画素（注目画素）が、入力画像の第９行目のＧＲＧＲ画素の場合、重心補正画像の画素位置は、入力画像における第９行の位置となる。
　処理対象画素（注目画素）が、入力画像の第１０行目のＢＧＢＧ画素の場合、重心補正画像の画素位置は、入力画像における第１１行の位置となる。
　このように、重心補正画素は、入力画像において垂直方向に均等間隔に配置した画素に対応する画素値として算出される。

　一方、図１３（ｂ）短露光画素の重心補正処理においては、以下の処理を実行する。
　入力画像（ＳＶＥ配列画像）における第５行目のＧＲＧＲ画素のいずれかが注目画素である場合、入力画像（ＳＶＥ配列画像）の第３行目の画素位置の短露光画素（ＧＲＧＲ）の画素値と、第７行目の短露光画素（ＧＲＧＲ）の画素値の画素値とを１：１で加算平均することで、図１３（ｂ２）短時間露光重心補正画像の最上段（５行目相当）の各画素（ＧＲＧＲ）の画素値を算出する。

　また、入力画像（ＳＶＥ配列画像）における第６行目のＢＧＢＧ画素のいずれかが注目画素である場合、入力画像（ＳＶＥ配列画像）の第４行目の画素位置の短露光画素（ＢＧＢＧ）の画素値と、第８行目の短露光画素（ＢＧＢＧ）の画素値を１：３で加算平均することで、（ｂ２）短時間露光重心補正画像の二番目（７行目相当）の各画素（ＢＧＢＧ）の画素値を算出する。

　以下同様に、入力画像（ＳＶＥ配列画像）における第９行目のＧＲＧＲ画素のいずれかが注目画素である場合、第５行目の処理と同様、入力画像（ＳＶＥ配列画像）の第７行目の画素位置の短露光画素（ＧＲＧＲ）の画素値と、第１１行目の短露光画素（ＧＲＧＲ）の画素値を１：１で加算平均することで、図１３（ｂ２）短時間露光重心補正画像の三番目（９行目相当）の各画素（ＧＲＧＲ）の画素値を算出する。
　また、入力画像（ＳＶＥ配列画像）における第１０行目のＢＧＢＧ画素のいずれかが注目画素である場合、第６行目の処理と同様、入力画像（ＳＶＥ配列画像）の第８行目の画素位置の短露光画素（ＢＧＢＧ）の画素値と、第１２行目の短露光画素（ＢＧＢＧ）の画素値を１：３で加算平均することで、（ｂ２）短時間露光重心補正画像の四番目（１１行目相当）の各画素（ＢＧＢＧ）の画素値を算出する。

　図１３（ｂ２）短時間露光重心補正画像には、
　処理対象画素（注目画素）が、入力画像（ＳＶＥ配列画像）の第５，６，９，１０行目の長露光画素である場合の重心補正画素の画素値が、入力画像においてどの画素位置（ｘ行目）に対応するかを示している。
　処理対象画素（注目画素）が、入力画像の第５行目のＧＲＧＲ画素の場合、重心補正画像の画素位置は、入力画像における第５行の位置となる。
　処理対象画素（注目画素）が、入力画像の第６行目のＢＧＢＧ画素の場合、重心補正画像の画素位置は、入力画像における第７行の位置となる。
　処理対象画素（注目画素）が、入力画像の第９行目のＧＲＧＲ画素の場合、重心補正画像の画素位置は、入力画像における第９行の位置となる。
　処理対象画素（注目画素）が、入力画像の第１０行目のＢＧＢＧ画素の場合、重心補正画像の画素位置は、入力画像における第１１行の位置となる。
　このように、重心補正画素は、入力画像において垂直方向に均等間隔に配置した画素に対応する画素値として算出される。

　図１３（ａ２），（ｂ２）に示す長露光および短露光の各重心補正画像から理解されるように、各重心補正画像の各画素の画素値は、入力画像における第５，７，９，１１行目に相当する位置の画素値に相当するものとなる。

　このように図１３（ａ２）に示す長時間露光重心補正画像と、図１３（ｂ２）に示す短時間露光重心補正画像の同一行、例えば第５行目は、それぞれ同じ被写体画像位置の画素値に対応し、これらを合成することで、同じ被写***置の短露光画素と長露光画素同士の合成処理と同等の処理が行われることになる。
　この合成結果が、図１３（ｃ）に示す合成結果となる。

　図１４（ａ）～（ｄ）は、処理対象画素（注目画素）を、入力画像の第５，６，９，１０各行に対応する長露光画素とした場合の垂直重心補正部１８１の処理例を示した図である。それぞれ長時間露光画素と短露光画素の重心補正画素の画素値算出処理の具体的処理を示している。

　（１）入力画像の第５行の長時間露光画素を処理対象画素（注目画素）とした場合の処理は以下の通りである。
　（１Ｌ）長時間露光重心補正画素の画素値は、入力画像（ＳＶＥ配列画像）の第１行、第５行、第９目行の各長露光画素の画素値を１：６：１の比率で加算して算出する。
　（１Ｓ）短時間露光重心補正画素の画素値は、入力画像（ＳＶＥ配列画像）の第３行、第７行の各短露光画素の画素値を１：１の比率で加算して算出する。

　（２）入力画像の第６行の長時間露光画素を処理対象画素（注目画素）とした場合の処理は以下の通りである。
　（２Ｌ）長時間露光重心補正画素の画素値は、入力画像（ＳＶＥ配列画像）の第６行、第１０行の各長露光画素の画素値を３：１の比率で加算して算出する。
　（２Ｓ）短時間露光重心補正画素の画素値は、入力画像（ＳＶＥ配列画像）の第４行、第８行の各短露光画素の画素値を１：３の比率で加算して算出する。

　（３）入力画像の第９行の長時間露光画素を処理対象画素（注目画素）とした場合の処理は以下の通りである。
　（３Ｌ）長時間露光重心補正画素の画素値は、入力画像（ＳＶＥ配列画像）の第５行、第９行、第１３目行の各長露光画素の画素値を１：６：１の比率で加算して算出する。
　（３Ｓ）短時間露光重心補正画素の画素値は、入力画像（ＳＶＥ配列画像）の第７行、第１１行の各短露光画素の画素値を１：１の比率で加算して算出する。

　（４）入力画像の第１０行の長時間露光画素を処理対象画素（注目画素）とした場合の処理は以下の通りである。
　（４Ｌ）長時間露光重心補正画素の画素値は、入力画像（ＳＶＥ配列画像）の第１０行、第１４行の各長露光画素の画素値を３：１の比率で加算して算出する。
　（４Ｓ）短時間露光重心補正画素の画素値は、入力画像（ＳＶＥ配列画像）の第８行、第１２行の各短露光画素の画素値を１：３の比率で加算して算出する。

　このようにして、入力画像の同じ画素位置に長露光画素と短露光画素を設定したと仮定した場合の各画素値を、長時間露光重心補正画素、短時間露光重心補正画素として算出する。

　図１１に示す重心補正部１５２の垂直重心補正部１８１は、図１３、図１４を参照して説明した処理を実行して、図１１に示すように、以下のデータを生成する。
　重心補正あり長露光画素（Ｌ＿ｗ）、
　重心補正あり短露光画素（Ｓ＿ｗ）、
　垂直重心補正部１８１は、これらの各画素値情報を算出して補正結果選択部１８３に出力する。
　これらの各画素値は、１つの処理対象画素（注目画素）として選択された１つの長露光画素に対応する重心補正画素値データとして生成され補正結果選択部１８３に出力される。

　補正結果選択部１８３は、さらに、入力画像（ＳＶＥ配列画像）１４１に含まれる以下の各画素情報を入力する。
　重心補正なし長露光画素（Ｌ＿ｎ）
　重心補正なし短露光画素（Ｓ＿ｎ）
　これらは、入力画像（ＳＶＥ配列画像）１４１自身の画素情報である。

　補正結果選択部１８３は、さらに、飽和判定部１８２の生成する飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５を入力する。
　飽和判定部１８２は、入力画像（ＳＶＥ配列画像）１４１に含まれる長露光画素の画素値が飽和しているか否かを判定し、各長露光画素単位で飽和しているか否かを示す飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５を設定して出力する。

　例えば長露光画素の画素値が最大値であれば、飽和していると判断し、その長露光画素に対応する飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５の値を１、すなわち、
　Ｓａｔ＿ｆｌｇ＝１
　として出力する。
　長露光画素の画素値が飽和していない場合は、その長露光画素に対応する飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５の値を０、すなわち、
　Ｓａｔ＿ｆｌｇ＝０
　として出力する。
　飽和判定部１８２の生成する飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５は、重心補正部１５２の補正結果選択部１８３に出力され、さらに、図７に示すＨＤＲ画像生成部１３１の画素合成部１５３にも出力される。

　図１１に示す重心補正部１５２の補正結果選択部１８３の処理について説明する。
　補正結果選択部１８３は、以下の各データを入力する。
　（１）重心補正なし長露光画素（Ｌ＿ｎ）
　（２）重心補正なし短露光画素（Ｓ＿ｎ）
　（３）重心補正あり長露光画素（Ｌ＿ｗ）、
　（４）重心補正あり短露光画素（Ｓ＿ｗ）、
　（５）飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５

　（１）重心補正なし長露光画素（Ｌ＿ｎ）と、（２）重心補正なし短露光画素（Ｓ＿ｎ）、これらのデータは、入力画像（ＳＶＥ配列画像）１４１に含まれる各画素情報である。
　（３）重心補正あり長露光画素（Ｌ＿ｗ）、（４）重心補正あり短露光画素（Ｓ＿ｗ）、これらのデータは、図１３、図１４を参照して説明した処理に従って、垂直重心補正部１８１の生成したデータである。
　（５）飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５は、飽和判定部１８２の生成した長露光画素の飽和判定情報である。

　補正結果選択部１８３は、垂直重心補正部１８１における「重心補正あり長露光画素（Ｌ＿ｗ）」の生成に適用した長露光画素に、飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５が１の画素、すなわち飽和画素が含まれるか否かを判定する。

　垂直重心補正部１８１がある処理対象画素（注目画素）に対して生成した「重心補正あり長露光画素（Ｌ＿ｗ）」が、入力画像中の飽和画素を含む長露光画素を適用した処理によって生成されている場合、この処理対象画素（注目画素）に対して生成した「重心補正あり長露光画素（Ｌ＿ｗ）」と、「重心補正あり短露光画素（Ｓ＿ｗ）」は重心補正部１５２の出力画素として選択しない。

　この場合は、処理対象画素（注目画素）自身の画素情報、すなわち入力画像中の「重心補正なし長露光画素（Ｌ＿ｎ）」と、ＨＤＲ画像生成に際してこの処理対象画素（注目画素）と合成される短露光画素である「重心補正なし短露光画素（Ｓ＿ｎ）」を選択して、重心補正部１５２の出力とする。
　「重心補正なし短露光画素（Ｓ＿ｎ）」は、入力画像中の「重心補正なし長露光画素（Ｌ＿ｎ）」に対して垂直方向近傍にある同一色の短露光画素である。

　一方、垂直重心補正部１８１が生成した「重心補正あり長露光画素（Ｌ＿ｗ）」の生成に適用した長露光画素に飽和画素が含まれない場合は、垂直重心補正部１８１が生成した「重心補正あり長露光画素（Ｌ＿ｗ）」と、「重心補正あり短露光画素（Ｓ＿ｗ）」を、重心補正部１５２の出力画素とする。

　すなわち、図１１に示す重心補正部１５２の出力である、
　（１）重心補正部出力長露光画素（Ｌｏ）、
　（２）重心補正部出力短露光画素（Ｓｏ）、
　は以下のように選択出力される。

　垂直重心補正部１８１における「重心補正あり長露光画素（Ｌ＿ｗ）」生成に適用した長露光画素に１つも飽和画素が含まれない場合、
　（１）重心補正部出力長露光画素（Ｌｏ）＝重心補正あり長露光画素（Ｌ＿ｗ）、
　（２）重心補正部出力短露光画素（Ｓｏ）＝重心補正あり短露光画素（Ｓ＿ｗ）、
　垂直重心補正部１８１における「重心補正あり長露光画素（Ｌ＿ｗ）」生成に適用した長露光画素に１つ以上の飽和画素が含まれる場合、
　（１）重心補正部出力長露光画素（Ｌｏ）＝重心補正なし長露光画素（Ｌ＿ｎ）、
　（２）重心補正部出力短露光画素（Ｓｏ）＝重心補正なし短露光画素（Ｓ＿ｎ）、
　このような設定となる。

　このような選択出力は、各処理対象画素（注目画素）単位で実行される。
　例えば、処理対象画素（注目画素）が、図１４（ａ）の第５行に示す長露光画素Ｒである場合、以下の処理を行なう。
　この場合、垂直重心補正部１８１は、第１行の長露光画素Ｒと、第５行の長露光画素Ｒと、第９行の長露光画素Ｒを適用して１：６：１の配分比率で加重平均を行い、「重心補正あり長露光画素（Ｌ＿ｗ）」を算出する。
　同様に、垂直重心補正部１８１は、第３行の短露光画素Ｒと、第７行の短露光画素Ｒを適用して１：１の配分比率で加重平均を行い、「重心補正あり短露光画素（Ｓ＿ｗ）」を算出する。

　ここで、「重心補正あり長露光画素（Ｌ＿ｗ）」の生成に適用した第１行の長露光画素Ｒと、第５行の長露光画素Ｒと、第９行の長露光画素Ｒの少なくとも１つの画素が飽和画素である場合、補正結果選択部１８３は、垂直重心補正部１８１の算出した「重心補正あり長露光画素（Ｌ＿ｗ）」と「重心補正あり短露光画素（Ｓ＿ｗ）」これらの画素は出力画素として選択しない。
　この場合、処理対象画素（注目画素）自身の画素情報、すなわち入力画像中の「重心補正なし長露光画素（Ｌ＿ｎ）」と、ＨＤＲ画像の生成に際してこの処理対象画素（注目画素）と合成対象となる短露光画素である「重心補正なし短露光画素（Ｓ＿ｎ）」を選択して、重心補正部１５２の出力とする。

　一方、「重心補正あり長露光画素（Ｌ＿ｗ）」の生成に適用した第１行の長露光画素Ｒと、第５行の長露光画素Ｒと、第９行の長露光画素Ｒに１つも飽和画素が含まれない場合、補正結果選択部１８３は、垂直重心補正部１８１の算出した「重心補正あり長露光画素（Ｌ＿ｗ）」と「重心補正あり短露光画素（Ｓ＿ｗ）」これらの画素情報を出力する。

　このように、重心補正部１５２は、垂直重心補正部１８１における「重心補正あり長露光画素（Ｌ＿ｗ）」生成に適用した長露光画素に１つも飽和画素が含まれない場合、
　（１）重心補正部出力長露光画素（Ｌｏ）＝重心補正あり長露光画素（Ｌ＿ｗ）、
　（２）重心補正部出力短露光画素（Ｓｏ）＝重心補正あり短露光画素（Ｓ＿ｗ）、
　これらの各画素値を図７に示すＨＤＲ画像生成部１３１の画素合成部１５３に出力する。

　また、垂直重心補正部１８１における「重心補正あり長露光画素（Ｌ＿ｗ）」生成に適用した長露光画素に１つ以上の飽和画素が含まれる場合、
　（１）重心補正部出力長露光画素（Ｌｏ）＝重心補正なし長露光画素（Ｌ＿ｎ）、
　（２）重心補正部出力短露光画素（Ｓｏ）＝重心補正なし短露光画素（Ｓ＿ｎ）、
　このような設定となる。
　これらの各画素値を図７に示すＨＤＲ画像生成部１３１の画素合成部１５３に出力する。

　さらに、重心補正部１５２は、図１１に示す飽和判定部１８２の生成した飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５も図７に示すＨＤＲ画像生成部１３１の画素合成部１５３に出力する。
　飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５は入力画像（ＳＶＥ配列画像）中の長露光画素が飽和しているか否かを示す情報である。

　　（２－３．画素合成部の構成と処理について）
　次に、図１５以下を参照して、図７に示すＨＤＲ画像生成部１３１の画素合成部１５３の構成と処理について説明する。

　図１５は画素合成部１５３の詳細構成を示すブロック図である。
　図１５に示すように、画素合成部１５３は、平坦部合成部２１１、エッジ部合成部２１２、飽和部合成部２１３、長短合成結果選択＆最終合成結果生成部２１４を有する。

　平坦部合成部２１１、エッジ部合成部２１２、飽和部合成部２１３の各々は、先に図１１を参照して説明した重心補正部１５２の生成した出力信号である、
　（１）重心補正部出力長露光信号（Ｌｏ）、
　（２）重心補正部出力短露光信号（Ｓｏ）、
　これらの各信号をそれぞれ異なる態様で合成し、生成した合成信号を長短合成結果選択＆最終合成結果生成部２１４に出力する。

　平坦部合成部２１１は、平坦部用の合成信号である平坦部合成結果（Ｓｙｎ＿ｆ）を生成して長短合成結果選択＆最終合成結果生成部２１４に出力する。
　エッジ部合成部２１２は、エッジ部用の合成信号であるエッジ部合成結果（Ｓｙｎ＿ｅ）を生成して長短合成結果選択＆最終合成結果生成部２１４に出力する。
　飽和部合成部２１３は、飽和部用の合成信号である飽和部合成結果（Ｓｙｎ＿ｓ）を生成して長短合成結果選択＆最終合成結果生成部２１４に出力する。

　長短合成結果選択＆最終合成結果生成部２１４は、これらの３つの合成部からの長短露光画素の合成結果を入力する。
　さらに、図８を参照して説明したエッジ検出部１５１から、
　長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１、
　短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３、
　これらのエッジ情報を入力する。
　さらに、図１１を参照して説明した重心補正部１５２から、
　飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５、
　この飽和情報を入力する。

　長短合成結果選択＆最終合成結果生成部２１４は、
　（ａ）長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１、
　（ｂ）短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３、
　（ｃ）飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５、
　これらの各情報を参照して、以下のいずれかの長短露光画素の合成結果を選択する。
　すなわち、
　（１）平坦部用の合成信号である平坦部合成結果（Ｓｙｎ＿ｆ）、
　（２）エッジ部用の合成信号であるエッジ部合成結果（Ｓｙｎ＿ｅ）、
　（３）飽和部用の合成信号である飽和部合成結果（Ｓｙｎ＿ｓ）、
　長短合成結果選択＆最終合成結果生成部２１４は、処理対象画素（注目画素）単位で、これらの３信号の中からいずれかを選択する。

　さらに、選択した長短露光画素の合成結果に基づいて、水平方向の画素合成を実行して最終合成結果を生成し、合成結果（Ｓｙｎ）として出力する。

　各構成部の処理について説明する。
　平坦部合成部２１１は、図１１を参照して説明した重心補正部１５２の生成した出力信号を入力して、これらの信号に応じた平坦部対応の合成信号を生成する。すなわち、
　（１）重心補正部出力長露光信号（Ｌｏ）、
　（２）重心補正部出力短露光信号（Ｓｏ）、
　これらの各信号に対して平坦部用の合成処理を実行して平坦部合成結果（Ｓｙｎ＿ｆ）を生成して長短合成結果選択＆最終合成結果生成部２１４に出力する。

　平坦部合成部２１１は、入力信号、すなわち、
　（１）重心補正部出力長露光信号（Ｌｏ）、
　（２）重心補正部出力短露光信号（Ｓｏ）、
　これらの各信号の信号レベルに応じたブレンド比率を適用して、これら２つの画素の画素値、具体的には露光比調整後の２つの画素値のブレンド（合成）により合成結果としての平坦部合成結果（Ｓｙｎ＿ｆ）を生成する。

　撮像素子１０２において撮影された入力画像（ＳＶＥ配列画像）１４１の構成画素である短露光画素と長露光画素の露光時間の比率を１：Ｅとしたとき、
　合成対象となる長露光画素と短露光画素の各画素値、すなわち、
　（１）重心補正部出力長露光信号（Ｌｏ）、
　（２）重心補正部出力短露光信号（Ｓｏ）、
　これらの各画素値は、以下の関係式（式７）の関係にある。
　　Ｌｏ≒Ｓｏ×Ｅ・・・（式７）

　平坦部、すなわち、一定領域において画素値の変動が少ない画素領域では、
　画素値が小さい場合、すなわち、
　長露光画素の画素値である重心補正部出力長露光信号（Ｌｏ）、
　短露光画素の画素値である重心補正部出力短露光信号（Ｓｏ）、
　これらのいずれの画素値も小さい場合、
　短露光画素に含まれるノイズ量が信号値に比べて高くなる。すなわち短露光画素の画素値は、ＳＮ比が悪い信号である可能性が高い。
　従って、このような場合は、長露光画素の画素値である重心補正部出力長露光信号（Ｌｏ）のブレンド比率を高くした合成処理（ブレンド処理）を実行して平坦部合成結果（Ｓｙｎ＿ｆ）を生成する。

　一方、画素値が大きい場合、すなわち、
　長露光画素の画素値である重心補正部出力長露光信号（Ｌｏ）、
　短露光画素の画素値である重心補正部出力短露光信号（Ｓｏ）、
　これらのいずれの画素値も大きい場合、
　長露光画素は飽和値または飽和値に近い画素値である可能性が高く正確な画素値を反映していない可能性が高くなる。
　従って、このような場合は、短露光画素の画素値である重心補正部出力短露光信号（Ｓｏ）のブレンド比率を高くした合成処理（ブレンド処理）を実行して平坦部合成結果（Ｓｙｎ＿ｆ）を生成する。

　平坦部合成部２１１において実行する合成処理結果として生成する画素値である平坦部合成結果（Ｓｙｎ＿ｆ）に対する、重心補正部出力短露光信号（Ｓｏ）の寄与率に相当する値をブレンド率（α）とする。
　また、重心補正部出力長露光信号（Ｌｏ）の寄与率に相当する値を（１－α）とする。

　この設定とした場合、平坦部合成部２１１における合成処理によって算出する平坦部合成結果である合成画素値（Ｓｙｎ＿ｆ）は、以下の（式８）によって算出される。
　Ｓｙｎ＿ｆ＝（１－α）×Ｌｏ＋α×Ｓｏ×Ｅ　・・・（式８）

　上記（式８）において、
　Ｅは、短露光画素と長露光画素の露光比、
　αは０から１までの値を取るブレンド率である。
　αはＬｏとＳｏ×Ｅの値に応じて変化する。
　図１６はブレンド率αの設定例を示す図である。
　横軸が、長露光画素の画素値である重心補正部出力長露光信号（Ｌｏ）の画素値、縦軸が、ブレンド率（α）、すなわち、合成画素値における短露光信号（Ｓｏ）の寄与率である。

　図１６および（式８）から理解されるように、長露光画素である重心補正部出力長露光信号（Ｌｏ）の画素値が大きい場合は、ブレンド率αが大きく設定される。ブレンド比率αが大きく設定されると、（式８）に従った合成画素値（Ｓｙｎ＿ｈ）の算出において、短時間露光画素の画素値の反映度が高くなる。
　すなわち、例えば長時間露光画素の画素値が飽和画素値に近いような場合は、短時間露光画素の画素値が大きく反映される。

　一方、重心補正部出力長露光信号（Ｌｏ）の画素値が小さい場合は、ブレンド率αが小さい値に設定される。ブレンド率αが小さく設定されると、（式８）から理解されるように、長時間露光画素の画素値の反映度が高くなる。
　すなわち、例えば短時間露光画素の画素値が小さく、短時間露光画素に含まれるノイズが大きいと推定される場合は、長時間露光画素の画素値が大きく反映される。

　このような画素合成を実行することで、低輝度～高輝度まで、ノイズの少ない精度の高い画素値設定が可能となる。

　次に、エッジ部合成部２１２の処理について説明する。
　エッジ部合成部２１２は、図１１を参照して説明した重心補正部１５２の生成した出力信号を入力して、これらの信号に応じたエッジ部対応の合成信号を生成する。すなわち、
　（１）重心補正部出力長露光信号（Ｌｏ）、
　（２）重心補正部出力短露光信号（Ｓｏ）、
　これらの各信号に対してエッジ部用の合成処理を実行してエッジ部合成結果（Ｓｙｎ＿ｅ）を生成して長短合成結果選択＆最終合成結果生成部２１４に出力する。

　エッジ部合成部２１２は、入力信号、すなわち、
　（１）重心補正部出力長露光信号（Ｌｏ）、
　（２）重心補正部出力短露光信号（Ｓｏ）、
　これらの各信号の信号レベルに関係なく、これら２つの画素の画素値、具体的には露光比調整後の２つの画素値を固定したブレンド率（β）を適用してブレンド（合成）することで合成結果としてのエッジ部合成結果（Ｓｙｎ＿ｅ）を生成する。

　エッジ部合成部２１２において実行する合成処理結果として生成する画素値であるエッジ部合成結果（Ｓｙｎ＿ｅ）に対する、重心補正部出力短露光信号（Ｓｏ）の寄与率に相当する値をブレンド率（β）とする。
　また、重心補正部出力長露光信号（Ｌｏ）の寄与率に相当する値を（１－β）とする。

　この設定とした場合、エッジ部合成部２１２における合成処理によって算出するエッジ部合成結果である合成画素値（Ｓｙｎ＿ｅ）は、以下の（式９）によって算出される。
　Ｓｙｎ＿ｅ＝（１－β）×Ｌｏ＋β×Ｓｏ×Ｅ　・・・（式９）

　上記（式９）において、
　Ｅは、短露光画素と長露光画素の露光比、
　βは、０～１の範囲の値であり、予め設定された固定値とする。例えば、
　β＝０．５
　とする。

　次に、飽和部合成部２１３の処理について説明する。
　飽和部合成部２１３は、図１１を参照して説明した重心補正部１５２の生成した出力信号を入力して、これらの信号に応じた飽和部対応の合成信号を生成する。すなわち、
　（１）重心補正部出力長露光信号（Ｌｏ）、
　（２）重心補正部出力短露光信号（Ｓｏ）、
　これらの各信号に対して飽和部用の合成処理を実行して飽和部合成結果（Ｓｙｎ＿ｓ）を生成して長短合成結果選択＆最終合成結果生成部２１４に出力する。

　飽和部合成部２１３は、入力信号、すなわち、
　（１）重心補正部出力長露光信号（Ｌｏ）、
　（２）重心補正部出力短露光信号（Ｓｏ）、
　これらの各信号中、重心補正部出力短露光信号（Ｓｏ）を選択し、選択した重心補正部出力短露光信号（Ｓｏ）を飽和部合成結果（Ｓｙｎ＿ｓ）として長短合成結果選択＆最終合成結果生成部２１４に出力する。

　すなわち、飽和部合成結果（Ｓｙｎ＿ｓ）である合成画素値（Ｓｙｎ＿ｓ）は、以下の（式１０）によって算出される。
　Ｓｙｎ＿ｓ＝Ｓｏ×Ｅ・・・（式１０）
　なお、上記（式１０）において、
　Ｅは、短露光画素と長露光画素の露光比、
　である。

　長短合成結果選択＆最終合成結果生成部２１４は、上述した３つの合成部２１１～２１３からの合成結果を入力する。
　さらに、図８を参照して説明したエッジ検出部１５１から、
　長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１、
　短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３、
　これらのエッジ情報を入力する。
　さらに、図１１を参照して説明した重心補正部１５２から、
　飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５、
　この飽和情報を入力する。

　長短合成結果選択＆最終合成結果生成部２１４は、
　（ａ）長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１、
　（ｂ）短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３、
　（ｃ）飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５、
　これらの各情報を参照して、以下のいずれかの合成結果を選択する。
　すなわち、
　（１）平坦部用の合成信号である平坦部合成結果（Ｓｙｎ＿ｆ）、
　（２）エッジ部用の合成信号であるエッジ部合成結果（Ｓｙｎ＿ｅ）、
　（３）飽和部用の合成信号である飽和部合成結果（Ｓｙｎ＿ｓ）、
　長短合成結果選択＆最終合成結果生成部２１４は、処理対象画素（注目画素）単位で、これらの３信号の中からいずれかを選択する。
　さらに、選択した長短露光画素の合成結果に基づいて、さらに、水平方向の画素合成を実行して最終合成結果を生成し、合成結果（Ｓｙｎ）として出力する。

　長短合成結果選択＆最終合成結果生成部２１４の実行する合成結果（Ｓｙｎ）の生成処理について、図１７に示すフローチャートを参照して説明する。

　まず、ステップＳ１０１において、各合成部２１１～２１３の合成結果と、各フラグ情報を入力する。すなわち、以下の各データを入力する。
　（１）平坦部用の合成信号である平坦部合成結果（Ｓｙｎ＿ｆ）、
　（２）エッジ部用の合成信号であるエッジ部合成結果（Ｓｙｎ＿ｅ）、
　（３）飽和部用の合成信号である飽和部合成結果（Ｓｙｎ＿ｓ）、
　（ａ）長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１、
　（ｂ）短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３、
　（ｃ）飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５、

　次に、ステップＳ１０２において、図１１を参照して説明した重心補正部１５２から入力する飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５を参照し、合成処理の対象画素（注目画素）である重心補正部出力長露光画素の生成元の画素が飽和画素であるか否かを判定する。
　飽和画素である場合、すなわち、ステップＳ１０２の判定がＴｒｕｅである場合は、ステップＳ１０４に進む。
　ステップＳ１０４では、飽和部合成部２１３の生成した飽和部用の合成信号である飽和部合成結果（Ｓｙｎ＿ｓ）を選択して、これを長短露光画素の合成結果とする。この長短露光画素の合成結果は、垂直方向の画素の合成を行なった結果、すなわち合成処理の中間データであり、さらに、ステップＳ１０７において、この中間データを利用して水平方向の画素同士の合成を実行して最終合成結果（Ｓｙｎ）を生成して出力する。

　一方、ステップＳ１０２において、合成処理の対象画素（注目画素）である重心補正部出力長露光画素の生成元の画素が飽和画素でないと判定した場合、すなわち、ステップＳ１０２の判定がｆａｌｓｅである場合は、ステップＳ１０３に進む。

　ステップＳ１０３では、図８を参照して説明したエッジ検出部１５１から入力する長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１と、短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３を参照し、合成処理の対象画素（注目画素）である重心補正部出力画素の生成元の画素が平坦部領域にあるかエッジ領域にあるかを判定する。

　具体的には、
　長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１、
　短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３、
　これらのフラグのいずれもが、エッジ領域であることを示す値（１）である場合には、エッジ領域であると判定し、ステップＳ１０５に進む。

　一方、
　長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１、
　短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３、
　これらのフラグのいずれかが、エッジ領域でないことを示す値（０）である場合には、平坦領域であると判定し、ステップＳ１０６に進む。

　ステップＳ１０３において、合成処理の対象画素（注目画素）である重心補正部出力画素の生成元の画素がエッジ領域にあると判定した場合は、ステップＳ１０５に進む。
　ステップＳ１０５では、エッジ部合成部２１２の生成したエッジ部用の合成信号であるエッジ部合成結果（Ｓｙｎ＿ｅ）を選択して、これを長短露光画素の合成結果とする。この長短露光画素の合成結果は、垂直方向の画素の合成を行なった結果、すなわち合成処理の中間データであり、さらに、ステップＳ１０７において、この中間データを利用して水平方向の画素同士の合成を実行して最終合成結果（Ｓｙｎ）を生成して出力する。

　一方、ステップＳ１０３において、合成処理の対象画素（注目画素）である重心補正部出力画素の生成元の画素が平坦領域にあると判定した場合は、ステップＳ１０６に進む。
　ステップＳ１０６では、平坦部合成部２１１の生成した平坦部用の合成信号である平坦部合成結果（Ｓｙｎ＿ｆ）を選択して、これを長短露光画素の合成結果とする。この長短露光画素の合成結果は、垂直方向の画素の合成を行なった結果、すなわち合成処理の中間データであり、さらに、ステップＳ１０７において、この中間データを利用して水平方向の画素同士の合成を実行して最終合成結果（Ｓｙｎ）を生成して出力する。

　ステップＳ１０７では、ステップＳ１０４～Ｓ１０６のいずれかの処理によって生成した垂直方向の画素合成結果を利用してさらに水平方向の画素合成を実行して最終的な合成結果（Ｓｙｎ）を生成して出力する。
　図１７のフローにおけるステップＳ１０１～Ｓ１０６の垂直方向の長短露光画素の合成による中間合成データの生成と、ステップＳ１０７において実行する中間合成データの構成画素の水平方向の画素合成による最終合成結果（Ｓｙｎ）の生成処理について説明する。

　図１８には、以下の３つのデータを示している。
　（１）入力画像（ＳＶＥ）画像
　（２）長短露光画素合成結果（中間合成データ）
　（３）最終合成結果（Ｓｙｎ）

　（１）入力画像（ＳＶＥ）画像は撮像素子の撮像データであり、ベイヤ配列において行毎に露光時間を変更した場合に撮影される画像を示している。
　白い部分が長時間露光画素であり、グレー部分が短時間露光画素を示している。

　（２）長短露光画素合成結果（中間合成データ）は、図１７に示すフローチャートのステップＳ１０１～Ｓ１０６の処理によって生成される中間合成データである。
　この（２）長短露光画素合成結果（中間合成データ）は、処理対象となる注目画素が平坦領域であるか、エッジ領域であるか、飽和領域であるかに応じてステップＳ１０４～Ｓ１０６の合成結果から選択された画素から構成される。
　しかし、この合成結果は、図１１を参照して説明した重心補正部の出力、すなわち、
　（１）重心補正部出力長露光信号（Ｌｏ）、
　（２）重心補正部出力短露光信号（Ｓｏ）、
　これらの信号の合成結果であり、垂直方向の複数画素を合成したものとなる。すなわち中間合成データである。

　図１７に示すフローのステップＳ１０７では、この中間合成データの水平方向の同一色画素を加算平均して、最終的な合成結果（Ｓｙｎ）を生成して出力する。
　このステップＳ１０７の処理によって、入力画像（ＳＶＥ画像）に対して、水平方向、垂直方向とも画素数が１／２となった高ダイナミックレンジ（ＨＤＲ）画像が生成され出力される。

　　［３．実施例２：重心補正部の構成を変更した実施例］
　次に、本開示の画像処理装置の第２実施例として、重心補正部の構成を変更した実施例について説明する。
　第２実施例において、前述した第１実施例と異なる点は重心補正部の構成と処理である。その他の構成と処理は、第１実施例と同様である。例えば画像処理装置の全体構成は図３を参照して説明した撮像装置１００であり、信号処理部１０３の構成は、図４を参照して説明したとおり、ＨＤＲ画像生成部１３１、後段信号処理部１３２、出力部１３３を有する。ＨＤＲ画像生成部１３１は、図７に示すように、エッジ検出部１５１、重心補正部１５２、画素合成部１５３を有する。

　第２実施例の画像処理装置におけるＨＤＲ画像生成部１３１の重心補正部１５２の構成を図１９に示す。
　前述した実施例１では、先に図１１を参照して説明したように、補正結果選択部１８３は、飽和判定部１８２から入力する飽和フラグ（Ｓａｔ＿ｆｌｇ）に基づいて、処理対象画素（注目画素）となる長露光画素が飽和しているか否かを判定し、飽和している場合は、入力画像（ＳＶＥ画像）１４１の構成画素値をそのまま選択して出力していた。

　すなわち、実施例１の図１１に示す重心補正部１５２は、垂直重心補正部１８１における「重心補正あり長露光画素（Ｌ＿ｗ）」生成に適用した長露光画素に１つも飽和画素が含まれない場合、
　（１）重心補正部出力長露光画素（Ｌｏ）＝重心補正あり長露光画素（Ｌ＿ｗ）、
　（２）重心補正部出力短露光画素（Ｓｏ）＝重心補正あり短露光画素（Ｓ＿ｗ）、
　これらの各画素値を図７に示すＨＤＲ画像生成部１３１の画素合成部１５３に出力する。
　また、垂直重心補正部１８１における「重心補正あり長露光画素（Ｌ＿ｗ）」生成に適用した長露光画素に１つ以上の飽和画素が含まれる場合、
　（１）重心補正部出力長露光画素（Ｌｏ）＝重心補正なし長露光画素（Ｌ＿ｎ）、
　（２）重心補正部出力短露光画素（Ｓｏ）＝重心補正なし短露光画素（Ｓ＿ｎ）、
　これらの各画素値を図７に示すＨＤＲ画像生成部１３１の画素合成部１５３に出力する。
　このような処理を行なっていた。

　本実施例２の重心補正部１５２は、垂直重心補正部１８１における「重心補正あり長露光画素（Ｌ＿ｗ）」生成に適用した長露光画素に１つ以上の飽和画素が含まれる場合の処理が異なる。
　本実施例では、垂直重心補正部１８１における「重心補正あり長露光画素（Ｌ＿ｗ）」生成に適用した長露光画素に１つ以上の飽和画素が含まれる場合、短露光画素について、図１９に示す飽和部短露光画素補正部３０１が生成した平滑化短露光画素（Ｓ＿ｄ）を選択して、重心補正部出力短露光画素（Ｓｏ）として出力する。
　飽和部短露光画素補正部３０１は、平滑化短露光画素（Ｓ＿ｄ）を、注目画素のエッジ方向に応じた短露光画素の平滑化処理によって生成する。

　すなわち、本実施例２の図１９に示す重心補正部１５２は、垂直重心補正部１８１が「重心補正あり長露光画素（Ｌ＿ｗ）」の生成に適用した長露光画素に１つも飽和画素が含まれない場合、
　（１）重心補正部出力長露光画素（Ｌｏ）＝重心補正あり長露光画素（Ｌ＿ｗ）、
　（２）重心補正部出力短露光画素（Ｓｏ）＝重心補正あり短露光画素（Ｓ＿ｗ）、
　これらの各画素値を図７に示すＨＤＲ画像生成部１３１の画素合成部１５３に出力する。
　これらの処理は実施例１と同様の処理である。

　しかし、垂直重心補正部１８１が「重心補正あり長露光画素（Ｌ＿ｗ）」の生成に適用した長露光画素に１つ以上の飽和画素が含まれる場合、
　（１）重心補正部出力長露光画素（Ｌｏ）＝重心補正なし長露光画素（Ｌ＿ｎ）、
　（２）重心補正部出力短露光画素（Ｓｏ）＝平滑化短露光画素（Ｓ＿ｄ）、
　これらの各画素値を図７に示すＨＤＲ画像生成部１３１の画素合成部１５３に出力する。

　飽和部短露光画素補正部３０１は、エッジ方向に応じた平滑化フィルタを適用した画素値補正処理を実行し、この平滑化処理結果としての画素値を平滑化短露光画素（Ｓ＿ｄ）として、補正結果選択部１８３に出力する。

　飽和部短露光画素補正部３０１は、図８を参照して説明したエッジ検出部１５１の生成する短露光エッジ方向フラグ（ＳＤｉｒ＿ｆｌｇ）１７４を入力する。
　この短露光エッジ方向フラグ（ＳＤｉｒ＿ｆｌｇ）１７４は、先に説明したように、短露光画素に基づいて判定した注目画素におけるエッジ方向を示す情報である。

　飽和部短露光画素補正部３０１は、エッジ検出部１５１から入力する短露光エッジ方向フラグ（ＳＤｉｒ＿ｆｌｇ）１７４に基づいて判定されるエッジ方向に応じて、予めメモリに保持した複数の平滑化フィルタから適用する平滑化フィルタを選択する。
　飽和部短露光画素補正部３０１は、選択した平滑化フィルタを適用して注目画素との合成対象となる短露光画素をエッジ方向に沿って平滑化する画素値補正処理を実行して、平滑化処理結果としての画素値を平滑化短露光画素（Ｓ＿ｄ）として、補正結果選択部１８３に出力する。

　飽和部短露光画素補正部３０１の利用するエッジ方向に応じた平滑化フィルタの構成例を図２０に示す。
　図２０には、平滑化フィルタを適用する入力画像と、４つのエッジ方向に応じた平滑化フィルタの係数設定例を示している。すなわち、以下の各データを示している。
　（１）入力画像（ＳＶＥ画像）
　（２ａ）エッジ方向が垂直方向の場合の適用フィルタの係数設定例
　（２ｂ）エッジ方向が水平方向の場合の適用フィルタの係数設定例
　（２ｃ）エッジ方向が左上方向の場合の適用フィルタの係数設定例
　（２ｄ）エッジ方向が右上方向の場合の適用フィルタの係数設定例

　この図２０に示す例は、処理対象画素である注目画素を中心画素（図２０（１）に示す例では中央のＧ画素）とする９×９画素の領域を平滑化フィルタ適用領域とした例である。また、注目画素Ｇを含む垂直ライン上の短露光Ｇ画素を、画素値補正を行なう補正対象画素としている。

　平滑化処理に適用する平滑化フィルタは、例えば図２０（２ａ）～（２ｄ）に示すように、エッジ方向に応じた係数を各短露光Ｇ画素に設定したフィルタとする。
　これらのフィルタを適用することで、補正対象となる短露光画素の画素値はエッジ方向になめらかに変化するように平滑化された画素値に変更される。
　なお、図２０に示すフィルタ係数の例は一例であり、この他の係数の設定も可能である。エッジ方向に沿って画素値をなめらかに変化するように変更する平滑化フィルタであればよい。

　飽和部短露光画素補正部３０１は、例えば図２０に示す係数を持つ平滑化フィルタを適用した平滑化処理によって補正した短露光画素の画素値を平滑化短露光画素（Ｓ＿ｄ）として、補正結果選択部１８３に出力する。

　図１９に示すように、補正結果選択部１８３は、以下の各データを入力する。
　（１）重心補正なし長露光画素（Ｌ＿ｎ）
　（２）平滑化短露光画素（Ｓ＿ｄ）
　（３）重心補正あり長露光画素（Ｌ＿ｗ）、
　（４）重心補正あり短露光画素（Ｓ＿ｗ）、
　（５）飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５

　（１）重心補正なし長露光画素（Ｌ＿ｎ）は、入力画像（ＳＶＥ配列画像）１４１に含まれる画素情報である。
　（２）平滑化短露光画素（Ｓ＿ｄ）は、飽和部短露光画素補正部３０１の生成したエッジ方向に平滑化された画素値を持つ短露光画素情報である。
　（３）重心補正あり長露光画素（Ｌ＿ｗ）、（４）重心補正あり短露光画素（Ｓ＿ｗ）、これらのデータは、図１３、図１４を参照して説明した処理に従って、垂直重心補正部１８１の生成したデータである。
　（５）飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５は、飽和判定部１８２の生成した長露光画素の飽和判定情報である。

　この場合は、処理対象画素（注目画素）自身の画素情報、すなわち入力画像中の「重心補正なし長露光画素（Ｌ＿ｎ）」と、飽和部短露光画素補正部３０１の生成したエッジ方向に平滑化された画素値を持つ「平滑化短露光画素（Ｓ＿ｄ）」を選択して、重心補正部１５２の出力とする。

　すなわち、図１９に示す重心補正部１５２の出力である、
　（１）重心補正部出力長露光画素（Ｌｏ）、
　（２）重心補正部出力短露光画素（Ｓｏ）、
　は以下のように選択出力される。

　垂直重心補正部１８１における「重心補正あり長露光画素（Ｌ＿ｗ）」生成に適用した長露光画素に１つも飽和画素が含まれない場合、
　（１）重心補正部出力長露光画素（Ｌｏ）＝重心補正あり長露光画素（Ｌ＿ｗ）、
　（２）重心補正部出力短露光画素（Ｓｏ）＝重心補正あり短露光画素（Ｓ＿ｗ）、
　垂直重心補正部１８１における「重心補正あり長露光画素（Ｌ＿ｗ）」生成に適用した長露光画素に１つ以上の飽和画素が含まれる場合、
　（１）重心補正部出力長露光画素（Ｌｏ）＝重心補正なし長露光画素（Ｌ＿ｎ）、
　（２）重心補正部出力短露光画素（Ｓｏ）＝平滑化短露光画素（Ｓ＿ｄ）、
　このような設定となる。
　このような選択出力は、各処理対象画素（注目画素）単位で実行される。

　　［４．実施例３：画素合成部の構成を変更した実施例］
　次に、本開示の画像処理装置の第３実施例として、画素合成部の構成を変更した実施例について説明する。
　第３実施例において、前述した第１実施例と異なる点は画素合成部１５３の構成と処理である。その他の構成と処理は、第１実施例と同様である。例えば画像処理装置の全体構成は図３を参照して説明した撮像装置１００であり、信号処理部１０３の構成は、図４を参照して説明したとおり、ＨＤＲ画像生成部１３１、後段信号処理部１３２、出力部１３３を有する。ＨＤＲ画像生成部１３１は、図７に示すように、エッジ検出部１５１、重心補正部１５２、画素合成部１５３を有する。

　実施例１において説明したように、撮像素子１０２において撮影された入力画像（ＳＶＥ配列画像）１４１の構成画素である短露光画素と長露光画素の露光時間の比率を１：Ｅとしたとき、
　合成対象となる長露光画素と短露光画素の各画素値、すなわち、
　（１）重心補正部出力長露光信号（Ｌｏ）、
　（２）重心補正部出力短露光信号（Ｓｏ）、
　これらの各画素値は、先に説明した以下の関係式（式７）の関係にある。
　　Ｌｏ≒Ｓｏ×Ｅ・・・（式７）

　しかし、この（式７）は、
　（１）重心補正部出力長露光信号（Ｌｏ）、
　（２）重心補正部出力短露光信号（Ｓｏ）、
　これらがほぼ同じ被写***置を撮影していることが条件となる。
　しかし、撮像装置によって、撮影された画像中には動く被写体（動被写体）が含まれる可能性がある。
　動被写体領域では、近接する長露光画素と短露光画素であっても、異なる被写***置を撮影することになり、上記の関係式（式７）が成立しなくなる。
　以下に説明する実施例３は、このような動被写体領域について考慮した合成処理を実行する。

　第３実施例の画像処理装置におけるＨＤＲ画像生成部１３１の画素合成部１５３の構成を図２１に示す。
　本実施例では、図２１に示す画素合成部１５３内の動被写体合成部３２１において、他の合成部２１１～２１３と異なる長短露光画素合成処理を実行する。
　動被写体合成部３２１は、動被写体領域に適応した合成処理によって、重心補正部出力長露光信号（Ｌｏ）と、重心補正部出力短露光信号（Ｓｏ）の合成処理を実行し、動被写体部長短合成結果（Ｓｙｎ＿ｍ）を生成して長短合成結果選択＆最終合成結果生成部２１４に出力する。

　動被写体合成部３２１は、具体的には、例えば、（１）重心補正部出力長露光信号（Ｌｏ）、または、重心補正部出力短露光信号（Ｓｏ）のいずれか一方のみの信号を選択して、選択信号を動被写体部長短合成結果（Ｓｙｎ＿ｍ）とする処理を行なう。

　なお、図２１に示すように、本実施例３の画素合成部１５３は、先の実施例１の画素合成部１５３と同様、図８を参照して説明したエッジ検出部１５１から、
　長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１、
　短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３、
　これらのエッジ情報を入力する。
　さらに、図１１を参照して説明した重心補正部１５２から、
　飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５、
　この飽和情報を入力する。
　さらに、本実施例では、これらの情報に加えて、
　動被写体検出フラグ（Ｍｏｖｅ＿ｆｌｇ）３２２を入力する。

　なお、動被写体検出フラグ（Ｍｏｖｅ＿ｆｌｇ）３２２は、例えば、撮像装置に備えられた動被写体領域検出部から入力する。動被写体領域検出部は、例えば画像解析、例えば連続撮影画像のブロックマッチング処理などによって画像中の動被写体領域を判別する。さらに、各画素が動被写体領域であるか否かを示す画素対応の動被写体検出フラグ（Ｍｏｖｅ＿ｆｌｇ）３２２を生成して画素合成部１５３に出力する。

　長短合成結果選択＆最終合成結果生成部２１４は、これらの外部からの画素情報、すなわち、
　長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１、
　短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３、
　飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５、
　動被写体検出フラグ（Ｍｏｖｅ＿ｆｌｇ）３２２、
　これらのフラグに基づいて、処理対象画素（注目画素）の状態を判別する。

　長短合成結果選択＆最終合成結果生成部２１４は、さらに、判別結果に基づいて、
　（１）平坦部用の合成信号である平坦部合成結果（Ｓｙｎ＿ｆ）、
　（２）エッジ部用の合成信号であるエッジ部合成結果（Ｓｙｎ＿ｅ）、
　（３）飽和部用の合成信号である飽和部合成結果（Ｓｙｎ＿ｓ）、
　（４）動被写体領域用の合成信号である動被写体部合成結果（Ｓｙｎ＿ｍ）、
　長短合成結果選択＆最終合成結果生成部２１４は、処理対象画素（注目画素）単位で、これらの４信号の中からいずれかを選択する。
　さらに、選択した長短露光画素の合成結果に基づいて、水平方向の画素合成を実行して最終合成結果を生成し、合成結果（Ｓｙｎ）として出力する。

　長短合成結果選択＆最終合成結果生成部２１４の実行する合成結果（Ｓｙｎ）の生成処理について、図２２に示すフローチャートを参照して説明する。

　まず、ステップＳ２１において、各合成部２１１～２１３，３２１の合成結果と、各フラグ情報を入力する。すなわち、以下の各データを入力する。
　（１）平坦部用の合成信号である平坦部合成結果（Ｓｙｎ＿ｆ）、
　（２）エッジ部用の合成信号であるエッジ部合成結果（Ｓｙｎ＿ｅ）、
　（３）飽和部用の合成信号である飽和部合成結果（Ｓｙｎ＿ｓ）、
　（４）動被写体領域用の合成信号である動被写体部合成結果（Ｓｙｎ＿ｍ）、
　（ａ）長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１、
　（ｂ）短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３、
　（ｃ）飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５、
　（ｄ）動被写体検出フラグ（Ｍｏｖｅ＿ｆｌｇ）３２２、

　次に、ステップＳ２０２において、図１１を参照して説明した重心補正部１５２から入力する飽和フラグ（Ｓａｔ＿ｆｌｇ）１８５を参照し、合成処理の対象画素（注目画素）である重心補正部出力画素の生成元の画素に飽和画素が含まれるか否かを判定する。
　飽和画素が含まれる場合、すなわち、ステップＳ１０２の判定がＴｒｕｅである場合は、ステップＳ２０５に進む。
　ステップＳ２０５では、飽和部合成部２１３の生成した飽和部用の合成信号である飽和部合成結果（Ｓｙｎ＿ｓ）を選択して、これを長短露光画素の合成結果とする。この長短露光画素の合成結果は、垂直方向の画素の合成を行なった結果、すなわち合成処理の中間データであり、さらに、ステップＳ０９において、この中間データを利用して水平方向の画素同士の合成を実行して最終合成結果（Ｓｙｎ）を生成して出力する。

　一方、ステップＳ２０２において、合成処理の対象画素（注目画素）である重心補正部出力画素の生成元の画素に飽和画素が含まれないと判定した場合、すなわち、ステップＳ２０２の判定がｆａｌｓｅである場合は、ステップＳ２０３に進む。

　ステップＳ２０３では、外部から入力する動被写体フラグ（Ｍｏｖｅ＿ｆｌｇ）３２２を参照して、合成処理の対象画素（注目画素）である重心補正部出力画素の生成元の画素が動被写体領域にあるか否かを判定する。

　ステップＳ２０３において、重心補正部出力画素の生成元の画素が動被写体領域であると判定した場合は、ステップＳ２０６に進む。
　ステップＳ２０６では、動被写体部合成部３２１の生成した動被写体領域用の合成信号である動被写体部合成結果（Ｓｙｎ＿ｍ）を選択して、これを長短露光画素の合成結果とする。この長短露光画素の合成結果は、垂直方向の画素の合成を行なった結果、すなわち合成処理の中間データであり、さらに、ステップＳ２０９において、この中間データを利用して水平方向の画素同士の合成を実行して最終合成結果（Ｓｙｎ）を生成して出力する。

　一方、ステップＳ２０３において、重心補正部出力画素の生成元の画素が動被写体領域でないと判定した場合は、ステップＳ２０４進む。
　ステップＳ２０４では、図８を参照して説明したエッジ検出部１５１から入力する長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１と、短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３を参照し、重心補正部出力画素の生成元の画素がエッジ領域画素であるかを判定する。

　具体的には、合成処理対象画素の生成にの適用した画素のいずれかが、
　長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１、
　短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３、
　これらのフラグのいずれもが、エッジ領域であることを示す値（１）である場合には、エッジ領域であると判定し、ステップＳ２０７に進む。

　一方、
　長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１、
　短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３、
　これらのフラグのいずれかが、エッジ領域でないことを示す値（０）である場合には、平坦領域であると判定し、ステップＳ２０８に進む。

　ステップＳ２０４において、エッジ領域にあると判定した場合は、ステップＳ２０７に進む。
　ステップＳ２０７では、エッジ部合成部２１２の生成したエッジ部用の合成信号であるエッジ部合成結果（Ｓｙｎ＿ｅ）を選択して、これを長短露光画素の合成結果とする。この長短露光画素の合成結果は、垂直方向の画素の合成を行なった結果、すなわち合成処理の中間データであり、さらに、ステップＳ２０９において、この中間データを利用して水平方向の画素同士の合成を実行して最終合成結果（Ｓｙｎ）を生成して出力する。

　一方、ステップＳ２０４において、重心補正部出力画素の生成元の画素が平坦領域にあると判定した場合は、ステップＳ２０８に進む。
　ステップＳ２０８では、平坦部合成部２１１の生成した平坦部用の合成信号である平坦部合成結果（Ｓｙｎ＿ｆ）を選択して、これを長短露光画素の合成結果とする。この長短露光画素の合成結果は、垂直方向の画素の合成を行なった結果、すなわち合成処理の中間データであり、さらに、ステップＳ２０９において、この中間データを利用して水平方向の画素同士の合成を実行して最終合成結果（Ｓｙｎ）を生成して出力する。

　ステップＳ２０９では、ステップＳ２０５～Ｓ２０８のいずれかの処理によって生成した垂直方向の画素合成結果を利用してさらに水平方向の画素合成を実行して最終的な合成結果（Ｓｙｎ）を生成して出力する。
　水平方向の画素合成は、先に図１８を参照して説明した処理である。

　このように、本実施例３では、撮影画像に動被写体が含まれる場合に、動被写体領域を抽出し、動被写体領域に最適な長短露光画素の合成処理を実行する。

　　［５．実施例４：撮像素子の画素配列と長短露光画素設定の変更例］
　上述した実施例では、先に図５、図６を参照して説明したように、ベイヤ（Ｂａｙｅｒ）配列を持つ撮像素子において、２行単位で長露光画素と短露光画素を交互に設定した構成で撮影した画像に対する処理例を説明した。

　しかし、上述の実施例における高ダイナミックレンジ（ＨＤＲ）画像生成処理は、上述した画素配列や長短露光画素設定に限らず、その他の配列および設定とした構成に対しても適用可能である。

　画素配列としては、例えば、図２３に示すように、
　（１）ほぼ全可視光の波長光の光を受光するホワイト（Ｗ）画素を有するＲＧＢＷ型の画素配列、
　（２）ベイヤ型のＲＧＢ各画素を４画素単位で設定した配列、
　これらの配列を適用してもよい。

　なお、図２３（１）に示すＷ画素を有する構成に対して本開示の処理を適用する場合、画素密度が高いＷ画素を適用したエッジ検出を実行することが好ましい。
　また、図２３（２）に示すベイヤ型のＲＧＢ各画素を４画素単位で設定した配列に対して本開示の処理を適用する場合、以下の処理を行なうことが好ましい。

　図２３（２）に示す画素配列では、同色４画素内において対角上に存在する同じ露光時間の画素と加算平均をとることで、短露光画素と長露光画素の重心位置を揃えることが可能である。従って、実施例１において説明したＨＤＲ画像生成部１３１の重心補正部１５２内の垂直重心補正部１８１を、斜め加算重心補正部として設定し、斜め方向での重心補正を実行する構成に変更して処理を行なう。

　また、長短露光画素の設定についても２行単位の設定ではなく、図２４に示すように、斜め方向に長短露光画素を交互に設定した構成としてもよい。図２４には、以下の設定例を示している。
　（３）ベイヤ配列において斜め方向のラインに沿って長短露光画素を交互配列した例、
　（４）ＲＧＢＷ配列において斜め方向のラインに沿って長短露光画素を交互配列した例、
　これらの例を示している。

　　［６．実施例５：画素数を削減することのないＨＤＲ画像を生成する実施例について］
　次に、画素数を削減することのないＨＤＲ画像を生成する実施例について説明する。
　先に説明した実施例１では、ＨＤＲ画像生成部１３１は、入力画像（ＳＶＥ画像）の画素数に対して出力ＨＤＲ画像１４２の画素数が例えば１／４に減少する構成である。これは、入力画像の複数画素の合成処理によってＨＤＲ画像の１画素を生成する構成であるためである。
　以下に説明する実施例５は、ＨＤＲ画像生成部において、画素数の削減を行なうことなく、入力画像と同じ画素数のＨＤＲ画像を生成する実施例である。

　第５実施例において、前述した第１実施例と異なる点はＨＤＲ画像生成部１３１の構成と処理である。その他の構成と処理は、第１実施例と同様である。例えば画像処理装置の全体構成は図３を参照して説明した撮像装置１００であり、信号処理部１０３の構成は、図４を参照して説明したように、ＨＤＲ画像生成部１３１、後段信号処理部１３２、出力部１３３を有する。

　本実施例において、ＨＤＲ画像生成部１３１は、図２５に示すように、エッジ検出部１５１、配列変換重心補正部３５１、画素合成部３５２、相関処理部３５３を有する。
　本実施例は、撮像素子１０２からの入力画像（ＳＶＥ画像）３５０と同じ画素数のＨＤＲ画像３６０を生成して出力する。
　なお、本実施例では、入力画像（ＳＶＥ画像）３５０を、図２４（３）において説明したベイヤ配列において斜め方向に長短露光画素を配列したＳＶＥ画像とした例について説明する。

　以下、図２５に示すＨＤＲ画像生成部１３１の各構成要素の処理について説明する。
　　（６－１．エッジ検出部の構成と処理について）
　エッジ検出部１５１は、先に図８を参照して説明した実施例１におけるエッジ検出部１５１と同様の処理を実行する。
　すなわち、図８に示すように、エッジ検出部１５１は、差分算出部（垂直）１６１、差分算出部（水平）１６２、差分算出部（右上）１６３、差分算出部（左上）１６４を有する。
　さらに、長露光エッジ検出部１６５、長露光エッジ方向判定部１６６、短露光エッジ検出部１６７、短露光エッジ方向判定部１６８を有する。

　差分算出部（垂直）１６１は、図８に示すエッジ検出用画像１４１Ｇ、すなわち注目画素の近傍９×９画素領域に含まれるＧ画素を適用して、
　垂直方向に近接する２つの長時間露光Ｇ画素同士の画素値差分の平均値（ＬＤｉｆｆ＿ｖ）、
　垂直方向に近接する２つの短時間露光Ｇ画素同士の画素値差分の平均値（ＳＤｉｆｆ＿ｖ）、
　これらを算出する。

　差分算出部（水平）１６２は、図８に示すエッジ検出用画像１４１Ｇ、すなわち注目画素の近傍９×９画素領域に含まれるＧ画素を適用して、
　水平方向に近接する２つの長時間露光Ｇ画素同士の画素値差分の平均値（ＬＤｉｆｆ＿ｈ）、
　水平方向に近接する２つの短時間露光Ｇ画素同士の画素値差分の平均値（ＳＤｉｆｆ＿ｈ）、
　これらを算出する。

　差分算出部（右上）１６３は、図８に示すエッジ検出用画像１４１Ｇ、すなわち注目画素の近傍９×９画素領域に含まれるＧ画素を適用して、
　右上方向に近接する２つの長時間露光Ｇ画素同士の画素値差分の平均値（ＬＤｉｆｆ＿ａ）、
　右上方向に近接する２つの短時間露光Ｇ画素同士の画素値差分の平均値（ＳＤｉｆｆ＿ａ）、
　これらを算出する。

　差分算出部（左上）１６４は、図８に示すエッジ検出用画像１４１Ｇ、すなわち注目画素の近傍９×９画素領域に含まれるＧ画素を適用して、
　左上方向に近接する２つの長時間露光Ｇ画素同士の画素値差分の平均値（ＬＤｉｆｆ＿ｄ）、
　左上方向に近接する２つの短時間露光Ｇ画素同士の画素値差分の平均値（ＳＤｉｆｆ＿ｄ）、
　これらを算出する。

　図２６は、差分算出部１６１～１６４において実行する長露光画素に関する垂直、水平、右上、左上の各差分算出処理の具体例を示す図である。
　（Ｌｖ）長露光垂直方向、
　（Ｌｈ）長露光水平方向、
　（Ｌａ）長露光右上方向、
　（Ｌｄ）長露光左上方向、
　これらの各処理において差分を算出する画素の組み合わせ（画素ペア）を矢印で示している。

　図２６は、先に実施例１において説明した図９と同様、差分算出部１６１～１６４において実行する長露光画素に関する垂直、水平、右上、左上の各差分算出処理の具体例を示す図である。
　ただし、図９に示す例は、水平方向の２行単位で長露光画素と短露光画素を交互に配列したＳＶＥ画像に対する処理例である。
　図２６に示す例は、図２４（３）において説明したベイヤ配列において斜め方向に長短露光画素を配列したＳＶＥ画像に対する処理例である。

　エッジ検出部１５１は、複数の画素ペアの画素値差分を算出し、さらにこの平均値を算出して、以下の各値を算出する。
　（１）長露光画素垂直方向画素値差分平均値（ＬＤｉｆｆ＿ｖ）、
　（２）長露光画素水平方向画素値差分平均値（ＬＤｉｆｆ＿ｈ）、
　（３）長露光画素右上方向画素値差分平均値（ＬＤｉｆｆ＿ａ）、
　（４）長露光画素左上方向画素値差分平均値（ＬＤｉｆｆ＿ｄ）、
　これらの各値の算出式は、以下の（式１１）に示す通りである。

　　　・・・・・（式１１）
　なお、上記式において、Ｎ，Ｍ．Ｏ，Ｐは算出した差分の数である。

　図２７は、差分算出部１６１～１６４において実行する短露光画素に関する垂直、水平、右上、左上の各差分算出処理の具体例を示す図である。
　（Ｓｖ）短露光垂直方向、
　（Ｓｈ）短露光水平方向、
　（Ｓａ）短露光右上方向、
　（Ｓｄ）短露光左上方向、
　これらの各処理において差分を算出する画素の組み合わせ（画素ペア）を矢印で示している。

　複数の画素ペアの画素値差分を算出し、さらにこの平均値を算出して、以下の各値を算出する。
　（１）短露光画素垂直方向画素値差分平均値（ＳＤｉｆｆ＿ｖ）、
　（２）短露光画素水平方向画素値差分平均値（ＳＤｉｆｆ＿ｈ）、
　（３）短露光画素右上方向画素値差分平均値（ＳＤｉｆｆ＿ａ）、
　（４）短露光画素左上方向画素値差分平均値（Ｓ）Ｄｉｆｆ＿ｄ）、
　これらの各値の算出式は、以下の（式１２）に示す通りである。

　　　・・・・・（式１２）
　なお、上記式において、Ｑ，Ｒ．Ｓ，Ｔは算出した差分の数である。

　これらの処理は、先に実施例１において説明した処理と同様の処理である。
先に説明した（式３）～（式６）に従って、注目画素対応の以下の各情報をエッジ情報として生成して、配列変換重心補正部３５１と画素合成部３５２に出力する。
　（１）長露光画素に基づいて判定した注目画素がエッジ領域であるか否かを示す長露光エッジフラグ（ＬＥｄｇｅ＿ｆｌｇ）１７１
　（２）長露光画素に基づいて判定した注目画素におけるエッジ方向を示す長露光エッジ方向フラグ（ＬＤｉｒ＿ｆｌｇ）１７２
　（３）短露光画素に基づいて判定した注目画素がエッジ領域であるか否かを示す短露光エッジフラグ（ＳＥｄｇｅ＿ｆｌｇ）１７３
　（４）短露光画素に基づいて判定した注目画素におけるエッジ方向を示す短露光エッジ方向フラグ（ＳＤｉｒ＿ｆｌｇ）１７４

　　（６－２．配列変換重心補正部の構成と処理について）
　次に、配列変換重心補正部３５１の構成と処理について説明する。
　図２８は配列変換重心補正部３５２の構成と処理を説明する図である。
　図２８に示すように、配列変換重心補正部３５２は、重心補正高域信号生成部３６１と、低域信号生成部３６２を有する。

　重心補正高域信号生成部３６１は、撮像素子１０２の出力である斜め方向に長短露光画素を交互配列した入力画像（ＳＶＥ画像）３５０を入力し、この入力画像３５０内のＧ画素を重心補正してＧ信号高域成分を生成する。
　また、低域信号生成部３６２は、９×９画素の入力画像３５０のＲＧＢ各画素の平均値を算出する。

　重心補正高域信号生成部３６１は、９×９画素の入力画像３５０の全画素にＧ画素を推定して設定する処理を行なう。Ｇ画素値は、各画素ごとに長露光のＧ画素値と短露光のＧ画素値の２つのＧ画素値を推定する。
　この処理に際して、エッジ検出部１５１から入力するエッジ方向情報を用い、エッジ方向に沿ったＧ画素の重みを大きく設定したエッジ方向対応のフィルタを利用して、各注目画素位置にＧ画素値を推定して設定する。

　この重心補正高域信号生成部３６１の実行する処理について、図２９～図３１を参照して説明する。
　重心補正高域信号生成部３６１は、まず、図２９に示すように、９×９画素の入力画像３５０から長露光Ｇ画素と短露光Ｇ画素をそれぞれ抽出する。
　図２９に示す以下のデータを抽出する。
　（２）長露光Ｇ画素データ
　（３）短露光Ｇ画素データ

　さらに、これらの図２９（２），（３）の各々のＧ画素データを利用して、Ｇ画素の未設定位置のＧ画素値を推定する。
　図３０、図３１に、各推定位置、およびエッジ方向に応じたフィルタ適用によるＧ画素値推定処理例を示す。
　図３０には、以下の場合に使用するフィルタ係数例を示している。
　（１）エッジ方向が垂直方向、
　（２）エッジ方向が水平方向、
　これらの場合のフィルタ係数の設定例である。
　図に示すａ，ｂ，ｃ，ｄはＧ画素値を推定する位置のパターンである。
　各推定位置に応じて適用するフィルタを変更する。

　図３１には、以下の場合に使用するフィルタ係数例を示している。
　（３）エッジ方向が左上方向、
　（４）エッジ方向が右上方向、
　これらの場合のフィルタ係数の設定例である。
　図に示すａ，ｂ，ｃ，ｄはＧ画素値を推定する位置のパターンである。
　各推定位置に応じて適用するフィルタを変更する。

　図３０、図３１は、長露光Ｇ画素データに対する処理例であるが、短露光Ｇ画素データについても同様に処理を行なう。
　この処理によって、すべての画素位置の長露光Ｇ画素値と短露光Ｇ画素値を推定する。
　重心補正高域信号生成部３６１は、この２つのＧ画素推定値を画素合成部３５２に出力する。

　一方、低域信号生成部３６２は、９×９画素領域からなる入力画像（ＳＶＥ画像）３５０内の長露光ＲＧＢ画素の平均値、短露光ＲＧＢ画素の平均値をそれぞれ算出する。
　低域信号生成部３６２は、算出した露光ＲＧＢ画素の平均値、短露光ＲＧＢ画素の平均値を画素合成部３５２に出力する。

　　（６－３．画素合成部の構成と処理について）
　次に、図２５に示すＨＤＲ画像生成部１３１の画素合成部３５２の構成と処理について説明する。
　図３２を参照して、画素合成部３５２の構成と処理について説明する。

　図３２に示すように、画素合成部３５２は、重心補正高域信号合成部３７１と、低域信号合成部３７２を有する。
　重心補正高域信号合成部３７１と、低域信号合成部３７２は、いずれも、先に実施例１においてせ辣名した図１５の構成を有し、平坦部、エッジ部、飽和部に応じた合成信号を生成して、処理対象画素（注目画素）の画素領域に応じていずれかの合成信号を選択出力する処理を実行する。

　ただし、本実施例において、重心補正高域信号合成部３７１と、低域信号合成部３７２は、それぞれ以下の各信号を合成処理対象として処理を実行する。
　重心補正高域信号合成部３７１は、配列変換重心補正部３５１の重心補正高域信号生成部３６１の生成した長露光Ｇ画素信号と短露光Ｇ画素信号との合成処理を実行する。
　低域信号合成部３７２は、配列変換重心補正部３５１の低域信号生成部３６２の生成した長露光ＲＧＢ平均値信号と短露光ＲＧＢ平均値信号との合成処理を実行する。

　この合成処理の結果として、図３２に示すように、以下の信号を生成して相関処理部３５３に出力する。
　重心補正高域信号合成部３７１は、配列変換重心補正部３５１の重心補正高域信号生成部３６１の生成した長露光Ｇ画素信号と短露光Ｇ画素信号との合成処理を実行して高域ＨＤＲ信号（Ｇ）を生成して、相関処理部３５３に出力する。
　低域信号合成部３７２は、配列変換重心補正部３５１の低域信号生成部３６２の生成した長露光ＲＧＢ平均値信号と短露光ＲＧＢ平均値信号との合成処理を実行して、低域ＨＤＲ信号（ｍＲ，ｍＧ，ｍＢ）を生成して、相関処理部３５３に出力する。

　　（６－４．相関処理部の構成と処理について）
　次に、図２５に示すＨＤＲ画像生成部１３１の相関処理部３５３の構成と処理について説明する。
　図３３を参照して、相関処理部３５３の構成と処理について説明する。

　図３３に示すように、相関処理部３５３は、出力色選択部３８１と、相関演算部３８２を有する。
　出力色選択部３８１は、画素合成部３５２の低域信号合成部３７２の生成信号である長露光ＲＧＢ平均値信号と短露光ＲＧＢ平均値信号との合成結果である低域ＨＤＲ信号（ｍＲ，ｍＧ，ｍＢ）を入力し、これらの３つの色の低域ＨＤＲ信号（ｍＲ，ｍＧ，ｍＢ）から、出力するＨＤＲ画像３６０の画素位置に応じた出力色に対応する低域ＨＤＲ信号を、順次選択して相関演算部３８２に出力する。図３３にはこの出力をｍＣとして示している。ｍＣはｍＲ、またはｍＢ、またはｍＧのいずれかである。

　相関演算部３８２は、
　（１）出力色選択部３８１からｍＣ、
　（２）画素合成部３５２の低域信号合成部３７２の生成信号である低域ＨＤＲ信号（ｍＧ）、
　（３）画素合成部３５２の重心補正高域信号合成部３７１の生成信号である高域ＨＤＲ信号（Ｇ）、
　これらの各信号を入力する。

　相関演算部３８２は、これらの入力信号を用いた演算処理を実行して出力するＨＤＲ画像３６０の各合成画素値を算出して出力する。

　相関演算部３８２の実行する出力画素値の算出は、以下の演算によって実行される。
　ｍＣ＝ｍＲ、
　すなわち出力色がＲ画素である場合の出力画素値（Ｒ＿ｏｕｔ）の算出は、以下に示す（式１３）に従って実行する。
　Ｒ＿ｏｕｔ＝ｍＲ／ｍＧ×Ｇ　・・・（式１３）

　ｍＣ＝ｍＧ、
　すなわち出力色がＧ画素である場合の出力画素値（Ｇ＿ｏｕｔ）の算出は、以下に示す（式１４）に従って実行する。
　Ｇ＿ｏｕｔ＝ｍＧ／ｍＧ×Ｇ　・・・（式１４）

　ｍＣ＝ｍＢ、
　すなわち出力色がＢ画素である場合の出力画素値（Ｂ＿ｏｕｔ）の算出は、以下に示す（式１５）に従って実行する。
　Ｂ＿ｏｕｔ＝ｍＢ／ｍＧ×Ｇ　・・・（式１５）

　上記の演算により、高周波成分を含んだＲＧＢ信号が生成される。出力する色信号を適切に選択する事で、入力画像と同様の画素配列、例えばベイヤ（Ｂａｙｅｒ）配列を持つＨＤＲ画像３６０を生成して出力することが可能となる。

　　［７．実施例６：階調変換部、カメラ信号処理部を有する撮像装置の構成例について］
　上述した実施例はいずれも、例えば先に図３等を参照して説明した撮像装置１００において実行可能である。
　しかし、本開示の処理は、図３に示す撮像装置の他、様々な装置において実行可能である。撮像装置に限らず、撮像装置の撮影画像を入力して画像処理を実行するＰＣ等の情報処理装置において実行することも可能である。

　また、撮像装置の構成も図３に示す構成に限らず、様々な構成を持つ撮像装置において本開示の処理が実行できる。
　図３４は、本開示の処理を実行する図３に示す撮像装置とは異なる構成を持つ撮像装置５００の一例を示す図である。

　図３４に示す撮像装置５００の構成と処理について説明する。
　光学レンズ５０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子５０２に入射し、光電変換による画像データを出力する。出力画像データは、例えば、先に、図５、図６を参照して説明した長露光画素と短露光画素からなるＳＶＥ画像５２１である。あるいは、図２３、図２４を参照して説明したＳＶＥ画像５２１である。

　ＳＶＥ画像５２１は、高ダイナミックレンジ（ＨＤＲ）画像生成部５０３に入力される。
　高ダイナミックレンジ（ＨＤＲ）画像生成部５０３は、上述の各実施例において説明した処理に従ってＨＤＲ画像５２２を生成して出力する。
　高ダイナミックレンジ（ＨＤＲ）画像生成部５０３は、例えば先に図７を参照して説明した構成を持つ。

　高ダイナミックレンジ（ＨＤＲ）画像生成部５０３の生成したＨＤＲ画像５０４は、階調変換部５０４に入力される。
　諧調変換部５０４は、ＨＤＲ画像５２２の各画素の画素値を構成するビット情報を通常のカメラ信号処理部で処理可能なビット数に変換する。例えばＨＤＲ画像５２２の画素値を示すビット値が１０ビットである場合、これを８ビットに変換する諧調変換を実行しＮＤＲ（Ｎｏｒｍａｌ　Ｄｙａｍｉｃ　Ｒａｎｇｅ）画像５２３を生成してカメラ信号処理部５０５に出力する。

　カメラ信号処理部５０５は、例えば、ホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像５３０を生成する。出力画像５３０は図示しない記憶部に格納される。あるいは表示部に出力される。

　制御部５１０は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。

　　［８．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　長時間露光画素と短時間露光画素を含む入力画像に含まれる画素の画素値合成処理を実行して出力画像を生成する信号処理部を有し、
　前記信号処理部は、
　前記入力画像の各構成画素に対するエッジ検出を実行して、各画素対応のエッジ情報を出力するエッジ検出部と、
　合成処理対象となる長時間露光画素と短時間露光画素の重心補正処理を実行して、重心補正部出力長時間露光画素と重心補正部出力短時間露光画素を出力する重心補正部と、
　前記重心補正部の生成した重心補正部出力長時間露光画素と重心補正部出力短時間露光画素との合成処理を実行する画素合成部を有する画像処理装置。

　（２）前記重心補正部は、前記重心補正処理として、合成処理対象となる長時間露光画素と短時間露光画素の画素位置を一致させる処理を実行する構成であり、異なる画素位置の複数の同一色の長時間露光画素の画素値を適用した重み付け加算により、前記重心補正部出力長時間露光画素の画素値を算出し、異なる画素位置の複数の同一色の短時間露光画素の画素値を適用した重み付け加算により、前記重心補正部出力短時間露光画素の画素値を算出する処理を実行する前記（１）に記載の画像処理装置。

　（３）前記重心補正部は、前記重心補正処理に適用した画素が飽和しているか否かを判定する飽和判定部を有し、前記重心補正処理に適用した画素が飽和している場合は、前記入力画像の画素値を前記重心補正部出力長時間露光画素と重心補正部出力短時間露光画素の画素値とし、前記重心補正処理に適用した画素が飽和していない場合は、異なる画素位置の複数の同一色の長時間露光画素の画素値を適用した重み付け加算により算出した画素値を、前記重心補正部出力長時間露光画素の画素値とし、異なる画素位置の複数の同一色の短時間露光画素の画素値を適用した重み付け加算により算出した画素値を、前記重心補正部出力短時間露光画素の画素値として選択出力する前記（２）に記載の画像処理装置。

　（４）前記重心補正部は、前記重心補正処理に適用した画素が飽和しているか否かを判定する飽和判定部を有し、前記重心補正処理に適用した画素が飽和している場合は、前記重心補正部出力長時間露光画素の画素値を、入力画像の長時間露光画素の画素値とし、前記重心補正部出力短時間露光画素の画素値を、入力画像の短時間露光画素の複数の画素値に基づく平滑化処理によって算出した画素値として設定する前記（２）または（３）に記載の画像処理装置。
　（５）前記重心補正部は、前記平滑化処理を、前記エッジ検出部から入力するエッジ方向に応じた係数の設定された平滑化フィルタを適用して実行する前記（４）に記載の画像処理装置。

　（６）前記画素合成部は、前記重心補正部出力長時間露光画素と重心補正部出力短時間露光画素との合成処理を実行する合成部として、平坦部領域に適応した合成処理を実行する平坦部合成部と、エッジ部領域に適応した合成処理を実行するエッジ部合成部と、飽和部領域に適応した合成処理を実行する飽和部合成部と、前記各合成部の合成結果を選択して合成結果画像を生成する選択部を有し、前記選択部は、前記エッジ情報、および前記重心補正処理に適用した画素が飽和画素であるか否かを示す飽和フラグを入力し、前記重心補正処理に適用した画素が飽和画素である場合は、前記飽和部合成部の合成結果を選択し、前記重心補正処理に適用した画素が飽和画素でなく、エッジ領域である場合は、前記エッジ部合成部の合成結果を選択し、前記重心補正処理に適用した画素が飽和画素でなく、エッジ領域でない場合は、前記平坦部合成部の合成結果を選択する前記（１）～（５）いずれかに記載の画像処理装置。

　（７）前記平坦部合成部は、前記重心補正部出力長時間露光画素の画素値に応じて変化するブレンド率（α）に応じて前記重心補正部出力長時間露光画素と前記重心補正部出力短時間露光画素の画素値をブレンドして合成結果の画素値を算出し、前記エッジ部合成部は、前記重心補正部出力長時間露光画素の画素値に依存しない固定ブレンド率（β）に応じて前記重心補正部出力長時間露光画素と前記重心補正部出力短時間露光画素の画素値をブレンドして合成結果の画素値を算出し、前記飽和部合成部は、前記重心補正部出力短時間露光画素の画素値を合成結果の画素値として算出する前記（６）に記載の画像処理装置。

　（８）前記画素合成部は、さらに、動被写体領域に適応した合成処理を実行する動被写体部合成部を有し、前記選択部は、前記重心補正処理に適用した画素が動被写体領域であるか否かを示す動被写体検出フラグを入力し、前記重心補正処理に適用した画素が動被写体領域である場合は、前記動被写体合成部の合成結果を選択する前記（６）または（７）に記載の画像処理装置。
　（９）前記入力画像は、ＲＧＢ画素によって構成されるベイヤ配列画像であり、前記エッジ検出部は、Ｇ画素のみを用いたエッジ検出処理を実行する前記（１）～（８）いずれかに記載の画像処理装置。

　（１０）　長時間露光画素と短時間露光画素を含む入力画像に含まれる画素の画素値合成処理を実行して出力画像を生成する信号処理部を有し、
　前記信号処理部は、
　前記入力画像の各構成画素に対するエッジ検出を実行して、各画素対応のエッジ情報を出力するエッジ検出部と、
　前記入力画像の特定色高域信号と全色低域信号を生成する配列変換重心補正部と、
　前記特定色高域信号と全色低域信号を入力して、特定色高域高ダイナミックレンジ（ＨＤＲ）信号と、全色低域高ダイナミックレンジ（ＨＤＲ）信号を生成する画素合成部と、
　前記特定色高域高ダイナミックレンジ（ＨＤＲ）信号と、全色低域高ダイナミックレンジ（ＨＤＲ）信号を入力して、前記入力画像と同画素数の高ダイナミックレンジ（ＨＤＲ）画像を生成する相関処理部を有する画像処理装置。

　（１１）前記入力画像は、ＲＧＢ画素によって構成されるベイヤ配列画像であり、
　前記配列変換重心補正部は、前記入力画像のＧ色高域信号とＲＧＢ各色低域信号を生成し、前記画素合成部は、前記Ｇ色高域信号と前記ＲＧＢ各色低域信号を入力して、Ｇ色高域高ダイナミックレンジ（ＨＤＲ）信号と、ＲＧＢ各色低域高ダイナミックレンジ（ＨＤＲ）信号を生成し、前記前記相関処理部は、前記Ｇ色高域高ダイナミックレンジ（ＨＤＲ）信号と、前記ＲＧＢ各色低域高ダイナミックレンジ（ＨＤＲ）信号を入力して、前記入力画像と同画素数のベイヤ配列からなる高ダイナミックレンジ（ＨＤＲ）画像を生成する前記（１０）に記載の画像処理装置。

　さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素からなる画像の画素合成による高品質な高ダイナミックレンジ画像を生成する装置、方法が実現される。
　具体的には、長時間露光画素と短時間露光画素を含む入力画像の各構成画素に対するエッジ検出を実行するエッジ検出部と、合成対象となる長時間露光画素と短時間露光画素の重心補正処理を実行する重心補正部と、重心補正部の生成画素の合成処理を実行する画素合成部を有する。画素合成部は、長時間露光画素の画素値に応じたブレンド率（α）を適用した平坦部合成結果と、固定ブレンド率を適用したエッジ部合成結果と、飽和部領域に適応した飽和部合成結果から、各画素の状況に応じた最適な合成結果を選択し、選択された合成結果に基づいて高ダイナミックレンジ（ＨＤＲ）画像を生成して出力する。
　上記手法の適用により、各構成画素の状況に応じた画素対応の最適な合成結果が得られ、高品質な高ダイナミックレンジ画像を生成することが可能となる。

　１００　撮像装置
　１０１　光学レンズ
　１０２　撮像素子
　１０３　信号処理部
　１０５　制御部
　１２０　出力画像
　１３１　ＨＤＲ画素生成部
　１３２　後段信号処理部
　１３３　出力部
　１４１　入力画像（ＳＶＥ画像）
　１４２　高ダイナミックレンジ（ＨＤＲ）画像
　１５１　エッジ検出部
　１５２　重心補正部
　１５３　画素合成部
　１６１～１６４　差分算出部
　１６５　長露光エッジ検出部
　１６６　長露光方向判定部
　１６７　短露光エッジ検出部
　１６８　短露光方向判定部
　１８１　垂直重心補正部
　１８２　飽和判定部
　１８３　補正結果選択部
　２１１　平坦部合成部
　２１２　エッジ部合成部
　２１３　飽和部合成部
　２１４　長短合成結果選択＆最終合成結果生成部
　３０１　飽和部短露光画素補正部
　３２１　動被写体部合成部
　３５１　配列変換重心補正部
　３５２　画素合成部
　３５３　相関処理部
　３６１　重心補正高域信号生成部
　３６２　低域信号生成部
　３７１　重心補正高域信号合成部
　３７２　低域信号合成部
　３８１　出力色選択部
　３８２　相関演算部
　５００　撮像装置
　５０１　光学レンズ
　５０２　撮像素子
　５０３　高ダイナミックレンジ（ＨＤＲ）画像生成部
　５０４　諧調変換部
　５０５　カメラ信号処理部
　５１０　制御部

Claims

　長時間露光画素と短時間露光画素を含む入力画像に含まれる画素の画素値合成処理を実行して出力画像を生成する信号処理部を有し、
　前記信号処理部は、
　前記入力画像の各構成画素に対するエッジ検出を実行して、各画素対応のエッジ情報を出力するエッジ検出部と、
　合成処理対象となる長時間露光画素と短時間露光画素の重心補正処理を実行して、重心補正部出力長時間露光画素と重心補正部出力短時間露光画素を出力する重心補正部と、
　前記重心補正部の生成した重心補正部出力長時間露光画素と重心補正部出力短時間露光画素との合成処理を実行する画素合成部を有する画像処理装置。
　前記重心補正部は、
　前記重心補正処理として、合成処理対象となる長時間露光画素と短時間露光画素の画素位置を一致させる処理を実行する構成であり、
　異なる画素位置の複数の同一色の長時間露光画素の画素値を適用した重み付け加算により、前記重心補正部出力長時間露光画素の画素値を算出し、
　異なる画素位置の複数の同一色の短時間露光画素の画素値を適用した重み付け加算により、前記重心補正部出力短時間露光画素の画素値を算出する処理を実行する請求項１に記載の画像処理装置。
　前記重心補正部は、
　前記重心補正処理に適用した画素が飽和しているか否かを判定する飽和判定部を有し、
　前記重心補正処理に適用した画素が飽和している場合は、前記入力画像の画素値を前記重心補正部出力長時間露光画素と重心補正部出力短時間露光画素の画素値とし、
　前記重心補正処理に適用した画素が飽和していない場合は、
　異なる画素位置の複数の同一色の長時間露光画素の画素値を適用した重み付け加算により算出した画素値を、前記重心補正部出力長時間露光画素の画素値とし、
　異なる画素位置の複数の同一色の短時間露光画素の画素値を適用した重み付け加算により算出した画素値を、前記重心補正部出力短時間露光画素の画素値として選択出力する請求項２に記載の画像処理装置。
　前記重心補正部は、
　前記重心補正処理に適用した画素が飽和しているか否かを判定する飽和判定部を有し、
　前記重心補正処理に適用した画素が飽和している場合は、
　前記重心補正部出力長時間露光画素の画素値を、入力画像の長時間露光画素の画素値とし、
　前記重心補正部出力短時間露光画素の画素値を、入力画像の短時間露光画素の複数の画素値に基づく平滑化処理によって算出した画素値として設定する請求項２に記載の画像処理装置。
　前記重心補正部は、
　前記平滑化処理を、前記エッジ検出部から入力するエッジ方向に応じた係数の設定された平滑化フィルタを適用して実行する請求項４に記載の画像処理装置。
　前記画素合成部は、
　前記重心補正部出力長時間露光画素と重心補正部出力短時間露光画素との合成処理を実行する合成部として、
　平坦部領域に適応した合成処理を実行する平坦部合成部と、
　エッジ部領域に適応した合成処理を実行するエッジ部合成部と、
　飽和部領域に適応した合成処理を実行する飽和部合成部と、
　前記各合成部の合成結果を選択して合成結果画像を生成する選択部を有し、
　前記選択部は、前記エッジ情報、および前記重心補正処理に適用した画素が飽和画素であるか否かを示す飽和フラグを入力し、
　前記重心補正処理に適用した画素が飽和画素である場合は、前記飽和部合成部の合成結果を選択し、
　前記重心補正処理に適用した画素が飽和画素でなく、エッジ領域である場合は、前記エッジ部合成部の合成結果を選択し、
　前記重心補正処理に適用した画素が飽和画素でなく、エッジ領域でない場合は、前記平坦部合成部の合成結果を選択する請求項１に記載の画像処理装置。
　前記平坦部合成部は、前記重心補正部出力長時間露光画素の画素値に応じて変化するブレンド率（α）に応じて前記重心補正部出力長時間露光画素と前記重心補正部出力短時間露光画素の画素値をブレンドして合成結果の画素値を算出し、
　前記エッジ部合成部は、前記重心補正部出力長時間露光画素の画素値に依存しない固定ブレンド率（β）に応じて前記重心補正部出力長時間露光画素と前記重心補正部出力短時間露光画素の画素値をブレンドして合成結果の画素値を算出し、
　前記飽和部合成部は、前記重心補正部出力短時間露光画素の画素値を合成結果の画素値として算出する請求項６に記載の画像処理装置。
　前記画素合成部は、さらに、
　動被写体領域に適応した合成処理を実行する動被写体部合成部を有し、
　前記選択部は、前記重心補正処理に適用した画素が動被写体領域であるか否かを示す動被写体検出フラグを入力し、
　前記重心補正処理に適用した画素が動被写体領域である場合は、前記動被写体合成部の合成結果を選択する請求項６に記載の画像処理装置。
　前記入力画像は、ＲＧＢ画素によって構成されるベイヤ配列画像であり、
　前記エッジ検出部は、Ｇ画素のみを用いたエッジ検出処理を実行する請求項１に記載の画像処理装置。
　長時間露光画素と短時間露光画素を含む入力画像に含まれる画素の画素値合成処理を実行して出力画像を生成する信号処理部を有し、
　前記信号処理部は、
　前記入力画像の各構成画素に対するエッジ検出を実行して、各画素対応のエッジ情報を出力するエッジ検出部と、
　前記入力画像の特定色高域信号と全色低域信号を生成する配列変換重心補正部と、
　前記特定色高域信号と全色低域信号を入力して、特定色高域高ダイナミックレンジ（ＨＤＲ）信号と、全色低域高ダイナミックレンジ（ＨＤＲ）信号を生成する画素合成部と、
　前記特定色高域高ダイナミックレンジ（ＨＤＲ）信号と、全色低域高ダイナミックレンジ（ＨＤＲ）信号を入力して、前記入力画像と同画素数の高ダイナミックレンジ（ＨＤＲ）画像を生成する相関処理部を有する画像処理装置。
　前記入力画像は、ＲＧＢ画素によって構成されるベイヤ配列画像であり、
　前記配列変換重心補正部は、前記入力画像のＧ色高域信号とＲＧＢ各色低域信号を生成し、
　前記画素合成部は、前記Ｇ色高域信号と前記ＲＧＢ各色低域信号を入力して、Ｇ色高域高ダイナミックレンジ（ＨＤＲ）信号と、ＲＧＢ各色低域高ダイナミックレンジ（ＨＤＲ）信号を生成し、
　前記前記相関処理部は、前記Ｇ色高域高ダイナミックレンジ（ＨＤＲ）信号と、前記ＲＧＢ各色低域高ダイナミックレンジ（ＨＤＲ）信号を入力して、前記入力画像と同画素数のベイヤ配列からなる高ダイナミックレンジ（ＨＤＲ）画像を生成する請求項１０に記載の画像処理装置。
　画像処理装置において実行する画像処理方法であり、
　信号処理部が、長時間露光画素と短時間露光画素を含む入力画像に含まれる画素の画素値合成処理を実行して出力画像を生成する信号処理ステップを実行し、
　前記信号処理ステップにおいて、
　前記入力画像の各構成画素に対するエッジ検出を実行して、各画素対応のエッジ情報を出力するエッジ検出処理と、
　合成処理対象となる長時間露光画素と短時間露光画素の重心補正処理を実行して、重心補正部出力長時間露光画素と重心補正部出力短時間露光画素を出力する重心補正処理と、
　前記重心補正部の生成した重心補正部出力長時間露光画素と重心補正部出力短時間露光画素との合成処理を実行する画像処理方法。
　画像処理装置において画像処理を実行させるプログラムであり、
　信号処理部に、長時間露光画素と短時間露光画素を含む入力画像に含まれる画素の画素値合成処理を実行して出力画像を生成する信号処理ステップを実行させ、
　前記信号処理ステップにおいて、
　前記入力画像の各構成画素に対するエッジ検出を実行して、各画素対応のエッジ情報を出力するエッジ検出処理と、
　合成処理対象となる長時間露光画素と短時間露光画素の重心補正処理を実行して、重心補正部出力長時間露光画素と重心補正部出力短時間露光画素を出力する重心補正処理と、
　前記重心補正部の生成した重心補正部出力長時間露光画素と重心補正部出力短時間露光画素との合成処理を実行させるプログラム。