WO2013145487A1

WO2013145487A1 - 画像処理装置、撮像素子、および画像処理方法、並びにプログラム

Info

Publication number: WO2013145487A1
Application number: PCT/JP2012/083615
Authority: WO
Inventors: 俊海津
Original assignee: ソニー株式会社
Priority date: 2012-03-27
Filing date: 2012-12-26
Publication date: 2013-10-03
Also published as: RU2014138087A; EP2833635A4; EP2833635A1; US20150029358A1; IN2014DN07842A; CN104170376B; AU2012374649A1; BR112014023256A2; JPWO2013145487A1; US9699429B2; JP5935876B2; US10200664B2; CN104170376A; US20170251188A1; BR112014023256A8; EP2833635B1

Abstract

ＲＧＢＷ画像を入力して色ノイズや偽色の少ないＲＧＢ画像を生成する装置および方法を提供する。ＲＧＢＷ配列を有するイメージセンサと、イメージセンサの出力するＲＧＢＷ画素信号からなるセンサ画像を入力して画像処理を実行する画像処理部を有する。イメージセンサは、ＲＧＢＷ各画素からなる単位構成の周期配列を有し、単位構成内のＲＧＢ各画素の構成比を同一とした配列を有し、画像処理部は、ＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ＲＧＢ配列画像を生成する配列変換処理、または、センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する信号処理の少なくともいずれかの処理を実行する。

Description

画像処理装置、撮像素子、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、撮像素子、および画像処理方法、並びにプログラムに関する。特に、画像に含まれるノイズや偽色を低減した画像生成を実現する画像処理装置、撮像素子、および画像処理方法、並びにプログラムに関する。

　ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。各撮像素子には各画素単位で特定の波長光、すなわち特定色に対応する信号を個別に蓄積するためにカラーフィルタが装着される。例えばＲＧＢ各色によって構成されるベイヤー（Ｂａｙｅｒ）配列を持つフィルタが多く用いられている。

　一方、昨今、撮像素子の小型化、高画素化による画素の微細化が進んでいる。このような高密度画素を持つ撮像素子は高解像度画像を撮影するには不可欠となる。
　しかし、このような高密度画素を持つ撮像素子は１画素あたりの蓄積可能な電荷量が少なくなり、各画素の信号に含まれるノイズ量が相対的に増加してしまうという問題がある。

　さらに、例えば特許文献１（特開２００６－２５３８７６号公報）には、高密度画素を持つ撮像素子を利用し画素単位で露光時間を変更し、同時に長時間露光画像と短時間露光画像を取得し、複数の異なる露光時間画像を合成することで高ダイナミックレンジ画像を生成する構成について提案している。

　この手法による撮像方法では、長時間露光、短時間露光いずれかの画素が有効に使えない場合には、従来の手法に対してノイズ量が相対的に増加してしまうという問題がある。例えば、暗いシーンにおいては短時間露光画像のノイズ量が多く、長時間露光画像のみを使用して画像を生成することになる。このような場合従来手法に対して半分の画素のみを使用して画像を生成するため、解像度低下やノイズの増加を招くことになる。

　特許文献２（特開２００４－３０４７０６号公報）や、特許文献３（ＵＳ特許２００７／００２４８７９）は、画素あたりの電荷蓄積量を増加させるため、ＲＧＢ配列に全波長光を透過するＷ（Ｗｈｉｔｅ）画素を加えたＲＧＢＷ配列を持つ撮像素子構成を提案している。
　ＲＧＢ以外にＷ画素を設定することで、１画素あたりの電荷蓄積量を増加させて画素信号に含まれる相対的なノイズ量を低減させるものである。

　しかし、これらの特許文献に開示されたＲＧＢＷ配列は、Ｗ画素を追加することで、その他の色画素の画素密度が大幅に低下する構成となっている。具体的にはＲ画素やＢ画素は、それぞれ８画素に１画素しか存在しない。このため、色解像度が低下し、色ノイズの増加が発生し、画像品質が低下してしまうという問題を発生させることになる。

　また、上記の特許文献１、および、特許文献２，３に記載の構成を組み合わせた構成とした場合でも、色解像度の低下や色ノイズの増加が発生する。いずれの構成でも長時間露光のＲ画素、Ｂ画素、および、短時間露光のＲ画素、Ｂ画素は、それぞれ１６画素に１画素しか存在せず、画素密度の低さに起因した色解像度の低下や色ノイズの増加という問題は解決されない。

特開２００６－２５３８７６号公報特開２００４－３０４７０６号公報ＵＳ特許２００７／００２４８７９

　本開示は、例えば、上述の問題点に鑑みてなされたものであり、高密度な画素配列を有しながら色ノイズや偽色を低減可能とした画像処理装置、撮像素子、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　ＲＧＢ各色の波長光対応の受光素子であるＲＧＢ画素と、ＲＧＢのほぼ全波長光を受光する受光素子であるＷ画素を備えたＲＧＢＷ配列を有するイメージセンサと、
　前記イメージセンサの出力するＲＧＢＷ画素信号からなるセンサ画像を入力して画像処理を実行する画像処理部を有し、
　前記イメージセンサは、ＲＧＢＷ各画素からなる単位構成の周期配列を有し、前記単位構成内のＲＧＢ各画素の構成比を同一とした配列を有し、
　前記画像処理部は、
　前記ＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ＲＧＢ配列画像を生成する配列変換処理、または、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する信号処理の少なくともいずれかの処理を実行する画像処理装置にある。

　さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記ＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ベイヤー配列からなるＲＧＢ配列画像を生成する配列変換部を有し、前記配列変換部は、前記センサ画像のＲＧＢ画素位置にＷ画素を設定して全Ｗ画素画像信号を生成するＷ画素補間部と、前記センサ画像の各画素位置におけるＲＧＢＷ各画素信号の低周波信号であるＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、前記全Ｗ画素画像信号と、前記ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のＲＧＢ画像を生成する相関処理部を有する。

　さらに、本開示の画像処理装置の一実施態様において、前記Ｗ画素補間部は、前記センサ画像のＷ画素の画素値を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定する。

　さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記センサ画像のデモザイク処理を実行して、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成するデモザイク処理部を有し、前記デモザイク処理部は、前記センサ画像のＲＧＢ画素位置にＷ画素を設定して全Ｗ画素画像信号を生成するＷ画素補間部と、前記センサ画像の各画素位置におけるＲＧＢＷ各画素信号の低周波信号であるＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、前記全Ｗ画素画像信号と、前記ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する相関処理部を有する。

　さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記デモザイク処理部の生成したＲＧＢ各画像信号に対して、予め設定した行列を適用した画素値変換を行うリニアマトリクス処理部を有する。

　さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記センサ画像のデモザイク処理を実行して、前記センサ画像の各画素位置にＲＧＢおよびＷの全画素値を設定したＲＧＢＷ各画像信号を生成するデモザイク処理部を有し、前記デモザイク処理部は、前記センサ画像のＲＧＢ画素位置にＷ画素を設定して全Ｗ画素画像信号を生成するＷ画素補間部と、前記センサ画像の各画素位置におけるＲＧＢＷ各画素信号の低周波信号であるＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、前記全Ｗ画素画像信号と、前記ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する相関処理部を有する。

　さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記デモザイク処理部の生成したＲＧＢＷ各画像信号に対して、予め設定した行列を適用した画素値変換を行うリニアマトリクス処理部を有する。

　さらに、本開示の画像処理装置の一実施態様において、前記イメージセンサは、斜め方向に隣接する同一色の画素値の加算画素値を持つ画像をセンサ画像として出力する構成であり、前記画像処理部は、加算画素値によって構成されたＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ベイヤー配列からなるＲＧＢ配列画像を生成する配列変換部を有し、前記配列変換部は、前記センサ画像の各画素位置におけるＲＧＢＷ各画素信号の低周波信号であるＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、センサ画像として出力される全Ｗ画素画像信号と、前記ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のＲＧＢ画像を生成する相関処理部を有する。

　さらに、本開示の画像処理装置の一実施態様において、前記イメージセンサは、制御部の制御に従って設定される長時間露光画素と短時間露光画素を含む画像をセンサ画像として出力する構成であり、前記画像処理部は、前記長時間露光画素と短時間露光画素を含むセンサ画像を適用して高ダイナミックレンジ（ＨＤＲ）画像を生成するとともに、画素配列を変換し、ベイヤー配列からなるＲＧＢ配列ＨＤＲ画像を生成する配列変換部を有し、前記配列変換部は、前記センサ画像の長時間露光画素信号を適用して、全画素位置に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像と、前記センサ画像の短時間露光画素信号を適用して、全画素位置に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像を生成するＷ画素補間部と、前記センサ画像の長時間露光画素信号を適用して、各画素位置における長時間露光ＲＧＢＷ各画素信号の低周波信号である長時間露光ＲＧＢＷ対応低周波信号と、前記センサ画像の短時間露光画素信号を適用して、各画素位置における短時間露光ＲＧＢＷ各画素信号の低周波信号である短時間露光ＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、前記全Ｗ画素長時間露光画像と、前記全Ｗ画素短時間露光画像、および、前記長時間露光ＲＧＢＷ対応低周波信号と、前記短時間露光ＲＧＢＷ対応低周波信号を入力して、高ダイナミックレンジ（ＨＤＲ）画像としての全Ｗ画素画像信号と、ＲＧＢＷ対応低周波信号を生成するＨＤＲ合成処理部と、前記ＨＤＲ合成処理部の生成する高ダイナミックレンジ（ＨＤＲ）画像としての全Ｗ画素画像信号と、ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のＲＧＢ画像を生成する相関処理部を有する。

　さらに、本開示の画像処理装置の一実施態様において、前記ＨＤＲ合成処理部は、露光比に応じたゲイン調整後の短時間露光画素信号と長時間露光画素信号のブレンド処理により、高ダイナミックレンジ（ＨＤＲ）画像の構成画素値を算出する。

　さらに、本開示の画像処理装置の一実施態様において、前記Ｗ画素補間部は、前記センサ画像の長時間露光Ｗ画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定して全画素位置に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像を生成し、前記センサ画像の短時間露光Ｗ画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定して全画素位置に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像を生成する。

　さらに、本開示の画像処理装置の一実施態様において、前記イメージセンサは、制御部の制御に従って２行の長時間露光画素行と短時間露光画素行が交互に設定され、さらに、２行単位の長時間露光画素行の斜め方向に隣接する同一色の画素値の加算画素値を持つ長時間露光画素信号と、２行単位の短時間露光画素行の斜め方向に隣接する同一色の画素値の加算画素値を持つ短時間露光画素信号とからなる画像をセンサ画像として出力する構成であり、前記画像処理部は、前記長時間露光画素と短時間露光画素を含むセンサ画像を適用して高ダイナミックレンジ（ＨＤＲ）画像を生成するとともに、画素配列を変換し、ベイヤー配列からなるＲＧＢ配列ＨＤＲ画像を生成する配列変換部を有し、前記配列変換部は、前記センサ画像の長時間露光画素信号を適用して、全画素位置に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像と、前記センサ画像の短時間露光画素信号を適用して、全画素位置に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像を生成するＷ画素補間部と、前記センサ画像の長時間露光画素信号を適用して、各画素位置における長時間露光ＲＧＢＷ各画素信号の低周波信号である長時間露光ＲＧＢＷ対応低周波信号と、前記センサ画像の短時間露光画素信号を適用して、各画素位置における短時間露光ＲＧＢＷ各画素信号の低周波信号である短時間露光ＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、前記全Ｗ画素長時間露光画像と、前記全Ｗ画素短時間露光画像、および、前記長時間露光ＲＧＢＷ対応低周波信号と、前記短時間露光ＲＧＢＷ対応低周波信号を入力して、高ダイナミックレンジ（ＨＤＲ）画像としての全Ｗ画素画像信号と、ＲＧＢＷ対応低周波信号を生成するＨＤＲ合成処理部と、前記ＨＤＲ合成処理部の生成する高ダイナミックレンジ（ＨＤＲ）画像としての全Ｗ画素画像信号と、ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のＲＧＢ画像を生成する相関処理部を有する。

　さらに、本開示の第２の側面は、
　ＲＧＢ各色の波長光対応の受光素子であるＲＧＢ画素と、ＲＧＢのほぼ全波長光を受光する受光素子であるＷ画素を備えたＲＧＢＷ配列を有する撮像素子であり、
　前記イメージセンサは、ＲＧＢＷ各画素からなる単位構成の周期配列を有し、前記単位構成内のＲＧＢ各画素の構成比を同一とした配列を有する撮像素子にある。

　さらに、本開示の撮像素子の一実施態様において、前記撮像素子は、６×６画素、または６×４画素、または６×２画素を単位構成とした周期配列を有し、単位構成中のＲＧＢＷ各画素の構成比は、１：１：１：３である。

　さらに、本開示の撮像素子の一実施態様において、前記撮像素子は、各行、各列にＲＧＢＷ各画素を配置した構成である。

　さらに、本開示の第３の側面は、
　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、ＲＧＢ各色の波長光対応の受光素子であるＲＧＢ画素と、ＲＧＢのほぼ全波長光を受光する受光素子であるＷ画素を備えたＲＧＢＷ各画素からなる単位構成の周期配列を有し、前記単位構成内のＲＧＢ各画素の構成比を同一とした配列を有する撮像素子の出力であるセンサ画像に対する画像処理を実行する画像処理部を有し、
　前記画像処理部は、
　前記ＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ＲＧＢ配列画像を生成する配列変換処理、または、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する信号処理の少なくともいずれかの処理を実行する画像処理方法にある。

　さらに、本開示の第４の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、ＲＧＢ各色の波長光対応の受光素子であるＲＧＢ画素と、ＲＧＢのほぼ全波長光を受光する受光素子であるＷ画素を備えたＲＧＢＷ各画素からなる単位構成の周期配列を有し、前記単位構成内のＲＧＢ各画素の構成比を同一とした配列を有する撮像素子の出力であるセンサ画像に対する画像処理を実行する画像処理部を有し、
　前記プログラムは前記画像処理部に、
　前記ＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ＲＧＢ配列画像を生成する配列変換処理、
　または、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する信号処理の少なくともいずれかの処理を実行させるプログラムにある。

　なお、本開示に係るプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。

　本開示の一実施例の構成によれば、ＲＧＢＷ画像を入力して色ノイズや偽色の少ないＲＧＢ画像を生成する装置および方法を提供する。
　具体的には、ＲＧＢＷ配列を有するイメージセンサと、イメージセンサの出力するＲＧＢＷ画素信号からなるセンサ画像を入力して画像処理を実行する画像処理部を有する。イメージセンサは、ＲＧＢＷ各画素からなる単位構成の周期配列を有し、単位構成内のＲＧＢ各画素の構成比を同一とした配列を有し、画像処理部は、ＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ＲＧＢ配列画像を生成する配列変換処理、または、センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する信号処理の少なくともいずれかの処理を実行する。
　本開示の構成では、イメージセンサの単位構成あたりのＲＧＢ各画素数が均等に設定されている。従って、各画素位置に対するＲＧＢ各色の画素値を設定する場合、参照領域から各色の画素値を十分取得することが可能となる。従って各画素位置に対するＲＧＢ各色の設定処理を高精度に行うことが可能となり、色ノイズや偽色の少ないＲＧＢ画像を生成することが可能となる。

第１実施例に係る撮像装置の構成例について説明する図である。イメージセンサ（撮像素子）の画素配列と配列変換後のベイヤー配列について説明する図である。イメージセンサの構成と処理について説明する図である。配列変換部の構成と処理について説明する図である。Ｗ画素補間部の構成と処理について説明する図である。Ｗ画素補間処理例について説明する図である。ＲＧＢＷ画素生成部の構成と処理について説明する図である。ＲＧＢＷ画素生成部の処理について説明する図である。相関処理部の構成と処理について説明する図である。第１実施例に係る撮像装置の構成例について説明する図である。カメラ信号処理部の構成と処理について説明する図である。ホワイトバランス処理部の構成と処理について説明する図である。デモザイク処理部の構成と処理について説明する図である。相関処理部の構成と処理について説明する図である。リニアマトリクス処理部の構成と処理について説明する図である。ガンマ変換部の構成と処理について説明する図である。相関処理部の構成と処理について説明する図である。リニアマトリクス処理部の構成と処理について説明する図である。イメージセンサの加算処理と出力例について説明する図である。第４実施例に係る画像処理装置の構成例について説明する図である。配列変換部の構成と処理について説明する図である。第５実施例に係る画像処理装置の構成例について説明する図である。露光制御処理例について説明する図である。配列変換部の構成と処理について説明する図である。Ｗ画素補間部の構成と処理について説明する図である。Ｗ画素補間処理の一例について説明する図である。Ｗ画素補間処理の一例について説明する図である。Ｗ画素補間処理の一例について説明する図である。ＨＤＲ合成処理部の構成と処理について説明する図である。ＨＤＲ合成におけるブレンド率の設定例について説明する図である。第５実施例に係る画像処理装置の構成例について説明する図である。イメージセンサの駆動例と出力例について説明する図である。配列変換部の構成と処理について説明する図である。Ｗ画素補間部の構成と処理について説明する図である。Ｗ画素補間処理の一例について説明する図である。イメージセンサ（撮像素子）の画素配列例について説明する図である。イメージセンサ（撮像素子）の画素配列例について説明する図である。イメージセンサ（撮像素子）の画素配列例について説明する図である。

　以下、図面を参照しながら、本開示の画像処理装置、撮像素子、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
　１．第１実施例の画像処理装置の構成と処理、および撮像素子の構成について
　２．第２実施例の画像処理装置の構成と処理について
　３．第３実施例の画像処理装置の構成と処理について
　４．第４実施例の画像処理装置の構成と処理について
　５．第５実施例の画像処理装置の構成と処理について
　６．第６実施例の画像処理装置の構成と処理について
　７．イメージセンサ（撮像素子）の画素配列の例について
　８．本開示の構成のまとめ

　　［１．第１実施例の画像処理装置の構成と処理、および撮像素子の構成について］
　まず、本開示の画像処理装置の第１実施例の全体構成と撮像素子の構成について説明する。なお、以下の実施例においては、撮像装置を画像処理装置の１つの代表例として説明する。
　図１に、撮像装置としての画像処理装置１００の構成例を示す。
　光学レンズ１０１を通して入射される光は、イメージセンサ（撮像素子）１０２によって光電変換され、イメージセンサ１０２からセンサ出力画像１０３が出力される。イメージセンサ１０２は例えばＣＭＯＳ等によって構成される。

　本実施例において、イメージセンサ（撮像素子）１０２の画素配列は、図２（ａ）に示すように、ＲＧＢ各色の波長光に対応する光を透過して電荷を蓄積するＲＧＢ画素の他、可視光のほぼ全波長領域光を透過して電荷を蓄積するＷ画素を含むＲＧＢＷ配列を有する。
　図２（ａ）に示すように、第１行から順に、
　（第１行）ＲＷＧＷＢＷの繰り返し、
　（第２行）ＷＲＷＧＷＢの繰り返し、
　（第３行）ＧＷＢＷＲＷの繰り返し、
　（第４行）ＷＧＷＢＷＲの繰り返し、
　（第５行）ＢＷＲＷＧＷの繰り返し、
　（第６行）ＷＢＷＲＷＧの繰り返し、
　となっている。
　以下、第７行以下は、上記の１～６行の繰り返しとなる。

　各行各列とも、Ｗ画素１画素を間挿してＲＧＢの各画素が順番に配置された構成であり、図２に示す６×６＝３６画素中、
　１／２の１８画素がＷ画素、
　１／６の６画素がＲ画素、
　１／６の６画素がＧ画素、
　１／６の６画素がＢ画素、
　このような設定となっている。
　すなわち、イメージセンサ１０２は単位構成（図２（ａ）に示す例では６×６画素）あたりのＲＧＢ各画素数が均等に設定されている。

　図１に示すイメージセンサ（撮像素子）１０２は、この図２に示すＲＧＢＷ配列を有する。イメージセンサ１０２から出力されたセンサ出力画像１０３は、配列変換部１０４に入力される。なお、配列変換部１０４以降のブロックは、センサ出力画像１０３に対する画像処理を実行する画像処理部に相当する。

　配列変換部１０４は、図２（ａ）に示すＲＧＢＷ配列を有するセンサ画像１０３の画素配列を変換して、ベイヤー配列画像１０５を生成してカメラ信号処理部１０６に出力する。
　すなわち、図２（ｂ）に示すベイヤー（Ｂａｙｅｒ）配列に変換する処理を実行する。

　カメラ信号処理部１０６は、ベイヤー配列画像１０５に対する信号処理、例えば、ホワイトバランス調整、ガンマ補正、デモザイク処理等の一般的なカメラ信号処理を実行し、出力画像１０７を生成する。

　制御部１０８は、イメージセンサ１０２の露光制御、配列変換部１０４の処理制御、カメラ信号処理部１０６の処理制御用の制御信号を生成してこれらの各構成部に供給し、画像の撮影から出力画像の生成に至る処理の全体的な制御を実行する。なお、制御部１０８は、例えばプログラム実行機能を持つＣＰＵを備え、図示しないメモリに格納されたプログラムに従って、撮像装置において実行される処理の全体的な制御を行う。

　イメージセンサ１０２の構成例を図３に示す。図３は、ＣＭＯＳ型のイメージセンサ１０２の一部構成を示しており、矩形で示す領域が１つの画素に対応する。画素１２４である。
　イメージセンサ１０２は、垂直走査回路１２２、水平走査回路１２３、アレイ状に配置された複数の画素１２４から構成される。
　画素内では、フォトダイオードに蓄積された電荷が、アンプトランジスタおよび転送トランジスタを介して信号電流として垂直信号線１３３に出力される。
　信号電流が、水平走査回路１２３に供給されて、所定の信号処理が実行された後、信号出力線１３４を介して外部へ出力される。
　なお、水平リセット線１３１は、各水平方向の画素の蓄積電荷をリセットするための信号を供給するラインであり、水平選択線１３２は、リセット後の各画素の蓄積電荷を各画素信号として出力する出力タイミングの制御信号を供給するラインである。
　すなわち、水平リセットタイミングから水平選択タイミングまでの時間が電荷蓄積期間である。

　なお、これらの電荷蓄積時間は各水平ライン単位、すなわち行単位で制御可能であり、例えば１行おきに長時間露光と短時間露光を行うことも可能となる。このような露光制御を実行することで、１回の撮影処理において長時間露光画像と短時間露光画像を同時に取得し、これらの画像を合成することでダイナミックレンジを拡大した高ダイナミックレンジ画像を生成することも可能となる。

　次に、図４以下を参照して図１に示す画像処理装置１００の配列変換部１０４の構成と処理例について説明する。
　配列変換部１０４は、センサ画像１０３、すなわち図２（ａ）に示すＲＧＢＷ画素配列をもつセンサ画像１０３の配列変換を行い、図２（ｂ）に示すベイヤー（Ｂａｙｅｒ）配列を持つベイヤー配列画像１０５を生成してカメラ信号処理部１０６に出力する。

　配列変換部１０４の構成例を図４に示す。
　図４に示すように、配列変換部１０４は、Ｗ画素補間部１５１、ＲＧＢＷ画素生成部１５２、相関処理部１５３を有する。
　配列変換部１０４は、ＲＧＢＷ配列を有するセンサ画像１０３を入力してＲＧＢ配列を有するベイヤー配列画像１０５を生成して出力する。

　Ｗ画素補間部１５１は、ＲＧＢＷ配列を有するセンサ画像１０３のＷ画素以外の画素位置にＷ画素を設定し全画素Ｗ画素の全Ｗ画素画像信号１６１を生成する。
　ＲＧＢＷ画素生成部１５２は、ＲＧＢＷ配列を有するセンサ画像１０３の各画素位置におけるＲＧＢＷ各画素信号の低周波信号（ＬＰＦ信号）としてのＲＧＢＷ対応ＬＰＦ信号１６２を生成する。
　相関処理部１５３は、全Ｗ画素画像信号１６１とＲＧＢＷ対応ＬＰＦ信号１６２を入力し、これらの入力信号を適用して、ＲＧＢ配列を有するベイヤー配列画像１０５を生成して出力する。

　Ｗ画素補間部１５１の構成と処理について、図５を参照して説明する。
　Ｗ画素補間部１５１は、ＲＧＢＷ画素配列からなるセンサ画像１０３を入力し、ＲＧＢＷ画素配列中のＲＧＢ画素にＷ画素を設定するＷ画素補間処理を実行する。
　図５に示すように、複数の異なる方向にあるＷ画素の画素値を参照画素とした平均化処理等のフィルタ処理を実行する複数の方向フィルタ１７１－１～Ｎと、エッジ方向を検出するエッジ方向検出部１７２と、フィルタ選択による補間画素値を決定するフィルタ選択部１７３を有する。

　例えばセンサ画像１０３から、処理対象画素である補間画素となるＲＧＢ画素を中心とした所定の参照領域（例えばｋ画素×ｋ画素）を設定する。エッジ方向検出部１７２は、参照領域の画素値に基づいてエッジ方向を検出し、フィルタ選択部１７３は、エッジ方向に沿って、すなわち画素値の勾配の小さい方向にあるＷ画素を参照画素としたフィルタ処理を実行するフィルタを選択して選択したフィルタを適用して補間画素値としてのＷ画素値を算出する。例えば勾配の小さい方向にあるＷ画素の画素値の平均値を算出して、処理対象画素位置のＲＧＢ画素位置にＷ画素値を設定する。

　図６に、適用可能な方向フィルタの数Ｎを２、すなわち垂直方向と水平方向の２種類とした場合の処理例を示す。

　補間画素位置は、図６に示すＷ（２，２）の画素位置であり、この画素位置は、センサ画像１０３においてＲＧＢのいずれかの画素値が設定された画素である。この垂直方向にはＷ画素：Ｗ（１，２）、Ｗ（３，２）があり、また水平方向にもＷ画素：Ｗ（２，１）、Ｗ（２，３）がある。

　各Ｗ画素（ｘ，ｙ）の画素値をＷ（ｘ，ｙ）としたとき、
　エッジ方向検出部１７２は、
　｜Ｗ（１，２）－Ｗ（３，２）｜≦｜Ｗ（２，１－Ｗ２，３）｜
　上記式が成立するか否かを判定する。
　上記式が成立する場合、
　エッジ方向は、垂直方向であると判定し、フィルタ選択部１７３は、エッジ方向に沿った垂直方向の画素の画素値を参照画素として選択し参照画素の画素値に基づくフィルタ処理、例えば平均化処理を行う。具体的には、たとえぱ、補間画素値Ｗ'（２，２）を以下の式に従って算出する。
　Ｗ'（２，２）＝（Ｗ（１，２）＋Ｗ（３，２））／２

　また、エッジ方向検出部１７２が、
　｜Ｗ（１，２）－Ｗ（３，２）｜＞｜Ｗ（２，１－Ｗ２，３）｜
　上記式が成立すると判定した場合は、
　エッジ方向は、水平方向であると判定し、フィルタ選択部１７３は、エッジ方向に沿った水平方向の画素の画素値を参照画素として選択し参照画素の画素値に基づくフィルタ処理、例えば平均化処理を行う。具体的には、たとえぱ、補間画素値Ｗ'（２，２）を以下の式に従って算出する。
　Ｗ'（２，２）＝（Ｗ（２，１）＋Ｗ（２，３））／２

　Ｗ画素補間部１５１は、このようにして、図５に示す全画素にＷ画素を設定した全Ｗ画素画像信号１６１を生成する。

　次に図４に示す配列変換部１０４中のＲＧＢＷ画素生成部１５２の構成と処理例について図７以下を参照して説明する。
　ＲＧＢＷ画素生成部１５２は、ＲＧＢＷ配列を有するセンサ画像１０３の各画素位置におけるＲＧＢＷ各画素信号の低周波信号（ＬＰＦ信号）としてのＲＧＢＷ対応ＬＰＦ信号１６２を生成する。

　ＲＧＢＷ画素生成部１５２は、図７に示すように、
　Ｒ平均値（Ｒ低周波信号）ｍＲを生成するＲ画素生成部１８１Ｒ、
　Ｇ平均値（Ｇ低周波信号）ｍＧを生成するＧ画素生成部１８１Ｇ、
　Ｂ平均値（Ｂ低周波信号）ｍＢを生成するＢ画素生成部１８１Ｂ、
　Ｗ平均値（Ｗ低周波信号）ｍＷを生成するＷ画素生成部１８１Ｗ、
　これらの構成を有する。
　各処理部は、画素配列の変換対象画素位置各々の低周波信号（ＬＰＦ信号）としてのＲＧＢＷ対応ＬＰＦ信号１６２を生成する。

　具体的な処理例について図８を参照して説明する。
　例えばｍＲ，ｍＧ，ｍＢ，ｍＷは以下の（式１）に従って算出することができる。

　　　　　・・・・・（式１）

　なお、上記式において、
　Ｋ，Ｌ，Ｍ，Ｎは、例えば処理対象画素を中心とした予め設定した大きさの所定の参照領域に含まれる各色の総数であり、ｍＲ，ｍＧ，ｍＢ，ｍＷは、各色の平均値に相当する。
　図８には、
　ｍＲを算出する場合の参照領域１８５の例を示している。図８に示す参照領域１８５を利用した場合、Ｋ＝１４となる。

　ＲＧＢＷ画素生成部１５２は、このようにして、ＲＧＢＷ配列を有するセンサ画像１０３の各画素位置におけるＲＧＢＷ各画素信号の低周波信号（ＬＰＦ信号）としてのＲＧＢＷ対応ＬＰＦ信号１６２を生成する。

　次に、図４に示す配列変換部１０４中の相関処理部１５３の構成と処理例について図９以下を参照して説明する。
　相関処理部１５３は、Ｗ画素補間部１５１の生成した全Ｗ画素画像信号１６１と、ＲＧＢＷ画素生成部１５２の生成したＲＧＢＷ対応ＬＰＦ信号１６２を入力し、これらの入力信号を適用して、ＲＧＢ配列を有するベイヤー配列画像１０５を生成して出力する。

　相関処理部１５３は、図９に示すように、出力色選択部１９１と、相関演算部１９２を有する。
　出力色選択部１９１は、処理対象画素位置が、出力するベイヤー配列画像１０５中のどの画素位置に対応するかに応じて出力色を選択する。ＲＧＢいずれかの出力色を選択して、ＲＧＢＷ画素生成部１５２の生成したＲＧＢＷ対応ＬＰＦ信号１６２であるｍＲ．ｍＧ，ｍＢのいずれかを選択して相関演算部１９２に出力する。
　なお、図に示すｍＣは、ｍＲ．ｍＧ，ｍＢのいずれかを示す。

　相関演算部１９２は、Ｗ画素とＲ，Ｇ，Ｂ画素とは正の相関が強いという性質を利用して、Ｗ画素の高周波をゲイン調整して各色に重畳する。出力画素値（Ｏｕｔ）は、例えば以下の（式２）に従って算出する。
　Ｏｕｔ＝ｍＣ＋（Ｗ－ｍＷ）（ｍＣ／ｍＷ）
　　　　　・・・・・（式２）

　相関処理部１５３は、このようにして、Ｗ画素補間部１５１の生成した全Ｗ画素画像信号１６１と、ＲＧＢＷ画素生成部１５２の生成したＲＧＢＷ対応ＬＰＦ信号１６２を入力し、これらの入力信号を適用して、ＲＧＢ配列を有するベイヤー配列画像１０５を生成して出力する。

　図１、図４に示す配列変換部１０４は、これらの処理により、図２（ａ）に示すＲＧＢＷ配列を有するセンサ画像１０３の画素配列を変換して、ベイヤー配列画像１０５を生成して図１に示すカメラ信号処理部１０６に出力する。

　その後の処理は、従来の撮像装置における処理と同様の処理を行うことができる。すなわち、カメラ信号処理部１０６は、ベイヤー配列画像１０５に対する信号処理、例えば、ホワイトバランス調整、ガンマ補正、デモザイク処理等の一般的なカメラ信号処理を実行し、出力画像１０７を生成する。

　本開示の構成では、イメージセンサは先に図２（ａ）を参照して説明した構成であり、単位構成あたりのＲＧＢ各画素数が均等に設定されている。従って、各画素位置に対するＲＧＢ各色の画素値を設定する場合、参照領域から各色の画素値を十分取得することが可能となる。従って各画素位置に対するＲＧＢ各色の設定処理を高精度に行うことが可能となり、色ノイズや偽色の少ないＲＧＢ画像を生成することが可能となる。

　　［２．第２実施例の画像処理装置の構成と処理について］
　次に、本開示の第２実施例の画像処理装置の構成と処理について説明する。
　図１０は、本開示の第２実施例の画像処理装置２００の構成例を示す図である。撮像装置を画像処理装置の１つの代表例として説明する。
　本実施例は、前述の第１実施例において説明した配列変換部の処理を信号処理部において実行する設定とした実施例である。

　光学レンズ２０１を通して入射される光は、イメージセンサ（撮像素子）２０２によって光電変換され、イメージセンサ２０２からセンサ出力画像２０３が出力される。イメージセンサ２０２は例えばＣＭＯＳ等によって構成される。

　本実施例においても、イメージセンサ（撮像素子）２０２の画素配列は、先に説明した図２（ａ）に示すＲＧＢＷ配列を有する。
　イメージセンサ２２から出力されたセンサ出力画像２０３は、カメラ信号処理部２０４に入力される。

　カメラ信号処理部２０４は、図２（ａ）に示すＲＧＢＷ配列を有するセンサ出力画像２０３をそのまま利用して、各種の信号処理を実行して、出力画像２０５を生成する。なお、出力画像２０５は、各画素にＲＧＢ各画素値の設定された画像である。

　図１１以下を参照して、カメラ信号処理部２０４の詳細構成と処理について説明する。
　図１１は、カメラ信号処理部２０４の構成例を示す図である。
　図１１に示すように、カメラ信号処理部２０４は、以下の構成を有する。
　センサ画像２０３を入力して、各色の感度差や撮影条件情報を考慮し色ごとに異なるゲインをかけてより正しい色に調整するホワイトバランス処理部２１１。
　ＲＧＢＷ画素配列の各画素位置にＲＧＢ各色を設定するデモザイク処理部２１２。
　画素間に生じる混色等を、例えば行列演算を適用して補正するリニアマトリクス処理部２１３。
　ガンマ変換を実行するガンマ変換部２１４。
　カメラ信号処理部２０４は、これらの構成を有する。
　以下、各構成部の処理について説明する。

　ホワイトバランス処理部２１１の処理について図１２を参照して説明する。
　ホワイトバランス処理部２１１は、図２（ａ）に示すＲＧＢＷ配列を有するセンサ画像２０３を入力して、各色の感度差や撮影条件情報を考慮し色ごとに異なるゲインをかけてより正しい色に調整し、図１２に示すようにＷＢ処理画像２３０を生成して後段のデモザイク処理部２１２に出力する。

　図１２に示す入力色ゲイン選択部２２２は、処理対象画素の画素位置に対応する座標情報２２１を入力し、座標情報に基づいて処理対象画素の色に対応するゲイン情報２２０を選択してゲイン処理部２２２に出力する。
　なお、処理対象画素の画素位置に対応する座標情報２２１や、ゲイン情報２２０は制御部から提供される。例えば、ゲイン情報は、撮影時の画像に対応る属性情報としてメモリに保持されている。

　ゲイン処理部２２３は、入力色ゲイン選択部２２２から入力する処理対象色に対応したゲイン情報を適用して、処理対象画素のゲイン調整を行う。
　さらにクリップ処理部２２４は、ゲイン調整によって設定された画素値が、予め設定した既定範囲を超えた場合などに既定範囲内に調整するクリップ処理を実行する。
　これらの処理によって、図１２に示すＷＢ調整後の画像であるＷＢ処理画像２３０を生成する。ホワイトバランス処理部２１１の生成したＷＢ処理画像２３０はデモザイク処理部２１２に出力される。

　デモザイク処理部２１２の処理について図１３を参照して説明する。
　デモザイク処理部２１２は、ホワイトバランス処理部２１１の生成したＷＢ処理画像２３０を入力して、各画素位置にＲＧＢ各画素値を設定したデモザイク画像２４５ＲＧＢを生成する。

　デモザイク処理部２１２の構成例を図１３に示す。
　図１３に示すように、デモザイク処理部２１２は、Ｗ画素補間部２３１、ＲＧＢＷ画素生成部２３２、相関処理部２３３を有する。

　Ｗ画素補間部２３１は、ＲＧＢＷ配列を有するＷＢ処理画像２３０のＷ画素以外の画素位置にＷ画素を設定し全画素Ｗ画素の全Ｗ画素画像信号２４１を生成する。
　ＲＧＢＷ画素生成部２３２は、ＲＧＢＷ配列を有するＷＢ処理画像２３０の各画素位置におけるＲＧＢＷ各画素信号の低周波信号（ＬＰＦ信号）としてのＲＧＢＷ対応ＬＰＦ信号２４２を生成する。
　相関処理部２３３は、全Ｗ画素画像信号２４１とＲＧＢＷ対応ＬＰＦ信号２４２を入力し、これらの入力信号を適用して、各画素位置にＲＧＢ各画素値を設定したデモザイク画像２４５ＲＧＢを生成する。

　Ｗ画素補間部２３１と、ＲＧＢＷ画素生成部２３２の構成と処理は、先に説明した第１実施例におけるＷ画素補間部１５１と、ＲＧＢＷ画素生成部１５２の構成と処理と同様である。

　相関処理部２３３の構成と処理例について図１４を参照して説明する。
　相関処理部２３３は、Ｗ画素補間部２３１の生成した全Ｗ画素画像信号２４１と、ＲＧＢＷ画素生成部２３２の生成したＲＧＢＷ対応ＬＰＦ信号２４２を入力し、これらの入力信号を適用して、各画素位置にＲＧＢ各画素値を設定したデモザイク画像２４５ＲＧＢを生成する。

　相関処理部２３３は、図１４に示すように、相関演算部２５１を有する。
　相関演算部２５１は、Ｗ画素とＲ，Ｇ，Ｂ画素とは正の相関が強いという性質を利用して、Ｗ画素の高周波をゲイン調整して各色に重畳する。相関処理部２３３は、全画素位置にＲＧＢ各色の画素値を設定する。

　出力画素値（ＲＯｕｔ，ＧＯｕｔ，ＢＯｕｔ）は、例えば以下の（式３）に従って算出する。
　ＲＯｕｔ＝ｍＲ＋（Ｗ－ｍＷ）（ｍＲ／ｍＷ）
　ＧＯｕｔ＝ｍＧ（Ｗ－ｍＷ）（ｍＧ／ｍＷ）
　ＢＯｕｔ＝ｍＢ＋（Ｗ－ｍＷ）（ｍＢ／ｍＷ）
　　　　　・・・・・（式３）

　相関処理部２３３は、このようにして、Ｗ画素補間部２３１の生成した全Ｗ画素画像信号２４１と、ＲＧＢＷ画素生成部２３２の生成したＲＧＢＷ対応ＬＰＦ信号２４２を入力し、これらの入力信号を適用して、全画素にＲＧＢ画素値を設定したデモザイク画像２４５を生成して出力する。

　デモザイク処理部２１２の生成したデモザイク画像２４５はリニアマトリクス処理部２１３に出力される。
　リニアマトリクス処理部２１３は、画素間に生じる混色等を、例えば行列演算を適用して補正する処理を行う。

　リニアマトリクス処理部２１３の実行する処理について図１５を参照して説明する。
　リニアマトリクス処理部２１３は、図１５に示すように、行列演算部２６１を有する。
　行列演算部２６１は、デモザイク処理部２１２の生成したデモザイク画像２４５を構成するＲＧＢ各画素値（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）に対して、予め設定した行列を適用した演算を実行し、カラーフィルタの特性や、画素特性、光学特性によって生じる混色の問題を排除した補正画素値（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を算出して出力する。
　行列演算部における行列演算は、例えば、以下の（式４）に従った処理として実行される。

　　　　　・・・・・（式４）

　なお、上記（式４）において、Ｃｘｙは、センサや光源特性等に応じて設定するパラメータである。
　このように、リニアマトリクス処理部２１３は、例えば図１５に示す行列演算部２６１における行列演算を行い、画素間に生じる混色等を補正する。
　補正画素値は、ガンマ補正部２１４に出力される。

　ガンマ補正部２１４は、予め設定された非線型変換態様に従ったがんま変換を実行する。
　ガンマ補正部２１４は、図１６に示すようにＲＧＢ各色に応じたガンマ補正曲線、例えば図１６（ａ）に示すようなガンマ補正曲線に従って、リニアマトリクス処理部２１３からの入力値（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）の各画素値を変換し、出力値（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を生成して出力する。
　この出力が、図１０に示す出力画像２０５となる。

　第２実施例の画像処理装置２００は、このように、カメラ信号処理部２０４においてＲＧＢＷ配列を持つセンサ画像２０３から、全画素にＲＧＢ各画素値を設定した出力画像２０５を生成して出力する。

　本実施例においても前述の実施例と同様、イメージセンサは先に図２（ａ）を参照して説明した構成であり、単位構成あたりのＲＧＢ各画素数が均等に設定されている。従って、各画素位置に対するＲＧＢ各色の画素値を設定する場合、参照領域から各色の画素値を十分取得することが可能となる。従って各画素位置に対するＲＧＢ各色の設定処理を高精度に行うことが可能となり、色ノイズや偽色の少ないＲＧＢ画像を生成することが可能となる。

　　［３．第３実施例の画像処理装置の構成と処理について］
　次に、本開示の第３実施例の画像処理装置について説明する。
　第３実施例の画像処理装置は、図１０～図１６を参照して説明した第２実施例の画像処理装置２００におけるデモザイク処理部２１２とリニアマトリクス処理部２１３の処理を変更した構成である。その他の構成は、第２実施例と同様である。
　第３実施例におけるデモザイク処理部をデモザイク処理部２１２Ｂ、リニアマトリクス処理部をリニアマトリクス処理部Ｂ２１３として、図１７、図１８を参照して説明する。

　第３実施例におけるデモザイク処理部２１２Ｂの相関処理部２３３Ｂの構成例を図１７に示す。
　相関処理部２３３Ｂは、Ｗ画素補間部２３１の生成した全Ｗ画素画像信号２４１と、ＲＧＢＷ画素生成部２３２の生成したＲＧＢＷ対応ＬＰＦ信号２４２を入力し、これらの入力信号を適用して、各画素位置にＲＧＢ各画素値を設定したデモザイク画像２４５ＲＧＢを生成する。
　これらの処理は、第２実施例と同様である。
　本第３実施例の相関処理部２３３Ｂは、さらに、Ｗ画素補間部２３１の生成した全Ｗ画素画像信号２４１も出力する。

　相関処理部２３３Ｂは、図１７に示すように、相関演算部２５１を有する。
　相関演算部２５１は、Ｗ画素とＲ，Ｇ，Ｂ画素とは正の相関が強いという性質を利用して、Ｗ画素の高周波をゲイン調整して各色に重畳する。この処理は第２実施例と同様の処理である。相関処理部２３３Ｂは、さらに、全画素位置にＲＧＢＷ各色の画素値を設定する。

　出力画素値（ＷＯｕｔ，ＲＯｕｔ，ＧＯｕｔ，ＢＯｕｔ）は、例えば以下の（式５）に従って算出する。
　Ｗｏｕｔ＝Ｗ
　ＲＯｕｔ＝ｍＲ＋（Ｗ－ｍＷ）（ｍＲ／ｍＷ）
　ＧＯｕｔ＝ｍＧ（Ｗ－ｍＷ）（ｍＧ／ｍＷ）
　ＢＯｕｔ＝ｍＢ＋（Ｗ－ｍＷ）（ｍＢ／ｍＷ）
　　　　　・・・・・（式５）

　相関処理部２３３Ｂは、このようにして、Ｗ画素補間部２３１の生成した全Ｗ画素画像信号２４１と、ＲＧＢＷ画素生成部２３２の生成したＲＧＢＷ対応ＬＰＦ信号２４２を入力し、これらの入力信号を適用して、全画素にＲＧＢＷ画素値を設定したデモザイク画像２４５ＲＧＢＷを生成して出力する。

　デモザイク処理部２１２Ｂの生成したデモザイク画像２４５ＲＧＢＷはリニアマトリクス処理部２１３Ｂに出力される。
　リニアマトリクス処理部２１３Ｂは、画素間に生じる混色等を、例えば行列演算を適用して補正する処理を行う。

　リニアマトリクス処理部２１３Ｂの実行する処理について図１８を参照して説明する。
　リニアマトリクス処理部２１３Ｂは、図１８に示すように、行列演算部２６１Ｂを有する。
　行列演算部２６１Ｂは、デモザイク処理部２１２Ｂの生成したデモザイク画像２４５を構成するＲＧＢＷ各画素値（Ｗｉｎ，Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）に対して、予め設定した行列を適用した演算を実行し、カラーフィルタの特性や、画素特性、光学特性によって生じる混色の問題を排除した補正画素値（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を算出して出力する。
　行列演算部における行列演算は、例えば、以下の（式６）に従った処理として実行される。

　　　　　・・・・・（式６）

　なお、上記（式６）において、Ｃｘｙは、センサや光源特性等に応じて設定するパラメータである。
　このように、リニアマトリクス処理部２１３は、例えば図１８に示す行列演算部２６１Ｂにおける行列演算を行い、画素間に生じる混色等を補正する。
　本実施例３では、実施例２と異なりＲＧＢＷの４色を利用する構成であり、この構成により、さらなる色再現性の向上が期待できる。

　本実施例においてもイメージセンサは先に図２（ａ）を参照して説明した構成であり、単位構成あたりのＲＧＢ各画素数が均等に設定されている。従って、各画素位置に対するＲＧＢ各色の画素値を設定する場合、参照領域から各色の画素値を十分取得することが可能となる。従って各画素位置に対するＲＧＢ各色の設定処理を高精度に行うことが可能となり、色ノイズや偽色の少ないＲＧＢ画像を生成することが可能となる。

　　［４．第４実施例の画像処理装置の構成と処理について］
　次に、本開示の画像処理装置の第４実施例として、イメージセンサ内部で画素加算された信号に対する処理を実行する構成例について説明する。

　上述の実施例において利用しているイメージセンサであるＣＭＯＳイメージセンサには、各画素に蓄積された電荷量であるアナログ値をデジタル値に変換かるＡＤコンバータが内蔵されている。各画素信号の出力スピートは、このＡＤコンバータの処理によって制限されてしまう。画素数の増大に従いＡＤコンバータの処理負荷が増大しセンサからの信号出力スピートが低下するという問題がある。

　第４実施例では、この問題を解決するため、センサ内のアナログ信号領域で複数の画素に蓄積された電荷を加算する。すなわちアナログ信号レベルでの画素加算を実行し、ＡＤコンバータの処理負荷を低減して高速処理を可能とする。この構成により、例えば高フレームレートの画像出力を実現する。

　本実施例では、イメージセンサ内で、例えば図１９に示すようなセンサ構成画素の加算処理を実行して、加算結果を出力する。
　図１９（ａ）は、イメージセンサの画素配列であり、先に図２（ａ）を参照して説明したＲＧＢＷ配列である。
　図１９（ｂ）は、イメージセンサ内部で実行する画素加算処理である。斜め方向の同一色２画素の画素値の加算処理を実行する。
　この結果、図１９（ｃ）に示すイメージランサ出力が得られる。
　図１９（ｃ）に示すセンサ出力は、図１９（ａ）に示す６×６＝３６画素のイメージセンサ領域から得られる出力である。

　３×３＝９画素のＷ画素出力と、３×３＝９画素のＲＧＢ出力の計１８画素の画素信号出力が得られる。
　この加算処理により、元のイメージセンサの解像度レベルより低下した画像信号が出力されるが、ＡＤ変換部の処理が軽減されるため、高速出力が可能となり、高フレームレートの画像出力が実現可能となる。

　図２０に第４実施例に係る画像処理装置４００の構成例を示す。この画像処理装置４００は、先に図１を参照して説明した第１実施例に係る画像処理装置１００と同様の構成を有する。
　光学レンズ４０１を通して入射される光は、イメージセンサ（撮像素子）４０２によって光電変換され、イメージセンサ４０２からセンサ出力画像４０３が出力される。イメージセンサ４０２は例えばＣＭＯＳ等によって構成される。イメージセンサ（撮像素子）４０２の画素配列は、先に説明した図２（ａ）に示すＲＧＢＷ配列を有する。

　イメージセンサ４０２内部では図１９を参照して説明した画素加算が実行され、同一色２画素の画素値の加算結果としての出力画像、すなわち図１９（ｃ）に示すような元の画素数の１／２の画素数からなる画像（Ｗ画像＋ＲＧＢ画像）をセンサ画像５０３として出力する。

　配列変換部４０４は、この加算画素によって構成されるセンサ画像５０３、すなわち（Ｗ画像＋ＲＧＢ画像）を入力して、配列変換処理を行い、ベイヤー配列画像４０５を生成する。
　カメラ信号処理部４０６は、ベイヤー配列画像４０５に対する信号処理を実行して出力画像４０７を生成する。
　制御部４０８は、イメージセンサ４０２の露光制御、配列変換部４０４の処理制御、カメラ信号処理部４０６の処理制御用の制御信号を生成してこれらの各構成部に供給し、画像の撮影から出力画像の生成に至る処理の全体的な制御を実行する。なお、制御部４０８は、例えばプログラム実行機能を持つＣＰＵを備え、図示しないメモリに格納されたプログラムに従って、撮像装置において実行される処理の全体的な制御を行う。

　本実施例４における配列変換部４０４の処理について図２１を参照して説明する。
　配列変換部４０４は、センサ画像５０３、すなわち図１９を参照して説明したイメージセンサ５０２内のアナログ加算によって生成されたセンサ画像４０３、すなわち、（Ｗ画像＋ＲＧＢ画像）を入力して、配列変換処理を行い、ベイヤー配列画像４０５を生成する。

　センサ画像５０３はＷ画素のみからなるＷ画像とＲＧＢ画像の組み合わせによって構成される。
　Ｗ画像は、そのまま全Ｗ画素画像信号４６１として相関処理部４５２に入力する。
　さらに、Ｗ画像とＲＧＢ画像は、ＲＧＢＷ画素生成部４５１に入力される。ＲＧＢＷ画素生成部４５１は、センサ画像４０３の各画素位置におけるＲＧＢＷ各画素信号の低周波信号（ＬＰＦ信号）としてのＲＧＢＷ対応ＬＰＦ信号４６２を生成する。
　この処理は、先に第１実施例において、図７、図８等を参照して説明した処理と同様の処理である。

　相関処理部４５２は、全Ｗ画素画像信号４６１とＲＧＢＷ対応ＬＰＦ信号４６２を入力し、これらの入力信号を適用して、ＲＧＢ配列を有するベイヤー配列画像４０５を生成して出力する。
　この処理は、第１実施例において、図９等を参照して説明した処理と同様の処理である。

　このように、この第４実施例では、第１実施例の配列変換部１０４に必要となっていたＷ画素生成部、すなわち図４に示すＷ画素生成部１５１が不要となり、処理の簡略化が可能となる。
　なお、この第４実施例の加算出力処理構成は、先に説明した第２実施例、第３実施例の処理に併せて適用することも可能である。

　　［５．第５実施例の画像処理装置の構成と処理について］
　次に、イメージセンサの構成画素の露光時間を画素単位で制御し、長時間露光画素と短時間露光画素を設定して、１回の撮影で長時間露光画像と短時間露光画像を生成し、これらの異なる露光時間の画像を合成することでダイナミックレンジの広い画像、すなわち高ダイナミックレンジ画像（ＨＤＲ画像）を生成する画像処理装置の構成について説明する。

　図２２に本実施例に係る画像処理装置５００の構成例を示す。
　光学レンズ５０１を通して入射される光は、イメージセンサ（撮像素子）５０２によって光電変換され、イメージセンサ５０２からセンサ出力画像５０３が出力される。イメージセンサ５０２は例えばＣＭＯＳ等によって構成される。イメージセンサ（撮像素子）５０２の画素配列は、先に説明した図２（ａ）に示すＲＧＢＷ配列を有する。

　本実施例においては、イメージセンサ（撮像素子）５０２は、２つの異なる露光時間に設定され、長時間露光画素と短時間露光画素からなる画像を出力する。
　例えば、イメージセンサの１行単位で長時間露光画素と短時間眼項画素が交互に設定される。なお、これらの画素単位の露光制御は制御部５１０の制御によって行われる。
　この具体的な露光制御処理例については、図２３を参照して後段で説明する。

　配列変換部５０４は、異なる露光時間に設定された画素からなるセンサ画像５０３、すなわち、例えば長時間露光画素と短時間露光画素が行単位で交互に設定された画像を入力して、２つの露光時間の画像の合成処理を実行して高ダイナミックレンジ画像（ＨＤＲ画像）を生成する。
　さらに、高ダイナミックレンジ画像（ＨＤＲ画像）の生成に併せて画素配列変換処理を行い、ベイヤー配列ＨＤＲ画像５０５を生成する。
　ベイヤー配列ＨＤＲ画像５０５は階調変換部５０６に入力される。

　階調変換部５０６は、高ダイナミック化処理によって設定した画素値の範囲を次段のカメラ信号処理部５０８において処理可能な範囲に調整する処理を行う。例えばカメラ信号処理部５０８が処理可能な画素値が８ビットデータである場合、ベイヤー配列ＨＤＲ画像５０５の構成画素値を全て８ビット以内に設定する階調変換処理を実行する。この処理によって、階調変換ＨＤＲ画像５０７を生成して出力する。

　カメラ信号処理部５０８は、ベイヤー配列を持つ階調変換ＨＤＲ画像５０７に対する信号処理を実行して出力画像５０９を生成する。
　制御部５１０は、イメージセンサ５０２の露光制御、配列変換部５０４、階調変換部５０６、カメラ信号処理部５０８の処理制御用の制御信号を生成してこれらの各構成部に供給し、画像の撮影から出力画像の生成に至る処理の全体的な制御を実行する。なお、制御部５０８は、例えばプログラム実行機能を持つＣＰＵを備え、図示しないメモリに格納されたプログラムに従って、撮像装置において実行される処理の全体的な制御を行う。

　イメージセンサ５０２における露光制御処理の具体例について図２３を参照して説明する。
　なお、異なる感度の画素を生成する方法としては、例えば画素のフィルタの光透過率を画素単位で異なる設定とした構成、あるいは画素単位で露光時間を制御する構成などが適用可能であり、本開示の装置ではいずれの方法を適用してもよい。
　以下では、一例として、露光時間を行単位で変更して長時間露光画像と短時間露光画像を生成する処理について説明する。

　図２３には、制御部５１０からイメージセンサ５０２に対して出力される制御信号と、イメージセントにおける電荷蓄積の時間推移をせつめいする図である。以下の５つの信号を示している。
　（１）読み出しタイミング
　（２）長時間露光画素リセットタイミング
　（３）長時間露光画素電荷量
　（４）短時間露光画素リセットタイミング
　（５）短時間露光画素電荷量

　（１）読み出しタイミングは、各画素の蓄積電荷を画素値として読み出すタイミング信号である。図の例では、時間ｔａ，ｔｃの各タイミングが読み出しタイミングである。
　（２）長時間露光リセットタイミングは、長時間露光画素の露光開始時間の設定タイミングに対応する。図に示す例では時間ｔｂがリセットタイミングであり、このｔｂ以降に、長時間露光画素に入射光に応じた電荷の蓄積が開始される。

　（３）長時間露光画素電荷量は、長時間露光リセットタイミングから、次の読み出しタイミングまでの露光時間（露光時間１）における電荷量の増加推移を示している。

　（４）短時間露光リセットタイミングは、短時間露光画素の露光開始時間の設定タイミングに対応する。図に示す例では時間ｔｄがリセットタイミングであり、このｔｄ以降に、短時間露光画素に入射光に応じた電荷の蓄積が開始される。

　（５）短時間露光画素電荷量は、短時間露光リセットタイミングから、次の読み出しタイミングまでの露光時間（露光時間２）における電荷量の増加推移を示している。

　なお、例えば長時間露光画素と短時間露光画素は、イメージセンサの行単位で交互に設定される。具体的には奇数行が短時間露光画素行、偶数行を長時間露光画素行とする。その他にも様々な設定が可能である。

　例えば、図２３を参照して説明した露光制御によってイメージセンサ５０２は、長時間露光画素と短時間露光画素を含むセンサ画像５０３を生成して配列変換部５０４に出力する。

　配列変換部５０４の実行する処理について図２４を参照して説明する。
　図２４に示すように、配列変換部５０４は、Ｗ画素補間部５５１、ＲＧＢＷ画素生成部５５２、ＨＤＲ合成処理部５５３、相関処理部５５４を有する。

　配列変換部５０４の入力するセンサ画像５０３は、図に示すように、１行単位で、
　短時間露光画素（Ｓｈｏｒｔ）
　長時間露光画素（Ｌｏｎｇ）
　これらの異なる露光時間設定画素が配列した構成である。なお、画素配列は先に図２（ａ）を参照して説明したＲＧＢＷ配列である。

　Ｗ画素補間部５５１は、長時間露光画素と短時間露光画素が行単位で交互に設定されたＲＧＢＷ配列を有するセンサ画像５０３を入力して、全画素に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像５６１Ｌ、全画素に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像５６１Ｓを生成する。
　この補間処理は、先に説明した第１実施例における処理と同様の処理である。ただし、全Ｗ画素長時間露光画像５６１Ｌを生成する場合は、長時間露光画素のみを参照して処理を行い、全Ｗ画素短時間露光画像５６１Ｓを生成する場合は、短時間露光画素のみを参照して処理を行う。

　図２５を参照してＷ画素補間部５５１の処理について説明する。
　Ｗ画素補間部５５１は、長時間露光画素と短時間露光画素が行単位で交互に設定されたＲＧＢＷ配列を有するセンサ画像５０３中のＷ画素データを入力して、全画素に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像５６１Ｌ、全画素に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像５６１Ｓを生成する。

　全画素に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像５６１Ｌを生成する場合は、センサ画像５０３中の長時間露光されたＷ画素データ５６０Ｌのみを適用して、長時間露光Ｗ画素以外の欠落画素位置に長時間露光Ｗ画素値を設定するＷ画素補間処理を実行する。
　図２５には、この全画素に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像５６１Ｌを生成する処理構成を示している。

　また、全画素に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像５６１Ｓを生成する場合は、センサ画像５０３中の短時間露光されたＷ画素データ５６０Ｓのみを適用して、短時間露光Ｗ画素以外の欠落画素位置に短時間露光Ｗ画素値を設定するＷ画素補間処理を実行する。
　これらの処理は、入出力データが異なるのみであり、基本的に図２５に示す構成によって処理が行われる。
　以下、代表例として、図２５を参照して画素に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像５６１Ｌを生成する処理について説明する。

　Ｗ画素補間部５５１は、図２５に示すように複数の異なる方向にあるＷ画素の画素値を参照画素とした平均化処理等のフィルタ処理を実行する複数の方向フィルタ５７１－１～Ｎと、エッジ方向を検出するエッジ方向検出部５７２と、フィルタ選択による補間画素値を決定するフィルタ選択部５７３を有する。

　全Ｗ画素長時間露光画像５６１Ｌを生成する場合、センサ画像５０３中の長時間露光されたＷ画素データ５６０Ｌのみを選択入力する。この入力画像から、処理対象画素である補間画素位置を含む所定の参照領域（例えばｋ画素×ｋ画素）を設定する。エッジ方向検出部５７２は、参照領域の画素値に基づいてエッジ方向を検出し、フィルタ選択部５７３は、エッジ方向に沿って、すなわち画素値の勾配の小さい方向にあるＷ画素を参照画素としたフィルタ処理を実行するフィルタを選択して選択したフィルタを適用して補間画素値としてのＷ画素値を算出する。例えば勾配の小さい方向にあるＷ画素の画素値の平均値を算出して、処理対象画素位置のＷ画素値を設定する。

　図２６に、適用する方向フィルタの数Ｎを４、すなわち水平方向、垂直方向、左上がり斜め方向、右上がり斜め方向の４種類とした場合の処理例を示す。

　図２６に示すＷ１～Ｗ９からなる画像は、センサ画像５０３中の長時間露光されたＷ画素データ５６０Ｌを構成する長時間露光Ｗ画素の画素値であるとする。
　エッジ方向検出部５７２は、水平方向のエッジ量（Ｄｈ）、垂直方向のエッジ量（Ｄｖ）、左上がり斜め方向のエッジ量（Ｄｄ）、右上がり斜め方向のエッジ量（Ｄａ）の４種類エッジ量を以下の式に従って算出する。
　Ｄｈ＝（｜Ｗ１－Ｗ２｜＋｜Ｗ２－Ｗ３｜＋２（｜Ｗ４－Ｗ５｜＋｜Ｗ５－Ｗ６｜）＋｜Ｗ７－Ｗ８｜＋｜Ｗ８－Ｗ９｜）／８
　Ｄｖ＝（｜Ｗ１－Ｗ４｜＋｜Ｗ４－Ｗ７｜＋２（｜Ｗ２－Ｗ５｜＋｜Ｗ５－Ｗ８｜）＋｜Ｗ３－Ｗ６｜＋｜Ｗ６－Ｗ９｜）／８
　Ｄｄ＝（｜Ｗ１－Ｗ５｜＋｜Ｗ２－Ｗ６｜＋｜Ｗ４－Ｗ８｜＋｜Ｗ５－Ｗ９｜／４
　Ｄａ＝（｜Ｗ２－Ｗ４｜＋｜Ｗ３－Ｗ５｜＋｜Ｗ５－Ｗ７｜＋｜Ｗ６－Ｗ８｜／４
　これらの各算出式に従って、４方向のエッジ量を算出する。

　エッジ方向検出部５７２は、上記算出式に従って算出した４方向のエッジ量：Ｄｈ，Ｄｖ，Ｄｄ，Ｄａを用いて、以下の判定式に従って、エッジ方向判定を行う。
　｜Ｄｈ－Ｄｖ｜≧｜Ｄｄ－Ｄａ｜のとき、
　　Ｄｈ≦Ｄｖなら、エッジ方向＝水平方向、
　　Ｄｈ＞Ｄｖなら、エッジ方向＝垂直方向、
　｜Ｄｈ－Ｄｖ｜＜｜Ｄｄ－Ｄａ｜のとき、
　　Ｄｄ≦Ｄａなら、エッジ方向＝左上がり斜め方向、
　　Ｄｄ＞Ｄａなら、エッジ方向＝右上がり斜め方向、
　エッジ方向検出部５７２は、このような判定処理を行い、判定結果をフィルタ選択部５７３に出力する。

　フィルタ選択部５７３は、エッジ方向検出部５７２が検出したエッジ方向から参照画素を選択して補間画素値を設定する方向フィルタを選択適用した補間処理を行う。
　この処理例について図２７以下を参照して説明する。
　図２７は、
　（ａ）斜め方向に４つのＷ画素の設定された中心位置にＷ画素を補間する処理例
　を示している。
　図２７に示す４つのＷ画素（Ｗ１～Ｗ４）の中心位置が補間画素位置５８１である。

　この例において、エッジ方向検出部５７２が検出したエッジ方向に応じたフィルタ選択処理が図２７に示す（ステップ１）の処理である。図２７（ａ１）～（ａ３）には以下のフィルタ設定例を示している。
　（ａ１）エッジ方向が水平または垂直方向である場合のフィルタ
　（ａ２）エッジ方向が左上がり斜め方向である場合のフィルタ
　（ａ３）エッジ方向が右上がり斜め方向である場合のフィルタ
　エッジ方向に応じていずれかのフィルタを選択し、各画素位置の画素値を各フィルタに設定された係数を乗じて加算する。

　さらに、図２７に示す（ステップ２）において、加算値の総和値を４で除算する。この除算値が補間画素位置５８１に設定する補間Ｗ画素値となる。
　具体的には、例えばエッジ方向が水平方向である場合、図２７（ａ１）のフィルタを適用する。４つのＷ画素（Ｗ１～Ｗ４）の画素値をＷ１～Ｗ４としたとき、補間画素位置５８１に設定する補間画素値Ｗは、以下の式で算出される。
　Ｗ＝（Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４）／４

　図２８は、
　（ｂ）上下垂直方向にＷ画素の設定された間の位置にＷ画素を補間する処理例
　を示している。
　図２８に示す６つのＷ画素（Ｗ１～Ｗ６）の中心位置が補間画素位置５８２である。

　この例において、エッジ方向検出部５７２が検出したエッジ方向に応じたフィルタ選択処理が図２８に示す（ステップ１）の処理である。図２８（ｂ１）～（ｂ４）には以下のフィルタ設定例を示している。
　（ｂ１）エッジ方向が水平方向である場合のフィルタ
　（ｂ２）エッジ方向が垂直方向である場合のフィルタ
　（ｂ３）エッジ方向が左上がり斜め方向である場合のフィルタ
　（ｂ４）エッジ方向が右上がり斜め方向である場合のフィルタ
　エッジ方向に応じていずれかのフィルタを選択し、各画素位置の画素値を各フィルタに設定された係数を乗じて加算する。

　さらに、図２８に示す（ステップ２）において、加算値の総和値を８で除算する。この除算値が補間画素位置５８２に設定する補間Ｗ画素値となる。
　具体的には、例えばエッジ方向が水平方向である場合、図２８（ｂ１）のフィルタを適用する。６つのＷ画素（Ｗ１～Ｗ６）の画素値をＷ１～Ｗ６としたとき、補間画素位置５８２に設定する補間画素値Ｗは、以下の式で算出される。
　Ｗ＝（Ｗ１＋（２×Ｗ２）＋Ｗ３＋Ｗ４＋（２×Ｗ５）＋Ｗ６）／８

　なお、図２７、図２８を参照して説明した処理の他、補間画素位置としては、図２８（ｃ）に示すように水平方向のＷ画素に挟まれた位置がある。この場合は、図２８において説明したフィルタを９０度回転して適用すればよい。

　Ｗ画素補間部５５１は、このようにして、センサ画像５０３中の長時間露光されたＷ画素データ５６０Ｌのみを適用して、長時間露光Ｗ画素以外の欠落画素位置に長時間露光Ｗ画素値を設定するＷ画素補間処理を実行して、全画素に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像５６１Ｌを生成する。
　同様に、センサ画像５０３中の短時間露光されたＷ画素データ５６０Ｓのみを適用して、短時間露光Ｗ画素以外の欠落画素位置に短時間露光Ｗ画素値を設定するＷ画素補間処理を実行して、全画素に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像５６１Ｓを生成する。

　図２４に示す配列変換部５０４のＲＧＢＷ画素生成部５５２は、長時間露光画素と短時間露光画素が行単位で交互に設定されたＲＧＢＷ配列を有するセンサ画像５０３を入力して、各画素位置におけるＲＧＢＷ各画素信号の低周波信号（ＬＰＦ信号）としてのＲＧＢＷ対応ＬＰＦ信号を生成する。

　この処理は、基本的には、先の実施例１において図７、図８を参照して説明した処理と同様の処理である。ただし、本実施例では、長時間露光画素のみを参照画素として利用して長時間露光ＲＧＢＷ信号の低周波信号（ＬＰＦ信号）である長時間露光ＲＧＢＷ対応低周波信号５６２Ｌを生成し、さらに、短時間露光画素のみを参照画素として利用して、短時間露光ＲＧＢＷ信号の低周波信号（ＬＰＦ信号）であるＲＧＢＷ対応短時間露光低周波信号５６２Ｓを生成する。

　ＨＤＲ合成部５５３は、Ｗ画素補間部５５１の生成信号と、ＲＧＢＷ画素生成部５５２の生成信号を入力して高ダイナミックレンジ（ＨＤＲ）画像を生成する。
　ＨＤＲ合成部５５３は、
　Ｗ画素補間部５５１の生成信号である、
　全Ｗ画素長時間露光画像５６１Ｌ
　全Ｗ画素短時間露光画像５６１Ｓ、
　ＲＧＢＷ画素生成部５５２の生成信号である、
　長時間露光ＬＰＦ信号５６２Ｌ、
　短時間露光ＬＰＦ信号５６２Ｓ
　これらの各信号を入力する。

　ＨＤＲ合成部５５３は、以下の２つの処理を実行する。
　（第１の処理）
　Ｗ画素補間部５５１の生成信号である、
　（ａ１）全Ｗ画素長時間露光画像５６１Ｌ、
　（ａ２）全Ｗ画素短時間露光画像５６１Ｓ、
　これらの２つの信号を入力して、高ダイナミックレンジ化した全Ｗ画素画像５６３を生成して出力する処理。
　（第２の処理）
　ＲＧＢＷ画素生成部５５２の生成信号である、
　（ｂ１）長時間露光ＬＰＦ信号５６２Ｌ、
　（ｂ２）短時間露光ＬＰＦ信号５６２Ｓ、
　これらの２つの信号を入力して、高ダイナミックレンジ化したＲＧＢＷ低周波（ＬＰＦ）信号５６４を生成して出力する処理。

　ＨＤＲ合成部５５３は、図２４に示すように、これらの２つの処理によって、
　（Ａ）高ダイナミックレンジ化した全Ｗ画素画像５６３、
　（Ｂ）高ダイナミックレンジ化したＲＧＢＷ低周波（ＬＰＦ）信号５６４、
　これらを生成して相関処理部５５４に出力する。

　ＨＤＲ合成部５５３の実行する処理について、図２９を参照して説明する。
　図２９には、上記２つの処理中、上記の処理（Ａ）高ダイナミックレンジ化した全Ｗ画素画像５６３を生成する構成を代表例として示している。
　すなわち、Ｗ画素補間部５５１の生成信号である、
　（ａ１）全Ｗ画素長時間露光画像５６１Ｌ、
　（ａ２）全Ｗ画素短時間露光画像５６１Ｓ、
　これらの２つの信号を入力して、高ダイナミックレンジ化した全Ｗ画素画像５６３を生成して出力する処理を実行する構成である。

　（Ｂ）高ダイナミックレンジ化したＲＧＢＷ低周波（ＬＰＦ）信号５６４を生成する処理も入出力データが異なるのみであり、同様の処理であるので、ここでは、Ｗ画素生成処理例について代表して説明する。

　ＨＤＲ合成部５５３は、同一色の長時間露光画素と短時間露光画素の画素値の合成処理（ブレンド）を実行して高ダイナミックレンジ（ＨＤＲ）画像の画素値を算出する。例えば、暗い被写体には長時間露光画素を利用することで、ノイズの少ない画像を取得し、明るい被写体には短時間露光画素を利用することで、飽和の無い画像を取得する。

　図２９に示すように、ＨＤＲ合成部５５３は、露光比ゲイン調整部５９５、ブレンド率算出部５９６、ブレンド処理部５９７を有する。
　露光比ゲイン調整部５９５は、制御部から撮影時の短時間露光画素の露光時間と、長時間露光画素の露光時間との露光比情報５９０を入力し、入力画像中の短時間露光画素５９２に対して露光比情報５９０に応じたゲインを乗じて結果をブレンド処理部５９７に出力する。

　ブレンド率算出部５９６は、ブレンド対象となる短時間露光画素５９２と長時間露光画素５９３を入力してブレンド率を算出する。なお、ブレンド対象となる画素は、予め設定された画素領域単位内の同一色の短時間露光画素と長時間露光画素となる。本例では長時間露光Ｗ画素と短時間露光Ｗ画素である。

　ブレンド率は、予め設定された算出式を適用して算出する。例えば、長時間露光画素値（ＤＬ）を利用してブレンド率（α）を算出する場合、下記の計算式に従って算出する。
　ｉｆ（ＤＬ＜Ｔｈ０）
　　　　　　α＝０
　Ｅｌｓｅ　ｉｆ（ＤＬ＜Ｔｈ１）
　　　　　　α＝（ＤＬ－Ｔｈ０）／（Ｔｈ１－Ｔｈ０）
　Ｅｌｓｅ
　　　　　　α＝１
　上記算出式において、
　α：出力ＨＤＲ画素における短時間露光画素のブレンド率
　Ｔｈ０，Ｔｈ１：予め設定した閾値、
　である。

　上記ブレンド率算出式に対応した長時間露光画素の画素値（ＤＬ）とブレンド率（α）との対応関係は、図３０に示すグラフの設定となる。

　長時間露光画素の画素値（ＤＬ）が暗い画素値である場合は、長時間露光画素の画素値を多く利用することで、ノイズの少ない画像を取得し、明るい被写体には短時間露光画素の画素値を多く利用することで、飽和の無い画像を取得する。

　図２９に示すブレンド処理部５９７は、上記ブレンド率（α）をブレンド率算出部５９６から入力し、入力したブレンド率（α）に従って、短時間露光画素（ＷＳ）５９１の画素値と、長時間露光画素（ＷＬ）５９２の画素値をブレンドして、ＨＤＲ画像としての全Ｗ画素画像５６３のＷ画素値を決定する。
　例えば、
　短時間露光画素（ＷＳ）５９１の画素値をＤＳ、
　長時間露光画素（ＷＬ）５９２の画素値をＤＬ、
　長時間露光画素と短時間露光画素とのゲイン比をＧａｉｎ
　ブレンド率をαとしたとき、
　ＨＤＲ画像としての全Ｗ画素画像５６３のＷ画素値：ＤＯは以下の算出式によって算出される。
　ＤＯ＝ＤＬ×（１－α）＋ＤＳ×Ｇａｉｎ×α
　ブレンド処理部５９７は、上記式に従って、ＨＤＲ画像としての全Ｗ画素画像５６３のＷ画素値を決定する。

　なお、図２９を参照してＨＤＲ合成処理部５５３の実行する高ダイナミックレンジ化した全Ｗ画素画像５６３の生成処理例を説明したが、前述したように、ＨＤＲ合成処理部５５３は、同様の処理により、
　（Ａ）高ダイナミックレンジ化した全Ｗ画素画像５６３、
　（Ｂ）高ダイナミックレンジ化したＲＧＢＷ低周波（ＬＰＦ）信号５６４、
　これらを生成して相関処理部５５４に出力する。

　相関処理部５５４は、ＨＤＲ合成処理部５５３から、
　（Ａ）高ダイナミックレンジ化した全Ｗ画素画像５６３、
　（Ｂ）高ダイナミックレンジ化したＲＧＢＷ低周波（ＬＰＦ）信号５６４、
　これらを入力して、これらの入力信号を適用して、ＲＧＢ配列を有するベイヤー配列ＨＤＲ画像５０５を生成して出力する。
　この相関処理部５５４は、先に図９等を参照して説明した第１実施例における相関処理部１５３と同様の処理を行う。

　このようにして、図２２に示す本実施例の画像処理装置の配列変換部５０４は、ベイヤー配列ＨＤＲ画像５０５を生成して図２２に示す階調変換部５０６に出力する。

　階調変換部５０６は、前述したように高ダイナミック化処理によって設定した画素値の範囲を次段のカメラ信号処理部５０８において処理可能な範囲に調整する処理を行う。例えばカメラ信号処理部５０８が処理可能な画素値が８ビットデータである場合、ベイヤー配列ＨＤＲ画像５０５の構成画素値を全て８ビット以内に設定する階調変換処理を実行する。この処理によって、階調変換ＨＤＲ画像５０７を生成して出力する。

　例えばセンサの出力が１２ｂｉｔ，露光比１６倍であれば、配列変換部の出力は１６ｂｉｔとなる。そのような信号を従来のカメラ信号処理でも扱えるような信号のビット幅まで圧縮する処理を行う。なお、この階調変換処理は既存技術の適用が可能である。
　このように、階調変換部５０６は、階調変換処理によって、階調変換ＨＤＲ画像５０７を生成してカメラ信号処理部５０８に出力する。

　その後の処理は、従来の撮像装置における処理と同様の処理を行うことができる。すなわち、カメラ信号処理部５０８は、階調変換ＨＤＲ画像５０７に対する信号処理、例えば、ホワイトバランス調整、ガンマ補正、デモザイク処理等の一般的なカメラ信号処理を実行し、出力画像５０９を生成する。

　このように、この第５実施例では、第１実施例等において説明した配列変換処理に加えて、画像の高ダイナミックレンジ（ＨＤＲ）化を併せて実行可能な構成を持つ。
　なお、この第５実施例のＨＤＲ画像生成構成は、先に説明した第２実施例、第３実施例の処理に併せて適用することも可能である。

　　［６．第６実施例の画像処理装置の構成と処理について］
　次に、先に第４実施例として説明した画素加算処理と、第５実施例として説明した高ダイナミックレンジ（ＨＤＲ）画像生成処理を合わせて実行する処理例を、第６実施例として説明する。

　図３１に本実施例に係る画像処理装置６００の構成例を示す。
　図３１に示す画像処理装置６００は、先に第５実施例として図２２を参照して説明した画像処理装置５００と同様の構成要素からなる。
　光学レンズ６０１を通して入射される光は、イメージセンサ（撮像素子）６０２によって光電変換され、イメージセンサ６０２からセンサ出力画像６０３が出力される。イメージセンサ６０２は例えばＣＭＯＳ等によって構成される。イメージセンサ（撮像素子）６０２の画素配列は、先に説明した図２（ａ）に示すＲＧＢＷ配列を有する。

　本実施例において、イメージセンサ（撮像素子）６０２は、前述の第５実施例と同様、２つの異なる露光時間に設定される。さらに、前述の第４実施例と同様、同一色画素の画素加算を行って、加算画素値の長時間露光画素と短時間露光画素からなる画像を出力する。

　本実施例では、イメージセンサの２行単位で長時間露光画素と短時間眼項画素が交互に設定される。なお、これらの画素単位の露光制御は制御部６１０の制御によって行われる。
　具体的な露光制御設定と出力画像については、図３２を参照して後段で説明する。

　配列変換部６０４は、異なる露光時間に設定された画素からなるセンサ画像６０３、すなわち、加算画素値によって構成される長時間露光画素と短時間露光画素が行単位で交互に設定された画像を入力して、２つの露光時間の画像の合成処理を実行して高ダイナミックレンジ画像（ＨＤＲ画像）を生成する。
　さらに、高ダイナミックレンジ画像（ＨＤＲ画像）の生成に併せて画素配列変換処理を行い、ベイヤー配列ＨＤＲ画像６０５を生成する。
　ベイヤー配列ＨＤＲ画像６０５は階調変換部６０６に入力される。

　階調変換部６０６は、高ダイナミック化処理によって設定した画素値の範囲を次段のカメラ信号処理部６０８において処理可能な範囲に調整する処理を行う。例えばカメラ信号処理部６０８が処理可能な画素値が８ビットデータである場合、ベイヤー配列ＨＤＲ画像６０５の構成画素値を全て８ビット以内に設定する階調変換処理を実行する。この処理によって、階調変換ＨＤＲ画像６０７を生成して出力する。

　カメラ信号処理部６０８は、ベイヤー配列を持つ階調変換ＨＤＲ画像５０７に対する信号処理を実行して出力画像５０９を生成する。
　制御部５１０は、イメージセンサ６０２の露光制御、配列変換部６０４、階調変換部６０６、カメラ信号処理部６０８の処理制御用の制御信号を生成してこれらの各構成部に供給し、画像の撮影から出力画像の生成に至る処理の全体的な制御を実行する。なお、制御部６０８は、例えばプログラム実行機能を持つＣＰＵを備え、図示しないメモリに格納されたプログラムに従って、撮像装置において実行される処理の全体的な制御を行う。

　イメージセンサ６０２における露光制御処理と出力画像であるセンサ画像６０３の具体例について図３２を参照して説明する。
　図３２（ａ）は、イメージセンサ６０２の駆動処理態様を示している。
　図３２（ｂ）は、イメージセンサ６０２の出力するセンサ画像６０３を示している。
　本実施例では、図２３（ａ）に示すように、２行単位で、短時間露光画素（Ｓｈｏｒｔ）と長時間露光画素（Ｌｏｎｇ）を交互に設定する。さらに、２行の短時間露光画素（Ｓｈｏｒｔ）内の斜め方向に隣接する同一色の画素の画素値を加算して出力する。この加算は、先に第４実施例において説明したアナログ加算であり、この処理により、ＡＤコンバータの処理負荷を軽減して高速フレームレートでの出力処理が可能となる。

　イメージセンサ６０２の出力するセンサ画像６０３は、図３２（ｂ）に示す画像となる。すなわち、
　短時間露光画素と長時間露光画素が行単位で交互に設定されたＲＧＢ画像６２１、
　短時間露光画素と長時間露光画素が行単位で交互に設定されたＷ画像６２２、
　これらの画像となる。
　これらの画像が配列変換部６０４に出力される。

　配列変換部６０４の実行する処理について図３３を参照して説明する。
　図３３に示すように、配列変換部６０４は、Ｗ画素補間部６５１、ＲＧＢＷ画素生成部６５２、ＨＤＲ合成処理部６５３、相関処理部６５４を有する。

　配列変換部６０４の入力するセンサ画像６０３は、先に図３２を参照して説明したように、
　短時間露光画素と長時間露光画素が行単位で交互に設定されたＲＧＢ画像６２１、
　短時間露光画素と長時間露光画素が行単位で交互に設定されたＷ画像６２２、
　これらの２種類の画像となる。

　Ｗ画素補間部６５１は、長時間露光画素と短時間露光画素が行単位で交互に設定されたＷ画像６２２を入力して、以下の２つの全Ｗ画素画像を生成する。すなわち、
　（１）全画素に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像６６１Ｌ、
　（２）全画素に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像６６１Ｓ、
　これらの画像を生成する。
　この補間処理は、先に説明した第１実施例における処理と同様の処理である。ただし、全Ｗ画素長時間露光画像６６１Ｌを生成する場合は、長時間露光画素のみを参照して処理を行い、全Ｗ画素短時間露光画像６６１Ｓを生成する場合は、短時間露光画素のみを参照して処理を行う。

　図３４を参照してＷ画素補間部６５１の処理について説明する。
　Ｗ画素補間部６５１は、長時間露光画素と短時間露光画素が行単位で交互に設定されたてＷ画像６２２を入力して、全画素に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像６６１Ｌ、全画素に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像６６１Ｓを生成する。

　全画素に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像６６１Ｌを生成する場合は、Ｗ画像６２２中の長時間露光されたＷ画素データのみを適用して、長時間露光Ｗ画素以外の欠落画素位置に長時間露光Ｗ画素値を設定するＷ画素補間処理を実行する。
　図３４には、この全画素に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像６６１Ｌを生成する処理構成を示している。

　なお、全画素に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像６６１Ｓを生成する場合は、Ｗ画像６２２中の短時間露光されたＷ画素データのみを適用して、短時間露光Ｗ画素以外の欠落画素位置に短時間露光Ｗ画素値を設定するＷ画素補間処理を実行する。
　これらの処理は、入出力データが異なるのみであり、基本的に図３４に示す構成によって処理が行われる。
　以下、代表例として、図３４を参照して画素に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像６６１Ｌを生成する処理について説明する。

　Ｗ画素補間部６５１は、図３４に示すように複数の異なる方向にあるＷ画素の画素値を参照画素とした平均化処理等のフィルタ処理を実行する複数の方向フィルタ６７１－１～Ｎと、エッジ方向を検出するエッジ方向検出部６７２と、フィルタ選択による補間画素値を決定するフィルタ選択部６７３を有する。

　全Ｗ画素長時間露光画像６６１Ｌを生成する場合、Ｗ画像６２２中の長時間露光されたＷ画素データ、すなわち図３４に示す長時間露光Ｗ画素６６０Ｌのみを選択入力する。この入力から、処理対象画素である補間画素位置を含む所定の参照領域（例えばｋ画素×ｋ画素）を設定する。エッジ方向検出部６７２は、参照領域の画素値に基づいてエッジ方向を検出し、フィルタ選択部６７３は、エッジ方向に沿って、すなわち画素値の勾配の小さい方向にあるＷ画素を参照画素としたフィルタ処理を実行するフィルタを選択して選択したフィルタを適用して補間画素値としてのＷ画素値を算出する。例えば勾配の小さい方向にあるＷ画素の画素値の平均値を算出して、処理対象画素位置のＷ画素値を設定する。

　図３５を参照して、エッジ方向検出処理と補間画素値の設定処理例について説明する。
　図３５において、Ｗ画素の補間画素位置を補間画素６８２に示す位置とする。
　すなわち、上の行に長時間露光Ｗ画素Ｗ１～Ｗ５が連続配置され、下の行に長時間露光Ｗ画素Ｗ６～Ｗ１０が連続配置された設定においてＷ３とＷ８の間の画素に長時間露光Ｗ画素を補間する処理である。

　この設定において、３方向のフィルタを適用した処理例について説明する。
　Ｗ１～Ｗ１０をそれぞれ各画素位置の画素値とする。
　各方向フィルタは、図３５（ａ）に示すように、以下のフィルタ処理を行う。
　方向１フィルタ：Ｆ１＝（Ｗ２＋Ｗ９）／２
　方向２フィルタ：Ｆ２＝（Ｗ３＋Ｗ８）／２
　方向３フィルタ：Ｆ３＝（Ｗ４＋Ｗ７）／２

　方向１フィルタＦ１は、エッジ方向が左斜め上方向の場合に適用するフィルタである。
　方向２フィルタＦ２は、エッジ方向が垂直方向の場合に適用するフィルタである。
　方向３フィルタＦ３は、エッジ方向が右斜め上方向の場合に適用するフィルタである。

　図３５（ｂ）に、エッジ方向検出部６７２の実行するエッジ方向判定と、フィルタ選択部６７３の実行するエッジ方向判定結果に基づくフィルタ選択処理例を示す。
　エッジ方向検出部６７２の実行するエッジ方向判定においては、まず、以下の式に従って３つのエッジ量を算出する。
　（１）左斜め上方向（方向１）のエッジ量：Ｄ１＝（｜Ｗ１－Ｗ８｜＋２｜Ｗ２－Ｗ９｜＋｜Ｗ３－Ｗ１０｜）／４
　（２）垂直方向（方向２）のエッジ量：Ｄ２＝（｜Ｗ２－Ｗ７｜＋２｜Ｗ３－Ｗ８｜＋｜Ｗ４－Ｗ９｜）／４
　（１）右斜め上方向（方向３）のエッジ量：Ｄ３＝（｜Ｗ３－Ｗ６｜＋２｜Ｗ４－Ｗ７｜＋｜Ｗ５－Ｗ８｜）／４

　エッジ方向検出部６７２は、次に、
　上記３つの方向のエッジ量に基づいて、以下のエッジ方向判定処理を行う。
　Ｄ１＜Ｄ２、かつ、Ｄ１＜Ｄ３のとき、
　エッジ方向＝左斜め上方向（方向１）、
　Ｄ３＜Ｄ１、かつ、Ｄ３＜Ｄ２のとき、
　エッジ方向＝右斜め上方向（方向３）、
　いずれでもない場合、
　エッジ方向＝垂直方向（方向２）、
　このようなエッジ方向判定を実行し、判定結果をフィルタ選択部６７３に出力する。

　フィルタ選択部６７３は、エッジ方向検出部６７２のエッジ方向判定結果を入力して、入力したエッジ方向判定結果に応じて、図３５（ａ）に示す３つの方向フィルタのいずれかを適用した補間画素値を算出する。

　すなわち、補間画素値Ｗを以下の（１）～（３）いずれかの選択フィルタの適用によって算出する。
　（１）エッジ方向＝左斜め上方向（方向１）である場合は、方向１フィルタＦ１を適用して、以下の補間画素値Ｗの算出を行う。
　Ｗ＝（Ｗ２＋Ｗ９）／２
　（２）エッジ方向＝垂直方向（方向２）である場合は、方向２フィルタＦ２を適用して、以下の補間画素値Ｗの算出を行う。
　Ｗ＝（Ｗ３＋Ｗ８）／２
　エッジ方向＝右斜め上方向（方向３）である場合は、方向３フィルタＦ３を適用して、以下の補間画素値Ｗの算出を行う。
　Ｗ＝（Ｗ４＋Ｗ７）／２

　Ｗ画素補間部６５１は、このようにして、センサ画像６０３中の長時間露光Ｗ画素６６０Ｌのみを適用して、長時間露光Ｗ画素以外の欠落画素位置に長時間露光Ｗ画素値を設定するＷ画素補間処理を実行して、全画素に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像６６１Ｌを生成する。
　Ｗ画素補間部６５１は、同様に、短時間露光Ｗ画素のみを適用して、短時間露光Ｗ画素以外の欠落画素位置に短時間露光Ｗ画素値を設定するＷ画素補間処理を実行して、全画素に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像６６１Ｓを生成する。

　図３３に示す配列変換部６０４のＲＧＢＷ画素生成部６５２は、長時間露光画素と短時間露光画素が行単位で交互に設定されたＲＧＢＷ配列を有するセンサ画像６０３を入力して、各画素位置におけるＲＧＢＷ各画素信号の低周波信号（ＬＰＦ信号）としてのＲＧＢＷ対応ＬＰＦ信号を生成する。

　この処理は、基本的には、先の実施例１において図７、図８を参照して説明した処理と同様の処理である。ただし、本実施例では、長時間露光画素のみを参照画素として利用して長時間露光ＲＧＢＷ信号の低周波信号（ＬＰＦ信号）である長時間露光ＬＰＦ信号６６２Ｌを生成し、さらに、短時間露光画素のみを参照画素として利用して、短時間露光ＲＧＢＷ信号の低周波信号（ＬＰＦ信号）である短時間露光ＬＰＦ信号６６２Ｓを生成する。

　ＨＤＲ合成部６５３は、Ｗ画素補間部６５１の生成信号と、ＲＧＢＷ画素生成部６５２の生成信号を入力して高ダイナミックレンジ（ＨＤＲ）画像を生成する。
　ＨＤＲ合成部６５３は、
　Ｗ画素補間部６５１の生成信号である、
　全Ｗ画素長時間露光画像６６１Ｌ
　全Ｗ画素短時間露光画像６６１Ｓ、
　ＲＧＢＷ画素生成部６５２の生成信号である、
　長時間露光ＬＰＦ信号６６２Ｌ、
　短時間露光ＬＰＦ信号６６２Ｓ
　これらの各信号を入力する。

　ＨＤＲ合成部６５３は、以下の２つの処理を実行する。
　（第１の処理）
　Ｗ画素補間部６５１の生成信号である、
　（ａ１）全Ｗ画素長時間露光画像６６１Ｌ、
　（ａ２）全Ｗ画素短時間露光画像６６１Ｓ、
　これらの２つの信号を入力して、高ダイナミックレンジ化した全Ｗ画素画像５６３を生成して出力する処理。
　（第２の処理）
　ＲＧＢＷ画素生成部６５２の生成信号である、
　（ｂ１）長時間露光ＬＰＦ信号６６２Ｌ、
　（ｂ２）短時間露光ＬＰＦ信号６６２Ｓ、
　これらの２つの信号を入力して、高ダイナミックレンジ化したＲＧＢＷ低周波（ＬＰＦ）信号６６４を生成して出力する処理。

　ＨＤＲ合成部６５３は、図３３に示すように、これらの２つの処理によって、
　（Ａ）高ダイナミックレンジ化した全Ｗ画素画像６６３、
　（Ｂ）高ダイナミックレンジ化したＲＧＢＷ低周波（ＬＰＦ）信号６６４、
　これらを生成して相関処理部６５４に出力する。

　ＨＤＲ合成部６５３の実行する処理は、先に第５実施例において図２９へ図３０を参照して説明した処理と同様の処理である。
　すなわち、長時間露光画素と短時間露光画素のブレンドによってＨＤＲ画像の画素値を設定する。
　長時間露光画素の画素値（ＤＬ）が暗い画素値である場合は、長時間露光画素の画素値を多く利用することで、ノイズの少ない画像を取得し、明るい被写体には短時間露光画素の画素値を多く利用することで、飽和の無い画像を取得する。

　相関処理部６５４は、ＨＤＲ合成処理部６５３から、
　（Ａ）高ダイナミックレンジ化した全Ｗ画素画像６６３、
　（Ｂ）高ダイナミックレンジ化したＲＧＢＷ低周波（ＬＰＦ）信号６６４、
　これらを入力して、これらの入力信号を適用して、ＲＧＢ配列を有するベイヤー配列ＨＤＲ画像６０５を生成して出力する。
　この相関処理部６５４は、先に図９等を参照して説明した第１実施例における相関処理部１５３と同様の処理を行う。

　このようにして、図３３に示す本実施例の画像処理装置の配列変換部６０４は、ベイヤー配列ＨＤＲ画像６０５を生成して図３１に示す階調変換部６０６に出力する。

　階調変換部６０６は、前述したように高ダイナミック化処理によって設定した画素値の範囲を次段のカメラ信号処理部６０８において処理可能な範囲に調整する処理を行う。例えばカメラ信号処理部６０８が処理可能な画素値が８ビットデータである場合、ベイヤー配列ＨＤＲ画像６０５の構成画素値を全て８ビット以内に設定する階調変換処理を実行する。この処理によって、階調変換ＨＤＲ画像６０７を生成して出力する。

　例えばセンサの出力が１２ｂｉｔ，露光比１６倍であれば、配列変換部の出力は１６ｂｉｔとなる。そのような信号を従来のカメラ信号処理でも扱えるような信号のビット幅まで圧縮する処理を行う。なお、この階調変換処理は既存技術の適用が可能である。
　このように、階調変換部６０６は、階調変換処理によって、階調変換ＨＤＲ画像６０７を生成してカメラ信号処理部６０８に出力する。

　その後の処理は、従来の撮像装置における処理と同様の処理を行うことができる。すなわち、カメラ信号処理部６０８は、階調変換ＨＤＲ画像６０７に対する信号処理、例えば、ホワイトバランス調整、ガンマ補正、デモザイク処理等の一般的なカメラ信号処理を実行し、出力画像６０９を生成する。

　このように、この第６実施例では、第１実施例等において説明した配列変換処理に加えて、イメージセンサにおける画素加算と、画像の高ダイナミックレンジ（ＨＤＲ）化を併せて実行する構成を持つ。
　なお、この第６実施例のＨＤＲ画像生成構成は、先に説明した第２実施例、第３実施例の処理に併せて適用することも可能である。

　　［７．イメージセンサ（撮像素子）の画素配列の例について］
　上述した第１～第６実施例では、イメージセンサの画素配列を図２（ａ）に示すＲＧＢＷ画素配列を有する構成とし、このイメージセンサ出力に基づいてＲＧＢ配列のベイヤー配列に変換する配列変換を実行する構成として説明した。
　しかし、上述した各実施例に従った処理は、図２（ａ）に示すＲＧＢＷ配列を持つイメージセンサからの出力のみならず、その他の画素配列を持つセンサ出力画像に対しても適用可能である。

　本開示の処理の適用可能な画素配列の例について、図３６～図３８を参照して説明する。
　図３６には、本開示の処理が適用可能な６×６画素周期のＲＧＢＷ画素配列の例を示している。
　図３６（１）に示す画素配列例１は、先に説明した図２（ａ）のＲＧＢＷ画素配列と同様の配列である。
　第１行から順に、
　（第１行）ＲＷＧＷＢＷの繰り返し、
　（第２行）ＷＲＷＧＷＢの繰り返し、
　（第３行）ＧＷＢＷＲＷの繰り返し、
　（第４行）ＷＧＷＢＷＲの繰り返し、
　（第５行）ＢＷＲＷＧＷの繰り返し、
　（第６行）ＷＢＷＲＷＧの繰り返し、
　となっている。
　以下、第７行以下は、上記の１～６行の繰り返しとなる。

　各行各列とも、Ｗ画素１画素を間挿してＲＧＢの各画素が順番に配置された構成であり、図３６（１）に示す６×６＝３６画素中、
　１／２の１８画素がＷ画素、
　１／６の６画素がＲ画素、
　１／６の６画素がＧ画素、
　１／６の６画素がＢ画素、
　このような設定となっている。

　図３６（２）に示す画素配列例２は、本開示の処理が適用可能な６×６画素周期のＲＧＢＷ画素配列のもう１つの配列である。
　第１行から順に、
　（第１行）ＲＷＧＷＢＷの繰り返し、
　（第２行）ＷＲＷＧＷＢの繰り返し、
　（第３行）ＢＷＲＷＧＷの繰り返し、
　（第４行）ＷＢＷＲＷＧの繰り返し、
　（第５行）ＧＷＢＷＲＷの繰り返し、
　（第６行）ＷＧＷＢＷＲの繰り返し、
　となっている。
　以下、第７行以下は、上記の１～６行の繰り返しとなる。

　各行各列とも、Ｗ画素１画素を間挿してＲＧＢの各画素が順番に配置された構成であり、図３６（２）に示す６×６＝３６画素中、
　１／２の１８画素がＷ画素、
　１／６の６画素がＲ画素、
　１／６の６画素がＧ画素、
　１／６の６画素がＢ画素、
　このような設定となっている。

　図３７（３）に示す画素配列例３は、本開示の処理が適用可能な６×４画素周期のＲＧＢＷ画素配列の配列例である。
　第１行から順に、
　（第１行）ＲＷＧＷＢＷの繰り返し、
　（第２行）ＷＲＷＧＷＢの繰り返し、
　（第３行）ＧＷＢＷＲＷの繰り返し、
　（第４行）ＷＧＷＢＷＲの繰り返し、
　となっている。
　以下、第５行以下は、上記の１～４行の繰り返しとなる。

　各行とも、Ｗ画素１画素を間挿してＲＧＢの各画素が順番に配置された構成であり、図３７（３）に示す６×４＝２４画素中、
　１／２の１２画素がＷ画素、
　１／６の４画素がＲ画素、
　１／６の４画素がＧ画素、
　１／６の４画素がＢ画素、
　このような設定となっている。

　図３７（４）に示す画素配列例４は、本開示の処理が適用可能な６×４画素周期のＲＧＢＷ画素配列のもう１つの配列例である。
　第１行から順に、
　（第１行）ＲＷＧＷＢＷの繰り返し、
　（第２行）ＷＧＷＲＷＢの繰り返し、
　（第３行）ＲＷＢＷＧＷの繰り返し、
　（第４行）ＷＧＷＲＷＢの繰り返し、
　となっている。
　以下、第５行以下は、上記の１～４行の繰り返しとなる。

　各行とも、Ｗ画素１画素を間挿してＲＧＢの各画素が順番に配置された構成であり、図３７（４）に示す６×４＝２４画素中、
　１／２の１２画素がＷ画素、
　１／６の４画素がＲ画素、
　１／６の４画素がＧ画素、
　１／６の４画素がＢ画素、
　このような設定となっている。

　図３７（５）に示す画素配列例５は、本開示の処理が適用可能な４×６画素周期のＲＧＢＷ画素配列の配列例である。
　第１行から順に、
　（第１行）ＲＷＧＷの繰り返し、
　（第２行）ＷＲＷＧの繰り返し、
　（第３行）ＧＷＢＷの繰り返し、
　（第４行）ＷＧＷＢの繰り返し、
　（第５行）ＢＷＲＷの繰り返し、
　（第６行）ＷＢＷＲの繰り返し、
　となっている。
　以下、第７行以下は、上記の１～６行の繰り返しとなる。

　各列とも、Ｗ画素１画素を間挿してＲＧＢの各画素が順番に配置された構成であり、図３７（５）に示す４×６＝２４画素中、
　１／２の１２画素がＷ画素、
　１／６の４画素がＲ画素、
　１／６の４画素がＧ画素、
　１／６の４画素がＢ画素、
　このような設定となっている。

　図３８（６）に示す画素配列例６は、本開示の処理が適用可能な６×２画素周期のＲＧＢＷ画素配列の配列例である。
　第１行から順に、
　（第１行）ＲＷＧＷＢＷの繰り返し、
　（第２行）ＷＲＷＧＷＢの繰り返し、
　となっている。
　以下、第３行以下は、上記の１～２行の繰り返しとなる。

　各行とも、Ｗ画素１画素を間挿してＲＧＢの各画素が順番に配置された構成であり、図３８（６）に示す６×２＝１２画素中、
　１／２の６画素がＷ画素、
　１／６の２画素がＲ画素、
　１／６の２画素がＧ画素、
　１／６の２画素がＢ画素、
　このような設定となっている。

　図３８（７）に示す画素配列例７は、本開示の処理が適用可能な２×６画素周期のＲＧＢＷ画素配列の配列例である。
　第１列から順に、
　（第１列）ＲＷＧＷＢＷの繰り返し、
　（第２列）ＷＲＷＧＷＢの繰り返し、
　となっている。
　以下、第３列以下は、上記の１～２列の繰り返しとなる。

　各列とも、Ｗ画素１画素を間挿してＲＧＢの各画素が順番に配置された構成であり、図３８（７）に示す２×６＝１２画素中、
　１／２の６画素がＷ画素、
　１／６の２画素がＲ画素、
　１／６の２画素がＧ画素、
　１／６の２画素がＢ画素、
　このような設定となっている。

　上述した第１～第６実施例に従った処理は、例えば、これらの図３６～図３８の画素配列例１～７のいずれの画素配列を持つイメージセンサの出力に対しても適用可能である。

　　［８．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　ＲＧＢ各色の波長光対応の受光素子であるＲＧＢ画素と、ＲＧＢのほぼ全波長光を受光する受光素子であるＷ画素を備えたＲＧＢＷ配列を有するイメージセンサと、
　前記イメージセンサの出力するＲＧＢＷ画素信号からなるセンサ画像を入力して画像処理を実行する画像処理部を有し、
　前記イメージセンサは、ＲＧＢＷ各画素からなる単位構成の周期配列を有し、前記単位構成内のＲＧＢ各画素の構成比を同一とした配列を有し、
　前記画像処理部は、
　前記ＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ＲＧＢ配列画像を生成する配列変換処理、または、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する信号処理の少なくともいずれかの処理を実行する画像処理装置。

　（２）前記画像処理部は、前記ＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ベイヤー配列からなるＲＧＢ配列画像を生成する配列変換部を有し、前記配列変換部は、前記センサ画像のＲＧＢ画素位置にＷ画素を設定して全Ｗ画素画像信号を生成するＷ画素補間部と、前記センサ画像の各画素位置におけるＲＧＢＷ各画素信号の低周波信号であるＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、前記全Ｗ画素画像信号と、前記ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のＲＧＢ画像を生成する相関処理部を有する前記（１）に記載の画像処理装置。
　（３）前記Ｗ画素補間部は、前記センサ画像のＷ画素の画素値を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定する前記（２）に記載の画像処理装置。

　（４）前記画像処理部は、前記センサ画像のデモザイク処理を実行して、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成するデモザイク処理部を有し、前記デモザイク処理部は、前記センサ画像のＲＧＢ画素位置にＷ画素を設定して全Ｗ画素画像信号を生成するＷ画素補間部と、前記センサ画像の各画素位置におけるＲＧＢＷ各画素信号の低周波信号であるＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、前記全Ｗ画素画像信号と、前記ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する相関処理部を有する前記（１）～（３）いずれかに記載の画像処理装置。
　（５）前記Ｗ画素補間部は、前記センサ画像のＷ画素の画素値を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定する前記（４）に記載の画像処理装置。
　（６）前記画像処理部は、前記デモザイク処理部の生成したＲＧＢ各画像信号に対して、予め設定した行列を適用した画素値変換を行うリニアマトリクス処理部を有する前記（４）または（５）に記載の画像処理装置。

　（７）前記画像処理部は、前記センサ画像のデモザイク処理を実行して、前記センサ画像の各画素位置にＲＧＢおよびＷの全画素値を設定したＲＧＢＷ各画像信号を生成するデモザイク処理部を有し、前記デモザイク処理部は、前記センサ画像のＲＧＢ画素位置にＷ画素を設定して全Ｗ画素画像信号を生成するＷ画素補間部と、前記センサ画像の各画素位置におけるＲＧＢＷ各画素信号の低周波信号であるＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、前記全Ｗ画素画像信号と、前記ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する相関処理部を有する。
　（８）前記画像処理部は、前記デモザイク処理部の生成したＲＧＢＷ各画像信号に対して、予め設定した行列を適用した画素値変換を行うリニアマトリクス処理部を有する前記（７）に記載の画像処理装置。

　（９）前記イメージセンサは、斜め方向に隣接する同一色の画素値の加算画素値を持つ画像をセンサ画像として出力する構成であり、前記画像処理部は、加算画素値によって構成されたＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ベイヤー配列からなるＲＧＢ配列画像を生成する配列変換部を有し、前記配列変換部は、前記センサ画像の各画素位置におけるＲＧＢＷ各画素信号の低周波信号であるＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、センサ画像として出力される全Ｗ画素画像信号と、前記ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のＲＧＢ画像を生成する相関処理部を有する前記（１）～（８）いずれかに記載の画像処理装置。

　（１０）前記イメージセンサは、制御部の制御に従って設定される長時間露光画素と短時間露光画素を含む画像をセンサ画像として出力する構成であり、前記画像処理部は、前記長時間露光画素と短時間露光画素を含むセンサ画像を適用して高ダイナミックレンジ（ＨＤＲ）画像を生成するとともに、画素配列を変換し、ベイヤー配列からなるＲＧＢ配列ＨＤＲ画像を生成する配列変換部を有し、前記配列変換部は、前記センサ画像の長時間露光画素信号を適用して、全画素位置に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像と、前記センサ画像の短時間露光画素信号を適用して、全画素位置に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像を生成するＷ画素補間部と、前記センサ画像の長時間露光画素信号を適用して、各画素位置における長時間露光ＲＧＢＷ各画素信号の低周波信号である長時間露光ＲＧＢＷ対応低周波信号と、前記センサ画像の短時間露光画素信号を適用して、各画素位置における短時間露光ＲＧＢＷ各画素信号の低周波信号である短時間露光ＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、前記全Ｗ画素長時間露光画像と、前記全Ｗ画素短時間露光画像、および、前記長時間露光ＲＧＢＷ対応低周波信号と、前記短時間露光ＲＧＢＷ対応低周波信号を入力して、高ダイナミックレンジ（ＨＤＲ）画像としての全Ｗ画素画像信号と、ＲＧＢＷ対応低周波信号を生成するＨＤＲ合成処理部と、前記ＨＤＲ合成処理部の生成する高ダイナミックレンジ（ＨＤＲ）画像としての全Ｗ画素画像信号と、ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のＲＧＢ画像を生成する相関処理部を有する前記（１）～（９）いずれかに記載の画像処理装置。

　（１１）前記ＨＤＲ合成処理部は、露光比に応じたゲイン調整後の短時間露光画素信号と長時間露光画素信号のブレンド処理により、高ダイナミックレンジ（ＨＤＲ）画像の構成画素値を算出する前記（１０）に記載の画像処理装置。
　（１２）前記Ｗ画素補間部は、前記センサ画像の長時間露光Ｗ画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定して全画素位置に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像を生成し、前記センサ画像の短時間露光Ｗ画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定して全画素位置に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像を生成する前記（１０）または（１１）に記載の画像処理装置。

　（１３）前記イメージセンサは、制御部の制御に従って２行の長時間露光画素行と短時間露光画素行が交互に設定され、さらに、２行単位の長時間露光画素行の斜め方向に隣接する同一色の画素値の加算画素値を持つ長時間露光画素信号と、２行単位の短時間露光画素行の斜め方向に隣接する同一色の画素値の加算画素値を持つ短時間露光画素信号とからなる画像をセンサ画像として出力する構成であり、前記画像処理部は、前記長時間露光画素と短時間露光画素を含むセンサ画像を適用して高ダイナミックレンジ（ＨＤＲ）画像を生成するとともに、画素配列を変換し、ベイヤー配列からなるＲＧＢ配列ＨＤＲ画像を生成する配列変換部を有し、前記配列変換部は、前記センサ画像の長時間露光画素信号を適用して、全画素位置に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像と、前記センサ画像の短時間露光画素信号を適用して、全画素位置に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像を生成するＷ画素補間部と、前記センサ画像の長時間露光画素信号を適用して、各画素位置における長時間露光ＲＧＢＷ各画素信号の低周波信号である長時間露光ＲＧＢＷ対応低周波信号と、前記センサ画像の短時間露光画素信号を適用して、各画素位置における短時間露光ＲＧＢＷ各画素信号の低周波信号である短時間露光ＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、前記全Ｗ画素長時間露光画像と、前記全Ｗ画素短時間露光画像、および、前記長時間露光ＲＧＢＷ対応低周波信号と、前記短時間露光ＲＧＢＷ対応低周波信号を入力して、高ダイナミックレンジ（ＨＤＲ）画像としての全Ｗ画素画像信号と、ＲＧＢＷ対応低周波信号を生成するＨＤＲ合成処理部と、前記ＨＤＲ合成処理部の生成する高ダイナミックレンジ（ＨＤＲ）画像としての全Ｗ画素画像信号と、ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のＲＧＢ画像を生成する相関処理部を有する前記（１）～（１２）いずれかに記載の画像処理装置。

　（１４）前記ＨＤＲ合成処理部は、露光比に応じたゲイン調整後の短時間露光画素信号と長時間露光画素信号のブレンド処理により、高ダイナミックレンジ（ＨＤＲ）画像の構成画素値を算出する前記（１３）に記載の画像処理装置。
　（１５）前記Ｗ画素補間部は、前記センサ画像の長時間露光Ｗ画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定して全画素位置に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像を生成し、前記センサ画像の短時間露光Ｗ画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定して全画素位置に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像を生成する前記（１３）または（１４）３に記載の画像処理装置。

　（１６）ＲＧＢ各色の波長光対応の受光素子であるＲＧＢ画素と、ＲＧＢのほぼ全波長光を受光する受光素子であるＷ画素を備えたＲＧＢＷ配列を有する撮像素子であり、前記イメージセンサは、ＲＧＢＷ各画素からなる単位構成の周期配列を有し、前記単位構成内のＲＧＢ各画素の構成比を同一とした配列を有する撮像素子。
　（１７）前記撮像素子は、６×６画素、または６×４画素、または６×２画素を単位構成とした周期配列を有し、単位構成中のＲＧＢＷ各画素の構成比は、１：１：１：３である前記（１６）に記載の撮像素子。
　（１８）前記撮像素子は、各行、各列にＲＧＢＷ各画素を配置した構成である前記（１６）または（１７）に記載の撮像素子。

　さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、ＲＧＢＷ画像を入力して色ノイズや偽色の少ないＲＧＢ画像を生成する装置および方法を提供する。
　具体的には、ＲＧＢＷ配列を有するイメージセンサと、イメージセンサの出力するＲＧＢＷ画素信号からなるセンサ画像を入力して画像処理を実行する画像処理部を有する。イメージセンサは、ＲＧＢＷ各画素からなる単位構成の周期配列を有し、単位構成内のＲＧＢ各画素の構成比を同一とした配列を有し、画像処理部は、ＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ＲＧＢ配列画像を生成する配列変換処理、または、センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する信号処理の少なくともいずれかの処理を実行する。
　本開示の構成では、イメージセンサの単位構成あたりのＲＧＢ各画素数が均等に設定されている。従って、各画素位置に対するＲＧＢ各色の画素値を設定する場合、参照領域から各色の画素値を十分取得することが可能となる。従って各画素位置に対するＲＧＢ各色の設定処理を高精度に行うことが可能となり、色ノイズや偽色の少ないＲＧＢ画像を生成することが可能となる。

　１００　画像処理装置
　１０１　レンズ
　１０２　イメージセンサ（撮像素子）
　１０３　センサ画像
　１０４　配列変換部
　１０５　ベイヤー配列画像
　１０６　カメラ信号処理部
　１０７　出力画像
　１０８　制御部
　１２２　垂直走査回路
　１２３　水平走査回路
　１２４　画素
　１３１　水平リセット線
　１３２　水平選択線
　１３３　垂直信号線
　１３４　信号出力線
　１５１　Ｗ画素補間部
　１５２　ＲＧＢＷ画素生成部
　１５３　相関処理部
　１７１　方向フィルタ
　１７２　エッジ方向検出部
　１７３　フィルタ選択部
　１８１　画素生成部
　１９１　出力色選択部
　１９２　相関演算部
　２００　画像処理装置
　２０１　レンズ
　２０２　イメージセンサ（撮像素子）
　２０３　センサ画像
　２０４　カメラ信号処理部
　２０５　出力画像
　２０６　制御部
　２１１　ホワイトバランス処理部
　２１２　デモザイク処理部
　２１３　リニアマトリクス処理部
　２１４　ガンマ変換部
　２２０　ゲイン情報
　２２１　座標情報
　２２２　入力色ゲイン選択部
　２２３　ゲイン処理部
　２２４　クリップ処理部
　２３１　Ｗ画素補間部
　２３２　ＲＧＢＷ画素生成部
　２３３　相関処理部
　２５１　相関演算部
　２６１　行列演算部
　２７１　ガンマ変換部
　４００　画像処理装置
　４０１　レンズ
　４０２　イメージセンサ（撮像素子）
　４０３　センサ画像
　４０４　配列変換部
　４０５　ベイヤー配列画像
　４０６　カメラ信号処理部
　４０７　出力画像
　４０８　制御部
　４５１　ＲＧＢＷ画素生成部
　４５２　相関処理部
　５００　画像処理装置
　５０１　レンズ
　５０２　イメージセンサ（撮像素子）
　５０３　センサ画像
　５０４　配列変換部
　５０５　ベイヤー配列ＨＤＲ画像
　５０６　階調変換部
　５０７　階調変換ＨＤＲ画像
　５０８　カメラ信号処理部
　５０９　出力画像
　５１０　制御部
　５５１　Ｗ画素補間部
　５５２　ＲＧＢＷ画素生成部
　５５３　ＨＤＲ合成処理部
　５５４　相関処理部
　５７１　方向フィルタ
　５７２　エッジ方向検出部
　５７３　フィルタ選択部
　５９０　露光比情報
　５９５　露光比ゲイン調整部
　５９６　ブレンド率算出部
　５９７　ブレンド処理部
　６００　画像処理装置
　６０１　レンズ
　６０２　イメージセンサ（撮像素子）
　６０３　センサ画像
　６０４　配列変換部
　６０５　ベイヤー配列ＨＤＲ画像
　６０６　階調変換部
　６０７　階調変換ＨＤＲ画像
　６０８　カメラ信号処理部
　６０９　出力画像
　６１０　制御部
　６５１　Ｗ画素補間部
　６５２　ＲＧＢＷ画素生成部
　６５３　ＨＤＲ日合成処理部
　６５４　相関処理部
　６７１　方向フィルタ
　６７２　エッジ方向検出部
　６７３　フィルタ選択部

Claims

　ＲＧＢ各色の波長光対応の受光素子であるＲＧＢ画素と、ＲＧＢのほぼ全波長光を受光する受光素子であるＷ画素を備えたＲＧＢＷ配列を有するイメージセンサと、
　前記イメージセンサの出力するＲＧＢＷ画素信号からなるセンサ画像を入力して画像処理を実行する画像処理部を有し、
　前記イメージセンサは、ＲＧＢＷ各画素からなる単位構成の周期配列を有し、前記単位構成内のＲＧＢ各画素の構成比を同一とした配列を有し、
　前記画像処理部は、
　前記ＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ＲＧＢ配列画像を生成する配列変換処理、または、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する信号処理の少なくともいずれかの処理を実行する画像処理装置。
　前記画像処理部は、
　前記ＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ベイヤー配列からなるＲＧＢ配列画像を生成する配列変換部を有し、
　前記配列変換部は、
　前記センサ画像のＲＧＢ画素位置にＷ画素を設定して全Ｗ画素画像信号を生成するＷ画素補間部と、
　前記センサ画像の各画素位置におけるＲＧＢＷ各画素信号の低周波信号であるＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、
　前記全Ｗ画素画像信号と、前記ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のＲＧＢ画像を生成する相関処理部を有する請求項１に記載の画像処理装置。
　前記Ｗ画素補間部は、
　前記センサ画像のＷ画素の画素値を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定する請求項２に記載の画像処理装置。
　前記画像処理部は、
　前記センサ画像のデモザイク処理を実行して、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成するデモザイク処理部を有し、
　前記デモザイク処理部は、
　前記センサ画像のＲＧＢ画素位置にＷ画素を設定して全Ｗ画素画像信号を生成するＷ画素補間部と、
　前記センサ画像の各画素位置におけるＲＧＢＷ各画素信号の低周波信号であるＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、
　前記全Ｗ画素画像信号と、前記ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する相関処理部を有する請求項１に記載の画像処理装置。
　前記Ｗ画素補間部は、
　前記センサ画像のＷ画素の画素値を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定する請求項４に記載の画像処理装置。
　前記画像処理部は、
　前記デモザイク処理部の生成したＲＧＢ各画像信号に対して、予め設定した行列を適用した画素値変換を行うリニアマトリクス処理部を有する請求項４に記載の画像処理装置。
　前記画像処理部は、
　前記センサ画像のデモザイク処理を実行して、前記センサ画像の各画素位置にＲＧＢおよびＷの全画素値を設定したＲＧＢＷ各画像信号を生成するデモザイク処理部を有し、
　前記デモザイク処理部は、
　前記センサ画像のＲＧＢ画素位置にＷ画素を設定して全Ｗ画素画像信号を生成するＷ画素補間部と、
　前記センサ画像の各画素位置におけるＲＧＢＷ各画素信号の低周波信号であるＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、
　前記全Ｗ画素画像信号と、前記ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する相関処理部を有する請求項１に記載の画像処理装置。
　前記画像処理部は、
　前記デモザイク処理部の生成したＲＧＢＷ各画像信号に対して、予め設定した行列を適用した画素値変換を行うリニアマトリクス処理部を有する請求項７に記載の画像処理装置。
　前記イメージセンサは、斜め方向に隣接する同一色の画素値の加算画素値を持つ画像をセンサ画像として出力する構成であり、
　前記画像処理部は、
　加算画素値によって構成されたＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ベイヤー配列からなるＲＧＢ配列画像を生成する配列変換部を有し、
　前記配列変換部は、
　前記センサ画像の各画素位置におけるＲＧＢＷ各画素信号の低周波信号であるＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、
　センサ画像として出力される全Ｗ画素画像信号と、前記ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のＲＧＢ画像を生成する相関処理部を有する請求項１に記載の画像処理装置。
　前記イメージセンサは、制御部の制御に従って設定される長時間露光画素と短時間露光画素を含む画像をセンサ画像として出力する構成であり、
　前記画像処理部は、
　前記長時間露光画素と短時間露光画素を含むセンサ画像を適用して高ダイナミックレンジ（ＨＤＲ）画像を生成するとともに、画素配列を変換し、ベイヤー配列からなるＲＧＢ配列ＨＤＲ画像を生成する配列変換部を有し、
　前記配列変換部は、
　前記センサ画像の長時間露光画素信号を適用して、全画素位置に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像と、
　前記センサ画像の短時間露光画素信号を適用して、全画素位置に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像を生成するＷ画素補間部と、
　前記センサ画像の長時間露光画素信号を適用して、各画素位置における長時間露光ＲＧＢＷ各画素信号の低周波信号である長時間露光ＲＧＢＷ対応低周波信号と、
　前記センサ画像の短時間露光画素信号を適用して、各画素位置における短時間露光ＲＧＢＷ各画素信号の低周波信号である短時間露光ＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、
　前記全Ｗ画素長時間露光画像と、前記全Ｗ画素短時間露光画像、および、
　前記長時間露光ＲＧＢＷ対応低周波信号と、前記短時間露光ＲＧＢＷ対応低周波信号を入力して、高ダイナミックレンジ（ＨＤＲ）画像としての全Ｗ画素画像信号と、ＲＧＢＷ対応低周波信号を生成するＨＤＲ合成処理部と、
　前記ＨＤＲ合成処理部の生成する高ダイナミックレンジ（ＨＤＲ）画像としての全Ｗ画素画像信号と、ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のＲＧＢ画像を生成する相関処理部を有する請求項１に記載の画像処理装置。
　前記ＨＤＲ合成処理部は、
　露光比に応じたゲイン調整後の短時間露光画素信号と長時間露光画素信号のブレンド処理により、高ダイナミックレンジ（ＨＤＲ）画像の構成画素値を算出する請求項１０に記載の画像処理装置。
　前記Ｗ画素補間部は、
　前記センサ画像の長時間露光Ｗ画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定して全画素位置に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像を生成し、
　前記センサ画像の短時間露光Ｗ画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定して全画素位置に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像を生成する請求項１０に記載の画像処理装置。
　前記イメージセンサは、制御部の制御に従って２行の長時間露光画素行と短時間露光画素行が交互に設定され、さらに、２行単位の長時間露光画素行の斜め方向に隣接する同一色の画素値の加算画素値を持つ長時間露光画素信号と、２行単位の短時間露光画素行の斜め方向に隣接する同一色の画素値の加算画素値を持つ短時間露光画素信号とからなる画像をセンサ画像として出力する構成であり、
　前記画像処理部は、
　前記長時間露光画素と短時間露光画素を含むセンサ画像を適用して高ダイナミックレンジ（ＨＤＲ）画像を生成するとともに、画素配列を変換し、ベイヤー配列からなるＲＧＢ配列ＨＤＲ画像を生成する配列変換部を有し、
　前記配列変換部は、
　前記センサ画像の長時間露光画素信号を適用して、全画素位置に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像と、
　前記センサ画像の短時間露光画素信号を適用して、全画素位置に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像を生成するＷ画素補間部と、
　前記センサ画像の長時間露光画素信号を適用して、各画素位置における長時間露光ＲＧＢＷ各画素信号の低周波信号である長時間露光ＲＧＢＷ対応低周波信号と、
　前記センサ画像の短時間露光画素信号を適用して、各画素位置における短時間露光ＲＧＢＷ各画素信号の低周波信号である短時間露光ＲＧＢＷ対応低周波信号を生成するＲＧＢＷ画素生成部と、
　前記全Ｗ画素長時間露光画像と、前記全Ｗ画素短時間露光画像、および、
　前記長時間露光ＲＧＢＷ対応低周波信号と、前記短時間露光ＲＧＢＷ対応低周波信号を入力して、高ダイナミックレンジ（ＨＤＲ）画像としての全Ｗ画素画像信号と、ＲＧＢＷ対応低周波信号を生成するＨＤＲ合成処理部と、
　前記ＨＤＲ合成処理部の生成する高ダイナミックレンジ（ＨＤＲ）画像としての全Ｗ画素画像信号と、ＲＧＢＷ対応低周波信号を入力し、Ｗ画素とＲＧＢ画素が正の相関を有するとの推定に基づく画素値算出により、前記センサ画像の構成画素の配列変換を行い、ベイヤー配列のＲＧＢ画像を生成する相関処理部を有する請求項１に記載の画像処理装置。
　前記ＨＤＲ合成処理部は、
　露光比に応じたゲイン調整後の短時間露光画素信号と長時間露光画素信号のブレンド処理により、高ダイナミックレンジ（ＨＤＲ）画像の構成画素値を算出する請求項１３に記載の画像処理装置。
　前記Ｗ画素補間部は、
　前記センサ画像の長時間露光Ｗ画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定して全画素位置に長時間露光Ｗ画素を設定した全Ｗ画素長時間露光画像を生成し、
　前記センサ画像の短時間露光Ｗ画素信号を適用してエッジ方向を検出し、検出したエッジ方向にある画素を参照画素として、補間画素位置のＷ画素値を決定して全画素位置に短時間露光Ｗ画素を設定した全Ｗ画素短時間露光画像を生成する請求項１３に記載の画像処理装置。
　ＲＧＢ各色の波長光対応の受光素子であるＲＧＢ画素と、ＲＧＢのほぼ全波長光を受光する受光素子であるＷ画素を備えたＲＧＢＷ配列を有する撮像素子であり、
　前記イメージセンサは、ＲＧＢＷ各画素からなる単位構成の周期配列を有し、前記単位構成内のＲＧＢ各画素の構成比を同一とした配列を有する撮像素子。
　前記撮像素子は、６×６画素、または６×４画素、または６×２画素を単位構成とした周期配列を有し、単位構成中のＲＧＢＷ各画素の構成比は、１：１：１：３である請求項１６に記載の撮像素子。
　前記撮像素子は、各行、各列にＲＧＢＷ各画素を配置した構成である請求項１６に記載の撮像素子。
　画像処理装置において実行する画像処理方法であり、
　前記画像処理装置は、ＲＧＢ各色の波長光対応の受光素子であるＲＧＢ画素と、ＲＧＢのほぼ全波長光を受光する受光素子であるＷ画素を備えたＲＧＢＷ各画素からなる単位構成の周期配列を有し、前記単位構成内のＲＧＢ各画素の構成比を同一とした配列を有する撮像素子の出力であるセンサ画像に対する画像処理を実行する画像処理部を有し、
　前記画像処理部は、
　前記ＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ＲＧＢ配列画像を生成する配列変換処理、または、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する信号処理の少なくともいずれかの処理を実行する画像処理方法。
　画像処理装置において画像処理を実行させるプログラムであり、
　前記画像処理装置は、ＲＧＢ各色の波長光対応の受光素子であるＲＧＢ画素と、ＲＧＢのほぼ全波長光を受光する受光素子であるＷ画素を備えたＲＧＢＷ各画素からなる単位構成の周期配列を有し、前記単位構成内のＲＧＢ各画素の構成比を同一とした配列を有する撮像素子の出力であるセンサ画像に対する画像処理を実行する画像処理部を有し、
　前記プログラムは前記画像処理部に、
　前記ＲＧＢＷ画素信号からなるセンサ画像の画素配列を変換し、ＲＧＢ配列画像を生成する配列変換処理、
　または、前記センサ画像の各画素位置にＲＧＢの全画素値を設定したＲＧＢ各画像信号を生成する信号処理の少なくともいずれかの処理を実行させるプログラム。