JP6816768B2 - 画像処理装置と画像処理方法 - Google Patents

Description

この技術は、画像処理装置と画像処理方法に関し、複数の撮像部で取得された撮像画を用いて画質を低下させることなく高感度の撮像画を得られるようにする。

従来、携帯型の電子機器例えばスマートフォン等の情報処理端末では、小型化・薄型化のために撮像部の画質が一眼レフカメラ等に比べて低下している。このため、例えば特許文献１では、情報処理端末に対して着脱可能なカメラで生成された撮像画を、無線通信で情報処理端末に供給することが行われている。また、特許文献２では、複数の撮像部を設けて、画質の異なる複数の画像例えば第１の画角と第１の画角よりも狭い第２の画角の画像を同時に生成することが開示されている。

特開２０１５−０８８８２４号公報 特開２０１３−２１９５２５号公報

ところで、着脱可能なカメラは、情報処理端末の撮像部に比べてサイズが大きく、着脱可能なカメラを利用する場合には情報処理端末との通信を確立する必要がある。このため良好な撮像画を得るための操作が煩雑で携帯性も低下する。また、複数の撮像部を設けても、取得できる画像はそれぞれの撮像部の性能に応じた画像である。

そこで、この技術では複数の撮像部で取得された撮像画を用いて画質を低下させることなく高感度の撮像画を得ることができる画像処理装置と画像処理方法を提供することを目的とする。

この技術の第１の側面は、
被写体が撮像された白黒撮像画と前記被写体が異なる視点位置から撮像されたカラー撮像画をフュージョンさせたフュージョン画像を生成するフュージョン処理部と、
前記フュージョン処理部で生成したフュージョン画像が所定の条件を満たすか否かを判定するフュージョン判定処理部とを備え、
前記フュージョン判定処理部は、前記白黒撮像画と前記カラー撮像画に関する特徴量として、前記白黒撮像画と前記カラー撮像画の画素の飽和に基づいて算出した特徴量を用いて、前記特徴量に基づき前記フュージョン画像が所定の条件を満たすか否かを判定して、前記所定の条件が満たされていると判定した場合は前記フュージョン画像を出力すると決定し、前記所定の条件が満たされていないと判定した場合は前記フュージョン画像以外の画像を出力すると決定する
画像処理装置にある。

この技術では、被写体が撮像された白黒撮像画と被写体が異なる視点位置から撮像されたカラー撮像画を用いて算出した特徴量に基づき、白黒撮像画またはカラー撮像画を基準として白黒撮像画とカラー撮像画をフュージョンさせたフュージョン画像が所定の条件を満たすか否かに応じて出力する画像をフュージョン判定処理部で決定する。例えば画質の劣化を生じないことを判定した場合はフュージョン画像を出力し、前記所定の条件が満たされていないと判定した場合は前記フュージョン画像以外の画像を出力するとフュージョン判定処理部で決定する。

フュージョン判定処理部は、例えば白黒撮像画とカラー撮像画の視差に基づいて特徴量を算出して、算出した特徴量と予め設定されている判定閾値を比較して、比較結果に基づき画質の劣化を生じるか否かの判定を行う。具体的には、画素毎の視差のばらつきを示す統計量を特徴量として、視差のばらつきが判定閾値よりも大きい場合に画質の劣化を生じると判定する。また、フュージョン判定処理部は、画素毎の視差において所定範囲の視差量を超える画素の割合を特徴量として、所定範囲の視差量を超える画素の割合が判定閾値の割合よりも大きい場合に画質の劣化が生じると判定する。また、画素毎に当該画素から視差方向に所定距離だけ離れた画素と逆方向に所定距離だけ離れた画素の視差差分絶対値を算出して、視差差分絶対値が所定量を超える画素の割合を特徴量して、所定量を超える画素の割合が判定閾値の割合よりも大きい場合に画質の劣化を生じると判定する。

また、フュージョン判定処理部は、例えば白黒撮像画とカラー撮像画の画素の飽和に基づいて特徴量を算出して、算出した特徴量と予め設定されている判定閾値を比較して、比較結果に基づき画質の劣化を生じるか否かの判定を行う。具体的には、カラー撮像画の画像データから生成した輝度成分画像データにおける飽和判定設定値以上の画素と白黒撮像画の画像データにおける飽和判定設定値以上の画素の画素数差に基づく特徴量を算出して、特徴量が判定閾値よりも大きい場合に画質の劣化を生じると判定する。

また、フュージョン判定処理部は、カラー撮像画の画像データから輝度成分画像データと色成分画像データを生成して、輝度成分画像データのばらつきと色成分画像データのばらつきの差を特徴量として、ばらつきの差が判定閾値のばらつきの差よりも大きい場合に画質の劣化を生じると判定する。

また、フュージョン判定処理部は、白黒撮像画と取得する撮像部とカラー撮像画を取得する撮像部に関するカメラ情報、例えば白黒撮像画とカラー撮像画の撮像設定情報を特徴量として用いる。

さらに、フュージョン判定処理部は、白黒撮像画とカラー撮像画の撮像設定情報に応じて判定閾値を変更する。例えば、フュージョン判定処理部は、撮像設定情報としてＩＳＯ感度を用いて、ＩＳＯ感度が低くなるに伴い画質の劣化を生じると判定されやすくなるように判定閾値を設定する。また、フュージョン判定処理部は、撮像設定情報として焦点距離を用いて、焦点距離が短くなるに伴い画質の劣化を生じると判定されやすくなるように判定閾値を設定する。

フュージョン判定処理部は、フュージョン画像の生成で画質の劣化を生じないと判定した場合にフュージョン画像を選択して、画質の劣化を生じると判定した場合にカラー撮像画を選択する。

また、フュージョン判定処理部は、白黒撮像画を基準として生成したフュージョン画像とからー撮像画を基準として生成したフュージョン画像が画質の劣化を生じるか判定して、白黒撮像画を基準として生成したフュージョン画像が画質の劣化を生じないと判別した場合に白黒撮像画を基準として生成したフュージョン画像の選択処理を行い、白黒撮像画を基準として生成したフュージョン画像とからー撮像画を基準として生成したフュージョン画像が画質の劣化を生じると判別した場合にカラー撮像画の選択処理を行い、他の場合にからー撮像画を基準として生成したフュージョン画像の選択処理を行う。

この技術の第２の側面は、
被写体が撮像された白黒撮像画と前記被写体が異なる視点位置から撮像されたカラー撮像画をフュージョンさせたフュージョン画像をフュージョン処理部で生成することと、
前記白黒撮像画と前記カラー撮像画に関する特徴量として、前記白黒撮像画と前記カラー撮像画の画素の飽和に基づいて算出した特徴量を用いて、前記特徴量に基づき前記フュージョン画像が所定の条件を満たすか否かをフュージョン判定処理部で判定して、前記所定の条件が満たされていると判定した場合は前記フュージョン画像を出力すると決定し、前記所定の条件が満たされていないと判定した場合は前記フュージョン画像以外の画像を出力すると決定することと
を含む画像処理方法にある。

この技術によれば、被写体が撮像された白黒撮像画と前記被写体が異なる視点位置から撮像されたカラー撮像画をフュージョンさせたフュージョン画像がフュージョン処理部で生成されて、フュージョン判定処理部では、生成されたフュージョン画像が所定の条件を満たすか否かの判定を行い、所定の条件を満たしている判定した場合はフュージョン画像を出力すると決定し、所定の条件が満たされていないと判定した場合はフュージョン画像以外の画像を出力すると決定することが行われる。このため、複数の撮像部で取得された撮像画を用いて画質を低下させることなく高感度の撮像画を得られるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像処理装置を適用した機器の外観を例示した図である。 情報処理端末の構成を例示した図である。 撮像部の画素配列を例示した図である。 フュージョン処理によって得られる画質を説明するための図である。 白黒撮像画を基準としたときのオクルージョンを示した図である。 第１の実施の形態の構成を例示した図である。 フュージョン判定処理部の構成を例示した図である。 画像特徴量の算出対象領域を例示した図である。 視差ヒストグラムを例示した図である。 視差差分絶対値を説明するための図である。 視差ギャップヒストグラムを例示した図である。 画素値ヒストグラムを例示した図である。 第１の実施の形態の動作を示すフローチャートである。 フュージョン判定処理を示すフローチャートである。 視差分布特徴量と判定閾値を例示した図である。 フュージョン判定結果を例示した図である。 画像データ選択判定部の他の構成を例示した図である。 カメラ特徴量と判定閾値の関係（ＩＳＯ感度をカメラ特徴量とした場合）を示した図である。 カメラ特徴量と判定閾値の関係（ＩＳＯ感度とフォーカス位置をカメラ特徴量とした場合）を示した図である。 第３の実施の形態の構成を例示した図である。 フュージョン判定処理部の構成を例示した図である。 第３の実施の形態の動作を示すフローチャートである。 フュージョン判定処理を示すフローチャートである。 フュージョン判定処理部の動作を例示した図である。 中間画像として合成画像を生成する場合の動作を例示した図である。 中間画像として視点移動画像を生成する場合の動作を例示した図である。 からー撮像画を基準としたフュージョン処理によって得られる画質を説明するための図である。 第４の実施の形態の構成を例示した図である。 第５の実施の形態の構成を例示した図である。 デモザイク画像とフュージョン画像の画質とＩＳＯ感度の関係を例示した図である。 フュージョン判定処理部の一部の構成を例示した図である。 端部領域を例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置を適用した機器の構成
２．画像処理装置の第１の実施の形態
２−１．第１の実施の形態の構成
２−２．第１の実施の形態の動作
３．画像処理装置の第２の実施の形態
３−１．第２の実施の形態の構成と動作
４．画像処理装置の第３の実施の形態
４−１．第３の実施の形態の構成
４−２．第３の実施の形態の動作
５．画像処理装置の第４の実施の形態
５−１．第４の実施の形態の構成と動作
６．画像処理装置の第５の実施の形態
６−１．第５の実施の形態の構成と動作
７．他の実施の形態
８．応用例

＜１．画像処理装置を適用した機器の構成＞
図１は、この技術の画像処理装置を適用した機器の外観を例示している。なお、以下の説明では、例えば情報処理端末に画像処理装置を適用している。図１の（ａ）は情報処理端末１０の表側を示しており、表示部５３および操作部５５が表側に設けられている。図１の（ｂ）は情報処理端末１０の裏側を示しており、複数の撮像部例えば２つの撮像部２１-BW，２１-CRが裏側に設けられている。

図２は、情報処理端末の構成を例示している。情報処理端末１０は、複数の撮像部例えば２つの撮像部２１-BW，２１-CR、画像処理部３０、センサ部５１、通信部５２、表示部５３、タッチパネル５４、操作部５５、記憶部５６、および制御部６０を有している。画像処理部３０はこの技術の画像処理装置に相当する。

撮像部２１-BW，２１-CRは、図１の（ｂ）に示すように情報処理端末１０の同一面側に設けられている。撮像部２１-BW，２１-CRは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を用いて構成されており、レンズ（図示せず）により取り込まれた光の光電変換を行い、撮像画の画像データを生成して画像処理部３０へ出力する。また、撮像部２１-BW，２１-CRは特性差を有している。

図３は、撮像部の画素配列を例示している。図３の（ａ）は、撮像部２１-BWの画素配列を示している。撮像部２１-BWは、全画素が、可視光の全波長領域の入射光量に基づく電気信号を出力するＷ（ホワイト）画素によって構成される。したがって、撮像部２１-BWは、白黒撮像画の画像データを生成する。

図３の（ｂ）は、撮像部２１-CRの画素配列を示している。撮像部２１-CRは、例えば赤色（Ｒ）画素と青色（Ｂ）画素と緑色（Ｇ）画素をベイヤ配列としたカラーフィルタを用いて構成されている。ベイヤ配列では２×２画素の画素単位において対角位置の２つの画素が緑色（Ｇ）画素で、残りの画素が赤色（Ｒ）画素と青色（Ｂ）画素とされている。すなわち、撮像部２１-CRは、各画素が赤色と青色と緑色のいずれか１つの色成分の入射光量に基づく電気信号を出力する色画素によって構成されている。したがって、撮像部２１-CRは、各画素が三原色（ＲＧＢ）成分のいずれかを示すカラー撮像画の画像データを生成する。

画像処理部３０は、撮像部２１-BWと撮像部２１-CRで取得された撮像画を用いて、画質を低下させることなく高感度の撮像画を得る。すなわち、画像処理部３０は、撮像部２１-BWと撮像部２１-CRで取得された撮像画を用いて画像処理を行い、撮像部２１-BWや撮像部２１-CRで個々に取得される撮像画よりも画質を低下させることなく感度の高い撮像画を生成して、表示部５３や記憶部５６へ出力する。なお、画像処理部３０の構成および動作の詳細については後述する。

センサ部５１はジャイロセンサなどを用いて構成されており、情報処理端末１０に生じた揺れを検出する。センサ部５１は、検出した揺れの情報を制御部６０へ出力する。

通信部５２は、ＬＡＮ(Local Area Network)やインターネットなどのネットワーク上の機器と通信を行う。

表示部５３は、画像処理部３０から供給された画像データに基づき撮像画の表示、制御部６０からの情報信号に基づきメニュー画面や各種アプリケーション画面等の表示を行う。また、表示部５３の表示面側にはタッチパネル５４が載置されており、ＧＵＩ機能利用できるように構成されている。

操作部５５は操作スイッチ等を用いて構成されており、ユーザ操作に応じた操作信号を生成して制御部６０へ出力する。

記憶部５６は、情報処理端末１０で生成された情報例えば画像処理部３０から供給された画像データや、情報処理端末１０で通信やアプリケーションを実行するために用いられる各種情報を記憶する。

制御部６０は、ＣＰＵ（Central Processing Unit），ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory）（図示せず）などで構成されている。制御部６０は、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行して、タッチパネル５４や操作部５５に対するユーザ操作に応じた動作が情報処理端末１０で行われるように各部の動作を制御する。

なお、情報処理端末１０は、図２に示す構成に限られず、例えば画像データを符号化して記憶部５６に記憶するための符号化処理部、画像データを表示部の解像度に合わせる解像度変換部等が設けられてもよい。

＜２．画像処理装置の第１の実施の形態
＜２−１．第１の実施の形態の構成＞
第１の実施の形態の画像処理部３０-1は、撮像部２１-BWで取得された白黒撮像画と撮像部２１-CRで取得されたカラー撮像画を用いてフュージョン処理を行う。図４は、フュージョン処理によって得られる画質を説明するための図である。例えば、白黒撮像画を基準としてカラー撮像画を位置合わせしたのちフュージョンさせてフュージョン画像を生成すると、撮像部２１-BWで用いられているレンズおよびセンサの特性に応じて輝度を高めることができる。しかし、撮像部２１-BWと撮像部２１-CRでは視点が異なることから、遠景に比べて近景では色ずれを生じるリスクが高くなる。また、遠景に比べて近景ではオクルージョンが増加する。図５は、撮像部２１-BWで取得される白黒撮像画を基準としたときのオクルージョンを示している。視差によってオクルージョンが生じると、撮像部２１-CRで取得されたカラー撮像画ではオクルージョン領域に対応する画像データがない。このため、後述するようにフュージョン処理によって生成されたフュージョン画像ではオクルージョン領域で色情報が欠落した画像となる。さらに、遠景に比べて近景の画素では一方の撮像画における注目画素に対応する画素が視差検出の探索範囲を超えて、視差ベクトルを算出できないおそれもある。したがって、フュージョン処理によって得られるフュージョン画像は、撮像部２１-CRで取得されたカラー撮像画よりも画質が劣化する場合がある。

また、撮像部２１-BWはカラーフィルタを用いた撮像部２１-CRに比べて感度が高いことから、被写体の輝度が高くなると、撮像部２１-CRに比べて画素の飽和を生じやすい。このように白黒撮像画において飽和した画素が多くなると、フュージョン画像では、撮像部２１-CRで取得されたカラー撮像画に比べて被写体の高輝度部分がより多く飽和している画質の劣化したカラー画像となってしまう。

このため、画像処理部３０-1は、撮像画に基づき視差や画素の飽和に起因する画質の劣化を生じるか否かのフュージョン判定を行う。画像処理部３０-1は、フュージョン判定結果に応じてフュージョン画像または撮像部２１-CRで取得されたカラー撮像画を選択することで、撮像部２１-CRで取得されたカラー撮像画以上の画質で高感度であるカラー撮像画を出力する。

図６は、第１の実施の形態の構成を例示している。画像処理部３０-1は、前処理部３１-BW，３１-CR、視差検出部３２、視差補償部３３-cb、デモザイク処理部３４、フュージョン処理部３５-fb、フュージョン判定処理部３６-1、画像選択部３９を有している。

前処理部３１-BWは、撮像部２１-BWで取得された白黒撮像画の画像データに対して、レンズ歪補正や欠陥画素補正等の補正処理を行う。前処理部３１-BWは、補正後の画像データ（以下「白黒画像データ」という）を視差検出部３２とフュージョン処理部３５-fbおよびフュージョン判定処理部３６-1へ出力する。

前処理部３１-CRは、撮像部２１-CRで取得されたカラー撮像画の画像データに対して、レンズ歪補正や欠陥画素補正等の補正処理を行う。前処理部３１-CRは、補正後の画像データ（以下「デモザイク前カラー画像データ」という）を視差検出部３２と視差補償部３３-cb、デモザイク処理部３４およびフュージョン判定処理部３６-1へ出力する。

視差検出部３２は、前処理部３１-BWから供給された白黒画像データと前処理部３１-CRから供給されたデモザイク前カラー画像データに基づいて視差検出を行い、検出した視差を示す視差情報を生成する。撮像部２１-BWと撮像部２１-CRは、図１の（ｂ）に示すように異なる視点位置から撮像を行うため、撮像部２１-BWと撮像部２１-CRで取得された撮像画は視差を持つ画像となる。したがって、視差検出部３２は、前処理部３１-BWと前処理部３１-CRから供給された画像データに基づいて画素毎の視差を示す視差情報を生成する。

視差検出部３２は、ブロックマッチングなどの対応点検出処理によって視差情報を生成する。例えば、視差検出部３２は、撮像部２１-BW，２１-CRのいずれか一方で取得された撮像画を基準撮像画として、基準撮像画上の注目位置を基準とした基準ブロック領域に最も類似する他方の撮像画上のブロック領域を検出する。視差検出部３２は、検出したブロック領域と基準ブロック領域の位置の差を示す視差ベクトルを算出する。また、視差検出部３２は、基準撮像画上の各画素を注目位置として視差の算出を行い、画素毎に算出した視差ベクトルを示す視差情報を生成して視差補償部３３-cbとフュージョン判定処理部３６-1へ出力する。

視差補償部３３-cbは、視差検出部３２から供給された視差情報に基づきデモザイク前カラー画像データの視差補償を行う。視差補償部３３-cbは、前処理部３１-CRから供給されたデモザイク前カラー画像データに対して視差検出部３２で生成された視差情報に基づき画素位置の移動を行い、撮像部２１-BWで取得された白黒撮像画の視点である視差補償カラー画像データを生成する。視差補償部３３-cbは、生成した視差補償カラー画像データをフュージョン処理部３５-fbへ出力する。

デモザイク処理部３４は、前処理部３１-CRから供給されたデモザイク前カラー画像データを用いてデモザイク処理を行う。デモザイク処理では、各画素が赤色と青色と緑色のいずれか１つの色成分を示すデモザイク前カラー撮像データから画素毎に赤色と青色と緑色の各色成分を示す三原色画像データを生成するデモザイク処理を行う。デモザイク処理部３４は、デモザイク処理によって生成した三原色画像データ（以下「デモザイク画像データ」という）を画像選択部３９へ出力する。

フュージョン処理部３５-fbは、前処理部３１-BWから供給された白黒画像データと視差補償部３３-cbから供給された視差補償カラー画像データを用いてフュージョン処理を行う。すなわち、フュージョン処理部３５-fbは、白黒撮像画データと視差補償後のカラー撮像画データを用いることで、図４を用いて説明したように、白黒撮像画を基準としたフュージョン処理を行う。フュージョン処理部３５-fbは、フュージョン処理によって生成したフュージョン画像データを画像選択部３９へ出力する。

フュージョン判定処理部３６-1は、被写体を撮像して取得した白黒撮像画と被写体を異なる視点位置から撮像して取得したカラー撮像画を用いて算出した特徴量に基づき、白黒撮像画を基準として白黒撮像画とカラー撮像画をフュージョンさせたフュージョン画像が画質の劣化を生じるか否かのフュージョン判定を行う。フュージョン判定処理部３６-1は、フュージョン判定結果に基づきフュージョン画像またはカラー撮像画のいずれを出力するか決定する。例えばフュージョン判定処理部３６-1は、白黒画像データとデモザイク前カラー画像データに基づき視差および画素の飽和に起因する画質の劣化をフュージョン処理で生じるか否かのフュージョン判定を行う。また、フュージョン判定処理部３６-1は、フュージョン判定結果に応じて画像選択信号を生成して画像選択部３９へ出力する。

画像選択部３９は、フュージョン判定処理部３６-1から供給された画像選択信号に基づき、フュージョン画像が画質の劣化を生じないと判定されている場合は、フュージョン処理部３５-fbで生成されたフュージョン画像データを選択して出力する。また、画像選択部３９は、フュージョン判定処理部３６-1から供給された画像選択信号に基づき、フュージョン画像が画質の劣化を生じると判定されている場合は、デモザイク処理部３４で生成されたデモザイク画像データを選択して出力する。このように、画像選択部３９は、フュージョン判定処理部３６-1から供給された画像選択信号に基づき、フュージョン画像データまたはデモザイク画像データを選択して、撮像部２１-CRで取得されたカラー撮像画以上の画質を有する高感度のカラー画像データを出力する。

次に、フュージョン判定処理部の構成について説明する。図７はフュージョン判定処理部の構成を例示している。フュージョン判定処理部３６-1は、画像特徴量算出部３７と画像データ選択判定部３８-1を有している。

画像特徴量算出部３７は、視差および画素の飽和に起因する画質の劣化判定を行うための画像特徴量を算出する。画像特徴量算出部３７は、視差に起因する画質の劣化判定を行うための画像特徴量を算出する機能ブロックとして、視差ヒストグラム生成部３７１、視差分布特徴量算出部３７２、サーチ範囲超え特徴量算出部３７３、視差ギャップヒストグラム生成部３７４、視差ギャップ特徴量算出部３７５を有している。また、画像特徴量算出部３７は、画素の飽和に起因する画質の劣化判定を行うための画像特徴量を算出する機能ブロックとして、飽和判定ヒストグラム生成部３７６、飽和特徴量算出部３７７を有している。なお、画像特徴量算出部３７は、撮像画全体を画像特徴量の算出対象領域としてもよく、図８に示すように、撮像画において上下左右の端部側の領域（斜線で示す領域）を除いて算出対象領域を設定してもよい。このように、端部側の領域を除いて算出対象領域を設定すれば、例えば注目画素が側端の位置であるために視差や後述する視差ギャップ距離等の算出ができなくなってしまうことを防止することが可能となり、精度よく画像特徴を算出できるようになる。また、ヒストグラムの生成等の演算コストも低減できる。

視差ヒストグラム生成部３７１は、算出対象領域の各画素について算出されている視差ベクトルを用いてヒストグラムを生成する。なお、図９は、視差ヒストグラムを例示しており、図９の（ａ）は、被写体が同一平面に近い状態であるの撮像画の視差ヒスグラム、図９の（ｂ）は、被写体までの距離が異なる撮像画の視差ヒストグラムを例示している。この視差ヒストグラムでは、距離の違いにより視差「０」からマイナス方向に離れた位置にピークを生じている。図９の（ｃ）は、被写体までの距離が異なり複数の視差を生じており、被写体が接近していることで大きな視差を生じる状態である撮像画の視差ヒストグラムを例示している。この視差ヒストグラムでは、図９の（ｂ）に比べて被写体が接近して大きさ視差を生じていることから、図９の（ｂ）よりもマイナス方向にさらに離れた位置にピークを生じている。

視差分布特徴量算出部３７２は、視差ヒストグラム生成部３７１で生成された視差ヒストグラムから視差分布の特徴を示す統計量を視差分布特徴量として算出する。視差分布特徴量算出部３７２は、視差分布の特徴を示す統計量として例えば標準偏差を算出して、算出した標準偏差を視差分布特徴量ＦＶfsdとする。例えば図９の（ａ）のヒストグラムから算出した視差分布特徴量を「ＦＶfsd-a」、図９の（ｂ）のヒストグラムから算出した視差分布特徴量「ＦＶfsd-b」、図９の（ｃ）のヒストグラムから算出した視差分布特徴量「ＦＶfsd-c」とする。この場合、視差分布特徴量は「ＦＶfsd-a＜ＦＶfsd-b，ＦＶfsd-c」となる。このように、視差分布特徴量算出部３７２で視差ヒストグラムの標準偏差を視差分布特徴量ＦＶfsdとして算出すれば、後述する画像データ選択判定部３８-1は、視差分布特徴量ＦＶfsdに基づき、被写体が同一平面に近いかあるいは複数の視差があるか判定できる。

サーチ範囲超え特徴量算出部３７３は、視差ヒストグラム生成部３７１で生成された視差ヒストグラムから予め設定されているサーチ範囲以上の視差を生じている度数（over_search_range_counter）の全度数（counter）に対する割合を示すサーチ範囲超え特徴量ＦＶosrを算出する。サーチ範囲超え特徴量算出部３７３は、視差ヒストグラムを用いて式（１）の演算を行いサーチ範囲超え特徴量ＦＶosrを算出する。
ＦＶosr＝over_search_range_counter / counter *100 ・・・（１）

例えば、図９の（ａ）のヒストグラムから算出したサーチ範囲超え特徴量を「ＦＶosr-a」とする。また、図９の（ｂ）のヒストグラムから算出したサーチ範囲超え特徴量を「ＦＶosr-b」、図９の（ｃ）のヒストグラムから算出したサーチ範囲超え特徴量を「ＦＶosr-c」とする。この場合、サーチ範囲超え特徴量は「ＦＶosr-a，ＦＶosr-b＜ＦＶosr-c」となる。このように、サーチ範囲超え特徴量算出部３７３でサーチ範囲超え特徴量ＦＶosrを算出すれば、後述する画像データ選択判定部３８-1は、サーチ範囲超え特徴量ＦＶosrに基づき、大きな視差を生じる被写体が撮像されているか判定することが可能となる。すなわち、オクルージョンを生じる領域の発生状況を判定することが可能となる。

視差ギャップヒストグラム生成部３７４は、視差ギャップヒストグラムを生成する。図１０は、視差ギャップヒストグラムを生成に用いる視差差分絶対値を説明するための図である。視差ギャップヒストグラム生成部３７４は、図１０に示すように、算出対象領域の注目画素の位置から水平に「−(PARALLAX_DIFF_DISTANCE/2)」の画素分だけ離れた位置の視差ＰＶ1を算出する。また、視差ギャップヒストグラム生成部３７４は、注目画素位置から水平に「(PARALLAX_DIFF_DISTANCE/2)」の画素分だけ離れた位置の視差ＰＶ2を算出して、式（２）に示す視差差分絶対値ＰＶapdを算出する。なお、視差ギャップ距離(PARALLAX_DIFF_DISTANCE)は予め設定されている。
ＰＶapd＝ＡＢＳ（ＰＶ1−ＰＶ2） ・・・（２）

視差差分絶対値ＰＶapdは、例えば被写体が同一平面に近い状態である場合、視差ＰＶ1と視差ＰＶ2の差は小さいことから視差差分絶対値ＰＶapdの値は小さくなる。また、視差差分絶対値ＰＶapdは、例えば被写体までの距離が異なり、注目画素が距離の異なる被写体の境界であると、視差ＰＶ1と視差ＰＶ2の差が大きいことから視差差分絶対値ＰＶapdの値は大きくなる。視差ギャップヒストグラム生成部３７４は、算出対象領域の各画素を注目画素として算出した視差差分絶対値ＰＶapdのヒストグラムである視差ギャップヒストグラムを生成する。なお、図１１は視差ギャップヒストグラムを例示している。

視差ギャップ特徴量算出部３７５は、視差ギャップヒストグラム生成部３７４で生成された視差ギャップヒストグラムから視差ギャップ特徴量ＦＶpdを算出する。視差ギャップ特徴量算出部３７５は、視差ギャップヒストグラムから予め設定されている最大視差ギャップ距離以上の視差ギャップを生じている度数（large_parallax_diff_counter）の全度数（counter）に対する割合を示す視差ギャップ特徴量ＦＶpdを算出する。視差ギャップ特徴量算出部３７５は、視差ギャップヒストグラムを用いて式（３）の演算を行い、視差ギャップ特徴量ＦＶpdを算出する。
ＦＶpd = large_parallax_diff_counter / counter * 100 ・・・（３）

このように、視差ギャップ特徴量算出部３７５で算出された視差ギャップ特徴量ＦＶpdは、最大視差ギャップ距離を生じる画素の割合を示している。ここで、同一平面にある被写体は視差ギャップが小さく、距離が異なる被写体の画像境界部分では視差ギャップが大きいことから、距離が大きく異なる被写体の画像境界の発生状況を判定することが可能となる。

飽和判定ヒストグラム生成部３７６は、前処理部３１-BWから供給された白黒画像データに基づき画素値毎の度数（画素数）を示す画素値ヒストグラムを生成する。また、前処理部３１-CRから供給されたデモザイク前カラー撮像画データの色空間変換によって輝度データを生成して、生成した輝度データに基づき画素値毎の度数(画素数)を示す画素値ヒストグラムを生成する。

図１２は画素値ヒストグラムを例示している。なお、図１２の（ａ）は白黒撮像画に基づく画素値ヒストグラム、図１２の（ｂ）はカラー撮像画に基づく輝度値ヒストグラムを示している。上述のように、撮像部２１-BWは、全画素が可視光の全波長領域の入射光量に基づく電気信号を出力するＷ（ホワイト）画素によって構成されていることから、カラーフィルタを用いた撮像部２１-CRに比べて感度が高い。したがって、同一輝度の被写体を撮像した場合、撮像部２１-BWで取得された白黒撮像画に基づく画素値ヒストグラムは、撮像部２１-CRで取得されたカラー撮像画に基づく輝度値ヒストグラムに比べて信号値の高い領域での度数が高くなる。

飽和特徴量算出部３７７は、飽和判定ヒストグラム生成部３７６で生成された輝度値ヒストグラムに基づき飽和特徴量ＦＶsatを算出する。飽和特徴量算出部３７７は、白黒撮像画に基づく画素値ヒストグラムにおける予め設定されている飽和判定設定値（SATURATION_AREA_W）以上の画素値の度数（saturation_counter_W）と、カラー撮像画に基づく画素値ヒストグラムにおける予め設定されている飽和判定設定値（SATURATION_AREA_Y）以上の画素値の度数（saturation_counter_Y）を算出する。また、飽和特徴量算出部３７７は、度数（saturation_counter_W）と度数（saturation_counter_Y）の差分の全度数（counter）に対する割合を示す飽和特徴量ＦＶsatを算出する。飽和特徴量算出部３７７は、白黒撮像画に基づく画素値ヒストグラムとカラー撮像画に基づく画素値ヒストグラムを用いて式（４）の演算を行い、飽和特徴量ＦＶsatを算出する。
ＦＶsat＝(saturation_counter_W−saturation_counter_Y)/ counter * 100)
・・・（４）

このように、飽和特徴量算出部３７７で算出された飽和特徴量ＦＶsatは、白黒撮像画とカラー撮像画の画素飽和状況の相違を示している。したがって、例えば飽和特徴量の値が大きい場合、白黒撮像画を基準としたフュージョン処理において画素の飽和に起因する画質の劣化を生じる撮像画であることを判定することが可能となる。

画像データ選択判定部３８-1は、画像特徴量算出部３７で算出された画像特徴量と、制御部６０等から取得したカメラ特徴量に基づき、フュージョン画像が画質の劣化を生じるか否かを判別する。画像データ選択判定部３８-1は、判別結果に基づき画像選択信号を生成して画像選択部３９へ出力する。画像データ選択判定部３８-1は、画質の劣化を生じるか否かを判定する機能ブロックとして、個別判定部３８１〜３８５と統合判定処理部３８８を有している。

個別判定部３８１は、視差分布特徴量算出部３７２で算出された視差分布特徴量に基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。個別判定部３８１は、視差分布特徴量ＦＶfsdと視差分布特徴量に対して予め設定されている判定閾値Ｔｈfsdを比較する。個別判定部３８１は、視差分布特徴量ＦＶfsdが判定閾値Ｔｈfsdよりも大きい場合、すなわち視差のばらつきが大きい場合に画質の劣化を生じると判定する。個別判定部３８１は、個別判定結果を統合判定処理部３８８へ出力する。

個別判定部３８２は、サーチ範囲超え特徴量算出部３７３で算出されたサーチ範囲超え特徴量ＦＶosrに基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。個別判定部３８２は、サーチ範囲超え特徴量ＦＶosrとサーチ範囲超え特徴量に対して予め設定されている判定閾値Ｔｈosrを比較する。個別判定部３８２は、サーチ範囲超え特徴量ＦＶosrが判定閾値Ｔｈosrよりも大きい場合、オクルージョンの領域が多いことを判別できる。上述したように、白黒撮像画を基準したフュージョン画像ではオクルージョンの領域で色情報が欠落することから、オクルージョンの領域が多くなる場合に画質の劣化を生じると判定する。個別判定部３８２は、個別判定結果を統合判定処理部３８８へ出力する。

個別判定部３８３は、視差ギャップ特徴量算出部３７５で算出された視差ギャップ特徴量ＦＶpdに基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。個別判定部３８３は、視差ギャップ特徴量ＦＶpdと視差ギャップ特徴量に対して予め設定されている判定閾値Ｔｈpdを比較する。個別判定部３８３は、視差ギャップ特徴量ＦＶpdが判定閾値Ｔｈpdより大きい場合、距離が大きく異なる被写体の画像境界が多いことを判別できる。距離が大きく異なる被写体の画像境界はオクルージョンを生じやすいことから、距離が大きく異なる被写体の画像境界が多くなる場合に画質の劣化を生じると判定する。個別判定部３８３は、個別判定結果を統合判定処理部３８８へ出力する。

個別判定部３８４は、飽和特徴量算出部３７７で算出された飽和特徴量ＦＶsatに基づき、フュージョン画像が画質の劣化を生じるか否か判定する。個別判定部３８４は、飽和特徴量ＦＶsatと飽和特徴量に対して予め設定されている判定閾値Ｔｈsatを比較する。個別判定部３８４は、飽和特徴量ＦＶsatが判定閾値Ｔｈsatよりも大きい場合、すなわち、飽和している画素がカラー撮像画に比べて白黒撮像画で多くなる場合に画質の劣化を生じると判定する。個別判定部３８４は、個別判定結果を統合判定処理部３８８へ出力する。

個別判定部３８５は、カメラ特徴量に基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。カメラ特徴量としては、撮像時における明るさに関連した撮像設定情報や被写体距離に関連した撮像設定情報を用いる。被写体が明るい場合は撮像部２１-CRで感度の高い画像を取得できることからフュージョン処理の効果は被写体が暗い場合に比べて少ない。したがって、撮像時における明るさに関連した撮像設定情報をカメラ特徴量として用いる。また、撮像部２１-BWと撮像部２１-CRの視点の違いによって生じるオクルージョンは、被写体が離れている場合には少なく被写体が近い場合には多くなる。したがって、被写体距離に関連した撮像設定情報をカメラ特徴量として用いる。撮像時における明るさに関連した撮像設定情報としては例えば撮像部２１-BW，２１-CRのＩＳＯ感度や露光時間等の設定情報を用いる。被写体距離に関連した撮像設定情報としてはフォーカス位置やズーム倍率等の設定情報を用いる。個別判定部３８５は、撮像部２１-BW，２１-CRや制御部６０からカメラ情報を取得する。個別判定部３８５は、カメラ特徴量とカメラ特徴量に対して予め設定されている判定閾値を比較して、フュージョン処理が画質の劣化を生じるか否か判定する。個別判定部３８５は、個別判定結果を統合判定処理部３８８へ出力する。

統合判定処理部３８８は、個別判定部３８１〜３８５から供給された個別判定結果を用いてフュージョン判定を行い、フュージョン判定結果に応じて画像選択信号を生成して画像選択部３９へ出力する。例えば、統合判定処理部３８８は、個別判定部３８１〜３８５から供給された個別判定結果のいずれかにおいて画質の劣化を生じると判定されている場合、フュージョン判定ではフュージョン処理で画質性能の劣化有りと判定する。また、統合判定処理部３８８は、個別判定部３８１〜３８５から供給された個別判定結果の全てで画質の劣化を生じないと判定されている場合、フュージョン判定では画質性能の劣化無しと判定する。統合判定処理部３８８は、フュージョン判定で画質性能の低下有りと判定された場合にデモザイク画像データを選択して、フュージョン判定で画質性能の劣化無しと判定された場合にフュージョン画像データを選択する画像選択信号を生成して画像選択部３９へ出力する。

＜２−２．第１の実施の形態の動作＞
図１３は、画像処理部の第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で画像処理部は撮像画を取得する。画像処理部３０-1は、撮像部２１-BW，２１-CRから撮像画の画像データを取得してステップＳＴ２に進む。

ステップＳＴ２で画像処理部は視差補償処理を行う。画像処理部３０-1は、ステップＳＴ１で取得した画像データを用いて位置合わせを行い、撮像部２１-CRで取得されたデモザイク前カラー画像データを撮像部２１-BWで取得された白黒撮像画の視点の画像データとしてステップＳＴ３に進む。

ステップＳＴ３で画像処理部はデモザイク処理を行う。画像処理部３０-1は、撮像部２１-CRから取得した画像データを用いてデモザイク処理を行い、画素毎に各色成分を有するデモザイク画像データを生成してステップＳＴ４に進む。

ステップＳＴ４で画像処理部はフュージョン処理を行う。画像処理部３０-1は撮像部２１-BWで生成された白黒画像データとステップＳＴ２で視差補償が行われた視差補償カラー画像データを用いてフュージョン処理を行い、フュージョン画像データを生成してステップＳＴ５に進む。

ステップＳＴ５で画像処理部はフュージョン判定処理を行う。画像処理部はフュージョン判定処理を行い、ステップＳＴ３で生成したデモザイク画像データとステップＳＴ４で生成したフュージョン画像データのいずれを選択して出力するか判別して画像選択情報を生成する。

図１４はフュージョン判定処理を示すフローチャートである。ステップＳＴ１１で画像処理部は特徴量算出処理を行う。画像処理部３０-1のフュージョン判定処理部３６-1は、視差ヒストグラムや視差ギャップヒストグラム、飽和判定ヒストグラムを生成して、生成したヒストグラムに基づき特徴量を算出してステップＳＴ１２に進む。

ステップＳＴ１２で画像処理部は画像選択情報生成処理を行う。画像処理部３０-1のフュージョン判定処理部３６-1は、ステップＳＴ１１で算出した特徴量と算出される特徴量毎に予め設定されている判別閾値と比較する。フュージョン判定処理部３６-1は、比較結果に基づきフュージョン画像が画質の劣化を生じるか否かのフュージョン判定を行う。さらに、フュージョン判定処理部３６-1は、フュージョン判定結果に基づき、ステップＳＴ３で生成したデモザイク画像データとステップＳＴ４で生成したフュージョン画像データのいずれを選択するかを示す画像選択情報を生成して図１３のステップＳＴ６に進む。

ステップＳＴ６で画像処理部は画像選択処理を行う。画像処理部３０-1はステップＳＴ５のフュージョン判定処理で生成した画像選択情報に基づき、ステップＳＴ３で生成したデモザイク画像データとステップＳＴ４で生成したフュージョン画像データのいずれを選択してステップＳＴ７に進む。

ステップＳＴ７で画像処理部は動作終了であるか判別する。画像処理部３０-1は例えば静止画の撮像である場合、静止画の画像処理が完了したことから動作を終了する。また、動画記録や構図の確認等のためにプレビュー画（スルー画）表示を行う場合、画像処理部３０-1は動画記録やプレビュー画表示が行われている場合にステップＳＴ１に戻り、動画記録やプレビュー画表示の終了操作が行われた場合に動作を終了する。なお、ステップＳＴ３とステップＳＴ４の処理はいずれを先に行ってもよい。さらに、ステップ順に処理を行う順序処理に限らず、パイプライン処理や並列処理を用いてもよい。

図１５は視差分布特徴量と判定閾値を例示している。個別判定部３８１は、視差分布特徴量算出部３７２で算出された視差分布特徴量ＦＶfsdと判定閾値Ｔｈfsdを比較する。個別判定部３８１は、時点ｔ１までは視差分布特徴量ＦＶfsdが判定閾値Ｔｈfsd以下であることからフュージョン画像が画質の劣化を生じないと判定して、個別判定結果を統合判定処理部３８８へ出力する。また、個別判定部３８１は、時点ｔ１で視差分布特徴量ＦＶfsdが判定閾値Ｔｈfsdを超えて大きくなった場合、フュージョン画像が画質の劣化を生じると判定して、個別判定結果を統合判定処理部３８８へ出力する。また、個別判定部３８１は、時点ｔ２で視差分布特徴量ＦＶfsdが判定閾値Ｔｈfsd以下となった場合、フュージョンが画質の劣化を生じないと判定して、個別判定結果を統合判定処理部３８８へ出力する。

個別判定部３８２〜３８５でも個別判定部３８１と同様に特徴量と判定閾値を比較して、フュージョン画像が画質の劣化を生じるか否かの判定を行い、個別判定結果を統合判定処理部３８８へ出力する。

統合判定処理部３８８は、個別判定部３８１〜３８５の個別判定結果を用いてフュージョン判定を行う。統合判定処理部３８８は、個別判定部３８１〜３８５から供給された個別判定結果のいずれかにおいて画質の劣化を生じると判定されている場合、フュージョン判定では画質性能の劣化有りと判定する。また、統合判定処理部３８８は、個別判定部３８１〜３８５から供給された個別判定結果の全てで画質の劣化を生じないと判定されている場合、フュージョン判定ではフュージョン処理で画質性能の劣化無しと判定する。図１６は、フュージョン判定結果を例示している。例えば個別判定部３８２〜３８５ではフュージョン画像が画質の劣化を生じないと判定されており、個別判定部３８１では図１５に示す判定結果が得られたとする。この場合、統合判定処理部３８８は、時点ｔ１まで画質性能の劣化無しと判定して、時点ｔ１から時点ｔ２まで画質性能の劣化有りと判定する。また、統合判定処理部３８８は、時点ｔ２から画質性能の劣化無しと判定する。

なお、個別判定部３８１〜３８５は、個別判定部における比較結果が例えば予め設定されている判定フレーム以上連続した場合に比較結果に応じて個別判定を行ってもよく、統合判定処理部３８８は、個別判定部３８１〜３８５の個別判定結果が例えば予め設定されている判定フレーム以上連続した場合に個別判定結果に応じてフュージョン判定を行ってもよい。このように、個別判定やフュージョン判定を行えば、ノイズ等の影響を軽減して安定した判定結果を得られるようになる。また、画質の劣化を生じると判定結果が変化する場合の判定フレーム数は、画質の劣化を生じないと判定結果が変化する場合の判定フレーム数に比べてフレーム数を少なくすれば、画質の劣化を生じる場合に速やかに判定結果を対応させることができる。また、画質の劣化を生じない場合は、比較結果や個別判定結果が連続していることで画質の劣化を生じないことが確からしいと判別できるとき、判定結果を対応させることができる。

なお、撮像画を用いてフュージョン判定処理を行うことから、撮像画が静止画でない場合、例えば動画記録やプレビュー画表示の場合、フュージョン判定処理で得られたフュージョン判定結果を用いて例えば次に出力するフレームの画像データの選択を行う。また、画像処理部から出力する画像データについて、フュージョン判定処理に要する時間分の遅延を許容できる場合、フュージョン判定処理に用いた撮像画の画像データから生成したデモザイク画像データまたはフュージョン画像データをフュージョン判定結果に応じて選択してもよい。

このような第１の実施の形態によれば、画像特徴量やカメラ特徴量に基づきフュージョン処理で画質の劣化を生じないと判定された場合にフュージョン画像データが選択されて、フュージョン処理で画質の劣化を生じると判定された場合にデモザイク画像データが選択される。したがって、撮像部２１-BWで取得された白黒撮像画と撮像部２１-CRで取得されたカラー撮像画を用いて、画質を低下させることなく高感度のカラー撮像画を画像処理部３０-1から出力できる。

＜３．画像処理装置の第２の実施の形態＞
上述の第１の実施の形態において、フュージョン判定処理部３６-1では、算出した特徴量と予め設定されている判定閾値を比較して、フュージョン処理で画質の劣化を生じるか否かを判定している。ところで、判定閾値を予め設定する場合、設定された判定閾値は撮像状況に対して最適な値とは限られない。そこで、第２の実施の形態では撮像状況に応じて判定閾値を設定することで、画質の劣化を生じるか否かの判定を、第１の実施の形態に比べて精度よく行えるようにする。

＜３−１．第２の実施の形態の構成と動作＞
図１７は、画像データ選択判定部の他の構成を例示している。フュージョン判定処理部３６-2の画像データ選択判定部３８-2は、画像特徴量算出部３７で算出された画像特徴量と、制御部６０等から取得したカメラ特徴量に基づき、フュージョン処理で画質の劣化を生じるか否かの判定を行い、判別結果に基づき画像選択信号を生成する。さらに、画像データ選択判定部３８-2は、画像特徴量に基づきフュージョン画像が画質の劣化を生じるか否かを判定する際に用いる判定閾値をカメラ特徴量に応じて設定する。画像データ選択判定部３８-2は、画質の劣化を生じるか否かを判定する機能ブロックとして、個別判定部３８１〜３８４と統合判定処理部３８８を有している。また、画像データ選択判定部３８-2は、カメラ特徴量に応じて判定閾値を設定する判定閾値設定部３８０を有している。

判定閾値設定部３８０は、カメラ特徴量に基づき判定閾値を設定する。カメラ特徴量としては、上述のように、撮像時における明るさに関連した撮像設定情報や被写体距離に関連した撮像設定情報を用いる。

図１８と図１９は、カメラ特徴量と判定閾値の関係を示している。なお、図１８は、撮像時に設定されているＩＳＯ感度をカメラ特徴量として、視差に関した特徴量に対する判定閾値と、画素の飽和に関した特徴量に対する判定閾値をＩＳＯ感度に応じて設定する場合を例示している。

ＩＳＯ感度が低い値に設定されている場合、被写体は明るく、撮像画はノイズの少ない画像となる。このため、フュージョン処理を用いることで得られる効果は少ない。また、フュージョン処理によってオクルージョンに起因する色ずれが発生すると、発生した色ずれが目立って画質の劣化を招く（理由１）。したがって、ＩＳＯ感度が低い値に設定されている場合、フュージョン画像が画質の劣化を生じると判定されやすくなるように、視差に関する判定閾値と画素の飽和に関する判定閾値を低い値に設定する。

ＩＳＯ感度が高い値に設定されている場合、被写体は暗く撮像画はノイズが多い画像となる。このため、フュージョン処理を用いることで得られる効果が非常に大きい。また、色成分についてもノイズが多いことから、多少の色ずれなどが発生してもそれほど目立たない（理由３）。したがって、ＩＳＯ感度が高い値に設定されている場合、フュージョン画像が画質の劣化を生じると判定されにくくなるように判定閾値を高い値に設定する。

また、ＩＳＯ感度が中程度の値に設定されている場合、撮像画はノイズがそれほど多くないため、フュージョン画像で画質性能の劣化が発生すると、劣化が目立つおそれがある（理由２）。したがって、ＩＳＯ感度が中程度の値に設定されている場合、判定閾値はＩＳＯ感度が低い値に設定されている場合よりも高く、ＩＳＯ感度が高い値に設定されている場合よりも低い値に設定する。

図１９は、撮像時に設定されているＩＳＯ感度とフォーカス位置をカメラ特徴量として、視差に関した特徴量に対する判定閾値と、画素の飽和に関した特徴量に対する判定閾値をＩＳＯ感度とフォーカス位置に応じて設定する場合を例示している。

フォーカス位置が近距離である場合、フォーカス位置が近距離でない場合に比べてオクルージョンに起因する色に関する画質性能の劣化が発生しやすい（理由４）。したがって、フォーカス位置が近距離でない場合は、図１８と同様に判定閾値を設定して、フォーカス位置が近距離であってＩＳＯ感度が中程度の値や高い値に設定されている場合の判定閾値を、フォーカス位置が近距離でない場合に比べて低く設定する。すなわち、フォーカス位置が近距離である場合は、フォーカス位置が近距離でない場合に比べて、フュージョン画像が画質の劣化を生じると判定されやすくなるように判定閾値を低い値に設定する。

個別判定部３８１は、視差分布特徴量算出部３７２で算出された視差分布特徴量に基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。個別判定部３８１は、視差分布特徴量ＦＶfsdと視差分布特徴量に対して判定閾値設定部３８０でカメラ特徴量に応じて設定した判定閾値Ｔｈｃfsdを比較する。個別判定部３８１は、視差分布特徴量ＦＶfsdが判定閾値Ｔｈｃfsdよりも大きい場合、フュージョン画像が画質の劣化を生じると判定する。個別判定部３８１は、個別判定結果を統合判定処理部３８８へ出力する。

個別判定部３８２は、サーチ範囲超え特徴量算出部３７３で算出されたサーチ範囲超え特徴量ＦＶosrに基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。個別判定部３８２は、サーチ範囲超え特徴量ＦＶosrとサーチ範囲超え特徴量に対して判定閾値設定部３８０でカメラ特徴量に応じて設定した判定閾値Ｔｈｃosrを比較する。個別判定部３８２は、サーチ範囲超え特徴量ＦＶosrが判定閾値Ｔｈｃosrよりも大きい場合、フュージョン画像が画質の劣化を生じると判定する。個別判定部３８２は、個別判定結果を統合判定処理部３８８へ出力する。

個別判定部３８３は、視差ギャップ特徴量算出部３７５で算出された視差ギャップ特徴量ＦＶpdに基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。個別判定部３８３は、視差ギャップ特徴量ＦＶpdと視差ギャップ特徴量に対して判定閾値設定部３８０でカメラ特徴量に応じて設定した判定閾値Ｔｈｃpdを比較する。個別判定部３８３は、視差ギャップ特徴量ＦＶpdが判定閾値Ｔｈｃpdよりも大きい場合、フュージョン画像が画質の劣化を生じると判定する。個別判定部３８３は、個別判定結果を統合判定処理部３８８へ出力する。

個別判定部３８４は、飽和特徴量算出部３７７で算出された飽和特徴量ＦＶsatに基づき、フュージョン画像が画質の劣化を生じるか否か判定する。個別判定部３８４は、飽和特徴量ＦＶsatと飽和特徴量に対して判定閾値設定部３８０でカメラ特徴量に応じて設定した判定閾値Ｔｈｃsatを比較する。個別判定部３８４は、飽和特徴量ＦＶsatが判定閾値Ｔｈｃsatよりも大きい場合、フュージョン画像が画質の劣化を生じると判定する。個別判定部３８４は、個別判定結果を統合判定処理部３８８へ出力する。

統合判定処理部３８８は、個別判定部３８１〜３８４から供給された個別判定結果に基づき、フュージョン判定を行い、フュージョン判定結果に応じて画像選択信号を生成して画像選択部３９へ出力する。例えば、統合判定処理部３８８は、個別判定部３８１〜３８４から供給された個別判定結果のいずれかにおいて画質の劣化を生じると判定されている場合、フュージョン判定ではフュージョン画像が画質性能の劣化有りと判定する。また、統合判定処理部３８８は、個別判定部３８１〜３８４から供給された個別判定結果の全てで画質の劣化を生じないと判定されている場合、フュージョン判定では画質性能の劣化無しと判定する。統合判定処理部３８８は、フュージョン判定で画質性能の低下有りと判定された場合にデモザイク画像データを選択して、フュージョン判定で画質性能の劣化無しと判定された場合にフュージョン画像データを選択する画像選択信号を生成して画像選択部３９へ出力する。

なお、画像データ選択判定部３８-2には、第１の実施の形態で示した個別判定部３８５を設けて、統合判定処理部３８８は、カメラ特徴量に基づいた個別判定結果も用いて画像選択信号を生成してもよい。

このような第２の実施の形態によれば、第１の実施の形態と同様に、撮像部２１-BWで取得された白黒撮像画と撮像部２１-CRで取得されたカラー撮像画を用いて、画質を低下させることなく高感度のカラー撮像画を画像処理部３０-1から出力できる。さらに、第２の実施の形態では、設定状態に応じて判定閾値が設定されるので、画質の劣化を生じるか否かの判定を、第１の実施の形態に比べて精度よく行えるようになる。

＜４．画像処理装置の第３の実施の形態＞
上述の第１および第２の実施の形態では、フュージョン画像が画質の劣化を生じるか否かのフュージョン判定を行い、フュージョン判定結果に基づき撮像部２１-BWで取得された白黒撮像画を基準としたフュージョン処理で生成されたフュージョン画像データまたは撮像部２１-CRで取得されたカラー撮像画の画像データに対してデモザイク処理を行うことにより生成されたデモザイク画像データを選択する。ここで、フュージョン画像データは撮像部２１-BWの視点の撮像画を示しており、デモザイク画像データは撮像部２１-CRの視点の撮像画を示している。このため、動画撮像時に、判定結果に応じて画像データの切り替えを行うと、切り替え前後で視点が異なることから画像切り替えが目立ち画質の低下した画像となってしまう。そこで、第３の実施の形態では、フュージョン判定結果に応じて画像データの切り替えても、切り替えが目立たないようにする。

＜４−１．第３の実施の形態の構成＞
図２０は、第３の実施の形態の構成を例示している。画像処理部３０-3は、撮像部２１-BWと撮像部２１-CRで取得された撮像画を用いて、画質を低下させることなく高感度の撮像画を得る。すなわち、画像処理部３０-3は、撮像部２１-BWと撮像部２１-CRで取得された撮像画を用いて画像処理を行い、画像の切り替えが目立たず、撮像部２１-BWや撮像部２１-CRで個々に取得される撮像画よりも画質を低下させることなく感度の高い撮像画を生成する。

画像処理部３０-3は、前処理部３１-BW，３１-CR、視差検出部３２、視差補償部３３-cb、デモザイク処理部３４、フュージョン処理部３５-fb、フュージョン判定処理部３６-3、画像合成部４０-dfbを有している。

前処理部３１-BWは、撮像部２１-BWで取得された白黒撮像画の画像データに対して、レンズ歪補正や欠陥画素補正等の補正処理を行う。前処理部３１-BWは、補正後の白黒画像データを視差検出部３２とフュージョン処理部３５-fbおよびフュージョン判定処理部３６-3へ出力する。

前処理部３１-CRは、撮像部２１-CRで取得されたカラー撮像画の画像データに対して、レンズ歪補正や欠陥画素補正等の補正処理を行う。前処理部３１-CRは、補正後のデモザイク前カラー画像データを視差検出部３２と視差補償部３３-cb、デモザイク処理部３４およびフュージョン判定処理部３６-3へ出力する。

視差検出部３２は、前処理部３１-BWから供給された白黒画像データと前処理部３１-CRから供給されたデモザイク前カラー画像データに基づいて視差検出を行い、画素毎に算出した視差を示す視差情報を生成する。視差検出部３２は、生成した視差情報を視差補償部３３-cbとフュージョン判定処理部３６-3へ出力する。

視差補償部３３-cbは、視差検出部３２から供給された視差情報に基づきデモザイク前カラー画像データの視差補償を行う。視差補償部３３-cbは、前処理部３１-CRから供給されたデモザイク前カラー画像データに対して視差検出部３２で生成された視差情報に基づき画素位置の移動を行い、撮像部２１-BWで取得された白黒撮像画の視点である視差補償カラー画像データを生成する。視差補償部３３-cbは、生成した視差補償カラー画像データをフュージョン処理部３５-fbへ出力する。

デモザイク処理部３４は、前処理部３１-CRから供給されたデモザイク前カラー画像データを用いてデモザイク処理を行う。デモザイク処理では、各画素が赤色と青色と緑色のいずれか１つの色成分を示すデモザイク前カラー撮像データから画素毎に赤色と青色と緑色の各色成分を示す画像データを生成するデモザイク処理を行う。デモザイク処理部３４は、デモザイク処理によって生成したデモザイク画像データを画像合成部４０-dfbへ出力する。

フュージョン処理部３５-fbは、前処理部３１-BWから供給された白黒画像データと視差補償部３３-cbから供給された視差補償カラー画像データを用いて、白黒撮像画を基準としたフュージョン処理を行う。フュージョン処理部３５-fbは、フュージョン処理によって生成したフュージョン画像データを画像合成部４０-dfbへ出力する。

フュージョン判定処理部３６-3は、被写体を撮像して取得した白黒撮像画と被写体を異なる視点位置から撮像して取得したカラー撮像画の動画を用いて算出した特徴量に基づき、白黒撮像画を基準として白黒撮像画とカラー撮像画をフュージョンさせたフュージョン画像が画質の劣化を生じるか否かのフュージョン判定を動画の画像毎に行い、フュージョン判定結果と特徴量に基づきフュージョン画像とカラー撮像画の一方から他方の画像に時間経過と共に切り替わるように合成比率を設定する。例えば、フュージョン判定処理部３６-3は、白黒画像データとデモザイク前カラー画像データに基づき視差および画素の飽和に起因する画質の劣化をフュージョン画像で生じるか否かのフュージョン判定を行う。また、フュージョン判定処理部３６-3は、視差および画素の飽和に関する特徴量の時間方向の変化量を算出する。さらに、フュージョン判定処理部３６-3は、フュージョン判定結果と変化量に応じて一方から他方の画像に時間経過と共に切り替わるように合成比率を設定して、この合成比率を示す画像合成信号を生成して画像合成部４０-dfbへ出力する。

画像合成部４０-dfbは、フュージョン判定処理部３６-3から供給された画像合成信号に基づき、フュージョン画像データとデモザイク画像データを合成して合成画像データを生成する。画像合成部４０-dfbは、フュージョン画像が画質の劣化を生じないとフュージョン判定処理部３６-3で判定された場合はフュージョン画像データを合成画像データとして出力する。また、画像合成部４０-dfbは、フュージョン画像が画質の劣化を生じるとフュージョン判定処理部３６-3で判定された場合はデモザイク画像データを合成画像データとして出力する。また、画像合成部４０-dfbは、画像合成信号に基づき、フュージョン画像データとデモザイク画像データを、合成比率に応じて切り替えても画像データの切り替えが目立たないように合成比率に応じた割合でフュージョン画像とカラー撮像画を合成して画像切替途中である中間画像を生成する。さらに、画像合成部４０-dfbは、視差および画素の飽和に関する特徴量の時間方向の変化量に応じて画像データの切り替え速度を変化させて、画質の劣化が目立たないようにする。

次に、フュージョン判定処理部の構成について説明する。図２１はフュージョン判定処理部の構成を例示している。フュージョン判定処理部３６-3は、画像特徴量算出部３７と画像データ選択判定部３８-3を有している。

画像特徴量算出部３７は、視差および画素の飽和に起因する画質の劣化判定を行うための画像特徴量を算出する。画像特徴量算出部３７は、視差に起因する画質の劣化判定を行うための画像特徴量を算出する機能ブロックとして、視差ヒストグラム生成部３７１、視差分布特徴量算出部３７２、サーチ範囲超え特徴量算出部３７３、視差ギャップヒストグラム生成部３７４、視差ギャップ特徴量算出部３７５を有している。また、画像特徴量算出部３７は、画素の飽和に起因する画質の劣化判定を行うための画像特徴量を算出する機能ブロックとして、飽和判定ヒストグラム生成部３７６、飽和特徴量算出部３７７を有している。

視差ヒストグラム生成部３７１は、算出対象領域の各画素について算出されている視差ベクトルを用いてヒストグラムを生成する。視差分布特徴量算出部３７２は、視差ヒストグラム生成部３７１で生成された視差ヒストグラムから視差分布の特徴を示す統計量である視差分布特徴量ＦＶfsdを算出する。

サーチ範囲超え特徴量算出部３７３は、視差ヒストグラム生成部３７１で生成された視差ヒストグラムから、予め設定されているサーチ範囲以上の視差を生じている度数（over_search_range_counter）の全度数（counter）に対する割合を示すサーチ範囲超え特徴量ＦＶosrを算出する。

視差ギャップヒストグラム生成部３７４は、視差ギャップヒストグラムを生成する。視差ギャップヒストグラム生成部３７４は、算出対象領域の注目画素位置から水平に「−(PARALLAX_DIFF_DISTANCE/2)」の画素分だけ離れた位置の視差ＰＶ1と「(PARALLAX_DIFF_DISTANCE/2)」の画素分だけ離れた位置の視差ＰＶ2を算出して、視差ＰＶ1，ＰＶ2の視差差分絶対値ＰＶapdを算出する。さらに、視差ギャップヒストグラム生成部３７４は、算出した視差差分絶対値ＰＶapdを用いてヒストグラムを生成する。

視差ギャップ特徴量算出部３７５は、視差ギャップヒストグラム生成部３７４で生成された視差ギャップヒストグラムから視差ギャップ特徴量ＦＶpdを算出する。

飽和判定ヒストグラム生成部３７６は、前処理部３１-BWから供給された白黒画像データに基づき画素値毎の度数（画素数）を示す画素値ヒストグラムを生成する。また、前処理部３１-CRから供給されたデモザイク前カラー撮像画データの色空間変換によって輝度データを生成して、生成した輝度データに基づき画素値毎の度数(画素数)を示す画素値ヒストグラムを生成する。

飽和特徴量算出部３７７は、飽和判定ヒストグラム生成部３７６で生成された輝度値ヒストグラムに基づき飽和特徴量ＦＶsatを算出する。

画像データ選択判定部３８-3は、画像特徴量算出部３７で算出された画像特徴量と、制御部６０等から取得したカメラ特徴量に基づき、フュージョン画像が画質の劣化を生じるか否かの判定を行う。また、画像データ選択判定部３８-3は、判別結果および画像特徴量の時間方向の変化量に基づき画像合成信号を生成する。画像データ選択判定部３８-3は、画質の劣化を生じるか否かの判定および画像特徴量の時間方向の変化量に関する機能ブロックとして、個別判定部３８１〜３８５と変化量判定部３８１ｄ〜３８５ｄおよび統合判定処理部３８９を有している。

個別判定部３８１は、視差分布特徴量算出部３７２で算出された視差分布特徴量に基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。個別判定部３８１は、視差分布特徴量ＦＶfsdと視差分布特徴量に対して予め設定されている判定閾値Ｔｈfsdを比較する。個別判定部３８１は、視差分布特徴量ＦＶfsdが判定閾値Ｔｈfsdよりも大きい場合、フュージョン画像が画質の劣化を生じると判定する。個別判定部３８１は、個別判定結果を統合判定処理部３８９へ出力する。

変化量判定部３８１ｄは、視差分布特徴量算出部３７２で算出された視差分布特徴量の時間的な変化量（ＦＶfsd(i)−ＦＶfsd(i-1)）を算出する。なお、「ｉ」はフュージョン判定処理部３６-3で画質の劣化を生じるか否かの判定を行うフレームを示している。変化量判定部３８１ｄは、算出した変化量の絶対値と予め設定されている変化量閾値Ｔｈｄfsdを比較して、比較結果を統合判定処理部３８９へ出力する。

個別判定部３８２は、サーチ範囲超え特徴量算出部３７３で算出されたサーチ範囲超え特徴量ＦＶosrに基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。個別判定部３８２は、サーチ範囲超え特徴量ＦＶosrとサーチ範囲超え特徴量に対して予め設定されている判定閾値Ｔｈosrを比較する。個別判定部３８２は、サーチ範囲超え特徴量ＦＶosrが判定閾値Ｔｈosrよりも大きい場合、フュージョン画像が画質の劣化を生じると判定する。個別判定部３８２は、個別判定結果を統合判定処理部３８９へ出力する。

変化量判定部３８２ｄは、サーチ範囲超え特徴量算出部３７３で算出されたサーチ範囲超え特徴量の時間的な変化量（ＦＶosr(i)−ＦＶosr(i-1)）を算出する。さらに、変化量判定部３８２ｄは、算出した変化量の絶対値と予め設定されている変化量閾値Ｔｈｄosrを比較して、比較結果を統合判定処理部３８９へ出力する。

個別判定部３８３は、視差ギャップ特徴量算出部３７５で算出された視差ギャップ特徴量ＦＶpdに基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。個別判定部３８３は、視差ギャップ特徴量ＦＶpdと視差ギャップ特徴量に対して予め設定されている判定閾値Ｔｈpdを比較する。個別判定部３８３は、視差ギャップ特徴量ＦＶpdが判定閾値Ｔｈpdよりも大きい場合、フュージョン画像が画質の劣化を生じると判定する。個別判定部３８３は、個別判定結果を統合判定処理部３８９へ出力する。

変化量判定部３８３ｄは、視差ギャップ特徴量算出部３７５で算出された視差ギャップ特徴量の時間的な変化量（ＦＶpd(i)−ＦＶpd(i-1)）を算出する。変化量判定部３８３ｄは、算出した変化量の絶対値と予め設定されている変化量閾値Ｔｈｄlpdを比較して、比較結果を統合判定処理部３８９へ出力する。

個別判定部３８４は、飽和特徴量算出部３７７で算出された飽和特徴量ＦＶsatに基づき、フュージョン画像が画質の劣化を生じるか否か判定する。個別判定部３８４は、飽和特徴量ＦＶsatと飽和特徴量に対して予め設定されている判定閾値Ｔｈsatを比較する。個別判定部３８４は、飽和特徴量ＦＶsatが判定閾値Ｔｈsatよりも大きい場合、フュージョン画像が画質の劣化を生じると判定する。個別判定部３８４は、個別判定結果を統合判定処理部３８９へ出力する。

変化量判定部３８４ｄは、飽和特徴量算出部３７７で算出された飽和特徴量の時間的な変化量（ＦＶsat(i)−ＦＶsat(i-1)を算出する。変化量判定部３８４ｄは、算出した変化量の絶対値と予め設定されている変化量閾値Ｔｈｄsatを比較して、比較結果を統合判定処理部３８９へ出力する。

個別判定部３８５は、カメラ特徴量に基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。カメラ特徴量として、上述のようにＩＳＯ感度やフォーカス位置等の撮像設定情報を用いる。個別判定部３８５は、カメラ特徴量とカメラ特徴量に対して予め設定されている判定閾値を比較して、フュージョン画像が画質の劣化を生じるか否か判定する。個別判定部３８５は、個別判定結果を統合判定処理部３８９へ出力する。

統合判定処理部３８９は、個別判定部３８１〜３８５から供給された個別判定結果を用いてフュージョン判定を行い、フュージョン判定結果に応じて画像合成信号を生成して画像合成部４０-dfbへ出力する。例えば、統合判定処理部３８９は、個別判定部３８１〜３８５から供給された個別判定結果のいずれかにおいて画質の劣化を生じると判定されている場合、フュージョン判定ではフュージョン画像が画質性能の劣化有りと判定する。また、統合判定処理部３８９は、個別判定部３８１〜３８５から供給された個別判定結果の全てで画質の劣化を生じないと判定されている場合、フュージョン判定ではフュージョン画像が画質性能の劣化無しと判定する。

統合判定処理部３８９は、フュージョン判定で性能低下有りと判定された場合にデモザイク処理部３４で生成されたデモザイク画像データを画像合成部４０-dfbから出力する合成画像データとして、フュージョン判定で画質性能の劣化無しと判定された場合にフュージョン処理部３５-fbで生成されたフュージョン画像データを画像合成部４０-dfbから出力する合成画像データとする画像合成信号を生成して画像合成部４０-dfbへ出力する。

また、統合判定処理部３８９は、変化量判定部３８１ｄ〜３８４ｄから供給された変化量と変化量閾値との比較結果に基づき、フュージョン画像データからデモザイク画像データへの切り替え速度を決定する。さらに、統合判定処理部３８９は、決定した切り替え速度に応じて画像合成信号が示す合成比率を設定する。例えば、動画撮像時に被写体変化等によってフュージョン画像が画質の劣化を生じる場合、画質の劣化を生じたフュージョン画像データに代えてデモザイク画像データを出力することが望ましい。また、フュージョン画像データからデモザイク画像データへの切り替えも目立たないことが望ましい。したがって、統合判定処理部３８９は、フュージョン判定で性能低下有りと判定されており、変化量判定部３８１ｄ〜３８４ｄから供給された個別判定結果のいずれかにおいて変化量が変化量閾値を超えている場合、切り替え速度を予め設定されている所定速度よりも高速とする。また、フュージョン判定処理部３６-3は、フュージョン判定で性能低下無しと判定された場合、切り替え速度を予め設定されている所定速度とする。統合判定処理部３８９は、生成した画像合成信号を画像合成部４０-dfbへ出力する。なお、デモザイク画像データからフュージョン画像データへの切り替え速度は、画質の劣化を生じないとのフュージョン判定結果に基づいて行われることから、切り替え速度を予め設定されている所定速度とする。

画像合成部４０-dfbは、フュージョン判定処理部３６-3から供給された画像合成信号に基づき、デモザイク処理部３４で生成されたデモザイク画像データとフュージョン処理部３５-fbで生成されたフュージョン画像データを合成する。画像合成部４０-dfbは、フュージョン画像が画質の劣化を生じる判定されている場合にデモザイク画像データを合成画像データとして、フュージョン画像が画質の劣化を生じないと判定されている場合にフュージョン画像データを合成画像データとする。

また、画像合成部４０-dfbは、フュージョン判定処理部３６-3から供給された画像合成信号に基づき、画像特徴量の時間方向の変化量が変化量閾値を超えている場合、フュージョン画像データからデモザイク画像データへの切り替えを所定速度よりも高速に行う。さらに、画像合成部４０-dfbは、フュージョン判定処理部３６-3から供給された画像合成信号に基づき、フュージョン画像データとデモザイク画像データの切り替えにおける遷移期間は中間画像の画像データを合成画像データとして生成することで、画像データの切り替えを目立たないようにする。

＜４−２．第３の実施の形態の動作＞
図２２は、第３の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で画像処理部は撮像画を取得する。画像処理部３０-3は、撮像部２１-BW，２１-CRから撮像画の画像データを取得してステップＳＴ２２に進む。

ステップＳＴ２２で画像処理部は視差補償処理を行う。画像処理部３０-3は、ステップＳＴ２１で取得した画像データを用いて位置合わせを行い、撮像部２１-CRで取得されたデモザイク前カラー画像データを撮像部２１-BWで取得された白黒撮像画の視点の画像データとしてステップＳＴ２３に進む。

ステップＳＴ２３で画像処理部はデモザイク処理を行う。画像処理部３０-3は、撮像部２１-CRから取得した画像データを用いてデモザイク処理を行い、画素毎に各色成分を有するデモザイク画像データを生成してステップＳＴ２４に進む。

ステップＳＴ２４で画像処理部はフュージョン処理を行う。画像処理部３０-3は撮像部２１-BWで生成された白黒画像データとステップＳＴ２２で視差補償が行われた視差補償カラー画像データを用いてフュージョン処理を行い、フュージョン画像データを生成してステップＳＴ２５に進む。

ステップＳＴ２５で画像処理部はフュージョン判定処理を行う。画像処理部はフュージョン判定処理を行い、フュージョン判定結果に基づき、ステップＳＴ２３で生成したデモザイク画像データとステップＳＴ２４で生成したフュージョン画像データの合成比率を示す画像合成情報を生成する。

図２３はフュージョン判定処理を示すフローチャートである。ステップＳＴ３１で画像処理部は特徴量算出処理を行う。画像処理部３０-3のフュージョン判定処理部３６-3は、視差ヒストグラムや視差ギャップヒストグラム、飽和判定ヒストグラムを生成して、生成したヒストグラムに基づき特徴量を算出してステップＳＴ３２に進む。

ステップＳＴ３２で画像処理部は変化量算出処理を行う。画像処理部３０-3は、ステップＳＴ３１で算出されている特徴量について、時間方向の変化量を算出してステップＳＴ３３に進む。

ステップＳＴ３３で画像処理部は画像合成情報生成処理を行う。画像処理部３０-3のフュージョン判定処理部３６-3は、ステップＳＴ３１で算出した特徴量と算出される特徴量毎に予め設定されている判別閾値の比較、およびステップＳＴ３２で算出した変化量と算出される変化量毎に予め設定されている変化量閾値の比較を行う。画像処理部３０-3は、比較結果に基づき、ステップＳＴ２３で生成したデモザイク画像データとステップＳＴ２４で生成したフュージョン画像データの合成比率を時間毎に示す画像合成情報を生成して、図２２のステップＳＴ２６に進む。

ステップＳＴ２６で画像処理部は画像切替処理を行う。画像処理部３０-3は、画像合成情報に基づき、ステップＳＴ２３で生成したデモザイク画像データとステップＳＴ２４で生成したフュージョン画像データの合成を行い、フュージョン画像が画質の劣化を生じると判定した場合はデモザイク画像データ、画質の劣化を生じないと判定した場合はフュージョン画像データを合成画像データとする。また、画像処理部３０-3は、画像データを切り替える遷移期間は画像データの切り替えが目立たないように中間画像を生成して合成画像データとする。また、画像処理部３０-3は、画像合成情報に基づき、フュージョン画像データからデモザイク画像データへの切り替えにおいて、画像特徴量の時間方向の変化量が変化量閾値を超えている場合、画像データの切り替え速度を所定速度よりも高速としてステップＳＴ２７に進む。

ステップＳＴ２７で画像処理部は動作終了であるか判別する。画像処理部３０-3は動画記録やプレビュー画表示が行われている場合にステップＳＴ２１に戻り、動画記録やプレビュー画表示の終了操作が行われた場合に動作を終了する。なお、ステップＳＴ２３とステップＳＴ２４の処理はいずれを先に行ってもよい。さらに、ステップ順に処理を行う順序処理に限らず、パイプライン処理や並列処理を用いてもよい。

図２４は、フュージョン判定処理部の動作を例示している。図２４の（ａ）は、フュージョン判定結果を示しており、例えば時点ｔ１１までは個別判定部３８１〜３８５から供給された個別判定結果の全てで画質の劣化を生じない判定されており、フュージョン判定では画質性能の劣化無しと判定されている。時点ｔ１１で個別判定結果のいずれかが画質の劣化を生じると判定されると、フュージョン判定では判定結果が画質性能の劣化有りとなる。また、時点ｔ１４で個別判定結果の全てで画質の劣化を生じないと判定されると、フュージョン判定では画質性能の劣化無しと判定される。

また、フュージョン判定処理部は、フュージョン判定結果が画質性能の劣化無しから劣化有りとなったとき、変化量判定部３８１ｄ〜３８４ｄから供給された個別判定結果のいずれかにおいて変化量が変化量閾値を超えている場合、切り替え速度を速くする必要がある判定して、合成比率の変化量を大きくする。図２４の（ｂ）は合成比率の変化を例示している。例えば時点ｔ１１でフュージョン処理結果が画質性能の劣化無しから劣化有りとされると、合成比率を「１」から「０」に変化させて画像合成部４０-dfbから出力される合成画像データとしてフュージョン画像データからデモザイク画像データに切り替える。また、切り替え速度を速くすると判定されたときは合成比率の変化量を式（５）に基づき大きくする。式（５）において、「reg_down_step」は合成比率を順次低下させる場合の予め設定されている低下量である。「Gain」は低下量を変化させるための利得であり、「０＜（reg_down_step×Gain）＜１」とする。また、切り替え速度を速くする必要がない判定されたとき「Gain＝Ｇ１」とした場合、切り替え速度を速くする必要が必要である判定された場合は「Gain＞Ｇ１」とする。
ｆ_ratio ＝ １−（reg_down_step×Gain） ・・・（５）

「Gain」の値は、変化量閾値を超えたときの変化量が大きくなるに伴い大きくすれば、画像特徴量の変化量が大きく画質の劣化速度が速い場合に、フュージョン画像データからデモザイク画像データへの切り替えが高速に行われて、時点ｔ１１から時点ｔ１２の期間で、合成比率が「１」から「０」に変化する。このため、切り替え速度を変更しない場合に比べて、画質の劣化した画像データを出力されにくくできる。なお、図２４の（ｂ）における破線は、切り替え速度を速くすると判定されていない場合（Gain＝１）の合成比率の変化を示しており、時点ｔ１１から時点ｔ１３の期間で、合成比率が「１」から「０」に変化する。また、時点ｔ１４から時点ｔ１５の期間で、合成比率が「０」から「１」に変化する。

また、画像合成部４０-dfbは、合成画像データとしてフュージョン画像データとデモザイク画像データの切り替えを行う場合に、合成比率に応じた中間画像を生成する。例えば画像合成部４０-dfbは、合成比率に応じた割合でフュージョン画像データとデモザイク画像データを合成して中間画像データを生成する。

図２５は、中間画像として合成画像を生成する場合の動作を例示している。図２５の（ａ）は合成比率ｆ_ratioを示している。また図２５の（ｂ）は合成画像におけるフュージョン画像成分比、図２５の（ｃ）は合成画像におけるデモザイク画像成分比を示している。時点ｔ１１までは合成比率が「１」でありフュージョン画像が画質の劣化が生じないと判定されていることからフュージョン画像を出力する。時点ｔ１１で画質の劣化を生じると判別されると時点ｔ１１〜ｔ１２の期間で合成比率が「１」から「０」に変化される。また合成比率が低下するに伴い、フュージョン画像成分比は少なくされて、デモザイク処理画像成分比は増加される。したがって、フュージョン画像からデモザイク画像への切り替えを連続的に行うことができる。

また、画像合成部４０-dfbは、デモザイク画像データに基づく画像から合成比率に応じた視点位置の画像を生成して中間画像としてもよい。

図２６は、中間画像として視点移動画像を生成する場合の動作を例示している。時点ｔ１１までは合成比率ｆ_ratioが「１」でありフュージョン画像が画質の劣化が生じないと判定されていることからフュージョン画像を出力する。時点ｔ１１で画質の劣化を生じると判別されると時点ｔ１１〜ｔ１２の期間で合成比率が「１」から「０」に変化される。時点ｔ１１から時点ｔ１２までの期間では、視差検出部３２で検出されている視差を利用して、デモザイク画像に対して視点位置を合成比率に応じて移動させる処理を行う。例えば合成比率ｆ_ratioが「０．５」である場合、デモザイク画像の画素ＧＤｎとフュージョン画像の対応画素ＧＦｎとの視差量がＤｎとすると、デモザイク画像の画素ＧＤｎを視差量（Ｄｎ×０．５）だけ移動して中間画像を生成する。

このような第３の実施の形態によれば、第１の実施の形態と同様に、撮像部２１-BWで取得された白黒撮像画と撮像部２１-CRで取得されたカラー撮像画を用いて、画質を低下させることなく高感度のカラー撮像画を画像処理部３０-1から出力できる。また、第３の実施の形態によれば、フュージョン画像が画質の劣化が生じるか否かの判定結果に応じて画像データの切り替えても、切り替えを目立たなくできる。さらに、画質の劣化速度が速い場合であっても、画質の劣化したフュージョン画像を出力されにくくできる。

＜５．画像処理装置の第４の実施の形態＞
上述の第１乃至第３の実施の形態では、フュージョン画像データとして白黒撮像画を基準としたフュージョン画像データを用いる場合を例示したが、フュージョン画像データは、撮像部２１-CRで取得されたからー撮像画を基準としたフュージョン処理で生成されたフュージョン画像データであってもよい。

図２７は、からー撮像画を基準としたフュージョン処理によって得られる画質を説明するための図である。例えば、カラー撮像画を基準として白黒撮像画を位置合わせしたのちフュージョンさせてフュージョン画像を生成すると、カラー撮像画を基準としていることからフュージョン画像では色ずれを生じることがなく、撮像部２１-BWで用いられているレンズおよびセンサの特性に応じて感度を高めることができる。

＜５−１．第４の実施の形態の構成と動作＞
図２８は、第４の実施の形態の構成を例示している。画像処理部３０-4は、撮像部２１-BWと撮像部２１-CRで取得された撮像画の画像データを用いて画像処理を行い、撮像部２１-BWや撮像部２１-CRで個々に取得される撮像画よりも画質を低下させることなく感度の高い撮像画を生成する。

画像処理部３０-4は、前処理部３１-BW，３１-CR、視差検出部３２、視差補償部３３-bc、デモザイク処理部３４、フュージョン処理部３５-fc、フュージョン判定処理部３６-4、画像合成部４０-dfcを有している。

前処理部３１-BWは、撮像部２１-BWで取得された白黒撮像画の画像データに対して、レンズ歪補正や欠陥画素補正等の補正処理を行う。前処理部３１-BWは、補正後の白黒画像データを視差検出部３２とフュージョン処理部３５-fcおよびフュージョン判定処理部３６-4へ出力する。

前処理部３１-CRは、撮像部２１-CRで取得されたカラー撮像画の画像データに対して、レンズ歪補正や欠陥画素補正等の補正処理を行う。前処理部３１-CRは、補正後のデモザイク前カラー画像データを視差検出部３２と視差補償部３３-bc、デモザイク処理部３４およびフュージョン判定処理部３６-4へ出力する。

視差検出部３２は、前処理部３１-BWから供給された白黒画像データと前処理部３１-CRから供給されたデモザイク前カラー画像データに基づいて視差検出を行い、画素毎に算出した視差を示す視差情報を生成する。視差検出部３２は、生成した視差情報を視差補償部３３-bcとフュージョン判定処理部３６-4へ出力する。

視差補償部３３-bcは、視差検出部３２から供給された視差情報に基づき白黒画像データの視差補償を行う。視差補償部３３-bcは、前処理部３１-BWから供給された白黒画像データに対して視差検出部３２で生成された視差情報に基づき画素位置の移動を行い、撮像部２１-CRで取得されたカラー撮像画の視点である視差補償白黒画像データを生成する。視差補償部３３-bcは、生成した視差補償白黒画像データをフュージョン処理部３５-fcへ出力する。

デモザイク処理部３４は、前処理部３１-CRから供給されたデモザイク前カラー画像データを用いてデモザイク処理を行う。デモザイク処理では、各画素が赤色と青色と緑色のいずれか１つの色成分を示すデモザイク前カラー撮像データから画素毎に赤色と青色と緑色の各色成分を示す画像データを生成するデモザイク処理を行う。デモザイク処理部３４は、デモザイク処理によって生成したデモザイク画像データを画像合成部４０-dfcへ出力する。

フュージョン処理部３５-fcは、前処理部３１-CRからデモザイク前カラー画像データと視差補償部３３-bcから供給された視差補償白黒画像データを用いて、カラー撮像画を基準としたフュージョン処理を行う。フュージョン処理部３５-fcは、フュージョン処理によって生成したフュージョン画像データを画像合成部４０-dfcへ出力する。

フュージョン判定処理部３６-4は、被写体を撮像して取得した白黒撮像画と被写体を異なる視点位置から撮像して取得したカラー撮像画の動画を用いて算出した特徴量に基づき、カラー撮像画を基準として白黒撮像画とカラー撮像画をフュージョンさせたフュージョン画像が画質の劣化を生じるか否かのフュージョン判定を動画の画像毎に行い、フュージョン判定結果に基づきフュージョン画像とカラー撮像画の合成比率を示す画像合成信号を生成して画像合成部４０-dfcへ出力する。

画像合成部４０-dfcは、フュージョン判定処理部３６-4から供給された画像合成信号に基づき、デモザイク処理部３４で生成されたデモザイク画像データとフュージョン処理部３５-fcで生成されたフュージョン画像データを合成する。

フュージョン判定処理部３６-4は、上述の図７に示す構成とされている。フュージョン判定処理部３６-4は、フュージョン画像とカラー撮像で視差がないことを考慮したフュージョン判定処理を行う。次にフュージョン判定処理部３６-4における画像データ選択判定部の動作について説明する。

個別判定部３８１は、視差分布特徴量算出部３７２で算出された視差分布特徴量に基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。個別判定部３８１は、視差分布特徴量ＦＶfsdと視差分布特徴量に対して予め設定されている判定閾値Ｔｈfsdl，Ｔｈfsdh（＞Ｔｈfsdl）を比較する。個別判定部３８１は、視差分布特徴量ＦＶfsdが判定閾値Ｔｈfsdhよりも大きい場合、すなわち視差のばらつきが大きい場合に合成比ＦＲfsdを「０」とする。また、個別判定部３８１は、視差分布特徴量ＦＶfsdが判定閾値Ｔｈfsdl以下である場合、すなわち視差のばらつきが小さい場合に合成比ＦＲfsdを「１」とする。さらに、個別判定部３８１は、視差分布特徴量ＦＶfsdが判定閾値Ｔｈfsdlよりも大きく判定閾値Ｔｈfsdh以下である場合、判定閾値からの距離に応じて合成比ＦＲfsdを「０＜ＦＲfsd＜１」の範囲内で例えば線形に設定する。

また、個別判定部３８２乃至個別判定部３８５も個別判定部３８１と同様に、サーチ範囲超え特徴量ＦＶosr、視差ギャップ特徴量ＦＶpd、飽和特徴量ＦＶsat、カメラ特徴量と各特徴量に対して設定されている判定閾値との比較結果に基づき合成比を設定する。

統合判定処理部３８８は、個別判定部３８１〜３８５で設定された合成比に基づき画像合成信号を生成して画像合成部４０-dfcへ出力する。例えば、統合判定処理部３８８は、個別判定部３８１〜３８５で設定された合成比から最小値を選択して、選択した合成比を統合合成比とする。また、統合判定処理部３８８は、個別判定部３８１〜３８５で設定された合成比から最大値を選択して統合合成比としてもよく個別判定部３８１〜３８５で設定された合成比の平均値を算出して統合合成比としてもよい。統合判定処理部３８８は、統合合成比ＦＲtotalをフュージョン画像とデモザイク画像の合成比とする画像合成信号を生成して、画像合成部４０-dfcは（フュージョン画像×ＦＲtotal＋デモザイク画像×（１−ＦＲtotal）の演算結果を出力する。

さらに、統合判定処理部３８８は、カメラ特徴量毎に個別判定部３８１〜３８４で合成比を設定してもよい。例えばカメラ特徴量としてＩＳＯ感度を用いて、ＩＳＯ感度毎に個別判定部３８１〜３８４で個々に設けられている判定閾値を用いて合成比を設定してもよい。また、カメラ特徴量に基づき感度の高いデモザイク画像が得られる場合は、モザイク画像のみを用いるように画像合成信号を生成してもよい。例えばＩＳＯ感度が所定感度よりも低い場合は、感度の高いデモザイク画像が得られるとして、モザイク画像のみを用いるように画像合成信号を生成する。

このような第４の実施の形態によれば、第１の実施の形態等と同様に、撮像部２１-BWで取得された白黒撮像画と撮像部２１-CRで取得されたカラー撮像画を用いて、画質を低下させることなく高感度のカラー撮像画を画像処理部３０-1から出力できる。すなわち、第４の実施の形態によれば、からー撮像画を基準としたフュージョン処理で生成されたフュージョン画像データを用いて、撮像部２１-CRで取得されたカラー撮像画以上の画質を有する高感度のカラー撮像画を画像処理部３０-4から出力できる。

＜６．画像処理装置の第５の実施の形態＞
次に、フュージョン画像データとして白黒撮像画を基準としたフュージョン画像データとからー撮像画を基準としたフュージョン画像データのいずれかを用いる場合について説明する。

カラー撮像画を基準とする場合、例えば視差によってオクルージョンが生じると、撮像部２１-BWで取得された白黒撮像画ではオクルージョン領域に対応する画像データがない。このため、白黒画像データを用いて感度を向上させた領域と白黒画像データがないため感度が向上されていない領域とでノイズ量が異なり、フュージョン画像の感度を高くした場合にはノイズ量の違いが顕著となる。また、カラー撮像画と白黒撮像画が位置ずれを生じているとフュージョン画像の感度を高くした場合に位置ずれが顕著となる。したがって、カラー撮像画を基準としたフュージョン画像におけるノイズ量の違いや位置ずれによる画質の劣化を抑えた場合の感度向上効果は、白黒撮像画を基準とした場合に比べて低い。このため、第５の実施の形態では、画質の劣化を生じないようにからー撮像画を基準としたフュージョン画像データまたは白黒撮像画を基準としたフュージョン画像データを用いて、撮像部２１-CRで取得されたカラー撮像画以上の画質を有するカラー撮像画を生成する。

＜６−１．第５の実施の形態の構成と動作＞
図２９は、第５の実施の形態の構成を例示している。画像処理部３０-5は、撮像部２１-BWと撮像部２１-CRで取得された撮像画の画像データを用いて画像処理を行い、撮像部２１-BWと撮像部２１-CRで個々に取得された撮像画よりも画質を低下させることなく感度の高い撮像画を生成する。

画像処理部３０-5は、前処理部３１-BW，３１-CR、画像生成部ＢＬ-BW，ＢＬ-CR、画像選択部４１を有している。

前処理部３１-BWは、撮像部２１-BWで取得された白黒撮像画の画像データに対して、レンズ歪補正や欠陥画素補正等の補正処理を行う。前処理部３１-BWは、補正後の白黒画像データを画像生成部ＢＬ-BW，ＢＬ-CRへ出力する。

前処理部３１-CRは、撮像部２１-CRで取得されたカラー撮像画の画像データに対して、レンズ歪補正や欠陥画素補正等の補正処理を行う。前処理部３１-CRは、補正後のデモザイク前カラー画像データを画像生成部ＢＬ-BW，ＢＬ-CRへ出力する。

画像生成部ＢＬ-BWは、上述の第３の実施の形態と同様に視差検出部３２、視差補償部３３-cb、デモザイク処理部３４、フュージョン処理部３５-fb、フュージョン判定処理部３６-3、画像合成部４０-dfbを有している。画像生成部ＢＬ-BWは、第３の実施の形態と同様な処理を行い、白黒撮像画を基準としたフュージョン画像データとデモザイク画像データをフュージョン判定に応じて合成した合成画像を生成する。画像生成部ＢＬ-BWは、生成した合成画像の画像データを画像選択部４１へ出力する。

画像生成部ＢＬ-CRは、上述の第４の実施の形態と同様に視差検出部３２、視差補償部３３-bc、デモザイク処理部３４、フュージョン処理部３５-fc、フュージョン判定処理部３６-4、画像合成部４０-dfcを有している。画像生成部ＢＬ-CRは、第４の実施の形態と同様な処理を行い、からー撮像画を基準としたフュージョン画像データとデモザイク画像データをフュージョン判定に応じて合成した合成画像を生成する。画像生成部ＢＬ-CRは、生成した合成画像の画像データを画像選択部４１へ出力する。

また、画像生成部ＢＬ-BWまたは画像生成部ＢＬ-CRのフュージョン判定処理部は、画像生成部ＢＬ-BWまたは画像生成部ＢＬ-CRで生成された合成画像の画像データを選択する画像選択信号を生成する。なお、図２９では、画像生成部ＢＬ-BWのフュージョン判定処理部３６-3で画像選択信号を生成する場合を例示している。

フュージョン判定処理部３６-3では、カメラ特徴量や画像特徴量に基づきフュージョン判定を行い、画質の劣化を生じることなく高感度の撮像画を画像処理部で生成できるように画像選択信号を生成する。ＩＳＯ感度に応じて画像選択信号を生成する場合を例示している。

図３０は、デモザイク画像とフュージョン画像の画質とＩＳＯ感度の関係を例示している。なお、実線はデモザイク画像、点線はからー撮像画を基準としたフュージョン画像、一点鎖線は白黒撮像画を基準としたフュージョン画像の特性である。

ＩＳＯ感度が低く設定される撮像環境である場合、デモザイク画像はノイズが少なく画質の高い画像となる。したがって、フュージョン判定処理部３６-3は、例えば所望の画質性能（感度）ＬＭ以上の撮像画を生成できるＩＳＯ感度範囲では、フュージョン画像を用いることによる画質の劣化のリスクを避けるため、デモザイク画像を選択するように画像選択信号を生成する。

ＩＳＯ感度が高く設定される撮像環境である場合、デモザイク画像はノイズが増加して画質が低下した画像となる。また、からー撮像画を基準としたフュージョン画像は、デモザイク画像と視点が一致していることから視差による画質の劣化のリスクは低いが、白黒撮像画を基準としたフュージョン画像に比べて感度向上効果が少ない。また、白黒撮像画を基準としたフュージョン画像は、からー撮像画を基準としたフュージョン画像に比べて感度向上効果が大きいが、デモザイク画像と視差を生じていることから画質の劣化のリスクはからー撮像画を基準としたフュージョン画像よりも高い。したがって、フュージョン判定処理部３６-3は、ＩＳＯ感度が例えばデモザイク画像の画質が所望の画質性能（感度）ＬＭよりも低下する感度以上の場合は、感度向上効果を得るためにからー撮像画を基準としたフュージョン画像を選択するように画像選択信号を生成する。さらに、フュージョン判定処理部３６-3は、ＩＳＯ感度が例えばからー撮像画を基準としたフュージョン画像の画質が所望の画質ＬＭよりも低下する感度未満の場合は、感度向上効果をさらに高くするために白黒撮像画を基準としたフュージョン画像を選択するように画像選択信号を生成する。このように、画像選択信号を生成すれば、画質の劣化のリスクが少なく画像処理部３０-5から出力される画像データは高感度の撮像画の画像データとなる。

なお、フュージョン判定処理部３６-3は、ＩＳＯ感度に限らず他のカメラ特徴量や画像特徴量に基づき、画質の劣化のリスクが小さい高感度の撮像画の画像データが画像処理部３０-5から出力されるように画像選択信号を生成してもよい。例えば、視差分布特徴量ＦＶfsd等が判定閾値以下である場合は、白黒撮像画を基準としたフュージョン画像を用いることによる画質劣化のリスクが少ないと判別して、白黒撮像画を基準としたフュージョン画像を選択する。また、視差分布特徴量ＦＶfsd等が判定閾値よりも大きい場合は、白黒撮像画を基準としたフュージョン画像を用いることによる画質劣化のリスクが大きいと判別して、からー撮像画を基準としたフュージョン画像を選択するようにしてもよい。

このような第５の実施の形態によれば、第１の実施の形態等と同様に、撮像部２１-BWで取得された白黒撮像画と撮像部２１-CRで取得されたカラー撮像画を用いて、画質を低下させることなく高感度のカラー撮像画を画像処理部３０-1から出力できる。さらに、第５の実施の形態によれば、上述の第１乃至第４の実施の形態に比べて、画質の劣化のリスクが少なく高感度の撮像画を得られるようになる。

なお、撮像画が静止画である場合は、画像生成部における視差補償部では白黒撮像画とからー撮像画の視差補償、フュージョン処理部ではからー撮像画を基準としたフュージョン画像と白黒撮像画を基準としたフュージョン画像の生成を切り替えて行えるようにする。また、フュージョン判定処理部では、カメラ特徴量や画像特徴量に基づきフュージョン判定を行い、画質の劣化を生じることなく高感度の撮像画を生成できるように、視差補償部とフュージョン処理部および画像合成部の動作を制御する。このような構成すれば、第５の実施の形態のように画像生成部ＢＬ-BWと画像生成部ＢＬ-CRを個別に設けなくとも、画像生成部の動作を切り替えて、第５の実施の形態と同様に、画質の劣化のリスクが少なく高感度の静止画を得られるようになる。

＜７．他の実施の形態＞
ところで、カラー撮像画では、輝度成分と色成分のばらつきが大きく異なる場合もある。このような場合、例えば輝度成分が平坦で白黒撮像画と差が少なく、画像特徴量に基づき画質の劣化を生じないと判定されても、色成分のばらつきが大きいことによって画質の劣化を生じるおそれもある。そこで、フュージョン判定処理部では、色成分のばらつきも考慮して画質の劣化が生じるか否かを判定してもよい。

また、動画の撮像では、端部から内部に入り込む被写体がある。しかし、第１乃至第３の実施の形態では図８に示す算出対象領域の画像全体を用いてフュージョン処理可否判定を行っている。このため、端部領域が画質の劣化を生じるような画像となっても、算出対象領域が画質の劣化を生じる画像でなければ、端部領域で画質の劣化を生じた画像となってしまう。そこで、フュージョン判定処理部では、端部領域の画像変化を考慮して画質の劣化が生じるか否かを判定してもよい。

図３１は、色成分のばらつきと端部領域の画像変化をさらに用いてフュージョン処理により画質の劣化を生じるか否かを判定するフュージョン判定処理部の一部の構成を例示している。

フュージョン判定処理部３６-eの画像特徴量算出部３７-eは、ＹＣ特徴量算出部３７８と端部領域特徴量算出部３７９をさらに有している。

ＹＣ特徴量算出部３７８は前処理部３１-CRから供給されたデモザイク前カラー画像データに基づいて輝度成分データと色成分データを算出する。さらに、ＹＣ特徴量算出部３７８は、輝度成分データと色成分データのそれぞれについて信号値分布の特徴を示す統計量例えば標準偏差を特徴量として算出する。さらに、ＹＣ特徴量算出部３７８は、輝度成分データと色成分データの特徴量の差をＹＣ特徴量ＦＶycとして算出する。

端部領域特徴量算出部３７９は、撮像部２１-BWで取得された白黒撮像画と撮像部２１-CRで取得されたカラー撮像画のそれぞれについて端部領域の画素平均値を算出する。また、端部領域特徴量算出部３７９は、白黒撮像画における端部領域の画素平均値とカラー撮像画における端部領域の画素平均値の差の絶対値を端部領域特徴量ＦＶedとする。

画像データ選択判定部３８-eは、画像特徴量算出部３７-eで算出された画像特徴量と、制御部６０等から取得したカメラ特徴量に基づき、フュージョン画像が画質の劣化を生じるか否かの判定を行う。また、画像データ選択判定部３８-eは、判別結果および画像特徴量の時間方向の変化量に基づき画像合成信号を生成する。画像データ選択判定部３８-eは、上述の画像データ選択判定部３８-3に対して個別判定部３８６と変化判定部３８６ｄ，３８７ｄを追加した構成とされている。

個別判定部３８６は、ＹＣ特徴量算出部３７８で算出されたＹＣ特徴量ＦＶycに基づき、フュージョン処理で画質の劣化を生じるか否か判定する。個別判定部３８６は、ＹＣ特徴量ＦＶycとＹＣ特徴量に対して予め設定されている判定閾値Ｔｈycを比較する。個別判定部３８６は、ＹＣ特徴量ＦＶycが判定閾値Ｔｈycよりも大きい場合にフュージョン処理で画質の劣化を生じると判定する。個別判定部３８６は、個別判定結果を統合判定処理部３８９へ出力する。

変化量判定部３８６ｄは、ＹＣ特徴量算出部３７８で算出されたＹＣ特徴量の時間的な変化量（ＦＶyc(i)−ＦＶyc(i-1)を算出する。変化量判定部３８６ｄは、算出した変化量の絶対値と予め設定されている変化量閾値Ｔｈｄycを比較して、比較結果を統合判定処理部３８９へ出力する。

個別判定部３８７は、端部領域特徴量算出部３７９で算出された端部領域特徴量の時間的な変化量を算出する。個別判定部３８７は、算出した変化量の絶対値と予め設定されている変化量閾値を比較する。個別判定部３８７は、変化量の絶対値が判定閾値よりも大きい場合にフュージョン処理で画質の劣化を生じると判定する。個別判定部３８７は、個別判定結果を統合判定処理部３８９へ出力する。

統合判定処理部３８９は、個別判定部３８１-1〜３８７から供給された個別判定結果と変化量判定結果を用いてフュージョン判定を行い、フュージョン判定結果に応じて画像合成信号を生成して画像合成部４０-dfb（４０-dfc）へ出力する。また、統合判定処理部３８９は、変化量判定部３８１ｄ〜３８４ｄ，３８６ｄから供給された変化量と変化量閾値との比較結果に基づき、フュージョン画像データからデモザイク画像データへの切り替え速度を決定する。さらに、統合判定処理部３８９は、決定した切り替え速度に応じて画像合成信号が示す合成比率を設定する。

図３２は、端部領域を例示した図である。白黒撮像画とカラー撮像画において例えば左上画素の画素位置を（０，０）としたとき、左側端の端部領域ＡＥＬの端部領域特徴量ＦＶedは、端部領域ＡＥＬの水平方向画素数（20）、垂直方向画素数（hight）、カラー撮像画の画素値（DB）、白黒撮像画の画素値（DW）、フレーム番号（i）としたとき、式（６）に基づいて算出できる。また、端部領域特徴量算出部３７９は、図３２の斜線で示す上下端および右側端の端部領域のそれぞれについて端部領域ＡＥＬと同様に端部領域特徴量を算出する。また、端部領域特徴量算出部３７９は、各端部領域をまとめて１つの領域として端部領域特徴量を算出してもよい。

このように、輝度成分と色成分のばらつきを考慮してフュージョン画像が画質の劣化を生じるか否かを判定すれば、輝度成分と色成分のばらつきが大きく異なるような場合でも画質の劣化を生じることがないように精度よく判定を行うことができる。また、端部領域特徴量を用いて画質の劣化を生じるか否かを判定すれば、端部から入り込む被写体画像について画質の劣化を生じることがないように判定を行うことができる。したがって、上述の実施の形態に比べて多様な撮像状況に対応可能で画質の高いカラー撮像画を画像処理部から出力できるようになる。

なお、フュージョン判定処理部は、上述の実施の形態の各特徴量を全て用いる場合に限らず、いずれかの特徴量を用いてフュージョン画像が画質の劣化を生じるか否かを判定してもよい。また、画質の劣化を生じるか否かの判定に利用可能であれば、上述の実施の形態に示されていない特徴量を用いてもよい。さらに、上述の実施の形態では、撮像部２１-BWで白黒撮像画を生成したが撮像部２１-BWとして赤外域に感度を有する撮像部を用いて白黒撮像画を取得すれば、夜間等でも画質を向上させることが可能となる。

＜８．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、情報処理端末に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図３３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３３に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３３では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図３４は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３４には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図３３に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３３の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図３３に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８は、それぞれ複数の撮像部例えば図２に示す撮像部２１-BW，２１-CRを用いる構成とする。また、図３３に示した応用例の統合制御ユニット７６００に画像処理部３０を設ける。このような構成とすれば、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８を小型・薄型化しても高性能な撮像画を取得できるので、取得した撮像画を運転支援や運転制御等に利用できる。なお、画像処理部３０は、図３３に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 被写体が撮像された白黒撮像画と前記被写体が異なる視点位置から撮像されたカラー撮像画をフュージョンさせたフュージョン画像を生成するフュージョン処理部と、
前記フュージョン処理部で生成したフュージョン画像が所定の条件を満たすか否かを判定するフュージョン判定処理部とを備え、
前記フュージョン判定処理部は、前記所定の条件が満たされていると判定した場合は前記フュージョン画像を出力すると決定し、前記所定の条件が満たされていないと判定した場合は前記フュージョン画像以外の画像を出力すると決定する
画像処理装置。
（２） 前記フュージョン判定処理部は、前記白黒撮像画と前記カラー撮像画に関する特徴量に基づき前記フュージョン画像が所定の条件を満たすか否かを判定する（１）に記載の画像処理装置。
（３） 前記フュージョン判定処理部は、前記白黒撮像画と前記カラー撮像画に関する特徴量に基づき前記フュージョン画像に劣化が生じていないと判定された場合は前記フュージョン画像を出力すると決定し、前記フュージョン画像に劣化が生じていると判定された場合に前記フュージョン画像以外の画像を出力することを決定する（２）に記載の画像処理装置。
（４） 前記フュージョン判定処理部は、前記特徴量と予め設定されている判定閾値を比較して、比較結果に基づき前記画質の劣化を生じるか否かの判定を行う（３）に記載の画像処理装置。
（５） 前記フュージョン判定処理部は、前記白黒撮像画と前記カラー撮像画の視差に基づいて前記特徴量を算出する（４）に記載の画像処理装置。
（６） 前記フュージョン判定処理部は、画素毎の前記視差のばらつきを示す統計量を前記特徴量として、前記視差のばらつきが前記判定閾値よりも大きい場合に画質の劣化を生じると判定する（５）に記載の画像処理装置。
（７） 前記フュージョン判定処理部は、画素毎の前記視差において所定範囲の視差量を超える画素の割合を前記特徴量として、前記所定範囲の視差量を超える画素の割合が前記判定閾値の割合よりも大きい場合に画質の劣化が生じると判定する（５）または（６）に記載の画像処理装置。
（８） 前記フュージョン判定処理部は、画素毎に当該画素から視差方向に所定距離だけ離れた画素と逆方向に前記所定距離だけ離れた画素の視差差分絶対値を算出して、前記視差差分絶対値が所定量を超える画素の割合を前記特徴量して、前記所定量を超える画素の割合が前記判定閾値の割合よりも大きい場合に画質の劣化を生じると判定する（５）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記フュージョン判定処理部は、前記白黒撮像画と前記カラー撮像画の画素の飽和に基づいて前記特徴量を算出する（３）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記フュージョン判定処理部は、前記カラー撮像画の画像データから生成した輝度成分画像データにおける飽和判定設定値以上の画素と前記白黒撮像画の画像データにおける飽和判定設定値以上の画素の画素数差に基づき特徴量を算出して、前記特徴量が前記判定閾値よりも大きい場合に画質の劣化を生じると判定する（９）に記載の画像処理装置。
（１１） 前記フュージョン判定処理部は、前記カラー撮像画の画像データから輝度成分画像データと色成分画像データを生成して、前記輝度成分画像データのばらつきと前記色成分画像データのばらつきの差を前記特徴量として、前記ばらつきの差が前記判定閾値のばらつきの差よりも大きい場合に画質の劣化を生じると判定する（３）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記フュージョン判定処理部は、前記白黒撮像画と取得する撮像部と前記カラー撮像画を取得する撮像部に関するカメラ情報を前記特徴量として用いる（３）乃至（１０）のいずれかに記載の画像処理装置。
（１３） 前記フュージョン判定処理部は、前記カメラ情報として前記白黒撮像画と前記カラー撮像画の撮像設定情報を用いる（１２）に記載の画像処理装置。
（１４） 前記フュージョン判定処理部は、前記白黒撮像画と前記カラー撮像画の撮像設定情報に応じて前記判定閾値を変更する（１３）に記載の画像処理装置。
（１５） 前記フュージョン判定処理部は、前記撮像設定情報としてＩＳＯ感度を用いて、前記ＩＳＯ感度が低くなるに伴い画質の劣化を生じると判定されやすくなるように前記判定閾値を設定する（１３）または（１４）に記載の画像処理装置。
（１６） 前記フュージョン判定処理部は、前記撮像設定情報として焦点距離を用いて、前記焦点距離が短くなるに伴い画質の劣化を生じると判定されやすくなるように前記判定閾値を設定する（１３）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記フュージョン判定処理部は、前記白黒撮像画を基準として前記白黒撮像画と前記カラー撮像画をフュージョンさせたフュージョン画像、または前記からー撮像画を基準として前記白黒撮像画と前記カラー撮像画をフュージョンさせたフュージョン画像の生成で画質の劣化を生じるか否かのフュージョン判定を行う（２）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記フュージョン判定処理部は、前記白黒撮像画を基準として生成したフュージョン画像と前記からー撮像画を基準として生成したフュージョン画像が画質の劣化を生じるか判定して、前記白黒撮像画を基準として生成したフュージョン画像が画質の劣化を生じないと判別した場合に前記白黒撮像画を基準として生成したフュージョン画像の選択処理を行い、前記白黒撮像画を基準として生成したフュージョン画像と前記からー撮像画を基準として生成したフュージョン画像が画質の劣化を生じると判別した場合に前記カラー撮像画の選択処理を行い、他の場合に前記からー撮像画を基準として生成したフュージョン画像の選択処理を行う（２）乃至（１６）のいずれかに記載の画像処理装置。

この技術の画像処理装置と画像処理方法では、被写体が撮像された白黒撮像画と前記被写体が異なる視点位置から撮像されたカラー撮像画をフュージョンさせたフュージョン画像がフュージョン処理部で生成されて、フュージョン判定処理部では、生成されたフュージョン画像が所定の条件を満たすか否かの判定を行い、所定の条件を満たしている判定した場合はフュージョン画像を出力すると決定し、所定の条件が満たされていないと判定した場合はフュージョン画像以外の画像を出力すると決定することが行われる。このため、複数の撮像部で取得された撮像画を用いて画質を低下させることなく高感度の撮像画を得られるようになる。したがって、撮像部を用いる機器であって、撮像部の小型化や薄型化が必要とされる機器に適している。

１０・・・情報処理端末
２１-BW，２１-CR・・・撮像部
３０，３０-1〜３０-5・・・画像処理部
３１-BW，３１-CR・・・前処理部
３２・・・視差検出部
３３-cb，３３-bc・・・視差補償部
３４・・・デモザイク処理部
３５-fb，３５-fc・・・フュージョン処理部
３６-1〜３６-4、３６-e・・・フュージョン判定処理部
３７，３７-e・・・画像特徴量算出部
３８-1〜３８-3，３８-e・・・画像データ選択判定部
３９・・・画像選択部
４０・・・画像合成部
５１・・・センサ部
５２・・・通信部
５３・・・表示部
５４・・・タッチパネル
５５・・・操作部
５６・・・記憶部
３７１・・・視差ヒストグラム生成部
３７２・・・視差分布特徴量算出部
３７３・・・サーチ範囲超え特徴量算出部
３７４・・・視差ギャップヒストグラム生成部
３７５・・・視差ギャップ特徴量算出部
３７６・・・飽和判定ヒストグラム生成部
３７７・・・飽和特徴量算出部
３７８・・・特徴量算出部
３７９・・・端部領域特徴量算出部
３８０・・・判定閾値設定部
３８１〜３８７・・・個別判定部
３８１ｄ〜３８５ｄ，３８６ｄ・・・変化量判定部
３８８，３８９・・・統合判定処理部

Claims (17)

1. 被写体が撮像された白黒撮像画と前記被写体が異なる視点位置から撮像されたカラー撮像画をフュージョンさせたフュージョン画像を生成するフュージョン処理部と、
   前記フュージョン処理部で生成したフュージョン画像が所定の条件を満たすか否かを判定するフュージョン判定処理部とを備え、
   前記フュージョン判定処理部は、前記白黒撮像画と前記カラー撮像画に関する特徴量として、前記白黒撮像画と前記カラー撮像画の画素の飽和に基づいて算出した特徴量を用いて、前記特徴量に基づき前記フュージョン画像が所定の条件を満たすか否かを判定して、前記所定の条件が満たされていると判定した場合は前記フュージョン画像を出力すると決定し、前記所定の条件が満たされていないと判定した場合は前記フュージョン画像以外の画像を出力すると決定する
   画像処理装置。
2. 前記フュージョン判定処理部は、前記白黒撮像画と前記カラー撮像画に関する特徴量に基づき前記フュージョン画像に画質の劣化が生じていないと判定された場合は前記フュージョン画像を出力すると決定し、前記フュージョン画像に画質の劣化が生じていると判定された場合に前記フュージョン画像以外の画像を出力することを決定する
   請求項１に記載の画像処理装置。
3. 前記フュージョン判定処理部は、前記特徴量と予め設定されている判定閾値を比較して、比較結果に基づき前記画質の劣化を生じるか否かの判定を行う
   請求項２に記載の画像処理装置。
4. 前記フュージョン判定処理部は、前記白黒撮像画と前記カラー撮像画の視差に基づいて算出した特徴量を用いる
   請求項３に記載の画像処理装置。
5. 前記フュージョン判定処理部は、画素毎の前記視差のばらつきを示す統計量を前記視差に基づいて算出した特徴量として、前記視差のばらつきが前記判定閾値よりも大きい場合に画質の劣化を生じると判定する
   請求項４に記載の画像処理装置。
6. 前記フュージョン判定処理部は、画素毎の前記視差において所定範囲の視差量を超える画素の割合を前記特徴量として用いて、前記所定範囲の視差量を超える画素の割合が前記判定閾値の割合よりも大きい場合に画質の劣化が生じると判定する
   請求項４に記載の画像処理装置。
7. 前記フュージョン判定処理部は、画素毎に当該画素から視差方向に所定距離だけ離れた画素と逆方向に前記所定距離だけ離れた画素の視差差分絶対値を算出して、前記視差差分絶対値が所定量を超える画素の割合を前記特徴量として用いて、前記所定量を超える画素の割合が前記判定閾値の割合よりも大きい場合に画質の劣化を生じると判定する
   請求項４に記載の画像処理装置。
8. 前記フュージョン判定処理部は、前記カラー撮像画の画像データから生成した輝度成分画像データにおける飽和判定設定値以上の画素と前記白黒撮像画の画像データにおける飽和判定設定値以上の画素の画素数差に基づいて算出した特徴量を用いて、前記特徴量が判定閾値よりも大きい場合に画質の劣化を生じると判定する
   請求項２に記載の画像処理装置。
9. 前記フュージョン判定処理部は、前記カラー撮像画の画像データから輝度成分画像データと色成分画像データを生成して、前記輝度成分画像データのばらつきと前記色成分画像データのばらつきの差を前記特徴量として用いて、前記ばらつきの差が判定閾値のばらつきの差よりも大きい場合に画質の劣化を生じると判定する
   請求項２に記載の画像処理装置。
10. 前記フュージョン判定処理部は、前記白黒撮像画と取得する撮像部と前記カラー撮像画を取得する撮像部に関するカメラ情報を前記特徴量として用いる
    請求項３に記載の画像処理装置。
11. 前記フュージョン判定処理部は、前記カメラ情報として前記白黒撮像画と前記カラー撮像画の撮像設定情報を用いる
    請求項１０に記載の画像処理装置。
12. 前記フュージョン判定処理部は、前記白黒撮像画と前記カラー撮像画の撮像設定情報に応じて前記判定閾値を変更する
    請求項１１に記載の画像処理装置。
13. 前記フュージョン判定処理部は、前記撮像設定情報としてＩＳＯ感度を用いて、前記ＩＳＯ感度が低くなるに伴い画質の劣化を生じると判定されやすくなるように前記判定閾値を設定する
    請求項１１に記載の画像処理装置。
14. 前記フュージョン判定処理部は、前記撮像設定情報として焦点距離を用いて、前記焦点距離が短くなるに伴い画質の劣化を生じると判定されやすくなるように前記判定閾値を設定する
    請求項１１に記載の画像処理装置。
15. 被写体が撮像された白黒撮像画と前記被写体が異なる視点位置から撮像されたカラー撮像画をフュージョンさせたフュージョン画像を生成するフュージョン処理部と、
    前記フュージョン処理部で生成したフュージョン画像が所定の条件を満たすか否かを判定するフュージョン判定処理部とを備え、
    前記フュージョン判定処理部は、前記白黒撮像画を基準として前記白黒撮像画と前記カラー撮像画をフュージョンさせたフュージョン画像、または前記カラー撮像画を基準として前記白黒撮像画と前記カラー撮像画をフュージョンさせたフュージョン画像の生成で画質の劣化を生じるか否かのフュージョン判定を行い、画質の劣化を生じないと判定した場合は前記フュージョン画像を出力すると決定し、画質の劣化を生じると判定した場合は前記フュージョン画像以外の画像を出力すると決定する
    画像処理装置。
16. 被写体が撮像された白黒撮像画と前記被写体が異なる視点位置から撮像されたカラー撮像画をフュージョンさせたフュージョン画像を生成するフュージョン処理部と、
    前記フュージョン処理部で生成したフュージョン画像が所定の条件を満たすか否かを判定するフュージョン判定処理部とを備え、
    前記フュージョン判定処理部は、前記白黒撮像画を基準として生成したフュージョン画像と前記カラー撮像画を基準として生成したフュージョン画像が画質の劣化を生じるか判定して、前記白黒撮像画を基準として生成したフュージョン画像が画質の劣化を生じないと判別した場合に前記白黒撮像画を基準として生成したフュージョン画像の選択処理を行い、前記白黒撮像画を基準として生成したフュージョン画像と前記カラー撮像画を基準として生成したフュージョン画像が画質の劣化を生じると判別した場合に前記カラー撮像画の選択処理を行い、他の場合に前記カラー撮像画を基準として生成したフュージョン画像の選択処理を行う
    画像処理装置。
17. 被写体が撮像された白黒撮像画と前記被写体が異なる視点位置から撮像されたカラー撮像画をフュージョンさせたフュージョン画像をフュージョン処理部で生成することと、
    前記白黒撮像画と前記カラー撮像画に関する特徴量として、前記白黒撮像画と前記カラー撮像画の画素の飽和に基づいて算出した特徴量を用いて、前記特徴量に基づき前記フュージョン画像が所定の条件を満たすか否かをフュージョン判定処理部で判定して、前記所定の条件が満たされていると判定した場合は前記フュージョン画像を出力すると決定し、前記所定の条件が満たされていないと判定した場合は前記フュージョン画像以外の画像を出力すると決定することと
    を含む画像処理方法。

Images