JPWO2018092379A1 - 画像処理装置と画像処理方法 - Google Patents

Abstract

フュージョン処理部３２は、所定条件を満たす場合、撮像部２１-Hで生成された高画質画像よりも広画角である撮像部２１-Hで生成された広画角画像を用いて高画質画像を基準としたワーピングを行い、広画角画像よりも高画質である高画質画像とワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する。また、所定条件を満たさない場合、フュージョン判定情報に基づき、高画質画像を用いて広画角画像を基準としたワーピングを行い、ワーピング後の高画質画像とワーピングを行っていない広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する。画角と解像度が異なる複数の撮像画を用いて画質を低下させることなく広画角で高画質の撮像画を生成できる。

Description

この技術は、画像処理装置と画像処理方法に関し、画角と解像度が異なる撮像画を用いて画質を低下させることなく広画角で高解像度の撮像画を生成できるようにする。

従来、携帯型の電子機器例えばスマートフォン等の情報処理端末では、小型化・薄型化のために撮像部の画質が一眼レフカメラ等に比べて低下している。このため、例えば特許文献１では、複数の撮像部を設けて、画質の異なる複数の画像例えば第１の画角と第１の画角よりも狭い第２の画角の画像を同時に生成することが開示されている。

特開２０１３−２１９５２５号公報

ところで、特許文献１のように複数の撮像部を設けただけでは、撮像部の性能を超えた撮像画を取得できない。

そこで、この技術では画角と画質が異なる複数の撮像画を用いて画質を低下させることなく広画角で高画質の撮像画を生成できる画像処理装置と画像処理方法を提供することを目的とする。

この技術の第１の側面は、
高画質画像よりも低画質且つ広画角である広画角画像に対して前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する高画質画像基準フュージョン処理を行うフュージョン処理部
を備える画像処理装置にある。

この技術において、フュージョン処理部は高画質画像基準フュージョン処理を行う。フュージョン処理部は、高画質画像より低画質且つ広画角である広画角画像に対して高画質画像を基準としたワーピングを行う。ワーピングは、高画質画像と広画角画像についての視差情報に基づいて行い、広画角画像において高画質画像に含まれていない画像非重複領域の視差情報は、画像重複領域の視差情報を用いて補間する。また、フュージョン処理部は、広画角画像よりも高画質である高画質画像とワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する。

また、フュージョン処理部は、判定部の判定結果に基づき、所定条件を満たしている場合に高画質画像基準フュージョン処理を行い、所定条件を満たしていない場合、広画角画像基準フュージョン処理を行う。広画角画像基準フュージョン処理では、高画質画像を用いて広画角画像を基準としたワーピングを行い、ワーピング後の高画質画像とワーピングを行っていない広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する。

判定部は、例えば広画角画像において高画質画像に含まれていない画像非重複領域に位置する被写体について視差情報に基づき判別した被写体距離が判定閾値よりも長いことを所定条件とする。また、判定部は、例えば画像重複領域における画像非重複領域との境界から所定範囲の画像領域の平均輝度の輝度差が判定閾値以下であることを所定条件とする。

また、フュージョン処理部は狭画角フュージョン処理を行う。フュージョン処理部は広画角画像を用いて高画質画像を基準としたワーピングを行い、高画質画像とワーピング後の広画角画像を、画像重複領域の位置を一致させて高画質画像の画角であるフュージョン画像を生成する。

フュージョン処理部は、高画質画像と広画角画像が動画で広画角画像の画角であるフュージョン画像を生成する場合、判定部の判定結果に基づき高画質画像基準フュージョン処理または広画角画像基準フュージョン処理を行う。フュージョン処理部は、高画質画像と広画角画像が静止画である場合、高画質画像基準フュージョン処理または広画角画像基準フュージョン処理あるいは狭画角フュージョン処理を行う。フュージョン処理部は、判定部の判定結果に基づき、所定条件を満たしていない場合は広画角画像基準フュージョン処理または狭画角フュージョン処理を行う。さらに、フュージョン処理部は、所定条件を満たしていない場合において、判定部でフュージョン画像の画角設定を自動的に行うモード選択が行われていることを判定している場合に狭画角フュージョン処理を行う。また、判定部は、フュージョン処理のユーザ選択操作を判定して、フュージョン処理部は、判定部で狭画角フュージョン処理が選択されたことを判定した場合に所定条件を満たしているか否かに拘わらず狭画角フュージョン処理を行う。

この技術の第２の側面は、
高画質画像よりも低画質且つ広画角である広画角画像に対して前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する高画質画像基準フュージョン処理をフュージョン処理部で行うことを
を含む画像処理方法にある。

この技術によれば、高画質画像よりも低画質且つ広画角である広画角画像に対して高画質画像を基準としたワーピングと、広画角画像よりも高画質である高画質画像とワーピング後の広画角画像を、画像重複領域の位置を一致させて合成する処理が行われてフュージョン画像が生成される。したがって、画角と画質が異なる複数の撮像画を用いて画質を低下させることなく広画角で高画質の撮像画を生成できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像処理装置を適用した機器の外観を例示した図である。 情報処理端末の構成を例示した図である。 撮像部の画素配列を例示した図である。 白黒撮像画を基準としたときのオクルージョンを示した図である。 フュージョン画像の生成に用いる撮像画を示した図である。 実施の形態の構成を例示した図である。 画像処理部の実施の形態の動作を示すフローチャートである。 フュージョン処理判定を示すフローチャートである。 撮像部と被写体の位置関係を模式的に示した図である。 被写体距離と撮像部で取得される撮像画の関係を示す図である。 近景検出領域を示す図である。 距離に基づく基準画像判定を示すフローチャートである。 輝度差に基づく基準画像判定を説明するための図である。 輝度算出領域を示す図である。 輝度差に基づく基準画像判定を示すフローチャートである。 統合判定を説明するための図である。 視差検出を説明するための図である。 フュージョン判定結果に基づいて生成されるフュージョン画像の性能を示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置を適用した機器の構成
２．画像処理装置の実施の形態
２−１．実施の形態の構成
２−２．実施の形態の動作
３．他の実施の形態
４．応用例

＜１．画像処理装置を適用した機器の構成＞
図１は、この技術の画像処理装置を適用した機器の外観を例示している。なお、以下の説明では、例えば情報処理端末に画像処理装置を適用している。図１の（ａ）は情報処理端末１０の表側を示しており、表示部５３やタッチパネル５４および操作部５５が表側に設けられている。図１の（ｂ）は情報処理端末１０の裏側を示しており、複数の撮像部例えば２つの撮像部２１-H，２１-Wが裏側に設けられている。

図２は、情報処理端末の構成を例示している。情報処理端末１０は、複数の撮像部例えば２つの撮像部２１-H，２１-W、画像処理部３０、センサ部５１、通信部５２、表示部５３、タッチパネル５４、操作部５５、記憶部５６、および制御部６０を有している。画像処理部３０はこの技術の画像処理装置に相当する。

撮像部２１-H，２１-Wは、図１の（ｂ）に示すように情報処理端末１０の同一面側に設けられている。撮像部２１-H，２１-Wは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を用いて構成されており、レンズ（図示せず）により取り込まれた光の光電変換を行い、撮像画の画像データを生成して画像処理部３０へ出力する。また、撮像部２１-H，２１-Wは特性差を有しており、撮像部２１-Hは撮像部２１-Wよりも高画質であり、撮像部２１-Wは撮像部２１-Hよりも広画角である。

図３は、撮像部の画素配列を例示している。図３の（ａ）は、撮像部２１-Hの画素配列を示している。撮像部２１-Hは、全画素が、可視光の全波長領域の入射光量に基づく電気信号を出力するＷ（ホワイト）画素によって構成される。したがって、撮像部２１-Hは、白黒撮像画の画像データを生成する。

図３の（ｂ）は、撮像部２１-Wの画素配列を示している。撮像部２１-Wは、例えば赤色（Ｒ）画素と青色（Ｂ）画素と緑色（Ｇ）画素をベイヤ配列としたカラーフィルタを用いて構成されている。ベイヤ配列では２×２画素の画素単位において対角位置の２つの画素が緑色（Ｇ）画素で、残りの画素が赤色（Ｒ）画素と青色（Ｂ）画素とされている。すなわち、撮像部２１-Wは、各画素が赤色と青色と緑色のいずれか１つの色成分の入射光量に基づく電気信号を出力する色画素によって構成されている。したがって、撮像部２１-Wは、各画素が三原色（ＲＧＢ）成分のいずれかを示すカラー撮像画の画像データを生成する。

画像処理部３０は、撮像部２１-Hで生成された高画質の撮像画と撮像部２１-Wで生成された広画角の撮像画を用いて画像処理を行い、広画角で高画質の撮像画を生成して、表示部５３や記憶部５６へ出力する。なお、画像処理部３０の構成および動作の詳細については後述する。

センサ部５１はジャイロセンサなどを用いて構成されており、情報処理端末１０に生じた揺れを検出する。センサ部５１は、検出した揺れの情報を制御部６０へ出力する。

通信部５２は、ＬＡＮ(Local Area Network)やインターネットなどのネットワーク上の機器と通信を行う。

表示部５３は、画像処理部３０から供給された画像データに基づき撮像画の表示、制御部６０からの情報信号に基づきメニュー画面や各種アプリケーション画面等の表示を行う。また、表示部５３の表示面側にはタッチパネル５４が載置されており、ＧＵＩ機能利用できるように構成されている。

操作部５５は操作スイッチ等を用いて構成されており、ユーザ操作に応じた操作信号を生成して制御部６０へ出力する。

記憶部５６は、情報処理端末１０で生成された情報例えば画像処理部３０から供給された画像データや、情報処理端末１０で通信やアプリケーションを実行するために用いられる各種情報を記憶する。

制御部６０は、ＣＰＵ（Central Processing Unit），ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory）（図示せず）などで構成されている。制御部６０は、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行して、タッチパネル５４や操作部５５に対するユーザ操作に応じた動作が情報処理端末１０で行われるように各部の動作を制御する。

なお、情報処理端末１０は、図２に示す構成に限られず、例えば画像データを符号化して記憶部５６に記憶するための符号化処理部、画像データを表示部の解像度に合わせる解像度変換部等が設けられてもよい。

＜２．画像処理装置の実施の形態＞
＜２−１．実施の形態の構成＞
画像処理部３０は、撮像部２１-Hで取得された高画質の白黒撮像画と撮像部２１-Wで取得された広画角のカラー撮像画を用いてフュージョン処理を行う。画像処理部３０は、フュージョン処理として高画質画像基準フュージョン処理を行う。画像処理部３０は、高画質画像基準フュージョン処理を行う場合、高画質である白黒撮像画を基準として、白黒撮像画よりも低画質且つ広画角であるカラー撮像画を白黒撮像画の視点とするワーピングを行い、白黒撮像画とワーピング後のカラー撮像画の画像重複領域の位置を一致させてフュージョン画像を生成する。画像処理部３０は、高画質画像基準フュージョン処理を行い、撮像部２１-Hと撮像部２１-Wで撮像された被写体領域である画像重複領域は、撮像部２１-Hの性能に応じて高画質とされており、画角は撮像部２１-Wの画角であるフュージョン画像を生成する。

また、撮像部２１-Hと撮像部２１-Wでは視点が異なることから、遠景に比べて近景ではオクルージョンが増加する。図４は、撮像部２１-Hで取得される白黒撮像画を基準としたときのオクルージョンを示している。視差によってオクルージョンが生じると、撮像部２１-Wで取得されたカラー撮像画ではオクルージョン領域に対応する画像データがない。このため、白黒撮像画を基準とするフュージョン処理によって生成されたフュージョン画像ではオクルージョン領域で色情報が欠落した画像となり、撮像部２１-Wで取得されたカラー撮像画よりもフュージョン画像の画質が劣化する場合がある。

また、撮像部２１-Hと撮像部２１-Wで画角が異なっている。したがって、図５に示すように、フュージョン画像の生成に用いる撮像画では、撮像部２１-Wで取得された広画角のカラー撮像画のみで示されている画像非重複領域（以下「額縁領域」という）ＡＲａと、撮像部２１-Hで取得された高画質の白黒撮像画Ｇｂｗ-Hと撮像部２１-Wで取得されたカラー撮像画Ｇｃｒ-Wで示されている画像重複領域ＡＲｂが生じる。また、撮像部２１-Hと撮像部２１-Wの感度差や露光差等によって、白黒撮像画Ｇｂｗ-Hとカラー撮像画Ｇｃｒ-Wで輝度が異なると、白黒撮像画を基準とするフュージョン処理によって生成されたフュージョン画像では、額縁領域ＡＲａと画像重複領域ＡＲｂとの輝度差によって境界が目立ってしまう。

そこで、画像処理部３０は、所定条件を満たしているか判定して、所定条件を満たしていると判定した場合、すなわち被写体距離や輝度差等に起因した画質の劣化を生じないと判定した場合、高画質画像基準フュージョン処理を行う。また、画像処理部３０は、所定条件を満たしていないと判定した場合、すなわち被写体距離や輝度差等の少なくとも何れかに起因した画質の劣化を生じると判定した場合、広画角画像基準フュージョン処理を行う。画像処理部３０は、広画角画像基準フュージョン処理を行う場合、広画角であるカラー撮像画を基準として、高画質である白黒撮像画をカラー撮像画の視点とするワーピングを行い、カラー撮像画とワーピング後の白黒撮像画の画像重複領域の位置を一致させてフュージョン画像を生成する。画像処理部３０は、このような広画角画像基準フュージョン処理を行い、被写体距離や輝度差等に起因した画質の劣化を防止する。

図６は、実施の形態の構成を例示している。画像処理部３０は、前処理部３１-H，３１-W、フュージョン処理部３２、判定部３３を有している。また、フュージョン処理部３２は、視差検出部３２１、額縁領域補間部３２２、ワーピング部３２３-H，３２３-W、画像合成部３２４を有しており、判定部３３は、測距部３３１、距離判定部３３２、輝度差判定部３３３、統合判定部３３４を有している。

前処理部３１-Hは、撮像部２１-Hで取得された白黒撮像画の画像データに対して、レンズ歪補正や欠陥画素補正等の補正処理を行う。前処理部３１-Hは、補正後の画像データ（以下「白黒画像データ」という）をフュージョン処理部３２へ出力する。

前処理部３１-Wは、撮像部２１-Wで取得されたカラー撮像画の画像データに対して、レンズ歪補正や欠陥画素補正等の補正処理を行う。また、前処理部３１-Wは、補正処理後の画像データを用いてデモザイク処理を行う。デモザイク処理では、各画素が赤色と青色と緑色のいずれか１つの色成分を示す撮像データから画素毎に赤色と青色と緑色の各色成分を示す三原色画像データを生成する。さらに、前処理部３１-Wは、三原色画像データの色空間変換を行い、色差データおよび白黒画像と等しい成分である輝度データからなるカラー画像データを生成してフュージョン処理部３２へ出力する。

フュージョン処理部３２の視差検出部３２１は、前処理部３１-Hから供給された白黒画像データと前処理部３１-Wから供給されたカラー画像データに基づいて視差検出を行い、検出した視差を示す視差情報を生成する。撮像部２１-Hと撮像部２１-Wは、図１の（ｂ）に示すように異なる視点位置から撮像を行うため、撮像部２１-Hと撮像部２１-Wで取得された撮像画は視差を持つ画像となる。したがって、視差検出部３２１は、前処理部３１-Hと前処理部３１-Wから供給された画像データに基づいて画素毎の視差を示す視差情報を生成する。

視差検出部３２１は、白黒画像データとカラー画像データを用いて視差検出を行い、白黒撮像画とカラー撮像画の視差を示す視差情報を生成する。また、視差情報の生成において、視差検出部３２１は、後述する判定部３３から供給されたフュージョン判定情報に基づき、白黒撮像画またはカラー撮像画を基準とする。例えば、視差検出部３２１は、フュージョン判定情報によってカラー撮像画を基準としたフュージョン処理（広画角画像基準フュージョン処理）を行うことが示されている場合にカラー撮像画を基準画像とした視差情報を生成する。また、視差検出部３２１は、フュージョン判定情報によって白黒撮像画を基準としたフュージョン処理（高画質画像基準フュージョン処理）を行うことが示されている場合に白黒撮像画を基準画像とした視差情報を生成する。視差検出部３２１は、ブロックマッチングなどの対応点検出処理等を行い、視差情報を生成する。例えば、視差検出部３２１は、基準撮像画上の注目位置を基準とした基準ブロック領域に最も類似する他方の撮像画上のブロック領域を検出する。また、視差検出部３２１は、検出したブロック領域と基準ブロック領域の位置の差を示す視差ベクトルを算出する。さらに、視差検出部３２１は、基準撮像画上の各画素を注目位置として視差ベクトルの算出を行い、画素毎に算出した視差ベクトルを示す視差情報を生成する。視差検出部３２１は、生成した視差情報を額縁領域補間部３２２とワーピング部３２３-H、および判定部３３へ出力する。

額縁領域補間部３２２は、判定部３３から供給されたフュージョン判定情報によって白黒撮像画を基準とする高画質画像基準フュージョン処理を行うことが示されている場合、額縁領域の視差情報を補間処理によって生成する。カラー撮像画は白黒撮像画よりも広画角であることから、視差検出部３２１で生成された視差情報は、カラー撮像画において白黒撮像画に含まれていない額縁領域の視差情報が含まれていない。したがって、額縁領域補間部３２２は、カラー撮像画を白黒撮像画の視点の画像とするワーピングを行えるように、白黒撮像画を基準として生成された視差情報を用いた補間処理によって額縁領域の視差情報を生成する。

ワーピング部３２３-Hは、判定部３３からのフュージョン判定情報に基づき白黒撮像画のワーピングを行う。ワーピング部３２３-Hは、フュージョン判定情報によって広画角画像基準フュージョン処理を行うことが示されている場合、白黒撮像画をカラー撮像画の視点の画像とするワーピングを行う。ワーピング部３２３-Hは、白黒画像データからカラー撮像画の視点の白黒画像データを生成して画像合成部３２４へ出力する。また、ワーピング部３２３-Hは、フュージョン判定情報によって高画質画像基準フュージョン処理を行うことが示されている場合、視点を変更する前の白黒画像データを画像合成部３２４へ出力する。

ワーピング部３２３-Wは、判定部３３からのフュージョン判定情報に基づきカラー撮像画のワーピングを行う。ワーピング部３２３-Wは、フュージョン判定情報によって高画質画像基準フュージョン処理を行うことが示されている場合、カラー撮像画を白黒撮像画の視点の画像とするワーピングを行う。ワーピング部３２３-Wは、カラー画像データから白黒撮像画の視点のカラー画像データを生成して画像合成部３２４へ出力する。また、ワーピング部３２３-Wは、フュージョン判定情報によって広画角画像基準フュージョン処理を行うことが示されている場合、視点を変更する前のカラー画像データを画像合成部３２４へ出力する。

画像合成部３２４は、白黒撮像画とカラー撮像画の合成を行う。画像合成部３２４は、ワーピング部３２３-Hから出力された白黒画像データとワーピング部３２３-Wから出力されたカラー画像データを、画像重複領域の位置を一致させたのち白黒画像データとカラー画像データにおける輝度画像データを合成する。画像合成部３２４は、色差データと合成後の輝度データからなるカラー画像データをフュージョン画像の画像データとして出力する。

判定部３３は、フュージョン画像の生成における画質の劣化に関する所定条件を満たしているか判定して、判定結果に基づきフュージョン判定情報を生成してフュージョン処理部３２へ出力する。また、判定部３３は、ユーザ操作に応じた設定情報に基づきフュージョン判定情報の生成を行う。判定部３３は、例えば視差情報に基づき判別した被写体距離が判定閾値よりも長いことを所定条件とする。また、判定部３３は、例えば高画質画像と広画角画像の輝度差が判定閾値以下であることを所定条件とする。

判定部３３の測距部３３１は、被写体の測距情報を生成する。測距部３３１は、撮像部２１-Hまたは撮像部２１-Wに設けられてもよく、撮像部と別個に設けられてもよい。また、測距部３３１は、パッシブ方式またはアクティブ方式の何れの方式を用いて測距情報を生成してもよい。パッシブ方式を用いた測距部を撮像部に設ける場合、例えば撮像部は、撮像面に像面位相差検出画素を設けた撮像素子を用いる。像面位相差検出画素は、瞳分割によって分割された一方の画像と他方の画像の画像信号を個々に生成する。測距部は、像面位相差検出画素で生成された画像信号を用いて、一方の画像と他方の画像の位相差を検出して、位相差に基づき被写体までの距離である被写体距離を算出する。また、パッシブ方式を用いた測距部を撮像部と別個に設ける場合、例えば測距部は、一対のラインセンサを撮像部と別個に設けて、瞳分割によって分割した一方の画像と他方の画像を一対のラインセンサ上に結像させる。測距部は、一対のラインセンサに結像された画像の位相差を検出して、位相差に基づき被写体距離を算出する。さらに、測距部３３１は、アクティブ方式を用いる場合、光や電波を出力して、反射された光や電波に基づき被写体までの距離である被写体距離を測定する。

測距部３３１は、被写体距離を示す測距情報を距離判定部３３２へ出力する。また、測距部３３１は、撮像画における画素毎の被写界深度を示すデプスマップを生成して測距情報として距離判定部３３２へ出力してもよい。

距離判定部３３２は、測距部３３１で生成された測距情報に基づきフュージョン処理における基準画像を判定する。距離判定部３３２は、予め設定されている近景検出領域における被写体の被写体距離が判定閾値以下である場合はフュージョン画像の生成における基準画像をカラー撮像画と判定して、被写体距離が判定閾値よりも長い場合は基準画像を白黒撮像画と判定する。なお、近景検出領域については後述する。距離判定部３３２は、被写体距離に基づく基準画像判定結果を統合判定部３３４へ出力する。

輝度差判定部３３３は、ワーピング部３２３-Hから出力された白黒撮像画とワーピング部３２３-Wから出力されたカラー撮像画に基づきフュージョン処理における基準画像を判定する。輝度差判定部３３３は、画像重複領域における額縁領域との境界から所定範囲を輝度算出領域として、輝度算出領域の例えば輝度平均値を白黒撮像画とカラー撮像画で算出する。さらに、輝度差判定部３３３は、白黒撮像画とカラー撮像画のそれぞれで算出した輝度平均値の差が判定閾値よりも大きい場合は基準画像をカラー撮像画と判定して、輝度平均値の差が判定閾値以下で場合は基準画像を白黒撮像画と判定する。輝度差判定部３３３は、輝度差に基づく基準画像判定結果を統合判定部３３４へ出力する。

統合判定部３３４は、距離判定部３３２と輝度差判定部３３３の基準画像判定結果および制御部６０から供給されたユーザ操作に応じた設定情報に基づき、どのようなフュージョン処理を行うか判定する。統合判定部３３４は、基準画像判定結果や設定情報に基づき、高画質画像基準フュージョン処理、広画角画像基準フュージョン処理、狭画角フュージョン処理の何れを行うか判定する。また、統合判定部３３４は、基準画像判定結果に基づき、動作撮像中に高画質画像基準フュージョン処理または広画角画像基準フュージョン処理の何れを行うか等の判定を行う。なお、狭画角フュージョン処理では、カラー撮像画を用いて白黒撮像画を基準としたワーピングを行い、白黒撮像画とワーピング後のカラー撮像画を、画像重複領域の位置を一致させて合成することで白黒撮像画の画角であるフュージョン画像を生成する。統合判定部３３４は、フュージョン処理の判定結果を示すフュージョン判定情報をフュージョン処理部３２へ出力する。したがって、フュージョン処理部３２では、判定部３３の判定結果すなわちフュージョン判定情報に基づき、高画質のフュージョン画像を生成できるように、高画質画像基準フュージョン処理や広画角画像基準フュージョン処理あるいは狭画角フュージョン処理が選択的に行われる。

＜２−２．実施の形態の動作＞
図７は、画像処理部の実施の形態の動作を示すフローチャートである。ステップＳＴ１で画像処理部は前処理を行う。画像処理部３０の前処理部３１-H，３１-Wは、撮像部２１-H，２１-Wから撮像画の画像データを取得して、レンズ歪補正や欠陥画素補正等の補正処理を行う。さらに、前処理部３１-Wは、撮像部２１-Wから取得したカラー撮像画の画像データを用いてデモザイク処理や色空間変換処理等を行い、撮像部２１-Hから取得した白黒撮像画と等しい成分である輝度データと色差データからなるカラー画像データを生成する。画像処理部３０の前処理部３１-H，３１-Wは、白黒撮像画とカラー撮像画の画像データを用いて前処理を行いステップＳＴ２に進む。

ステップＳＴ２で画像処理部はフュージョン処理判定を行う。画像処理部３０の判定部３３は、ユーザの設定操作や距離判別部，輝度差判別部の判別結果に基づき、高画質画像基準フュージョン処理と広画角画像基準フュージョン処理と狭画角フュージョン処理の何れを行うか判定して、判定結果を示すフュージョン判定情報を生成する。図８はフュージョン処理判定を示すフローチャートである。

ステップＳＴ１１で画像処理部は設定情報を取得する。画像処理部３０の判定部３３は、制御部６０からユーザ操作に応じた設定情報、例えば動画と静止画の何れを生成するかを示す情報、フュージョン画像の生成モードを示す情報等を取得してステップＳＴ１２に進む。

ステップＳＴ１２で画像処理部は距離に基づく基準画像判定を行う。図９と図１０は距離に基づく基準画像判定を説明するための図である。図９は、撮像部と被写体の位置関係を模式的に示しており、撮像部２１-Hは被写体ＯＢａよりも左側に配置されており、撮像部２１-Wは被写体ＯＢａよりも右側に配置されている。また、被写体ＯＢｂは離れた位置に設けられている。撮像部２１-Hの画角ＣＶｓは通常画角であり、撮像部２１-Wの画角ＣＶｗは通常画角よりも広く広画角である。

図１０は、被写体距離と撮像部で取得される撮像画の関係を示している。被写体ＯＢａまでの距離が短くなると、撮像部２１-Hで得られる白黒撮像画Ｇｂｗ-Hでは被写体ＯＢａの位置が右方向に移動して、撮像部２１-Wで得られるカラー撮像画Ｇｃｒ-Wでは被写体ＯＢａの位置が左方向に移動する。また、被写体ＯＢａまでの距離が短くなると、カラー撮像画Ｇｃｒ-Wでは被写体ＯＢａによって被写体ＯＢｂが隠された状態となる。画像処理部は、白黒撮像画Ｇｂｗ-Hを基準として広画角のフュージョン画像を生成する場合、破線で示す額縁領域ＡＲａについてカラー撮像画Ｇｃｒ-Wを利用する必要がある。ここで、被写体ＯＢａまでの距離が短く、カラー撮像画Ｇｃｒ-Wにおいて被写体ＯＢｂが被写体ＯＢａによって隠れた状態となると、フュージョン画像における額縁領域ＡＲａでは、被写体ＯＢｂを表示できない。したがって、図１１に示すように、画像処理部は、広画角であるカラー撮像画Ｇｃｒ-Wに対して近景検出領域ＡＲｄを設定して、近景検出領域ＡＲｄに含まれる被写体の被写体距離が予め設定された判定閾値よりも長いか否かに応じて基準画像を切り替える。なお、白黒撮像画を基準として広画角のフュージョン画像を生成する場合、額縁領域はカラー撮像画を利用する。したがって、額縁領域における近接した被写体によって離れている被写体が隠れているおそれがあるか判別できるように、額縁領域を近景検出領域として判別閾値を予め設定しておく。

図１２は距離に基づく基準画像判定を示すフローチャートである。ステップＳＴ２１で判定部は、近景検出領域における被写体の被写体距離を検出する。判定部３３は、カラー撮像画における近景検出領域（例えば額縁領域）における被写体の被写体距離を、パッシブ方式やアクティブ方式の測距センサまたはデプスマップ等を用いて検出してステップＳＴ２２に進む。

ステップＳＴ２２で判定部は被写体距離が判定閾値よりも長いか判定する。判定部３３は、ステップＳＴ２１で検出した被写体距離が判定閾値よりも長い場合にステップＳＴ２３に進み、距離が判定閾値以下である場合にステップＳＴ２４に進む。

ステップＳＴ２３で判定部は白黒撮像画を基準画像と判定する。被写体距離が判定閾値よりも長い場合、白黒撮像画を基準画像として生成されるフュージョン画像は、被写体が離れていることからオクルージョン領域が少なく額縁領域の画像の欠落が目立たない。したがって、判定部３３は白黒撮像画を基準画像と判定する。

ステップＳＴ２４で判定部はカラー撮像画を基準画像と判定する。被写体距離が判定閾値以下で近接している場合、白黒撮像画を基準画像として生成されるフュージョン画像は、被写体が近接してオクルージョン領域が増加することで額縁領域の画像の欠落が目立つようになる。したがって、判定部３３は、カラー撮像画を基準画像と判定する。

このように、画像処理部は近景検出領域の被写体距離に基づき白黒撮像画とカラー撮像画の何れを基準画像とするか判定して図８のステップＳＴ１３に進む。

ステップＳＴ１３で画像処理部は輝度差に基づく基準画像判定を行う。図１３は輝度差に基づく基準画像判定を説明するための図である。図１３において、白黒撮像画とカラー撮像画を例示しており、例えば白黒撮像画Ｇｂｗ-Hはカラー撮像画Ｇｃｒ-Wよりも明るい画像となっている。

画像処理部で高画質である白黒撮像画と広画角であるカラー撮像画を合成する場合、白黒撮像画Ｇｂｗ-Hとカラー撮像画Ｇｃｒ-Wの輝度が異なると、フュージョン画像では額縁領域ＡＲａと画像重複領域ＡＲｂとの境界で、輝度差が顕著となる。したがって、図１４に示すように、画像重複領域ＡＲｂにおける額縁領域ＡＲａとの境界から所定範囲を輝度算出領域ＡＲｅとして、画像処理部は輝度算出領域ＡＲｅの例えば輝度平均値を白黒撮像画Ｇｂｗ-Hとカラー撮像画Ｇｃｒ-Wで算出する。また、画像処理部は、白黒撮像画から算出した輝度平均値とカラー撮像画から算出した輝度平均値の差である輝度差が予め設定された判定閾値以下であるか否かに応じて基準画像の設定を行う。

図１５は、輝度差に基づく基準画像判定を示すフローチャートである。ステップＳＴ３１で判定部は位置合わせ処理を行う。判定部３３は白黒撮像画とカラー撮像画の画像重複領域の位置が一致するように白黒撮像画とカラー撮像画の位置合わせを行ってステップＳＴ３２に進む。

ステップＳＴ３２で判定部は、白黒撮像画を用いて平均輝度を算出する。判定部３３は、白黒撮像画における輝度算出領域ＡＲｅの平均輝度を算出してステップＳＴ３３に進む。

ステップＳＴ３３で判定部は、カラー撮像画を用いて平均輝度を算出する。判定部３３は、カラー撮像画における輝度算出領域ＡＲｅの平均輝度を算出してステップＳＴ３４に進む。

ステップＳＴ３４で判定部は、輝度差を算出する。判定部３３は、ステップＳＴ３２で算出した平均輝度とステップＳＴ３３で算出した平均輝度との輝度差を算出してステップＳＴ３５に進む。

ステップＳＴ３５で判定部は、輝度差が判定閾値以下であるか判別する。判定部３３は、ステップＳＴ３４で算出した輝度差が判定閾値以下である場合にステップＳＴ３６に進み、輝度差が判定閾値よりも大きい場合にステップＳＴ３７に進む。

ステップＳＴ３６で判定部は白黒撮像画を基準画像と判定する。輝度差が判定閾値以下である場合、白黒撮像画を基準画像として生成されるフュージョン画像は、重複画像部分と非重複画像部分の輝度差が少なく境界も目立たない。したがって、判定部３３は、白黒撮像画を基準画像と判定する。

ステップＳＴ３７で判定部はカラー撮像画を基準画像と判定する。輝度差が判定閾値よりも大きい場合、白黒撮像画を基準画像として生成されたフュージョン画像は、画像重複領域と画像非重複領域（額縁領域）との輝度差が大きく領域の境界が目立ってしまう。したがって、判定部３３は、カラー撮像画を基準画像と判定する。

このように、画像処理部は白黒撮像画とカラー撮像画の輝度差に基づき白黒撮像画とカラー撮像画の何れを基準画像とするか判定して図８のステップＳＴ１４に進む。

ステップＳＴ１４で画像処理部は統合判定を行う。画像処理部３０の判定部３３は、ステップＳＴ１１で取得した設定情報およびステップＳＴ１２とステップＳＴ１３で得られた判定結果に基づきどのようなフュージョン処理を行うか判定して、判定結果を示すフュージョン判定情報を生成する。

図１６は、統合判定を説明するための図であり、図１６の（ａ）はフュージョン画像として動画を生成する場合、図１６の（ｂ）はフュージョン画像として静止画を生成する場合を示している。

判定部３３は、取得した設定情報によって動画の生成をユーザが選択したと判別した場合に図１６の（ａ）に基づきフュージョン判定情報の生成を行い、静止画の生成をユーザが選択したと判別した場合に図１６の（ｂ）に基づきフュージョン判定情報の生成を行う。

動画の生成では撮像途中で画角を替えないようにする。したがって、ユーザが動画の生成および広画角でフュージョン画像を生成するモード（広画角モード）を選択した場合、判定部３３は、画角を広画角として、距離の判定結果と輝度差の判定結果に基づいて基準画像の切り替えを行う。判定部３３は、例えば距離の判定結果と輝度差の判定結果の何れでも白黒撮像画が基準画像と判定されている場合、フュージョン処理を高画質画像基準フュージョン処理として白黒撮像画を基準画像で画角を広画角とする。また、判定部３３は、距離の判定結果と輝度差の判定結果の少なくとも何れかでカラー撮像画が基準画像とされている場合、フュージョン処理を広画角画像基準フュージョン処理としてカラー撮像画を基準画像で画角を広画角とする。

また、判定部３３は、動画の生成において、カラー撮像画を基準画像とすることにより、白黒撮像画を基準画像とした場合に比べて画質が低下してしまうことを許容できない場合、画質優先モードを選択できるようにする。画質優先モードでは、所定条件を満たしているか否かに拘わらずフュージョン処理を狭画角フュージョン処理として、白黒撮像画を基準画像で画角を狭画角（白黒撮像画の画角である通常画角）とする。このように画角を狭画角とすれば、フュージョン画像は、近景検出領域における近接した被写体や画像重複領域と額縁領域との輝度差の影響を受けることがない。

静止画の生成では、撮像画の解析結果を用いて基準画像や画角の設定を行い、フュージョン画像を生成してもよい。例えば、静止画の生成では、広画角のフュージョン画像を生成するモード（広画角モード）、通常画角のフュージョン画像を生成するモード（通常画角モード）を設ける。また、自動的に画角を設定するモード（オート画角モード）等をユーザが選択できるようにしてもよい。

ユーザが広画角モードを選択した場合、判定部３３は、画角を広画角として、距離の判定結果と輝度差の判定結果に基づいて基準画像の切り替えを行う。判定部３３は、例えば距離の判定結果と輝度差の判定結果の何れでも白黒撮像画が基準画像と判定されている場合、フュージョン処理を高画質画像基準フュージョン処理として白黒撮像画を基準画像で画角を広画角とする。また、判定部３３は、距離の判定結果と輝度差の判定結果の少なくとも何れかでカラー撮像画が基準画像とされている場合、フュージョン処理を広画角画像基準フュージョン処理としてカラー撮像画を基準画像で画角を広画角とする。

ユーザが通常画角モードを選択した場合、判定部３３はフュージョン画像の画角を通常画角（狭画角）とする。また、画角を通常画角とすれば、フュージョン画像は、近景検出領域における近接した被写体や画像重複領域と額縁領域との輝度差の影響を受けることがない。したがって、判定部３３は、ユーザが通常画角モードを選択した場合、所定条件を満たしているか否かに拘わらずフュージョン処理を狭画角フュージョン処理として、白黒撮像画を基準画像で画角を通常画角とする。

ユーザがオート画角モードすなわちフュージョン画像の画角設定を自動的に行うモードを選択した場合、判定部３３は、距離の判定結果と輝度差の判定結果に基づいて基準画像の切り替えと画角の設定を行う。判定部３３は、例えば距離の判定結果と輝度差の判定結果の何れでも白黒撮像画が基準画像と判定されている場合、フュージョン処理を高画質画像基準フュージョン処理として白黒撮像画を基準画像で画角を広画角とする。また、判定部３３は、距離の判定結果と輝度差の判定結果の少なくとも何れかでカラー撮像画が基準画像とされている場合、フュージョン処理を狭画角フュージョン処理として白黒撮像画を基準画像で画角を通常画角とする。このように、オート画角モードを選択できるようにすれば、画像重複領域が高画質となるように、基準画像および画角を自動的に設定できる。

判定部３３は、設定情報および距離の判定結果と輝度差の判定に基づき、どのようなフュージョン処理を行うか判定して、判定結果を示すフュージョン判定情報を生成して図７のステップＳＴ３に進む。

ステップＳＴ３で画像処理部は視差検出を行う。画像処理部３０の視差検出部３２１は、ステップＳＴ２で生成されたフュージョン判定情報に基づき、基準画像に対して他の撮像画の視差を検出する。視差検出部３２１は、基準画像の画素毎に視差を検出する。また、フュージョン判定情報で基準画像が白黒撮像であり画角が広画角であることが示されている場合、額縁領域補間部３２２は、額縁領域の視差を生成する補間処理を行い、画像重複領域における境界部分の視差を額縁領域の視差とする。図１７は、視差検出を説明するための図である。視差検出部３２１は、図１７の（ａ）に示す白黒撮像画Ｇｂｗ-Hとカラー撮像画Ｇｃｒ-Wを用いて、フュージョン判定情報に基づき、基準画像に対して他の撮像画の視差を検出する。ここで、フュージョン判定情報で基準画像が白黒撮像画であり画角が広画角であることが示されている場合、図１７の（ｂ）に示すように額縁領域ＡＲａの視差は検出されていない。なお、図では検出された視差（視差ベクトル）を矢印で模式的に示している。したがって、額縁領域補間部３２２は、画像重複領域ＡＲｂにおいて額縁領域ＡＲａとの境界に位置する画素の視差を、図１７の（ｃ）に示すように額縁領域ＡＲａの視差として用いてステップＳＴ４に進む。

ステップＳＴ４で画像処理部はワーピングを行う。画像処理部３０のワーピング部３２３-H，３２３-Wは、ステップＳＴ２で生成されたフュージョン判定情報とステップＳＴ３で検出された視差に基づきワーピングを行う。

ワーピング部３２３-Wは、白黒撮像画が基準画像で画角が広画角であることをフュージョン判定情報が示している場合、視差検出部３２１で検出された視差量と額縁領域補間部３２２で補間された額縁領域の視差量に基づき、カラー撮像画から白黒撮像画の視点であるカラー撮像画を生成して画像合成部３２４へ出力する。また、ワーピング部３２３-Wは、白黒撮像画が基準画像であり画角が通常画角であることをフュージョン判定情報が示している場合、視差検出部３２１で検出された視差量に基づき、カラー撮像画における画像重複領域の画像から白黒撮像画の視点であるカラー撮像画を生成して画像合成部３２４へ出力する。また、ワーピング部３２３-Hは、白黒撮像画が基準画像であることをフュージョン判定情報が示している場合、前処理部３１-Hから供給された白黒撮像画を画像合成部３２４へ出力する。

ワーピング部３２３-Wは、カラー撮像画が基準画像であることをフュージョン判定情報が示している場合、前処理部３１-Wから供給されたカラー撮像画を画像合成部３２４へ出力する。また、ワーピング部３２３-Hは、カラー撮像画が基準画像であることをフュージョン判定情報が示している場合、視差検出部３２１で検出された視差量に基づき、白黒撮像画からカラー撮像画の視点である白黒撮像画を生成して画像合成部３２４へ出力する。

画像処理部３０は、フュージョン判定情報と視差量に基づきワーピングを行い、基準画像とは異なる撮像画から基準画像の視点の撮像画を生成してステップＳＴ５に進む。

ステップＳＴ５で画像処理部は画像合成を行う。画像処理部３０の画像合成部３２４は、ワーピング部３２３-Hから供給された白黒画像とワーピング部３２３-Wから供給されたカラー撮像画における輝度成分画像を画像重複領域の位置を一致させて合成する。さらに画像処理部３０は、色差データおよび白黒撮像画と等しい成分である輝度データからなるカラー画像データを生成して出力する。なお、画像処理部３０は、動画を生成する場合、ステップ順に処理を行う順序処理に限らず、パイプライン処理や並列処理が行われる場合、例えば全ラインの合成処理の完了と判定される前に次のフレームのフュージョン画像の生成を開始するようにしてもよい。

このように本技術の実施の形態によれば、画角と画質が異なる複数の撮像画を用いて画質を低下させることなく広画角で高画質の撮像画を生成できる。図１８は、フュージョン判定情報に基づいて生成されるフュージョン画像の性能とフュージョン画像例を示している。なお、図１８の（ｂ）はカラー撮像画Ｇｃｒ-W、図１８の（ｃ）乃至（ｅ）はフュージョン画像ＧＦｕを例示している。図１８の（ｃ）は高画質画像基準フュージョン処理で生成されたフュージョン画像、図１８の（ｄ）は広画角画像基準フュージョン処理で生成されたフュージョン画像、図１８の（ｅ）は狭画角フュージョン処理で生成されたフュージョン画像を例示している。

フュージョン判定情報が高画質画像基準フュージョン処理であることを示している場合、基準画像を白黒撮像画として広画角のフュージョン画像が生成される。このフュージョン画像は、白黒撮像画を基準画像としていることから、画像重複領域の画質が高画質（二重丸マーク）となる。また、フュージョン画像の生成において額縁領域はカラー撮像画を用いることから、額縁領域の画質はカラー撮像画相当の画質であり、画角はカラー撮像画の画角である広画角となる。

フュージョン判定情報が広画角画像基準フュージョン処理であることを示している場合、基準画像をカラー撮像画として広画角のフュージョン画像が生成される。このフュージョン画像は、カラー撮像画を基準画像としていることから、画像重複領域の画質は高画質画像基準フュージョン処理に比べて低い画質（丸マーク）となる。また、フュージョン画像の生成において額縁領域はカラー撮像画を用いることから、額縁領域の画質はカラー撮像画相当の画質であり、画角はカラー撮像画の画角である広画角となる。

フュージョン判定情報が狭画角フュージョン処理であることを示している場合、基準画像を白黒撮像画として狭画角（通常画角）のフュージョン画像が生成される。このフュージョン画像は、白黒撮像画を基準画像としていることから、画像重複領域の画質は高画質画像基準フュージョン処理と同様に高画質（二重丸マーク）となる。また、狭画角であることから額縁領域は存在せず、フュージョン画像は、白黒撮像画の画角である通常画角となる。

＜３．他の実施の形態＞
ところで、画像処理部は、動画の生成において、生成された撮像画に基づき距離や輝度差の判定を行い、判定結果に応じて生成したフュージョン判定情報に基づき、その後に生成された撮像画のフュージョン処理を行う構成に限られない。例えば、画像処理部は、撮像画に基づき距離や輝度差の判定を行い、判定結果に応じて生成したフュージョン判定情報に基づき、距離や輝度差の判定に用いた撮像画のフュージョン処理を行ってもよい。この場合、画像処理部３０において、判定部３３はフュージョン判定情報を画像合成部３２４へ出力する。また、ワーピング部３２３-Hはカラー撮像画の視点の白黒撮像画、ワーピング部３２３-Wは白黒撮像画の視点のカラー撮像画をそれぞれ生成して、白黒撮像画とカラー撮像画および視点変換後の白黒撮像画とカラー撮像画を画像合成部３２４へ出力する。画像合成部３２４は、判定部３３からのフュージョン判定情報に基づき、白黒撮像画を基準としたフュージョン画像またはカラー撮像画を基準としたフュージョン画像を生成する。画像処理部３０は、このような処理を行うことで、距離や輝度差の判定に用いた撮像画のフュージョン処理を、距離や輝度差の判定結果に応じて行うことができるようになる。

また、上述の実施の形態では、高画質の撮像画が白黒撮像画で広画角の撮像画がカラー撮像画である場合を例示したが、撮像画は上述の実施の形態に限られない。例えば、高画質の撮像画は、解像度の高いカラー撮像画や色成分が異なる高画質のカラー撮像画であってもよい。また、高画質の撮像画は、カラー撮像画と異なる波長領域に感度を有した撮像部で生成された撮像画であってもよい。カラー撮像画と異なる波長領域に感度を有した撮像部としては、例えば赤外領域に感度を有する撮像部を用いる。撮像部２１-Hとして、赤外領域に感度を有する撮像部を用いて白黒撮像画を取得すれば、夕暮れや夜間等でも画像重複領域に位置する被写体が高画質とされている広画角のフュージョン画像を生成することが可能となる。

＜４．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、情報処理端末に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１９に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１９では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２０は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２０には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１９に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１９の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１９に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８は、必要に応じて複数の撮像部例えば図２に示す撮像部２１-H，２１-Wを用いる構成とする。また、図１９に示した応用例の統合制御ユニット７６００に画像処理部３０を設ける。このような構成とすれば、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８を小型・薄型化しても高画質で広画角の撮像画を取得できるので、取得した撮像画を運転支援や運転制御等に利用できる。なお、画像処理部３０は、図１９に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 高画質画像よりも低画質且つ広画角である広画角画像に対して前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する高画質画像基準フュージョン処理を行うフュージョン処理部を備える画像処理装置。
（２） 前記フュージョン処理部は、前記高画質画像と前記広画角画像の視差を示す視差情報に基づいて前記ワーピングを行う（１）に記載の画像処理装置。
（３） 前記フュージョン処理部は、前記広画角画像において前記高画質画像に含まれていない画像非重複領域の視差情報を、前記画像重複領域の視差情報を用いて補間する（２）に記載の画像処理装置。
（４） 前記フュージョン処理部は、前記高画質画像を用いて前記広画角画像を基準としたワーピングを行い、前記ワーピング後の高画質画像とワーピングを行っていない前記広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する広画角画像基準フュージョン処理、または前記高画質画像基準フュージョン処理を行う（１）乃至（３）の何れかに記載の画像処理装置。
（５） 前記所定条件を満たしているか判定する判定部をさらに備え、
前記フュージョン処理部は、前記所定条件を満たしていない場合は前記広画角画像基準フュージョン処理を行い、前記所定条件を満たしている場合は前記高画質画像基準フュージョン処理を行う（４）に記載の画像処理装置。
（６） 前記判定部は、視差情報に基づき判別した被写体距離が判定閾値よりも長いことを前記所定条件とする（５）に記載の画像処理装置。
（７） 前記被写体距離は、前記広画角画像において前記高画質画像に含まれていない画像非重複領域に位置する被写体の被写体距離である（６）に記載の画像処理装置。
（８） 前記判定部は、前記高画質画像と前記広画角画像の輝度差が判定閾値以下であることを前記所定条件とする（５）乃至（７）の何れかに記載の画像処理装置。
（９） 前記輝度差は、前記画像重複領域における前記画像非重複領域との境界から所定範囲の画像領域の平均輝度の差である（８）に記載の画像処理装置。
（１０） 前記フュージョン処理部は、前記広画角画像を用いて前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、前記画像重複領域の位置を一致させて前記高画質画像の画角であるフュージョン画像を生成する狭画角フュージョン処理を、前記判定部の判定結果に応じて行う（５）乃至（９）の何れかに記載の画像処理装置。
（１１） 前記フュージョン処理部は、前記高画質画像と前記広画角画像が動画で前記広画角画像の画角であるフュージョン画像を生成する場合、前記判定部の判定結果に基づき前記高画質画像基準フュージョン処理または前記広画角画像基準フュージョン処理を行う（１０）に記載の画像処理装置。
（１２） 前記フュージョン処理部は、前記高画質画像と前記広画角画像が静止画である場合、前記高画質画像基準フュージョン処理または前記広画角画像基準フュージョン処理あるいは前記狭画角フュージョン処理を行う（１０）に記載の画像処理装置。
（１３） 前記フュージョン処理部は、前記所定条件を満たしていない場合は前記広画角画像基準フュージョン処理または前記狭画角フュージョン処理を行う（１２）に記載の画像処理装置。
（１４） 前記フュージョン処理部は、前記所定条件を満たしていない場合において、前記判定部でフュージョン画像の画角設定を自動的に行うモード選択が行われていることを判定している場合に前記狭画角フュージョン処理を行う（１３）に記載の画像処理装置。
（１５） 前記判定部は、フュージョン処理のユーザ選択操作を判定して、
前記フュージョン処理部は、前記判定部で前記狭画角フュージョン処理が選択されたことを判定した場合に前記所定条件を満たしているか否かに拘わらず前記狭画角フュージョン処理を行う（１０）乃至（１４）の何れかに記載の画像処理装置。

この技術の画像処理装置と画像処理方法では、高画質画像よりも低画質且つ広画角である広画角画像に対して高画質画像を基準としたワーピングと、広画角画像よりも高画質である高画質画像とワーピング後の広画角画像を、画像重複領域の位置を一致させて合成する処理が行われてフュージョン画像が生成される。このため、画角と画質が異なる複数の撮像画を用いて画質を低下させることなく広画角で高画質の撮像画を生成できるようになる。したがって、撮像部を用いる機器であって、撮像部の小型化や薄型化が必要とされる機器に適している。

１０・・・情報処理端末
２１-H，２１-W・・・撮像部
３０・・・画像処理部
３１-H，３１-W・・・前処理部
３２・・・フュージョン処理部
３３・・・判定部
５１・・・センサ部
５２・・・通信部
５３・・・表示部
５４・・・タッチパネル
５５・・・操作部
５６・・・記憶部
６０・・・制御部
３２１・・・視差検出部
３２２・・・額縁領域補間部
３２３-H，３２３-W・・・ワーピング部
３２４・・・画像合成部
３３１・・・測距部
３３２・・・距離判定部
３３３・・・輝度差判定部
３３４・・・統合判定部

Claims (16)

1. 高画質画像よりも低画質且つ広画角である広画角画像に対して前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する高画質画像基準フュージョン処理を行うフュージョン処理部
   を備える画像処理装置。
2. 前記フュージョン処理部は、前記高画質画像と前記広画角画像の視差を示す視差情報に基づいて前記ワーピングを行う
   請求項１に記載の画像処理装置。
3. 前記フュージョン処理部は、前記広画角画像において前記高画質画像に含まれていない画像非重複領域の視差情報を、前記画像重複領域の視差情報を用いて補間する
   請求項２に記載の画像処理装置。
4. 前記フュージョン処理部は、前記高画質画像を用いて前記広画角画像を基準としたワーピングを行い、前記ワーピング後の高画質画像とワーピングを行っていない前記広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する広画角画像基準フュージョン処理、または前記高画質画像基準フュージョン処理を行う
   請求項１に記載の画像処理装置。
5. 所定条件を満たしているか判定する判定部をさらに備え、
   前記フュージョン処理部は、前記所定条件を満たしていない場合は前記広画角画像基準フュージョン処理を行い、前記所定条件を満たしている場合は前記高画質画像基準フュージョン処理を行う
   請求項４に記載の画像処理装置。
6. 前記判定部は、視差情報に基づき判別した被写体距離が判定閾値よりも長いことを前記所定条件とする
   請求項５に記載の画像処理装置。
7. 前記被写体距離は、前記広画角画像において前記高画質画像に含まれていない画像非重複領域に位置する被写体の被写体距離である
   請求項６に記載の画像処理装置。
8. 前記判定部は、前記高画質画像と前記広画角画像の輝度差が判定閾値以下であることを前記所定条件とする
   請求項５に記載の画像処理装置。
9. 前記輝度差は、前記画像重複領域における前記画像非重複領域との境界から所定範囲の画像領域の平均輝度の差である
   請求項８に記載の画像処理装置。
10. 前記フュージョン処理部は、前記広画角画像を用いて前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、前記画像重複領域の位置を一致させて前記高画質画像の画角であるフュージョン画像を生成する狭画角フュージョン処理を、前記判定部の判定結果に応じて行う
    請求項５に記載の画像処理装置。
11. 前記フュージョン処理部は、前記高画質画像と前記広画角画像が動画で前記広画角画像の画角であるフュージョン画像を生成する場合、前記判定部の判定結果に基づき前記高画質画像基準フュージョン処理または前記広画角画像基準フュージョン処理を行う
    請求項１０に記載の画像処理装置。
12. 前記フュージョン処理部は、前記高画質画像と前記広画角画像が静止画である場合、前記高画質画像基準フュージョン処理または前記広画角画像基準フュージョン処理あるいは前記狭画角フュージョン処理を行う
    請求項１０に記載の画像処理装置。
13. 前記フュージョン処理部は、前記所定条件を満たしていない場合は前記広画角画像基準フュージョン処理または前記狭画角フュージョン処理を行う
    請求項１２に記載の画像処理装置。
14. 前記フュージョン処理部は、前記所定条件を満たしていない場合において、前記判定部でフュージョン画像の画角設定を自動的に行うモード選択が行われていることを判定している場合に前記狭画角フュージョン処理を行う
    請求項１３に記載の画像処理装置。
15. 前記判定部は、フュージョン処理のユーザ選択操作を判定して、
    前記フュージョン処理部は、前記判定部で前記狭画角フュージョン処理が選択されたことを判定した場合に前記所定条件を満たしているか否かに拘わらず前記狭画角フュージョン処理を行う
    請求項１０に記載の画像処理装置。
16. 高画質画像よりも低画質且つ広画角である広画角画像に対して前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する高画質画像基準フュージョン処理をフュージョン処理部で行うことを
    を含む画像処理方法。

Images