JP2023002443A - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】複数のカメラユニットから夫々得られた映像間の繋ぎ目を目立たなくできる画像処理装置を実現する。【解決手段】画像処理装置において、複数のカメラユニットから夫々得られた映像信号の夫々の動きベクトル量を取得する取得手段と、夫々の前記動きベクトル量が適正か判定する判定手段と、前記判定手段により少なくとも一方の前記動きベクトル量が適正ではないと判定された場合、適正ではないと判定された前記動きベクトル量が得られた前記映像信号に対して、適正であると判定された前記動きベクトル量を用いてブレ補正を行い、前記判定手段により夫々の前記動きベクトル量が適正と判定された場合、前記判定手段により適正であると判定された前記動きベクトル量のいずれか一方を共通に用いて前記複数の映像信号のブレ補正を行うか、又は、夫々の前記動きベクトル量を用いて前記複数の映像信号のブレ補正を夫々行う制御手段と、を有する。【選択図】 図２

Description

本発明は、複数のカメラユニットからの映像信号を処理する画像処理装置、画像処理方法、及びコンピュータプログラム等に関するものである。

近年、多眼カメラのような、１つの筐体に複数のカメラユニットが付いている撮像装置が使用されている。この撮像装置では、各カメラユニットを手動又は自動でパンチルト駆動させることができるため、各カメラユニット同士を近づけて撮影することができる。
しかし、各カメラユニットを近づけた場合、各カメラユニットの撮影領域の重なりを少なくするために、ズーム操作を行って各カメラユニットが撮影する撮影画角は狭く設定することになる。

各カメラユニットの撮影画角を狭くすると少しの揺れでも目立ってしまうため、撮像装置で取得したブレ信号からブレ補正量を算出し、電子切り出し位置の変更を行う電子式ブレ補正機能を用いてブレを軽減させることが有効になってくる。
しかし、各カメラユニットで撮影された映像において、撮影した映像中の動体の有無や動体の移動速度等の違いが発生した場合、各カメラユニットで取得する動きベクトル量を誤って検出してしまうカメラユニットがでてきてしまう。
又、カメラユニット毎に設定された画質設定の違いによっても各カメラユニットで取得する動きベクトル量を誤って検出してしまうカメラユニットがでてきてしまう。

例えば、電子式ブレ補正で用いるブレ補正量を、動きベクトル量を用いて算出している場合、誤った動きベクトル量を取得したカメラユニットは、ブレ残りが発生してしまう。一方、適正な動きベクトル量を取得したカメラユニットではブレ残りが発生していない映像となる。
そのため、各カメラユニットの映像を隣接して並べて繋ぎ合わせて表示した場合、各カメラユニットの映像間の繋ぎ目部分が、隣の映像とずれて一致せず繋がっていない不自然な映像に見えてしまう。

特許文献１では、第一の撮像装置で検出した手ブレ量を示す手ブレ補正量信号を第二の撮像装置に供給し、第二の撮像装置で検出した手ブレ量を示す手ブレ補正量信号を第一の撮像装置に供給する。そして、第一の撮像装置と第二の撮像装置において、自装置側で検出した手ブレ量と他装置側で検出した手ブレ量との平均となる手ブレ量に基づいて、夫々手ブレ補正を行うことで三次元酔いの少ない高品位な三次元画像を撮像可能としている。

特許文献２では、複数の撮像装置の位置・姿勢情報を用いて、仮想撮像装置の位置・姿勢情報を求め、仮想撮像装置の揺れを軽減する全体変換を算出し、算出された全体変換を基に複数の撮像装置の揺れを軽減させる個別撮像装置の個別変換を算出する。
算出された個別変換を施した複数の画像を繋ぎ合わせてパノラマ映像を作成することで、パノラマ映像の揺れを軽減させることができる。

特開２０１２－１４２８３７号公報 特開２００４－２７４７０１号公報

しかしながら、上記の特許文献に開示された特許文献１では、第一の撮像装置と第二の撮像装置の平均のブレ量を用いて各撮像装置のブレ補正を行っていることで、各撮像装置で異なった量のブレ残りが発生してしまう。そのため、ブレ残りの量が異なってしまった場合、やはり映像間の繋ぎ目部分が、隣の映像とずれて不自然な映像に見えてしまう。
特許文献２に記載の技術では、位置・姿勢情報のみしか用いておらず、どのカメラユニットからのブレ補正量が適正かを考慮していないため、誤ったブレ補正量が算出されてしまう可能性がある。従って、やはり映像間の繋ぎ目部分が不自然な映像となる問題があった。

そこで、本発明の目的は、上記問題点を踏まえ、複数のカメラユニットから夫々得られた映像間の繋ぎ目を目立たなくできる画像処理装置を得ることを目的とする。

本発明の１つの側面は、画像処理装置において、
複数のカメラユニットから夫々得られた映像信号の夫々の動きベクトル量を取得する取得手段と、
夫々の前記動きベクトル量が適正か判定する判定手段と、
前記判定手段により少なくとも一方の前記動きベクトル量が適正ではないと判定された場合、適正ではないと判定された前記動きベクトル量が得られた前記映像信号に対して、適正であると判定された前記動きベクトル量を用いてブレ補正を行い、前記判定手段により夫々の前記動きベクトル量が適正と判定された場合、前記判定手段により適正であると判定された前記動きベクトル量のいずれか一方を共通に用いて前記複数の映像信号のブレ補正を行うか、又は、夫々の前記動きベクトル量を用いて前記複数の映像信号のブレ補正を夫々行う制御手段と、を有する。

本発明によれば、複数のカメラユニットから夫々得られた映像間の繋ぎ目を目立たなくできる画像処理装置を実現できる。

実施例１における画像処理装置１０００の機能ブロック図である。 実施例１における各カメラユニットの動きベクトル量を合わせるフローチャートである。 実施例１におけるステップＳ２０６のユーザ選択モードに応じたブレ補正量算出フローチャートである。 実施例１における各カメラユニットからの映像の隣接表示例を示す図である。 実施例２における各カメラユニットの動きベクトル量が適正か否かを判定する判定フローチャートである。 実施例３における各カメラユニットの画質設定確認フローチャートである。 実施例４における各カメラユニットのノイズ量やシャッタースピードに応じて適正な動きベクトル量を決定するフローチャートである。 実施例５における各カメラユニットの動きベクトルの精度に応じて適正な動きベクトル量を決定するフローチャートである。 実施例６における各カメラユニットの動きベクトルの重み付けフローチャートである。 実施例７におけるブレ補正量算出フローチャートである。 実施例８における動きベクトル量を決定するフローチャートである。 実施例９におけるブレ補正量算出フローチャートである。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。尚、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
又、実施例においては、画像処理装置としてネットワークカメラに適用した例について説明する。しかし、画像処理装置はデジタルスチルカメラ、デジタルムービーカメラ、スマートフォン、パーソナルコンピュータ、車載カメラ、ドローンカメラ、ロボット等の電子機器を含む。

図１は、実施例１における画像処理装置１０００の機能ブロック図である。
尚、図１に示される機能ブロックの一部は、画像処理装置１０００に含まれる不図示の制御手段としてのコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

図１の画像処理装置１０００は第一のカメラユニット１００と、第二のカメラユニット２００とを有する。第一のカメラユニット１００の機能ユニットである１０１～１１１と、第二のカメラユニット２００の機能ユニットである２０１～２１１は夫々同じ構成なので、以下では第一のカメラユニットの機能ユニットについて説明する。

第一のカメラユニット１００のレンズ群１０１は、被写体から光を撮像素子１０３上に結像する光学系である。レンズ群１０１には、被写体に対するピント合わせを行うフォーカスレンズや、画角を調整するズームレンズ等が含まれる。
レンズ群１０１を通してカメラ内に入ってきた被写体像は赤外線カットフィルタＩＲＣＦ等の光学フィルタ１０２を通過し、撮像素子１０３に入射する。
レンズ群１０１を介した被写体像は、撮像素子１０３の受光面に配置された所定のパターンのカラーフィルタを通り、撮像素子１０３の各画素で光電変換され、被写体像をアナログの画像信号として出力する。

撮像素子１０３から出力される画像信号は、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）１０４でゲインコントロールされレベル調整が行われ、Ａ／Ｄ変換部１０５でデジタル画像信号に変換される。
映像信号処理部１０６ではＡ／Ｄ変換部１０５からのデジタル画像信号に所定の処理を施し輝度信号と色信号からなる映像信号を出力すると共に、カメラ制御を行うための各種パラメータを作成する。

尚、カメラ制御を行うための各種パラメータとしては、例えば絞りの制御や、ピント合わせの制御、色味を調整するホワイトバランス制御などに使われるパラメータが含まれる。
露出制御部２０７は、映像信号処理部１０６から出力されるパラメータとしての輝度情報から撮影画面内の輝度情報を算出し、撮影画像を所望の明るさに調整するように絞りやＡＧＣ１０４を制御する。

光学制御部１０８は、ピント合わせ制御のために、映像信号処理部１０６で作成された映像信号から高周波成分を抜き出す。そして、前記高周波成分の値をフォーカスピント情報（フォーカス評価値）として、前記フォーカス評価値が最大となるように前記レンズ群１０１を制御する。又、光学制御部１０８は輝度レベルに応じて光学フィルタ１０２の挿抜制御も行う。

動きベクトル量取得部１０９は、前記映像信号処理部１０６から出力された信号を基にカメラユニットの動きベクトル量を取得する。動きベクトル量取得部１０９は、複数のカメラユニットから夫々得られた映像信号に基づき、前記複数のカメラユニットの夫々の動きベクトル量を取得する取得手段として機能している。

動きベクトル判定部１１２は、第一のカメラユニット１００と第二のカメラユニット２００の動きベクトル量取得部１０９、２０９が取得した動きベクトル量が夫々適正であるか判定する。各カメラユニットの動きベクトル量が適正であるかの判定結果と、ユーザ選択モード取得部１１３で取得したユーザ選択モードに基づいて、各カメラユニットはどの動きベクトル量を用いるかを決定する。ここで動きベクトル判定部１１２は、夫々の動きベクトル量が適正か判定する判定手段として機能している。

各カメラユニットのブレ補正量演算部１１０は、前記動きベクトル判定部１１２によって決定された動きベクトル量を用いてブレ補正量を決定する。
映像信号出力部１１１は、前記ブレ補正量演算部１１０で算出されたブレ補正量に応じて不図示の画像メモリからの画像の切り出し位置を変更し、電子式のブレ補正された映像を出力する。

ここで、映像信号出力部１１１は、映像信号出力部２１１と共に、複数のカメラユニットから夫々得られた映像信号を夫々ブレ補正した画像を外部装置に出力する出力手段として機能している。

図２は、実施例１における各カメラユニットの動きベクトル量を合わせるフローチャートであり、図２を参照して、本発明の実施例１による、各カメラユニットで用いる動きベクトル量の決定について説明する。尚、画像処理装置１０００に含まれる不図示の制御手段としてのコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって図２のフローチャートの夫々の処理が行われる。図３、図４、図６～図１２のフローチャートについても同様である。

先ず図２のステップＳ２０１において、各カメラユニットの動きベクトル量を取得するための取得工程を実行する。この実施例においては、各カメラユニットとは、第一のカメラユニット１００と第二のカメラユニット２００とする。動きベクトル量は前フレームとの背景差分をとることや、特徴点のマッチングを行うことで取得することができる。

ステップＳ２０２において、ステップＳ２０１で取得した第一のカメラユニット１００の動きベクトル量と第二のカメラユニット２００の動きベクトル量の差が所定値以上であるかを判定する。
判定した結果、第一のカメラユニット１００の動きベクトル量と第二のカメラユニット２００の動きベクトル量の差が前記所定値以上ではない場合（ＮＯ）、各カメラユニットは図２の処理をそれ以上行わずそのまま終了する。

これは、第一のカメラユニット１００と第二のカメラユニット２００の間の動きベクトル量の差が微小である場合には、動きベクトル量を用いて算出する最終的なブレ補正量の差自体も微小になるからである。即ち、各カメラユニットの映像を並べて繋げて表示した時に、どちらの映像もブレが補正されて静止して見えるようになり、繋ぎ目部分のずれが微小で目立つことがなく不自然にはならないためである。

一方、ステップＳ２０２で判定した結果、第一のカメラユニット１００の動きベクトル量と第二のカメラユニット２００の動きベクトル量の差が前記所定値以上の場合は（ＹＥＳ）、ステップＳ２０３に進む。そして、第一のカメラユニット１００から取得した動きベクトル量と第二のカメラユニット２００から取得した動きベクトル量が適正であるかを判定する。

ここでステップＳ２０３は、夫々の動きベクトル量が適正か判定する判定手段として機能している。又、実施例１ではステップＳ２０３における判定は、動きベクトルの正確性、精度、信頼性の少なくとも１つが所定の閾値より高い場合に適正と判定する。しかし後述のように、複数のカメラユニットから得られた動きベクトルを所定の判断基準で比較し、相対的に適正度が高い方を適正と判定しても良い。

ステップＳ２０４の判定工程で第一のカメラユニット１００と第二のカメラユニット２００のどちらか一方の動きベクトル量が適正ではないと判定された場合、ステップＳ２０５に進む。そして、適正な動きベクトル量が得られたカメラユニットを適正なカメラユニットとして、その適正なカメラユニットから取得した動きベクトル量を共通に用いて両方のカメラユニットのブレ補正量を算出する。即ち、判定手段により少なくとも一方の前記動きベクトル量が適正ではないと判定された場合、適正ではないと判定された動きベクトル量が得られた映像信号に対して、適正であると判定された動きベクトル量を用いてブレ補正を行う。

第一のカメラユニット１００で取得した映像信号の動きベクトル量が適正ではなく、第二のカメラユニット２００で取得した映像信号の動きベクトル量が適正の場合、第二のカメラユニット２００で取得した動きベクトル量を用いてブレ補正量算出を行う。

第二のカメラユニット２００で取得した映像信号の動きベクトル量が適正ではなく、第一のカメラユニット１００で取得した映像信号の動きベクトル量が適正の場合、第一のカメラユニット１００で取得した動きベクトル量を用いてブレ補正量算出を行う。
即ち、判定手段により動きベクトル量が適正ではないと判定された映像信号について、動きベクトル量が適正であると判定された映像信号の動きベクトル量を用いてブレ補正を行う。

ステップＳ２０４で第一のカメラユニット１００と第二のカメラユニット２００の動きベクトル量が適正であると判定された場合、各カメラユニット間でブレ量が大きく異なっているので、ユーザ選択モードに応じてブレ補正量を算出する（ステップＳ２０６）。

図３は、実施例１におけるステップＳ２０６のユーザ選択モードに応じたブレ補正量算出フローチャートであり、図３を用いてユーザ選択モードに関して説明する。
図３のステップＳ３０１においてユーザ選択モードを取得し、取得したユーザ選択モードが、“つなぎ目優先”モードであるかを判定する（ステップＳ３０２）。
“つなぎ目優先”モードとは、第一のカメラユニット１００の映像と第二のカメラユニット２００の映像を隣接して並べて表示した場合に、繋ぎ目部分のずれが目立つことなく自然に見えるようにするためのモードである。

ステップＳ３０２で判定した結果、“つなぎ目優先”モードがユーザによって選択されていた場合（ＹＥＳ）、第一のカメラユニット１００の映像と第二のカメラユニット２００の映像の繋ぎ目部分のずれが目立たないようにする。そのためにブレ補正量を各カメラユニット間で一様に揃えるように制御する（ステップＳ３０３）。
ステップＳ３０２で判定した結果、“つなぎ目優先”モードがユーザによって選択されていない場合（ＮＯ）、ユーザは各カメラユニットの映像のブレ補正性能を優先する“性能優先”モードを選択していることになる。

“性能優先”モードとは、各カメラユニットの映像間の繋ぎ目部分のずれが目立つことで不自然に見えても良いので、各カメラユニットでのブレが夫々に適したブレ補正量により補正されていることを優先するモードである。
このモードが選択された場合、各々のカメラユニットで取得した夫々の動きベクトル量に基づき夫々のブレ補正量を算出することで各カメラユニットの映像のブレを夫々のブレ補正量により補正する（ステップＳ３０４）。

即ち、ステップＳ２０４で夫々の動きベクトル量が適正と判定された場合には、ステップＳ３０３のように、適正であると判定された映像信号の動きベクトル量のいずれか一方を共通に用いて複数の映像信号のブレ補正を行うことができる。或いは、ステップＳ３０４のように、夫々の動きベクトル量を用いて前記複数の映像信号のブレ補正を夫々行うことができる。即ち両者を選択可能となっている。このようにステップＳ２０４の判定工程の判定結果に応じて、ステップＳ２０５、Ｓ２０６、Ｓ３０１～Ｓ３０４により本実施例の制御工程が行われる。

図４は、実施例における各カメラユニットからの映像の隣接表示例を示す図である。
図４では、第一のカメラユニット１００の映像信号出力部１１１からの映像と第二のカメラユニット２００の映像信号出力部２１１からの映像を並べて繋げて表示した例を示している。各カメラユニットの一方で不適正な動きベクトル量を用いてブレ補正量を算出した場合、図４（Ａ）の点線部分のように繋ぎ目部分がずれてしまい不自然な映像になる。

一方、実施例１のように、各カメラユニットの映像信号の適正な動きベクトル量を用いてブレ補正量を算出することで、図４（Ｂ）のように繋ぎ目部分がずれることなく自然な映像にすることができる。

次に、図５は、実施例２における各カメラユニットの動きベクトル量が適正か否かを判定する判定フローチャートである。図５を用いて、実施例２において、ステップＳ２０３で行う各カメラユニットからの映像信号の動きベクトル量が適正であるかの判定に関して説明する。
尚、実施例１ではＳ２０３における判定は、動きベクトルの正確性、精度、信頼性の少なくとも１つが所定の閾値より高い場合に適正と判定した。しかし、実施例２では、複数のカメラユニットから得られた映像信号の動きベクトルを所定の判断基準で比較し、相対的に適正度が高い方を適正と判定する。

先ず、図５のステップＳ４０１において、第一のカメラユニット１００と第二のカメラユニット２００の画像（映像）を取得する。次いでステップＳ４０２において、ステップＳ４０１で取得した各カメラユニットの映像内に動体が存在するか画像を解析する。
ステップＳ４０３において、第一のカメラユニット１００又は、第二のカメラユニット２００の一方の映像にのみ動体が存在するかを判定する。

ステップＳ４０３で判定した結果、一方のカメラユニットの映像内にのみ動体が存在している場合（ＹＥＳ）、映像内に動体が存在しているカメラユニットで取得した動きベクトル量は適正ではないとする。そして、映像内に動体が存在していないカメラユニットで取得した動きベクトル量を適正とする（ステップＳ４０４）。このようにステップＳ４０４では、動体が存在しないと解析された映像信号の動きベクトル量を適正であると判定し、動体が存在すると解析された映像信号の動きベクトル量を適正ではないと判定する。

一方、ステップＳ４０３でＮＯの場合には、両方のカメラユニットの画像内に動体が存在しているか、或いは両方のカメラユニットの画像内に動体が存在していないか、のどちらかである。従って、ステップＳ４０５において、第一のカメラユニット１００と第二のカメラユニット２００の両方の画像内に動体が存在しているかを判定する。

ステップＳ４０５で判定した結果、両方のカメラユニットの画像内に動体が存在している場合（ＹＥＳ）、動体の大きさを取得し、動体の大きさが小さいほうのカメラユニットで取得した動きベクトル量を適正とする（ステップＳ４０６）。即ち、動体の大きさが所定の値より小さいと解析された映像信号の動きベクトル量を適正であると判定し、動体の大きさが所定の値より大きいと解析された映像信号の動きベクトル量を適正ではないと判定する。

一方、ステップＳ４０５で判定した結果、どちらのカメラユニットの画像内にも動体が存在していない場合（ＮＯ）、各カメラユニットの画質設定を取得する。そして、取得した画質設定に基づいてどのカメラユニットの動きベクトル量が適正かを決定する（ステップＳ４０７）。

即ち、例えば、より高画質の画質設定となっているカメラユニットの動きベクトルを適正であると決定する。
このように、判定手段は、複数のカメラユニットから夫々得られた映像信号を解析した結果又は複数のカメラユニットの画質設定情報の少なくとも一つに基づき夫々の動きベクトル量が適正か判定をする。

上記の例ではステップＳ４０６で、解析結果として、動体の大きさのみしか考慮していないが、動体の種類や移動速度を考慮してどの動きベクトルが適正であるかを判定しても良い。又、動体の背景に占める割合を考慮しても良い。

図６は、実施例３における各カメラユニットの画質設定確認フローチャートである。
基本のフローは実施例１と同様である。実施例１では、図２のステップＳ２０３における、動きベクトル量が適正かであるかの判定を、図５に示したように、動体が存在するか等に応じて判定したが、実施例３では、各カメラユニットの画質設定に応じて、どの動きベクトル量が適正かを判定する。

先ず、ステップＳ６０１において、各カメラユニットの画質設定を取得する。ステップＳ６０２で取得した各カメラユニットの画質設定が異なるかを判定する（ステップＳ６０２）。
ステップＳ６０２で画質設定を判定した結果、各カメラユニットの画質設定が異ならない場合（ＮＯ）、両方のカメラユニットからの動きベクトルを適正として図６のフローを終了する。

ステップＳ６０２で判定した結果、各カメラユニットの画質設定が異なる場合（ＹＥＳ）ステップＳ６０３に進む。そして、適正な動きベクトル量を取得することができない画質設定（例えば低画質モード）になっているカメラユニットは、適正な動きベクトル量を取得できる画質設定（例えば高画質モード）になっているカメラユニットの動きベクトル量を適正とする。

図７は、実施例４における各カメラユニットのノイズ量やシャッタースピードに応じて適正な動きベクトル量を決定するフローチャートである。
即ち、実施例３では、適正な動きベクトル量を取得できる画質設定になっているカメラユニットの動きベクトル量を適正と判断したが、実施例４では、ノイズ量やシャッタースピードに応じて、適正な動きベクトル量を決定する。

具体的には、ステップＳ７０１において各カメラユニットの画質設定を取得する。ステップＳ７０１で取得した各カメラユニットの画質設定を基に、各カメラユニットで発生するノイズ量が異なるかを判定する（ステップＳ７０２）。例えば画質設定として高感度モードになっている場合には、低感度モードに比べてノイズが増える。

ステップＳ７０２で判定した結果、各カメラユニットで発生するノイズ量が画質設定によって異なる場合（ＹＥＳ）、ノイズ量が少なくなる画質設定をしているカメラユニットの動きベクトル量を適正とする（ステップＳ７０３）。即ち、映像信号中のノイズ量が比較的少なくなる画質設定情報を持つカメラユニットから取得した動きベクトル量を適正であると判定する。そして、映像信号中のノイズ量が比較的多くなる画質設定情報を持つカメラユニットから取得した動きベクトル量を適正ではないと判定する。

尚、実施例４では、ノイズ量が異なるかどうかの判定は、例えば高感度モードか低感度モードといった画質設定の情報を用いているが、各カメラユニットで取得した画像からノイズ量を取得しても良い。ノイズ量が多い場合、動きベクトル量が誤って検出される可能性が高いため、ノイズ量に基づき判定を行っている。
ステップＳ７０２で判定した結果、各カメラユニットで発生するノイズ量が異ならない場合（ＮＯ）、各カメラユニットで設定されているシャッタースピードが異なっているかを判定する（ステップＳ７０４）。

ステップＳ７０４で判定した結果、各カメラユニットで設定されているシャッタースピードが異ならない場合（ＮＯ）、両方のカメラユニットからの動きベクトル量を適正として図７のフローを終了する。
一方、ステップＳ７０４で判定した結果、各カメラユニットで設定されているシャッタースピードが異なる場合（ＹＥＳ）、シャッタースピードが速い画質設定を行っているカメラユニットの動きベクトル量を適正とする（ステップＳ７０５）。

即ち、ステップＳ７０５では、シャッタースピードが所定値より速いという画質設定情報を持つカメラユニットから取得した動きベクトル量を適正であると判定する。そして、シャッタースピードが前記所定値より遅いという画質設定情報を持つカメラユニットから取得した動きベクトル量を適正ではないと判定する。

このように、本実施例４では、シャッタースピードが遅い場合、画像に残像が発生することによって動きベクトル量が誤って検出される可能性が高いため、シャッタースピードを用いて適正か否かの判定を行っている。

図８は、実施例５における各カメラユニットの動きベクトルの精度に応じて適正な動きベクトル量を決定するフローチャートである。
実施例５では、各カメラユニットの動きベクトルの精度情報に基づき、適正な動きベクトルが得られる方のカメラユニットの動きベクトル量を適正と判断する。
図８を用いて、実施例５の、動きベクトルの精度情報を用いたフローに関して説明する。

先ず、図８のステップＳ８０１において各カメラユニットの動きベクトル量の精度を取得する。そして、ステップＳ８０２において、動きベクトルの精度が所定の閾値よりも高い場合にはその動きベクトルを適正とする。そしてステップＳ８０１で取得した動きベクトルの精度が前記の所定の閾値よりも低いカメラは、動きベクトルの精度が高いカメラユニットの動きベクトル量を用いてブレ補正量を算出する。即ち、ステップ８０２では、動きベクトル量の精度が所定値より高い動きベクトル量を適正であると判定し、動きベクトル量の精度が所定値より低い動きベクトル量を適正ではないと判定する。

尚、ステップＳ８０２の前に、各カメラユニットの動きベクトルの精度の差が閾値以上であるかの判定を行い、その判定結果がＹＥＳの場合に、ステップＳ８０２の処理をしても良い。そして、ＮＯの場合には、両方のカメラユニットから得られる動きベクトル量を適正として図８のフローを終了しても良い。

図９は、実施例６における各カメラユニットの動きベクトルの重み付けフローチャートである。
実施例６は、各カメラユニットの動きベクトルの精度情報に基づき、適正な動きベクトル量の重みを相対的に上げ、或いは適正でない動きベクトル量の重みを相対的に下げてブレ補正量を演算する例である。

図９においては、先ずステップＳ９０１で、各カメラユニットの動きベクトル量の精度を取得する。次に、各カメラユニットで撮影しているシーン情報を取得し（ステップＳ９０２）、取得したシーンが苦手シーンであるかの判定を行う（ステップＳ９０３）。動きベクトルが苦手とするシーンは予め設定されている。

ステップＳ９０３で判定した結果、各カメラユニットで撮影しているシーンが苦手ではないと判定した場合（ＮＯ）、両方のカメラユニットから得られる動きベクトル量を適正として図９のフローを終了する。
ステップＳ９０３で判定した結果、各カメラユニットで撮影しているシーンが苦手であると判定した場合（ＹＥＳ）、苦手なシーンを撮影しているカメラユニットで取得した動きベクトル量の重みを減らす（ステップＳ９０４）。

逆に、苦手なシーンでない場合には相対的に動きベクトル量の重みを増しても良い。このようにカメラユニット毎に苦手なシーンの場合には相対的に動きベクトル量の重みを減らし、重み付けされた夫々の動きベクトル量を重み付け加算する。そして重み付け加算された動きベクトル量を共通の動きベクトル量にし、その共通の動きベクトル量に基づき全てのカメラユニットのブレ補正演算を行う。尚、重みを相対的に変更した動きベクトル量を夫々用いてカメラユニット毎にブレ補正量の算出を行っても良い。

実施例１～５では適正な動きベクトル量を共通に用いて複数のカメラユニットのブレ補正を行った。しかし、実施例１～５においても、実施例６のように、適正な動きベクトル量の重みを相対的に上げ、或いは適正でない動きベクトル量の重みを相対的に下げ、それらを重み付け加算等により組み合わせてブレ補正量を演算するようにしても良い。
即ち、判定手段により適正ではないと判定された動きベクトルの重みを相対的に下げ、判定手段により適正と判定された動きベクトルと組み合わせて複数の映像信号のブレ補正を行っても良い。即ち、実施例１～５の例のように、適正でない動きベクトルは重みをゼロとして使わないでも良い。つまり、前記重みはゼロを含むものである。

図１０は、実施例７におけるブレ補正量算出フローチャートである。実施例７では、各カメラユニットが追尾している動体（追尾被写体）の存在に応じて、追尾被写体のブレが最も補正されるようなブレ補正量を用いてブレ補正を行う。
先ず、図１０のステップＳ１００１においてユーザ選択モードが“つなぎ目優先”モード、“性能優先”モードのどちらのモードが選択されているかを取得する。

ステップＳ１００１で取得したユーザ選択モードが、ブレ補正（防振）性能（抑振性能）を優先する“性能優先”モードであるかを、ステップＳ１００２で判定する。
ステップＳ１００２で判定した結果、“性能優先”モードがユーザによって選択されていると判定した場合（ＹＥＳ）、追尾被写体が各カメラユニットの映像内に存在するかを判定する（ステップＳ１００３）。
一方、ステップＳ１００２で判定した結果、“性能優先”モードが選択されていないと判定された場合（ＮＯ）、図１０のフローを終了する。

ステップＳ１００３において、各カメラユニットの映像内に追尾被写体が存在すると判定された場合（ＹＥＳ）、追尾被写体が最も抑振されて静止した状態となるように、ブレ補正量を算出する。そして、算出されたブレ補正量を用いて各カメラユニットでブレ補正をおこなう（ステップＳ１００４）。即ち、動体が存在する場合、前記動体が最もブレ補正される補正量を用いてブレ補正する。
一方、ステップＳ１００３で判定した結果、各カメラユニットの画面内に追尾被写体が存在しないと判定された場合（ＮＯ）、図１０のフローを終了する。

図１１は、実施例８における動きベクトル量を決定するフローチャートである。
実施例８では、各カメラユニットの動きと追尾被写体の動きの連動に応じて、動きベクトル量の適正判定を再度おこなう。

先ず、図１１のステップＳ１１０１においてユーザ選択モードが“つなぎ目優先”モード、“性能優先”モードのどちらのモードが選択されているかを取得する。
ステップＳ１１０１で取得したユーザ選択モードが、つなぎ目部分のずれが目立たないことを優先する“つなぎ目優先”モードであるかを、ステップＳ１１０２で判定する。
ステップＳ１１０２で判定した結果、“つなぎ目優先”モードがユーザによって選択されていると判定した場合（ＹＥＳ）、追尾被写体が各カメラユニットの映像内に存在するかを判定する（ステップＳ１１０３）。

一方、ステップＳ１１０２で判定した結果、“つなぎ目優先”モードが選択されていないと判定された場合（ＮＯ）、図１１のフローを終了する。
ステップＳ１１０３で各カメラユニット内に追尾被写体が存在するかを判定した結果、各カメラユニット内に追尾被写体が存在すると判定された場合（ＹＥＳ）、各カメラユニットが追尾被写体に連動して動いているかを判定する（ステップＳ１１０４）。

被写体追尾は、各カメラユニットが被写体の移動に追従するように動く、または各カメラユニットは移動せず固定したままにし、追尾被写体に合わせて枠を表示する等の方法があるためである。
一方、ステップＳ１１０３で判定した結果、各カメラユニットの映像内に追尾被写体が存在しないと判定された場合（ＮＯ）、図１１のフローを終了する。

ステップＳ１１０４で各カメラユニットが追尾被写体に連動して動いていると判定された場合（ＹＥＳ）、追尾被写体が存在しているカメラユニットの動きベクトル量をブレ補正量とする（ステップＳ１１０５）。即ち、動体に連動して各カメラユニットが動く場合、その動体が存在するカメラユニットの動きベクトル量をブレ補正量として用いる。
更に、映像内の追尾被写体が存在する領域から取得した動きベクトル量の信頼度の重みを上げる（ステップＳ１１０６）。即ち、前記動体の領域から取得した動きベクトル量の重み付けを上げる。

各カメラユニットが動く速度は、追尾被写体の速度と同程度となるため、映像内の所定位置で静止しているように見える。そのため、映像内の追尾被写体は動体ではなく、静止被写体とみなすことができるので、取得した動きベクトル量は精度が高いと判定でき、重み付けを高くする。
ステップＳ１１０４で各カメラユニットを追尾被写体に連動して動かさないと判定された場合（ＮＯ）、追尾被写体が各カメラユニットの映像間を移動したか否かを判定する（ステップＳ１１０７）

ステップＳ１１０７で判定した結果、追尾被写体が各カメラユニットの映像間を移動していないと判定された場合（ＮＯ）、図１１のフローを終了する。
一方、ステップＳ１１０７で判定した結果、追尾被写体が各カメラユニットの映像間を移動していると判定された場合（ＹＥＳ）、ステップＳ１１０８で各カメラユニットから動きベクトル量を再度取得し、取得した動きベクトル量が適正かを再判定する。即ち、動体に連動して各カメラユニットが動かない場合、動体が各カメラユニット間の映像を移動した場合、動きベクトル量が適正か判定を再度おこなう。

又、判定結果に応じて、どのカメラユニットから取得した動きベクトル量を用いてブレ補正をおこなうかを決定し、ブレ補正量を用いるカメラユニットの更新をおこなう（ステップＳ１１０８）。
尚、各カメラユニットを追尾被写体に連動して動かすか否かは、ユーザが設定してもよいし、追尾被写体の存在が検出された場合に、自動で判定してもよい。

追尾被写体の存在検出で検出する追尾被写体は、ユーザによって映像内の被写体を選択する、又は移動している被写体（動体）を自動で選択するようにしてもよい。
被写体（動体）を自動で選択する場合、人物や車の場合には追尾対象にする、又はユーザが被写体の種類を選択可能にしてもよい。

図１２は、実施例９におけるブレ補正量算出フローチャートである。
実施例９では、複数の追尾被写体が存在する場合は、人物のブレがより優先して補正されるようにする。
先ず、図１２のステップＳ１２０１でユーザ選択モードを取得し、ステップＳ１２０１で取得したモードが、“性能優先”モードであるかを判定する（ステップＳ１２０２）。

ステップＳ１２０２で判定した結果、防振性能（抑振性能）を優先した“性能優先”モードが選択されている場合（ＹＥＳ）、追尾被写体が複数存在するかを判定する（ステップＳ１２０３）。
一方、ステップＳ１２０２で判定した結果、“性能優先”モードが選択されていない場合（ＮＯ）、図１２のフローを終了する。

ステップＳ１２０３で判定した結果、追尾被写体が複数存在する場合（ＹＥＳ）、人物の優先順位を高くして、人物に対してブレ補正がより効くようなブレ補正量を算出する（ステップＳ１２０４）。即ち、動体が複数存在する場合、人物の優先順位を高くする。
ステップＳ１２０３で判定した結果、追尾被写体が複数存在していない場合（ＮＯ）、図１２のフローを終了する。

尚、図１に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。
更に又、以上の実施例では画像処理装置１０００は複数のカメラユニットを含んでいるが、複数のカメラユニットは含まなくても良く、例えば複数のカメラユニットからの映像信号を処理する汎用コンピュータやサーバー等であっても良い。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

尚、本実施例における制御の一部又は全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理装置等に供給するようにしてもよい。そしてその画像処理装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１０００ 画像処理装置
１００ 第一のカメラユニット
２００ 第二のカメラユニット
１１２ 動きベクトル判定部
１１３ ユーザ選択モード取得部

Claims (21)

1. 複数のカメラユニットから夫々得られた映像信号の夫々の動きベクトル量を取得する取得手段と、
   夫々の前記動きベクトル量が適正か判定する判定手段と、
   前記判定手段により少なくとも一方の前記動きベクトル量が適正ではないと判定された場合、適正ではないと判定された前記動きベクトル量が得られた前記映像信号に対して、適正であると判定された前記動きベクトル量を用いてブレ補正を行い、前記判定手段により夫々の前記動きベクトル量が適正と判定された場合、前記判定手段により適正であると判定された前記動きベクトル量のいずれか一方を共通に用いて前記複数の映像信号のブレ補正を行うか、又は、夫々の前記動きベクトル量を用いて前記複数の映像信号のブレ補正を夫々行う制御手段と、を有することを特徴とする画像処理装置。
2. 前記取得手段で取得した夫々の前記動きベクトル量の差が所定値以上の場合、前記判定手段は、夫々の前記動きベクトル量が適正か判定することを特徴とする、請求項１に記載の画像処理装置。
3. 複数のカメラユニットから夫々得られた前記映像信号の夫々の動きベクトル量を取得する取得手段と、
   夫々の前記動きベクトル量が適正か判定する判定手段と、
   前記判定手段により適正ではないと判定された前記動きベクトル量の重みを相対的に下げ、前記判定手段により適正と判定された前記動きベクトル量と組み合わせて前記複数の映像信号のブレ補正を行う制御手段と、を有する画像処理装置。
4. 前記重みはゼロを含むことを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、前記判定手段により夫々の前記動きベクトル量が適正と判定された場合には、前記判定手段により適正であると判定された前記動きベクトル量のいずれか一方を共通に用いて前記複数の映像信号のブレ補正を行うか、又は、夫々の前記動きベクトル量を用いて前記複数の映像信号のブレ補正を夫々行うことを特徴とする請求項３に記載の画像処理装置。
6. 前記判定手段は、前記複数のカメラユニットから夫々得られた前記映像信号を解析した結果又は前記複数のカメラユニットの画質設定情報に基づき夫々の前記動きベクトル量が適正か判定することを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。
7. 前記判定手段は、動体が存在しないと解析された前記映像信号の前記動きベクトル量を適正であると判定し、動体が存在すると解析された前記映像信号の前記動きベクトル量を適正ではないと判定することを特徴とする請求項６に記載の画像処理装置。
8. 前記判定手段は、動体の大きさが所定の値より小さいと解析された前記映像信号の前記動きベクトル量を適正であると判定し、前記動体の大きさが所定の値より大きいと解析された前記映像信号の前記動きベクトル量を適正ではないと判定することを特徴とする請求項６に記載の画像処理装置。
9. 前記動体が存在するか否かの解析結果は、前記動体の種類又は移動速度の少なくとも一つを含むことを特徴とする請求項７に記載の画像処理装置。
10. 前記判定手段は、前記映像信号中のノイズ量が比較的少なくなる画質設定情報を持つカメラユニットから取得した前記動きベクトル量を適正であると判定し、前記映像信号中のノイズ量が比較的多くなる画質設定情報を持つカメラユニットから取得した前記動きベクトル量を適正ではないと判定することを特徴とする請求項６に記載の画像処理装置。
11. 前記判定手段は、シャッタースピードが所定値より速い画質設定情報を持つカメラユニットから取得した前記動きベクトル量を適正であると判定し、前記シャッタースピードが前記所定値より遅い画質設定情報を持つカメラユニットから取得した前記動きベクトル量を適正ではないと判定することを特徴とする請求項６に記載の画像処理装置。
12. 前記判定手段は、精度が所定値より高い前記動きベクトル量を適正であると判定し、精度が前記所定値より低い前記動きベクトル量を適正ではないと判定することを特徴とする請求項１又は３に記載の画像処理装置。
13. 前記複数のカメラユニットから夫々得られた前記映像信号を夫々ブレ補正した画像を外部装置に出力する出力手段を有することを特徴とする請求項１～１２のいずれか１項に記載の画像処理装置。
14. 前記判定手段により夫々の前記動きベクトル量が適正と判定された場合、前記判定手段により適正であると判定された前記動きベクトル量のいずれか一方を共通に用いて前記複数の映像信号のブレ補正を行うか、又は、夫々の前記動きベクトル量を用いて前記複数の映像信号のブレ補正を夫々行うかを、ユーザにより選択されることを特徴とする請求項１又は３に記載の画像処理装置。
15. 動体に連動して各カメラユニットが動く場合、前記動体が存在するカメラユニットの前記動きベクトル量をブレ補正量として用いることを特徴とする請求項１に記載の画像処理装置。
16. 前記動体の領域から取得した前記動きベクトル量の重み付けを上げることを特徴とする請求項１５に記載の画像処理装置。
17. 前記動体に連動して各カメラユニットが動かない場合、前記動体が各カメラユニット間の映像を移動した場合、前記動きベクトル量が適正か判定を再度おこなうことを特徴とする請求項１５に記載の画像処理装置。
18. 動体が存在する場合、前記動体が最もブレ補正される補正量を用いてブレ補正することを特徴とする請求項１に記載の画像処理装置。
19. 前記動体が複数存在する場合、人物の優先順位を高くすることを特徴とする請求項１８に記載の画像処理装置。
20. 複数のカメラユニットから夫々得られた映像信号の夫々の動きベクトル量を取得する取得工程と、
    夫々の前記動きベクトル量が適正か判定する判定工程と、
    前記判定工程により少なくとも一方の前記動きベクトル量が適正ではないと判定された場合、適正ではないと判定された前記動きベクトル量が得られた前記映像信号に対して、適正であると判定された前記動きベクトル量を用いてブレ補正を行い、前記判定工程により夫々の前記動きベクトル量が適正と判定された場合、前記判定工程により適正であると判定された前記動きベクトル量のいずれか一方を共通に用いて前記複数の映像信号のブレ補正を行うか、又は、夫々の前記動きベクトル量を用いて前記複数の映像信号のブレ補正を夫々行う制御工程と、を有することを特徴とする画像処理方法。
21. 請求項１～１９のいずれか１項に記載の画像処理装置の各部をコンピュータにより制御するためのコンピュータプログラム。

Images