JP6379812B2 - 画像処理システム - Google Patents

Description

本発明は、複数の画像を合成して１つの画像にする画像処理システムに関する。

近年、遠隔会議の場において、音声での情報共有のみならず、映像による情報共有が可能なテレビ会議システムを使う機会は多い。また、映像を提供する際、１つのカメラ装置により四方の壁の一部分のみを表示するだけでなく、複数のカメラ装置を使うことで、パノラマ写真のような全方位型の映像を提供することが検討されている。

会議システムにおいて重要な点は、ユーザが着目している箇所（例えば、ホワイトボードや会議出席者の表情）を綺麗に映すことであり、必ずしも画面全体を綺麗に映す必要は無いという特徴がある。

一般に、画質向上に関する技術として、特定の被写体に対し、オートエクスポージャー機能により自動的に露出（輝度）を決定する技術や、オートホワイトバランス機能により自動的に色のバランスを決定する技術が知られている。

特許文献１には、車両に搭載される複数の車載カメラ装置において、（１）配置される位置や撮像する被写体の違いによって、輝度や色味のバランスは各画像で異なること、（２）上記（１）に対し、各画像で露光時間やゲインを同じレベルで制御すれば、各画像間の輝度や色味のバランスの違いは吸収されるが、本来別々に制御していたら見えていたはずの部分が見えなくなること、（３）上記（１）に対し、各画像を合成したとき、繋ぎ目において輝度と色味のバランスの違いが顕著に見られること、という課題が挙げられている。

各カメラ装置の取り付け位置を問わず、画像合成時に隣接するカメラとの輝度や色の調整ができるようにすることを目的とし、複数のカメラ装置をカメラ制御ユニットで接続し、任意に選択された第１のカメラ装置で得られた画像信号をリファレンスデータとして第２のカメラ装置に転送し、第２のカメラ装置内で信号処理を行って補正画像を生成し、合成画像を出力する構成が開示されている。

しかし、特許文献１に開示されている制御ユニットを介して画像を合成して合成画像の画質を向上するカメラシステムでは、移動体カメラシステム（車載カメラシステム）にのみ言及され、会議室におけるユーザに必要な画像情報品質を最適化するという点については触れられていない。

複数のカメラで撮影された画像を合成して１つの画像にする場合、複数のカメラに設定するパラメータを共通にすると、画像の繋ぎ目は綺麗に繋がるが、個々のカメラに対して最適なパラメータではなくなってしまう可能性がある。一方、個々のカメラで個別のパラメータを設定すると個々のカメラにおいては最適な画像となるが画像の繋ぎ目が不自然になってしまう可能性があり、これらの制御をどのように切り替えるかという問題があった。

本発明は、前記課題を解決するためのものであり、その目的とするところは、複数カメラの画像を合成する画像処理システムにおいて、１つのパラメータで画像処理を行う場合と個別のパラメータで画像処理を行う制御を適切に切り替えることでシーン毎にユーザが必要としている映像を提供することで、ユーザが見たいものをより綺麗に撮影する画像処理システムを提供することである。

かかる目的を達成するために、本発明は、以下の特徴を有する。

本発明に係る画像処理システムは、複数のカメラ装置から画像を入力する複数の画像入力手段と、該複数の画像入力手段から入力された画像に対し画像処理を実施する複数の画像処理手段と、該複数の画像処理手段から入力された複数の画像を合成する合成手段と、該合成手段で合成された画像の継ぎ目部分に重要なものがあるか認識する検知手段と、該検知手段から動作パラメータを生成するパラメータ決定手段と、を有し、該パラメータ決定手段は前記検知手段の結果を基に、動作パラメータを決定し、前記検知手段は、画像の継ぎ目部分に重要なものが無い場合、個別最適化された動作パラメータを使用し、画像の継ぎ目部分に重要なものがある場合、個別最適化された動作パラメータの中間値を使用することを特徴とする。

本発明によれば、複数カメラの画像を合成する画像処理装置において、１つのパラメータで画像処理を行う場合と個別のパラメータで画像処理を行う制御を適切に切り替えることでシーン毎にユーザが必要としている映像を提供することで、ユーザは見たいものをより綺麗に見ることができる。

第１の実施形態に係る画像処理システムの全体構成を示すブロック図である。 画像処理システムで撮影し、合成された画像イメージの概略図である。 各画像処理手段、入力手段に設定するパラメータ決定を示すフローチャートである。 パラメータの決定について説明する図である。 パラメータの決定について中間の設定の使用について説明する図である。 第２の実施形態に係る画像処理システムの全体構成を示すブロック図である。 人感センサの配置を示す概略図である。

以下、本実施形態について図面により詳細に説明する。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理システムの全体構成を示すブロック図である。画像処理システム１は、２つの入力手段２，３と２つの画像処理手段４，５と合成手段６と検知手段７とパラメータ決定手段８と制御手段９とを有している。

入力手段２，３は、レンズ、光学フィルタ等の光学系、センサ等を含んで構成され、レンズによって結像された画像をセンサに入力し、デジタルデータに変換して後段の画像処理手段４，５に入力する。レンズに広角レンズを使用することで１つの入力手段で広範囲の画像を撮影することができる。また、パラメータ決定手段８よりセンサの設定（ゲイン、露光時間等）やレンズの制御設定（絞り、フォーカス等）が設定される。

入力された画像データは画像処理手段４，５に入力される。画像処理は、入力手段２，３から入力された画像に対して、レンズの特性の補正処理（シェーディング補正、色収差補正等）やセンサの特性の補正処理（ガンマ補正、欠陥画素補正等、ゲイン調整）、画質の向上のための処理（ノイズ除去、エッジ強調、色補正等、ダイナミックレンジ拡大）、画像処理を行うためのパラメータはパラメータ決定手段８によって設定される。

また、画像処理手段４，５では、ＡＷＢ、ＡＥ、ＡＦ等を実施するため画像の明るさやホワイトバランス、ＭＴＦを取得する機能も有する。画像処理手段４，５から入力された複数枚の画像データを、合成手段６によって複数画像を繋ぎ合わせて１つの画像にする。

検知手段７では、合成手段６で合成された１枚の画像について、認識処理を行い、画像の繋ぎ目部分にどのような情報があるかを判断する。パラメータ決定手段８は、検知手段７の結果を基に各画像処理手段４，５、入力手段２，３に設定するパラメータを決定する。
なお、本実施形態では入力手段と画像処理手段とが各２つの構成であるが、これらが各３つ以上で構成されていても良い。

制御手段９は、重要なものが写っていると報告された場合、画像処理手段４，５から与えられた画像を見てシーンを判定し、各カメラのシーン特性を基に、各シーンパラメータを同じにするか異ならせるかを決定し、パラメータ決定手段８に与える。
画像処理手段４，５から画像データが制御手段９に送られる。検知手段７は、画像の繋ぎ目に重要なものが写っているかどうか判断し、その判断結果を制御手段９に送る。

図２は、画像処理システムで撮影し、合成された画像イメージの概略図である。複数枚合成した画像処理システムにおいてユースケースによっては、合成された３６０度のパノラマ画像において重要度が位置ごとに異なる場合がある。例えば、ＴＶ会議システムにおいては、会議出席者の顔やホワイトボード、スクリーンなどが非常に重要で、それ以外の部分の重要度は低い。

図２（ａ）に示すように、第１の入力手段２の撮影範囲に出席者Ａと出席者Ｂが写り、第２の入力手段３の撮影範囲にホワイトボードが写っている。
複数枚合成した画像の繋ぎ目に重要なものが写っておらず、且つ画像入力手段が撮影しているシーン特性が合成される２つの画像で異なっていると判断した場合、第１の入力手段２、第１の画像処理手段４に設定するパラメータ、第２の入力手段３、第２の画像処理手段５に設定するパラメータ、はそれぞれ各画像に対して最適なものを設定する。

これにより、繋ぎ目部分では各画像間の差（例えば、明るさやホワイトバランス等）に差が生じるため、繋ぎ目部分の画像が不自然になる可能性があるが、各シーンに最適化されたパラータが入力手段画像処理手段に設定されているため、ユーザにとって重要な情報を高画質で提供することができる。

図２（ｂ）に示すように、第１の入力手段２の撮影範囲に出席者Ａと出席者Ｂが写り、第１の入力手段２の撮影範囲と第２の入力手段３の撮影範囲との繋ぎ目にホワイトボードが写っている。

また、図２（ｃ）に示すように、第１の入力手段２の撮影範囲に出席者Ａが写り、第２の入力手段３の撮影範囲にホワイトボードが写っている。第１の入力手段２の撮影範囲と第２の入力手段３の撮影範囲との繋ぎ目に出席者Ｂが写っている。

複数枚合成した画像の繋ぎ目に重要なものが写っていると判断した場合、第１の入力手段２、第１の画像処理手段４に設定するパラメータ、第２の入力手段３、第２の画像処理手段５に設定するパラメータ、は各入力手段、画像処理手段で共通のパラメータを設定する。共通のパラメータは、複数の入力手段のシーンで最適化されたパラメータを平均化して設定する。

これにより、各画像は最適化されたものではなくなってしまうが、繋ぎ目部分はスムーズにつなぐことができ、繋ぎ目部分に写っている被写体を自然に映すことができるようになる。

図３は、各画像処理手段、入力手段に設定するパラメータ決定を示すフローチャートである。各入力手段２，３が撮影しているシーンの特徴が、同じなのか異なるのかの判断を行う（ステップＳ１）。各入力手段２，３で撮影しているシーンの特徴が同じ場合（ステップＳ１、Ｙｅｓ）、各入力手段２，３、各画像処理手段４，５で共通のパラメータを設定する（ステップＳ４）。

各入力手段２，３で撮影しているシーンの特徴が異なる場合（ステップＳ１、Ｎｏ）、入力画像の継ぎ目部分に重要なものが写っているか判断を行う（ステップＳ２）。入力画像の継ぎ目部分に重要なものが写っていないと判断した場合（ステップＳ２、Ｎｏ）、各入力手段２，３、各画像処理手段４，５で個別に最適化したパラメータを設定する（ステップＳ３）。入力画像の継ぎ目部分に重要なものが写っていると判断した場合（ステップＳ２、Ｙｅｓ）、各入力手段２，３、各画像処理手段４，５で共通のパラメータを設定する（ステップＳ４）。

ステップＳ１で判断するシーンの特性は、例えば明るさ、色温度などが挙げられる。例えば、明るさに関しては、各入力手段２，３が撮影している領域の片側のみに光源がある場合は、一方は明るめの画像となり、もう一方は暗めの画像となる。もしくは蛍光灯と太陽光など光源が複数ある場合、入力手段毎に撮影している画像の明るさレベルが異なる場合がある。

図４は、パラメータの決定について説明する図である。判断するシーンの特徴の例として明るさであれば、決定する必要の有るパラメータとして、ゲイン値が挙げられる。ゲイン値は入力手段２，３のセンサや画像処理手段４，５のパラメータとして存在する。一般的にゲインは輝度が低い場合（暗い場合）、画像を明るく撮影するため、大きな値を設定する。逆に輝度が高い（明るい）場合は、画像が白飛びしないようにするため、ゲインを低く設定する。

入力手段２側は暗く、入力手段３側は明るい場合、各入力手段２，３で共通のパラメータを設定する場合は、各個別最適パラメータの中間値求めて共通のパラメータとして使用する。

図５は、パラメータの決定について個別最適または共通の２択ではなく、中間の設定も使用する実施形態について説明する図である。本実施形態では、図４で示したような２択でパラメータを決めるのではなく、各入力手段２，３、各画像処理手段４，５に設定するパラメータを変更していく。

画像の繋ぎ目部分に重要なものが写っているか否かの判定結果を、２値判定ではなく数値で算出し、その値を基にパラメータの補正値を決定する。ゲイン量の補正値Ｘは、式（１）である。

Ｘはゲイン量の補正値、αは比例係数、Ｉは画像の繋ぎ目部分に重要なものが写っているか否かの判定結果（Ｉは大→重要なものが写っている、Ｉは小→重要なものが写っていない）である。重要度Ｉは、重要なものが写っている確率としても良い。

また、繋ぎ目に写っているものの重要度が最大の場合、入力手段２と３の最適値の中間値とするため、以下の式（２）のような関係性が必要となる。ΔＰは各入力
手段に最適なパラメータの差分値、Ｉ_MAXはＩの最大値である。

（第２の実施形態）
図６は、情報取得手段１１によって重要物の判断を行う画像処理システムの全体構成を示すブロック図である。第２の実施形態では情報取得手段１１が追加されている。第１の実施形態と同一の構成は、同一の符号を付して説明を省略する。第１の実施形態では合成手段６で合成された画像を用いて検知手段７で繋ぎ目部分にユーザにとって重要なものが写っているかどうかを判断していた。

しかし、第２の実施形態では画像による判断に加えて情報取得手段１１によって取得された画像処理システムの周辺情報を基に、検知手段７は、合成手段６で合成される繋ぎ目部分に重要なものが写っているか判断し、パラメータ決定手段８は、入力手段２，３、画像処理手段４，５に設定するパラメータを決定する。画像からの情報に加えて、情報取得手段１１からの情報を使用して画像の繋ぎ目部分に重要なものが写っているか判断することで判断の精度を向上させることができる。

図７は、人感センサ２１，２２の配置を示す概略図である。具体的に情報取得手段１１としては、人感センサ２１，２２があげられる。画角１８０度以上のレンズを設置した入力手段２３，２４が２つ組み合わされたシステムである。２つの入力手段２３，２４が重なって撮影している領域が画像の繋ぎ目部分２５となる。

人感センサ２１，２２を画像の繋ぎ目部分２５になる方向に配置することで、繋ぎ目部分２５に人がいるかどうかの判定に人感センサ２１，２２の情報を使用して、判断精度を画像認識だけで行う場合と比較して判断精度を向上させることができる。図中の矢印は、人感センサ２１，２２の感知方向を示している。

また、合成画像の認識は使わずに人感センサ２１，２２のみで判断するという実施形態も可能である。また、人感センサではなくマイクアレイなどを使用して、話をしている人物を検知するなどしても良い。

本実施形態によれば、複数カメラで撮影した画像の継ぎ目部分にユーザにとって必要性の高いものが写っているかどうかを認識することで、継ぎ目部分に必要性が高いものが写っている場合、１つのパラメータで画像処理を実施するモードで動作し継ぎ目の画質を向上させ、継ぎ目部分に必要性が高いものが写っていない場合、個別のパラメータで画像処理を実施することで個々の画像の品質を最適化する。

そのため、複数カメラの画像を合成する画像処理装置において、１つのパラメータで画像処理を行う場合と個別のパラメータで画像処理を行う制御を適切に切り替えることでシーン毎にユーザが必要としている映像を提供することで、ユーザは見たいものをより綺麗に見ることができる。

なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。

１ 画像処理システム
２ 入力手段
４ 画像処理手段
６ 合成手段
７ 検知手段
８ パラメータ決定手段
９ 制御手段
１１ 情報取得手段
２１ 人感センサ
２５ 繋ぎ目部分

特許第４３２５６４２号公報

Claims (5)

1. 複数のカメラ装置から画像を入力する複数の画像入力手段と、
   該複数の画像入力手段から入力された画像に対し画像処理を実施する複数の画像処理手段と、
   該複数の画像処理手段から入力された複数の画像を合成する合成手段と、
   該合成手段で合成された画像の継ぎ目部分に重要なものがあるか認識する検知手段と、
   該検知手段から動作パラメータを生成するパラメータ決定手段と、を有し、
   該パラメータ決定手段は前記検知手段の結果を基に、動作パラメータを決定し、
   前記検知手段は、画像の継ぎ目部分に重要なものが無い場合、個別最適化された動作パラメータを使用し、画像の継ぎ目部分に重要なものがある場合、個別最適化された動作パラメータの中間値を使用することを特徴とする画像処理システム。
2. １つ以上の情報取得手段を有し、
   前記検知手段は、情報取得手段で取得した情報を、前記合成手段で合成された画像の継ぎ目部分に重要なものがあるか認識する検知に活用することを特徴とする請求項１記載の画像処理システム。
3. 前記検知手段は、画像の継ぎ目部分に重要度に応じて、前記複数の画像処理手段と前記複数の画像入力手段との動作パラメータを個別最適化された動作パラメータと、個別最適化された動作パラメータの中間値の間で切り替えていくことを特徴とする請求項２記載の画像処理システム。
4. 前記情報取得手段は、人感センサであることを特徴とする請求項２または３記載の画像処理システム。
5. 前記情報取得手段は、マイクアレイであることを特徴とする請求項２または３記載の画像処理システム。

Images