以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の画像処理装置は、第1の画像上の第1の領域に含まれる画素の画素値を基に、前記第1の領域の所定の特徴を示す特徴量を算出し、前記第1の画像上の前記第1の領域とは異なる第2の領域に含まれる画素の画素値を基に、前記第2の領域の前記特徴を示す特徴量を算出する算出手段(例えば、図26の算出部662)と、前記第1の領域の特徴量と、前記第2の領域の特徴量とを比較する比較手段(例えば、図26の比較部663)と、前記比較手段による比較の結果、前記第1の領域の特徴量と、前記第2の領域の特徴量とが所定の関係を満たす場合、前記第1の領域の画素のうち、画素値に基づく所定の条件を満たす画素が含まれる領域を、前記特徴を有する特徴領域として、前記第1の領域から抽出する抽出手段(例えば、図26の抽出部651)と、抽出された前記特徴領域が拡大された第2の画像の表示を制御する表示制御手段(例えば、図26のズーム処理部113)とを備える。
前記表示制御手段(例えば、図7のステップS66の処理を実行するズーム処理部113)には、前記第1の画像および前記第2の画像が同時に表示されるように、前記第2の画像の表示を制御させるようにすることができる。
前記算出手段(例えば、図27のステップS343の処理を実行する算出部662)には、前記第1の領域の画素のうち、前記条件を満たす画素の数を基に前記第1の領域の特徴量を算出させ、前記第2の領域の画素のうち、前記条件を満たす画素の数を基に前記第2の領域の特徴量を算出させ、前記比較手段(例えば、図27のステップS344の処理を実行する比較部663)には、前記第1の領域の特徴量と、前記第2の領域の特徴量との差を求めることにより、前記第1の領域の特徴量と前記第2の領域の特徴量とを比較させ、前記抽出手段(例えば、図27のステップS345の処理を実行する抽出部651)には、前記第1の領域の特徴量と、前記第2の領域の特徴量との差が、所定の閾値以上である場合、前記第1の領域の画素のうち、前記条件を満たす画素が含まれる領域を、前記特徴領域として抽出させるようにすることができる。
前記算出手段(例えば、図27のステップS343の処理を実行する算出部662)には、前記第1の領域または前記第2の領域の色相を示す特徴量を算出させるようにすることができる。
前記算出手段(例えば、図27のステップS343の処理を実行する算出部662)には、前記第1の領域または前記第2の領域の明度を示す特徴量を算出させるようにすることができる。
前記算出手段(例えば、図27のステップS343の処理を実行する算出部662)には、前記第1の領域または前記第2の領域の彩度を示す特徴量を算出させるようにすることができる。
前記算出手段(例えば、図27のステップS343の処理を実行する算出部662)には、前記第1の領域または前記第2の領域におけるエッジを構成する画素の割合を示す特徴量を算出させるようにすることができる。
前記抽出手段(例えば、図27のステップS345の処理を実行する抽出部651)には、前記第1の領域上において、前記条件を満たす画素が連続する領域を検出させ、検出された領域のうち、最も面積が大きい領域を前記特徴領域として抽出させるようにすることができる。
前記抽出手段(例えば、図27のステップS345の処理を実行する抽出部651)には、前記第1の領域上において、前記条件を満たす画素が連続する領域を検出させ、検出された領域のうち、前記第1の画像の中心から最も近い領域を前記特徴領域として抽出させるようにすることができる。
本発明の一側面の画像処理方法またはプログラムは、第1の画像上の第1の領域に含まれる画素の画素値を基に、前記第1の領域の所定の特徴を示す特徴量を算出し、前記第1の画像上の前記第1の領域とは異なる第2の領域に含まれる画素の画素値を基に、前記第2の領域の前記特徴を示す特徴量を算出し(例えば、図27のステップS343)、前記第1の領域の特徴量と、前記第2の領域の特徴量とを比較し(例えば、図27のステップS344)、その比較の結果、前記第1の領域の特徴量と、前記第2の領域の特徴量とが所定の関係を満たす場合、前記第1の領域の画素のうち、画素値に基づく所定の条件を満たす画素が含まれる領域を、前記特徴を有する特徴領域として、前記第1の領域から抽出し(例えば、図27のステップS345)、抽出された前記特徴領域が拡大された第2の画像の表示を制御する(例えば、図7のステップS66)ステップを含む。
以下、図面を参照して本発明を適用した実施の形態について説明する。
図1は、本発明を適用したスケーラブルテレビジョンシステムの外観の構成例を示す図である。図1では、9(3×3)台の表示装置21−1乃至表示装置21−9を取り付けることができるスケーラブルテレビジョンシステム11が示されている。スケーラブルテレビジョンシステム11は、例えば、複数の表示装置を、所定の取り付け位置に取り付けることが可能なユニットを、複数台接続することにより構成されており、接続されるユニットの数を増やしたり減らしたりすることで、表示装置の台数を自由に増やしたり減らしたりすることが可能となるように構成されている。
例えば、表示装置21−1、表示装置21−4、および表示装置21−7の3台を図中縦方向に一列に取り付けることが可能なユニット、表示装置21−2、表示装置21−5、および表示装置21−8の3台を図中縦方向に一列に取り付けることが可能なユニット、並びに表示装置21−3、表示装置21−6、および表示装置21−9の3台を図中縦方向に一列に取り付けることが可能なユニットの3台のユニットが図中横方向に一列に並べられて接続されることにより、図1のスケーラブルテレビジョンシステム11が構成される。
スケーラブルテレビジョンシステム11には、表示装置21−1乃至表示装置21−9の9台の表示装置がそれぞれ取り付けられている。表示装置21−1乃至表示装置21−9は、その表面(図中、手前側)に画像を表示する表示部が設けられ、背面の一部または全部が、上述したスケーラブルテレビジョンシステム11を構成するユニットに接触するようにして取り付けられている。また、表示装置21−1乃至表示装置21−9は、それぞれ他の表示装置との通信を行う通信機能を有している。
さらに、表示装置21−1乃至表示装置21−9の9台の表示装置のそれぞれは、同じ形状と機能を有し、例えば、放送信号、映像信号などを受信して表示部に画像を表示したり、スピーカなどで構成される音声出力部から音声を出力したりする。スケーラブルテレビジョンシステム11は、個々の表示装置を独立して機能させることは勿論、9台の表示装置の集合体をあたかも1台の表示装置として機能させるようにすることが可能である。
なお、以下、表示装置21−1乃至表示装置21−9のそれぞれを個々に区別する必要のない場合、単に表示装置21と称する。
ところで、スケーラブルテレビジョンシステム11においては、個々の表示装置21を独立して機能させて、表示装置21−1乃至表示装置21−9のそれぞれに、別々の画像を表示させることができる。例えば、図2に示すように、9台の表示装置21のうち、図中、中央に位置する表示装置21−5に所定の画像を表示させ、それと同時に、表示装置21−5を囲むように配置されている表示装置21−1乃至表示装置21−4、および表示装置21−6乃至表示装置21−9のそれぞれに、表示装置21−5に表示されている画像の一部分を拡大して表示させることができる。
図2では、表示装置21−5には、表示装置21−5の表示部の図中、右下に人41乃至人43が写っており(表示されており)、その背景に山46、山47、太陽44、ヘリコプタ45、および雲48が写っている(表示されている)画像が表示されている。また、表示装置21−1乃至表示装置21−3のそれぞれには、表示装置21−5に表示されている人41乃至人43のそれぞれが拡大された画像が表示されており、表示装置21−4には、太陽44が拡大された画像が表示されており、表示装置21−6には、ヘリコプタ45が拡大された画像が表示されている。さらに、表示装置21−7には、表示装置21−5に表示されている山46が拡大された画像が表示されており、表示装置21−8には、山47が拡大された画像が表示されており、表示装置21−9には、雲48が拡大された画像が表示されている。
このように、複数の表示装置21のうちの1台に所定の画像を表示させ、同時に、それ以外(残り)の8台の表示装置21に、所定の画像の一部分を拡大して表示させることで、ユーザは、表示された所定の画像(すなわち、画像全体)を視聴するとともに、その画像の一部分が拡大された画像(すなわち、所定の画像の細部)も同時に視聴して楽しむことができる。
なお、図2では、表示装置21−5が所定の画像(以下、全体画像とも称する)を表示して、表示装置21−1乃至表示装置21−4、および表示装置21−6乃至表示装置21−9のそれぞれが全体画像の一部分を拡大した画像(以下、ズーム画像とも称する)を表示させる例について説明したが、全体画像を表示する表示装置21は、表示装置21−5に限らず、他の表示装置21としてもよく、複数の表示装置21が全体画像を同時に表示させるようにしてもよい。同様に、複数の表示装置21のうち、どの表示装置21がズーム画像を表示してもよく、複数の表示装置21が同一のズーム画像を表示するようにしてもよい。
図3は、図1のスケーラブルテレビジョンシステム11の構成例を示すブロック図である。
スケーラブルテレビジョンシステム11は、表示装置21−1乃至表示装置21−9(表示装置21−3乃至表示装置21−8は図示せず)のそれぞれを含むように構成され、それぞれの表示装置21には、分配機71、分配機72、受信部73、およびネットワークハブ74が接続されている。
分配機71は、図示せぬアンテナが受信した、テレビジョン放送番組を再生するための放送信号を表示装置21−1乃至表示装置21−9に供給する。分配機72は、図示せぬ外部入力機器から供給された、映像(動画像)を再生するための映像信号を表示装置21−1乃至表示装置21−9に供給する。
また、例えば、ユーザが、図示せぬリモートコマンダを操作することにより、表示装置21に対して所定の処理の実行を指示すると、リモートコマンダからはユーザの操作に応じた赤外線信号が送信される。受信部73は、リモートコマンダから送信されてきた赤外線信号を受信(受光)して光電変換し、これにより得られたコマンド信号を表示装置21−1乃至表示装置21−9に供給する。ネットワークハブ74は、表示装置21−1乃至表示装置21−9のそれぞれから供給された各種の信号を、他の表示装置21に供給する。
表示装置21は、分配機71から供給された放送信号、または分配機72から供給された映像信号を基に、テレビジョン放送番組や映像を再生する。また、それぞれの表示装置21は、ネットワークハブ74を介して互いに通信を行ったり、受信部73から供給されたコマンド信号に応じて、所定の処理を行ったりする。
図4は、表示装置21の機能の構成例を示すブロック図である。
表示装置21は、制御情報通信部91、入力部92、中央処理部93、信号取得部94、画像処理部95、表示部96、および音声出力部97を含むように構成される。
制御情報通信部91は、ネットワークハブ74に接続され、表示装置21と他の表示装置21との通信を制御する。制御情報通信部91は、ネットワークハブ74を介して、他の表示装置から送信されてきた各種の制御信号を受信し、中央処理部93に供給する。また、制御情報通信部91は、中央処理部93から供給された各種の制御信号を、ネットワークハブ74を介して他の表示装置21に供給する。さらに、制御情報通信部91は、受信部73から供給されたコマンド信号を中央処理部93に供給する。
入力部92は、例えば、マウス、タブレット、ボタン、スイッチなどから構成され、ユーザの操作に応じた入力信号を中央処理部93に供給する。中央処理部93は、制御情報通信部91から供給された制御信号、または入力部92から供給された入力信号に応じて、表示装置21全体を制御し、各種の処理を行う。
例えば、中央処理部93は、画像処理部95を制御して、表示部96に画像を表示させる。また、中央処理部93は、他の表示装置21を制御するための制御信号を生成して、制御情報通信部91に供給し、他の表示装置21に送信させる。
さらに、中央処理部93は、受信部73または入力部92から表示装置21を特定するID(Identification)を示す信号が供給されると、その信号により示されるIDを記憶する。例えば、互いに接続されている表示装置21は予め順序付けられており、それぞれの表示装置21には、自分自身の順番を示すIDが割り振られる。例えば、表示装置21は、表示装置21−1乃至表示装置21−9の順番で順序付けられており、表示装置21−1のIDは、自分自身の順番が1番目である“1”とされる。なお、このIDは、中央処理部93が予め記憶しておくようにしてもよく、ユーザにより変更できるようにしてもよい。
信号取得部94は、例えば、チューナなどを含むように構成される。信号取得部94は、中央処理部93の制御の基に選局を行い、分配機71から供給された放送信号から画像を表示させるための画像データ、および音声を再生させるための音声データを抽出する。また、信号取得部94は、分配機72から供給された映像信号から画像データおよび音声データを抽出する。信号取得部94は、抽出した画像データを画像処理部95に供給し、音声データを音声出力部97に供給する。
画像処理部95は、中央処理部93の制御の基に、信号取得部94から供給された画像データに基づく画像(全体画像)から肌色の領域を抽出して、その領域を拡大して表示させるための画像データを生成し、表示部96に供給する。画像処理部95は、領域決定部111、パラメータ決定部112、およびズーム処理部113を含むように構成される。
領域決定部111は、肌色領域検出部121を含むように構成される。領域決定部111の肌色領域検出部121は、信号取得部94から供給された画像データに基づく画像(全体画像)から肌色の領域を検出する。領域決定部111は、肌色の領域の検出結果に基づき、全体画像のうちのズーム画像として表示させる領域(以下、ズーム領域とも称する)の候補となる領域を定める(選択する)。
パラメータ決定部112は、パラメータ保持部122を含むように構成され、領域決定部111により定められたズーム領域の候補となる領域の中心座標、およびその領域を拡大させるズーム倍率を算出する。パラメータ決定部112のパラメータ保持部122は、算出された中心座標およびズーム倍率を保持する。また、パラメータ決定部112は、過去に算出した所定の数の中心座標の重心(の座標)、およびズーム倍率の平均値を算出して、ズーム処理部113に供給する。
ズーム処理部113は、信号取得部94から供給された画像データ、並びにパラメータ決定部112から供給された中心座標の重心(の座標)およびズーム倍率の平均値を基に、ズーム画像を表示させるための画像データを生成して表示部96に供給する。
また、ズーム処理部113は、ズーム画像を表示させずに、全体画像を表示させる場合、信号取得部94から供給された画像データをそのまま表示部96に供給する。
表示部96は、例えば、液晶ディスプレイ、CRT(Cathode Ray Tube)などから構成され、画像処理部95から供給された画像データを基に画像を表示する。音声出力部97は、例えば、スピーカなどから構成され、信号取得部94から供給された音声データを基に音声を再生する。
スケーラブルテレビジョンシステム11においては、全体画像を表示する表示装置21と、ズーム画像を表示する表示装置21とが予め定められているようにしてもよく、ユーザが、表示装置21ごとに全体画像を表示させるか、またはズーム画像を表示させるかを設定できるようにしてもよい。
ユーザがリモートコマンダを操作して、表示装置21に画像の表示を指示すると、受信部73は、リモートコマンダから送信されてきた赤外線信号を受信して光電変換し、その結果得られるコマンド信号を表示装置21に供給する。
表示装置21の中央処理部93は、制御情報通信部91を介して受信部73からのコマンド信号を受信すると、そのコマンド信号に応じて表示部96に画像(全体画像またはズーム画像)を表示させる。
以下、図5のフローチャートを参照して、全体画像を表示する表示装置21による、全体画像の表示処理について説明する。
ステップS11において、信号取得部94は、中央処理部93の制御の基に、分配機71から供給された放送信号、または分配機72から供給された映像信号から、画像データおよび音声データを抽出する。そして、信号取得部94は、抽出した画像データをズーム処理部113に供給し、音声データを音声出力部97に供給する。
ステップS12において、ズーム処理部113は、信号取得部94から供給された画像データをそのまま表示部96に供給して、表示部96に全体画像を表示させる。
ステップS13において、音声出力部97は、信号取得部94から供給された音声データを基に音声を再生する。
ステップS14において、中央処理部93は、処理を終了するか否かを判定する。例えば、中央処理部93は、制御情報通信部91を介して受信部73から、全体画像の表示の終了を指示するコマンド信号が供給された場合、処理を終了すると判定する。
ステップS14において、処理を終了しないと判定された場合、ステップS15に進み、中央処理部93は、ユーザの操作に応じた処理を行い、処理はステップS11に戻る。例えば、ユーザがリモートコマンダを操作して、チャンネルの変更を指示した場合、中央処理部93は、制御情報通信部91を介して受信部73から供給されたコマンド信号に応じて、信号取得部94を制御して選局させる。
また、ステップS14において、処理を終了すると判定された場合、中央処理部93は、信号取得部94および画像処理部95を制御して、全体画像を表示させる処理を終了させて、全体画像の表示処理は終了する。
このようにして、全体画像を表示する表示装置21は、ユーザの操作に応じて全体画像を表示する。
次に、図6のフローチャートを参照して、他の表示装置21に表示されている全体画像の一部分を拡大して表示する表示装置21による、ズーム画像の表示処理について説明する。このズーム画像の表示処理は、互いに接続されている他の表示装置21による、全体画像の表示処理(図5)と独立に、かつ並行して行われる。
ステップS31において、中央処理部93は、ズーム画像の表示が指示されたか否かを判定する。例えば、ユーザが、リモートコマンダを操作して、リモートコマンダから受信部73に、ズーム画像の表示を指示する赤外線信号が送信され、これに応じて、受信部73から制御情報通信部91を介して中央処理部93に、ズーム画像の表示を指示するコマンド信号が供給された場合、中央処理部93は、ズーム画像の表示が指示されたと判定する。
ステップS31において、ズーム画像の表示が指示されたと判定された場合、ステップS32に進み、画像処理部95は、中央処理部93の制御の基に、自動ズーム処理を行う。なお、自動ズーム処理の詳細は後述するが、自動ズーム処理において、画像処理部95は、信号取得部94から供給された画像データを基に、ズーム画像を表示させるための画像データを生成する。そして、画像処理部95は、生成した画像データを表示部96に供給して、他の表示装置21に全体画像が表示されるのと同時に、表示部96にズーム画像を表示させる。
ステップS33において、中央処理部93は、ズーム画像の表示を終了するか否かを判定する。例えば、ユーザにより、リモートコマンダが操作されて、リモートコマンダから受信部73に、ズーム画像の表示の終了を指示する赤外線信号が送信され、これに応じて、受信部73から、制御情報通信部91を介して中央処理部93に、ズーム画像の表示の終了を指示するコマンド信号が供給された場合、中央処理部93は、ズーム画像の表示を終了すると判定する。
ステップS33において、ズーム画像の表示を終了しないと判定された場合、ステップS32に戻り、表示部96には継続してズーム画像が表示される。
これに対して、ステップS33において、ズーム画像の表示を終了すると判定された場合、ステップS34に進む。ステップS34において、中央処理部93は、信号取得部94および画像処理部95を制御して、表示部96へのズーム画像の表示を終了させ、処理はステップS31に戻る。
また、ステップS31において、ズーム画像の表示が指示されていないと判定された場合、ステップS35に進み、中央処理部93は、処理を終了するか否かを判定する。例えば、中央処理部93は、制御情報通信部91を介して受信部73から、全体画像の表示の終了を指示するコマンド信号が供給された場合、処理を終了すると判定する。
ステップS35において、処理を終了しないと判定された場合、ステップS36に進み、中央処理部93は、ユーザの操作に応じた処理を行い、処理はステップS31に戻る。例えば、ユーザがリモートコマンダを操作して、チャンネルの変更を指示した場合、中央処理部93は、制御情報通信部91を介して受信部73から供給されたコマンド信号に応じて、信号取得部94を制御して選局させる。
また、ステップS35において、処理を終了すると判定された場合、中央処理部93は、表示装置21が行っている処理を終了させて、ズーム画像の表示処理は終了する。
このようにして、表示装置21は、他の表示装置21に全体画像が表示されているときに、ユーザによりズーム画像の表示が指示されると、表示部96にズーム画像を表示させる。
このように、全体画像が表示されるのと同時に、ズーム画像を表示させることにより、表示装置21は、より効果的に画像を表示することができる。これにより、ユーザは、リモートコマンダまたは入力部92を操作し、ズーム画像の表示を指示するという簡単な操作で、全体画像を見るとともに、全体画像の細部まで同時に観察して、画像の視聴を楽しむことができる。ユーザは、新しい画角で画像を見ることで、従来にはない視覚的効果を得ることができ、新しい発見をすることができる。しかもこの場合、ユーザは、拡大して表示させる領域(ズーム領域)をいちいち指定する必要がないので、画像の視聴に集中することができる。
次に、図7のフローチャートを参照して、図6のステップS32の処理に対応する、自動ズーム処理について説明する。
ステップS61において、画像処理部95は肌色領域の検出処理を行う。なお、肌色領域の検出処理の詳細は後述するが、肌色領域の検出処理において、画像処理部95の領域決定部111は、全体画像から肌色の領域を検出し、その検出結果に基づいて、全体画像のうちのズーム画像として表示させるズーム領域の候補を定める。そして、画像処理部95のパラメータ決定部112は、定められたズーム領域の候補の中心座標およびズーム倍率を算出する。
ステップS62において、パラメータ保持部122は、パラメータ決定部112により算出されたズーム領域の候補の中心座標およびズーム倍率を保持する。
ステップS63において、パラメータ決定部112は、パラメータ保持部122に保持されている過去N個(但し、Nは自然数)の中心座標の重心(の座標)を求める。パラメータ保持部122には、過去のフレームの全体画像上において、ズーム領域の候補とされた領域の中心座標が保持されている。パラメータ決定部112は、パラメータ保持部122が保持している過去N個の中心座標の重心を求める。
例えば、パラメータ保持部122に保持されている中心座標のうち、最後からi番目(但し、iは自然数)に算出されたXY空間上の中心座標を(Xi,Yi)とすると、パラメータ決定部112は、式(1)および式(2)を計算することによって、最後から1番目乃至N番目に算出された中心座標の重心の座標(Xg,Yg)を求める。
Xg=(ΣXi)/N ・・・(1)
Yg=(ΣYi)/N ・・・(2)
ここで、式(1)におけるΣは、Xiのiを1からNまで変えて総和をとることを表わし、同様に、式(2)におけるΣは、Yiのiを1からNまで変えて総和をとることを表す。また、Nの値は予め定められているものとする。
ステップS64において、パラメータ決定部112は、パラメータ保持部122に保持されている過去N個(Nフレーム分)(但し、Nは自然数)のズーム倍率の平均値を算出する。例えば、パラメータ保持部122に保持されているズーム倍率のうち、最後からi番目(但し、iは自然数)に算出されたズーム倍率をZiとすると、パラメータ決定部112は、式(3)を計算することによって、最後から1番目乃至N番目に算出されたズーム倍率の平均値Zgを算出する。
Zg=(ΣZi)/N ・・・(3)
ここで、式(3)におけるΣは、Ziのiを1からNまで変えて総和をとることを表す。
パラメータ決定部112は、中心座標の重心(Xg,Yg)およびズーム倍率の平均値Zgを算出すると、算出した中心座標の重心(の座標)およびズーム倍率の平均値をズーム処理部113に供給する。
ステップS65において、ズーム処理部113は、信号取得部94から供給された画像データ、並びにパラメータ決定部112から供給された中心座標の重心の座標およびズーム倍率の平均値を基に、ズーム画像の画像データを生成する。
例えば、図8に示すように、図中、右方向をX軸方向とし、下方向をY軸方向として、XY空間上における全体画像の領域を、0≦X≦Xdの範囲と、0≦Y≦Ydの範囲とで囲まれる領域151とする。また、ズーム画像の中心座標を、式(1)および式(2)により求めた中心座標の重心(Xg,Yg)とし、ズーム倍率の平均値をZgとすると、ズーム領域のX方向の長さWx、およびズーム領域のY方向の長さHyは、それぞれ式(4)および式(5)により求められる。なお、ここでは、説明を簡単にするため、全体画像の画素数と、表示装置21における表示部96の表示画面の画素数とが同一であるものとして説明する。
Wx=Xd/Zg ・・・(4)
Hy=Yd/Zg ・・・(5)
したがって、図8におけるズーム領域は、Xg−(Xd/(2Zg))≦X≦Xg+(Xd/(2Zg))の範囲と、Yg−(Yd/(2Zg))≦Y≦Yg+(Yd/(2Zg))の範囲とで囲まれる領域152となる。ズーム処理部113は、例えば、信号取得部94から供給された画像データに所定の画像変換処理を施して、全体画像のうちの領域152がズーム倍率Zg倍で拡大された画像(ズーム画像)を表示させるための画像データを生成する(ズーム画像を表示させる画像データに変換する)。
図7のフローチャートの説明に戻り、ステップS66において、ズーム処理部113は、生成したズーム画像の画像データを表示部96に供給し、表示部96にズーム画像を表示させて、処理は図6のステップS33に進む。
このようにして、画像処理部95は、ズーム領域の候補となる領域の中心座標の重心、およびズーム倍率の平均値を求める。そして、これらを基にズーム領域を定めて画像データを生成し、ズーム画像を表示させる。
このように、ズーム領域の候補となる領域の中心座標の重心、およびズーム倍率の平均値を算出してズーム領域を定めることによって、全体画像上におけるズーム領域の位置が、フレームごとに大きく変化することを抑制することができる。
例えば、中心座標の重心、およびズーム倍率の平均値を求めるために用いる中心座標、およびズーム倍率の個数、すなわち式(1)乃至式(3)におけるNの値を、1乃至10程度の比較的小さい値とすると、ズーム領域の中心座標がフレームごとに大きく変化する(動く)場合がある。そのような場合、表示部96に表示されるズーム画像(とされる全体画像上における領域)は、フレームごとに大きく変化するので、例えば、ズーム画像として表示される人の顔などがぶれてしまい、ユーザにとって見づらくなってしまう可能性がある。
そこで、例えば、スポーツなどのコンテンツの画像を表示させるときには、シーンの急激な変化や、表示されるスポーツ選手、ボールなどの速い動きに追従できるように、Nの値を比較的小さい値とし、対談番組などのコンテンツの画像を表示させるときには、動きの少ない対談者などが拡大された画像をより見やすくするために、Nの値を30程度の比較的大きい値とすることができる。
このNの値は、表示装置21ごとに予め定めるようにしてもよく、また、表示される画像(コンテンツ)のシーンやユーザの好みに応じて、表示装置21ごとにユーザが設定できるようにしてもよい。このように、Nの値を表示装置21ごとに変化させると、ユーザは、複数の表示装置21に表示されるズーム画像のうち、そのときの視聴条件にあったズーム画像を選択的に視聴することができる。
また、中心座標の重心、およびズーム倍率の平均値を求めずに、ステップS61において定められたズーム領域の候補をそのままズーム領域とする(すなわち、Nを1とする)ようにしてもよく、最後に求められた中心座標、およびズーム倍率が、それよりも前に求められた過去(N−1)個の中心座標、およびズーム倍率と比較して、大きく異なる場合にだけ、定められたズーム領域の候補をそのままズーム領域とするようにしてもよい。
さらに、例えば、図8に示したズーム領域としての領域152の画像を、複数台の表示装置21で表示させるようにしてもよい。この場合、例えば、互いに隣接して設置されている、予め定められたN×N台(横N台×縦N台)(但し、Nは自然数)の表示装置21で1つのズーム画像(領域152の画像)を表示させる。
ここで、図8の領域152をズーム領域としてズーム画像を表示する表示装置21のうち、図中、領域152の左上の端の領域を表示する表示装置21を、左から1番目であり、かつ上から1番目である表示装置21とし、領域152の右上の端の領域を表示する表示装置21を、左からN番目であり、かつ上から1番目である表示装置21とする。また、図中、領域152の左下の端の領域を表示する表示装置21を、左から1番目であり、かつ上からN番目である表示装置21とする。
そして、Xg−(Xd/(2Zg))=Xbとし、Xg+(Xd/(2Zg))=Xeとし、Yg−(Yd/(2Zg))=Ybとし、Yg+(Yd/(2Zg))=Yeとする。このとき、左からi番目(1≦i≦N)であり、上からj番目(1≦j≦N)である表示装置21がズーム画像として表示する領域を、Xib≦X≦Xieの範囲と、Yjb≦Y≦Yjeの範囲とで囲まれる領域とすると、Xib、Xie、Yjb、およびYjeのそれぞれの値は、式(6)乃至式(9)のそれぞれにより表わされる値となる。
Xib=Xb+((i−1)×((Xe−Xb)/N)) ・・・(6)
Xie=Xb+(i×((Xe−Xb)/N)) ・・・(7)
Yjb=Yb+((j−1)×((Ye−Yb)/N)) ・・・(8)
Yje=Yb+(j×((Ye−Yb)/N)) ・・・(9)
したがって、左からi番目(1≦i≦N)であり、上からj番目(1≦j≦N)である表示装置21は、図8の領域152のうち、Xib≦X≦Xieの範囲と、Yjb≦Y≦Yjeの範囲とで囲まれる領域がズーム倍率Zg倍で拡大された画像(ズーム画像)を表示させるための画像データを生成して、表示部96に画像を表示させる。これにより、互いに隣接して設置されているN×N台の表示装置21により、領域152がズーム倍率Zg倍で拡大された画像(ズーム画像)が表示される。
このように、1つのズーム領域を複数の連続した領域に分割して、分割された1つの領域を1つの表示装置21に表示させることにより、複数の表示装置21により1つの画像を表示させることができる。その結果、より大きいズーム倍率でズーム画像を表示させることができ、ユーザは、全体画像のうちの一部の細部まで観察することができる。
なお、1つのズーム画像を表示する複数の表示装置21は、予め定められているようにしてもよく、ユーザがリモートコマンダ、または入力部92を操作して定めることができるようにしてもよい。
次に、図9のフローチャートを参照して、図7のステップS61の処理に対応する、肌色領域の検出処理について説明する。上述したように、この肌色領域の検出処理において画像処理部95は、全体画像から肌色の領域を検出し、ズーム領域の候補となる領域を定める(選択する)。
なお、全体画像上において、肌色の領域を検出する対象となる領域は、全体画像の全体としてもよく、全体画像のうちの一部の領域としてもよい。さらに、肌色の領域を検出する対象となる領域は、表示装置21ごとに予め定めておくようにしてもよく、ユーザが設定できるようにしてもよい。
ステップS91において、肌色領域検出部121は、信号取得部94から供給された画像データの画像(全体画像)上における、肌色の領域を検出する対象となる領域の1つの画素を選択する。
ステップS92において、肌色領域検出部121は、選択した画素の画素値を基に、HSV(Hue Saturation value Value)形式の色空間のH(Hue)の値を求める。
例えば、選択された画素の画素値の赤(R)、緑(G)、青(B)のそれぞれの値をR、G、Bとする(但し、R、G、Bのそれぞれの値は、0以上1以下とされる)。また、R、G、Bのそれぞれの値のうちの最大の値をMAX(R,G,B)とし、R、G、Bのそれぞれの値のうちの最小の値をMIN(R,G,B)とする。さらに、R、G、Bのそれぞれの値が0である場合は、Hの値は定義できないものとする。
R、G、Bのそれぞれの値のうち、Rの値が最大である場合、肌色領域検出部121は、式(10)を計算することによりHの値を求める。
H=60×(G−B)/D ・・・(10)
ここで、Dは、MAX(R,G,B)と、MIN(R,G,B)との差であり、式(11)により表わされる。
D=MAX(R,G,B)−MIN(R,G,B) ・・・(11)
なお、式(10)により求まるHの値が0よりも小さい場合、すなわちHの値が負の値となる場合には、肌色領域検出部121は、式(10)ではなく、式(12)を計算することによりHの値を求める。
H=(60×(G−B)/D)+360 ・・・(12)
また、R、G、Bのそれぞれの値のうち、Gの値が最大である場合、肌色領域検出部121は、式(13)を計算することによりHの値を求め、Bの値が最大である場合、肌色領域検出部121は、式(14)を計算することによりHの値を求める。
H=60×(2+((B−R)/D)) ・・・(13)
H=60×(4+((R−G)/D)) ・・・(14)
このようにして求められるHの値は、0以上、かつ360未満の値となる。ここで、図10に、R、G、Bの各値を基に算出されたHの値の一例を示す。例えば、Rの値が0.39であり、Gの値が0.78であり、Bの値が0.39である場合、Gの値が最も大きいので、式(13)より、Hの値は、120(=60×(2+((0.39−0.39)/0.39)))となる。また、Rの値が0.78であり、Gの値が0.39であり、Bの値が0.39である場合、Rの値が最も大きいので、式(10)より、Hの値は、0(=60×(0.39−0.39)/0.39)となる。
同様に、Rの値が0.39であり、Gの値が0.39であり、Bの値が0.78である場合、Bの値が最も大きいので、式(14)より、Hの値は、240(=60×(4+((0.39−0.39)/0.39)))となる。また、Rの値が0.78であり、Gの値が0.39であり、Bの値が0.78である場合、Rの値が最も大きく、式(10)にR、G、Bのそれぞれの値を代入した値は、−60(=60×(0.39−0.78)/0.39)となり、負の値となるので、式(12)より、Hの値は、300(=(60×(0.39−0.78)/0.39)+360)となる。
さらに、Rの値が0.78であり、Gの値が0.78であり、Bの値が0.39である場合、Rの値が最も大きいので、式(10)より、Hの値は、60(=60×(0.78−0.39)/0.39))となり、Rの値が0.39であり、Gの値が0.78であり、Bの値が0.78である場合、Gの値が最も大きいので、式(13)より、Hの値は、180(=60×(2+((0.78−0.39)/0.39)))となる。
図9のフローチャートの説明に戻り、Hの値が求められると、ステップS93において、肌色領域検出部121は、求めたHの値が予め定められた所定の範囲内の値であるか否かを判定する。例えば、肌色領域検出部121は、Hの値が0より大きく、かつ60より小さいか否かを判定する。また、選択された画素の画素値のR、G、Bの値のそれぞれが0であり、Hの値が定義されない場合には、ステップS93において、所定の範囲内の値でないと判定される。
ステップS93において、所定の範囲内の値であると判定された場合、ステップS94に進み、肌色領域検出部121は、選択した画素を肌色の画素とする。例えば、肌色領域検出部121は、図11に示すように、肌色の領域を検出する対象となる領域の画素ごとに、その画素が肌色の画素であるか否かのフラグを設定する。
図11では、1つの四角形が1つの画素を表わしており、その四角形の中の“1”または“0”が、肌色の画素であるか否かのフラグを示している。四角形の中のフラグ“1”は、その画素が肌色の画素であることを示しており、四角形の中のフラグ“0”は、その画素が肌色の画素ではないことを示している。
肌色領域検出部121は、選択した画素が肌色の画素である場合、その画素のフラグに“1”を設定する(フラグをセットする)。図11の例では、領域181に含まれる4つの画素、領域182に含まれる2つの画素、および領域183に含まれる3つの画素のそれぞれが、肌色の画素とされており、それ以外の画素は肌色ではない画素とされている。
図9のフローチャートの説明に戻り、ステップS94において、選択した画素を肌色の画素とすると、ステップS96に進む。
これに対して、ステップS93において、所定の範囲内の値ではないと判定された場合、ステップS95に進み、選択した画素を肌色以外の色の画素とする。例えば、肌色領域検出部121は、図11に示したように、選択した画素のフラグに“0”を設定する(フラグをリセットする)。
ステップS94において、選択した画素を肌色の画素とするか、またはステップS95において、選択した画素を肌色以外の色の画素とすると、ステップS96において、肌色領域検出部121は、肌色の領域を検出する対象となる領域の全ての画素を選択したか否かを判定する。
ステップS96において、まだ全ての画素を選択していないと判定された場合、ステップS91に戻り、次の画素を選択して、その画素が肌色の画素であるか否かを判定する処理を行う。
一方、ステップS96において、全ての画素を選択したと判定された場合、ステップS97に進み、領域決定部111は、全体画像上のズーム領域の候補となる領域を定める(選択する)。領域決定部111は、ズーム領域の候補となる領域を定めると、その領域を示す情報を生成し、パラメータ決定部112に供給する。
例えば、領域決定部111は、XY空間上における、全体画像上(肌色の領域を検出する対象となる領域)の肌色である画素のX座標のうちの最大値および最小値と、肌色である画素のY座標のうちの最大値および最小値とを算出して、全ての肌色の画素が含まれる領域を、ズーム領域の候補となる領域として定める。ここで、肌色である画素のX座標のうちの最大値および最小値をそれぞれXmax、Xminとし、肌色である画素のY座標のうちの最大値および最小値をそれぞれYmax、Yminとすると、領域決定部111は、XY空間上における、Xmin≦X≦Xmaxの範囲と、Ymin≦Y≦Ymaxの範囲とで囲まれる領域が含まれる領域を、ズーム領域の候補となる領域として定める。なお、ズーム領域の候補となる領域は、表示部96の表示画面と相似形(同じアスペクト比)となるように定められる。
また、領域決定部111が、肌色の領域を検出する対象となる領域上において、肌色の画素が連続する領域を検出して、検出された領域のうち、最も面積(画素数)の大きい領域をズーム領域の候補となる領域とするようにしてもよい。この場合、図11に示した例では、肌色の画素が連続する領域として、領域181乃至領域183が検出され、最も面積の大きい領域181を含む領域が、ズーム領域の候補となる領域として定められる。
さらに、領域決定部111が、肌色の領域を検出する対象となる領域上において、肌色の画素が連続する領域を検出して、検出された領域のうち、最も全体画像の中心に近い領域を含む領域を、ズーム領域の候補となる領域とするようにしてもよい。
ズーム領域の候補となる領域が定められると、ステップS98において、パラメータ決定部112は、ズーム領域の候補となる領域を示す情報を基に、ズーム領域の候補となる領域の中心座標を算出する。例えば、ズーム領域の候補となる領域が、XY空間上におけるXmin≦X≦Xmaxの範囲と、Ymin≦Y≦Ymaxの範囲とで囲まれる領域であるとすると、パラメータ決定部112は、中心座標(Xi,Yi)のX座標XiおよびY座標Yiを、式(15)および式(16)により算出する。
Xi=(Xmin+Xmax)/2 ・・・(15)
Yi=(Ymin+Ymax)/2 ・・・(16)
ステップS99において、パラメータ決定部112は、ズーム領域の候補となる領域のズーム倍率を算出し、処理は図7のステップS62に進む。例えば、XY空間上における、ズーム領域の候補となる領域のX方向の長さ(画素数)をXidとし、表示部96の表示画面のX方向の長さ(画素数)をXdとすると、パラメータ決定部112は、式(17)によりズーム倍率Ziを算出する。
Zi=Xd/Xid ・・・(17)
このようにして、画像処理部95は、肌色の領域を検出し、その検出結果に基づいて、ズーム領域の候補となる領域を定める。
このように、肌色の領域を検出し、その検出結果を基にズーム領域の候補となる領域を定めることで、ユーザは、いちいちズーム領域を指定する必要がなくなり、より簡単な操作で、全体画像の細部まで観察して、画像の視聴を楽しむことができる。
また、肌色の領域を検出して、ズーム領域の候補となる領域を定めることで、全体画像上において、ユーザに注目されることが多い、人(すなわち、肌色の領域)が含まれる領域を、ズーム画像として拡大し、効果的に表示することができる。
なお、肌色の領域の検出結果を基に、ズーム領域の候補となる領域を定める方法は、表示装置21ごとに異なる方法としてもよい。例えば、表示装置21−1は、全ての肌色の画素が含まれる領域を候補となる領域とし、表示装置21−2は、肌色の画素が連続する領域のうち、最も面積の大きい領域が含まれる領域を、候補となる領域とするようにすることができる。
また、選択した画素が肌色の画素であるか否かの判定に用いられるHの値の範囲も、表示装置21ごとに変化させるようにしてもよい。これにより、表示装置21には、肌色の領域でも、比較的明るい肌色の領域を検出させたり、比較的暗い肌色の領域を検出させたりすることができる。さらに、以上においては、全体画像から肌色の領域を検出すると説明したが、肌色以外の色の領域を検出してズーム領域としたり、HSV形式の色空間のSまたはVの値を算出して、全体画像上の画素のうち、SまたはVの値に基づく所定の条件を満たす画素を含む領域を検出してズーム領域としたりしてもよい。
ところで、図7のフローチャートを参照して説明した自動ズーム処理では、ステップS61(肌色領域の検出処理)において、肌色の領域を検出してズーム領域の候補となる領域を定めると説明したが、ステップS61の処理において、全体画像から、いわゆる前景等となっているもの(例えば、物体や人など)の一部分(または全部)であるオブジェクトを検出し、検出されたオブジェクトを含む領域をズーム領域の候補となる領域とすることもできる。
そのような場合、表示装置は、例えば、図12に示すように構成される。
表示装置211は、制御情報通信部91、入力部92、中央処理部93、信号取得部94、表示部96、音声出力部97、および画像処理部231を含むように構成される。なお、表示装置211の制御情報通信部91、入力部92、中央処理部93、信号取得部94、表示部96、および音声出力部97のそれぞれは、図4における場合と対応するため同一の符号を付してあり、その説明は省略する。
画像処理部231は、中央処理部93の制御の基に、信号取得部94から供給された画像データに基づく画像(全体画像)から所定のオブジェクトを検出して、そのオブジェクトを含む領域を拡大して表示させるための画像データを生成し、表示部96に供給する。画像処理部231は、オブジェクト選択部241、パラメータ決定部112、およびズーム処理部113を含むように構成される。なお、パラメータ決定部112およびズーム処理部113は、図4における場合と対応するため同一の符号を付してあり、その説明は省略する。
オブジェクト選択部241は、信号取得部94から供給された画像データに基づく画像(全体画像)からオブジェクトを検出する。オブジェクト選択部241は、検出したオブジェクトから、拡大して表示させるオブジェクトを選択し、そのオブジェクトを示す情報をパラメータ決定部112に供給する。オブジェクト選択部241は、検出部251および変数保持部252を含むように構成される。
オブジェクト選択部241の変数保持部252は、オブジェクトを検出するために必要な所定の変数を保持する。オブジェクト選択部241の検出部251は、変数保持部252に保持されている変数を用いて、全体画像からオブジェクトを検出する。
表示装置211は、図7を参照して説明した自動ズーム処理を行い、ステップS61の処理において、オブジェクトを含む領域をズーム領域の候補となる領域として定める。以下、図13のフローチャートを参照して、画像処理部231によるオブジェクト領域の検出処理について説明する。
ステップS121において、オブジェクト選択部241は、オブジェクト検出処理を行う。なお、オブジェクト検出処理の詳細は後述するが、オブジェクト検出処理において、オブジェクト選択部241は、全体画像からオブジェクトを検出する。
なお、全体画像上において、オブジェクトを検出する対象となる領域は、全体画像の全体としてもよく、全体画像のうちの一部の領域としてもよい。さらに、オブジェクトを検出する対象となる領域は、表示装置211ごとに予め定めておくようにしてもよく、ユーザが設定できるようにしてもよい。
ステップS122において、オブジェクト選択部241は、検出したオブジェクトから、ズーム画像として表示するオブジェクトの候補を選択する。
例えば、オブジェクト選択部241は、検出されたオブジェクトのうち、ある程度の大きさのオブジェクトは、拡大して表示しなくても十分な大きさで表示されているとして、比較的小さいオブジェクトを、表示するオブジェクトの候補として選択する。オブジェクト選択部241は、検出された各オブジェクトの面積(オブジェクトの画素数)を算出し、各オブジェクトのうち、オブジェクトの面積が、予め定められた所定の値以下であるオブジェクトを候補として選択する。
また、面積が10画素程度であるオブジェクトはノイズであるとして、表示するオブジェクトの候補から除外するようにしてもよい。この場合には、オブジェクト選択部241は、検出されたオブジェクトのうち、面積が予め定められた所定の範囲内の値であるオブジェクトを候補として選択する。
さらに、オブジェクト選択部241は、検出されたオブジェクトから、面積が小さい順に、予め定められた所定の数だけオブジェクトを選択して、選択されたオブジェクトを表示するオブジェクトの候補としたり、検出されたオブジェクトの面積の平均値を求めて、求められた平均値の10分の1よりも小さいオブジェクトを、表示するオブジェクトの候補として選択したりしてもよい。
ズーム画像として表示するオブジェクトの候補が選択されると、ステップS123において、オブジェクト選択部241は、選択したオブジェクトの候補から、ズーム画像として表示するオブジェクトを選択する。オブジェクト選択部241は、オブジェクトを選択すると、選択したオブジェクトを示す情報を生成してパラメータ決定部112に供給する。
オブジェクト選択部241は、候補として選択されたオブジェクトが1つである場合、そのオブジェクトをズーム画像として表示するオブジェクトとして選択する。また、候補として選択されたオブジェクトが複数ある場合には、オブジェクト選択部241は、複数の候補の中から1または複数のオブジェクトを、表示するオブジェクトとして選択する。
複数の候補の中からオブジェクトを選択する場合、例えば、オブジェクト選択部241は、オブジェクトの面積が小さい順に、所定の数のオブジェクトを選択したり、オブジェクトの位置が全体画像の中心に近い順に、所定の数のオブジェクトを選択したりする。また、オブジェクト選択部241が、複数の候補の中から、所定の色のオブジェクトをズーム画像として表示するオブジェクトとして選択するようにしてもよい。この場合には、例えば、複数の候補の中から肌色のオブジェクトを選択することによって、人の画像をズーム画像として表示させることができる。
さらに、例えば、オブジェクト選択部241が、候補として選択された全てのオブジェクトを、ズーム画像として表示するオブジェクトとして選択したり、複数の候補のうち、互いに隣接している複数のオブジェクトを、ズーム画像として表示する1つのオブジェクトとして選択したりするようにしてもよい。
このようにして、検出されたオブジェクトから、表示するオブジェクトの候補を選択し、さらに、その候補から、表示するオブジェクトを選択することで、所定の条件を満たすオブジェクトを選択することができる。
ズーム画像として表示するオブジェクトが選択されると、ステップS124において、パラメータ決定部112は、オブジェクト選択部241から供給された、ズーム画像として表示するオブジェクトを示す情報を基に、その情報により示されるオブジェクトを含む領域をズーム領域の候補となる領域とし、その領域の中心座標を算出する。
例えば、オブジェクト選択部241が、ズーム画像として表示するオブジェクトとして、1つのオブジェクトを選択した場合、パラメータ決定部112は、選択されたオブジェクトのXY空間上における重心の座標を、中心座標として算出する。
ここで、オブジェクト選択部241により選択されたオブジェクトを構成するN個(但しNは自然数)の画素のそれぞれを、画素Gk(1≦k≦N)とし、XY空間上の画素Gkの座標を(Xk,Yk)とすると、パラメータ決定部112は、中心座標(Xi,Yi)のX座標Xi、およびY座標Yiを式(18)および式(19)により算出する。
Xi=(ΣXk)/N ・・・(18)
Yi=(ΣYk)/N ・・・(19)
ここで、式(18)におけるΣは、Xkのkを1からNまで変えて総和をとることを表わし、式(19)におけるΣは、Ykのkを1からNまで変えて総和をとることを表わす。
また、例えば、オブジェクト選択部241が、ズーム画像として表示するオブジェクトとして、複数のオブジェクトを選択した場合、パラメータ決定部112は、選択された複数のオブジェクトを含む領域を、ズーム領域の候補となる領域として、その領域のXY空間上における中心の座標を中心座標として算出する。さらに、選択されたオブジェクトが1つである場合にも、そのオブジェクトを含む領域を、ズーム領域の候補となる領域として、その領域のXY空間上における中心の座標を中心座標としてもよく、選択されたオブジェクトが複数である場合にも、選択されたそれぞれのオブジェクトを構成する画素のXY空間上における重心の座標を、中心座標としてもよい。
ステップS125において、パラメータ決定部112は、ズーム領域の候補となる領域のズーム倍率を算出し、処理は図7のステップS62に進む。例えば、パラメータ決定部112は、上述した式(17)を計算することによって、ズーム倍率Ziを算出する。
このようにして、画像処理部231は、全体画像からオブジェクトを検出し、検出されたオブジェクトのうち、所定の条件を満たすオブジェクトを含む領域をズーム領域の候補とする。これにより、表示部96には、所定の条件を満たすオブジェクトが拡大された画像が、ズーム画像として表示される。
例えば、図14Aに示すように、全体画像281が、人291と背景としての山とが写っている(表示されている)画像であるとする。表示装置211(画像処理部231)は、全体画像281からオブジェクトを検出し、例えば、検出されたオブジェクトのうち、オブジェクトの面積が、予め定められた所定の値以下であるオブジェクトを、表示するオブジェクトの候補として選択し、さらにその候補から、1つのオブジェクトを選択する。
図14Bに示すように、表示装置211がズーム画像として表示するオブジェクトとして、全体画像281に写っている(表示されている)人291の顔292の部分が選択されると、表示装置211は、表示部96に図14Cに示すズーム画像301を表示する。図14Cでは、ズーム画像301には、選択されたオブジェクトとしての顔292が表示されている。
また、例えば、図15Aに示すように、全体画像321が、人331、飛行物体332、および背景としての山が写っている(表示されている)画像であるとする。表示装置211は、全体画像321からオブジェクトを検出し、例えば、検出されたオブジェクトのうち、オブジェクトの面積が、予め定められた所定の値以下であるオブジェクトを、表示するオブジェクトの候補として選択する。
その結果、例えば、図15Bに示すように、全体画像321から、ズーム画像として表示するオブジェクトの候補として、人331の顔341、人331の胴体342、および飛行物体332が選択される。
表示装置211が、全ての候補をズーム画像として表示するオブジェクトとして選択する場合、表示装置211は、表示部96に図15Cに示すズーム画像351を表示する。図15Cでは、ズーム画像351には、選択されたオブジェクトとしての人331の顔341および胴体342と、飛行物体332とが表示されている。
また、例えば、表示装置211が、互いに隣接している複数のオブジェクトを、ズーム画像として表示するオブジェクトとして選択する場合、表示装置211は、図15Bの全体画像321上において、互いに隣接しているオブジェクトとしての人331の顔341および胴体342を選択し、表示部96に図15Dに示すズーム画像352を表示する。図15Dでは、ズーム画像352には、選択されたオブジェクトとしての顔341および胴体342からなる人331が表示されている。
さらに、例えば、表示装置211が、最も面積が小さい候補をズーム画像として表示するオブジェクトとして選択する場合、表示装置211は、図15Bの全体画像321上において、最も面積が小さいオブジェクトである飛行物体332を選択して、表示部96に、図15Eに示すズーム画像353を表示する。図15Eでは、ズーム画像353には、最も面積が小さいオブジェクトとして選択された、オブジェクトとしての飛行物体332が表示されている。
このように、画像処理部231は、全体画像からオブジェクトを検出し、検出されたオブジェクトのうち、所定の条件を満たすオブジェクトを含む領域をズーム領域の候補とするので、ユーザはいちいちズーム領域を指定する必要がなくなり、より簡単な操作で、全体画像の細部まで観察して、画像の視聴を楽しむことができる。
また、検出されたオブジェクトのうち、所定の条件を満たすオブジェクトを選択することで、ユーザの要望(ニーズ)に合ったオブジェクトを拡大して効果的に表示することができる。これによりユーザは、全体画像上の見たいと思うオブジェクトの細部まで観察することができる。
特に、本出願人が行ったアンケートでは、全体画像に表示されているオブジェクトのうち、拡大して表示させたいオブジェクトとして、人物以外の小さいオブジェクトと回答した人が多かったという結果が得られている。
したがって、上述したように、面積が予め定められた所定の値以下であるオブジェクトを候補として選択するなどして、検出されたオブジェクトのうち、比較的小さい(面積が小さい)オブジェクトをズーム画像のオブジェクトとすることにより、全体画像上のオブジェクトのうちの比較的小さいオブジェクトを自動的に検出し、拡大して表示することができる。これにより、全体画像上における、ユーザが拡大させて見たいと思うオブジェクトを、拡大してより見やすく表示することができる。ユーザは、自分が見たいと思うオブジェクトが拡大されて表示されるので、全体画像上における小さいオブジェクトを凝視する必要がなくなり、全体画像の視聴時におけるユーザのストレスも軽減される。
なお、ズーム画像のオブジェクトとして、小さいオブジェクトに限らず、予め定められた所定の値よりも大きいオブジェクトや、全体画像の中心に近いオブジェクトを選択するようにしてもよい。
次に、図16のフローチャートを参照して、図13のステップS121の処理に対応する、オブジェクト検出処理について説明する。上述したように、このオブジェクト検出処理においてオブジェクト選択部241は、全体画像からオブジェクトを検出する。
ステップS151において、検出部251は初期化処理を行う。例えば、検出部251は、オブジェクトを検出する対象となる領域に含まれている、全ての画素のオブジェクト番号を0とする。ここで、オブジェクト番号とは、全体画像上のオブジェクトを特定するための番号をいい、検出部251は、全ての画素に1以上の所定の数をオブジェクト番号として付して、オブジェクトに分類する。また、オブジェクト番号0は、その画素は、未だどのオブジェクトにも分類されていないことを示している。
例えば、図17に示す領域381を、オブジェクトを検出する対象となる領域とすると、検出部251は、初期化処理において、領域381に含まれる全ての画素にオブジェクト番号0を付す。なお、図中、領域381に含まれる1つの四角形は、1つの画素を表わしている。
また、図中、一番左上の画素を基準として、右方向にi番目であり、下方向にj番目である画素を画素G(i,j)とし、画素G(i,j)のオブジェクト番号をObj(i,j)とする。検出部251は、初期化処理を行った後、画素G(i,j)を特定するための変数i、および変数jを変化させて、領域381に含まれる全ての画素G(i,j)に対して、オブジェクト番号Obj(i,j)を付すことにより、画素G(i,j)を、オブジェクト番号Obj(i,j)により示されるオブジェクトに分類する。
なお、以下では、領域381の図中、一番右側の列の画素を画素G(w,j)とし、領域381の図中、一番下の行の画素を画素G(i,h)として説明する。したがって、図17の例においては、w=6であり、h=4である。
図16のフローチャートの説明に戻り、初期化処理が行われると、ステップS152において、検出部251は、変数保持部252が保持している変数i、変数j、および変数numを、それぞれi=1、j=1、およびnum=1とする。
ここで、変数iおよび変数jは、画素G(i,j)を特定するための変数であり、i=1、およびj=1である状態においては、画素G(i,j)は、画素G(1,1)を示すものとする。したがって、図17の例においては、i=1、およびj=1である場合、画素G(i,j)とは、図中、一番左上の画素を示している。また、変数numは、各画素G(i,j)に付されるオブジェクト番号を示す変数である。
ステップS153において、検出部251は、オブジェクト番号Obj(i,j)=0であるか否かを判定する。例えば、初期化処理が行われ、変数i、変数j、および変数numが、それぞれi=1、j=1、およびnum=1である場合、すなわち、ステップS152からステップS153に進んだ場合、まだ全ての画素のオブジェクト番号が0であり、オブジェクトに分類されていない。この場合、画素G(i,j)は、i=1、j=1であるからG(1,1)であり、G(1,1)のオブジェクト番号Obj(1,1)も0であるから、検出部251は、Obj(i,j)=0であると判定する。
ステップS153において、Obj(i,j)=0であると判定された場合、ステップS154に進み、検出部251は、Obj(i,j)=numとする。例えば、変数保持部252が保持している変数i、変数j、および変数numが、それぞれi=1、j=1、およびnum=1である場合、検出部251は、Obj(1,1)=1とする。
ステップS155において、検出部251は差分演算処理を行う。なお、差分演算処理の詳細は後述するが、差分演算処理において、検出部251は、変数保持部252が保持している変数i、変数jにより特定される画素G(i,j)の画素値と、画素G(i,j)に隣接する画素G(i,j−1)、画素G(i−1,j)、画素G(i+1,j)、および画素G(i,j+1)のそれぞれの画素値との差分を計算する。検出部251は、計算された差分の絶対値が、予め定められた閾値よりも小さい画素のオブジェクト番号に、画素G(i,j)のオブジェクト番号Obj(i,j)と同じ番号を付し、画素G(i,j)と同じオブジェクトに分類する。
ステップS156において、検出部251は、変数保持部252が保持している変数numをインクリメントし、ステップS157に進む。
また、ステップS153において、Obj(i,j)=0でないと判定された場合、既に画素G(i,j)には、オブジェクト番号が付されており、オブジェクトに分類されているので、ステップS154の処理乃至ステップS156の処理はスキップされて、ステップS157に進む。
ステップS156において、変数numがインクリメントされるか、ステップS153において、Obj(i,j)=0でないと判定されると、ステップS157において、検出部251は、変数保持部252が保持している変数iが、i=wであるか否かを判定する。例えば、オブジェクトを検出する対象となる領域が、図17に示した領域381であり、変数iが、i=6である場合、検出部251はi=wであると判定する。
ステップS157において、i=wでないと判定された場合、ステップS158に進み、検出部251は、変数保持部252が保持している変数iをインクリメントして、ステップS153に戻る。このように、検出部251は、ステップS157において、i=wであると判定されるまで、変数iを1からwに変えて、それぞれの画素G(i,j)(j行目の全ての画素)にオブジェクト番号を付し、オブジェクトに分類する。
また、ステップS157において、i=wであると判定された場合、ステップS159に進み、検出部251は、変数保持部252が保持している変数jが、j=hであるか否かを判定する。例えば、オブジェクトを検出する対象となる領域が、図17に示した領域381であり、変数jが、j=4である場合、検出部251はj=hであると判定する。
ステップS159において、j=hでないと判定された場合、まだ全ての画素をオブジェクトに分類していないので、ステップS160に進み、検出部251は、変数保持部252が保持している変数iを、i=1とする。
ステップS161において、検出部251は、変数保持部252が保持している変数jをインクリメントし、ステップS153に戻る。このように、検出部251は、ステップS159において、j=hであると判定されるまで、変数jを1からhに変えて、それぞれの画素G(i,j)にオブジェクト番号を付し、オブジェクトに分類する。
また、ステップS159において、j=hであると判定された場合、全ての画素をオブジェクトに分類したので、処理は図13のステップS122に進む。
このようにして、検出部251は、オブジェクトを検出する対象となる領域に含まれる全ての画素に、オブジェクト番号を付してオブジェクトに分類する。例えば、図17に示した領域381からオブジェクトを検出する場合、検出部251は、図中、一番上の行の各画素を、一番左側の画素から一番右側の画素まで順番に選択してオブジェクトに分類し、順次、次の行の各画素を、一番左側の画素から一番右側の画素まで順番に選択してオブジェクトに分類して、一番上の行から一番下の行まで順番に、各画素をオブジェクトに分類していく。
ここで、オブジェクト番号が同一の画素は、同じオブジェクトに含まれる(オブジェクトを構成する)画素とされる。換言すれば、1つのオブジェクトは、そのオブジェクトを特定するオブジェクト番号が付された画素からなる全体画像上の領域とされる。
次に、図18および図19のフローチャートを参照して、図16のステップS155の処理に対応する差分演算処理について説明する。
ステップS201において、検出部251は、画素G(i,j)と隣接する画素G(i,j−1)のオブジェクト番号が、Obj(i,j−1)=0であるか否かを判定する。すなわち、検出部251は、画素G(i,j)と隣接する画素G(i,j−1)が、すでにオブジェクトに分類されているか否かを判定する。
ステップS201において、Obj(i,j−1)=0であると判定された場合、画素G(i,j−1)は、まだオブジェクトに分類されていないので、ステップS202に進み、検出部251は、画素G(i,j)の画素値と、画素G(i,j−1)の画素値との差分を計算する。
例えば、検出部251は、画素G(i,j)の画素値、および画素G(i,j−1)の画素値を基に、画素G(i,j)の輝度値、および画素G(i,j−1)の輝度値を計算し、その結果得られた輝度値の差を求めることにより、画素G(i,j)の画素値と、画素G(i,j−1)の画素値との差分を計算する。
ステップS203において、検出部251は、画素G(i,j)の画素値と、画素G(i,j−1)の画素値との差分の絶対値が、予め定められた閾値よりも小さいか否かを判定する。
ステップS203において、差分の絶対値が、予め定められた閾値よりも小さいと判定された場合、画素G(i,j)および画素G(i,j−1)は同じオブジェクトの画素であるとされて、ステップS204に進み、検出部251は、画素G(i,j−1)のオブジェクト番号を、Obj(i,j−1)=numとする。例えば、変数保持部252に保持されている変数numが、num=1である場合、検出部251は、Obj(i,j−1)=1とする。
ステップS205において、検出部251は、変数保持部252に保持されている変数jをデクリメントする。
ステップS206において、検出部251は、差分演算処理を行う。なお、ステップS206における差分演算処理は、図18および図19を参照して説明する差分演算処理と同様であるので、その説明は省略する。
ステップS207において、検出部251は、変数保持部252に保持されている変数jをインクリメントし、処理はステップS208に進む。
また、ステップS203において、差分の絶対値が、予め定められた閾値よりも小さくないと判定された場合、画素G(i,j)および画素G(i,j−1)は同じオブジェクトの画素ではないとされ、ステップS204の処理乃至ステップS207の処理はスキップされて、ステップS208に進む。
さらに、ステップS201において、Obj(i,j−1)=0でないと判定された場合、画素G(i,j−1)は、すでにオブジェクトに分類されているので、ステップS202の処理乃至ステップS207の処理はスキップされて、ステップS208に進む。
ステップS201において、Obj(i,j−1)=0でないと判定されるか、ステップS203において、差分の絶対値が、予め定められた閾値よりも小さくないと判定されるか、または、ステップS207において、変数jがインクリメントされると、ステップS208において、検出部251は、画素G(i,j)と隣接する画素G(i−1,j)のオブジェクト番号が、Obj(i−1,j)=0であるか否かを判定する。
ステップS208において、Obj(i−1,j)=0であると判定された場合、画素G(i−1,j)は、まだオブジェクトに分類されていないので、ステップS209に進み、検出部251は、画素G(i,j)の画素値と、画素G(i−1,j)の画素値との差分を計算する。
ステップS210において、検出部251は、画素G(i,j)の画素値と、画素G(i−1,j)の画素値との差分の絶対値が、予め定められた閾値よりも小さいか否かを判定する。
ステップS210において、差分の絶対値が、予め定められた閾値よりも小さいと判定された場合、画素G(i,j)および画素G(i−1,j)は同じオブジェクトの画素であるとされて、ステップS211に進み、検出部251は、画素G(i−1,j)のオブジェクト番号を、Obj(i−1,j)=numとする。
ステップS212において、検出部251は、変数保持部252に保持されている変数iをデクリメントする。
ステップS213において、検出部251は、差分演算処理を行う。なお、ステップS213における差分演算処理は、図18および図19を参照して説明する差分演算処理と同様であるので、その説明は省略する。
ステップS214において、検出部251は、変数保持部252に保持されている変数iをインクリメントし、処理はステップS215に進む。
また、ステップS210において、差分の絶対値が、予め定められた閾値よりも小さくないと判定された場合、画素G(i,j)および画素G(i−1,j)は同じオブジェクトの画素ではないとされ、ステップS211の処理乃至ステップS214の処理はスキップされて、ステップS215に進む。
さらに、ステップS208において、Obj(i−1,j)=0でないと判定された場合、画素G(i−1,j)は、すでにオブジェクトに分類されているので、ステップS209の処理乃至ステップS214の処理はスキップされて、ステップS215に進む。
ステップS208において、Obj(i−1,j)=0でないと判定されるか、ステップS210において、差分の絶対値が、予め定められた閾値よりも小さくないと判定されるか、または、ステップS214において、変数iがインクリメントされると、ステップS215において、検出部251は、画素G(i,j)と隣接する画素G(i+1,j)のオブジェクト番号が、Obj(i+1,j)=0であるか否かを判定する。
ステップS215において、Obj(i+1,j)=0であると判定された場合、画素G(i+1,j)は、まだオブジェクトに分類されていないので、ステップS216に進み、検出部251は、画素G(i,j)の画素値と、画素G(i+1,j)の画素値との差分を計算する。
ステップS217において、検出部251は、画素G(i,j)の画素値と、画素G(i+1,j)の画素値との差分の絶対値が、予め定められた閾値よりも小さいか否かを判定する。
ステップS217において、差分の絶対値が、予め定められた閾値よりも小さいと判定された場合、画素G(i,j)および画素G(i+1,j)は同じオブジェクトの画素であるとされて、ステップS218に進み、検出部251は、画素G(i+1,j)のオブジェクト番号を、Obj(i+1,j)=numとする。
ステップS219において、検出部251は、変数保持部252に保持されている変数iをインクリメントする。
ステップS220において、検出部251は、差分演算処理を行う。なお、ステップS220における差分演算処理は、図18および図19を参照して説明する差分演算処理と同様であるので、その説明は省略する。
ステップS221において、検出部251は、変数保持部252に保持されている変数iをデクリメントし、処理はステップS222に進む。
また、ステップS217において、差分の絶対値が、予め定められた閾値よりも小さくないと判定された場合、画素G(i,j)および画素G(i+1,j)は同じオブジェクトの画素ではないとされ、ステップS218の処理乃至ステップS221の処理はスキップされて、ステップS222に進む。
さらに、ステップS215において、Obj(i+1,j)=0でないと判定された場合、画素G(i+1,j)は、すでにオブジェクトに分類されているので、ステップS216の処理乃至ステップS221の処理はスキップされて、ステップS222に進む。
ステップS215において、Obj(i+1,j)=0でないと判定されるか、ステップS217において、差分の絶対値が、予め定められた閾値よりも小さくないと判定されるか、または、ステップS221において、変数iがデクリメントされると、ステップS222において、検出部251は、画素G(i,j)と隣接する画素G(i,j+1)のオブジェクト番号が、Obj(i,j+1)=0であるか否かを判定する。
ステップS222において、Obj(i,j+1)=0であると判定された場合、画素G(i,j+1)は、まだオブジェクトに分類されていないので、ステップS223に進み、検出部251は、画素G(i,j)の画素値と、画素G(i,j+1)の画素値との差分を計算する。
ステップS224において、検出部251は、画素G(i,j)の画素値と、画素G(i,j+1)の画素値との差分の絶対値が、予め定められた閾値よりも小さいか否かを判定する。
ステップS224において、差分の絶対値が、予め定められた閾値よりも小さいと判定された場合、画素G(i,j)および画素G(i,j+1)は同じオブジェクトの画素であるとされて、ステップS225に進み、検出部251は、画素G(i,j+1)のオブジェクト番号を、Obj(i,j+1)=numとする。
ステップS226において、検出部251は、変数保持部252に保持されている変数jをインクリメントする。
ステップS227において、検出部251は、差分演算処理を行う。なお、ステップS227における差分演算処理は、図18および図19を参照して説明する差分演算処理と同様であるので、その説明は省略する。
ステップS228において、検出部251は、変数保持部252に保持されている変数jをデクリメントし、処理は図16のステップS156に進む。
また、ステップS224において、差分の絶対値が、予め定められた閾値よりも小さくないと判定された場合、画素G(i,j)および画素G(i,j+1)は同じオブジェクトの画素ではないとされ、ステップS225の処理乃至ステップS228の処理はスキップされて、処理は図16のステップS156に進む。
さらに、ステップS222において、Obj(i,j+1)=0でないと判定された場合、画素G(i,j+1)は、すでにオブジェクトに分類されているので、ステップS223の処理乃至ステップS228の処理はスキップされて、処理は図16のステップS156に進む。
なお、ステップS201の処理、ステップS208の処理、ステップS215の処理、またはステップS222の処理において、画素G(i,j)に隣接する画素が、オブジェクトを検出する対象となる領域の画素ではない場合には、画素G(i,j)に隣接する画素のオブジェクト番号は、0ではないと判定される。
このようにして、検出部251は、変数保持部252が保持している変数i、変数jにより特定される画素G(i,j)の画素値と、画素G(i,j)に隣接する画素の画素値との差分を計算する。そして、検出部251は、計算された差分の絶対値が、予め定められた閾値よりも小さい場合、画素G(i,j)と隣接する画素は、画素G(i,j)と同じオブジェクトに分類されるとして、その画素のオブジェクト番号に、画素G(i,j)のオブジェクト番号Obj(i,j)と同じ番号を付す。
このように、所定の画素の画素値と、その画素に隣接する画素の画素値との差分を計算し、その結果に基づいて、画素にオブジェクト番号を付すことによって、全体画像からオブジェクトを検出することができる。これにより、検出されたオブジェクトを含む領域をズーム領域の候補とすることができ、ユーザは、いちいちズーム領域を指定する必要がなくなるので、より簡単な操作で、全体画像の細部まで観察して、画像の視聴を楽しむことができる。
ところで、スケーラブルテレビジョンシステム11(図1)においては、スケーラブルテレビジョンシステム11を構成する9台の表示装置21のそれぞれが、全体画像上の予め定められた領域(またはユーザにより定められた領域)から、肌色の領域を検出して、ズーム領域の候補となる領域を定めると説明したが、それぞれの表示装置21ごとに、肌色の領域を検出する対象となる領域を動的に決めるようにすることも可能である。
図4を参照して説明したように、互いに接続されている表示装置21は予め順序付けられており、それぞれの表示装置21(中央処理部93)は、自分自身の順番を示すID(自分自身を特定するID)を記憶している。そこで、表示装置21の順番に基づいて、肌色の領域を検出する対象となる領域を動的に決めることにより、それぞれの表示装置21が、それぞれ異なる領域から、肌色の領域を検出することができるようになる。
例えば、表示装置21に供給された画像データに基づく画像(全体画像)が、図20Aに示す画像411であるとすると、複数の表示装置21は、画像411全体を肌色の領域を検出する対象として、画像411から、肌色の領域を検出する。
そして、図20Bに示すように、画像411から肌色の領域421が検出され、ズーム領域の候補とされると、記憶しているIDにより示される順番が、1番目である表示装置21は、この領域421をズーム領域として、ズーム画像を表示する。
これに対して、記憶しているIDにより示される順番が、1番目ではない表示装置21(2番目以降の表示装置21)は、図20Cに示すように、画像411から領域421を除いた領域を、肌色の領域を検出する対象とし、再び肌色の領域を検出する。
その結果、図20Dに示すように、画像411から領域421を除いた領域から、肌色の領域422が検出され、ズーム領域の候補とされると、記憶しているIDにより示される順番が、2番目である表示装置21は、この領域422をズーム領域として、ズーム画像を表示する。
さらに、記憶しているIDにより示される順番が、1番目および2番目ではない表示装置21(3番目以降の表示装置21)は、図20Eに示すように、画像411から領域421および領域422を除いた領域を、肌色の領域を検出する対象とし、さらに肌色の領域を検出する。
このように、表示装置21は、肌色の領域を検出する対象となる領域から、すでに肌色が検出され、ズーム領域の候補とされた領域が除かれた領域を、新たに肌色の領域を検出する対象となる領域として、自分自身の順番となるまで、肌色の領域を検出する処理を繰り返し行う。
次に、肌色の領域を検出する対象となる領域を動的に決める場合において、表示装置21が行う処理について説明する。スケーラブルテレビジョンシステム11を構成する表示装置21のうち、ズーム画像を表示する表示装置21は、図6を参照して説明したズーム画像の表示処理を行う。そして、表示装置21は、図6のステップS32において、肌色の領域を検出する対象となる領域を動的に決めて、ズーム画像を表示する。
以下、図21のフローチャートを参照して、肌色の領域を検出する対象となる領域を動的に決める場合に表示装置21が行う、図6のステップS32の処理に対応する自動ズーム処理について説明する。
ステップS261において、中央処理部93は、記憶しているIDを参照して、自分自身の順番を定める。例えば、記憶しているIDにより示される順番が2番目である場合、中央処理部93は、自分自身の順番を2番とする。
ステップS262において、画像処理部95は、中央処理部93の制御の基に、肌色領域の検出処理を行う。なお、ステップS262における肌色領域の検出処理は、図9のフローチャートを参照して説明した肌色領域の検出処理と同様であるため、その説明は省略する。また、肌色領域の検出処理において、画像処理部95は、予め定められた領域、またはステップS264において設定された領域を、検出の対象となる領域として、肌色の領域を検出し、ズーム領域の候補となる領域を定める。
肌色の領域が検出されると、ステップS263において、中央処理部93は、自分の順番であるか否かを判定する。例えば、ステップS261において定めた順番が2番目である場合、全体画像から、肌色の領域を2回検出したとき(肌色領域の検出処理を2回行ったとき)、中央処理部93は、自分の順番であると判定する。
ステップS263において、自分の順番でないと判定された場合、継続して肌色の領域を検出するので、ステップS264に進み、画像処理部95は、これまでズーム領域の候補とされた領域を除く領域を、肌色の領域の検出の対象となる領域として設定し、ステップS262に戻り、設定した領域から、肌色の領域を検出する。
例えば、図20Dに示すように、画像(全体画像)411から、肌色の領域421(ズーム領域の候補となる領域)および領域422(ズーム領域の候補となる領域)が検出され、ステップS263において、自分の順番ではないと判定された場合、ステップS264において、画像処理部95は、図20Eに示したように、画像411から、領域421および領域422が除かれた領域を、次の肌色の領域を検出する対象となる領域として設定する。
一方、ステップS263において、自分の順番であると判定された場合、ステップS265に進む。なお、ステップS265の処理およびステップS266の処理は、図7のステップS65の処理およびステップS66の処理と同様であるので、その説明は省略する。ステップS266において、画像(ズーム画像)が表示されると、処理は図6のステップS33に進む。
また、図7では、検出された肌色の領域をズーム領域の候補とし、中心座標の重心およびズーム倍率の平均値を求めて、ズーム領域を定めるようにしたが、図21を参照して説明した自動ズーム処理においては、ステップS262において定められたズーム領域の候補となる領域、すなわち、検出された肌色の領域を含む領域がそのままズーム領域とされ、その領域が拡大されて表示される。なお、図7における場合と同様に、検出された肌色の領域を含む領域をズーム領域の候補とし、中心座標の重心およびズーム倍率の平均値を求めて、ズーム領域を定めるようにすることも勿論可能である。
このようにして、表示装置21は、肌色の領域を検出する対象となる領域を動的に決めて、その領域から検出された肌色の領域を含む領域をズーム領域として、ズーム画像を表示する。
このように、それぞれの表示装置21ごとに、肌色の領域を検出する対象となる領域を動的に決めるようにすることで、互いに接続されている表示装置21ごとに、異なる領域から肌色の領域を検出することができ、その結果、表示装置21ごとに異なるズーム画像をより効果的に表示させることができる。したがって、ユーザは、複数の表示装置21のそれぞれに表示されたズーム画像から、自分が見たいズーム画像を選択的に視聴することができる。
なお、ステップS262において、肌色の領域を検出することにより、ズーム領域を定めると説明したが、表示装置を、図12を参照して説明した構成とし、ステップS262において、図13を参照して説明したオブジェクト領域の検出処理を行うようにしてもよい。この場合、表示装置211ごとに、オブジェクトを検出する対象となる領域が動的に決められ、その領域から検出されたオブジェクトを含む領域がズーム領域とされて、ズーム画像が表示される。
また、表示装置の機能の構成を、図4を参照して説明した機能、および図12を参照して説明した機能を有する構成とし、ステップS262において、肌色領域の検出処理(図9)と、オブジェクト領域の検出処理(図13)とを交互に行ったりするようにしてもよい。この場合、例えば、1回目にズーム領域を定める時には、ステップS262において、肌色領域の検出処理が行われ、次にズーム領域を定めるとき(2回目にステップS262の処理を行うとき)には、ステップS262において、オブジェクト領域の検出処理が行われる。
さらに、ステップS262において、肌色領域の検出処理を行うか、またはオブジェクト領域の検出処理を行うかをユーザが設定できるようにしたり、表示装置によって、肌色領域の検出処理を行うか、またはオブジェクト領域の検出処理を行うかが異なるようにしたりしてもよい。
さらに、また、表示装置の機能の構成を、図4を参照して説明した機能、および図12を参照して説明した機能を有する構成とし、スケーラブルテレビジョンシステムを構成する複数の表示装置のうち、肌色領域の検出処理(図9)を行ってズーム画像を表示する表示装置の数と、オブジェクト領域の検出処理(図13)を行ってズーム画像を表示する表示装置の数とを動的に変化させるようにしてもよい。
例えば、図22Aに示すように、全体画像461上において、肌色の領域が人471および人472の顔の部分だけである場合、2台の表示装置が、それぞれ人471および人472の顔の部分をズーム画像として表示させると、画像461上における肌色の領域は、全て拡大されて表示されることになる。
これに対して、図22Bに示すように、全体画像481上において、肌色の領域が人491乃至人497の顔の部分である場合、人491乃至人497の顔の部分を、それぞれ1台の表示装置が表示するようにすると、肌色の領域を検出して表示する表示装置は、7台必要となる。
このように、全体画面上において、肌色の領域が大きい場合と、肌色の領域が小さい場合とでは、肌色の領域を表示するために必要となる表示装置の数は異なる。そこで、全体画面上における肌色の領域の面積によって、肌色の領域を検出して表示する表示装置の数と、オブジェクトを検出して表示する表示装置の数とを動的に変化させることによって、ズーム画像をより効果的に表示させることができる。
例えば、図22Aに示したように、全体画像461上において、肌色の領域が人471および人472の顔の部分だけであり、全体画像461上における肌色の領域の面積が、所定の値よりも小さい場合には、肌色領域の検出処理を行う表示装置を4台、オブジェクト領域の検出処理を行う表示装置を4台とし、図22Bに示したように、全体画像481上において、肌色の領域が人491乃至人497の顔の部分であり、全体画像481上における肌色の領域の面積が、所定の値以上である場合には、肌色領域の検出処理を行う表示装置を7台、オブジェクト領域の検出処理を行う表示装置を1台とすることができる。
肌色の領域の面積によって、肌色領域の検出処理を行う表示装置の数と、オブジェクト領域の検出処理を行う表示装置の数とを動的に変化させる場合、表示装置は、例えば、図23に示すように構成される。
表示装置531は、制御情報通信部91、入力部92、中央処理部93、信号取得部94、表示部96、音声出力部97、および画像処理部541を含むように構成される。なお、表示装置531の制御情報通信部91、入力部92、中央処理部93、信号取得部94、表示部96、および音声出力部97のそれぞれは、図4における場合と対応するため同一の符号を付してあり、その説明は省略する。
画像処理部541は、中央処理部93の制御の基に、信号取得部94から供給された画像データに基づく画像(全体画像)から、肌色の領域またはオブジェクトを検出して、検出された肌色の領域またはオブジェクトが含まれる領域を拡大して表示させるための画像データを生成し、表示部96に供給する。画像処理部541は、領域決定部111、オブジェクト選択部241、パラメータ決定部112、およびズーム処理部113を含むように構成される。
なお、領域決定部111、パラメータ決定部112、およびズーム処理部113は、図4における場合と対応するため同一の符号を付してあり、その説明は省略する。また、オブジェクト選択部241は、図12における場合と対応するため同一の符号を付してあり、その説明は省略する。
図23に示す表示装置531では、信号取得部94により抽出された画像データは、領域決定部111、オブジェクト選択部241、およびズーム処理部113に供給される。また、パラメータ決定部112には、領域決定部111およびオブジェクト選択部241が接続されている。
ユーザがリモートコマンダを操作して、表示装置531に画像の表示を指示すると、表示装置531は、図6を参照して説明したズーム画像の表示処理を行う。そして、表示装置531は、図6のステップS32において、肌色の領域を含む領域をズーム領域とするか、またはオブジェクトを含む領域をズーム領域とするかを動的に決めて、ズーム画像を表示する。
以下、図24のフローチャートを参照して、肌色の領域を含む領域をズーム領域とするか、またはオブジェクトを含む領域をズーム領域とするかを動的に決める場合に表示装置531が行う、図6のステップS32の処理に対応する自動ズーム処理について説明する。
ステップS301において、肌色領域検出部121は、中央処理部93の制御の基に、信号取得部94から供給された画像データに基づく画像(全体画像)上における、肌色の領域の面積を算出する。例えば、肌色領域検出部121は、図9のフローチャートを参照して説明したように、各画素の画素値を基に、上述した式(10)乃至式(14)を適宜用いて、HSV形式の色空間のHの値を求め、全体画像上の肌色の領域の面積を算出する。
ステップS302において、中央処理部93は、肌色領域検出部121が算出した全体画像上の肌色の領域の面積が、予め定められた所定の値以上であるか否かを判定する。
ステップS302において、所定の値以上であると判定された場合、ステップS303に進み、中央処理部93は、互いに接続された、ズーム画像を表示する8台の表示装置531のうち、肌色の領域をズーム領域とする表示装置531を5台とし、オブジェクトを含む領域をズーム領域とする表示装置531を3台とする。
これに対して、ステップS302において、所定の値以上でないと判定された場合、ステップS304に進み、中央処理部93は、互いに接続された、ズーム画像を表示する8台の表示装置531のうち、肌色の領域をズーム領域とする表示装置531を3台とし、オブジェクトを含む領域をズーム領域とする表示装置531を5台とする。
ステップS303またはステップS304において、肌色の領域をズーム領域とする表示装置531の台数と、オブジェクトを含む領域をズーム領域とする表示装置531の台数を定めると、ステップS305に進み、中央処理部93は、記憶しているIDを参照して、自分自身の順番を定める。
表示装置21における場合と同様に、互いに接続されている表示装置531は、予め順序付けられており、それぞれの表示装置531(中央処理部93)は、自分自身の順番を示すIDを記憶している。例えば、記憶しているIDにより示される順番が2番目である場合、中央処理部93は、自分自身の順番を2番とする。
ステップS306において、中央処理部93は、肌色の領域をズーム領域とするか否かを判定する。例えば、ズーム画像を表示する8台の表示装置531のそれぞれは、自分自身の順番が1番乃至8番のいずれかを示すIDを記憶している。そして、ステップS303において、肌色の領域をズーム領域とする表示装置531が5台とされ、オブジェクトを含む領域をズーム領域とする表示装置531が3台とされた場合、順番が1番乃至5番である表示装置531は、肌色の領域をズーム領域とすると判定し、順番が6番乃至8番である表示装置531は、肌色の領域をズーム領域としないと判定する。
また、ステップS304において、肌色の領域をズーム領域とする表示装置531が3台とされ、オブジェクトを含む領域をズーム領域とする表示装置531が5台とされた場合、順番が1番乃至3番である表示装置531は、肌色の領域をズーム領域とすると判定し、順番が4番乃至8番である表示装置531は、肌色の領域をズーム領域としないと判定する。
ステップS306において、肌色の領域をズーム領域とすると判定された場合、中央処理部93は、画像処理部541に、肌色領域の検出処理の実行を指示して、処理はステップS307に進む。
ステップS307において、画像処理部541(領域決定部111およびパラメータ決定部112)は、肌色領域の検出処理を行い、ステップS309に進む。なお、肌色領域の検出処理は、図9のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
一方、ステップS306において、肌色の領域をズーム領域としないと判定された場合、オブジェクトを含む領域をズーム領域とするので、中央処理部93は、画像処理部541に、オブジェクト領域の検出処理の実行を指示して、処理はステップS308に進む。
ステップS308において、画像処理部541(オブジェクト選択部241およびパラメータ決定部112)は、オブジェクト領域の検出処理を行い、ステップS309に進む。なお、オブジェクト領域の検出処理は、図13のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
ステップS307において、肌色領域の検出処理が行われるか、またはステップS308において、オブジェクト領域の検出処理が行われると、処理はステップS309に進む。なお、ステップS309の処理およびステップS310の処理は、図7のステップS65の処理およびステップS66の処理と同様であるので、その説明は省略する。ステップS310において、画像(ズーム画像)が表示されると、処理は図6のステップS33に進む。
また、図7では、検出された肌色の領域をズーム領域の候補とし、中心座標の重心およびズーム倍率の平均値を求めて、ズーム領域を定めるようにしたが、図24を参照して説明した自動ズーム処理においては、ステップS307またはステップS308において定められたズーム領域の候補となる領域がそのままズーム領域とされ、その領域が拡大されて表示される。なお、図7における場合と同様に、検出された肌色の領域を含む領域、またはオブジェクトを含む領域をズーム領域の候補とし、中心座標の重心およびズーム倍率の平均値を求めて、ズーム領域を定めるようにすることも勿論可能である。
このようにして、表示装置531は、肌色の領域を含む領域をズーム領域とするか、またはオブジェクトを含む領域をズーム領域とするかを動的に決めて、ズーム画像を表示する。
このように、それぞれの表示装置531ごとに、肌色の領域を含む領域をズーム領域とするか、またはオブジェクトを含む領域をズーム領域とするかを動的に決めるようにすることで、互いに接続されている表示装置531のうち、肌色の領域をズーム領域としてズーム画像を表示させるのに必要な表示装置531の台数を動的に決めることができ、ズーム画像をより効果的に表示させることができる。
なお、肌色の領域の面積が、予め定められた値以上であるか否かの判定を基に、肌色の領域をズーム領域とする表示装置531の台数を定めると説明したが、肌色の領域の面積に応じて、肌色の領域をズーム領域とする表示装置531の台数が、1台乃至7台まで連続的に変化するようにしてもよい。
ところで、本出願人が行ったアンケートでは、全体画像上において、拡大して表示させたい領域として、小さいオブジェクトの他に、目立つ領域(例えば、目立つオブジェクトを含む領域)と回答した人が多かったという結果が得られている。
ここで、全体画像上における目立つ領域とは、その領域の色、明るさ、鮮やかさ、その領域におけるエッジの量などが、全体画像上における他の領域と比較して顕著に異なる領域、すなわち全体画像上において、他の領域には少ない所定の特徴が集中して存在する領域ということができる。
そこで、全体画像から、他の領域と色、明るさ、鮮やかさ、その領域におけるエッジの量などが大きく異なる領域を検出することができれば、全体画像上において目立つ領域をズーム画像として拡大して表示することができる。
例えば、図25Aに示すように、全体画像581の図中、中央に、黄色の星の図形591が写っており(表示されており)、全体画像581の星の図形591以外の領域が白であるとする。このとき、星の図形591の色(黄色)と、他の領域の色(白)とは異なる色であるので、星の図形591(の領域)は、全体画像581の他の領域と比較して、特徴のある領域ということができる。つまり、星の図形591(の領域)は、目立つ領域であるということができる。
全体画像581から星の図形591の領域を検出するために、例えば、図25Bに示すように、全体画像581の図中、中央の領域601と、全体画像581から領域601が除かれた領域とを比較する。領域601には、星の図形591の一部分が含まれており、また、全体画像581から領域601が除かれた領域にも、星の図形591の一部分が含まれているので、この場合には、領域601と、全体画像581から領域601が除かれた領域とから黄色い領域およびエッジが検出され、領域601は、全体画像581において特徴のある領域とはならない。
また、図25Cに示すように、全体画像581の図中、左上の領域602と、全体画像581から領域602が除かれた領域とを比較する場合を考える。領域602には、星の図形591の一部分が含まれており、また、全体画像581から領域602が除かれた領域にも、星の図形591の一部分が含まれている。したがって、この場合も図25Bの場合と同様に、領域602と、全体画像581から領域602が除かれた領域とから黄色い領域およびエッジが検出され、領域602は、全体画像581において特徴のある領域とはならない。
これに対して、図25Dに示すように、全体画像581の図中、中央の領域603と、全体画像581から領域603が除かれた領域とを比較する場合を考える。領域603には、星の図形591が含まれており、全体画像581から領域603が除かれた領域には、星の図形591が含まれていない。したがって、領域603からは、黄色い領域およびエッジが検出されるが、全体画像581から領域603が除かれた領域からは、黄色い領域およびエッジは検出されないので、領域603は、全体画像581において特徴のある領域とすることができる。
このように、全体画像上の一部の領域と、その領域を除く、全体画像上の領域とを比較することによって、全体画像上において目立つ領域(特徴のある領域)を検出し、ズーム画像として表示することができる。
全体画像上において目立つ領域を検出し、ズーム画像として表示する場合、スケーラブルテレビジョンシステムを構成する表示装置は、例えば、図26に示すように構成される。
表示装置631は、制御情報通信部91、入力部92、中央処理部93、信号取得部94、表示部96、音声出力部97、および画像処理部641を含むように構成される。なお、表示装置631の制御情報通信部91、入力部92、中央処理部93、信号取得部94、表示部96、および音声出力部97のそれぞれは、図4における場合と対応するため同一の符号を付してあり、その説明は省略する。
画像処理部641は、中央処理部93の制御の基に、信号取得部94から供給された画像データに基づく画像(全体画像)から目立つ領域を抽出して、その領域が含まれる領域を拡大して表示させるための画像データを生成し、表示部96に供給する。画像処理部641は、抽出部651、パラメータ決定部112、およびズーム処理部113を含むように構成される。なお、パラメータ決定部112およびズーム処理部113は、図4における場合と対応するため同一の符号を付してあり、その説明は省略する。
抽出部651は、信号取得部94から供給された画像データに基づく画像(全体画像)から目立つ領域を抽出する。抽出部651は、抽出した目立つ領域を示す情報をパラメータ決定部112に供給する。抽出部651は、生成部661、算出部662、および比較部663を含むように構成され、生成部661、算出部662、および比較部663は、互いにデータを授受することが可能とされている。
抽出部651の生成部661は、信号取得部94から供給された画像データを基に、全体画像の一部の領域の画像(以下、部分画像とも称する)の画像データを生成する。
抽出部651の算出部662は、信号取得部94から供給された画像データを基に、全体画像から部分画像が除かれた領域の画像(以下、比較画像とも称する)の特徴を示す特徴量を算出する。また、抽出部651の算出部662は、生成部661が生成した画像データを基に、部分画像の特徴を示す特徴量を算出する。
ここで、特徴量とは、画像の色、明るさ、鮮やかさ、その画像におけるエッジを構成する画素の割合などの、その画像の特徴を示す値をいう。
抽出部651の比較部663は、算出部662により算出された特徴量を基に、部分画像と比較画像とを比較して、全体画像から目立つ領域(特徴のある領域)を検出する。
ユーザがリモートコマンダを操作して、表示装置631に画像の表示を指示すると、表示装置631は、図6を参照して説明したズーム画像の表示処理を行う。そして、表示装置631は、ステップS32の処理に対応する自動ズーム処理(図7)を行い、図7のステップS61の処理において、目立つ領域をズーム領域の候補となる領域として選択する。以下、図27のフローチャートを参照して、目立つ領域の検出処理について説明する。
ステップS341において、生成部661は、信号取得部94から供給された画像データを基に、部分画像の画像データを生成する。ここで、部分画像とされる領域は、表示装置631ごとに予め定められているようにしてもよく、ユーザが、表示装置631ごとに設定することができるようにしてもよい。
例えば、図28に示すように、全体画像701上の予め定められた領域702−1乃至領域702−8のそれぞれが部分画像とされる。スケーラブルテレビジョンシステムを構成する8台の表示装置631が、領域702−1乃至領域702−8のうちの、それぞれ異なる領域を部分画像としてもよく、また、1台の表示装置631が、領域702−1乃至領域702−8のそれぞれを部分画像として、領域702−1乃至領域702−8のそれぞれから目立つ領域を検出するようにしてもよい。
生成部661が部分画像の画像データを生成すると、ステップ342において、算出部662は、信号取得部94から供給された画像データ、および生成部661が生成した画像データを基に、部分画像および比較画像の各画素の特徴を示す値を算出する。
ここで、各画素の特徴を示す値は、例えば、各画素の色味(色相)を示すHSV形式の色空間のHの値、各画素の鮮やかさ(彩度)を示すHSV形式の色空間のS(Saturation value)の値、各画素の明るさ(明度)を示すHSV形式の色空間のV(Value)の値、各画素の画素値と、その画素に隣接する画素の画素値との差分などとすることができる。
例えば、図28に示した領域702−1が部分画像とされ、各画素の特徴を示す値として、Hの値が算出される場合、算出部662は、領域702−1の各画素の画素値を基に、上述した式(10)乃至式(14)(図9のフローチャート参照)を適宜用いて、各画素のHの値を算出する。さらに、算出部662は、領域702−2乃至領域702−8からなる領域の画像を比較画像として、比較画像の各画素の画素値を基に、上述した式(10)乃至式(14)を適宜用いて、各画素のHの値を算出する。
また、例えば、各画素の特徴を示す値として、画素の画素値と、その画素に隣接する画素の画素値との差分が算出される場合、算出部662は、部分画像の各画素の画素値を基に各画素の輝度値を算出し、各画素の輝度値と、その画素に隣接する1つの画素の輝度値との差分を算出し、これを各画素の特徴を示す値とする。同様に、算出部662は、比較画像の各画素の画素値を基に各画素の輝度値を算出し、各画素の輝度値と、その画素に隣接する1つの画素の輝度値との差分を算出して、各画素の特徴を示す値とする。
さらに、算出部662が、所定の画素の輝度値と、その画素に隣接する4つの画素の輝度値のそれぞれとの差分の平均値を算出し、算出された平均値をその画素の特徴を示す値としてもよい。
各画素の特徴を示す値が算出されると、ステップS343において、算出部662は、各画素の特徴を示す値に基づいて、部分画像の特徴を示す特徴量、および比較画像の特徴を示す特徴量を算出する。
例えば、各画素の特徴を示す値として、Hの値が算出された場合、算出部662は、部分画像の各画素のHの値を基に、図29に示すヒストグラムを生成する。図29において、横方向はHの値を示しており、縦方向は、部分画像の画素のうち、Hの値が所定の範囲内である画素の数を示している。
例えば、部分画像の画素のうち、Hの値が0以上30未満である画素は1400個であり、Hの値が30以上60未満である画素は500個であり、Hの値が60以上90未満である画素は600個であり、Hの値が90以上120未満である画素は500個である。
また、部分画像の画素のうち、Hの値が120以上150未満である画素は600個であり、Hの値が150以上180未満である画素は700個であり、Hの値が180以上210未満である画素は800個であり、Hの値が210以上240未満である画素は700個である。さらに、Hの値が240以上270未満である画素は600個であり、Hの値が270以上300未満である画素は500個であり、Hの値が300以上330未満である画素は600個であり、Hの値が330以上360未満である画素は800個である。
図29の例では、Hの値が0以上30未満である画素が、他の範囲の画素(例えば、Hの値が30以上60未満である画素)と比べて多いことが分かる。算出部662は、各Hの値の範囲のうち、画素の数が一番多いHの値の範囲を選択し、そのHの値の範囲の画素の数に基づいて、部分画像の特徴量を算出する。
図29の例においては、各Hの値の範囲のうち、Hの値が0以上30未満である画素の数が一番多いので、算出部662は、Hの値が0以上30未満である画素の数に基づいて、部分画像の特徴量を算出する。例えば、算出部662は、Hの値が0以上30未満である画素の数を、部分画像の画素の数で割り算した値を特徴量として算出する。この場合、部分画像の特徴量は、部分画像の画素数に対する、Hの値が0以上30未満である画素数の割合を示している。
部分画像における場合と同様に、算出部662は、比較画像の各画素のHの値を基に、図29に示したヒストグラムと同様のヒストグラムを生成する。そして、算出部662は、各Hの値の範囲のうち、部分画像のヒストグラムにおいて、画素の数が一番多いHの値の範囲を選択し、選択したHの値の範囲の画素の数(比較画像における画素の数)に基づいて、比較画像の特徴量を算出する。
図29の例においては、部分画像の画素の各Hの値の範囲のうち、Hの値が0以上30未満である画素の数が一番多いので、算出部662は、比較画像の画素のうちの、Hの値が0以上30未満である画素の数に基づいて、比較画像の特徴量を算出する。例えば、算出部662は、比較画像の画素のうちの、Hの値が0以上30未満である画素の数を、比較画像の画素の数で割り算した値を特徴量として算出する。
なお、各画素のHの値を基にヒストグラムを生成して、各Hの値の範囲のうち、画素の数が一番多いHの値の範囲を選択し、そのHの値の範囲の画素の数に基づいて、部分画像の特徴量を算出すると説明したが、各画素のHの値を基に、各Hの値の画素の数を示す分布図を生成して部分画像の特徴量を算出するようにしてもよい。
この場合、例えば、画素数の一番多いHの値を中心とする所定のHの値の範囲を定める。そして、その定められたHの値の範囲の画素の数を、部分画像の画素の数で割り算した値が、特徴量として算出される。さらに、部分画像における場合と同様に、比較画像についても、各Hの値の画素の数を示す分布図が生成されて、比較画像の画素のうち、部分画像の特徴量の算出時に定められたHの値の範囲の画素の数を、比較画像の画素の数で割り算した値が、特徴量として算出される。
また、各画素の特徴を示す値として、各画素のSの値、またはVの値が算出された場合においても、各画素の特徴を示す値として、各画素のHの値が算出された場合と同様に、ヒストグラムを生成し、各Sの値(またはVの値)の範囲のうち、画素の数が一番多いSの値(またはVの値)の範囲を選択して、部分画像および比較画像の特徴量を算出することができる。
さらに、例えば、各画素の特徴を示す値として、各画素の輝度値と、その画素に隣接する1つの画素の輝度値との差分が算出された場合、算出部662は、部分画像の画素のうち、各画素の画素値の差分の絶対値が、予め定められた閾値以上である画素の数を、部分画像の画素の数で割り算した値を、部分画像の特徴量として算出する。この場合、部分画像の特徴量は、部分画像の画素の数に対する、エッジを構成する画素の数(エッジの部分の画素の数)の割合を示している。
同様に、算出部662は、比較画像の画素のうち、各画素の画素値の差分の絶対値が、予め定められた閾値(部分画像における場合と同じ値の閾値)以上である画素の数を、比較画像の画素の数で割り算した値を、比較画像の特徴量として算出する。
このように、算出部662は、部分画像(または比較画像)の画素のうち、所定の条件を満たす画素の数に基づいて、部分画像(または比較画像)の特徴量を算出する。
図27のフローチャートの説明に戻り、部分画像および比較画像の特徴量が算出されると、ステップS344において、比較部663は、算出された部分画像および比較画像の特徴量に基づいて、部分画像と比較画像とを比較する。
例えば、比較部663は、部分画像の特徴量と、比較画像の特徴量との差を求めて(部分画像の特徴量から、比較画像の特徴量を減算して)、求められた差が、予め定められた値以上であるとき、部分画像に特徴のある領域(目立つ領域)が含まれているとする。
なお、部分画像に目立つ領域が含まれていないとされた場合には、例えば、部分画像および比較画像の特徴量を他の方法で求めて(他の特徴を示す特徴量を求めて)、再び部分画像と比較画像とを比較するようにしてもよく、全体領域のうち、部分画像とされた領域とは異なる領域を新たな部分画像として、新たな部分画像と比較画像とを比較するようにしてもよい。
ステップS345において、抽出部651は、部分画像のうち、所定の条件を満たす画素を含む領域を目立つ領域として、部分画像から目立つ領域を抽出する。抽出部651は、抽出した目立つ領域を示す情報を生成してパラメータ決定部112に供給する。
例えば、図29を参照して説明したように、Hの値が0以上30未満である画素の数を基に、部分画像の特徴量が算出された場合、抽出部651は、Hの値が0以上30未満である画素を、所定の条件を満たす画素とし、Hの値が0以上30未満である画素を含む領域を目立つ領域として、部分画像から抽出する。
また、例えば、抽出部651は、部分画像のうち、所定の条件を満たす画素が連続する領域を目立つ領域として、部分画像から目立つ領域を抽出するようにしてもよい。このように所定の条件を満たす画素が連続する領域を目立つ領域とすると、部分画像からは、複数の目立つ領域が検出される場合がある。このような場合、抽出部651は、目立つ領域の面積が小さい順に、所定の数の目立つ領域を選択して抽出したり、目立つ領域の位置が全体画像の中心に近い順に、所定の数の目立つ領域を選択して抽出したりする。
さらに、抽出部651が、複数の目立つ領域の中から、所定の色の領域(目立つ領域)を選択するようにしてもよい。この場合には、例えば、複数の目立つ領域の中から肌色の領域を選択することによって、人の画像をズーム画像として表示させることができる。
部分画像から目立つ領域が抽出されると、ステップS346において、パラメータ決定部112は、抽出部651から供給された、抽出された目立つ領域を示す情報を基に、その情報により示される目立つ領域を含む領域をズーム領域の候補となる領域とし、その領域の中心座標を算出する。
例えば、パラメータ決定部112は、目立つ領域を構成する、所定の条件を満たす画素のXY空間上における重心の座標を、中心座標として算出する。また、例えば、ズーム画像として表示する目立つ領域として、複数の目立つ領域が抽出された場合、パラメータ決定部112は、複数の目立つ領域を含む領域を、ズーム領域の候補となる領域として、その領域のXY空間上における中心の座標を中心座標として算出する。
ステップS347において、パラメータ決定部112は、ズーム領域の候補となる領域のズーム倍率を算出し、処理は図7のステップS62に進む。例えば、パラメータ決定部112は、上述した式(17)を計算することによって、ズーム倍率Ziを算出する。
このようにして、画像処理部641は、全体画像から目立つ領域を抽出(検出)し、抽出された目立つ領域を含む領域をズーム領域の候補とする。これにより、表示部96には、抽出された目立つ領域が拡大された画像が、ズーム画像として表示される。
例えば、図30Aに示すように、全体画像731の図中、左上に赤色の太陽741が写っており(表示されており)、全体画像731における赤い領域が、太陽741の領域だけであるとする。図30Bに示すように、表示装置631が、全体画像731(図30A)のうち、太陽741が含まれる領域751を部分画像とし、領域751(部分画像751)の画素の数に対する、赤い画素の数の割合を示す特徴量を算出して、目立つ領域を検出すると、比較画像(全体画像731から領域751が除かれた領域)には赤い領域はないので、太陽741が目立つ領域として検出される。
そして、表示装置631は、部分画像751から、太陽741が含まれる領域752を抽出して、領域752をズーム領域の候補とし、図30Cに示すように、太陽741が含まれるズーム画像761を表示する。
また、図31Aに示すように、部分画像801に、太陽802、人の顔803、人の胴体804、および飛行物体805が写っており(表示されており)、表示装置631が目立つ領域を検出した結果、目立つ領域として、太陽802を含む領域806、人の顔803を含む領域807、人の胴体804を含む領域808、および飛行物体805を含む領域809が検出されたとする。
このように、部分画像801から、複数の目立つ領域が検出された場合、上述したように、表示装置631は、全ての目立つ領域が含まれる領域を、ズーム領域の候補となる領域としたり、複数の目立つ領域のうち、1つの目立つ領域が含まれる領域を、ズーム領域の候補となる領域としたりすることができる。
例えば、部分画像801から、目立つ領域として検出された領域806乃至領域809が含まれる領域をズーム領域の候補となる領域とすると、表示装置631は、図31Bに示すように、目立つ領域として検出された領域に含まれる、太陽802、人の顔803、人の胴体804、および飛行物体805が含まれるズーム画像811を表示する。
また、例えば、図31Aに示した、目立つ領域として検出された領域806乃至領域809のうち、領域809が含まれる領域をズーム領域の候補となる領域とすると、表示装置631は、図31Cに示すように、目立つ領域として検出された領域809に含まれる、飛行物体805が含まれるズーム画像812を表示する。
以上のように、表示装置631(画像処理部641)は、部分画像と比較画像とを比較して、全体画像から目立つ領域を抽出し、抽出された目立つ領域を含む領域をズーム領域の候補とするので、全体画像上における目立つ領域を、拡大してより見やすく表示することができる。これにより、ユーザはいちいちズーム領域を指定する必要がなくなり、より簡単な操作で、全体画像の細部まで観察して、画像の視聴を楽しむことができる。
また、ユーザは、目立つ領域が拡大されて表示されるので、全体画像上において、ユーザが気になる領域(目立つ領域)を凝視する必要がなくなり、全体画像の視聴時におけるユーザのストレスも軽減される。
以上においては、スケーラブルテレビジョンシステムを構成する表示装置が、ズーム領域を定めてズーム画像を表示すると説明したが、ユーザがズーム領域を指定して、表示装置にズーム画像を表示させることも可能である。
ズーム領域は、例えば、ユーザがリモートコマンダを操作して、表示部96にズーム領域を示す枠などを表示させ、その枠の大きさを変化させたり、その位置を移動させたりすることにより定めることができる。また、ユーザにより指定されたズーム領域に基づいて、ズーム画像を表示させ、ユーザが実際に表示されたズーム画像を見ながら、ズーム領域の位置や大きさを調整できるようにしてもよい。
ユーザがズーム領域を指定してズーム画像を表示させる場合、スケーラブルテレビジョンシステム11を構成する表示装置21(図4)は、図6を参照して説明したズーム画像の表示処理を行う。ユーザによりズーム領域が指定されると、表示装置21は、ステップS32において、指定された領域をズーム領域としてズーム画像を表示する。
以下、図32のフローチャートを参照して、ユーザによりズーム領域が指定される場合における自動ズーム処理について説明する。
ステップS381において、中央処理部93(図4)は、ズーム領域を定める。例えば、ユーザがリモートコマンダを操作してズーム領域を指定すると、リモートコマンダからはユーザの操作に応じた赤外線信号が送信される。受信部73(図3)は、リモートコマンダから送信されてきた赤外線信号を受信(受光)して光電変換し、コマンド信号を制御情報通信部91を介して中央処理部93に供給する。
中央処理部93は、制御情報通信部91から供給されたコマンド信号に基づいて、ユーザにより指定された領域をズーム領域として定める。中央処理部93は、ズーム領域を示す情報を生成し、画像処理部95に供給する。
ステップS382において、パラメータ決定部112は、中央処理部93の制御の基に、中央処理部93から供給されたズーム領域を示す情報により示されるズーム領域の中心座標を算出する。
ステップS383において、パラメータ決定部112は、上述した式(17)を計算することによって、ズーム領域のズーム倍率Ziを算出する。この場合、式(17)において、Xidは、XY空間上におけるズーム領域のX方向の長さ(画素数)とされる。
ズーム領域のズーム倍率が算出されると、その後、ステップS384の処理およびステップS385の処理が行われて、処理は図6のステップS33に進むが、ステップS384の処理およびステップS385の処理は、図7のステップS65の処理およびステップS66の処理と同様であるので、その説明は省略する。
なお、ユーザによりズーム領域が指定されると、その後、ユーザにより新たにズーム領域が指定されるまでは、ユーザにより指定された領域を継続してズーム領域とする。この場合には、ズーム領域の中心座標およびズーム倍率は変化しないので、図6のステップS33からステップS32に戻ったとき、図32のステップS381の処理乃至ステップS383の処理は省略される。
このようにして、表示装置21は、ユーザにより指定されたズーム領域の画像を拡大してズーム画像を表示する。
以上のように、本発明においては、全体画像から肌色の領域を検出し、その検出結果に基づいて、ズーム画像を表示するようにしたので、ユーザは、より簡単な操作で、より効果的に画像を表示させることができる。
また、本発明においては、全体画像からオブジェクトを検出し、その検出結果に基づいて、ズーム画像を表示するようにしたので、ユーザは、より簡単な操作で、より効果的に画像を表示させることができる。
さらに、本発明においては、全体画像から目立つ領域を検出し、その検出結果に基づいて、ズーム画像を表示するようにしたので、ユーザは、より簡単な操作で、より効果的に画像を表示させることができる。
なお、上述したスケーラブルテレビジョンシステムにおいては、それぞれの表示装置が、ズーム領域を定めてズーム画像を表示する処理を独立して行うと説明したが、各表示装置が互いに通信を行って、ズーム領域を定めるようにしてもよい。そのような場合、表示装置は、互いに通信を行って、表示装置ごとに、肌色の領域を検出してズーム画像を表示するか、オブジェクトを検出してズーム画像を表示するか、または目立つ領域を検出してズーム画像を表示するかなどを定める。
また、以上においては、スケーラブルテレビジョンシステムが9台の表示装置により構成される例について説明したが、表示装置の台数は9台に限られるものではなく、例えば、4台、16台などであってもよい。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図33は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ901の構成の例を示すブロック図である。CPU(Central Processing Unit)911は、ROM(Read Only Memory)912、または記録部918に記録されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)913には、CPU911が実行するプログラムやデータなどが適宜記憶される。これらのCPU911、ROM912、およびRAM913は、バス914により相互に接続されている。
CPU911にはまた、バス914を介して入出力インターフェース915が接続されている。入出力インターフェース915には、キーボード、マウス、マイクロホンなどよりなる入力部916、ディスプレイ、スピーカなどよりなる出力部917が接続されている。CPU911は、入力部916から入力される指令に対応して各種の処理を実行する。そして、CPU911は、処理の結果を出力部917に出力する。
入出力インターフェース915に接続されている記録部918は、例えばハードディスクからなり、CPU911が実行するプログラムや各種のデータを記録する。通信部919は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部919を介してプログラムを取得し、記録部918に記録してもよい。
入出力インターフェース915に接続されているドライブ920は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア931が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部918に転送され、記録される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図33に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスクを含む)、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア931、または、プログラムが一時的もしくは永続的に格納されるROM912や、記録部918を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部919を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
11 スケーラブルテレビジョンシステム, 21−1乃至21−9,21 表示装置, 93 中央処理部, 95 画像処理部, 96 表示部, 111 領域決定部, 112 パラメータ決定部, 113 ズーム処理部, 121 肌色領域検出部, 122 パラメータ保持部, 211 表示装置, 231 画像処理部, 241 オブジェクト選択部, 251 検出部, 252 変数保持部, 531 表示装置, 541 画像処理部, 631 表示装置, 641 画像処理部, 651 抽出部, 661 生成部, 662 算出部, 663 比較部, 901 パーソナルコンピュータ, 911 CPU, 912 ROM, 913 RAM, 918 記録部, 931 リムーバブルメディア