JP2010086336A - 画像制御装置、画像制御プログラムおよび画像制御方法 - Google Patents

Abstract

【課題】操作者の負担を軽減しつつ、多様な操作を直感的に行うことを課題とする。
【解決手段】映像撮影カメラ１０は、撮影された視聴者の映像に基づいて、撮影画面の顔領域を検出し、その顔領域の部分から撮影人物の顔の特徴点を抽出し、特徴点および顔認識データに基づいて、複数の撮影人物のうち、どの撮影人物が主視聴者であるかを判定する。そして、映像撮影カメラ１０は、主視聴者の眼の位置を検出して、顔または眼の位置の変化に応じて、画面に表示される対象物の画像を制御する。
【選択図】 図１

Description

この発明は、視聴者の顔や眼の位置の変化に応じて、画面に表示される対象物の画像を制御する画像制御装置、画像制御プログラムおよび画像制御方法に関する。

従来より、コンピュータの入力操作を行う場合に、マウスやキーボードを用いるのが一般的である。これに対して、近年では、マウスやキーボードを用いずに、コンピュータの入力操作として操作者の動作に関する情報を検出し、操作者の直感的な動きに応じて映像表示画面を制御する技術の開発が行われている。

例えば、このような映像表示画面を制御する技術として、操作者の視線の位置の変化に応じて、映像表示画面を制御する技術が知られている。具体的には、操作者の視線位置を検出し、視線位置の移動速度が所定の速度を超えた場合に、画面をスクロールする処理を行う（特許文献１参照）。

特開平８−２２３８５号公報

ところで、上記した操作者の視線に対応して映像表示画面を制御する技術では、視線の移動方向に基づいて、画面をスクロールさせるので、平面的な操作しかできず、例えば、画面に表示されている対象物の画像を回転させるような立体的な操作ができない。この結果、多様な操作ができないという課題があった。

また、上記した操作者の視線に対応して映像表示画面を制御する技術では、操作者が視線の速度や向きを調整して移動させるので、眼に掛かる負担が大きく、操作者に掛かる負担が大きいという課題もあった。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、操作者の負担を軽減しつつ、多様な操作を直感的に行えることを実現することを目的とする。

上述した課題を解決し、目的を達成するため、この装置は、視聴者の顔または眼の位置を検出し、顔または眼の位置の変化に応じて、画面に表示される対象物の画像を制御する。

開示の装置は、操作者の負担を軽減しつつ、多様な操作を直感的に行えるという効果を奏する。

以下に添付図面を参照して、この発明に係る画像制御装置、画像制御プログラムおよび画像制御方法の実施例を詳細に説明する。

以下の実施例では、実施例１に係る画面制御装置の構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。なお、以下では、利用者の眼の位置と両目の位置関係に基づいて画面のスクロールと対象物の回転を制御する場合を説明する。

［画面制御装置の構成］
まず最初に、図１を用いて、画面制御装置１の構成を説明する。図１は、実施例１に係る画像制御装置１の構成を示すブロック図である。同図に示すように、この画像制御装置１は、映像撮影カメラ１０、情報処理部２０、映像表示部３０を有し、バス等を介して各部が接続されている。

画面制御装置１では、卵形のＥＧＧレンズ１１を取り付けた映像撮影カメラ１０を使用して撮影し、撮影された映像を情報処理部２０で加工することにより、全周パノラマ映像を作成して映像表示部に表示する。以下にこれらの各部の処理を説明する。

映像撮影カメラ１０は、視聴者の映像および視聴者が映像表示装置３で見る映像を撮影し、撮影した映像データを情報処理部２０に送信しているが、特に、ＥＧＧレンズ１１、ＣＣＤ１２、アナログ信号処理部１３、Ａ／Ｄ変換部１４、内蔵メモリ１５、ＡＦ制御部１６、カメラ駆動部１７を有する。

ＥＧＧレンズ１１は、ドーナツ状に全集を撮影するための卵形のレンズである。撮像素子１２は、撮影光学系による被写体像を光電変換して画像信号を生成し、アナログ信号処理部１３に出力する。ここで、画像信号の座標について説明すると、座標（０，０，０）が画面の左端上の座標であることを示し、座標（ｘ、ｙ、０）が画面の右端下の座標であることを示している。

アナログ信号処理部１３は、撮像素子１２から出力された画像信号に対して感度補正やホワイトバランスを含む各種処理を施し、Ａ／Ｄ変換部１４に入力する。Ａ／Ｄ変換部１４は、アナログ信号処理部１３から出力された画像信号をデジタル信号にデジタル変換し、映像撮影全周パノラマ映像として内蔵メモリ１５に入力する。

内蔵メモリ１５は、アナログ信号処理部１３から出力された映像撮影全周パノラマ映像を記憶する。ＡＦ制御部１６は、焦点調節にかかる各部の処理および動作の制御を行う。カメラ駆動部１７は、ＥＧＧレンズ１１を駆動して、全集を撮影できるように制御する。

情報処理部２０は、映像撮影カメラ１０によって撮影された映像を記憶し、視聴者の顔や眼を検出して映像表示装置３０で表示される画面を制御するが、特に、処理部２１、記憶部２２を有する。

記憶部２２は、制御部２１による各種処理に必要なデータおよびプログラムを格納するが、特に、顔登録メモリ２２ａおよびＴＶ画面メモリ２２ｂを有する。

この顔登録メモリ２２ａは、人物の顔の特徴点に基づいて生成された顔認識データと、その顔認識データに対応する登録人物を示すためのインデックス画像データとを対応付けして記録する。具体的には、顔登録メモリ２２ａは、未知入力画像の顔特徴ベクトル（展開係数Ω）の計算に必要な視聴者顔認識データである固有顔（固有ベクトルの集合Ａ）、平均顔（平均値ベクトルｘ）、およびユークリッド距離の計算に必要な顔特徴ベクトルの集合｛Ω_ｋ｝を格納している。

ここで、顔登録メモリ２２ａに記憶される固有顔（固有ベクトルの集合Ａ）、平均顔（平均値ベクトルｘ）、およびユークリッド距離の計算に必要な顔特徴ベクトルの集合｛Ω_ｋ｝について説明する。まず、映像撮影カメラ１０から取り込んだ視聴者顔認識データ（視聴者ｎ_１人中ｋ番目の視聴者の顔認識データ、以下「顔認識データ」と称す）の濃度値は、次元配列ｆ（ｉ、ｊ）で表現され、これを１次元化したものをｘ_１とする。また、顔認識データのサイズをｍ_１×ｍ_１ピクセルとすると、下記（１）式となる。

そして、ｎ_１個の顔認識データ（の濃度値ベクトル）をｘ_ｋで示すと、下記（２）式のようになる。なお、「Ｍ_１＝ｍ_１×ｍ_１」が総画素数を示し、「Ｋ」が顔認識データのインデックス画像データを示し、「ｌ」が次元配列の画像を左上から１列に並べたときの画素番号を示している。

そして、下記（３）に示すようなｘ_ｋ全体の行列Ｘを顔濃度値行列と呼ぶ。また、顔濃度値行列Ｘから分散共分散行列Ｓを求め、固有値λｉ、固有ベクトルａ_ｉ（ｉ=１，２・・・、Ｌ）を計算する。固有ベクトルで構成される行列Ａは、下記（４）式に示すように、正規直交基底の変換行列となる。

顔画像に対する固有ベクトルは、特に固有顔と呼ぶ。各顔認識データｘ_ｋと固有顔ａ_ｉの内積から下記（５）式に示すように、展開係数を求める。平均値ベクトルｘは平均顔と呼ぶ。この展開係数と固有顔によって各顔認識データを復元できるので、下記（６）式に示すような展開係数のベクトルΩ_ｋを顔特徴ベクトルと呼ぶ。

図１の説明に戻ると、ＴＶ画面メモリ２２ｂは、映像撮影カメラ１０によって撮影された映像撮影全周パノラマ映像を記憶している。具体的には、ＴＶ画面メモリ２２ｂは、ＴＶ画面特徴ベクトル（展開係数Ω_ｋ）の計算に必要なアウェアネスＴＶ画面データである固有ＴＶ画面（固有ベクトルの集合Ｂ）、平均ＴＶ画面（平均値ベクトルｙ）、およびユークリッド距離の計算に必要なＴＶ画面特徴ベクトルの集合｛Ω_ｋ｝を格納している。

ここで、顔登録メモリ２２ａに記憶される固有ＴＶ画面（固有ベクトルの集合Ｂ）、平均ＴＶ画面（平均値ベクトルｙ）、およびユークリッド距離の計算に必要なＴＶ画面特徴ベクトルの集合｛Ω_ｋ｝について説明する。

まず、映像撮影カメラ１から予め取り込んだアウェアネスＴＶ画面データ(以下「ＴＶ画面データ」と称す）濃度値は、次元配列ｇ（ｉ，ｊ）で表現され、これを１次元化したものをｙ_ｌとする。ＴＶ画面データのサイズをｍ_２×ｍ_２ピクセルとすると、上記した（１）式と同様になる。

ｎ_２個のＴＶ画面データ（の濃度値ベクトル）をｙ_ｋで示すと、下記（７）式に示すようになる。ただし、Ｍ_２=ｍ_２×ｍ_２が総画素数である。Ｋは、ＴＶ画面データのインデックス画像データを示し、ｌは、次元配列の画像を左上から１列に並べたときの画素番号を示している。

また、下記（８）式に示すようなｙ_ｋ全体の行列ＹをＴＶ画面濃度値行列と呼ぶ。ＴＶ画面濃度値行列Ｙから分散共分散行列ｓを求め、固有値λｉ、固有ベクトルｂ_ｉ（ｉ＝１、２、・・・・・、Ｌ）を計算します。固有ベクトルで構成される行列Ｂは、下記（９）式に示すような正規直交基底の変換行列となる。

また、ＴＶ画面画像に対する固有ベクトルは特に固有ＴＶ画面と呼ぶ。各ＴＶ画面認識データｙ_ｋと固有ＴＶ画面ｂ_ｉの内積から下記（１０）式に示すように、展開係数を求める。

平均値ベクトルｙは、平均ＴＶ画面と呼ぶ。この展開係数と固有ＴＶ画面によって各ＴＶ画面認識データを復元できるので、下記（１１）式に示すような展開係数のベクトルΩ_ｋをＴＶ画面特徴ベクトルと呼ぶ。

また、未知入力画像にたいしても１次元化された濃度値ベクトルｙを求めて復元できるので固有ＴＶ画面とｂ_ｉとの内積からＴＶ画面特徴ベクトルΩを下記（１２）を用いて作成する。ただし、下記（１３）式から、この平均値ベクトルｙは、ＴＶ画面顔認識データから求めた平均ＴＶ画面である。

図１の説明に戻ると、制御部２１は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行するが、特に、顔検出部２１ａ、顔認識部２１ｂ、眼位置検出部２１ｃ、ＴＶ画像制御部２１ｄを有する。

顔検出部２１ａは、映像撮影カメラ１０によって撮影された視聴者の映像に基づいて、撮影画面の顔領域を検出し、その顔領域の部分から撮影人物の顔の特徴点を抽出し、顔認識部２１ｂに通知する。

顔認識部２１ｂは、顔検出部の抽出した特徴点および顔認識データに基づいて、複数の撮影人物のうち、どの撮影人物が主視聴者であるかを判定する。ここで主視聴者とは、図２に示すように、映像表示部３０に最も近くにいる者とし、映像表示装置３０から見て身体の重なりが一番前と認識できる顔やその顔領域の部分が最も大きい視聴者を主視聴者として認識する。そして、顔認識部２１ｂは、認識された主視聴者を眼位置検出部２１ｃに通知する。

ここで、顔認識処理について、図３を用いて具体的に説明する。同図に示すように、顔認識部２１ｂは、顔の認識処理として、映像撮影カメラ１０によって撮像された視聴者の画像（図３では、未知入力画像）に対しても１次元化された濃度値ベクトルｘを算出し、固有顔とａ_ｉとの内積から、下記（１４）式のように、顔特徴ベクトル「Ω」を作成する。ただし、下記（１５）式から、この平均値ベクトルｘは各顔認識データから求めた平均顔である。

顔認識部２１ｂは、顔のマッチングの評価式として、ユークリッド距離を使用し、下記（１６）式を用いて、距離ｄ_ｅが最も小さい時の顔特徴ベクトルΩ_ｋの人物（顔認識データのインデックス画像データｋ）を特定して、主視聴者として認識する。

眼位置検出部２１ｃは、視聴者の顔または眼の位置を検出する。具体的には、眼位置検出部２３は、主視聴者の眼の位置を検出するとともに、主視聴者のゲイズアイコンタクトの有無を検出する。つまり、主視聴者が映像画像表示画面を見つめているか否かを確認する。

その結果、眼位置検出部２１ｃは、主視聴者のゲイズアイコンタクト有りと判定した場合には、設定された検出間隔ごとに主視聴者の目の位置を検出し、主視聴者の眼の位置が移動したか否かを判定する。なお、主視聴者が映像画像表示画面を見つめているか否かまで厳密に確認する必要がない場合であれば、上記ゲイズアイコンタクトの有無の判定を行わなくともよい。

その結果、眼位置検出部２１ｃは、主視聴者の顔または眼の位置が移動した場合には、その移動差分をＴＶ画像制御部２１ｄに通知する。なお、この場合の顔または目の位置の移動とは、上記特許文献１のような視線位置の移動とは異なり、映像撮影カメラ１０が撮影した映像データ中における顔または目の位置の移動をいう。例えば、画像中における顔または目の位置を座標で表す場合であれば、上記設定された検出間隔ごとのその座標の変化をいうものとする。

ＴＶ画像制御部２１ｄは、顔または眼の位置の変化に応じて、画面に表示される対象物の画像を制御する。具体的には、ＴＶ画像制御部２１ｄは、眼位置検出部２１ｃから移動差分を受信すると、受信した移動差分に応じて、画面に表示される対象物の画像を制御する。

ここで、ＴＶ画面制御処理について図４の例を用いて具体的に説明する。同図に示すように、ＴＶ画像制御部２１ｄは、（１）の位置にいる主視聴者が映像表示画面３１の左上部分（３）をよく見ようと（２）の位置に接近した場合に、映像表示画面３１の右上部分（４）によく見たかった部分が接近して拡大するように制御する。

また、ＴＶ画像制御部２１ｄは、主視聴者の眼の位置（１）から主視聴者の眼の位置（２）への移動差分をユークリッド距離ｄ_ｅである場合には、映像表示画面３１から映像表示画面３１への移動差分は、Ｃｄ_ｅ（ユークリッド距離ｄ_ｅの定数Ｃ倍）となる。なお、定数Ｃは、ＴＶ画面の大きさ（インチ数）で決まる。

つまり、ＴＶ画像制御部２１ｄでは、ＴＶ画面の移動には視聴者の目の移動差分を反映するユークリッド距離ｄ_ｅの定数Ｃが使用される。この定数Ｃは、映像表示部３０の映像表示画面３１の画面サイズにより、映像表示部３０の初期設定時に利用者が設定する。したがって、ＴＶ画面の移動分は、下記（１７）を用いてもとめられる。

ここで、視聴者の眼の位置の変化に応じて、画面に表示された対象物の画像が変化する例について説明する。図５に例示するように、視聴者が顔を横に回転させた場合に、画面に表示される対象物（図５の例では、自動車）の画像が横方向に回転する。

また、図６に例示するように、視聴者が顔を横に平行移動すると、画像制御装置１０は、視聴者の眼の位置を検出し、画面に表示される対象物の画像が横にスクロールする。また、図７に例示するように、視聴者が顔を画面に接近させると、画面に表示される対象物の画像がアップになる。

また、図８に例示するように、視聴者が顔を上に移動させると、画面に表示される対象物の上部の画像が見えるように回転する。また、図９に例示するように、視聴者が顔を下に移動させると、画面に表示される対象物の下部の画像が見えるように回転する。

また、図１０に例示するように、視聴者が顔を傾けると、画面に表示される対象物の裏側の画像が見えるように回転する。つまり、視聴者の顔や眼の位置が移動することに連動させて、画面に表示される対象物の画像を移動または回転するように制御することで、画面内の対象物を立体的に操作できる。

映像表示部３０は、情報処理部２０のＴＶ画面メモリ２２ｂに記憶された映像を表示するが、特に、映像表示画面３１、アウェアネスＴＶ台３２を有する。映像表示画面３１は、前述したＴＶ画面制御部２１ｄによって制御され、情報処理部２０のＴＶ画面メモリ２２ｂに記憶された映像撮影全周パノラマ映像のうちの一部の撮影画像を表示する。

入出力Ｉ／Ｆ４０は、データを入出力する入出力インタフェースであり、例えば、ＴＶ画面制御処理を開始する旨の指示であるウェアネスＴＶ機能検出の指示や、視聴者から眼の位置を検出する検出間隔の設定を受け付けるインタフェースである。入出力Ｉ／Ｆ４０によって設定された検出間隔（例えば、１秒）に従って、前述した眼位置検出部２１ｃが主視聴者の眼の位置を検出する。

［画像制御処理による処理］
次に、図１１〜図１３を用いて、実施例１に係る画像制御装置１０による処理を説明する。図１１は、実施例１に係る画面制御装置の全体の処理手順を説明するためのフローチャートである。図１２は、実施例１に係る画面制御装置の主視聴者検出処理の手順を説明するためのフローチャートである。図１３は、実施例１に係る画面制御装置のＴＶ画面制御処理の手順を説明するためのフローチャートである。

同図に示すように、画像制御装置１０は、電源が入力されると（ステップＳ１０１肯定）、ＴＶ画面メモリ２２ｂに記憶された撮影画像を映像表示画面３１に表示する（ステップＳ１０２）。そして、画像制御装置１０は、アウェアネスＴＶ機能検出の指示を受け付けると（ステップＳ１０３肯定）、複数の視聴者から主視聴者を検出する主視聴者検出処理（後に、図１２を用いて詳述）を行う（ステップＳ１０４）。

そして、画像制御装置１０は、主視聴者の眼の位置を検出し（ステップＳ１０５）、主視聴者の眼の位置が移動したか否かを判定する（ステップＳ１０６）。その結果、画像制御装置１０は、主視聴者の眼の位置が移動した場合には（ステップＳ１０６肯定）、ＴＶ画面変更の指示があるとして、画面制御処（後に、図１３を用いて詳述）を行って、ＴＶ画面を変更する処理を行う（ステップＳ１０７）。

続いて、画像制御装置１０の主視聴者検出処理について図１２を用いて説明する。同図に示すように、画像制御装置１０は、映像撮影カメラ１０の前の顔を検出し（ステップＳ２０１）、顔が検出されるか否かを判定する（ステップＳ２０２）。

その結果、画像制御装置１０は、顔を検出すると（ステップＳ２０２肯定）、映像表示部３０に最も近くにいる者を主視聴者として検出し、主視聴の眼の位置を検出し、ゲイズアイコンタクト（ｇａｚｅ ｅｙｅ ｃｏｎｔａｃｔ）の有無を検出して（ステップＳ２０３）、主視聴者のゲイズアイコンタクトの有無を判定する（ステップＳ２０４）。つまり、主視聴者が映像画像表示画面を見つめているか否かを確認する。

その結果、画像制御装置１０は、主視聴者のゲイズアイコンタクトが有ると判定した場合には（ステップＳ２０４肯定）、眼の位置の変化に応じて、画面に表示される対象部の画像を制御する処理を開始する（ステップＳ２０５）。

続いて、画像制御装置１０のＴＶ画面制御処理について図１３を用いて説明する。同図に示すように、画像制御装置１０は、主視聴者の目の移動差分を検出し（ステップＳ３０１）、移動差分がある場合には（ステップＳ３０２肯定）、ＴＶ画面移動差分を算出する処理を行い（ステップＳ３０３）、算出されたＴＶ画面移動差分が０以上であるか判定する（ステップＳ３０４）。

そして、画像制御装置１０は、ＴＶ画面移動差分が０以上である場合には（ステップＳ３０４肯定）、ＴＶ画面移動差分に応じて、画面に表示される対象物の画像を制御する（ステップＳ３０５）。

[実施例１の効果]
上述してきたように、画像制御装置１０は、視聴者の顔または眼の位置をし、顔または眼の位置の変化に応じて、画面に表示される対象物の画像を制御する。このため、視聴者の顔や眼の位置が移動することに連動させて、画面に表示される対象物の画像を移動または回転するように制御することで、画面内の対象物を立体的に操作できる結果、操作者の負担を軽減しつつ、多様な操作を直感的に行うことが可能である。

また、実施例１によれば、顔または眼の位置を検出する検出間隔の設定を受け付け、設定された検出間隔で、視聴者の顔または眼の位置を検出するので、画像が変化する頻度を調整することが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例２として本発明に含まれる他の実施例を説明する。

（１）画像制御
本実施例では、視聴者の視線の位置も用いて画像制御を行うようにしてもよい。具体的には、画像制御装置は、視聴者の視線の位置を検出し、検出された視線の位置が画面内にあるか判定する。その結果、画像制御装置は、検出された視線の位置が画面内にある場合には、顔または眼の位置の変化に応じて、画像を制御する。

一方、画像制御装置は、検出された視線の位置が画面内にない場合には、顔または眼の位置の変化に応じて、画像の制御を中止する。つまり、画像制御装置は、視線が画面内にないような場合には、視聴者が画面を操作する意図で無く、顔や眼を移動させたとして、画像の制御を行わない。

このように、視聴者の視線の位置を検出し、検出された視線の位置が画面内にある場合には、検出された顔または眼の位置の変化に応じて、画像を制御し、また、検出された視線の位置が画面内にない場合には、画像の制御を中止するので、誤作動を防止することが可能である。

（２）システム構成等
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、顔検出部２１ａと顔認識部２１ｂを統合してもよい。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

（３）プログラム
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意された画面制御プログラムをコンピュータで実行することによって実現することができる。そこで、以下では、図１４を用いて、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１４は、画面制御プログラムを実行するコンピュータを示す図である。

同図に示すように、画面制御装置としてのコンピュータ６００は、ＨＤＤ６１０、ＲＡＭ６２０、ＲＯＭ６３０およびＣＰＵ６４０を有し、それぞれバス６５０を介して接続されている。

そして、ＲＯＭ６３０には、上記の実施例と同様の機能を発揮する画面制御プログラム、つまり、図１４に示すように、顔検出プログラム６３１、顔認識プログラム６３２、眼位置検出プログラム６３３、ＴＶ画面制御プログラム６３４が予め記憶されている。なお、プログラム６３１〜６３４については、図１に示した画面制御装置の各構成要素と同様、適宜統合または分散してもよい。

そして、ＣＰＵ６４０が、これらのプログラム６３１〜６３４をＲＯＭ６３０から読み出して実行することで、図１４に示すように、各プログラム６３１〜６３４は、顔検出プロセス６４１、顔認識プロセス６４２、眼位置検出プロセス６４３、ＴＶ画面制御プロセス６４４として機能するようになる。各プロセス６４１〜６４４は、図１に示した顔検出部２１ａ、顔認識部２１ｂ、眼位置検出部２１ｃ、ＴＶ画像制御部２１ｄにそれぞれ対応する。

また、ＨＤＤ６１０には、図１４に示すように、顔登録テーブル６１１、ＴＶ画面テーブル６１２が設けられる。なお、顔登録テーブル６１１、ＴＶ画面テーブル６１２は、図１に示した顔登録メモリ２２ａおよびＴＶ画面メモリ２２ｂに対応する。そして、ＣＰＵ６４０は、顔登録テーブル６１１、ＴＶ画面テーブル６１２に対してデータを登録するとともに、顔登録テーブル６１１、ＴＶ画面テーブル６１２から顔登録データ６２１、ＴＶ画面データ６２２をそれぞれ読み出してＲＡＭ６２０に格納し、ＲＡＭ６２０に格納された顔登録データ６２１、ＴＶ画面データ６２２に基づいて処理を実行する。

以上の実施例１〜２を含む実施形態に関し、更に以下の付記を開示する。

（付記１）視聴者の顔または眼の位置を検出する位置検出部と、
前記位置検出部によって検出された前記顔または眼の位置の変化に応じて、画面に表示される対象物の画像を制御する画像制御部と、
を備えることを特徴とする画像制御装置。

（付記２）前記位置検出部によって前記顔または眼の位置を検出する検出間隔の設定を受け付ける検出間隔設定受付部をさらに備え、
前記位置検出部は、前記検出間隔設定受付部によって設定された前記検出間隔で、前記視聴者の顔または眼の位置を検出することを特徴とする付記１に記載の画像制御装置。

（付記３）前記視聴者の視線の位置を検出する視線検出部をさらに備え、
前記画像制御部は、前記視線検出部によって検出された前記視線の位置が前記画面内にある場合には、前記位置検出部によって検出された前記顔または眼の位置の変化に応じて、前記画像を制御し、また、前記視線検出部によって検出された前記視線の位置が前記画面内にない場合には、前記画像の制御を中止することを特徴とする付記１または２に記載の画像制御装置。

（付記４）視聴者の顔または眼の位置を検出する位置検出手順と、
前記位置検出手順によって検出された前記顔または眼の位置の変化に応じて、画面に表示される対象物の画像を制御する画像制御手順と、
をコンピュータに実行させることを特徴とする画像制御プログラム。

（付記５）前記位置検出手順によって前記顔または眼の位置を検出する検出間隔の設定を受け付ける検出間隔設定受付手順をさらにコンピュータに実行させ、
前記位置検出手順は、前記検出間隔設定受付手順によって設定された前記検出間隔で、前記視聴者の顔または眼の位置を検出することを特徴とする付記４に記載の画像制御プログラム。

（付記６）前記視聴者の視線の位置を検出する視線検出手順をさらにコンピュータに実行させ、
前記画像制御手順は、前記視線検出手順によって検出された前記視線の位置が前記画面内にある場合には、前記位置検出手順によって検出された前記顔または眼の位置の変化に応じて、前記画像を制御し、また、前記視線検出手順によって検出された前記視線の位置が前記画面内にない場合には、前記画像の制御を中止することを特徴とする付記４または５に記載の画像制御プログラム。

（付記７）視聴者の顔または眼の位置を検出する位置検出ステップと、
前記位置検出ステップによって検出された前記顔または眼の位置の変化に応じて、画面に表示される対象物の画像を制御する画像制御ステップと、
を含んだことを特徴とする画像制御方法。

（付記８）前記位置検出ステップによって前記顔または眼の位置を検出する検出間隔の設定を受け付ける検出間隔設定受付ステップをさらに含み、
前記位置検出ステップは、前記検出間隔設定受付ステップによって設定された前記検出間隔で、前記視聴者の顔または眼の位置を検出することを特徴とする付記７に記載の画像制御方法。

（付記９）前記視聴者の視線の位置を検出する視線検出ステップをさらにコンピュータに実行させ、
前記画像制御ステップは、前記視線検出ステップによって検出された前記視線の位置が前記画面内にある場合には、前記位置検出ステップによって検出された前記顔または眼の位置の変化に応じて、前記画像を制御し、また、前記視線検出ステップによって検出された前記視線の位置が前記画面内にない場合には、前記画像の制御を中止することを特徴とする付記７または８に記載の画像制御プログラム。

実施例１に係る画面制御装置の構成を示すブロック図である。 視聴者の顔認識処理を説明するための図である。 主視聴者を認識する処理について説明するためのブロック図である。 ＴＶ画面制御処理を説明するための図である。 ＴＶ画面の変更例を示す図である。 ＴＶ画面の変更例を示す図である。 ＴＶ画面の変更例を示す図である。 ＴＶ画面の変更例を示す図である。 ＴＶ画面の変更例を示す図である。 ＴＶ画面の変更例を示す図である。 実施例１に係る画面制御装置の全体の処理手順を説明するためのフローチャートである。 実施例１に係る画面制御装置の主視聴者検出処理の手順を説明するためのフローチャートである。 実施例１に係る画面制御装置のＴＶ画面制御処理の手順を説明するためのフローチャートである。 画面制御プログラムを実行するコンピュータを示す図である。

符号の説明

１ 画像制御装置
１０ 映像撮影カメラ
２０ 情報処理装置
２１ 処理部
２１ａ 顔検出部
２１ｂ 顔認識部
２１ｃ 眼位置検出部
２１ｄ ＴＶ画面制御部
２２ 記憶部
２２ａ 顔登録メモリ
２２ｂ ＴＶ画面メモリ
３０ 映像表示部
４０ 入出力Ｉ／Ｆ

Claims (5)

1. 視聴者の顔または眼の位置を検出する位置検出部と、
   前記位置検出部によって検出された前記顔または眼の位置の変化に応じて、画面に表示される対象物の画像を制御する画像制御部と、
   を備えることを特徴とする画像制御装置。
2. 前記位置検出部によって前記顔または眼の位置を検出する検出間隔の設定を受け付ける検出間隔設定受付部をさらに備え、
   前記位置検出部は、前記検出間隔設定受付部によって設定された前記検出間隔で、前記視聴者の顔または眼の位置を検出することを特徴とする請求項１に記載の画像制御装置。
3. 前記視聴者の視線の位置を検出する視線検出部をさらに備え、
   前記画像制御部は、前記視線検出部によって検出された前記視線の位置が前記画面内にある場合には、前記位置検出部によって検出された前記顔または眼の位置の変化に応じて、前記画像を制御し、また、前記視線検出部によって検出された前記視線の位置が前記画面内にない場合には、前記画像の制御を中止することを特徴とする請求項１または２に記載の画像制御装置。
4. 視聴者の顔または眼の位置を検出する位置検出手順と、
   前記位置検出手順によって検出された前記顔または眼の位置の変化に応じて、画面に表示される対象物の画像を制御する画像制御手順と、
   をコンピュータに実行させることを特徴とする画像制御プログラム。
5. 視聴者の顔または眼の位置を検出する位置検出ステップと、
   前記位置検出ステップによって検出された前記顔または眼の位置の変化に応じて、画面に表示される対象物の画像を制御する画像制御ステップと、
   を含んだことを特徴とする画像制御方法。

Images