JP4575829B2 - 表示画面上位置解析装置及び表示画面上位置解析プログラム - Google Patents

Description

本発明は、操作者によって選択された表示画面上の位置を解析する技術に係り、特に、操作者が指さした表示画面上の位置を解析する表示画面上位置解析装置及び表示画面上位置解析プログラムに関する。

従来、操作者が表示画面上を選択するためには、マウス、トラックボール、ジョイスティック、タブレット等のポインティングデバイスがある。そして、表示画面上を選択するためには、操作者はこれらのポインティングデバイスを手に持ち、操作しなければならない。これらのポインティングデバイスでは、操作者が意図する表示画面上の位置を直接的に選択することはできず、ポインティングデバイスを操作して、表示画面上のカーソルを意図する位置まで移動させなければならないため、操作には訓練や慣れが必要となる。また、例えばマウスでは、移動させるための平面の机などを必要とし、操作者が操作する環境にも制限があった。

また、操作者が表示画面上の意図する場所を直接選択できるポインティングデバイスとしてタッチパネルがある。しかし、タッチパネルでは、操作者が表示画面に直接触れる必要があるため、コンピュータのように視距離が短い場合は便利であるが、テレビを視聴する場合のように、視距離が大きいときには操作者はそのまま表示画面に触れることができず、身体を移動させなければならない。

そこで、指や操作者の体の動きや位置を検出して、表示画面上の位置を設定する技術が研究されている。例えば、操作者の体の動きを検出する技術として、レーザ光を操作者に照射して動作を検出する技術が開発されている。また、カメラによって操作者を撮影し、撮影された映像から操作者の指先の位置を検出して、その位置から表示画面上のカーソルの位置を設定する技術が開示されている（非特許文献１及び非特許文献２参照）。この技術では、操作者の指先の位置によってカーソルの位置が決まるので、操作者は選択したい位置を指さすことで、その位置の近傍にカーソルを移動させて選択することができる。

更に、操作者の位置を仮定し、この位置と、検出された指先の位置とに基づいて、カーソルの位置を設定する手法がある。この手法では、操作者の位置に基づいてカーソルの位置を設定するため、操作者から見た自分の指先の延長線に近い位置の表示画面上に、カーソルを移動させることができる。
Ｌｅｅ Ｙ、外２名、「シルエット画像を用いた手先動作のリアルタイム認識とその応用」、ヒューマン・インターフェース・シンポジウム論文集、１９９７年、Ｖｏｌ．１３、ｐ．６６５−６７２ 原川健一、「コンピュータを指の動きで操作するシステム」、画像ラボ、２０００年４月１日、Ｖｏｌ．１１、Ｎｏ．４、ｐ．２９−３３

しかしながら、レーザ光を操作者に照射する技術では、レーザ光により操作者の体や目に害を与える可能性があり、また、表示画面の視聴を妨害することがあるという問題があった。また、非特許文献及び非特許文献２の技術では、指先の位置のみに基づいてカーソルの位置を設定するため、操作者の位置によっては、操作者が指さした位置からずれたところにカーソルが移動してしまい、実用的ではなかった。更に、操作者の体の一部の位置を検出する方法では、検出できなかったり、誤検出を生じたりすることがあり、カーソルの位置が不安定になるという問題があった。

更に、操作者の位置を仮定する手法では、操作者の位置を仮定するためにキャリブレーションが必要となる。そのため、表示画面を視聴中に操作者が移動するたびにキャリブレーションを取らなくてはならず、実用的ではなかった。

本発明は、前記従来技術の問題を解決するために成されたもので、操作者の位置に依存せず、また、キャリブレーションを不要とし、かつ、安定して操作者から見た指先の延長線上の表示画面上の位置を解析することができる表示画面上位置解析装置及び表示画面上位置解析プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の表示画面上位置解析装置は、少なくとも２台のカメラによって操作者を含む被写体を撮影した映像を入力し、前記映像を構成するフレーム画像に基づいて、前記操作者の指先によって示される表示装置の表示画面上の位置を解析する表示画面上位置解析装置であって、画像入力手段と、背景画像記憶手段と、距離画像生成手段と、背景差分処理手段と、指先検出手段と、視点検出手段と、画面上位置解析手段とを備える構成とした。

かかる構成によれば、表示画面上位置解析装置は、背景画像記憶手段によって、前記カメラによって撮影された前記操作者の背景の画像である背景画像を記憶する。また、表示画面上位置解析装置は、画像入力手段によって、少なくとも２台のカメラによって操作者を撮影した映像を構成するフレーム画像を時系列に入力し、距離画像生成手段によって、このフレーム画像の視差に基づいて、撮影された被写体の、表示画面からの距離を示す画像である距離画像を生成する。

また、表示画面上位置解析装置は、背景差分処理手段が、前記背景画像記憶手段が記憶する背景画像と前記画像入力手段から入力されたフレーム画像との差分画像を生成する差分処理部と、当該差分画像によって示される差分が閾値より小さい画素をマスクして、前記フレーム画像において前記操作者の撮影されていないマスク領域を示すマスク画像を生成するマスク画像生成部と、前記差分画像によって示される差分の変化量が所定量以下である場合に、前記フレーム画像を前記背景画像であると判断し、前記背景画像記憶手段に記憶させる背景画像選択部とを有する。また、表示画面上位置解析装置は、指先検出手段によって、距離画像生成手段で生成された距離画像に基づいて、所定の大きさの予測領域内で表示画面から被写体までの距離が最短となる部分のフレーム画像内における位置である指先位置を検出する。また、表示画面上位置解析装置は、指先検出手段の予測領域設定手段によって、当該フレーム画像より前に入力されたフレーム画像について検出された指先位置に基づいて、当該距離画像における指先位置を予測した予測位置を算出し、距離画像における予測位置を含む予測領域を設定する。これによって、表示画面上位置解析装置は、指先位置を追跡して、予測領域を設定するため、安定して指先位置を検出することができる。また、表示画面上位置解析装置は、指先検出手段の指先判定手段によって、前記マスク画像生成部が生成したマスク画像によって示されるマスク領域を除いた領域である非マスク領域から前記指先位置を検出し、当該指先位置における前記距離と、前記非マスク領域における前記距離の平均値とに基づいて、前記指先位置が前記指先の位置を示すか否かを判定する。

更に、表示画面上位置解析装置は、視点検出手段によって、画像入力手段から入力されたフレーム画像から、当該フレーム画像内における操作者の目の間の位置である視点位置を検出し、画面上位置解析手段によって、指先検出手段で検出された指先位置と、視点検出手段によって検出された視点位置と、指先位置及び視点位置における、距離画像によって示される距離とに基づいて、指先によって示される表示画面上の位置を解析する。

これによって、表示画面上位置解析装置は、操作者を撮影した映像に基づいて、指先位置と視点位置とを検出して、この指先位置と、視点位置と、視差を利用して生成した被写体の表示画面からの距離を示す距離画像とに基づいて、操作者の指先と目の間の位置の三次元位置を解析することができる。更に、表示画面上位置解析装置は、この三次元位置に基づいて、操作者の目の間から指先を通る延長線が表示画面と交差する位置を解析して、この位置の表示画面上における位置を解析することができ、操作者の指先によって示される表示装置の表示画面上の位置を解析することができる。

これによって、表示画面上位置解析装置は、背景画像とフレーム画像との差分画像に基づいて、背景画像と変化の生じた部分、つまり、操作者の撮影されている領域から指先位置を検出するため、安定して指先位置を検出することができる。また、非マスク領域における被写体から表示画面までの距離の平均値と、指先位置の距離は、それぞれ操作者の表示画面からの距離の平均値と、検出された指先位置に対応する被写体の表示画面からの距離とを示すため、表示画面上位置解析装置は、操作者に比べて、検出された指先位置に対応する被写体がどれだけ表示画面に近いかに基づいて、指先位置が操作者の指先に対応する位置であるかを判定することができる。

これによって、表示画面上位置解析装置は、背景が変化した場合においても、変化後の背景画像を背景画像記憶手段に記憶させるため、操作者が撮影されている領域のみを非マスク領域として設定でき、安定して指先を検出することができる。

また、請求項２に記載の表示画面上位置解析プログラムは、少なくとも２台のカメラによって操作者を含む被写体を撮影した映像を入力し、前記映像を構成するフレーム画像に基づいて、前記操作者の指先によって示される表示装置の表示画面上の位置を解析するために、前記カメラによって撮影された前記操作者の背景の画像である背景画像を記憶する背景画像記憶手段を備えるコンピュータを、画像入力手段、距離画像生成手段、背景差分処理手段、指先検出手段、視点検出手段、画面上位置解析手段として機能させることとした。

かかる構成によれば、表示画面上位置解析プログラムは、画像入力手段によって、少なくとも２台のカメラによって操作者を撮影した映像を構成するフレーム画像を時系列に入力し、距離画像生成手段によって、このフレーム画像の視差に基づいて、撮影された被写体の、表示画面からの距離を示す画像である距離画像を生成する。

また、表示画面上位置解析プログラムは、背景差分処理手段が、前記背景画像記憶手段が記憶する背景画像と前記画像入力手段から入力されたフレーム画像との差分画像を生成する差分処理部と、当該差分画像によって示される差分が閾値より小さい画素をマスクして、前記フレーム画像において前記操作者の撮影されていないマスク領域を示すマスク画像を生成するマスク画像生成部と、前記差分画像によって示される差分の変化量が所定量以下である場合に、前記フレーム画像を前記背景画像であると判断し、前記背景画像記憶手段に記憶させる背景画像選択部とを有する。また、表示画面上位置解析プログラムは、指先検出手段によって、距離画像生成手段で生成された距離画像に基づいて、所定の大きさの予測領域内で表示画面から被写体までの距離が最短となる部分のフレーム画像内における位置である指先位置を検出する。また、表示画面上位置解析プログラムは、指先検出手段の予測領域設定手段によって、当該フレーム画像より前に入力されたフレーム画像について検出された指先位置に基づいて、当該距離画像における指先位置を予測した予測位置を算出し、距離画像における予測位置を含む予測領域を設定する。また、表示画面上位置解析プログラムは、指先検出手段の指先判定手段によって、前記マスク画像生成部が生成したマスク画像によって示されるマスク領域を除いた領域である非マスク領域から前記指先位置を検出し、当該指先位置における前記距離と、前記非マスク領域における前記距離の平均値とに基づいて、前記指先位置が前記指先の位置を示すか否かを判定する。

更に、表示画面上位置解析プログラムは、視点検出手段によって、画像入力手段から入力されたフレーム画像から、当該フレーム画像内における操作者の目の間の位置である視点位置を検出し、画面上位置解析手段によって、指先検出手段で検出された指先位置と、視点検出手段によって検出された視点位置と、指先位置及び視点位置における、距離画像によって示される距離とに基づいて、指先によって示される表示画面上の位置を解析する。

これによって、表示画面上位置解析プログラムは、操作者を撮影した映像に基づいて、指先位置と視点位置とを検出して、この指先位置と、視点位置と、視差を利用して生成した被写体の表示画面からの距離を示す距離画像とに基づいて、操作者の指先と目の間の位置の三次元位置を解析することができる。更に、表示画面上位置解析プログラムは、この三次元位置に基づいて、操作者の目の間から指先を通る延長線が表示画面と交差する位置を解析して、この位置の表示画面上における位置を解析することができ、操作者の指先によって示される表示装置の表示画面上の位置を解析することができる。また、表示画面上位置解析プログラムは、指先位置を追跡して、予測領域を設定するため、安定して指先位置を検出することができる。

本発明に係る表示画面上位置解析装置及び表示画面上位置解析プログラムでは、以下のような優れた効果を奏する。

請求項１又は請求項２に記載の発明によれば、操作者を撮影した映像に基づいて、操作者の指先によって示される表示画面上の位置を解析するため、操作者はリモコン等のデバイスを操作することなく、指さすだけで表示画面上の位置を指定することができる。また、操作者の指先の位置と目の間の位置を検出するため、操作者の位置に依存せず、操作者の目の間から指先への延長線上の表示画面上の位置を解析することができるとともに、操作者の位置が変化した際にもキャリブレーションを行う必要がなくなる。

更に、レーザ光を操作者に照射したり、あるいは、操作者の体に、位置を検出するための検出器等を装着させる必要がないため、操作者に害を与えたり、操作者が表示画面を視聴する際に不快感を与えることない。また、指先位置を追跡することで安定して指先位置を検出することができるため、操作者が指さした表示画面上の位置を安定して解析することができる。

請求項１又は請求項２に記載の発明によれば、操作者の撮影されている領域のみから指先位置を検出するため、表示画面の近くにある操作者以外のものが指先として検出されることがなくなり、安定して操作者が指さした表示画面上の位置を解析することができる。また、操作者に比べて、検出された指先位置に対応する被写体がどれだけ表示画面に近いかに基づいて、指先位置が操作者の指先に対応する位置であるかを判定するため、操作者が表示画面上の位置を指さしておらず腕を下ろしている場合には位置を検出せず、指さしている場合のみ表示画面上の位置を解析することができる。

請求項１又は請求項２に記載の発明によれば、背景画像を自動で背景画像記憶手段に記憶させることができるため、予めあるいは背景が変化した際に、操作者が背景画像を登録する必要がなくなる。

以下、本発明の実施の形態について図面を参照して説明する。
［カーソル位置解析装置の構成］
図１及び図２を参照して、本発明の実施の形態であるカーソル位置解析装置（表示画面上位置解析装置）１の構成について説明する。図１は、本発明における実施の形態であるカーソル位置解析装置の概要を説明するための説明図である。図２は、本発明における実施の形態であるカーソル位置解析装置の構成を示したブロック図である。

図１に示すように、カーソル位置解析装置１は、例えば、テレビ受像機のような表示装置Ｄの表示画面近傍に設置された複数のカメラを有する立体カメラＣによって操作者Ｕを撮影した映像を外部から入力し、当該映像に示される操作者Ｕの指先と目の間である眉間（視点）の位置を算出して、当該眉間から指先への延長線上に示される表示装置Ｄの表示画面上の位置を解析し、この位置にカーソルＳを表示させるものである。そして、図２に示すように、ここでは、カーソル位置解析装置１は、画像入力手段１０と、距離画像生成手段１１と、背景差分処理手段１２と、背景画像蓄積手段１３と、指先検出手段１４と、顔検出手段１５と、眉間検出手段１６と、眉間位置設定手段１７と、カーソル位置解析手段１８と、カーソル表示手段１９と、映像入力手段２０とを備える。

画像入力手段１０は、立体カメラＣによって撮影された操作者Ｕの映像を構成するフレーム画像を時系列に入力するものである。この画像入力手段１０によって入力されるフレーム画像は、複数のカメラによって撮影されたものであり、異なる位置から同時刻に撮影された複数のフレーム画像が同時に入力される。ここで入力されたフレーム画像は、距離画像生成手段１１と、背景差分処理手段１２と、顔検出手段１５とへ出力される。

距離画像生成手段１１は、画像入力手段１０から入力されたフレーム画像に基づいて、当該フレーム画像内に撮影された被写体の、表示画面からの距離を示す距離画像を生成するものである。ここで生成された距離画像は、指先検出手段１４と、カーソル位置解析手段１８とに出力される。

ここで、画像入力手段１０には、異なる位置の複数のカメラによって撮影されたフレーム画像が入力され、距離画像生成手段１１は、これらのフレーム画像の視差を計算し、この視差に基づいて距離を計算することで、表示画面の近くに設置されたカメラからの距離を示す画像を、距離画像として生成することとした。なお、ここでは、立体カメラＣを表示画面の近傍に設置したため、距離画像生成手段１１は、カメラからの距離を示す画像を生成することで、表示画面からの距離を示す距離画像を生成することができる。この視差の計算は、例えば、ブロックマッチング法によって行うことができる。以下、ブロックマッチング法によって、距離画像を生成する方法について説明する。

まず、距離画像生成手段１１は、それぞれのフレーム画像について、画素ごとに、その画素を中心としたブロックを設定する。このブロックは、例えば、８×８画素のような、所定数の画素の集まりである。そして、距離画像生成手段１１は、注目するフレーム画像のブロックと、他のフレーム画像のブロックとのマッチングを取る。そして、マッチングの結果、最もマッチングのとれた２つのブロックの中心の画素のずれが、フレーム画像間の視差値となる。このとき、サブピクセル処理により、ずれを１画素の間隔よりも小さくすることもできる。そして、距離画像生成手段１１は、視差値をその画素の値とする。更に、距離画像生成手段１１は、注目するフレーム画像の次の画素について、視差値を同様に計算する。このようにして、距離画像生成手段１１は、注目するフレーム画像の全画素について視差値を求め、これを画素の値とする視差画像を生成する。

更に、距離画像生成手段１１は、視差画像の視差値を距離に対応する画素値に変換して距離画像を生成する。この際、予めキャリブレーションを行い、カメラの内部パラメータ（カメラパラメータ）を求めておき、距離画像生成手段１１は、このカメラパラメータを用いて、視差値から距離に変換する。以上のようにして、距離画像生成手段１１は、注目するフレーム画像の各々の画素について、当該画素に対応する被写体の表示画面からの距離を示す距離画像を生成することができる。

なお、立体カメラＣが、表示画面から離れた位置に設置され、距離画像生成手段１１は、視差に基づいて１つのカメラからの距離を算出し、更に、各々の画素に対応する実空間における三次元位置を算出することで、表示画面からの距離を示す距離画像を算出することとしてもよい。また、立体カメラＣは、少なくとも２台のカメラを備えていればよく、２台以上であれば、距離画像生成手段１１は、フレーム画像から、視差に基づいて距離画像を生成することができる。

背景差分処理手段１２は、後記する背景画像蓄積手段１３に蓄積された、操作者Ｕのいない背景を撮影した画像である背景画像と、画像入力手段１０から入力されたフレーム画像との差分画像を生成し、背景の領域を示すマスク画像を生成するものである。ここでは、背景差分処理手段１２は、差分処理部１２ａと、マスク画像生成部１２ｂと、背景画像選択部１２ｃとを備える。

差分処理部１２ａは、背景画像蓄積手段１３に蓄積された背景画像と、画像入力手段１０から入力されたフレーム画像との差分画像を生成するものである。ここで、差分処理部１２ａは、フレーム画像と背景画像との差分を画素ごとに計算して差分画像とする。ここで生成された差分画像はマスク画像生成部１２ｂと、背景画像選択部１２ｃとに出力される。なお、差分処理部１２ａが差分を計算する際に用いる信号としては、輝度信号、色差信号、色信号、Ｉ信号や、これらの信号を組み合わせたものを用いることができる。

マスク画像生成部１２ｂは、差分処理部１２ａによって生成された差分画像に基づいて、画像入力手段１０から入力されたフレーム画像において、操作者Ｕの撮影されていない領域を示すマスク画像を生成するものである。このマスク画像生成部１２ｂは、差分画像によって示される差分が閾値より小さい画素をマスクとし、マスク画像を生成することができる。この閾値には、例えば、背景画像を撮影した際の各画素値の分散、最大値などを用いることができる。ここで生成されたマスク画像は、指先検出手段１４の最近接ブロック判定部１４ｂに出力される。

背景画像選択部１２ｃは、差分処理部１２ａによって生成された差分画像に基づいて、画像入力手段１０から入力されたフレーム画像が、背景を撮影した画像であるかを判別するものである。ここで背景画像と判別されたフレーム画像は、背景画像蓄積手段１３に蓄積される。これによって、予め背景画像を背景画像蓄積手段１３に蓄積させなくても、背景画像選択部１２ｃによってフレーム画像の中から自動的に背景画像となる画像を選択することができる。

ここで、背景画像選択部１２ｃは、差分処理部１２ａによって生成された差分画像によって示される差分の合計（変化量）が所定値より小さいときに、背景を撮影した画像であると判別することができる。なお、ここでは、背景画像選択部１２ｃは、背景の画像と判別した画像を背景画像蓄積手段１３に蓄積させるとともに、カメラノイズの影響を低減するために、背景画像蓄積手段１３に蓄積された背景を撮影した複数のフレーム画像の各々の画素値の平均値を画素値とする画像である背景画像を生成して背景画像蓄積手段１３に蓄積させることとした。

背景画像蓄積手段（背景画像記憶手段）１３は、背景を撮影した画像である背景画像を蓄積するもので、半導体メモリ、ハードディスク等の一般的な記憶手段である。ここでは、背景画像蓄積手段１３は、背景画像選択部１２ｃによって背景の画像と判別された画像と、背景画像選択部１２ｃによって生成された背景画像とを蓄積することとした。また、背景画像蓄積手段１３には、予め背景画像が蓄積されていることとしてもよいし、背景画像選択部１２ｃによって背景の画像と判別された最新の画像を背景画像として蓄積することとしてもよい。ここで蓄積されている背景画像は、差分処理部１２ａによって、差分画像を生成する際に読み出され、背景画像選択部１２ｃによって、背景画像を生成する際に読み出される。

指先検出手段１４は、距離画像生成手段１１によって生成された距離画像と、背景差分処理手段１２によって生成されたマスク画像とに基づいて、画像入力手段１０から入力されたフレーム画像内において撮影された操作者Ｕの指先の位置を検出するものである。ここで指先検出手段１４は、候補ブロック探索部１４ａと、最近接ブロック判定部１４ｂと、指先判定部１４ｃと、予測領域設定部１４ｄとを備える。

候補ブロック探索部１４ａは、距離画像生成手段１１によって生成された距離画像のうち、背景差分処理手段１２によって生成されたマスク画像によって示されるマスク領域を除いた領域である非マスク領域及び後記する予測領域設定部１４ｄによって設定された予測領域をブロック化し、距離画像によって示される距離の短いブロックを所定数だけ抽出するものである。ここで抽出されたブロックは、最近接ブロック判定部１４ｂに出力される。

なお、ブロックは、例えば、８×８画素の領域のような、複数の画素によって構成される。また、非マスク領域は、フレーム画像において操作者Ｕの画像の存在する領域である。そのため、距離画像のこの領域について、距離の短いブロックを抽出することで、候補ブロック探索部１４ａは、背景の影響を除去して、操作者Ｕの指先に対応する領域を含むブロックを抽出することができる。また、予測領域は、指先の動きに基づいて、指先に対応するブロックが高い確率で存在すると予測された領域である。この予測領域からも距離の短いブロックを抽出することで、指先の位置を追跡し、安定して指先に対応する領域を含むブロックを抽出することができる。ここでは、候補ブロック探索部１４ａは、距離が短い順に所定数のブロックを抽出することとした。

最近接ブロック判定部１４ｂは、候補ブロック探索部１４ａによって抽出されたブロックのうち、１つのブロックを、指先位置を示すブロックとして選定するものである。ここで、最近接ブロック判定部１４ｂには、後記する予測領域設定部１４ｄによって前のフレーム画像の指先の位置に基づいて、この距離画像内において指先に対応するブロックが存在すると予測された予測領域の情報が入力され、最近接ブロック判定部１４ｂは、この予測領域内に、候補ブロック探索部１４ａによって抽出されたブロックが含まれる場合には、この予測領域内のブロックから距離の最も短いブロックを選定し、予測領域内に含まれない場合には、予測領域外において距離が最も短いブロックを選定する。ここで選定されたブロックは、指先判定部１４ｃに出力される。

指先判定部（指先判定手段）１４ｃは、最近接ブロック判定部１４ｂによって選定されたブロックの距離と、操作者Ｕの画像に対応するブロックの距離の平均値とを比較し、選定されたブロックが指先に対応するブロックか否かを判定するものである。ここで、指先判定部１４ｃは、背景差分処理手段１２によって生成されたマスク画像によって示されるマスク領域以外の領域の距離の平均値を算出し、この平均値と、最近接ブロック判定部１４ｂによって選定されたブロックの距離との差が所定値より大きいか否かを判断する。そして、所定値より大きければ、最近接ブロック判定部１４ｂは、このブロックが指先に対応するブロックであると判定し、距離画像上におけるこのブロックの位置の情報（指先位置）を予測領域設定部１４ｄとカーソル位置解析手段１８とに、指先に対応するブロックが検出されたことを示す検出開始信号を眉間位置設定手段１７に出力する。また、所定値より大きくなければ、指先判定部１４ｃは、このブロックは指先に対応するブロックではないと判定し、不検出信号をカーソル表示手段１９に出力する。

つまり、非マスク領域は、操作者Ｕの画像に対応する領域であり、この領域の距離の平均値は、フレーム画像を撮影したカメラから操作者Ｕまでの距離を示しているとみなすことができる。そして、所定値を、例えば、腕の長さ程度に設定しておき、予測領域内で最もカメラに近い部分が、マスク領域以外の領域内の距離の平均値より所定値以上近ければ、操作者Ｕは腕を上げて指先を表示画面に向けていることが分かる。一方、所定値以上近くなければ、操作者Ｕは指先を表示画面に向けておらず、表示画面上にカーソルを表示する必要がないことが分かる。なお、マスク領域以外の領域内の距離の平均値の代わりに、後記する眉間検出手段１６によって検出された眉間の位置における距離を用いることとしてもよい。

予測領域設定部（予測領域設定手段）１４ｄは、指先判定部１４ｃから入力された指先位置に基づいて、次のフレームの距離画像内において指先に対応するブロックが存在すると予測される領域である予測領域を設定するものである。ここでは、予測領域設定部１４ｄは、現在のフレームと１フレーム前の距離画像に基づいて検出された指先に対応するブロックの位置（指先位置）に基づいて、距離画像上において指先が移動する速度を推定し、その速度から次のフレームの距離画像における指先位置を推定する。なお、指先位置の推定には、例えば、一般的なカルマンフィルタを用いることができる。そして、予測領域設定部１４ｄは、その指先位置を中心とした所定の大きさの領域を予測領域とする。ここで設定された予測領域は、候補ブロック探索部１４ａと、最近接ブロック判定部１４ｂとに出力される。

顔検出手段１５は、画像入力手段１０から入力されたフレーム画像から操作者Ｕの顔を検出するものである。この顔の検出は、後記する眉間検出手段１６によって、フレーム画像から操作者Ｕの両目の間である眉間の検出を高速に行うための前処理であり、眉間の検出が実時間で処理できる場合は、カーソル位置解析装置１は顔検出手段１５を備えず、眉間検出手段１６によって、画像入力手段１０から入力されたフレーム画像から直接眉間を検出することとしてもよい。ここで検出された顔の領域は、眉間検出手段１６に出力される。また、顔が検出されなかった場合には、顔検出手段１５は、顔が検出されなかった旨を眉間位置設定手段１７に通知する。このように、顔検出手段１５が検出範囲を限定して、後記する眉間検出手段１６による眉間の位置を検出するため、処理速度を向上させることができる。

なお、この顔検出手段１５は、一般的な顔検出手法を用いることができる。例えば、顔検出手段１５は、色情報に基づく手法を用いることができる。この手法は、フレーム画像内において、予め設定した顔色に近い色が存在する領域を、顔の領域と判断する。この手法には、色の差分を求めるためにＲＧＢ空間を用いる方法や、色差のみを用いる方法や、Ｉ軸を用いる方法などがある。

また、顔検出手段１５は、顔検出手法として、ＯｐｅｎＣＶライブラリに含まれる顔画像認識アルゴリズムを用いることとしてもよい。このＯｐｅｎＣＶは、インテル（登録商標）社によって開発者向けにオープンソースで公開されている、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ関連のソフトウェア・ライブラリーである。このＯｐｅｎＣＶに含まれる顔認識のアルゴリズムは、Ｐａｕｌ Ｖｉｏｌａらによって提案され、Ｒａｉｎｅｒ Ｌｉｅｎｈａｒらにより改良されたものである。この顔認識アルゴリズムでは、数百のサンプルにより学習を行った検出器を用いて、顔の検出を行う。検出器は階層化された構造を持ち、高速にオブジェクトの検出を行うことができる。

ここで、この顔検出手段１５は、例えば、後記する眉間検出手段１６の眉間候補点選択部１６ｂによって選択された前フレームの眉間の位置に基づいて、顔を検出する範囲を特定することとしてもよい。

眉間検出手段（視点検出手段）１６は、顔検出手段１５によって検出された顔の画像の領域から、眉間の位置を検出するものである。ここでは、眉間検出手段１６は、リングフィルタを用いて眉間の位置を検出することとした。眉間検出手段１６は、リングフィルタ部１６ａと、眉間候補点選択部１６ｂとを備える。なお、ここでは、眉間検出手段１６が、リングフィルタを用いる場合について説明するが、眉間検出手段１６は、この手法に限定されず、眉間の位置を検出する様々な手法によって実現することができる。

リングフィルタ部１６ａは、顔検出手段１５から入力された顔の画像の領域から、１次元のリングフィルタによって、眉間の画像の候補を抽出するものである。ここで、リングフィルタ部１６ａは、１次元の情報に基づいて候補を抽出するため、眉間以外の領域も含む複数の候補が抽出される。ここで抽出された眉間の候補は、眉間候補点選択部１６ｂに出力される。

眉間候補点選択部１６ｂは、リングフィルタ部１６ａによって抽出された複数の眉間の候補から、１つの眉間の候補を操作者Ｕの眉間の画像として選択し、この候補の位置を検出するものである。ここでは、眉間候補点選択部１６ｂは、眉間の候補に対して、図示しない蓄積手段に予め蓄積された眉間の２次元テンプレートのマッチングを行い、最も一致する候補の位置を検出することとした。ここで検出された眉間の位置の情報は、眉間位置設定手段１７に出力される。

眉間位置設定手段１７は、フレーム画像内における操作者Ｕの眉間の位置である眉間位置を設定するものである。ここで、眉間位置設定手段１７は、顔検出手段１５からの顔が検出されなかった通知と、眉間候補点選択部１６ｂからの眉間の位置の情報のいずれかを入力し、眉間位置を設定する。また、眉間位置設定手段１７は、指先検出手段１４の指先判定部１４ｃから入力される検出開始信号に基づいて、指先検出手段１４によって指先が検出され続けている間は、眉間位置をロック（固定）する。ここで設定された眉間位置は、カーソル位置解析手段１８に出力される。以下、眉間位置設定手段１７が眉間位置を設定する方法について説明する。

眉間位置設定手段１７は、指先検出手段１４の指先判定部１４ｃから１つ前のフレーム及び現在のフレームにおいて検出開始信号が入力されると、１つ前のフレームにおいて設定された眉間位置を現在のフレームの眉間位置とする。また、眉間位置設定手段１７は、眉間候補点選択部１６ｂから眉間の位置を示す情報が入力され、かつ、指先検出手段１４の指先判定部１４ｃから１つ前のフレーム及び現在のフレームにおいて検出開始信号が入力されていない場合には、眉間候補点選択部１６ｂから入力された眉間の位置を眉間位置とする。

また、眉間位置設定手段１７は、眉間候補点選択部１６ｂから入力される眉間の位置の変動量が所定時間以上、所定値以下の場合にも、１つ前のフレームにおいて設定された眉間位置を現在のフレームの眉間位置とする。このように設定することで、眉間位置設定手段１７は、操作者ＵがカーソルＳを表示画面上に表示させる位置を指定する一連の動作を行う間は、操作者Ｕの眉間の位置をロックすることができ、カーソルＳの動きを安定させることができる。また、眉間位置設定手段１７は、操作者Ｕの眉間の位置にわずかな変動がある場合にも、操作者Ｕの眉間の位置をロックすることができ、カーソルＳの動きを安定させることができる。

更に、眉間位置設定手段１７は、顔検出手段１５からの顔が検出されなかった通知が入力された場合には、フレーム画像の中央の位置を眉間位置として設定することとした。また、眉間位置設定手段１７は、眉間候補点選択部１６ｂからの眉間の位置の情報が入力されていない場合には、過去に眉間検出手段１６によって眉間が検出されていれば、最後の眉間の位置を、検出されていなければ顔検出手段１５によって検出された顔の領域の中央の位置を眉間位置として設定する。

カーソル位置解析手段（画面上位置解析手段）１８は、距離画像生成手段１１によって生成された距離画像と、指先判定部１４ｃによって検出された指先位置と、眉間位置設定手段１７によって設定された眉間位置とに基づいて、操作者Ｕの眉間から指先への延長線上に示される表示装置Ｄの表示画面上の位置を解析し、カーソルＳの位置として設定するものである。カーソル位置解析手段１８は、三次元位置算出部１８ａと、カーソル位置算出部１８ｂとを備える。

三次元位置算出部１８ａは、距離画像生成手段１１によって生成された距離画像と、指先判定部１４ｃによって検出された指先位置と、眉間位置設定手段１７によって設定された眉間位置とに基づいて、操作者Ｕの指先及び眉間の三次元位置を算出するものである。この際、予めキャリブレーションを行い、カメラパラメータを求めておく。そして、三次元位置算出部１８ａは、このカメラパラメータと、指先位置及び眉間位置と、この指先位置及び眉間位置における距離画像によって示される表示画面から指先及び眉間までの距離とに基づいて、指先及び眉間の三次元位置を算出することができる。ここで算出された指先及び眉間の三次元位置は、カーソル位置算出部１８ｂに出力される。

カーソル位置算出部１８ｂは、三次元位置算出部１８ａによって算出された指先及び眉間の三次元位置に基づいて、カーソルＳを表示する位置である、操作者Ｕの指先によって示される表示装置Ｄの表示画面上の位置を解析するものである。ここで、カーソル位置解析装置１には、カメラと表示画面との位置関係が予め登録されていることとする。そして、カーソル位置算出部１８ｂは、指先及び眉間の三次元位置に基づいて、この２点を通る直線の方程式を求め、この直線と表示画面との交点を算出して、この交点の表示画面上における位置をカーソルＳの位置とする。これによって、カーソル位置算出部１８ｂは、操作者Ｕから見て、指先の延長線上にある表示画面上の位置を解析することができる。ここで解析されたカーソルＳの位置は、カーソル表示手段１９に出力される。なお、カメラと表示画面との位置関係を示すデータは、表示画面とカメラの位置関係が変化しない限り、固定の値である。

カーソル表示手段１９は、後記する映像入力手段２０から表示画面に表示する映像を入力して、この映像を構成するフレーム画像の各々に対して、カーソル位置算出部１８ｂによって算出された位置にカーソルＳの画像を付加して、表示可能な出力形式に変換して表示装置Ｄへ出力するものである。

映像入力手段２０は、表示装置Ｄの表示画面に表示するための映像を入力するものである。ここで入力された映像は、カーソル表示手段１９に出力される。

以上によって、カーソル位置解析装置１は、操作者Ｕを撮影した映像に基づいて、操作者Ｕから見て指先の延長線上の表示画面上の位置に、カーソルＳを表示させることができる。そのため、操作者Ｕは、リモコン等のデバイスを持たずに、容易にカーソルＳの位置を設定することができる。また、カーソル位置解析装置１は、操作者Ｕの眉間（視点）の位置も検出するため、操作者Ｕがどの位置にいても、操作者Ｕから見て指先の延長線上にカーソルＳを表示させることができる。

また、カーソル位置解析装置１によれば、操作者Ｕの位置が変化したときに、補正するためのキャリブレーションを行う必要がなくなる。更に、カーソル位置解析装置１によれば、レーザ光を発したり、あるいは、操作者Ｕに対して、位置を検出するための検出器等を装着する必要がないため、操作者Ｕに害を与えたり、操作者Ｕに対して、検出器を取り付けることによる不快感を与えるようなことはない。

また、カーソル位置解析装置１は、眉間位置設定手段１７によって、継続して指先を検出している間に、誤検出を起こしやすかった眉間検出にロックをかけることにより、安定してカーソルＳを移動させることができる。更に、カーソル位置解析装置１は、指先検出手段１４の予測領域設定部１４ｄによって、指先位置を追跡して予測領域を設定し、この予測領域内から次の指先位置を検出するため、誤検出を防ぎ安定して指先位置を検出することができる。

なお、ここでは、カーソル位置解析装置１は、距離画像生成手段１１によって、視差値を表示画面からの距離に変換して、各々の画素にこの距離を対応させた距離画像を生成することとしたが、本発明のカーソル位置解析装置１は、距離画像生成手段１１によって、表示画面からフレーム画像の各画素に対応する被写体までの距離を示す距離画像を生成すればよく、例えば、この距離を示す視差値を各画素に対応させた視差画像を生成して距離画像とし、カーソル位置解析手段１８の三次元位置算出部１８ａによって視差値を距離に変換することとしてもよい。

更に、ここでは、カーソル位置解析装置１は、指先検出手段１４によって、予測領域を設定して、この予測領域とマスク領域とに基づいて、距離画像から指先位置を検出することとしたが、本発明のカーソル位置解析装置１は、予測領域を設定しないこととしてもよい。このとき、カーソル位置解析装置１は、予測領域設定部１４ｄを備えず、指先検出手段１４の候補ブロック探索部１４ａによって、距離画像の非マスク領域をブロック化して距離の短いブロックを所定数抽出し、最近接ブロック判定部１４ｂによって、抽出されたブロックから距離の最も短いブロックを選定して、指先判定部１４ｃによって、選定されたブロックが指先に対応するブロックか否かを判定する。

また、カーソル位置解析装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、カーソル位置解析プログラムとして動作させることも可能である。

［カーソル位置解析装置の動作］
次に、図３から図６（適宜図２参照）を参照して、本発明におけるカーソル位置解析装置１の動作について説明する。まず、図３を参照して、カーソル位置解析装置１が、操作者Ｕを撮影した映像を外部から入力し、当該映像に示される操作者Ｕの指先によって示される表示装置Ｄの表示画面の位置にカーソルＳを表示させる動作について説明する。図３は、本発明におけるカーソル位置解析装置の動作を示したフローチャートである。

カーソル位置解析装置１は、画像入力手段１０によって、立体カメラＣで操作者Ｕを撮影した映像のフレーム画像と、映像入力手段２０によって、表示画面に表示するための映像のフレーム画像とを外部から入力する（ステップＳ１０）。ここで、立体カメラＣは複数のカメラを有し、カーソル位置解析装置１は、画像入力手段１０によって、異なる位置から撮影した複数の映像を入力する。

続いて、カーソル位置解析装置１は、距離画像生成手段１１による後記する距離画像生成動作によって、ステップＳ１０において画像入力手段１０から入力されたフレーム画像から、当該フレーム画像内に撮影された被写体の、表示画面からの距離を示す距離画像を生成し（ステップＳ１１）、ステップＳ１９に進む。

また、ステップＳ１０においてフレーム画像を入力した後、カーソル位置解析装置１は、背景差分処理手段１２の差分処理部１２ａによって、背景画像蓄積手段１３に蓄積された背景画像と、ステップＳ１０において画像入力手段１０から入力されたフレーム画像との差分画像を生成する（ステップＳ１２）。続いて、カーソル位置解析装置１は、背景差分処理手段１２のマスク画像生成部１２ｂによって、ステップＳ１２において生成された差分画像に基づいて、操作者Ｕの撮影されていない領域を示すマスク画像を生成する（ステップＳ１３）。

また、カーソル位置解析装置１は、背景差分処理手段１２の背景画像選択部１２ｃによって、ステップＳ１３において生成された差分画像に基づいて、ステップＳ１０において画像入力手段１０から入力されたフレーム画像が、背景を撮影した画像であるかを判断する（ステップＳ１４）。そして、背景の画像である場合（ステップＳ１４でＹｅｓ）には、カーソル位置解析装置１は、背景画像選択部１２ｃによって、ステップＳ１０において画像入力手段１０から入力されたフレーム画像及びすでに背景画像蓄積手段１３に蓄積された背景の画像に基づいて背景画像を生成し、このフレーム画像と背景画像とを背景画像蓄積手段１３に蓄積させ（ステップＳ１５）ステップＳ１６に進む。また、背景の画像でない場合（ステップＳ１４でＮｏ）には、そのままステップＳ１９に進む。

また、ステップＳ１０においてフレーム画像を入力した後、カーソル位置解析装置１は、顔検出手段１５によって、ステップＳ１０において画像入力手段１０から入力されたフレーム画像から操作者Ｕの顔の画像を検出する（ステップＳ１６）。そして、カーソル位置解析装置１は、眉間検出手段１６のリングフィルタ部１６ａによって、リングフィルタを用いて眉間の候補を抽出する（ステップＳ１７）。更に、カーソル位置解析装置１は、眉間検出手段１６の眉間候補点選択部１６ｂによって、ステップＳ１７において抽出された眉間の候補から、１つの眉間の候補を選択し、この眉間の位置を検出し（ステップＳ１８）、ステップＳ１９に進む。

そして、カーソル位置解析装置１は、指先検出手段１４による後記する指先検出動作によって、ステップＳ１１において生成された距離画像と、ステップＳ１３において生成されたマスク画像とに基づいて指先位置を検出し（ステップＳ１９）、ステップＳ２０に進む。そして、カーソル位置解析装置１は、指先検出手段１４の指先判定部１４ｃによって、指先の位置が検出されたかを判断する（ステップＳ２０）。つまり、カーソル位置解析装置１は、指先判定部１４ｃによって、ステップＳ１３において生成されたマスク画像によって示されるマスク領域以外の領域内における距離画像によって示される距離の平均値を算出し、この平均値と、ステップＳ１９において検出された指先位置の距離画像によって示される距離との差が所定値より大きいかを判断する。

そして、指先の位置が検出されなかった場合（ステップＳ２０でＮｏ）には、カーソル位置解析装置１は、カーソル表示手段１９によって、ステップＳ１０において映像入力手段２０から入力されたフレーム画像にカーソルＳの画像を付加せずにそのまま出力し（ステップＳ２１）、ステップＳ１０に戻って、操作者Ｕを撮影した映像と表示画面に表示するための映像とのフレーム画像を入力する動作以降の動作を行う。

また、指先の位置が検出された場合（ステップＳ２０でＹｅｓ）には、カーソル位置解析装置１は、予測領域設定部１４ｄによって、ステップＳ１９において検出された指先位置と、前のフレームについて検出された指先位置とに基づいて、次のフレームの距離画像の予測領域を設定する（ステップＳ２２）。そして、カーソル位置解析装置１は、眉間位置設定手段１７による後記する眉間位置設定動作によって、眉間位置を設定する（ステップＳ２３）。

そして、カーソル位置解析装置１は、カーソル位置解析手段１８の三次元位置算出部１８ａによって、ステップＳ１１において生成された距離画像と、ステップＳ１９において検出された指先位置とステップＳ２３において検出された眉間位置とに基づいて、操作者Ｕの指先と眉間の三次元位置を算出する（ステップＳ２４）。そして、カーソル位置解析装置１は、カーソル位置算出部１８ｂによって、ステップＳ２４において算出された指先と眉間の三次元位置とに基づいて、この２点を通る直線と表示画面との交点を算出し、この交点の表示画面上における位置をカーソルの位置として算出する（ステップＳ２５）。

そして、カーソル位置解析装置１は、カーソル表示手段１９によって、ステップＳ１０において映像入力手段２０から入力されたフレーム画像における、ステップＳ２５において算出されたカーソルの位置に、カーソルＳの画像を付加して出力し（ステップＳ２６）、ステップＳ１０に戻って、操作者Ｕを撮影した映像のフレーム画像と表示画面に表示するための映像のフレーム画像を入力する動作以降の動作を行う。

以上の動作によって、カーソル位置解析装置１は、操作者Ｕを撮影した映像に基づいて、操作者Ｕから見て指先の延長線上の表示画面上の位置に、カーソルを表示させることができる。

（距離画像生成動作）
次に図４を参照（適宜図１及び図３参照）して、カーソル位置解析装置１が距離画像生成手段１１によって、画像入力手段１０から入力されたフレーム画像に基づいて距離画像を生成する距離画像生成動作（図３のステップＳ１１）について説明する。図４は、本発明におけるカーソル位置解析装置の距離画像生成動作を示したフローチャートである。

まず、カーソル位置解析装置１は、図３のステップＳ１０において画像入力手段１０から入力されたフレーム画像について、各々の画素を中心としたブロックを設定する（ステップＳ３０）。そして、カーソル位置解析装置１は、距離画像生成手段１１によって、注目するフレーム画像のブロックと、他のフレーム画像のブロックとのマッチングを取り、最もマッチングのとれたブロックの中心の画素のずれを、この画素の視差値とする（ステップＳ３１）。

そして、カーソル位置解析装置１は、距離画像生成手段１１によって、注目するフレーム画像のすべての画素についてマッチングが終了したかを判断する（ステップＳ３２）。そして、すべての画素について終了していない場合（ステップＳ３２でＮｏ）には、カーソル位置解析装置１は、距離画像生成手段１１によって、次の画素を設定し（ステップＳ３３）、ステップＳ３１に戻って、注目するフレーム画像のこの画素のブロックと、他のフレーム画像のブロックとのマッチングを取る動作以降の動作を行う。

また、すべての画素について終了した場合（ステップＳ３２でＹｅｓ）には、カーソル位置解析装置１は、距離画像生成手段１１によって、ステップＳ３１においてマッチングによって算出された視差値を距離に変換して距離画像を生成し（ステップＳ３４）、動作を終了する。

（指先検出動作）
次に図５を参照（適宜図１及び図３参照）して、カーソル位置解析装置１が指先検出手段１４の候補ブロック探索部１４ａと最近接ブロック判定部１４ｂとによって、距離画像生成手段１１によって生成された距離画像から指先位置を検出する指先検出動作（図３のステップＳ１９）について説明する。図５は、本発明におけるカーソル位置解析装置の指先検出動作を示したフローチャートである。

まず、カーソル位置解析装置１は、指先検出手段１４の候補ブロック探索部１４ａによって、図３のステップＳ１１において生成された距離画像のうち、図３のステップＳ１３において生成されたマスク画像によって示される非マスク領域及び図３のステップＳ２２において設定された予測領域をブロック化し（ステップＳ４０）、距離画像によって示される距離の短いブロックを所定数抽出する（ステップＳ４１）。

そして、カーソル位置解析装置１は、最近接ブロック判定部１４ｂによって、ステップＳ４１において抽出されたブロックが予測領域に含まれているかを判断する（ステップＳ４２）。そして、予測領域に含まれている場合（ステップＳ４２でＹｅｓ）には、カーソル位置解析装置１は、最近接ブロック判定部１４ｂによって、予測領域内のブロックのうち距離の最も短いブロックを選定して、当該ブロックの位置を指先位置とし（ステップＳ４３）、動作を終了する。

また、予測領域に含まれていない場合（ステップＳ４２でＮｏ）には、カーソル位置解析装置１は、最近接ブロック判定部１４ｂによって、予測領域外のブロックのうち距離の最も短いブロックを選定して、当該ブロックの位置を指先位置とし（ステップＳ４４）、動作を終了する。

（眉間位置設定動作）
次に図６を参照（適宜図１及び図３参照）して、カーソル位置解析装置１が眉間位置設定手段１７によって、眉間位置を設定する眉間位置設定動作（図３のステップＳ２３）について説明する。図６は、本発明におけるカーソル位置解析装置の眉間位置設定動作を示したフローチャートである。

まず、カーソル位置解析装置１は、眉間位置設定手段１７によって、図３のステップＳ２０において指先が検出されたと判断された際に生成される検出開始信号が現在のフレームと１つ前のフレームについて入力されているかを判断する（ステップＳ５０）。そして、入力されている場合（ステップＳ５０でＹｅｓ）には、カーソル位置解析装置１は、眉間位置設定手段１７によって、１つ前のフレームにおいて設定された眉間位置を現在のフレームの眉間位置とし（ステップＳ５２）、動作を終了する。

また、入力されていない場合（ステップＳ５０でＮｏ）には、カーソル位置解析装置１は、眉間位置設定手段１７によって、図３のステップＳ１８において眉間の位置が検出され、眉間検出手段１６の眉間候補点選択部１６ｂから眉間の位置の情報が入力されているかを判断する（ステップＳ５１）。そして、入力されていない場合（ステップＳ５１でＮｏ）には、そのままステップＳ５５に進む。また、入力されている場合（ステップＳ５１でＹｅｓ）には、カーソル位置解析装置１は、眉間位置設定手段１７によって、以前に入力された眉間の位置の情報と位置の変動量を解析し、変動量が所定時間以上、所定値以下であるかを判断する（ステップＳ５３）。

そして、変動量が所定時間以上、所定値以下である場合（ステップＳ５３でＹｅｓ）には、カーソル位置解析装置１は、眉間位置設定手段１７によって、１つ前のフレームにおいて設定された眉間位置を現在のフレームの眉間位置とし（ステップＳ５２）、動作を終了する。また、変動量が所定時間以上、所定値以下でない場合（ステップＳ５３でＮｏ）には、カーソル位置解析装置１は、眉間位置設定手段１７によって、図３のステップＳ１８において検出された眉間の位置を眉間位置として設定し（ステップＳ５４）、動作を終了する。

また、眉間の位置の情報が入力されていない場合（ステップＳ５１でＮｏ）には、カーソル位置解析装置１は、眉間位置設定手段１７によって、以前に眉間の位置が検出されているかを判断する（ステップＳ５５）。そして、検出されている場合（ステップＳ５５でＹｅｓ）には、カーソル位置解析装置１は、眉間位置設定手段１７によって、最後に検出された眉間の位置を眉間位置として設定する（ステップＳ５６）。

また、検出されていない場合（ステップＳ５５でＮｏ）には、カーソル位置解析装置１は、眉間位置設定手段１７によって、図３のステップＳ１６において顔が検出されなかったことが通知されているかを判断する（ステップＳ５７）。

そして、通知されている場合（ステップＳ５７でＹｅｓ）には、カーソル位置解析装置１は、眉間位置設定手段１７によって、図３のステップＳ１６において検出された顔の領域の中央の位置を眉間位置として設定し（ステップＳ５８）、動作を終了する。また、通知されていない場合（ステップＳ５７でＮｏ）には、カーソル位置解析装置１は、眉間位置設定手段１７によって、フレーム画像の中央の位置を眉間位置として設定し（ステップＳ５９）、動作を終了する。

本発明における実施の形態であるカーソル位置解析装置の概要を説明するための説明図である。 本発明における実施の形態であるカーソル位置解析装置の構成を示したブロック図である。 本発明におけるカーソル位置解析装置の動作を示したフローチャートである。 本発明におけるカーソル位置解析装置の距離画像生成動作を示したフローチャートである。 本発明におけるカーソル位置解析装置の指先検出動作を示したフローチャートである。 本発明におけるカーソル位置解析装置の眉間位置設定動作を示したフローチャートである。

符号の説明

１ カーソル位置解析装置（表示画面上位置解析装置）
１０ 画像入力手段
１１ 距離画像生成手段
１２ 背景差分処理手段
１３ 背景画像蓄積手段（背景画像記憶手段）
１４ 指先検出手段
１４ｃ 指先判定部（指先判定手段）
１４ｄ 予測領域設定部（予測領域設定手段）
１６ 眉間検出手段（視点検出手段）
１８ カーソル位置解析手段（画面上位置解析手段）

Claims (2)

1. 少なくとも２台のカメラによって操作者を含む被写体を撮影した映像を入力し、前記映像を構成するフレーム画像に基づいて、前記操作者の指先によって示される表示装置の表示画面上の位置を解析する表示画面上位置解析装置であって、
   時系列に前記フレーム画像を入力する画像入力手段と、
   前記カメラによって撮影された前記操作者の背景の画像である背景画像を記憶する背景画像記憶手段と、
   前記画像入力手段から入力されたフレーム画像の視差に基づいて、撮影された前記被写体の、前記表示画面からの距離を示す画像である距離画像を生成する距離画像生成手段と、
   前記背景画像記憶手段が記憶する背景画像と前記画像入力手段から入力されたフレーム画像との差分画像を生成する差分処理部と、当該差分画像によって示される差分が閾値より小さい画素をマスクして、前記フレーム画像において前記操作者の撮影されていないマスク領域を示すマスク画像を生成するマスク画像生成部と、前記差分画像によって示される差分の変化量が所定量以下である場合に、前記フレーム画像を前記背景画像であると判断し、前記背景画像記憶手段に記憶させる背景画像選択部とを有する背景差分処理手段と、
   前記距離画像生成手段によって生成された距離画像に基づいて、所定の大きさの予測領域内で前記距離が最短となる部分の前記フレーム画像内における位置である指先位置を検出する指先検出手段と、
   前記画像入力手段から入力されたフレーム画像から、当該フレーム画像内における前記操作者の目の間の位置である視点位置を検出する視点検出手段と、
   前記指先検出手段によって検出された指先位置と、前記視点検出手段によって検出された視点位置と、前記指先位置及び前記視点位置における、前記距離画像によって示される前記距離とに基づいて、前記指先によって示される前記表示画面上の位置を解析する画面上位置解析手段と、
   を備え、
   前記指先検出手段は、
   当該フレーム画像より前に入力されたフレーム画像について検出された前記指先位置に基づいて、当該距離画像における前記指先位置を予測した予測位置を算出し、前記距離画像における、前記予測位置を含む前記予測領域を設定する予測領域設定手段と、
   前記マスク画像生成部が生成したマスク画像によって示されるマスク領域を除いた領域である非マスク領域から前記指先位置を検出し、当該指先位置における前記距離と、前記非マスク領域における前記距離の平均値とに基づいて、前記指先位置が前記指先の位置を示すか否かを判定する指先判定手段と、を有し、
   前記画面上位置解析手段は、前記指先検出手段によって前記指先位置を前記指先に対応する位置と判定した場合に、当該指先によって示される前記表示画面上の位置を解析することを特徴とする表示画面上位置解析装置。
2. 少なくとも２台のカメラによって操作者を含む被写体を撮影した映像を入力し、前記映像を構成するフレーム画像に基づいて、前記操作者の指先によって示される表示装置の表示画面上の位置を解析するために、前記カメラによって撮影された前記操作者の背景の画像である背景画像を記憶する背景画像記憶手段を備えるコンピュータを、
   時系列に前記フレーム画像を入力する画像入力手段、
   この画像入力手段から入力されたフレーム画像の視差に基づいて、撮影された前記被写体の、前記表示画面からの距離を示す画像である距離画像を生成する距離画像生成手段、
   前記背景画像記憶手段が記憶する背景画像と前記画像入力手段から入力されたフレーム画像との差分画像を生成する差分処理部と、当該差分画像によって示される差分が閾値より小さい画素をマスクして、前記フレーム画像において前記操作者の撮影されていないマスク領域を示すマスク画像を生成するマスク画像生成部と、前記差分画像によって示される差分の変化量が所定量以下である場合に、前記フレーム画像を前記背景画像であると判断し、前記背景画像記憶手段に記憶させる背景画像選択部とを有する背景差分処理手段、
   前記距離画像生成手段によって生成された距離画像に基づいて、所定の大きさの予測領域内で前記距離が最短となる部分の前記フレーム画像内における位置である指先位置を検出する指先検出手段、
   前記画像入力手段から入力されたフレーム画像から、当該フレーム画像内における前記操作者の目の間の位置である視点位置を検出する視点検出手段、
   前記指先検出手段によって検出された指先位置と、前記視点検出手段によって検出された視点位置と、前記指先位置及び前記視点位置における、前記距離画像によって示される前記距離とに基づいて、前記指先によって示される前記表示画面上の位置を解析する画面上位置解析手段として機能させ、
   前記指先検出手段を、
   当該フレーム画像より前に入力されたフレーム画像について検出された前記指先位置に基づいて、当該距離画像における前記指先位置を予測した予測位置を算出し、前記距離画像における、前記予測位置を含む前記予測領域を設定する予測領域設定手段、
   前記マスク画像生成部が生成したマスク画像によって示されるマスク領域を除いた領域である非マスク領域から前記指先位置を検出し、当該指先位置における前記距離と、前記非マスク領域における前記距離の平均値とに基づいて、前記指先位置が前記指先の位置を示すか否かを判定する指先判定手段、して機能させ、
   前記画面上位置解析手段は、前記指先検出手段によって前記指先位置を前記指先に対応する位置と判定した場合に、当該指先によって示される前記表示画面上の位置を解析することを特徴とする表示画面上位置解析プログラム。

Images