JP2000222098A - ハンドポインティング装置、指示位置表示方法及び記録媒体 - Google Patents
ハンドポインティング装置、指示位置表示方法及び記録媒体Info
- Publication number
- JP2000222098A JP2000222098A JP2142199A JP2142199A JP2000222098A JP 2000222098 A JP2000222098 A JP 2000222098A JP 2142199 A JP2142199 A JP 2142199A JP 2142199 A JP2142199 A JP 2142199A JP 2000222098 A JP2000222098 A JP 2000222098A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- designated position
- information input
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 利用者による指示位置のふらつきに拘らず、
指示位置を表す記号の表示位置のふらつきを抑制する。 【解決手段】 利用者がディスプレイの表示面上の任意
の箇所の指示している状況を複数の方向から撮像し、撮
像によって得られた複数の画像に基づいて利用者による
指示位置を判断し、判断した指示位置にカーソルを表示
するにあたり、利用者が指示位置を移動させる動作を行
っていないときには、表示面を仮想的に多数個のグリッ
ドに分割((A)参照) したときの何れのグリッド内に指示
位置が位置しているかを判定し、指示位置を含んでいる
グリッドの中央位置にカーソルを表示させる。また、利
用者が指示位置を移動させる動作を行っているときに
は、指示位置にカーソルを表示させるか、より小面積の
グリッド((B)参照) を用い、指示位置を含んでいる小面
積グリッドの中央位置にカーソルを表示させる。
指示位置を表す記号の表示位置のふらつきを抑制する。 【解決手段】 利用者がディスプレイの表示面上の任意
の箇所の指示している状況を複数の方向から撮像し、撮
像によって得られた複数の画像に基づいて利用者による
指示位置を判断し、判断した指示位置にカーソルを表示
するにあたり、利用者が指示位置を移動させる動作を行
っていないときには、表示面を仮想的に多数個のグリッ
ドに分割((A)参照) したときの何れのグリッド内に指示
位置が位置しているかを判定し、指示位置を含んでいる
グリッドの中央位置にカーソルを表示させる。また、利
用者が指示位置を移動させる動作を行っているときに
は、指示位置にカーソルを表示させるか、より小面積の
グリッド((B)参照) を用い、指示位置を含んでいる小面
積グリッドの中央位置にカーソルを表示させる。
Description
【0001】
【発明の属する技術分野】本発明はハンドポインティン
グ装置、指示位置表示方法及び記録媒体に係り、特に、
認識対象者を撮像して認識対象者が指し示した位置を判
断し、指示位置を示す記号を表示させる指示位置表示方
法、該指示位置表示方法を適用可能なハンドポインティ
ング装置、及び前記指示位置表示方法に係る処理をコン
ピュータに実行させるためのプログラムが記録された記
録媒体に関する。
グ装置、指示位置表示方法及び記録媒体に係り、特に、
認識対象者を撮像して認識対象者が指し示した位置を判
断し、指示位置を示す記号を表示させる指示位置表示方
法、該指示位置表示方法を適用可能なハンドポインティ
ング装置、及び前記指示位置表示方法に係る処理をコン
ピュータに実行させるためのプログラムが記録された記
録媒体に関する。
【0002】
【従来の技術】従来より、所定の情報を表示するディス
プレイ、ディスプレイの近傍に到来した情報入力者(利
用者)を互いに異なる方向から撮像する撮像手段を備
え、到来した情報入力者がディスプレイ上の任意の位置
を指等によって指し示した状況を複数の撮像手段によっ
て撮像し、撮像によって得られた複数の画像に基づいて
情報入力者を認識し、情報入力者が指示したディスプレ
イ上の位置を判断し、ディスプレイ上の指示位置にカー
ソル等を表示すると共に、情報入力者が親指を上げるク
リック動作を行ったことを検出すると、ディスプレイ上
の指示位置がクリックされたと認識して所定の処理を行
うハンドポインティング入力装置が知られている(例え
ば特開平4-271423号公報、特開平 5-19957号公報、特開
平5-324181号公報等参照)。
プレイ、ディスプレイの近傍に到来した情報入力者(利
用者)を互いに異なる方向から撮像する撮像手段を備
え、到来した情報入力者がディスプレイ上の任意の位置
を指等によって指し示した状況を複数の撮像手段によっ
て撮像し、撮像によって得られた複数の画像に基づいて
情報入力者を認識し、情報入力者が指示したディスプレ
イ上の位置を判断し、ディスプレイ上の指示位置にカー
ソル等を表示すると共に、情報入力者が親指を上げるク
リック動作を行ったことを検出すると、ディスプレイ上
の指示位置がクリックされたと認識して所定の処理を行
うハンドポインティング入力装置が知られている(例え
ば特開平4-271423号公報、特開平 5-19957号公報、特開
平5-324181号公報等参照)。
【0003】上記のハンドポインティング入力装置によ
れば、情報入力者がキーボードやマウス等の入力機器に
触れることなく、情報処理装置に対して各種の指示を与
えたり、各種の情報を入力することが可能となるので、
情報処理装置を利用するための操作の簡素化を実現でき
る。
れば、情報入力者がキーボードやマウス等の入力機器に
触れることなく、情報処理装置に対して各種の指示を与
えたり、各種の情報を入力することが可能となるので、
情報処理装置を利用するための操作の簡素化を実現でき
る。
【0004】
【発明が解決しようとする課題】ところで、情報入力者
が所望の位置を指し示す動作(指示動作)は、情報入力
者が自身の腕を上げ、自身の指先や手の先端をディスプ
レイの表示面上の所望の位置を向くように空中で静止さ
せる動作であるが、この静止状態を維持するためには、
作用する重力に抗するために僅かではあるものの筋力を
要する。従って、例えば指示位置を一定の位置に維持す
るために腕や指先、手を一定の位置に静止させようとし
ても、固定物のように厳密に一定の位置に静止させるこ
とは困難であり、指先や手の位置に若干のふらつきが生
ずることが自然である。
が所望の位置を指し示す動作(指示動作)は、情報入力
者が自身の腕を上げ、自身の指先や手の先端をディスプ
レイの表示面上の所望の位置を向くように空中で静止さ
せる動作であるが、この静止状態を維持するためには、
作用する重力に抗するために僅かではあるものの筋力を
要する。従って、例えば指示位置を一定の位置に維持す
るために腕や指先、手を一定の位置に静止させようとし
ても、固定物のように厳密に一定の位置に静止させるこ
とは困難であり、指先や手の位置に若干のふらつきが生
ずることが自然である。
【0005】これに対し、従来のハンドポインティング
装置は、指示位置を表す記号(所謂カーソル)を、ディ
スプレイの表示面上の情報入力者による指示位置に表示
する構成であるので、情報入力者の指先や手の位置のふ
らつきに伴って、ディスプレイに表示されるカーソルの
位置がふらつき、利用者(情報入力者)に違和感を与え
ることがあった。
装置は、指示位置を表す記号(所謂カーソル)を、ディ
スプレイの表示面上の情報入力者による指示位置に表示
する構成であるので、情報入力者の指先や手の位置のふ
らつきに伴って、ディスプレイに表示されるカーソルの
位置がふらつき、利用者(情報入力者)に違和感を与え
ることがあった。
【0006】本発明は上記事実を考慮して成されたもの
で、利用者による指示位置のふらつきに拘らず、指示位
置を表す記号の表示位置のふらつきを抑制することがで
きるハンドポインティング装置、指示位置表示方法、及
び記録媒体を得ることが目的である。
で、利用者による指示位置のふらつきに拘らず、指示位
置を表す記号の表示位置のふらつきを抑制することがで
きるハンドポインティング装置、指示位置表示方法、及
び記録媒体を得ることが目的である。
【0007】
【課題を解決するための手段】上記目的を達成するため
に請求項1記載の発明に係るハンドポインティング装置
は、画像を表示するための表示手段と、認識対象者を互
いに異なる複数の方向から撮像する撮像手段と、認識対
象者が特定の位置を指し示している状況を前記撮像手段
が撮像することで得られた複数の画像に基づいて、前記
画像中の前記認識対象者に相当する画像部を抽出し、認
識対象者による指示位置を判断する判断手段と、前記判
断手段によって判断された指示位置が前記表示手段の表
示面上の特定領域内に含まれている場合に、前記指示位
置を示す記号を、前記特定領域内の一定の位置に表示さ
せる表示制御手段と、を含んで構成している。
に請求項1記載の発明に係るハンドポインティング装置
は、画像を表示するための表示手段と、認識対象者を互
いに異なる複数の方向から撮像する撮像手段と、認識対
象者が特定の位置を指し示している状況を前記撮像手段
が撮像することで得られた複数の画像に基づいて、前記
画像中の前記認識対象者に相当する画像部を抽出し、認
識対象者による指示位置を判断する判断手段と、前記判
断手段によって判断された指示位置が前記表示手段の表
示面上の特定領域内に含まれている場合に、前記指示位
置を示す記号を、前記特定領域内の一定の位置に表示さ
せる表示制御手段と、を含んで構成している。
【0008】請求項1記載の発明では、撮像手段によっ
て互いに異なる複数の方向から認識対象者(利用者)を
撮像する。この撮像手段は、ビデオカメラ等から成る複
数の撮像装置によって認識対象者を複数の方向から撮像
するよう構成してもよいし、平面ミラー等の光反射手段
を設け、単一の撮像装置により認識対象者を直接撮像す
ると共に、平面ミラーに映っている認識対象者の虚像を
撮像することで、認識対象者を複数の方向から撮像する
よう構成することも可能である。
て互いに異なる複数の方向から認識対象者(利用者)を
撮像する。この撮像手段は、ビデオカメラ等から成る複
数の撮像装置によって認識対象者を複数の方向から撮像
するよう構成してもよいし、平面ミラー等の光反射手段
を設け、単一の撮像装置により認識対象者を直接撮像す
ると共に、平面ミラーに映っている認識対象者の虚像を
撮像することで、認識対象者を複数の方向から撮像する
よう構成することも可能である。
【0009】また判断手段は、認識対象者が特定の位置
を指し示している状況を、撮像手段が互いに異なる複数
の方向から撮像することで得られた複数の画像に基づい
て、画像中の認識対象者に相当する画像部を抽出し、認
識対象者による指示位置を判断する。従って、認識対象
者が、例えば表示手段の表示面上の特定の位置を指し示
す動作を行えば、認識対象者による指示位置が判断され
ることになる。
を指し示している状況を、撮像手段が互いに異なる複数
の方向から撮像することで得られた複数の画像に基づい
て、画像中の認識対象者に相当する画像部を抽出し、認
識対象者による指示位置を判断する。従って、認識対象
者が、例えば表示手段の表示面上の特定の位置を指し示
す動作を行えば、認識対象者による指示位置が判断され
ることになる。
【0010】認識対象者による指示位置は、具体的に
は、例えば認識対象者が腕を動かすことで位置が変化す
る特徴点及び認識対象者が腕を動かしても位置が変化し
ない基準点の3次元座標を求め、特徴点及び基準点の3
次元座標に基づいて判断することができる。なお、特徴
点としては、例えば認識対象者の手や指等の先端、或い
は認識対象者が把持している指示器の先端等に相当する
点を用いることができ、基準点としては、例えば認識対
象者の胴体部(例えば胸部や腕の付け根等)に相当する
点を用いることができる。
は、例えば認識対象者が腕を動かすことで位置が変化す
る特徴点及び認識対象者が腕を動かしても位置が変化し
ない基準点の3次元座標を求め、特徴点及び基準点の3
次元座標に基づいて判断することができる。なお、特徴
点としては、例えば認識対象者の手や指等の先端、或い
は認識対象者が把持している指示器の先端等に相当する
点を用いることができ、基準点としては、例えば認識対
象者の胴体部(例えば胸部や腕の付け根等)に相当する
点を用いることができる。
【0011】そして、表示制御手段は、判断手段によっ
て判断された指示位置が表示手段の表示面上の特定領域
内に含まれている場合に、指示位置を示す記号を、特定
領域内の一定の位置に表示させる。これにより、本発明
に係るハンドポインティング装置の利用者(すなわち表
示手段の表示面上の特定の位置を指し示す動作を行った
認識対象者)による指示位置がふらついていたとして
も、指示位置が特定領域内に含まれている間は、指示位
置を示す記号が、表示手段の表示面上の特定領域内の一
定の位置に表示されるので、利用者による指示位置のふ
らつきに拘らず、指示位置を表す記号の表示位置のふら
つきを抑制することができる。
て判断された指示位置が表示手段の表示面上の特定領域
内に含まれている場合に、指示位置を示す記号を、特定
領域内の一定の位置に表示させる。これにより、本発明
に係るハンドポインティング装置の利用者(すなわち表
示手段の表示面上の特定の位置を指し示す動作を行った
認識対象者)による指示位置がふらついていたとして
も、指示位置が特定領域内に含まれている間は、指示位
置を示す記号が、表示手段の表示面上の特定領域内の一
定の位置に表示されるので、利用者による指示位置のふ
らつきに拘らず、指示位置を表す記号の表示位置のふら
つきを抑制することができる。
【0012】請求項2記載の発明は、請求項1の発明に
おいて、表示制御手段は、判断手段によって判断された
指示位置が、表示手段の表示面上を複数の領域に分割し
たときの何れの領域内に含まれるかを判断し、前記指示
位置を示す記号を、前記指示位置が含まれると判断した
特定領域内の一定の位置に表示させることを特徴として
いる。
おいて、表示制御手段は、判断手段によって判断された
指示位置が、表示手段の表示面上を複数の領域に分割し
たときの何れの領域内に含まれるかを判断し、前記指示
位置を示す記号を、前記指示位置が含まれると判断した
特定領域内の一定の位置に表示させることを特徴として
いる。
【0013】請求項2記載の発明では、判断手段によっ
て判断された指示位置が、表示手段の表示面上を複数の
領域に分割したときの何れの領域内に含まれるかを判断
しており、表示手段の表示面上の各位置が前記複数の領
域の何れかに含まれることになる。そして、指示位置を
示す記号を、指示位置が含まれると判断した特定領域内
の一定の位置に表示させるので、指示位置が表示手段の
表示面上の何れの位置に位置しているときにも、指示位
置を表す記号の表示位置のふらつきを抑制することがで
きる。
て判断された指示位置が、表示手段の表示面上を複数の
領域に分割したときの何れの領域内に含まれるかを判断
しており、表示手段の表示面上の各位置が前記複数の領
域の何れかに含まれることになる。そして、指示位置を
示す記号を、指示位置が含まれると判断した特定領域内
の一定の位置に表示させるので、指示位置が表示手段の
表示面上の何れの位置に位置しているときにも、指示位
置を表す記号の表示位置のふらつきを抑制することがで
きる。
【0014】なお、請求項2の発明において、表示手段
の表示面上を複数の領域に分割したときの各領域の境界
に相当する位置は、予め固定的に定めてもよいが、これ
に代えて、判断手段によって最初に判断された指示位置
を基準として各領域の境界に相当する位置を定めてもよ
い。
の表示面上を複数の領域に分割したときの各領域の境界
に相当する位置は、予め固定的に定めてもよいが、これ
に代えて、判断手段によって最初に判断された指示位置
を基準として各領域の境界に相当する位置を定めてもよ
い。
【0015】また、請求項2の発明では表示手段の表示
面上の各位置が複数の領域の何れかに含まれるようにし
ているが、表示手段の表示面への表示内容等によって
は、表示手段の表示面上の特定の一部分(例えば表示面
にアイコン等を表示する場合のアイコン等の表示位置に
対応する部分等)のみを特定領域としてもよい。この態
様では、指示位置が特定領域内に含まれているときにの
み、指示位置を表す記号の表示位置のふらつきが抑制さ
れる。この態様においても、例えばアイコン等の表示位
置が変更された場合には、該変更に応じて特定領域の位
置を変更するようにしてもよい。
面上の各位置が複数の領域の何れかに含まれるようにし
ているが、表示手段の表示面への表示内容等によって
は、表示手段の表示面上の特定の一部分(例えば表示面
にアイコン等を表示する場合のアイコン等の表示位置に
対応する部分等)のみを特定領域としてもよい。この態
様では、指示位置が特定領域内に含まれているときにの
み、指示位置を表す記号の表示位置のふらつきが抑制さ
れる。この態様においても、例えばアイコン等の表示位
置が変更された場合には、該変更に応じて特定領域の位
置を変更するようにしてもよい。
【0016】ところで、請求項2の発明のように表示手
段の表示面上の各位置を複数の領域の何れかに含まれる
ようにした場合、認識対象者が指示位置を移動させる動
作を意識的に行ったときには、指示位置を表す記号の表
示位置が段階的に変化し、指示位置を表す記号が表示面
上をとびとびに移動する、という不自然な表示となるの
で、利用者に違和感を与える可能性がある。このため請
求項3記載の発明は、請求項1の発明において、表示制
御手段は、認識対象者が指示位置を移動させる動作をし
ていると判断した場合には、前記指示位置を示す記号
を、前記表示面上の前記指示位置又はその近傍に表示さ
せることを特徴としている。
段の表示面上の各位置を複数の領域の何れかに含まれる
ようにした場合、認識対象者が指示位置を移動させる動
作を意識的に行ったときには、指示位置を表す記号の表
示位置が段階的に変化し、指示位置を表す記号が表示面
上をとびとびに移動する、という不自然な表示となるの
で、利用者に違和感を与える可能性がある。このため請
求項3記載の発明は、請求項1の発明において、表示制
御手段は、認識対象者が指示位置を移動させる動作をし
ていると判断した場合には、前記指示位置を示す記号
を、前記表示面上の前記指示位置又はその近傍に表示さ
せることを特徴としている。
【0017】請求項3記載の発明では、認識対象者が指
示位置を移動させる動作をしていると判断した場合に、
指示位置を示す記号を、表示面上の指示位置又はその近
傍に表示させるので、認識対象者による指示位置と、指
示位置を示す記号の表示位置と、が略一致することにな
り、認識対象者が指示位置を移動させる動作を意識的に
行った場合には、指示位置を表す記号の表示位置が連続
的に変化し、指示位置を表す記号が表示面上を滑らかに
移動することになる。従って、指示位置を移動させる動
作を行った認識対象者(利用者)に違和感を与えること
を防止することができる。
示位置を移動させる動作をしていると判断した場合に、
指示位置を示す記号を、表示面上の指示位置又はその近
傍に表示させるので、認識対象者による指示位置と、指
示位置を示す記号の表示位置と、が略一致することにな
り、認識対象者が指示位置を移動させる動作を意識的に
行った場合には、指示位置を表す記号の表示位置が連続
的に変化し、指示位置を表す記号が表示面上を滑らかに
移動することになる。従って、指示位置を移動させる動
作を行った認識対象者(利用者)に違和感を与えること
を防止することができる。
【0018】なお、指示位置を移動させる動作をしてい
るか否かの判断は、例えば指示位置の移動量や単位時間
当りの移動量(移動速度)を閾値と比較する等によって
行うことができる。また、単位時間当りの指示位置の移
動量に加え、或る時間内における指示位置の移動方向の
ばらつきの小ささ等も併せて検知して、上記判断を行う
ようにしてもよい。
るか否かの判断は、例えば指示位置の移動量や単位時間
当りの移動量(移動速度)を閾値と比較する等によって
行うことができる。また、単位時間当りの指示位置の移
動量に加え、或る時間内における指示位置の移動方向の
ばらつきの小ささ等も併せて検知して、上記判断を行う
ようにしてもよい。
【0019】請求項4記載の発明は、請求項2の発明に
おいて、表示制御手段は、認識対象者が指示位置を移動
させる動作をしていると判断した場合には、判断手段に
よって判断された指示位置が、前記表示面上を一定かつ
所定値以下の面積の多数の小領域に分割したときの何れ
の小領域内に含まれるかを判断し、前記指示位置を示す
記号を、前記指示位置が含まれると判断した特定小領域
内の一定の位置に表示させることを特徴としている。
おいて、表示制御手段は、認識対象者が指示位置を移動
させる動作をしていると判断した場合には、判断手段に
よって判断された指示位置が、前記表示面上を一定かつ
所定値以下の面積の多数の小領域に分割したときの何れ
の小領域内に含まれるかを判断し、前記指示位置を示す
記号を、前記指示位置が含まれると判断した特定小領域
内の一定の位置に表示させることを特徴としている。
【0020】請求項4記載の発明では、認識対象者が指
示位置を移動させる動作をしていると判断した場合に、
判断された指示位置が、表示面上を一定かつ所定値以下
の面積の多数の小領域に分割したときの何れの小領域内
に含まれるかを判断し、指示位置を示す記号を、指示位
置が含まれると判断した特定小領域内の一定の位置に表
示させるので、認識対象者が指示位置を移動させる動作
を意識的に行った場合には、指示位置を表す記号の表示
位置は段階的に変化し、指示位置を表す記号が表示面上
をとびとびに移動することになる。しかし請求項4の発
明では、小領域の面積を所定値以下としているので、認
識対象者が指示位置を移動させる動作を意識的に行った
場合には、記号の表示位置の変化ステップ(表示面上で
の記号の単位移動量)が小さくなる。従って、指示位置
を移動させる動作を行った認識対象者(利用者)に違和
感を与えることを防止することができる。
示位置を移動させる動作をしていると判断した場合に、
判断された指示位置が、表示面上を一定かつ所定値以下
の面積の多数の小領域に分割したときの何れの小領域内
に含まれるかを判断し、指示位置を示す記号を、指示位
置が含まれると判断した特定小領域内の一定の位置に表
示させるので、認識対象者が指示位置を移動させる動作
を意識的に行った場合には、指示位置を表す記号の表示
位置は段階的に変化し、指示位置を表す記号が表示面上
をとびとびに移動することになる。しかし請求項4の発
明では、小領域の面積を所定値以下としているので、認
識対象者が指示位置を移動させる動作を意識的に行った
場合には、記号の表示位置の変化ステップ(表示面上で
の記号の単位移動量)が小さくなる。従って、指示位置
を移動させる動作を行った認識対象者(利用者)に違和
感を与えることを防止することができる。
【0021】請求項5記載の発明に係る指示位置表示方
法は、認識対象者が特定の位置を指し示している状況
を、互いに異なる複数の方向から撮像することで得られ
た複数の画像に基づいて、前記画像中の前記認識対象者
に相当する画像部を抽出して認識対象者による指示位置
を判断し、判断した指示位置が、画像を表示するための
表示手段の表示面上の特定領域内に含まれている場合
に、前記指示位置を示す記号を、前記特定領域内の一定
の位置に表示させるので、請求項1の発明と同様に、利
用者による指示位置のふらつきに拘らず、指示位置を表
す記号の表示位置のふらつきを抑制することができる。
法は、認識対象者が特定の位置を指し示している状況
を、互いに異なる複数の方向から撮像することで得られ
た複数の画像に基づいて、前記画像中の前記認識対象者
に相当する画像部を抽出して認識対象者による指示位置
を判断し、判断した指示位置が、画像を表示するための
表示手段の表示面上の特定領域内に含まれている場合
に、前記指示位置を示す記号を、前記特定領域内の一定
の位置に表示させるので、請求項1の発明と同様に、利
用者による指示位置のふらつきに拘らず、指示位置を表
す記号の表示位置のふらつきを抑制することができる。
【0022】請求項6記載の発明に係る記録媒体は、認
識対象者が特定の位置を指し示している状況を、互いに
異なる複数の方向から撮像することで得られた複数の画
像に基づいて、前記画像中の前記認識対象者に相当する
画像部を抽出して認識対象者による指示位置を判断する
第1のステップ、及び、判断した指示位置が、画像を表
示するための表示手段の表示面上の特定領域内に含まれ
ている場合に、前記指示位置を示す記号を、前記特定領
域内の一定の位置に表示させる第2のステップを含む処
理をコンピュータに実行させるためのプログラムが記録
されている。
識対象者が特定の位置を指し示している状況を、互いに
異なる複数の方向から撮像することで得られた複数の画
像に基づいて、前記画像中の前記認識対象者に相当する
画像部を抽出して認識対象者による指示位置を判断する
第1のステップ、及び、判断した指示位置が、画像を表
示するための表示手段の表示面上の特定領域内に含まれ
ている場合に、前記指示位置を示す記号を、前記特定領
域内の一定の位置に表示させる第2のステップを含む処
理をコンピュータに実行させるためのプログラムが記録
されている。
【0023】請求項6記載の発明に係る記録媒体には、
上記の第1のステップ及び第2のステップを含む処理、
すなわち請求項5の発明に係る指示位置表示方法に係る
処理をコンピュータに実行させるためのプログラムが記
録されているので、コンピュータが前記記録媒体に記録
されているプログラムを読み出して実行することによ
り、請求項1の発明及び請求項5の発明と同様に、利用
者による指示位置のふらつきに拘らず、指示位置を表す
記号の表示位置のふらつきを抑制することができる。
上記の第1のステップ及び第2のステップを含む処理、
すなわち請求項5の発明に係る指示位置表示方法に係る
処理をコンピュータに実行させるためのプログラムが記
録されているので、コンピュータが前記記録媒体に記録
されているプログラムを読み出して実行することによ
り、請求項1の発明及び請求項5の発明と同様に、利用
者による指示位置のふらつきに拘らず、指示位置を表す
記号の表示位置のふらつきを抑制することができる。
【0024】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態の一例を詳細に説明する。図1に示すように、本
発明に係る認識対象者としての情報入力者10が到来す
る箇所の壁面には大画面ディスプレイ12が埋め込まれ
ている。なお、ディスプレイ12としては液晶ディスプ
レイ(LCD)やプラズマディスプレイ、ブラウン管、
光ファイバディスプレイ等の周知の表示手段を適用でき
る。
施形態の一例を詳細に説明する。図1に示すように、本
発明に係る認識対象者としての情報入力者10が到来す
る箇所の壁面には大画面ディスプレイ12が埋め込まれ
ている。なお、ディスプレイ12としては液晶ディスプ
レイ(LCD)やプラズマディスプレイ、ブラウン管、
光ファイバディスプレイ等の周知の表示手段を適用でき
る。
【0025】ディスプレイ12はパーソナルコンピュー
タ等から成る情報処理装置14に接続されており(図2
参照)、情報処理装置14により、各種の情報が表示面
上に図形、表、文字、画像等の種々の表示形態で表示さ
れる。本実施形態において、情報入力者10は、ディス
プレイ12の前方の図1に示した箇所(情報入力空間)
に到来し、ディスプレイ12の表示面上の各種情報が表
示されている位置を指し示すと共に、クリック動作(詳
細は後述)を行うことにより、情報処理装置14に対し
て各種の指示を与えたり各種の処理を実行させる。
タ等から成る情報処理装置14に接続されており(図2
参照)、情報処理装置14により、各種の情報が表示面
上に図形、表、文字、画像等の種々の表示形態で表示さ
れる。本実施形態において、情報入力者10は、ディス
プレイ12の前方の図1に示した箇所(情報入力空間)
に到来し、ディスプレイ12の表示面上の各種情報が表
示されている位置を指し示すと共に、クリック動作(詳
細は後述)を行うことにより、情報処理装置14に対し
て各種の指示を与えたり各種の処理を実行させる。
【0026】図2に示すように、情報処理装置14に
は、本実施形態に係るハンドポインティング入力装置2
0のコントローラ22が接続されている。なお、上述し
たディスプレイ12、情報処理装置14、及びハンドポ
インティング入力装置20は、本発明に係る指示位置表
示方法が適用された本発明に係るハンドポインティング
装置に対応している。
は、本実施形態に係るハンドポインティング入力装置2
0のコントローラ22が接続されている。なお、上述し
たディスプレイ12、情報処理装置14、及びハンドポ
インティング入力装置20は、本発明に係る指示位置表
示方法が適用された本発明に係るハンドポインティング
装置に対応している。
【0027】コントローラ22は、CPU22A、RO
M22B、RAM22C、入出力インタフェース22D
を備えており、これらがバスを介して互いに接続されて
構成されている。入出力インタフェース22Dには情報
処理装置14が接続されていると共に、記憶内容を書換
え可能な不揮発性の記憶媒体(例えば磁気ディスク)を
内蔵した記憶装置24、各種の情報を表示するためのデ
ィスプレイ26、オペレータが各種の指示やデータを入
力するためのキーボード28、照明制御装置30、撮像
制御装置34、マーク板駆動装置38、及びCD−RO
Mドライバ40が各々接続されている。
M22B、RAM22C、入出力インタフェース22D
を備えており、これらがバスを介して互いに接続されて
構成されている。入出力インタフェース22Dには情報
処理装置14が接続されていると共に、記憶内容を書換
え可能な不揮発性の記憶媒体(例えば磁気ディスク)を
内蔵した記憶装置24、各種の情報を表示するためのデ
ィスプレイ26、オペレータが各種の指示やデータを入
力するためのキーボード28、照明制御装置30、撮像
制御装置34、マーク板駆動装置38、及びCD−RO
Mドライバ40が各々接続されている。
【0028】コントローラ22を本発明に係るハンドポ
インティング装置として機能させるためのプログラム
(以下、単に「プログラム」という)は、例えばCD−
ROMドライバ40に装填されるCD−ROM42に記
憶することができる。プログラムの実行が指示される
と、CD−ROM42からプログラムが読み出され、読
み出されたプログラムがコントローラ22によって実行
される。これにより、コントローラ22を含む各装置は
ハンドポインティング装置として機能する。なお、上記
態様において、CD−ROM42は請求項6に記載の記
録媒体に対応している。
インティング装置として機能させるためのプログラム
(以下、単に「プログラム」という)は、例えばCD−
ROMドライバ40に装填されるCD−ROM42に記
憶することができる。プログラムの実行が指示される
と、CD−ROM42からプログラムが読み出され、読
み出されたプログラムがコントローラ22によって実行
される。これにより、コントローラ22を含む各装置は
ハンドポインティング装置として機能する。なお、上記
態様において、CD−ROM42は請求項6に記載の記
録媒体に対応している。
【0029】照明制御装置30には、近赤外域の波長の
光をビーム状に射出する複数の近赤外光照明装置32
A、32Bが接続されている。図1に示すように、近赤
外光照明装置32A、32Bは、情報入力空間の上方の
互いに異なる箇所に配設されており、情報入力空間に到
来した情報入力者10を、互いに異なる方向から照明す
るように照射範囲が調整されている。照明制御装置30
は照明装置32A、32Bの点灯・消灯を制御する。
光をビーム状に射出する複数の近赤外光照明装置32
A、32Bが接続されている。図1に示すように、近赤
外光照明装置32A、32Bは、情報入力空間の上方の
互いに異なる箇所に配設されており、情報入力空間に到
来した情報入力者10を、互いに異なる方向から照明す
るように照射範囲が調整されている。照明制御装置30
は照明装置32A、32Bの点灯・消灯を制御する。
【0030】撮像制御装置34には、情報入力空間の上
方の互いに異なる箇所に配設された(図1参照)複数の
ビデオカメラ36A、36Bが接続されている。ビデオ
カメラ36A、36Bは、図示は省略するが、近赤外光
に感度を有するCCD等から成るエリアセンサを備えて
いると共に、入射光をエリアセンサの受光面に結像させ
る結像レンズの光入射側に、近赤外域の波長の光のみを
透過するフィルタが設けられている。なお、撮像手段
(カメラ)として遠赤外線カメラを用い、人間(情報入
力者)の体温による遠赤外線と、人間の体温と所定値以
上離れた温度(体温よりも高い温度であっても低い温度
であってもよい)に設定又は温度調整された床から放射
される遠赤外光と、によって人間と背景とを弁別する方
法を用いても良い。この場合は照明装置32A、32B
及び照明制御装置30を省略することも可能となる。
方の互いに異なる箇所に配設された(図1参照)複数の
ビデオカメラ36A、36Bが接続されている。ビデオ
カメラ36A、36Bは、図示は省略するが、近赤外光
に感度を有するCCD等から成るエリアセンサを備えて
いると共に、入射光をエリアセンサの受光面に結像させ
る結像レンズの光入射側に、近赤外域の波長の光のみを
透過するフィルタが設けられている。なお、撮像手段
(カメラ)として遠赤外線カメラを用い、人間(情報入
力者)の体温による遠赤外線と、人間の体温と所定値以
上離れた温度(体温よりも高い温度であっても低い温度
であってもよい)に設定又は温度調整された床から放射
される遠赤外光と、によって人間と背景とを弁別する方
法を用いても良い。この場合は照明装置32A、32B
及び照明制御装置30を省略することも可能となる。
【0031】図3に示すように、ビデオカメラ36A、
36Bは情報入力空間に到来した情報入力者10を互い
に異なる方向から撮像するように向きが調整されてい
る。また、ビデオカメラ36Aは、情報入力空間に到来
した情報入力者10が撮像範囲内に入り、かつ照明装置
32Aから射出された光が結像レンズに直接入射せず、
かつ撮像範囲の中心が、情報入力空間内において照明装
置32Aによる照明範囲の中心と床面から所定高さで交
差するように(照明装置32Aによる床面上の照明範囲
が撮像範囲から外れるように)、向き(撮像範囲)が調
整されている。同様にビデオカメラ36Bは、情報入力
空間に到来した情報入力者10が撮像範囲内に入り、か
つ照明装置32Bから射出された光が結像レンズに直接
入射せず、かつ撮像範囲の中心が、情報入力空間内にお
いて照明装置32Bによる照明範囲の中心と床面から所
定高さで交差するように(照明装置32Aによる床面上
の照明範囲が撮像範囲から外れるように)、向き(撮像
範囲)が調整されている。
36Bは情報入力空間に到来した情報入力者10を互い
に異なる方向から撮像するように向きが調整されてい
る。また、ビデオカメラ36Aは、情報入力空間に到来
した情報入力者10が撮像範囲内に入り、かつ照明装置
32Aから射出された光が結像レンズに直接入射せず、
かつ撮像範囲の中心が、情報入力空間内において照明装
置32Aによる照明範囲の中心と床面から所定高さで交
差するように(照明装置32Aによる床面上の照明範囲
が撮像範囲から外れるように)、向き(撮像範囲)が調
整されている。同様にビデオカメラ36Bは、情報入力
空間に到来した情報入力者10が撮像範囲内に入り、か
つ照明装置32Bから射出された光が結像レンズに直接
入射せず、かつ撮像範囲の中心が、情報入力空間内にお
いて照明装置32Bによる照明範囲の中心と床面から所
定高さで交差するように(照明装置32Aによる床面上
の照明範囲が撮像範囲から外れるように)、向き(撮像
範囲)が調整されている。
【0032】なお、ビデオカメラ36A、36B、撮像
制御装置34、照明制御装置30、及び近赤外光照明装
置32A、32Bは本発明の撮像手段に対応している。
制御装置34、照明制御装置30、及び近赤外光照明装
置32A、32Bは本発明の撮像手段に対応している。
【0033】また図4に示すように、ハンドポインティ
ング入力装置20は、情報入力空間の近傍に配設された
マーク板40を備えている。マーク板40は、透明な平
板に多数のマーク40Aがマトリクス状に等間隔で記録
されて構成されており、マーク40Aの配列方向に直交
する方向(図4の矢印A方向)に沿って情報入力空間を
横切るように移動可能とされている。なおマーク40A
は、画像上での認識が容易な色(例えば赤色)に着色さ
れている。入出力インタフェース22Dに接続されたマ
ーク板駆動装置38は、コントローラ22からの指示に
応じてマーク板40を図4の矢印A方向に沿って移動さ
せる。
ング入力装置20は、情報入力空間の近傍に配設された
マーク板40を備えている。マーク板40は、透明な平
板に多数のマーク40Aがマトリクス状に等間隔で記録
されて構成されており、マーク40Aの配列方向に直交
する方向(図4の矢印A方向)に沿って情報入力空間を
横切るように移動可能とされている。なおマーク40A
は、画像上での認識が容易な色(例えば赤色)に着色さ
れている。入出力インタフェース22Dに接続されたマ
ーク板駆動装置38は、コントローラ22からの指示に
応じてマーク板40を図4の矢印A方向に沿って移動さ
せる。
【0034】次に本実施形態の作用として、まず、ハン
ドポインティング入力装置20が設置された際にコント
ローラ22によって実行される格子点位置情報初期設定
処理について、図5のフローチャートを参照して説明す
る。
ドポインティング入力装置20が設置された際にコント
ローラ22によって実行される格子点位置情報初期設定
処理について、図5のフローチャートを参照して説明す
る。
【0035】ステップ100では、マーク板駆動装置3
8により、マーク板40を所定位置(マーク板40の移
動範囲の端部に相当する位置)に移動させる。次のステ
ップ102では、現在のマーク板40の位置において、
マーク板40に記録されている多数のマーク40Aの情
報入力空間内での3次元座標(x,y,z)を各々演算
する。ステップ104では撮像制御装置34を介し、ビ
デオカメラ36A、36Bによって情報入力空間を撮像
させ、次のステップ106では、ビデオカメラ36Aが
情報入力空間を撮像することによって得られた画像(以
下画像Aと称する)を撮像制御装置34を介して取り込
む。
8により、マーク板40を所定位置(マーク板40の移
動範囲の端部に相当する位置)に移動させる。次のステ
ップ102では、現在のマーク板40の位置において、
マーク板40に記録されている多数のマーク40Aの情
報入力空間内での3次元座標(x,y,z)を各々演算
する。ステップ104では撮像制御装置34を介し、ビ
デオカメラ36A、36Bによって情報入力空間を撮像
させ、次のステップ106では、ビデオカメラ36Aが
情報入力空間を撮像することによって得られた画像(以
下画像Aと称する)を撮像制御装置34を介して取り込
む。
【0036】ステップ108では、ステップ106で取
り込んだ画像A中に存在するマーク40Aの認識(抽
出)を行い、次のステップ110では認識した全てのマ
ーク40Aについて、画像A上での位置(XA,YA)を
演算する。そしてステップ112では、画像A中に存在
する全てのマーク40Aについて、情報入力空間内での
3次元座標(x,y,z)と、画像A上での位置
(XA,YA)とを対応させ、ビデオカメラ36Aの格子
点位置情報として記憶装置24に記憶させる。
り込んだ画像A中に存在するマーク40Aの認識(抽
出)を行い、次のステップ110では認識した全てのマ
ーク40Aについて、画像A上での位置(XA,YA)を
演算する。そしてステップ112では、画像A中に存在
する全てのマーク40Aについて、情報入力空間内での
3次元座標(x,y,z)と、画像A上での位置
(XA,YA)とを対応させ、ビデオカメラ36Aの格子
点位置情報として記憶装置24に記憶させる。
【0037】次のステップ114〜120では、上記の
ステップ106〜112と同様にしてビデオカメラ36
Bに対する処理を行う。すなわち、ステップ114では
ビデオカメラ36Bが情報入力空間を撮像することによ
って得られた画像(以下画像Bと称する)を撮像制御装
置34を介して取り込み、ステップ116ではステップ
114で取り込んだ画像B中に存在するマーク40Aの
認識(抽出)を行い、次のステップ118では認識した
全てのマーク40Aについて、画像B上での位置
(XB,YB)を演算する。そしてステップ120では、
画像B中に存在する全てのマーク40Aについて、情報
入力空間内での3次元座標(x,y,z)と、画像B上
での位置(XB,YB)とを対応させ、ビデオカメラ36
Bの格子点位置情報として記憶装置24に記憶させる。
ステップ106〜112と同様にしてビデオカメラ36
Bに対する処理を行う。すなわち、ステップ114では
ビデオカメラ36Bが情報入力空間を撮像することによ
って得られた画像(以下画像Bと称する)を撮像制御装
置34を介して取り込み、ステップ116ではステップ
114で取り込んだ画像B中に存在するマーク40Aの
認識(抽出)を行い、次のステップ118では認識した
全てのマーク40Aについて、画像B上での位置
(XB,YB)を演算する。そしてステップ120では、
画像B中に存在する全てのマーク40Aについて、情報
入力空間内での3次元座標(x,y,z)と、画像B上
での位置(XB,YB)とを対応させ、ビデオカメラ36
Bの格子点位置情報として記憶装置24に記憶させる。
【0038】次のステップ122では、マーク板40が
最終位置(マーク板40の移動範囲のうちステップ10
0における所定位置と反対側の端部に相当する位置)迄
移動したか否か判定する。ステップ122の判定が否定
された場合にはステップ124へ移行し、マーク板駆動
装置38により、マーク板40を所定方向に一定距離
(詳しくは、マーク板40上におけるマーク40Aの間
隔に一致する距離)だけ移動させた後にステップ102
に戻る。
最終位置(マーク板40の移動範囲のうちステップ10
0における所定位置と反対側の端部に相当する位置)迄
移動したか否か判定する。ステップ122の判定が否定
された場合にはステップ124へ移行し、マーク板駆動
装置38により、マーク板40を所定方向に一定距離
(詳しくは、マーク板40上におけるマーク40Aの間
隔に一致する距離)だけ移動させた後にステップ102
に戻る。
【0039】上記のように、マーク板40が最終位置に
移動する迄、ステップ102〜124が繰り返されるこ
とにより、マーク板40に記録されている多数のマーク
40Aは、情報入力空間内に一定間隔で格子状に並ぶ多
数の格子点に対応する位置へ移動され、ビデオカメラ3
6Aの格子点位置情報として、各格子点の情報入力空間
内での3次元座標と画像A上での位置とが対応されて記
憶装置24に記憶されると共に、ビデオカメラ36Bの
格子点位置情報として、各格子点の情報入力空間内での
3次元座標と画像B上での位置とが対応されて記憶装置
24に記憶されることになる。
移動する迄、ステップ102〜124が繰り返されるこ
とにより、マーク板40に記録されている多数のマーク
40Aは、情報入力空間内に一定間隔で格子状に並ぶ多
数の格子点に対応する位置へ移動され、ビデオカメラ3
6Aの格子点位置情報として、各格子点の情報入力空間
内での3次元座標と画像A上での位置とが対応されて記
憶装置24に記憶されると共に、ビデオカメラ36Bの
格子点位置情報として、各格子点の情報入力空間内での
3次元座標と画像B上での位置とが対応されて記憶装置
24に記憶されることになる。
【0040】なお、マーク板40及びマーク板駆動装置
38は、上記の格子点位置情報初期設定処理においての
み用いられ、後述する処理では用いないので、上記の処
理を実行した後に、マーク板40及びマーク板駆動装置
38を撤去するようにしてもよい。
38は、上記の格子点位置情報初期設定処理においての
み用いられ、後述する処理では用いないので、上記の処
理を実行した後に、マーク板40及びマーク板駆動装置
38を撤去するようにしてもよい。
【0041】またマーク40Aが記録されたマーク板4
0に代えて、透明な平板にLED等の多数の発光素子が
マトリクス状に配設されたマーク板を用い、マーク板を
一定距離ずつステップ移動させると共に、ステップ移動
における各位置で多数の発光素子を順に点灯させること
を繰り返すことによって上記の処理を行うようにしても
よい。また発光素子が取付けられたハンドを備え、該ハ
ンドを情報入力空間内の任意の位置に移動可能とされた
ロボットアーム装置を用い、ロボットアーム装置によっ
て各格子点に対応する各位置に発光素子を移動させて点
灯させることを繰り返すことによって上記処理を行うこ
とも可能である。
0に代えて、透明な平板にLED等の多数の発光素子が
マトリクス状に配設されたマーク板を用い、マーク板を
一定距離ずつステップ移動させると共に、ステップ移動
における各位置で多数の発光素子を順に点灯させること
を繰り返すことによって上記の処理を行うようにしても
よい。また発光素子が取付けられたハンドを備え、該ハ
ンドを情報入力空間内の任意の位置に移動可能とされた
ロボットアーム装置を用い、ロボットアーム装置によっ
て各格子点に対応する各位置に発光素子を移動させて点
灯させることを繰り返すことによって上記処理を行うこ
とも可能である。
【0042】次に図6のフローチャートを参照し、上記
の格子点位置情報初期設定処理が行われた後にコントロ
ーラ22で定常的に実行される指示判断処理について説
明する。なお、この指示判断処理は情報入力空間に到来
した情報入力者10からの指示の判断等を行うものであ
る。
の格子点位置情報初期設定処理が行われた後にコントロ
ーラ22で定常的に実行される指示判断処理について説
明する。なお、この指示判断処理は情報入力空間に到来
した情報入力者10からの指示の判断等を行うものであ
る。
【0043】ステップ150では、ビデオカメラ36A
から出力される画像Aを表す画像データ、及びビデオカ
メラ36Bから出力される画像Bを表す画像データを各
々取り込み、取り込んだ画像A及び画像Bの画像データ
に基づいて、情報入力空間内に情報入力者10が到来し
たか(存在しているか)否か判定し、判定が肯定される
迄待機する。
から出力される画像Aを表す画像データ、及びビデオカ
メラ36Bから出力される画像Bを表す画像データを各
々取り込み、取り込んだ画像A及び画像Bの画像データ
に基づいて、情報入力空間内に情報入力者10が到来し
たか(存在しているか)否か判定し、判定が肯定される
迄待機する。
【0044】コントローラ22が指示判断処理を実行し
ているときには、図8に示すように、照明制御装置30
は照明装置32A、32Bを交互に点灯させ、撮像制御
装置34は、ビデオカメラ36Aによる情報入力空間の
撮像が照明装置32Aが点灯しているときに行われ、ビ
デオカメラ36Bによる情報入力空間の撮像が照明装置
32Bが点灯しているときに行われるように制御する。
ているときには、図8に示すように、照明制御装置30
は照明装置32A、32Bを交互に点灯させ、撮像制御
装置34は、ビデオカメラ36Aによる情報入力空間の
撮像が照明装置32Aが点灯しているときに行われ、ビ
デオカメラ36Bによる情報入力空間の撮像が照明装置
32Bが点灯しているときに行われるように制御する。
【0045】ビデオカメラ36Aの撮像範囲は照明装置
32Aによる床面上の照明範囲が撮像範囲から外れるよ
うに調整されているので、照明装置32Aによる床面上
の照明範囲内に情報入力者10の荷物やゴミ等の非認識
対象物50A(図3参照)が存在していたとしても、こ
の非認識対象物50Aがビデオカメラ36Aの撮像範囲
に入ることはない。また、床面上のビデオカメラ36A
によって撮像される範囲内に非認識対象物50B(図3
参照)が存在していたとしても、非認識対象物50Bは
照明装置32Aによる照明範囲から外れているので、画
像A中に存在する非認識対象物50Bに相当する画像部
の輝度は非常に低くなる。
32Aによる床面上の照明範囲が撮像範囲から外れるよ
うに調整されているので、照明装置32Aによる床面上
の照明範囲内に情報入力者10の荷物やゴミ等の非認識
対象物50A(図3参照)が存在していたとしても、こ
の非認識対象物50Aがビデオカメラ36Aの撮像範囲
に入ることはない。また、床面上のビデオカメラ36A
によって撮像される範囲内に非認識対象物50B(図3
参照)が存在していたとしても、非認識対象物50Bは
照明装置32Aによる照明範囲から外れているので、画
像A中に存在する非認識対象物50Bに相当する画像部
の輝度は非常に低くなる。
【0046】同様に、ビデオカメラ36Bの撮像範囲は
照明装置32Bによる床面上の照明範囲が撮像範囲から
外れるように調整されているので、照明装置32Bによ
って照明される床面上に非認識対象物50Bが存在して
いたとしても、この非認識対象物50Bがビデオカメラ
36Bの撮像範囲に入ることはない。また、床面上のビ
デオカメラ36Bによって撮像される範囲内に非認識対
象物50Aが存在していたとしても、画像B中に存在す
る非認識対象物50Bに相当する画像部の輝度は非常に
低くなる。
照明装置32Bによる床面上の照明範囲が撮像範囲から
外れるように調整されているので、照明装置32Bによ
って照明される床面上に非認識対象物50Bが存在して
いたとしても、この非認識対象物50Bがビデオカメラ
36Bの撮像範囲に入ることはない。また、床面上のビ
デオカメラ36Bによって撮像される範囲内に非認識対
象物50Aが存在していたとしても、画像B中に存在す
る非認識対象物50Bに相当する画像部の輝度は非常に
低くなる。
【0047】従って、先のステップ150の判定は、例
えば画像A及び画像B中に、高輝度でかつ所定値以上の
面積の画像部が存在しているか否か等の極めて簡単な判
断処理で済む。ステップ150の判定が否定された場合
には、判定が肯定される迄待機する。
えば画像A及び画像B中に、高輝度でかつ所定値以上の
面積の画像部が存在しているか否か等の極めて簡単な判
断処理で済む。ステップ150の判定が否定された場合
には、判定が肯定される迄待機する。
【0048】情報入力空間に情報入力者10が到来する
と、ステップ150の判定が肯定されてステップ152
へ移行し、各種のフラグや処理モード等の初期設定を行
う。次のステップ154では、情報入力空間から情報入
力者10が退去したか否か判定する。情報入力空間から
情報入力者10が退去した場合には、前記判定が肯定さ
れてステップ150に戻り、情報入力空間に再度情報入
力者10が到来する迄待機するが、前記判定が否定され
た場合には、ステップ156で基準点・特徴点座標演算
処理を行う。以下、この基準点・特徴点座標演算処理に
ついて、図7のフローチャートを参照して説明する。
と、ステップ150の判定が肯定されてステップ152
へ移行し、各種のフラグや処理モード等の初期設定を行
う。次のステップ154では、情報入力空間から情報入
力者10が退去したか否か判定する。情報入力空間から
情報入力者10が退去した場合には、前記判定が肯定さ
れてステップ150に戻り、情報入力空間に再度情報入
力者10が到来する迄待機するが、前記判定が否定され
た場合には、ステップ156で基準点・特徴点座標演算
処理を行う。以下、この基準点・特徴点座標演算処理に
ついて、図7のフローチャートを参照して説明する。
【0049】ステップ210ではビデオカメラ36A、
36Bから画像A及び画像Bのデータを各々取り込み、
次のステップ212では取り込んだ画像A及び画像Bか
ら、情報入力者10の全体像に相当する画像部を各々抽
出する。この情報入力者10の全体像に相当する画像部
についても、高輝度の画素から成る所定値以上の面積の
連続した領域を判断することで容易に抽出することがで
きる。
36Bから画像A及び画像Bのデータを各々取り込み、
次のステップ212では取り込んだ画像A及び画像Bか
ら、情報入力者10の全体像に相当する画像部を各々抽
出する。この情報入力者10の全体像に相当する画像部
についても、高輝度の画素から成る所定値以上の面積の
連続した領域を判断することで容易に抽出することがで
きる。
【0050】ステップ214では、情報入力者10の全
体像に相当する画像部に基づき、情報入力者10の身長
を求める。図9に示すように、点Oに位置しているビデ
オカメラ36の結像レンズの焦点距離をf、点Oを通る
鉛直線と情報入力空間の床面との交点Qと点Oとの距離
をH、点Qと情報入力者10が立っている床面上の点P
との距離をR、情報入力者10の頭頂部に相当する点
P’と点Pとの距離hを情報入力者10の身長とする。
また、点POQの成す角度をθ、点P’OQの成す角度
をθ’、ビデオカメラ36のエリアセンサの受光面に結
像される情報入力者10の像の長さをh’、点Pに対応
する受光面上の結像点を点p、点P’に対応する受光面
上の結像点を点p’、受光面の中心oと点pとの距離を
r、受光面の中心oと点p’との距離をr’とすると、
角度θ、θ’、距離r、r’は次の(1)〜(4)式か
ら求めることができる。
体像に相当する画像部に基づき、情報入力者10の身長
を求める。図9に示すように、点Oに位置しているビデ
オカメラ36の結像レンズの焦点距離をf、点Oを通る
鉛直線と情報入力空間の床面との交点Qと点Oとの距離
をH、点Qと情報入力者10が立っている床面上の点P
との距離をR、情報入力者10の頭頂部に相当する点
P’と点Pとの距離hを情報入力者10の身長とする。
また、点POQの成す角度をθ、点P’OQの成す角度
をθ’、ビデオカメラ36のエリアセンサの受光面に結
像される情報入力者10の像の長さをh’、点Pに対応
する受光面上の結像点を点p、点P’に対応する受光面
上の結像点を点p’、受光面の中心oと点pとの距離を
r、受光面の中心oと点p’との距離をr’とすると、
角度θ、θ’、距離r、r’は次の(1)〜(4)式か
ら求めることができる。
【0051】 θ =tan-1(R/H) …(1) θ’=tan-1{R/(H−h)} …(2) r =fθ …(3) r’=fθ’ …(4) 従って、情報入力者10の身長h及び距離Rは次の
(5)式及び(6)式によって求めることができる。
(5)式及び(6)式によって求めることができる。
【0052】 h=H{1−tan(r/f)/tan(r’/f)} …(5) R=Htan(r/f) …(6) 距離H及び焦点距離fは既知であるので、ステップ21
4ではビデオカメラ36A、36Bの撮像によって得ら
れた画像A及び画像Bの何れかから距離r、r’を求
め、これを(5)式に代入することにより情報入力者1
0の身長hを求めることができる。また、ステップ21
4では、画像A及び画像Bの各々から距離rを求め、こ
れを(6)式に各々代入して距離Rを各々求めることに
より、情報入力者10の床面上の位置(2次元座標)を
求める。
4ではビデオカメラ36A、36Bの撮像によって得ら
れた画像A及び画像Bの何れかから距離r、r’を求
め、これを(5)式に代入することにより情報入力者1
0の身長hを求めることができる。また、ステップ21
4では、画像A及び画像Bの各々から距離rを求め、こ
れを(6)式に各々代入して距離Rを各々求めることに
より、情報入力者10の床面上の位置(2次元座標)を
求める。
【0053】次のステップ216では、ステップ214
で求めた情報入力者10の身長h及び情報入力者10の
床面上の位置に基づき、情報入力者10の基準点P0の
3次元座標(x0,y0,z0)を決定する。なお基準点
P0としては、例えば情報入力者10の背中に相当する
点(図12に示す点P0)を用いることができる。この
場合、情報入力者10の身長hに基づいて情報入力者1
0の背中に相当する基準点P0の床面からの高さ(例え
ばz0の値)を割り出し、情報入力者10の床面上の位
置(平面座標)を基準点P0の平面座標(例えばx0、y
0の値)として設定することにより、基準点P0の3次元
座標を決定することができる。なお、情報入力者10の
背中に相当する点に代えて、情報入力者10の胸部に相
当する点や、情報入力者10の腕の付け根に相当する点
等を用いてもよい。
で求めた情報入力者10の身長h及び情報入力者10の
床面上の位置に基づき、情報入力者10の基準点P0の
3次元座標(x0,y0,z0)を決定する。なお基準点
P0としては、例えば情報入力者10の背中に相当する
点(図12に示す点P0)を用いることができる。この
場合、情報入力者10の身長hに基づいて情報入力者1
0の背中に相当する基準点P0の床面からの高さ(例え
ばz0の値)を割り出し、情報入力者10の床面上の位
置(平面座標)を基準点P0の平面座標(例えばx0、y
0の値)として設定することにより、基準点P0の3次元
座標を決定することができる。なお、情報入力者10の
背中に相当する点に代えて、情報入力者10の胸部に相
当する点や、情報入力者10の腕の付け根に相当する点
等を用いてもよい。
【0054】ステップ218では、画像A及び画像B上
での情報入力者10の全体像に相当する画像部の形状に
基づいて、情報入力者10が指等によりディスプレイ1
2側を指し示す動作(指示動作)を行っているか否か判
定する。情報入力者10から見たディスプレイ12の方
向は既知であるので、ステップ218の判定は、例えば
情報入力者10の全体像に相当する画像部において、情
報入力者10の手に相当すると判断できる高さ位置に、
情報入力者10から見たディスプレイ12の方向に向か
って突出している部分が有るか否かを判断することで実
現できる。
での情報入力者10の全体像に相当する画像部の形状に
基づいて、情報入力者10が指等によりディスプレイ1
2側を指し示す動作(指示動作)を行っているか否か判
定する。情報入力者10から見たディスプレイ12の方
向は既知であるので、ステップ218の判定は、例えば
情報入力者10の全体像に相当する画像部において、情
報入力者10の手に相当すると判断できる高さ位置に、
情報入力者10から見たディスプレイ12の方向に向か
って突出している部分が有るか否かを判断することで実
現できる。
【0055】これにより、情報入力者10が、図10
(A)に示す直立状態から、図10(B)又は(C)に
示すように腕を上げて手をディスプレイ12側に向けれ
ば、情報入力者10が指示動作を行っていると判定され
ることになる。ステップ218の判定が否定された場合
には、特徴点の3次元座標の演算(詳細は後述)を行う
ことなく基準点・特徴点座標演算処理を終了する。
(A)に示す直立状態から、図10(B)又は(C)に
示すように腕を上げて手をディスプレイ12側に向けれ
ば、情報入力者10が指示動作を行っていると判定され
ることになる。ステップ218の判定が否定された場合
には、特徴点の3次元座標の演算(詳細は後述)を行う
ことなく基準点・特徴点座標演算処理を終了する。
【0056】情報入力者10が指示動作を行っている場
合には、ステップ218の判定が肯定されてステップ2
20へ移行する。ステップ220では、ビデオカメラ3
6Aから取り込んだ画像Aを表す画像データに基づい
て、画像A中に存在する情報入力者10の特徴点PXを
抽出し、画像A上での特徴点PXの位置(XA,YA)を
演算する。情報入力者10の特徴点PXとしては、ディ
スプレイ12側を指し示す動作を行っている指の先端に
相当する点等を用いることができる。この場合、情報入
力者10の全体像を表す画像部のうち、情報入力者10
の手に相当すると判断できる高さ位置に、ディスプレイ
12の方向に向かって突出している部分の先端の位置
を、特徴点PXの位置として演算することができる。
合には、ステップ218の判定が肯定されてステップ2
20へ移行する。ステップ220では、ビデオカメラ3
6Aから取り込んだ画像Aを表す画像データに基づい
て、画像A中に存在する情報入力者10の特徴点PXを
抽出し、画像A上での特徴点PXの位置(XA,YA)を
演算する。情報入力者10の特徴点PXとしては、ディ
スプレイ12側を指し示す動作を行っている指の先端に
相当する点等を用いることができる。この場合、情報入
力者10の全体像を表す画像部のうち、情報入力者10
の手に相当すると判断できる高さ位置に、ディスプレイ
12の方向に向かって突出している部分の先端の位置
を、特徴点PXの位置として演算することができる。
【0057】これにより、ビデオカメラ36Aによって
情報入力者10の手が図11(A)に示すように撮像さ
れた場合、特徴点PXの位置として、図11(B)に示
す特徴点PXの座標(XA,YA)が演算されることにな
る。
情報入力者10の手が図11(A)に示すように撮像さ
れた場合、特徴点PXの位置として、図11(B)に示
す特徴点PXの座標(XA,YA)が演算されることにな
る。
【0058】ステップ222では、記憶装置24に記憶
されているビデオカメラ36Aの格子点位置情報に基づ
き、画像A上での位置が(XA±dX,YA±dY)の範
囲(図11(B)にハッチングで囲んだ範囲を参照)に
入る格子点を全て検索する。なお、このdX及びdYの
大きさは、格子点の間隔(マーク40Aの間隔)に基づ
き、少なくとも1個以上の格子点が抽出されるように定
められている。
されているビデオカメラ36Aの格子点位置情報に基づ
き、画像A上での位置が(XA±dX,YA±dY)の範
囲(図11(B)にハッチングで囲んだ範囲を参照)に
入る格子点を全て検索する。なお、このdX及びdYの
大きさは、格子点の間隔(マーク40Aの間隔)に基づ
き、少なくとも1個以上の格子点が抽出されるように定
められている。
【0059】また、本実施形態ではビデオカメラの結像
レンズとして広角レンズを用いており、仮にdX及びd
Yを一定とすると、ビデオカメラと格子点との距離が大
きくなるに従って多くの格子点が(XA±dX,YA±d
Y)の範囲に入り、後述する特徴点PXの3次元座標の
演算の精度の低下に繋がる。このため、dX及びdY
は、3次元座標上でのビデオカメラからの距離が離れる
に従って値が小さくなるように設定される。従って、3
次元座標上での(XA±dX,YA±dY)に相当する範
囲は、底面がビデオカメラ側に位置している四角錐状と
なる。
レンズとして広角レンズを用いており、仮にdX及びd
Yを一定とすると、ビデオカメラと格子点との距離が大
きくなるに従って多くの格子点が(XA±dX,YA±d
Y)の範囲に入り、後述する特徴点PXの3次元座標の
演算の精度の低下に繋がる。このため、dX及びdY
は、3次元座標上でのビデオカメラからの距離が離れる
に従って値が小さくなるように設定される。従って、3
次元座標上での(XA±dX,YA±dY)に相当する範
囲は、底面がビデオカメラ側に位置している四角錐状と
なる。
【0060】ステップ224では、先のステップ220
と同様に、ビデオカメラ36Bから取り込んだ画像Bを
表す画像データに基づいて、画像B中に存在する情報入
力者10の特徴点PXを抽出し、画像B上での特徴点PX
の位置(XB,YB)を演算する。ステップ226では、
先のステップ222と同様に、記憶装置24に記憶され
ているビデオカメラ36Bの格子点位置情報に基づき、
画像B上での位置が(XB±dX,YB±dY)の範囲に
入る格子点を全て検索する。
と同様に、ビデオカメラ36Bから取り込んだ画像Bを
表す画像データに基づいて、画像B中に存在する情報入
力者10の特徴点PXを抽出し、画像B上での特徴点PX
の位置(XB,YB)を演算する。ステップ226では、
先のステップ222と同様に、記憶装置24に記憶され
ているビデオカメラ36Bの格子点位置情報に基づき、
画像B上での位置が(XB±dX,YB±dY)の範囲に
入る格子点を全て検索する。
【0061】次のステップ228では、画像A及び画像
Bから共通に抽出した格子点を判定する。これにより、
情報入力空間内で特徴点PXに近接した位置に存在して
いる格子点のみが複数抽出されることになる。ステップ
230では、画像A及び画像Bから共通に抽出した格子
点の3次元座標を、格子点位置情報から取り込む。
Bから共通に抽出した格子点を判定する。これにより、
情報入力空間内で特徴点PXに近接した位置に存在して
いる格子点のみが複数抽出されることになる。ステップ
230では、画像A及び画像Bから共通に抽出した格子
点の3次元座標を、格子点位置情報から取り込む。
【0062】本実施形態では、後述するように特徴点P
Xの3次元座標を情報入力空間内で特徴点PXに近接した
位置に存在している複数の格子点の3次元座標から内挿
によって演算する(具体的には、前記複数の格子点の3
次元座標の座標値の重み付き平均により特徴点PXの3
次元座標の座標値を求める)。このため、特徴点PXの
3次元座標の演算に先立ち、次のステップ232では、
画像A及び画像Bから共通に抽出した各格子点の画像A
及び画像B上での位置、画像A上での特徴点P Xの位置
(XA,YA)、画像B上での特徴点PXの位置(XB,Y
B)に基づいて、画像A及び画像Bから共通に抽出した
各格子点の3次元座標からの内挿の割合(各格子点の3
次元座標の座標値に対する重み)を決定する。この内挿
の割合は、例えば画像A及び画像B上で特徴点PXと近
接した位置に存在している格子点の3次元座標の座標値
の重みが大きくなるように決定することができる。
Xの3次元座標を情報入力空間内で特徴点PXに近接した
位置に存在している複数の格子点の3次元座標から内挿
によって演算する(具体的には、前記複数の格子点の3
次元座標の座標値の重み付き平均により特徴点PXの3
次元座標の座標値を求める)。このため、特徴点PXの
3次元座標の演算に先立ち、次のステップ232では、
画像A及び画像Bから共通に抽出した各格子点の画像A
及び画像B上での位置、画像A上での特徴点P Xの位置
(XA,YA)、画像B上での特徴点PXの位置(XB,Y
B)に基づいて、画像A及び画像Bから共通に抽出した
各格子点の3次元座標からの内挿の割合(各格子点の3
次元座標の座標値に対する重み)を決定する。この内挿
の割合は、例えば画像A及び画像B上で特徴点PXと近
接した位置に存在している格子点の3次元座標の座標値
の重みが大きくなるように決定することができる。
【0063】そしてステップ234では、画像A及び画
像Bから共通に抽出した格子点の3次元座標、及びステ
ップ232で決定した内挿の割合に基づいて、特徴点P
Xの3次元座標(XX,YX,ZX)を演算する。上記のよ
うにして特徴点PXの3次元座標を演算すると基準点・
特徴点座標演算処理を終了し、指示判断処理(図6)の
ステップ158へ移行する。なお、上記の基準点・特徴
点座標演算処理は繰り返し実行されるので、該処理によ
って演算される基準点P0及び特徴点PXの3次元座標の
値は、情報入力者10の姿勢や動作の変化に応じて逐次
更新されることになる。
像Bから共通に抽出した格子点の3次元座標、及びステ
ップ232で決定した内挿の割合に基づいて、特徴点P
Xの3次元座標(XX,YX,ZX)を演算する。上記のよ
うにして特徴点PXの3次元座標を演算すると基準点・
特徴点座標演算処理を終了し、指示判断処理(図6)の
ステップ158へ移行する。なお、上記の基準点・特徴
点座標演算処理は繰り返し実行されるので、該処理によ
って演算される基準点P0及び特徴点PXの3次元座標の
値は、情報入力者10の姿勢や動作の変化に応じて逐次
更新されることになる。
【0064】ステップ158では、先に説明した基準点
・特徴点座標演算処理(図7)のステップ218の判定
結果に基づき、情報入力者10が指示動作を行っている
か否かを判定する。なお、基準点・特徴点座標演算処理
では、情報入力者10が指示動作を行っている場合(ス
テップ218の判定が肯定された場合)にのみ特徴点P
Xの3次元座標を演算するので、ステップ158の判定
は、例えば特徴点PXの3次元座標が演算されたか否か
を判断することで行うことができる。この判定が否定さ
れた場合にはステップ154に戻り、情報入力空間内に
情報入力者10が存在している間はステップ154〜ス
テップ158を繰り返す。
・特徴点座標演算処理(図7)のステップ218の判定
結果に基づき、情報入力者10が指示動作を行っている
か否かを判定する。なお、基準点・特徴点座標演算処理
では、情報入力者10が指示動作を行っている場合(ス
テップ218の判定が肯定された場合)にのみ特徴点P
Xの3次元座標を演算するので、ステップ158の判定
は、例えば特徴点PXの3次元座標が演算されたか否か
を判断することで行うことができる。この判定が否定さ
れた場合にはステップ154に戻り、情報入力空間内に
情報入力者10が存在している間はステップ154〜ス
テップ158を繰り返す。
【0065】一方、ステップ158の判定が肯定された
場合にはステップ160へ移行し、先の基準点・特徴点
座標演算処理で演算された基準点P0及び特徴点PXの3
次元座標に基づき、情報入力者10が指し示している方
向として、上記の基準点P0と特徴点PXとを結ぶ仮想線
(図12の仮想線54参照)の延びる方向を求め、情報
入力者10が指し示している位置(指示位置)として、
ディスプレイ12の表示面を含む平面と前記仮想線の交
点(図12の点S参照)の座標(平面座標)を演算す
る。このように、ステップ160は先に説明した基準点
・特徴点座標演算処理と共に、本発明の判断手段に対応
している。
場合にはステップ160へ移行し、先の基準点・特徴点
座標演算処理で演算された基準点P0及び特徴点PXの3
次元座標に基づき、情報入力者10が指し示している方
向として、上記の基準点P0と特徴点PXとを結ぶ仮想線
(図12の仮想線54参照)の延びる方向を求め、情報
入力者10が指し示している位置(指示位置)として、
ディスプレイ12の表示面を含む平面と前記仮想線の交
点(図12の点S参照)の座標(平面座標)を演算す
る。このように、ステップ160は先に説明した基準点
・特徴点座標演算処理と共に、本発明の判断手段に対応
している。
【0066】次のステップ162では、ステップ160
で演算した指示位置の座標に基づいて、情報入力者10
がディスプレイ12の表示面内を指し示しているか否か
判定する。ステップ162の判定が否定された場合には
ステップ154に戻る。一方、ステップ162の判定が
肯定された場合にはステップ164へ移行し、先のステ
ップ160で演算した情報入力者10による指示位置の
座標を、現時刻と対応させてRAM22Cに記憶する。
で演算した指示位置の座標に基づいて、情報入力者10
がディスプレイ12の表示面内を指し示しているか否か
判定する。ステップ162の判定が否定された場合には
ステップ154に戻る。一方、ステップ162の判定が
肯定された場合にはステップ164へ移行し、先のステ
ップ160で演算した情報入力者10による指示位置の
座標を、現時刻と対応させてRAM22Cに記憶する。
【0067】次のステップ166では、ステップ160
で今回演算した指示位置の座標(現在の指示位置の座
標)を、ステップ160で前回演算した指示位置の座標
と比較し、情報入力者10による指示位置に変化が有っ
たか否か判定する。このステップ166の判定は、現在
の指示位置の座標が前回演算した指示位置の座標と一致
していた場合に否定されると共に、指示位置の座標を前
回演算したときに情報入力者10がディスプレイ12の
表示面内を指し示していなかった場合にも無条件で否定
される。ステップ166の判定が否定された場合には、
情報入力者10が指示位置を移動させる動作を行ってい
ないと判断できるのでステップ168へ移行する。
で今回演算した指示位置の座標(現在の指示位置の座
標)を、ステップ160で前回演算した指示位置の座標
と比較し、情報入力者10による指示位置に変化が有っ
たか否か判定する。このステップ166の判定は、現在
の指示位置の座標が前回演算した指示位置の座標と一致
していた場合に否定されると共に、指示位置の座標を前
回演算したときに情報入力者10がディスプレイ12の
表示面内を指し示していなかった場合にも無条件で否定
される。ステップ166の判定が否定された場合には、
情報入力者10が指示位置を移動させる動作を行ってい
ないと判断できるのでステップ168へ移行する。
【0068】また、指示位置の座標を前回演算したとき
にも情報入力者10が指示動作を行っており、かつ現在
の指示位置の座標が前回の指示位置の座標と不一致の場
合には、ステップ166の判定が肯定されてステップ1
72へ移行し、指示位置の座標を前回演算したときから
の指示位置の移動量が所定値以上か否か判定する。ステ
ップ172の判定が否定された場合には、指示位置は移
動しているものの、その移動量は所定値未満であり(情
報入力者10が指示動作を行っている間はステップ16
0以降が繰り返し実行されるので、指示位置の移動速度
も一定値未満である)、情報入力者10が指示位置を移
動させる動作を行っていないと判断できるのでステップ
168へ移行する。
にも情報入力者10が指示動作を行っており、かつ現在
の指示位置の座標が前回の指示位置の座標と不一致の場
合には、ステップ166の判定が肯定されてステップ1
72へ移行し、指示位置の座標を前回演算したときから
の指示位置の移動量が所定値以上か否か判定する。ステ
ップ172の判定が否定された場合には、指示位置は移
動しているものの、その移動量は所定値未満であり(情
報入力者10が指示動作を行っている間はステップ16
0以降が繰り返し実行されるので、指示位置の移動速度
も一定値未満である)、情報入力者10が指示位置を移
動させる動作を行っていないと判断できるのでステップ
168へ移行する。
【0069】本実施形態では、例として図13(A)に
破線で示すように、所定面積の矩形領域(以下「グリッ
ド」という)を単位として、ディスプレイ12の表示面
を仮想的に多数個のグリッドに分割したときの、それぞ
れのグリッドの境界位置、及び各グリッドの中央位置
(図13(A)に「・」で示す位置)の座標をデータと
して予め記憶している。なお、図13(A)に示す多数
個のグリッド(第1のグリッド)は請求項2に記載の複
数の領域に対応している。ステップ168では、現在の
指示位置の座標をグリッドの境界位置の座標と比較し、
現在の指示位置が、多数個のグリッドのうちの何れのグ
リッド内に位置している(含まれている)かを判定す
る。
破線で示すように、所定面積の矩形領域(以下「グリッ
ド」という)を単位として、ディスプレイ12の表示面
を仮想的に多数個のグリッドに分割したときの、それぞ
れのグリッドの境界位置、及び各グリッドの中央位置
(図13(A)に「・」で示す位置)の座標をデータと
して予め記憶している。なお、図13(A)に示す多数
個のグリッド(第1のグリッド)は請求項2に記載の複
数の領域に対応している。ステップ168では、現在の
指示位置の座標をグリッドの境界位置の座標と比較し、
現在の指示位置が、多数個のグリッドのうちの何れのグ
リッド内に位置している(含まれている)かを判定す
る。
【0070】そして、次のステップ170では、ステッ
プ168で現在の指示位置を含んでいると判定したグリ
ッド(本発明の特定領域に対応)の中央位置(図13
(A)に「・」で示す位置)の座標を、カーソルを表示
すべき位置の座標として情報処理装置14へ出力し、カ
ーソル(本発明に係る指示位置を示す記号)の表示を指
示する。これにより、情報処理装置14は、ディスプレ
イ12の表示面上の指示された位置(現在の指示位置を
含んでいるグリッドの中央に相当する位置)にカーソル
を表示させる。上記のステップ168、170は本発明
の表示制御手段(より詳しくは請求項2に記載の表示制
御手段)に対応している。
プ168で現在の指示位置を含んでいると判定したグリ
ッド(本発明の特定領域に対応)の中央位置(図13
(A)に「・」で示す位置)の座標を、カーソルを表示
すべき位置の座標として情報処理装置14へ出力し、カ
ーソル(本発明に係る指示位置を示す記号)の表示を指
示する。これにより、情報処理装置14は、ディスプレ
イ12の表示面上の指示された位置(現在の指示位置を
含んでいるグリッドの中央に相当する位置)にカーソル
を表示させる。上記のステップ168、170は本発明
の表示制御手段(より詳しくは請求項2に記載の表示制
御手段)に対応している。
【0071】このように、情報入力者10が単に指示動
作を行っているとき(指示位置を移動させる動作を行っ
ていないとき)には、現在の指示位置を含んでいるグリ
ッドの中央位置にカーソルを表示させるので、情報入力
者10による指示位置がふらついていたとしても、指示
位置が特定のグリッド内に位置している間は、カーソル
が一定の位置、すなわちディスプレイ12の表示面上の
特定のグリッドの中央に相当する位置に表示される。従
って、情報入力者10による指示位置のふらつきに拘ら
ず、カーソルの表示位置のふらつきを抑制することがで
き、情報入力者10に違和感を与えることを防止するこ
とができる。
作を行っているとき(指示位置を移動させる動作を行っ
ていないとき)には、現在の指示位置を含んでいるグリ
ッドの中央位置にカーソルを表示させるので、情報入力
者10による指示位置がふらついていたとしても、指示
位置が特定のグリッド内に位置している間は、カーソル
が一定の位置、すなわちディスプレイ12の表示面上の
特定のグリッドの中央に相当する位置に表示される。従
って、情報入力者10による指示位置のふらつきに拘ら
ず、カーソルの表示位置のふらつきを抑制することがで
き、情報入力者10に違和感を与えることを防止するこ
とができる。
【0072】一方、ステップ172の判定が肯定された
場合には、情報入力者10が指示動作を行っていると判
断できるので、カーソルを表示すべき位置の座標として
現在の指示位置の座標を情報処理装置14へ出力し、カ
ーソルの表示を指示する。これにより、情報処理装置1
4は、ディスプレイ12の表示面上の指示された位置
(現在の指示位置)にカーソルを表示させる。このステ
ップ174は請求項3に記載の表示制御手段に対応して
いる。
場合には、情報入力者10が指示動作を行っていると判
断できるので、カーソルを表示すべき位置の座標として
現在の指示位置の座標を情報処理装置14へ出力し、カ
ーソルの表示を指示する。これにより、情報処理装置1
4は、ディスプレイ12の表示面上の指示された位置
(現在の指示位置)にカーソルを表示させる。このステ
ップ174は請求項3に記載の表示制御手段に対応して
いる。
【0073】上記のステップ174は、情報入力者10
による指示位置がディスプレイ10の表示面上を一定値
以上の移動速度で移動している間繰り返し実行され、そ
のときの指示位置にカーソルを表示させるので、情報入
力者10が指示位置を移動させる動作を行うと、カーソ
ルの表示位置が連続的に変化し、カーソルがディスプレ
イ12の表示面上を滑らかに移動することになる。従っ
て、指示位置を移動させる動作を行った情報入力者10
に違和感を与えることを防止することができる。なお、
上記のように現在の指示位置にカーソルを表示させるこ
とに代えて、例えば情報入力者10によるカーソルの視
認性の向上を考慮し、現在の指示位置から所定量オフセ
ットした位置にカーソルを表示させるようにしてもよ
い。
による指示位置がディスプレイ10の表示面上を一定値
以上の移動速度で移動している間繰り返し実行され、そ
のときの指示位置にカーソルを表示させるので、情報入
力者10が指示位置を移動させる動作を行うと、カーソ
ルの表示位置が連続的に変化し、カーソルがディスプレ
イ12の表示面上を滑らかに移動することになる。従っ
て、指示位置を移動させる動作を行った情報入力者10
に違和感を与えることを防止することができる。なお、
上記のように現在の指示位置にカーソルを表示させるこ
とに代えて、例えば情報入力者10によるカーソルの視
認性の向上を考慮し、現在の指示位置から所定量オフセ
ットした位置にカーソルを表示させるようにしてもよ
い。
【0074】上述したステップ170又はステップ17
4によりディスプレイ12にカーソルを表示させると、
次のステップ176では情報入力者10によりクリック
動作が行われたか否か判定する。クリック動作としては
種々の動作を採用することができ、例えば情報入力者1
0が手を前方に素早く移動させる動作(図14(A)参
照、以下「前進クリック」という)、及び情報入力者1
0が手を後方に素早く移動させる動作(図14(B)参
照、以下「後進クリック」という)をクリック動作とす
ることができる。このクリック動作は、ディスプレイ1
2の表示面上の特定の箇所を指し示して選択する動作と
して極めて自然な動作であるので、認識対象者は違和感
を感ずることなくクリック動作を行うことができる。
4によりディスプレイ12にカーソルを表示させると、
次のステップ176では情報入力者10によりクリック
動作が行われたか否か判定する。クリック動作としては
種々の動作を採用することができ、例えば情報入力者1
0が手を前方に素早く移動させる動作(図14(A)参
照、以下「前進クリック」という)、及び情報入力者1
0が手を後方に素早く移動させる動作(図14(B)参
照、以下「後進クリック」という)をクリック動作とす
ることができる。このクリック動作は、ディスプレイ1
2の表示面上の特定の箇所を指し示して選択する動作と
して極めて自然な動作であるので、認識対象者は違和感
を感ずることなくクリック動作を行うことができる。
【0075】前進クリック動作や後進クリック動作が行
われたか否かの判定は、例えば情報入力者10が指示動
作を行っている間、基準点P0と特徴点PXとの距離k
(図12参照)を繰り返し演算し、ステップ176にお
いて、今回演算した距離kと前回演算した距離kとの差
が所定値以上か否かを判断することで行うことができ
る。ステップ176の判定が否定された場合には、何ら
処理を行うことなくステップ154へ戻るが、ステップ
176の判定が肯定された場合にはステップ178へ移
行し、情報入力者10によって行われたクリック動作に
関する情報(例えばクリック動作時の指示位置(クリッ
ク位置)を表す情報や、情報入力者10によって行われ
たクリック動作が前進クリックか後進クリックかを表す
情報等)を情報処理装置14へ通知する。
われたか否かの判定は、例えば情報入力者10が指示動
作を行っている間、基準点P0と特徴点PXとの距離k
(図12参照)を繰り返し演算し、ステップ176にお
いて、今回演算した距離kと前回演算した距離kとの差
が所定値以上か否かを判断することで行うことができ
る。ステップ176の判定が否定された場合には、何ら
処理を行うことなくステップ154へ戻るが、ステップ
176の判定が肯定された場合にはステップ178へ移
行し、情報入力者10によって行われたクリック動作に
関する情報(例えばクリック動作時の指示位置(クリッ
ク位置)を表す情報や、情報入力者10によって行われ
たクリック動作が前進クリックか後進クリックかを表す
情報等)を情報処理装置14へ通知する。
【0076】これにより、情報処理装置14は、通知さ
れたクリック動作に関する情報に基づいて所定の処理を
実行する。この所定の処理としては任意の処理を採用す
ることができるが、例えばディスプレイ12の表示面上
の特定のアプリケーションを表すアイコンを表示してい
る箇所が前進クリックされた場合には、前記特定のアプ
リケーションを起動し、例えば前記アイコンを表示して
いる箇所が後進クリックされた場合には、前記特定のア
プリケーションに関連する特殊処理(例えばアプリケー
ションに関する各種パラメータの設定、アプリケーショ
ンのバージョン表示、アイコンの表示に関するパラメー
タの設定等)を一覧表示し、更に特定の特殊処理が前進
クリックされた場合には、クリックされた特殊処理を実
行する、等の処理を行うことができる。
れたクリック動作に関する情報に基づいて所定の処理を
実行する。この所定の処理としては任意の処理を採用す
ることができるが、例えばディスプレイ12の表示面上
の特定のアプリケーションを表すアイコンを表示してい
る箇所が前進クリックされた場合には、前記特定のアプ
リケーションを起動し、例えば前記アイコンを表示して
いる箇所が後進クリックされた場合には、前記特定のア
プリケーションに関連する特殊処理(例えばアプリケー
ションに関する各種パラメータの設定、アプリケーショ
ンのバージョン表示、アイコンの表示に関するパラメー
タの設定等)を一覧表示し、更に特定の特殊処理が前進
クリックされた場合には、クリックされた特殊処理を実
行する、等の処理を行うことができる。
【0077】また、例えば通常処理モード、ファイル転
送モード、ファイル検索モード等のように予め複数種の
処理モードを用意しておくと共に、情報入力者10が複
数種の処理モードの何れかへの切り替えを指示するため
のモード切替指示手段(フットスイッチであってもよい
し、情報入力者10が手の形を変える等の処理モード切
替指示動作を行ったか否かを検知する機構(アルゴリズ
ム)であってもよい)を設け、クリック動作が行われた
場合に、処理モード毎に異なる処理を行うようにしても
よい。
送モード、ファイル検索モード等のように予め複数種の
処理モードを用意しておくと共に、情報入力者10が複
数種の処理モードの何れかへの切り替えを指示するため
のモード切替指示手段(フットスイッチであってもよい
し、情報入力者10が手の形を変える等の処理モード切
替指示動作を行ったか否かを検知する機構(アルゴリズ
ム)であってもよい)を設け、クリック動作が行われた
場合に、処理モード毎に異なる処理を行うようにしても
よい。
【0078】なお、情報入力者10が腕を下ろしている
ときには肘を伸ばしている状態が自然であるが、ディス
プレイ12の表示面内の所望の位置を指し示すために腕
を上げたときには自然に肘が若干曲がる(後でクリック
動作を行うことを考えても、肘を伸ばしたまま腕を上げ
る動作より、肘を若干曲げながら腕を上げる動作の方
が、所望の位置を指し示している状態となったときに自
然に肘が若干曲がっていることになり合理的である)の
で、情報入力者10が腕を上げる動作の最中に基準点P
0と特徴点PXとの距離kが変化する。これを考慮する
と、情報入力者10がディスプレイ12の表示面内に相
当する位置を指し示している状態が、比較的短い時間以
上継続した後に、クリック動作が行われたか否かの判定
を開始するか、或いは情報処理装置14に対するクリッ
ク動作が行われた旨の通知を禁止することが好ましい。
これにより、情報入力者10による指示位置がディスプ
レイ12の表示面外から表示面内へ変化したときに、ク
リック動作が行われたと誤判断することを防止できる。
ときには肘を伸ばしている状態が自然であるが、ディス
プレイ12の表示面内の所望の位置を指し示すために腕
を上げたときには自然に肘が若干曲がる(後でクリック
動作を行うことを考えても、肘を伸ばしたまま腕を上げ
る動作より、肘を若干曲げながら腕を上げる動作の方
が、所望の位置を指し示している状態となったときに自
然に肘が若干曲がっていることになり合理的である)の
で、情報入力者10が腕を上げる動作の最中に基準点P
0と特徴点PXとの距離kが変化する。これを考慮する
と、情報入力者10がディスプレイ12の表示面内に相
当する位置を指し示している状態が、比較的短い時間以
上継続した後に、クリック動作が行われたか否かの判定
を開始するか、或いは情報処理装置14に対するクリッ
ク動作が行われた旨の通知を禁止することが好ましい。
これにより、情報入力者10による指示位置がディスプ
レイ12の表示面外から表示面内へ変化したときに、ク
リック動作が行われたと誤判断することを防止できる。
【0079】また、情報入力者10によるクリック動作
の最中に指示位置がずれる可能性があることを考慮する
と、クリック位置として、情報入力者10がクリック動
作を開始した際の指示位置を用いることが好ましい。こ
れにより、クリック動作の最中に指示位置がずれたとし
ても、情報入力者10が当初指し示していた位置に対応
する処理を確実に実行することができる。
の最中に指示位置がずれる可能性があることを考慮する
と、クリック位置として、情報入力者10がクリック動
作を開始した際の指示位置を用いることが好ましい。こ
れにより、クリック動作の最中に指示位置がずれたとし
ても、情報入力者10が当初指し示していた位置に対応
する処理を確実に実行することができる。
【0080】次に、本発明の他の実施形態として、指示
判断処理の他の例について図15のフローチャートを参
照し、先に説明した指示判断処理(図6)と異なる部分
についてのみ説明する。
判断処理の他の例について図15のフローチャートを参
照し、先に説明した指示判断処理(図6)と異なる部分
についてのみ説明する。
【0081】この実施形態では、図13(A)に示すグ
リッド(第1のグリッド)を単位として、ディスプレイ
12の表示面を仮想的に多数個に分割したときの、各グ
リッドの境界位置、及び各グリッドの中央位置の座標
を、情報入力者10が指示位置を移動させる動作を行っ
ていないときに用いる第1のグリッドのデータとして予
め記憶しており、更に、情報入力者10が指示位置を移
動させる動作を行っているときに用いる第2のグリッド
のデータとして、例として図13(B)に破線で示すよ
うに、第1のグリッドよりも小面積の矩形領域(以下
「第2のグリッド」という)を単位として、ディスプレ
イ12の表示面を仮想的に多数個に分割したときの、そ
れぞれの第2のグリッドの境界位置、及び第2のグリッ
ドの各々の中央位置(図13(B)に「・」で示す位
置)の座標を予め記憶している。なお、図13(B)に
示す多数個の第2のグリッドは、請求項4に記載の多数
の小領域に対応している。
リッド(第1のグリッド)を単位として、ディスプレイ
12の表示面を仮想的に多数個に分割したときの、各グ
リッドの境界位置、及び各グリッドの中央位置の座標
を、情報入力者10が指示位置を移動させる動作を行っ
ていないときに用いる第1のグリッドのデータとして予
め記憶しており、更に、情報入力者10が指示位置を移
動させる動作を行っているときに用いる第2のグリッド
のデータとして、例として図13(B)に破線で示すよ
うに、第1のグリッドよりも小面積の矩形領域(以下
「第2のグリッド」という)を単位として、ディスプレ
イ12の表示面を仮想的に多数個に分割したときの、そ
れぞれの第2のグリッドの境界位置、及び第2のグリッ
ドの各々の中央位置(図13(B)に「・」で示す位
置)の座標を予め記憶している。なお、図13(B)に
示す多数個の第2のグリッドは、請求項4に記載の多数
の小領域に対応している。
【0082】図15に示す指示判断処理では、情報入力
者10による指示位置がディスプレイ12の表示面上を
一定値以上の移動速度で移動している場合(すなわちス
テップ166、172の判定が肯定された場合)にステ
ップ173へ移行し、現在の指示位置の座標を第2のグ
リッドの境界位置の座標と比較して、現在の指示位置
が、多数個の第2のグリッドのうちの何れのグリッド内
に位置している(含まれている)かを判定する。
者10による指示位置がディスプレイ12の表示面上を
一定値以上の移動速度で移動している場合(すなわちス
テップ166、172の判定が肯定された場合)にステ
ップ173へ移行し、現在の指示位置の座標を第2のグ
リッドの境界位置の座標と比較して、現在の指示位置
が、多数個の第2のグリッドのうちの何れのグリッド内
に位置している(含まれている)かを判定する。
【0083】そして、次のステップ175では、ステッ
プ173で現在の指示位置を含んでいると判定したグリ
ッド(請求項4に記載の特定小領域に対応)の中央位置
(図13(B)に「・」で示す位置)の座標を、カーソ
ルを表示すべき位置の座標として情報処理装置14へ出
力し、カーソルの表示を指示する。これにより、情報処
理装置14は、ディスプレイ12の表示面上の指示され
た位置にカーソルを表示させる。
プ173で現在の指示位置を含んでいると判定したグリ
ッド(請求項4に記載の特定小領域に対応)の中央位置
(図13(B)に「・」で示す位置)の座標を、カーソ
ルを表示すべき位置の座標として情報処理装置14へ出
力し、カーソルの表示を指示する。これにより、情報処
理装置14は、ディスプレイ12の表示面上の指示され
た位置にカーソルを表示させる。
【0084】上記のステップ173、175は、情報入
力者10による指示位置がディスプレイ12の表示面上
を一定値以上の移動速度で移動している間、繰り返し実
行されるので、情報入力者10が指示位置を移動させる
動作を行うと、カーソルはディスプレイ12の表示面上
をとびとびに移動(ステップ移動)することになる。し
かし、第2のグリッドは第1のグリッドよりも小面積で
あり、ディスプレイ12の表示面はより多数個のグリッ
ドに分割され、隣り合うグリッドの中心位置の間隔も小
さいので、カーソルはより小さい移動幅でステップ移動
することになる。従って、指示位置を移動させる動作を
行った情報入力者10に違和感を与えることを防止する
ことができる。このように、ステップ173、175は
請求項4に記載の表示制御手段に対応している。
力者10による指示位置がディスプレイ12の表示面上
を一定値以上の移動速度で移動している間、繰り返し実
行されるので、情報入力者10が指示位置を移動させる
動作を行うと、カーソルはディスプレイ12の表示面上
をとびとびに移動(ステップ移動)することになる。し
かし、第2のグリッドは第1のグリッドよりも小面積で
あり、ディスプレイ12の表示面はより多数個のグリッ
ドに分割され、隣り合うグリッドの中心位置の間隔も小
さいので、カーソルはより小さい移動幅でステップ移動
することになる。従って、指示位置を移動させる動作を
行った情報入力者10に違和感を与えることを防止する
ことができる。このように、ステップ173、175は
請求項4に記載の表示制御手段に対応している。
【0085】なお、上記では本発明に係る特定領域とし
てのグリッドの中央位置にカーソルを表示させていた
が、これに限定されるものではなく、カーソルの表示位
置は、特定領域の境界位置を含む特定領域内の任意の位
置とすることができる。また、上記では特定領域を矩形
状としていたが、これに限定されるものではなく、N角
形(N≧3)であってもよいし、楕円を含む円形として
もよい。また、特に特定領域の形状を円形にした等の場
合には、表示面上の各位置が少なくとも何れかの特定領
域に含まれるように、隣り合う特定領域が一部重なって
いてもよい。この態様において、表示面上の複数の特定
領域が重複している箇所が指示された場合には、例えば
カーソルの表示位置の移動が抑制されるように、重複し
ている複数の特定領域のうち直前の指示位置に近い位置
に存在している特定領域を選択し、選択した特定領域内
にカーソルを表示させるようにしてもよい。
てのグリッドの中央位置にカーソルを表示させていた
が、これに限定されるものではなく、カーソルの表示位
置は、特定領域の境界位置を含む特定領域内の任意の位
置とすることができる。また、上記では特定領域を矩形
状としていたが、これに限定されるものではなく、N角
形(N≧3)であってもよいし、楕円を含む円形として
もよい。また、特に特定領域の形状を円形にした等の場
合には、表示面上の各位置が少なくとも何れかの特定領
域に含まれるように、隣り合う特定領域が一部重なって
いてもよい。この態様において、表示面上の複数の特定
領域が重複している箇所が指示された場合には、例えば
カーソルの表示位置の移動が抑制されるように、重複し
ている複数の特定領域のうち直前の指示位置に近い位置
に存在している特定領域を選択し、選択した特定領域内
にカーソルを表示させるようにしてもよい。
【0086】また、上記では2台のビデオカメラ36
A、36Bを設けた例を説明したが、これに限定される
ものではなく、より多数のビデオカメラによって情報入
力空間を各々撮像し、情報入力者10からの指示を判断
するようにしてもよい。
A、36Bを設けた例を説明したが、これに限定される
ものではなく、より多数のビデオカメラによって情報入
力空間を各々撮像し、情報入力者10からの指示を判断
するようにしてもよい。
【0087】また、上記では本発明に係る特徴点PXと
して、指先に相当する点を例に説明したが、特徴点は認
識対象者が腕を動かすことで位置が変化する点であれば
よく、例えば認識対象者の手首に相当する点や、認識対
象者の手の甲に相当する点を特徴点として用いるように
してもよい。
して、指先に相当する点を例に説明したが、特徴点は認
識対象者が腕を動かすことで位置が変化する点であれば
よく、例えば認識対象者の手首に相当する点や、認識対
象者の手の甲に相当する点を特徴点として用いるように
してもよい。
【0088】更に、情報入力者10の姿勢が、腕を上げ
ている状態(図11(B)又は(C)参照)から、腕を
下ろした状態(図11(A)参照)に変化した場合に、
腕を下ろす直前の指示位置にカーソルを継続して表示す
るようにしてもよい。これにより、情報入力者10が一
定箇所にカーソルを継続して表示させたい等の場合にも
(例えば会議のプレゼンテーション等)、情報入力者1
0が継続的に腕を上げ続ける必要がなくなるので、情報
入力者10の負担を軽減することができる。
ている状態(図11(B)又は(C)参照)から、腕を
下ろした状態(図11(A)参照)に変化した場合に、
腕を下ろす直前の指示位置にカーソルを継続して表示す
るようにしてもよい。これにより、情報入力者10が一
定箇所にカーソルを継続して表示させたい等の場合にも
(例えば会議のプレゼンテーション等)、情報入力者1
0が継続的に腕を上げ続ける必要がなくなるので、情報
入力者10の負担を軽減することができる。
【0089】また、上記ではクリック動作として、情報
入力者10が手を前方に素早く移動させる前進クリック
動作、及び情報入力者10が手を後方に素早く移動させ
る後進クリック動作のみを判断するようにしていたが、
これに限定されるものではなく、例えば基準点P0と特
徴点PXとの距離kの推移を所定時間に亘って監視する
ことにより、マウスの操作では一般的なダブルクリック
動作(ハンドポインティング装置では、例えば前進クリ
ック動作又は後進クリック動作を2回続けて行う動作等
で代用できる)やドラッグ&ドロップ動作(ハンドポイ
ンティング装置では、例えば前進クリック動作→指示位
置移動動作→後進クリック動作等の一連の動作により代
用できる)も判断するようにしてもよい。
入力者10が手を前方に素早く移動させる前進クリック
動作、及び情報入力者10が手を後方に素早く移動させ
る後進クリック動作のみを判断するようにしていたが、
これに限定されるものではなく、例えば基準点P0と特
徴点PXとの距離kの推移を所定時間に亘って監視する
ことにより、マウスの操作では一般的なダブルクリック
動作(ハンドポインティング装置では、例えば前進クリ
ック動作又は後進クリック動作を2回続けて行う動作等
で代用できる)やドラッグ&ドロップ動作(ハンドポイ
ンティング装置では、例えば前進クリック動作→指示位
置移動動作→後進クリック動作等の一連の動作により代
用できる)も判断するようにしてもよい。
【0090】また、ディスプレイ12としては、プラズ
マディスプレイ、CRT、光ファイバディスプレイ等の
周知の表示装置を適用してもよいし、液晶ゴーグル等を
適用することも可能である。また、擬似的に3次元空間
を表す3次元的画像をディスプレイに表示するようにし
てもよい。具体的には、上記のような平面ディスプレイ
い一点透視法や二点透視法に則った画像を表示したり、
液晶シャッタやレンチキュラーレンズを利用した3次元
ディスプレイに画像を表示したり、ホログラフィー技術
を適用して立体画像を表示するようにしてもよい。
マディスプレイ、CRT、光ファイバディスプレイ等の
周知の表示装置を適用してもよいし、液晶ゴーグル等を
適用することも可能である。また、擬似的に3次元空間
を表す3次元的画像をディスプレイに表示するようにし
てもよい。具体的には、上記のような平面ディスプレイ
い一点透視法や二点透視法に則った画像を表示したり、
液晶シャッタやレンチキュラーレンズを利用した3次元
ディスプレイに画像を表示したり、ホログラフィー技術
を適用して立体画像を表示するようにしてもよい。
【0091】更に、上記では本発明に係る記録媒体とし
てCD−ROM42を例に説明したが、本発明はこれに
限定されるものではなく、例えばハードディスク装置の
内蔵ハードディスクやFD等の磁気ディスク、CD−R
等の光ディスク、MO等の光磁気ディスク、メモリカー
ド、ICカード等の各種の情報記憶媒体を、本発明に係
る記録媒体として適用可能であることは言うまでもな
い。
てCD−ROM42を例に説明したが、本発明はこれに
限定されるものではなく、例えばハードディスク装置の
内蔵ハードディスクやFD等の磁気ディスク、CD−R
等の光ディスク、MO等の光磁気ディスク、メモリカー
ド、ICカード等の各種の情報記憶媒体を、本発明に係
る記録媒体として適用可能であることは言うまでもな
い。
【0092】
【発明の効果】以上説明したように請求項1記載の発明
及び請求項5記載の発明は、認識対象者が特定の位置を
指し示している状況を互いに異なる複数の方向から撮像
することで得られた複数の画像に基づいて、認識対象者
による指示位置を判断し、判断した指示位置が表示手段
の表示面上の特定領域内に含まれている場合に、指示位
置を示す記号を、特定領域内の一定の位置に表示させる
ようにしたので、利用者による指示位置のふらつきに拘
らず、指示位置を表す記号の表示位置のふらつきを抑制
することができる、という優れた効果を有する。
及び請求項5記載の発明は、認識対象者が特定の位置を
指し示している状況を互いに異なる複数の方向から撮像
することで得られた複数の画像に基づいて、認識対象者
による指示位置を判断し、判断した指示位置が表示手段
の表示面上の特定領域内に含まれている場合に、指示位
置を示す記号を、特定領域内の一定の位置に表示させる
ようにしたので、利用者による指示位置のふらつきに拘
らず、指示位置を表す記号の表示位置のふらつきを抑制
することができる、という優れた効果を有する。
【0093】請求項2記載の発明は、請求項1の発明に
おいて、表示手段の表示面上を複数の領域に分割したと
きの何れの領域内に指示位置が含まれるかを判断し、指
示位置を示す記号を、指示位置が含まれると判断した特
定領域内の一定の位置に表示させるので、上記効果に加
え、指示位置が表示手段の表示面上の何れの位置に位置
しているときにも、指示位置を表す記号の表示位置のふ
らつきを抑制することができる、という効果を有する。
おいて、表示手段の表示面上を複数の領域に分割したと
きの何れの領域内に指示位置が含まれるかを判断し、指
示位置を示す記号を、指示位置が含まれると判断した特
定領域内の一定の位置に表示させるので、上記効果に加
え、指示位置が表示手段の表示面上の何れの位置に位置
しているときにも、指示位置を表す記号の表示位置のふ
らつきを抑制することができる、という効果を有する。
【0094】請求項3記載の発明は、請求項2の発明に
おいて、認識対象者が指示位置を移動させる動作をして
いると判断した場合に、指示位置を示す記号を、表示面
上の指示位置又はその近傍に表示させるので、上記効果
に加え、指示位置を移動させる動作を行った利用者に違
和感を与えることを防止することができる、という効果
を有する。
おいて、認識対象者が指示位置を移動させる動作をして
いると判断した場合に、指示位置を示す記号を、表示面
上の指示位置又はその近傍に表示させるので、上記効果
に加え、指示位置を移動させる動作を行った利用者に違
和感を与えることを防止することができる、という効果
を有する。
【0095】請求項4記載の発明は、請求項2の発明に
おいて、認識対象者が指示位置を移動させる動作をして
いると判断した場合に、表示面上を一定かつ所定値以下
の面積の多数の小領域に分割したときの何れの小領域内
に指示位置が含まれるかを判断し、指示位置を示す記号
を、指示位置が含まれると判断した特定小領域内の一定
の位置に表示させるので、上記効果に加え、指示位置を
移動させる動作を行った利用者に違和感を与えることを
防止することができる、という効果を有する。
おいて、認識対象者が指示位置を移動させる動作をして
いると判断した場合に、表示面上を一定かつ所定値以下
の面積の多数の小領域に分割したときの何れの小領域内
に指示位置が含まれるかを判断し、指示位置を示す記号
を、指示位置が含まれると判断した特定小領域内の一定
の位置に表示させるので、上記効果に加え、指示位置を
移動させる動作を行った利用者に違和感を与えることを
防止することができる、という効果を有する。
【0096】請求項6記載の発明は、認識対象者が特定
の位置を指し示している状況を互いに異なる複数の方向
から撮像することで得られた複数の画像に基づいて、認
識対象者による指示位置を判断する第1のステップ、判
断した指示位置が表示手段の表示面上の特定領域内に含
まれている場合に、指示位置を示す記号を、特定領域内
の一定の位置に表示させる第2のステップを含む処理を
コンピュータに実行させるためのプログラムを記録媒体
に記録したので、利用者による指示位置のふらつきに拘
らず、指示位置を表す記号の表示位置のふらつきを抑制
することができる、という優れた効果を有する。
の位置を指し示している状況を互いに異なる複数の方向
から撮像することで得られた複数の画像に基づいて、認
識対象者による指示位置を判断する第1のステップ、判
断した指示位置が表示手段の表示面上の特定領域内に含
まれている場合に、指示位置を示す記号を、特定領域内
の一定の位置に表示させる第2のステップを含む処理を
コンピュータに実行させるためのプログラムを記録媒体
に記録したので、利用者による指示位置のふらつきに拘
らず、指示位置を表す記号の表示位置のふらつきを抑制
することができる、という優れた効果を有する。
【図1】 情報入力空間の周辺を示す斜視図である。
【図2】 本実施形態に係るハンドポインティング入力
装置の概略構成を示すブロック図である。
装置の概略構成を示すブロック図である。
【図3】 照明装置の照明範囲とビデオカメラの撮像範
囲との関係の一例を示す概略図である。
囲との関係の一例を示す概略図である。
【図4】 マーク板の一例を示す情報入力空間の斜視図
である。
である。
【図5】 格子点位置情報初期設定処理を示すフローチ
ャートである。
ャートである。
【図6】 指示判断処理の内容を示すフローチャートで
ある。
ある。
【図7】 基準点・特徴点座標演算処理の内容を示すフ
ローチャートである。
ローチャートである。
【図8】 照明装置A、Bの点灯・消灯、ビデオカメラ
の撮像によって得られる画像の出力(取り込み)のタイ
ミングを示すタイミングチャートである。
の撮像によって得られる画像の出力(取り込み)のタイ
ミングを示すタイミングチャートである。
【図9】 情報入力者の身長及び床面上の位置の演算を
説明するための、情報入力空間の側面図である。
説明するための、情報入力空間の側面図である。
【図10】 (A)乃至(C)は情報入力者の動作の一
例を示すイメージ図である。
例を示すイメージ図である。
【図11】 (A)はビデオカメラにより撮像された情
報入力者の手を示すイメージ図、(B)は特徴点の座標
及び特徴点の3次元座標を求めるための格子点の検索範
囲を示す概念図である。
報入力者の手を示すイメージ図、(B)は特徴点の座標
及び特徴点の3次元座標を求めるための格子点の検索範
囲を示す概念図である。
【図12】 情報入力者が指し示しているディスプレイ
上の位置の判定を説明するための、(A)は情報入力空
間の平面図、(B)は情報入力空間の側面図である。
上の位置の判定を説明するための、(A)は情報入力空
間の平面図、(B)は情報入力空間の側面図である。
【図13】 (A)は情報入力者が指示位置を移動させ
る動作を行っていないときに用いるカーソルの表示位置
を決定するためのグリッド、(B)は図15に示す指示
判断処理において、情報入力者が指示位置を移動させる
動作を行っているときに用いるグリッドを各々示すイメ
ージ図である。
る動作を行っていないときに用いるカーソルの表示位置
を決定するためのグリッド、(B)は図15に示す指示
判断処理において、情報入力者が指示位置を移動させる
動作を行っているときに用いるグリッドを各々示すイメ
ージ図である。
【図14】 (A)は前進クリック動作、(B)は後進
クリック動作を説明するためのイメージ図である。
クリック動作を説明するためのイメージ図である。
【図15】 他の指示判断処理の内容を示すフローチャ
ートである。
ートである。
10 情報入力者 12 ディスプレイ 14 情報処理装置 20 ハンドポインティング入力装置 22 コントローラ 36 ビデオカメラ 40 CD−ROMドライバ 42 CD−ROM
───────────────────────────────────────────────────── フロントページの続き (72)発明者 半沢 久 千葉県印西市大塚一丁目5番地1 株式会 社竹中工務店技術研究所内 (72)発明者 瓜谷 真幸 東京都中央区銀座八丁目21番1号 株式会 社竹中工務店東京本店内 (72)発明者 川島 哲文 東京都中央区銀座八丁目21番1号 株式会 社竹中工務店東京本店内
Claims (6)
- 【請求項1】 画像を表示するための表示手段と、 認識対象者を互いに異なる複数の方向から撮像する撮像
手段と、 認識対象者が特定の位置を指し示している状況を前記撮
像手段が撮像することで得られた複数の画像に基づい
て、前記画像中の前記認識対象者に相当する画像部を抽
出し、認識対象者による指示位置を判断する判断手段
と、 前記判断手段によって判断された指示位置が前記表示手
段の表示面上の特定領域内に含まれている場合に、前記
指示位置を示す記号を、前記特定領域内の一定の位置に
表示させる表示制御手段と、 を含むハンドポインティング装置。 - 【請求項2】 前記表示制御手段は、前記判断手段によ
って判断された指示位置が、前記表示手段の表示面上を
複数の領域に分割したときの何れの領域内に含まれるか
を判断し、前記指示位置を示す記号を、前記指示位置が
含まれると判断した特定領域内の一定の位置に表示させ
ることを特徴とする請求項1記載のハンドポインティン
グ装置。 - 【請求項3】 前記表示制御手段は、認識対象者が指示
位置を移動させる動作をしていると判断した場合には、
前記指示位置を示す記号を、前記表示面上の前記指示位
置又はその近傍に表示させることを特徴とする請求項2
記載のハンドポインティング装置。 - 【請求項4】 前記表示制御手段は、認識対象者が指示
位置を移動させる動作をしていると判断した場合には、
前記判断手段によって判断された指示位置が、前記表示
面上を一定かつ所定値以下の面積の多数の小領域に分割
したときの何れの小領域内に含まれるかを判断し、前記
指示位置を示す記号を、前記指示位置が含まれると判断
した特定小領域内の一定の位置に表示させることを特徴
とする請求項2記載のハンドポインティング装置。 - 【請求項5】 認識対象者が特定の位置を指し示してい
る状況を、互いに異なる複数の方向から撮像することで
得られた複数の画像に基づいて、前記画像中の前記認識
対象者に相当する画像部を抽出して認識対象者による指
示位置を判断し、 判断した指示位置が、画像を表示するための表示手段の
表示面上の特定領域内に含まれている場合に、前記指示
位置を示す記号を、前記特定領域内の一定の位置に表示
させる指示位置表示方法。 - 【請求項6】 認識対象者が特定の位置を指し示してい
る状況を、互いに異なる複数の方向から撮像することで
得られた複数の画像に基づいて、前記画像中の前記認識
対象者に相当する画像部を抽出して認識対象者による指
示位置を判断する第1のステップ、 及び、判断した指示位置が、画像を表示するための表示
手段の表示面上の特定領域内に含まれている場合に、前
記指示位置を示す記号を、前記特定領域内の一定の位置
に表示させる第2のステップを含む処理をコンピュータ
に実行させるためのプログラムが記録された記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2142199A JP2000222098A (ja) | 1999-01-29 | 1999-01-29 | ハンドポインティング装置、指示位置表示方法及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2142199A JP2000222098A (ja) | 1999-01-29 | 1999-01-29 | ハンドポインティング装置、指示位置表示方法及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000222098A true JP2000222098A (ja) | 2000-08-11 |
Family
ID=12054547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2142199A Pending JP2000222098A (ja) | 1999-01-29 | 1999-01-29 | ハンドポインティング装置、指示位置表示方法及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000222098A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100353295C (zh) * | 2003-02-24 | 2007-12-05 | 株式会社东芝 | 使操作员能够不操作设备而发出指令的操作识别*** |
CN103942524A (zh) * | 2013-01-23 | 2014-07-23 | 纬创资通股份有限公司 | 手势辨识模块及手势辨识方法 |
CN104423567A (zh) * | 2013-09-05 | 2015-03-18 | 由田新技股份有限公司 | 动态影像分析***及其方法 |
CN106293097A (zh) * | 2016-08-18 | 2017-01-04 | 青岛海信医疗设备股份有限公司 | 一种用于医疗显示的光标移动方法、装置和医疗设备 |
CN106293098A (zh) * | 2016-08-18 | 2017-01-04 | 青岛海信医疗设备股份有限公司 | 用于医疗显示的基于手势的光标移动方法及装置 |
WO2018042639A1 (ja) * | 2016-09-02 | 2018-03-08 | 楽天株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
1999
- 1999-01-29 JP JP2142199A patent/JP2000222098A/ja active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7343026B2 (en) | 2003-02-24 | 2008-03-11 | Kabushiki Kaisha Toshiba | Operation recognition system enabling operator to give instruction without device operation |
CN100353295C (zh) * | 2003-02-24 | 2007-12-05 | 株式会社东芝 | 使操作员能够不操作设备而发出指令的操作识别*** |
CN103942524B (zh) * | 2013-01-23 | 2017-05-17 | 纬创资通股份有限公司 | 手势辨识模块及手势辨识方法 |
CN103942524A (zh) * | 2013-01-23 | 2014-07-23 | 纬创资通股份有限公司 | 手势辨识模块及手势辨识方法 |
CN104423567A (zh) * | 2013-09-05 | 2015-03-18 | 由田新技股份有限公司 | 动态影像分析***及其方法 |
CN106293098A (zh) * | 2016-08-18 | 2017-01-04 | 青岛海信医疗设备股份有限公司 | 用于医疗显示的基于手势的光标移动方法及装置 |
CN106293097A (zh) * | 2016-08-18 | 2017-01-04 | 青岛海信医疗设备股份有限公司 | 一种用于医疗显示的光标移动方法、装置和医疗设备 |
CN106293098B (zh) * | 2016-08-18 | 2020-09-11 | 青岛海信医疗设备股份有限公司 | 用于医疗显示的基于手势的光标移动方法及装置 |
WO2018042639A1 (ja) * | 2016-09-02 | 2018-03-08 | 楽天株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP6373546B2 (ja) * | 2016-09-02 | 2018-08-15 | 楽天株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JPWO2018042639A1 (ja) * | 2016-09-02 | 2018-10-04 | 楽天株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US20190196602A1 (en) * | 2016-09-02 | 2019-06-27 | Rakuten, Inc. | Information processing device, information processing method, and program |
US11604517B2 (en) | 2016-09-02 | 2023-03-14 | Rakuten Group, Inc. | Information processing device, information processing method for a gesture control user interface |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1329838B1 (en) | Pointing device using the image of the hand | |
JP5453246B2 (ja) | コンパクト・デバイスのためのカメラ・ベースのユーザ入力 | |
ES2835598T3 (es) | Interfaz de gesto | |
US9600078B2 (en) | Method and system enabling natural user interface gestures with an electronic system | |
TWI534661B (zh) | 畫像辨識裝置及操作判定方法以及電腦程式 | |
JPWO2018003861A1 (ja) | 表示装置および制御装置 | |
CN104364712A (zh) | 用于捕获全景图像的方法和装置 | |
US9594399B2 (en) | Computer-readable storage medium, display control apparatus, display control method and display control system for controlling displayed virtual objects with symbol images | |
JP2008250774A (ja) | 情報機器操作装置 | |
JP2006209359A (ja) | 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム | |
JP2004094653A (ja) | 情報入力システム | |
US20190266798A1 (en) | Apparatus and method for performing real object detection and control using a virtual reality head mounted display system | |
JP2011048828A (ja) | タッチシステムのためのポインタ高さ検出方法およびポインタ座標検出方法ならびにタッチシステム | |
CN108572730B (zh) | 用于使用深度感知相机与计算机实现的交互式应用程序进行交互的***和方法 | |
JP3792907B2 (ja) | ハンドポインティング装置 | |
JP2000222098A (ja) | ハンドポインティング装置、指示位置表示方法及び記録媒体 | |
CN113347348A (zh) | 信息处理装置、信息处理方法以及存储介质 | |
JP2003076488A (ja) | 指示位置判断装置及び方法 | |
CN112292656B (zh) | 影像显示***、影像显示方法及记录计算机程序的计算机能读取的记录介质 | |
JP2010083206A (ja) | 車載用電子機器操作装置 | |
JP4979895B2 (ja) | ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ | |
JP2005322071A (ja) | 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム | |
JP2014048565A (ja) | 画像表示装置 | |
JP2000222117A (ja) | ハンドポインティング装置、指示位置表示方法及び記録媒体 | |
WO2020192544A1 (zh) | 用于选择在设备的显示媒介上的交互对象的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070605 |