JP2000056916A - ハンドポインティング装置 - Google Patents

Abstract

(57)【要約】 【課題】 クリック動作が行われた時の指示位置又は指
示方向の誤判断を防止する。 【解決手段】 大画面ディスプレイが設けられた情報入
力空間に到来した情報入力者を複数のビデオカメラで撮
像し、情報入力者の背中に相当する基準点及び指の先端
に相当する特徴点の３次元座標を演算し(154) 、情報入
力者がディスプレイ側を指し示す動作を行っていれば(1
62が肯定) 、情報入力者によるディスプレイ上での指示
位置及び基準点と特徴点との距離を現時刻と対応させて
記憶する(166) ことを繰り返す。情報入力者が手を前方
又は後方に素早く移動させるクリック動作を行ったと判
断すると(182〜186 が肯定) 、クリック動作開始時刻を
判定し、クリック動作開始時の指示位置を取り込み、該
指示位置に対応する処理を情報処理装置によって実行さ
せる(188〜192)。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はハンドポインティン
グ装置に係り、特に、認識対象者を撮像し、認識対象者
が指し示した位置又は方向を判断すると共に、認識対象
者がクリック動作を行った場合に所定の処理を実行する
ハンドポインティング装置に関する。

【０００２】

【従来の技術】従来より、所定の情報を表示するディス
プレイ、ディスプレイの近傍に到来した情報入力者（利
用者）を互いに異なる方向から撮像する複数の撮像手段
を備え、到来した情報入力者がディスプレイ上の任意の
位置を指等によって指し示した状況を複数の撮像手段に
よって撮像し、撮像によって得られた複数の画像に基づ
いて情報入力者を認識し、情報入力者が指示したディス
プレイ上の位置を判断し、ディスプレイ上の指示位置に
カーソル等を表示すると共に、情報入力者が親指を上げ
るクリック動作を行ったことを検出すると、ディスプレ
イ上の指示位置がクリックされたと認識して所定の処理
を行うハンドポインティング入力装置が知られている
（例えば特開平4-271423号公報、特開平 5-19957号公
報、特開平5-324181号公報等参照）。

【０００３】上記のハンドポインティング入力装置によ
れば、情報入力者がキーボードやマウス等の入力機器に
触れることなく、情報処理装置に対して各種の指示を与
えたり、各種の情報を入力することが可能となるので、
情報処理装置を利用するための操作の簡素化を実現でき
る。しかし、クリック動作は頻繁に行う必要がある動作
であるのに対し、上記の従来技術においてクリック動作
として用いられている親指を上げる動作は、動作として
の自由度が低く、クリック動作として感覚的に馴染みに
くい不自然な動作である、という問題がある。

【０００４】このため本願出願人は、特願平９−３６９
６２８号（未公知）の中で、情報入力者（認識対象者）
が腕を屈曲又は伸長させる動作をクリック動作とするこ
とを提案している。腕を屈曲又は伸長させる動作は、ク
リック動作として極めて自然な動作であるので、認識対
象者が違和感を感ずることはない。また、上記技術で
は、例えば認識対象者の手や指等の先端、或いは認識対
象者が把持している指示器の先端等に相当する特徴点
と、例えば情報入力者の胸部や腕の付け根等の胴体部に
相当する基準点と、の距離の変化に基づいて、腕を屈曲
又は伸長させる動作を検出しているが、前述の特徴点及
び基準点は情報入力者による指示位置（又は指示方向）
を判断するために抽出される点であるので、クリック動
作の検出に際して新たな画像特徴量を検出する必要もな
く、上記動作を容易に検出することができる。

【０００５】

【発明が解決しようとする課題】ところで、情報入力者
によってクリック動作が行われたと判断すると、ハンド
ポインティング装置は、クリック動作が行われたときの
情報入力者による指示位置（又は指示方向）に対応する
処理を実行する（例えばクリック動作が行われたとき
に、情報入力者が、ディスプレイの表示面上の特定のア
イコン等が表示されている位置を指し示していた場合
に、前記特定のアイコン等に対応する特定の処理を実行
する等）が、クリック動作としての腕を屈曲又は伸長さ
せる動作は指示位置又は指示方向の変化を招き易く、情
報入力者によるクリック動作の最中に、情報入力者によ
る指示位置又は指示方向にずれが生ずることがあった。

【０００６】このため、例えば情報入力者が特定位置又
は特定方向を指し示している状態でクリック動作を行っ
たにも拘らず、特定位置と異なる位置又は特定方向と異
なる方向がクリックされたと誤判断され、前記特定位置
又は前記特定方向と無関係な処理（情報入力者が意図し
ていない処理）が実行される等の不都合が生ずる可能性
があった。

【０００７】また、情報入力者が腕を屈曲又は伸長させ
るクリック動作を行ったか否かの判断は、前述のよう
に、情報入力者の特徴点と基準点の距離の変化に基づい
て行うことができるが、情報入力者が、腕を下ろしてい
る状態から、例えばディスプレイ上の特定位置を指し示
すために単に腕を上げる動作を行ったときにも、情報入
力者の特徴点と基準点の距離が変化することがある。こ
の場合、情報入力者がクリック動作を行っていないにも
拘らず、情報入力者の特徴点と基準点の距離の変化に基
づき、情報入力者によってクリック動作が行われたと誤
判断され、情報入力者の意図に反して何らかの処理が実
行されることがあった。

【０００８】また、ハンドポインティング装置は、マウ
ス等のポインティングデバイスに代わる技術として期待
されているが、例えばマウスは通常複数のボタンが設け
られており、最近は、画面表示のスクロールを指示する
マークを画面に表示させるための特殊なボタンも付加さ
れたマウスも市場に出回っている。マウスを使用する場
合には、これらのボタンを使い分けることにより、マウ
スによるクリック操作に様々な意味を持たせ、情報処理
装置に対して種々の指示を与えることが可能とされてい
る。

【０００９】これに対し、従来のハンドポインティング
装置において、情報入力者の動作として規定されている
動作は、ディスプレイ上の任意の箇所を指し示すポイン
ティング動作、及びディスプレイ上の任意の箇所をクリ
ックするクリック動作のみであり、情報処理装置に対し
て種々の指示を与えることは不可能であった。また、指
示の種類数に対応してクリック動作を多数種定めること
も考えられるが、クリック動作が行われたか否かの判断
を多数種のクリック動作について各々行う必要があるの
で、クリック動作を判断する処理が非常に複雑になると
共に、情報入力者によってクリック動作が行われてか
ら、クリック動作が行われたと判断する迄に長い時間が
かかることも考えられる。

【００１０】本発明は上記事実を考慮して成されたもの
で、クリック動作が行われた時の指示位置又は指示方向
の誤判断を防止することができるハンドポインティング
装置を得ることが目的である。

【００１１】また本発明は、クリック動作が行われてい
ないにも拘らず、利用者の意図に反して何らかの処理が
実行されることを防止できるハンドポインティング装置
を得ることが目的である。

【００１２】また本発明は、クリック動作の判断処理の
複雑化を招くことなく、利用者がクリック動作によって
種々の指示を与えることが可能なハンドポインティング
装置を得ることが目的である。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に請求項１記載の発明に係るハンドポインティング装置
は、認識対象者を互いに異なる複数の方向から撮像する
撮像手段と、認識対象者が特定の位置又は方向を指し示
している状況を前記撮像手段が撮像することで得られた
複数の画像に基づいて、前記画像中の前記認識対象者に
相当する画像部を抽出し、認識対象者が腕を屈曲又は伸
長させることで位置が変化する特徴点及び認識対象者が
腕を屈曲及び伸長させても位置が変化しない基準点の３
次元座標を求め、特徴点及び基準点の３次元座標に基づ
いて認識対象者による指示位置又は指示方向を判断する
第１の判断手段と、前記基準点と前記特徴点との距離の
変化に基づき、認識対象者によってクリック動作が行わ
れたか否かを判断する第２の判断手段と、前記第２の判
断手段により、認識対象者によってクリック動作が行わ
れたと判断された場合に、前記第１の判断手段による判
断結果に基づき、前記クリック動作が行われる直前の認
識対象者による指示位置又は指示方向に対応する所定の
処理を実行する処理手段と、を含んで構成している。

【００１４】請求項１記載の発明では、撮像手段によっ
て互いに異なる複数の方向から認識対象者（利用者）を
撮像する。この撮像手段は、ビデオカメラ等から成る複
数の撮像装置によって認識対象者を複数の方向から撮像
するよう構成してもよいし、平面ミラー等の光反射手段
を設け、単一の撮像装置により認識対象者を直接撮像す
ると共に、平面ミラーに映っている認識対象者の虚像を
撮像することで、認識対象者を複数の方向から撮像する
よう構成することも可能である。

【００１５】また、第１の判断手段は、認識対象者が特
定の位置又は方向を指し示している状況を、撮像手段が
互いに異なる複数の方向から撮像することで得られた複
数の画像に基づいて、画像中の認識対象者に相当する画
像部を抽出し、認識対象者が腕を屈曲又は伸長させるこ
とで位置が変化する特徴点及び認識対象者が腕を屈曲及
び伸長させても位置が変化しない基準点の３次元座標を
求める。なお、特徴点としては、例えば認識対象者の手
や指等の先端、或いは認識対象者が把持している指示器
の先端等に相当する点を用いることができ、基準点とし
ては、例えば認識対象者の胴体部（例えば胸部や腕の付
け根等）に相当する点を用いることができる。

【００１６】また第１の判断手段は、特徴点及び基準点
の３次元座標に基づいて認識対象者による指示位置又は
指示方向を判断する。従って、認識対象者が、例えばデ
ィスプレイの表示面等の面上の特定の位置を指し示した
り、特定の方向（例えば認識対象者から見て特定の物体
が存在している方向）を指し示す動作を行えば、認識対
象者による指示位置又は指示方向が判断されることにな
る。

【００１７】一方、第２の判断手段は前述の基準点と特
徴点との距離の変化に基づき、認識対象者によってクリ
ック動作が行われたか否かを判断する。従って、認識対
象者が腕を屈曲又は伸長させる動作を行えば、基準点と
特徴点との距離の変化に基づいてクリック動作が行われ
たと判断され、処理手段によって所定の処理が行われ
る。このように、クリック動作が行われたか否か（所定
の処理の実行が指示されたか否か）を判定するために新
たな画像特徴量を検出する必要がないので、クリック動
作が行われたか否かを短時間で判断することができる。

【００１８】また、請求項１の発明に係る処理手段は、
所定の処理として、クリック動作が行われる直前の認識
対象者による指示位置又は指示方向に対応する処理を実
行する。クリック動作が行われる直前の指示位置又は指
示方向は、例えば第１の判断手段によって判断された指
示位置又は指示方向と、基準点と特徴点との距離と、を
所定期間に亘って記憶しておき、クリック動作が行われ
たと判断された場合に、所定期間内における基準点と特
徴点との距離の推移に基づいて、クリック動作が行われ
る直前のタイミングを判断し、該直前のタイミングにお
ける指示位置又は指示方向を検索することで得ることが
できる。

【００１９】これにより、認識対象者によるクリック動
作の最中に指示位置又は指示方向がずれたとしても、認
識対象者が当初指し示した位置又は方向に対応する処理
を確実に実行することができる。従って、請求項１の発
明によれば、クリック動作が行われた時の指示位置又は
指示方向の誤判断を防止することができ、認識対象者が
所望する処理を確実に実行することができる。

【００２０】請求項２記載の発明に係るハンドポインテ
ィング装置は、認識対象者を互いに異なる複数の方向か
ら撮像する撮像手段と、認識対象者が特定の位置又は方
向を指し示している状況を前記撮像手段が撮像すること
で得られた複数の画像に基づいて、前記画像中の前記認
識対象者に相当する画像部を抽出し、認識対象者が腕を
屈曲又は伸長させることで位置が変化する特徴点及び認
識対象者が腕を屈曲及び伸長させても位置が変化しない
基準点の３次元座標を求め、特徴点及び基準点の３次元
座標に基づいて認識対象者による指示位置又は指示方向
を判断する第１の判断手段と、前記基準点と前記特徴点
との距離の変化に基づき、認識対象者によってクリック
動作が行われたか否かを判断する第２の判断手段と、前
記第１の判断手段によって判断された認識対象者による
指示位置又は指示方向が所定範囲内で、かつ前記第２の
判断手段により、認識対象者によってクリック動作が行
われたと判断された場合に、前記指示位置又は指示方向
に対応する所定の処理を実行する処理手段と、前記第１
の判断手段による判断結果に基づき、認識対象者による
指示位置又は指示方向が所定範囲外から所定範囲内へ変
化したときには、前記第２の判断手段による判断を停止
させるか、又は前記処理手段による所定の処理の実行を
禁止する制御手段と、を含んで構成している。

【００２１】請求項２記載の発明は、請求項１の発明と
同様に撮像手段、第１の判断手段、第２の判断手段を備
えており、請求項２の発明に係る処理手段は、認識対象
者による指示位置又は指示方向が所定範囲内で、かつ認
識対象者によってクリック動作が行われたと判断された
場合に、認識対象者による指示位置又は指示方向に対応
する所定の処理を実行する。従って、認識対象者が特定
位置や特定方向を指し示す動作を行えば、認識対象者に
よる指示位置又は指示方向が判断され、認識対象者が所
定範囲内の特定位置や特定方向を指し示している状態で
腕を屈曲又は伸長させる動作を行えば、基準点と特徴点
との距離の変化に基づきクリック動作が行われたと判断
され、指示位置又は指示方向に対応する所定の処理が処
理手段によって行われる。

【００２２】また請求項２の発明は、第１の判断手段に
よる判断結果に基づき、認識対象者による指示位置又は
指示方向が所定範囲外から所定範囲内へ変化したときに
は、第２の判断手段による判断を停止させるか、又は処
理手段による所定の処理の実行を禁止する制御手段を備
えている。これにより、認識対象者が指示位置又は指示
方向を所定範囲外から所定範囲内へ移動させる動作を行
い、この動作に伴って基準点と特徴点との距離が変化し
た場合にも、制御手段が第２の判断手段による判断を停
止させる場合は、前記動作がクリック動作と誤判断され
ることが防止される。また、制御手段が処理手段による
所定の処理の実行を禁止する場合は、前記動作がクリッ
ク動作と誤判断される可能性はあるものの、この誤判断
に基づいて所定の処理が実行されることが防止される。

【００２３】従って、請求項２の発明によれば、認識対
象者が、指示位置又は指示方向を単に所定範囲外から所
定範囲内へ移動させる動作を行った等のように、クリッ
ク動作を行っていないにも拘らず、クリック動作が行わ
れたと誤判断され、利用者の意図に反して何らかの処理
が実行されることを防止することができる。

【００２４】請求項３記載の発明に係るハンドポインテ
ィング装置は、認識対象者を互いに異なる複数の方向か
ら撮像する撮像手段と、認識対象者が特定の位置又は方
向を指し示している状況を前記撮像手段が撮像すること
で得られた複数の画像に基づいて、前記画像中の前記認
識対象者に相当する画像部を抽出し、認識対象者が腕を
屈曲又は伸長させることで位置が変化する特徴点及び認
識対象者が腕を屈曲及び伸長させても位置が変化しない
基準点の３次元座標を求め、特徴点及び基準点の３次元
座標に基づいて認識対象者による指示位置又は指示方向
を判断する第１の判断手段と、前記基準点と前記特徴点
との距離の変化に基づき、認識対象者によってクリック
動作が行われたか否かを判断する第２の判断手段と、前
記クリック動作とは異なる処理モード切替指示動作が認
識対象者によって行われたか否かを判定し、現在の処理
モードを判断する第３の判断手段と、前記第２の判断手
段により、認識対象者によってクリック動作が行われた
と判断された場合に、前記第１の判断手段によって判断
された認識対象者による指示位置又は指示方向に対応
し、かつ前記第３の判断手段によって判断された現在の
処理モードに対応する所定の処理を実行する処理手段
と、を含んで構成している。

【００２５】請求項３記載の発明は、請求項１及び請求
項２の発明と同様に撮像手段、第１の判断手段、第２の
判断手段を備えているので、認識対象者が特定位置又は
特定方向を指し示す動作を行えば、認識対象者による指
示位置又は指示方向が判断され、認識対象者が特定位置
又は特定方向を指し示している状態で腕を屈曲又は伸長
させる動作を行えば、基準点と特徴点との距離の変化に
基づいてクリック動作が行われたと判断される。

【００２６】また、請求項３の発明は、クリック動作と
は異なる処理モード切替指示動作が認識対象者によって
行われたか否かを判定し、現在の処理モードを判断する
第３の判断手段を備えており、処理手段は、認識対象者
によってクリック動作が行われたと判断された場合に、
認識対象者による指示位置又は指示方向に対応し、かつ
第３の判断手段によって判断された現在の処理モードに
対応する所定の処理を実行する。従って、クリック動作
が意味する指示、すなわちクリック動作を行うことで実
行される処理は処理モードに応じて切り替わると共に、
この処理モードは、認識対象者が処理モード切替指示動
作を行うことで切り替えることができるので、認識対象
者（利用者）がクリック動作によって種々の指示を与
え、種々の処理を選択的に実行させることが可能とな
る。

【００２７】更に、請求項３の発明では、クリック動作
そのものを多数種定める必要がなくなると共に、処理モ
ード切替指示動作をクリック動作と同時に行う必要もな
くなるので、指示の種類数に対応してクリック動作を多
数種定めておく等の場合と比較して、クリック動作を判
断する処理が非常に簡単になり、クリック動作が行われ
たか否かを短い時間で判断できると共に、クリック動作
が行われることで利用者から与えられた指示を正確に判
断することができる。

【００２８】また、処理モード切替指示動作は、処理モ
ードの種類数に対応して複数種定める必要があるが、前
述のように、処理モード切替指示動作はクリック動作と
同時に行う必要はなく、かつ通常はクリック動作よりも
実行頻度が低いので、クリック動作そのものを多数種定
める場合と比較して、処理モード切替指示動作として採
用可能な動作の自由度が高く、例えばクリック動作と無
関係に、指示された処理モードの判断が容易な動作を採
用することも可能となる。

【００２９】なお、上記の処理モード切替指示動作とし
ては、例えば認識対象者の手の形を変える動作（具体的
には、例えば指を伸ばす本数や、何れの指を伸ばすか
等）が挙げられる。この場合、第３の判断手段は、請求
項４に記載したように、複数の画像中の認識対象者の手
に相当する画像部を抽出し、前記画像部の面積の変化、
又は輪郭線の長さの変化、又は輪郭の形状の変化、又は
前記画像部に基づいて認識した認識対象者の手の各指の
形の変化に基づいて、認識対象者によって処理モード切
替指示動作が行われたか否かを判定するように構成する
ことができる。請求項４の発明では、撮像手段が撮像す
ることで得られた複数の画像から処理モード切替指示動
作を判断するので、処理モード切替指示動作が行われた
か否かを判定するために検出器等を新たに設ける必要が
なくなる。

【００３０】また、処理モード切替指示動作は、処理モ
ードの切り替えを指示するために設けられたスイッチの
接点を切り替える動作であってもよい。この場合、請求
項５に記載したように、認識対象者により接点切替操作
が可能なスイッチを設けると共に、第３の判断手段を、
前記スイッチの接点が切り替えられたか否かに基づい
て、認識対象者によって処理モード切替指示動作が行わ
れたか否かを判定するように構成することができる。請
求項５の発明によれば、構成の複雑化を最小限に抑え、
処理モード切替指示動作が行われたか否かを簡易に判断
することができる。

【００３１】更に、処理モード切替指示動作は、処理モ
ードの切り替えを指示する音声を発する動作であっても
よい。この場合、請求項６に記載したように、認識対象
者から発せられた音声を検知する音声検知手段を設ける
と共に、第３の判断手段を、音声検知手段によって検知
された音声に基づき、認識対象者から処理モードの切り
替えを指示する音声が発せられたか否かを判定すること
で、認識対象者によって処理モード切替指示動作が行わ
れたか否かを判定するように構成することができる。請
求項６の発明では、認識対象者が処理モードの切り替え
を指示する音声を発する動作を処理モード切替指示動作
としているので、構成の複雑化を招くという欠点はある
ものの、認識対象者が違和感を感ずることなく処理モー
ド切替指示動作を行うことができる。

【００３２】また、上記のように音声検知手段を設ける
場合、請求項７に記載したように、処理手段を、入力す
べき情報を表す音声が認識対象者から発せられた場合
に、音声検知手段によって検知された音声に基づき、前
記音声が表す情報を認識し、認識した情報を表すデータ
を生成することが好ましい。これにより、音声検知手段
を、認識対象者による処理モード切替指示動作（処理モ
ードの切り替えを指示する音声を発する動作）の判断以
外にも有効に利用することができると共に、認識対象者
による情報入力作業を容易に行うことが可能となる。

【００３３】なお、処理手段が表示手段の表示面上にカ
ーソルを表示する態様において、請求項３乃至請求項６
の何れかの発明を適用した場合、第３の判断手段が、認
識対象者によって処理モード切替指示動作が行われたと
判断したときに、処理手段は、切り替わった現在の処理
モードに応じて、前記表示しているカーソルの色及び形
状の少なくとも一方を変更することが好ましい。これに
より、処理モードが切り替わったことを利用者が視覚的
に容易に認識することができる。

【００３４】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態の一例を詳細に説明する。図１に示すように、本
発明に係る認識対象者としての情報入力者１０が到来す
る箇所の壁面には大画面ディスプレイ１２が埋め込まれ
ている。なお、ディスプレイ１２としては液晶ディスプ
レイ（ＬＣＤ）やプラズマディスプレイ、ブラウン管、
光ファイバディスプレイ等の周知の表示手段を適用でき
る。

【００３５】ディスプレイ１２はパーソナルコンピュー
タ等から成る情報処理装置１４に接続されており（図２
参照）、情報処理装置１４により、各種の情報が表示面
上に図形、表、文字、画像等の種々の表示形態で表示さ
れる。本実施形態において、情報入力者１０は、ディス
プレイ１２の前方の図１に示した箇所（情報入力空間）
に到来し、ディスプレイ１２の表示面上の各種情報が表
示されている位置を指し示すと共に、クリック動作（詳
細は後述）を行うことにより、情報処理装置１４に対し
て各種の指示を与えたり各種の処理を実行させる。

【００３６】図２に示すように、情報処理装置１４に
は、本実施形態に係るハンドポインティング入力装置２
０のコントローラ２２が接続されている。なお、上述し
たディスプレイ１２、情報処理装置１４、及びハンドポ
インティング入力装置２０は本発明に係るハンドポイン
ティング装置に対応している。

【００３７】コントローラ２２は、ＣＰＵ２２Ａ、ＲＯ
Ｍ２２Ｂ、ＲＡＭ２２Ｃ、入出力インタフェース２２Ｄ
を備えており、これらがバスを介して互いに接続されて
構成されている。入出力インタフェース２２Ｄには情報
処理装置１４が接続されていると共に、記憶内容を書換
え可能な不揮発性の記憶装置２４、各種の情報を表示す
るためのディスプレイ２６、オペレータが各種の指示や
データを入力するためのキーボード２８、照明制御装置
３０、撮像制御装置３４、マーク板駆動装置３８、音声
検知装置４２（請求項６に記載の音声検知手段に対応）
及びフットスイッチ４６（請求項５に記載のスイッチに
対応）が各々接続されている。

【００３８】照明制御装置３０には、近赤外域の波長の
光をビーム状に射出する複数の近赤外光照明装置３２
Ａ、３２Ｂが接続されている。図１に示すように、近赤
外光照明装置３２Ａ、３２Ｂは、情報入力空間の上方の
互いに異なる箇所に配設されており、情報入力空間に到
来した情報入力者１０を、互いに異なる方向から照明す
るように照射範囲が調整されている。照明制御装置３０
は照明装置３２Ａ、３２Ｂの点灯・消灯を制御する。

【００３９】撮像制御装置３４には、情報入力空間の上
方の互いに異なる箇所に配設された（図１参照）複数の
ビデオカメラ３６Ａ、３６Ｂが接続されている。ビデオ
カメラ３６Ａ、３６Ｂは、図示は省略するが、近赤外光
に感度を有するＣＣＤ等から成るエリアセンサを備えて
いると共に、入射光をエリアセンサの受光面に結像させ
る結像レンズの光入射側に、近赤外域の波長の光のみを
透過するフィルタが設けられている。なお、撮像手段
（カメラ）として遠赤外線カメラを用い、人間（情報入
力者）の体温による遠赤外線と、人間の体温と所定値以
上離れた温度（体温よりも高い温度であっても低い温度
であってもよい）に設定又は温度調整された床から放射
される遠赤外光と、によって人間と背景とを弁別する方
法を用いても良い。この場合は照明装置３２Ａ、３２Ｂ
及び照明制御装置３０を省略することも可能となる。

【００４０】図３に示すように、ビデオカメラ３６Ａ、
３６Ｂは情報入力空間に到来した情報入力者１０を互い
に異なる方向から撮像するように向きが調整されてい
る。また、ビデオカメラ３６Ａは、情報入力空間に到来
した情報入力者１０が撮像範囲内に入り、かつ照明装置
３２Ａから射出された光が結像レンズに直接入射せず、
かつ撮像範囲の中心が、情報入力空間内において照明装
置３２Ａによる照明範囲の中心と床面から所定高さで交
差するように（照明装置３２Ａによる床面上の照明範囲
が撮像範囲から外れるように）、向き（撮像範囲）が調
整されている。同様にビデオカメラ３６Ｂは、情報入力
空間に到来した情報入力者１０が撮像範囲内に入り、か
つ照明装置３２Ｂから射出された光が結像レンズに直接
入射せず、かつ撮像範囲の中心が、情報入力空間内にお
いて照明装置３２Ｂによる照明範囲の中心と床面から所
定高さで交差するように（照明装置３２Ａによる床面上
の照明範囲が撮像範囲から外れるように）、向き（撮像
範囲）が調整されている。

【００４１】なお、ビデオカメラ３６Ａ、３６Ｂ、撮像
制御装置３４、照明制御装置３０、及び近赤外光照明装
置３２Ａ、３２Ｂは本発明の撮像手段に対応している。

【００４２】また図４に示すように、ハンドポインティ
ング入力装置２０は、情報入力空間の近傍に配設された
マーク板４０を備えている。マーク板４０は、透明な平
板に多数のマーク４０Ａがマトリクス状に等間隔で記録
されて構成されており、マーク４０Ａの配列方向に直交
する方向（図４の矢印Ａ方向）に沿って情報入力空間を
横切るように移動可能とされている。なおマーク４０Ａ
は、画像上での認識が容易な色（例えば赤色）に着色さ
れている。入出力インタフェース２２Ｄに接続されたマ
ーク板駆動装置３８は、コントローラ２２からの指示に
応じてマーク板４０を図４の矢印Ａ方向に沿って移動さ
せる。

【００４３】一方、図２に示すように、音声検知装置４
２はマイクロフォン４２Ａ、増幅器４２Ｂ及びアナログ
−デジタル（Ｄ／Ａ）変換器４２Ｃが順に接続されて構
成されている。本実施形態では、マイクロフォン４２Ａ
として、特定の方向から到来した音声のみを検知する指
向特性のマイクロフォン（単一指向性又は超指向性のマ
イクロフォン）を用いており、図１に示すように、マイ
クロフォン４２Ａはディスプレイ１２の上方に取付けら
れていると共に、情報入力空間に到来した情報入力者１
０から発せられた音声を検知できるように向きが調整さ
れている。

【００４４】マイクロフォン４２Ａによって検知された
音声は、増幅器４２Ｂで増幅され、Ｄ／Ａ変換器４２Ｃ
でデジタルの音声データに変換されてコントローラ２２
に入力される。コントローラ２２は、入力された音声デ
ータをＲＡＭ２２Ｃに逐次記憶する。

【００４５】また、図１に示すように、フットスイッチ
４６は情報入力空間内の床上に載置されている。フット
スイッチ４６は、複数のフットペダル４８（図１では、
例として４個のフットペダル４８Ａ〜４８Ｄを示す）が
設けられていると共に、フットペダルに対応して複数個
のスイッチを内蔵している。情報入力空間に到来した情
報入力者１０が、自身の足によってフットペダル４８を
押圧操作すると、前記複数個のスイッチのうち、押圧操
作されたフットペダル４８に対応するスイッチの接点が
切り替わるようになっている。なお、フットスイッチ４
６の各スイッチの接点の状態はコントローラ２２によっ
て検知される。

【００４６】次に本実施形態の作用として、まず、ハン
ドポインティング入力装置２０が設置された際にコント
ローラ２２によって実行される格子点位置情報初期設定
処理について、図５のフローチャートを参照して説明す
る。

【００４７】ステップ１００では、マーク板駆動装置３
８により、マーク板４０を所定位置（マーク板４０の移
動範囲の端部に相当する位置）に移動させる。次のステ
ップ１０２では、現在のマーク板４０の位置において、
マーク板４０に記録されている多数のマーク４０Ａの情
報入力空間内での３次元座標（ｘ，ｙ，ｚ）を各々演算
する。ステップ１０４では撮像制御装置３４を介し、ビ
デオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像
させ、次のステップ１０６では、ビデオカメラ３６Ａが
情報入力空間を撮像することによって得られた画像（以
下画像Ａと称する）を撮像制御装置３４を介して取り込
む。

【００４８】ステップ１０８では、ステップ１０６で取
り込んだ画像Ａ中に存在するマーク４０Ａの認識（抽
出）を行い、次のステップ１１０では認識した全てのマ
ーク４０Ａについて、画像Ａ上での位置（Ｘ_A ，Ｙ_A ）
を演算する。そしてステップ１１２では、画像Ａ中に存
在する全てのマーク４０Ａについて、情報入力空間内で
の３次元座標（ｘ，ｙ，ｚ）と、画像Ａ上での位置（Ｘ
_A ，Ｙ_A ）とを対応させ、ビデオカメラ３６Ａの格子点
位置情報として記憶装置２４に記憶させる。

【００４９】次のステップ１１４〜１２０では、上記の
ステップ１０６〜１１２と同様にしてビデオカメラ３６
Ｂに対する処理を行う。すなわち、ステップ１１４では
ビデオカメラ３６Ｂが情報入力空間を撮像することによ
って得られた画像（以下画像Ｂと称する）を撮像制御装
置３４を介して取り込み、ステップ１１６ではステップ
１１４で取り込んだ画像Ｂ中に存在するマーク４０Ａの
認識（抽出）を行い、次のステップ１１８では認識した
全てのマーク４０Ａについて、画像Ｂ上での位置
（Ｘ_B ，Ｙ_B ）を演算する。そしてステップ１２０で
は、画像Ｂ中に存在する全てのマーク４０Ａについて、
情報入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像
Ｂ上での位置（Ｘ_B ，Ｙ_B ）とを対応させ、ビデオカメ
ラ３６Ｂの格子点位置情報として記憶装置２４に記憶さ
せる。

【００５０】次のステップ１２２では、マーク板４０が
最終位置（マーク板４０の移動範囲のうちステップ１０
０における所定位置と反対側の端部に相当する位置）迄
移動したか否か判定する。ステップ１２２の判定が否定
された場合にはステップ１２４へ移行し、マーク板駆動
装置３８により、マーク板４０を所定方向に一定距離
（詳しくは、マーク板４０上におけるマーク４０Ａの間
隔に一致する距離）だけ移動させた後にステップ１０２
に戻る。

【００５１】上記のように、マーク板４０が最終位置に
移動する迄、ステップ１０２〜１２４が繰り返されるこ
とにより、マーク板４０に記録されている多数のマーク
４０Ａは、情報入力空間内に一定間隔で格子状に並ぶ多
数の格子点に対応する位置へ移動され、ビデオカメラ３
６Ａの格子点位置情報として、各格子点の情報入力空間
内での３次元座標と画像Ａ上での位置とが対応されて記
憶装置２４に記憶されると共に、ビデオカメラ３６Ｂの
格子点位置情報として、各格子点の情報入力空間内での
３次元座標と画像Ｂ上での位置とが対応されて記憶装置
２４に記憶されることになる。

【００５２】なお、マーク板４０及びマーク板駆動装置
３８は、上記の格子点位置情報初期設定処理においての
み用いられ、後述する処理では用いないので、上記の処
理を実行した後に、マーク板４０及びマーク板駆動装置
３８を撤去するようにしてもよい。

【００５３】またマーク４０Ａが記録されたマーク板４
０に代えて、透明な平板にＬＥＤ等の多数の発光素子が
マトリクス状に配設されたマーク板を用い、マーク板を
一定距離ずつステップ移動させると共に、ステップ移動
における各位置で多数の発光素子を順に点灯させること
を繰り返すことによって上記の処理を行うようにしても
よい。また発光素子が取付けられたハンドを備え、該ハ
ンドを情報入力空間内の任意の位置に移動可能とされた
ロボットアーム装置を用い、ロボットアーム装置によっ
て各格子点に対応する各位置に発光素子を移動させて点
灯させることを繰り返すことによって上記処理を行うこ
とも可能である。

【００５４】次に図６のフローチャートを参照し、上記
の格子点位置情報初期設定処理が行われた後にコントロ
ーラ２２で定常的に実行される指示判断処理について説
明する。なお、この指示判断処理は情報入力空間に到来
した情報入力者１０からの指示の判断等を行うものであ
る。

【００５５】ステップ１５０では、ビデオカメラ３６Ａ
から出力される画像Ａを表す画像データ、及びビデオカ
メラ３６Ｂから出力される画像Ｂを表す画像データを各
々取り込み、取り込んだ画像Ａ及び画像Ｂの画像データ
に基づいて、情報入力空間内に情報入力者１０が到来し
たか（存在しているか）否か判定し、判定が肯定される
迄待機する。

【００５６】コントローラ２２が指示判断処理を実行し
ているときには、図９に示すように、照明制御装置３０
は照明装置３２Ａ、３２Ｂを交互に点灯させ、撮像制御
装置３４は、ビデオカメラ３６Ａによる情報入力空間の
撮像が照明装置３２Ａが点灯しているときに行われ、ビ
デオカメラ３６Ｂによる情報入力空間の撮像が照明装置
３２Ｂが点灯しているときに行われるように制御する。

【００５７】ビデオカメラ３６Ａの撮像範囲は照明装置
３２Ａによる床面上の照明範囲が撮像範囲から外れるよ
うに調整されているので、照明装置３２Ａによる床面上
の照明範囲内に情報入力者１０の荷物やゴミ等の非認識
対象物５０Ａ（図３参照）が存在していたとしても、こ
の非認識対象物５０Ａがビデオカメラ３６Ａの撮像範囲
に入ることはない。また、床面上のビデオカメラ３６Ａ
によって撮像される範囲内に非認識対象物５０Ｂ（図３
参照）が存在していたとしても、非認識対象物５０Ｂは
照明装置３２Ａによる照明範囲から外れているので、画
像Ａ中に存在する非認識対象物５０Ｂに相当する画像部
の輝度は非常に低くなる。

【００５８】同様に、ビデオカメラ３６Ｂの撮像範囲は
照明装置３２Ｂによる床面上の照明範囲が撮像範囲から
外れるように調整されているので、照明装置３２Ｂによ
って照明される床面上に非認識対象物５０Ｂが存在して
いたとしても、この非認識対象物５０Ｂがビデオカメラ
３６Ｂの撮像範囲に入ることはない。また、床面上のビ
デオカメラ３６Ｂによって撮像される範囲内に非認識対
象物５０Ａが存在していたとしても、画像Ｂ中に存在す
る非認識対象物５０Ｂに相当する画像部の輝度は非常に
低くなる。

【００５９】従って、先のステップ１５０の判定は、例
えば画像Ａ及び画像Ｂ中に、高輝度でかつ所定値以上の
面積の画像部が存在しているか否か等の極めて簡単な判
断処理で済む。ステップ１５０の判定が否定された場合
には、判定が肯定される迄待機する。

【００６０】情報入力空間に情報入力者１０が到来する
と、ステップ１５０の判定が肯定されてステップ１５２
へ移行し、クリック動作を監視するための監視フラグ
（詳細は後述）を０にしたり、処理モードとしてデフォ
ルトで定められている処理モードを設定する等の初期設
定を行う。次のステップ１５３では、情報入力空間から
情報入力者１０が退去したか否か判定する。情報入力空
間から情報入力者１０が退去した場合には、前記判定が
肯定されてステップ１５０に戻り、情報入力空間に再度
情報入力者１０が到来する迄待機するが、前記判定が否
定された場合には、ステップ１５４で基準点・特徴点座
標演算処理を行う。以下、この基準点・特徴点座標演算
処理について、図７のフローチャートを参照して説明す
る。

【００６１】ステップ２１０ではビデオカメラ３６Ａ、
３６Ｂから画像Ａ及び画像Ｂのデータを各々取り込み、
次のステップ２１２では取り込んだ画像Ａ及び画像Ｂか
ら、情報入力者１０の全体像に相当する画像部を各々抽
出する。この情報入力者１０の全体像に相当する画像部
についても、高輝度の画素から成る所定値以上の面積の
連続した領域を判断することで容易に抽出することがで
きる。

【００６２】ステップ２１４では、情報入力者１０の全
体像に相当する画像部に基づき、情報入力者１０の身長
を求める。図１０に示すように、点Ｏに位置しているビ
デオカメラ３６の結像レンズの焦点距離をｆ、点Ｏを通
る鉛直線と情報入力空間の床面との交点Ｑと点Ｏとの距
離をＨ、点Ｑと情報入力者１０が立っている床面上の点
Ｐとの距離をＲ、情報入力者１０の頭頂部に相当する点
Ｐ’と点Ｐとの距離ｈを情報入力者１０の身長とする。
また、点ＰＯＱの成す角度をθ、点Ｐ’ＯＱの成す角度
をθ’、ビデオカメラ３６のエリアセンサの受光面に結
像される情報入力者１０の像の長さをｈ’、点Ｐに対応
する受光面上の結像点を点ｐ、点Ｐ’に対応する受光面
上の結像点を点ｐ’、受光面の中心ｏと点ｐとの距離を
ｒ、受光面の中心ｏと点ｐ’との距離をｒ’とすると、
角度θ、θ’、距離ｒ、ｒ’は次の（１）〜（４）式か
ら求めることができる。

【００６３】 θ ＝ｔａｎ^-1（Ｒ／Ｈ） …（１） θ’＝ｔａｎ^-1｛Ｒ／（Ｈ−ｈ）｝ …（２） ｒ ＝ｆθ …（３） ｒ’＝ｆθ’ …（４） 従って、情報入力者１０の身長ｈ及び距離Ｒは次の
（５）式及び（６）式によって求めることができる。

【００６４】 ｈ＝Ｈ｛１−ｔａｎ（ｒ／ｆ）／ｔａｎ（ｒ’／ｆ）｝ …（５） Ｒ＝Ｈｔａｎ（ｒ／ｆ） …（６） 距離Ｈ及び焦点距離ｆは既知であるので、ステップ２１
４ではビデオカメラ３６Ａ、３６Ｂの撮像によって得ら
れた画像Ａ及び画像Ｂの何れかから距離ｒ、ｒ’を求
め、これを（５）式に代入することにより情報入力者１
０の身長ｈを求めることができる。また、ステップ２１
４では、画像Ａ及び画像Ｂの各々から距離ｒを求め、こ
れを（６）式に各々代入して距離Ｒを各々求めることに
より、情報入力者１０の床面上の位置（２次元座標）を
求める。

【００６５】次のステップ２１６では、ステップ２１４
で求めた情報入力者１０の身長ｈ及び情報入力者１０の
床面上の位置に基づき、情報入力者１０の基準点Ｐ₀ の
３次元座標（ｘ₀ ，ｙ₀ ，ｚ₀ ）を決定する。なお基準
点Ｐ₀ としては、例えば情報入力者１０の背中に相当す
る点（図１３に示す点Ｐ₀ ）を用いることができる。こ
の場合、情報入力者１０の身長ｈに基づいて情報入力者
１０の背中に相当する基準点Ｐ₀ の床面からの高さ（例
えばｚ₀ の値）を割り出し、情報入力者１０の床面上の
位置（平面座標）を基準点Ｐ₀ の平面座標（例えば
ｘ₀ 、ｙ₀ の値）として設定することにより、基準点Ｐ
₀ の３次元座標を決定することができる。なお、情報入
力者１０の背中に相当する点に代えて、情報入力者１０
の胸部に相当する点や、情報入力者１０の腕の付け根に
相当する点等を用いてもよい。

【００６６】ステップ２１８では、画像Ａ及び画像Ｂ上
での情報入力者１０の全体像に相当する画像部の形状に
基づいて、情報入力者１０が指等によりディスプレイ１
２側を指し示す動作（指示動作）を行っているか否か判
定する。情報入力者１０から見たディスプレイ１２の方
向は既知であるので、ステップ２１８の判定は、例えば
情報入力者１０の全体像に相当する画像部において、情
報入力者１０の手に相当すると判断できる高さ位置に、
情報入力者１０から見たディスプレイ１２の方向に向か
って突出している部分が有るか否かを判断することで実
現できる。

【００６７】これにより、情報入力者１０が、図１１
（Ａ）に示す直立状態から、図１１（Ｂ）又は（Ｃ）に
示すように腕を上げて手をディスプレイ１２側に向けれ
ば、情報入力者１０が指示動作を行っていると判定され
ることになる。ステップ２１８の判定が否定された場合
には、特徴点の３次元座標の演算（詳細は後述）を行う
ことなく基準点・特徴点座標演算処理を終了する。

【００６８】情報入力者１０が指示動作を行っている場
合には、ステップ２１８の判定が肯定されてステップ２
２０へ移行する。ステップ２２０では、ビデオカメラ３
６Ａから取り込んだ画像Ａを表す画像データに基づい
て、画像Ａ中に存在する情報入力者１０の特徴点Ｐ_x を
抽出し、画像Ａ上での特徴点Ｐ_x の位置（Ｘ_A ，Ｙ_A ）
を演算する。情報入力者１０の特徴点Ｐ_x としては、デ
ィスプレイ１２側を指し示す動作を行っている指の先端
に相当する点等を用いることができる。この場合、情報
入力者１０の全体像を表す画像部のうち、情報入力者１
０の手に相当すると判断できる高さ位置に、ディスプレ
イ１２の方向に向かって突出している部分の先端の位置
を、特徴点Ｐ_x の位置として演算することができる。

【００６９】これにより、ビデオカメラ３６Ａによって
情報入力者１０の手が図１２（Ａ）に示すように撮像さ
れた場合、特徴点Ｐ_x の位置として、図１２（Ｂ）に示
す特徴点Ｐ_x の座標（Ｘ_A ，Ｙ_A ）が演算されることに
なる。

【００７０】ステップ２２２では、記憶装置２４に記憶
されているビデオカメラ３６Ａの格子点位置情報に基づ
き、画像Ａ上での位置が（Ｘ_A ±ｄＸ，Ｙ_A ±ｄＹ）の
範囲（図１３（Ｂ）にハッチングで囲んだ範囲を参照）
に入る格子点を全て検索する。なお、このｄＸ及びｄＹ
の大きさは、格子点の間隔（マーク４０Ａの間隔）に基
づき、少なくとも１個以上の格子点が抽出されるように
定められている。

【００７１】また、本実施形態ではビデオカメラの結像
レンズとして広角レンズを用いており、仮にｄＸ及びｄ
Ｙを一定とすると、ビデオカメラと格子点との距離が大
きくなるに従って多くの格子点が（Ｘ_A ±ｄＸ，Ｙ_A ±
ｄＹ）の範囲に入り、後述する特徴点Ｐ_x の３次元座標
の演算の精度の低下に繋がる。このため、ｄＸ及びｄＹ
は、３次元座標上でのビデオカメラからの距離が離れる
に従って値が小さくなるように設定される。従って、３
次元座標上での（Ｘ_A ±ｄＸ，Ｙ_A ±ｄＹ）に相当する
範囲は、底面がビデオカメラ側に位置している四角錐状
となる。

【００７２】ステップ２２４では、先のステップ２２０
と同様に、ビデオカメラ３６Ｂから取り込んだ画像Ｂを
表す画像データに基づいて、画像Ｂ中に存在する情報入
力者１０の特徴点Ｐ_x を抽出し、画像Ｂ上での特徴点Ｐ
_x の位置（Ｘ_B ，Ｙ_B ）を演算する。ステップ２２６で
は、先のステップ２２２と同様に、記憶装置２４に記憶
されているビデオカメラ３６Ｂの格子点位置情報に基づ
き、画像Ｂ上での位置が（Ｘ_B ±ｄＸ，Ｙ_B ±ｄＹ）の
範囲に入る格子点を全て検索する。

【００７３】次のステップ２２８では、画像Ａ及び画像
Ｂから共通に抽出した格子点を判定する。これにより、
情報入力空間内で特徴点Ｐ_x に近接した位置に存在して
いる格子点のみが複数抽出されることになる。ステップ
２３０では、画像Ａ及び画像Ｂから共通に抽出した格子
点の３次元座標を、格子点位置情報から取り込む。

【００７４】本実施形態では、後述するように特徴点Ｐ
_x の３次元座標を情報入力空間内で特徴点Ｐ_x に近接し
た位置に存在している複数の格子点の３次元座標から内
挿によって演算する（具体的には、前記複数の格子点の
３次元座標の座標値の重み付き平均により特徴点Ｐ_x の
３次元座標の座標値を求める）。このため、特徴点Ｐ _x
の３次元座標の演算に先立ち、次のステップ２３２で
は、画像Ａ及び画像Ｂから共通に抽出した各格子点の画
像Ａ及び画像Ｂ上での位置、画像Ａ上での特徴点Ｐ_x の
位置（Ｘ_A ，Ｙ_A ）、画像Ｂ上での特徴点Ｐ_x の位置
（Ｘ_B ，Ｙ_B ）に基づいて、画像Ａ及び画像Ｂから共通
に抽出した各格子点の３次元座標からの内挿の割合（各
格子点の３次元座標の座標値に対する重み）を決定す
る。この内挿の割合は、例えば画像Ａ及び画像Ｂ上で特
徴点Ｐ_x と近接した位置に存在している格子点の３次元
座標の座標値の重みが大きくなるように決定することが
できる。

【００７５】そしてステップ２３４では、画像Ａ及び画
像Ｂから共通に抽出した格子点の３次元座標、及びステ
ップ２３２で決定した内挿の割合に基づいて、特徴点Ｐ
_x の３次元座標（Ｘ_x ，Ｙ_x ，Ｚ_x ）を演算する。上記
のようにして特徴点Ｐ_x の３次元座標を演算すると基準
点・特徴点座標演算処理を終了し、指示判断処理（図
６）のステップ１５６へ移行する。なお、上記の基準点
・特徴点座標演算処理は繰り返し実行されるので、該処
理によって演算される基準点Ｐ₀ 及び特徴点Ｐ_xの３次
元座標の値は、情報入力者１０の姿勢や動作の変化に応
じて逐次更新されることになる。

【００７６】ステップ１５６では処理モード判定処理を
行う。この処理モード判定処理は、情報入力者１０によ
って処理モードの切り替えが指示されたか否かを判定
し、処理モードの切り替えが指示された場合には、指示
に応じて処理モードを変更設定する処理であり、詳細は
後述する。次のステップ１５８では、現在設定されてい
る処理モードが情報入力モードか否か判定する。この判
定が否定された場合にはステップ１６２へ移行し、先に
説明した基準点・特徴点座標演算処理（図７）のステッ
プ２１８と同様にして、情報入力者１０が指示動作を行
っているか否か判定する。この判定も否定された場合に
はステップ１５３に戻り、情報入力空間内に情報入力者
１０が存在している間はステップ１５４以降の処理を繰
り返す。なお、基準点・特徴点座標演算処理では、情報
入力者１０が指示動作を行っている場合（ステップ２１
８の判定が肯定された場合）にのみ特徴点Ｐ_x の３次元
座標を演算するので、ステップ１６２の判定は、特徴点
Ｐ_x の３次元座標が演算されたか否かを判断することで
行うことも可能である。

【００７７】一方、ステップ１６２の判定が肯定された
場合にはステップ１６４へ移行し、先の基準点・特徴点
座標演算処理で演算された基準点Ｐ₀ 及び特徴点Ｐ_x の
３次元座標に基づき、情報入力者１０が指し示している
方向として、上記の基準点Ｐ ₀ と特徴点Ｐ_x とを結ぶ仮
想線（図１３の仮想線５４参照）の延びる方向を求め、
情報入力者１０が指し示している位置（指示位置）とし
て、ディスプレイ１２の表示面を含む平面と前記仮想線
の交点（図１３の点Ｓ参照）の座標（平面座標）を演算
する。このように、ステップ１６４は先に説明した基準
点・特徴点座標演算処理と共に、本発明の第１の判断手
段に対応している。

【００７８】ステップ１６６では、基準点Ｐ₀ 及び特徴
点Ｐ_x の３次元座標に基づいて基準点Ｐ₀ と特徴点Ｐ_x
との距離ｋ（図１３参照）を演算し、演算した距離ｋ
を、先のステップ１６４で演算された情報入力者１０に
よる指示位置の座標と共に、現時刻と対応させてＲＡＭ
２２Ｃに記憶する。

【００７９】次のステップ１６８では、ステップ１６４
で演算された指示位置の座標に基づいて、情報入力者１
０がディスプレイ１２の表示面内を指し示しているか否
か判定する。なお、ディスプレイ１２の表示面は請求項
２に記載の所定範囲に対応している。ステップ１６８の
判定が否定された場合には、ステップ１７０で監視フラ
グを０にしてステップ１５３に戻る。一方、ステップ１
６８の判定が肯定された場合には、ステップ１７２にお
いて、情報入力者１０による指示位置を表す座標を情報
処理装置１４に出力し、情報処理装置１４により、ディ
スプレイ１２の表示面上の指示位置にカーソルを表示さ
せる。

【００８０】次のステップ１７４では監視フラグが１か
否か判定する。判定が肯定された場合にはステップ１８
２以降において、情報入力者１０によってクリック動作
が行われたか否かが判断されるが、監視フラグが０の場
合にはステップ１７４の判定が否定され、ステップ１７
４へ移行する。

【００８１】図６からも明らかなように、先のステップ
１６４（及びステップ１６６、１６８）は情報入力者１
０が指示動作を行っている間は繰り返し実行されるが、
ステップ１７６では、ステップ１６４の処理を前回行っ
た際に演算された指示位置もディスプレイ１２の表示面
内に相当する位置であったか否か判定する。前回演算さ
れた指示位置がディスプレイ１２の表示面から外れてい
た場合（前回はステップ１６８の判定が否定された場
合）にはステップ１７６の判定が否定され、何ら処理を
行うことなくステップ１５３に戻る。

【００８２】また、ステップ１７６の判定が肯定された
場合にはステップ１７８へ移行し、ステップ１６４を今
回実行した際に演算された基準点Ｐ₀ と特徴点Ｐ_x との
距離ｋが、ステップ１６４を前回実行した際に演算され
た基準点Ｐ₀ と特徴点Ｐ_x との距離ｋと略同一か否か
（すなわち差が所定値以内か否か）判定する。ステップ
１７８の判定が否定された場合にも、何ら処理を行うこ
となくステップ１５３に戻る。また、ステップ１７８の
判定が否定された場合にはステップ１８０へ移行し、監
視フラグを１にしてステップ１５３に戻る。

【００８３】先にも述べたように、クリック動作が行わ
れたか否かの判断は、監視フラグが１になっているとき
（すなわちステップ１７４の判定が肯定された場合）に
のみ行われるが、上記のように、監視フラグはステップ
１７６及びステップ１７８の判定が肯定された場合、す
なわち情報入力者１０がディスプレイ１２の表示面内に
相当する位置を指し示している状態が、比較的短い時間
（ステップ１６４〜１６８が複数回実行される程度の時
間）以上継続した場合に初めて１が設定され、例として
図１４に示すように、情報入力者１０による指示位置が
ディスプレイ１２の表示面外から表示面内へ変化したと
きには監視フラグに１が設定されることはない。

【００８４】情報入力者１０が腕を下ろしているときに
は肘を伸ばしている状態が自然であるが、ディスプレイ
１２の表示面内の所望の位置を指し示すために腕を上げ
たときには自然に肘が若干曲がる（後でクリック動作を
行うことを考えても、肘を伸ばしたまま腕を上げる動作
より、肘を若干曲げながら腕を上げる動作の方が、所望
の位置を指し示している状態となったときに自然に肘が
若干曲がっていることになり合理的である）ので、情報
入力者１０が腕を上げる動作の最中に基準点Ｐ ₀ と特徴
点Ｐ_x との距離ｋが変化する。

【００８５】これに対し、上記動作を行っているときに
は、前述のステップ１７６及びステップ１７８により、
クリック動作の有無が判断されることがないので、上記
動作をクリック動作と誤判断することが防止され、情報
入力者１０の意図に反して何らかの処理が実行されるこ
とを回避することができる。これは、基準点Ｐ₀ と特徴
点Ｐ_x との距離ｋとして、直線距離（仮想線５４（図１
３参照）に沿った距離）を用いる場合のみならず、基準
点Ｐ₀ と特徴点Ｐ_x との水平方向（図１４のｚ方向）に
沿った距離を用いる場合にも有効である。このように、
ステップ１７６及びステップ１７８は請求項２に記載の
制御手段（より詳しくは、第２の判断手段による判断を
停止させる制御手段）に対応している。

【００８６】なお、上記のようにクリック動作の有無の
判断を停止させることに代えて、例えば情報入力者１０
が腕を上げる動作を行ったときには、情報処理装置１４
に対し、クリック動作が行われた旨の通知（後述するス
テップ１９２の処理）を禁止するようにしてもよい。こ
の場合にも、情報入力者１０の意図に反して何らかの処
理が実行されることを回避することができる。

【００８７】監視フラグに１が設定されると、ステップ
１７４の判定が肯定されてステップ１８２へ移行し、ス
テップ１８２以降で情報入力者１０によるクリック動作
の有無を判断する。本実施形態では、情報入力者１０が
手を前方に素早く移動させる動作（図１５（Ａ）参照、
以下「前進クリック」という）、及び情報入力者１０が
手を後方に素早く移動させる動作（図１５（Ｂ）参照、
以下「後進クリック」という）をクリック動作としてい
る。このクリック動作は、ディスプレイ１２の表示面上
の特定の箇所を指し示して選択する動作として極めて自
然な動作であるので、認識対象者は違和感を感ずること
なくクリック動作を行うことができる。上記のクリック
動作の有無を判断するために、まずステップ１８２で
は、先のステップ１６６で逐次演算されてＲＡＭ２２Ｃ
に記憶される基準点Ｐ₀ と特徴点Ｐ _x との距離ｋの推移
に基づいて、距離ｋの変化が有ったか否か判定する。ス
テップ１８２の判定が否定された場合には、情報入力者
１０がクリック動作を行っていないと判断できるので、
ステップ１５３に戻る。

【００８８】また、ステップ１８２の判定が肯定された
場合にはステップ１８４へ移行し、距離ｋの変化速度Ｖ
を演算し、演算した変化速度Ｖが閾値Ｖ₀ 以上か否か判
定する。判定が否定された場合には、情報入力者１０が
クリック動作を行っていないと判断できるのでステップ
１５３に戻る。なお、距離ｋの変化速度の閾値Ｖ₀ とし
ては固定的に定めた値を用いてもよいが、情報入力空間
に情報入力者１０が到来した際に、到来した情報入力者
１０に対してクリック動作を行うことを要請し、情報入
力者１０がクリック動作を行ったときの距離ｋの変化速
度Ｖに基づき、個々の情報入力者毎に設定することが好
ましい。これにより、クリック動作を行った際の距離ｋ
の変化速度が個々の情報入力者毎に大きくばらついてい
る場合にも、クリック動作に相当する速度で距離ｋが変
化したことを確実に検知することができる。

【００８９】また、ステップ１８４の判定が肯定された
場合にはステップ１８６へ移行し、距離ｋが、一定方向
（増大方向又は減少方向）に所定時間以上継続して変化
しているか否か判定する。この判定が否定された場合に
も、情報入力者１０がクリック動作を行っていないと判
断できるので、ステップ１５３に戻る。また、ステップ
１８６の判定が肯定された場合には、情報入力者１０が
クリック動作を行ったと判断できるので、ステップ１８
８へ移行する。このように、ステップ１８２〜１８６は
本発明の第２の判断手段に対応している。

【００９０】ステップ１８８ではＲＡＭ２２Ｃに記憶さ
れている距離ｋの推移に基づいて、距離ｋの変化が始ま
った時刻、すなわち情報入力者１０によるクリック動作
が開始された時刻を判定する。次のステップ１９０で
は、ＲＡＭ２２Ｃに蓄積記憶されている指示位置のう
ち、ステップ１８８で判定されたクリック動作開始時刻
における指示位置（クリック動作開始時にＲＡＭ２２Ｃ
に記憶された指示位置）を取り込む。

【００９１】そして、次のステップ１９２では、情報処
理装置１４に対し、情報入力者１０によってクリック動
作が行われたことを通知すると共に、クリック動作によ
る距離ｋの変化方向、クリック動作開始時の指示位置、
及び現在設定されている処理モードを通知する。これに
より、情報処理装置１４では、まず通知されたクリック
動作開始時の指示位置をクリック位置と判断し、該クリ
ック位置に対応する処理（通常は複数種の処理）を判別
する。次に、距離ｋの変化方向よりクリック方向（前進
クリック／後進クリック）を判断する。そして、先に判
別したクリック位置に対応する処理の中から、判断した
クリック方向、及び通知された処理モードに対応する処
理を選択し、選択した処理（本発明の所定の処理に対
応）を実行する。このように、ステップ１９２は、実際
に処理を行う情報処理装置１４と共に、請求項１〜請求
項３に記載の処理手段に各々対応している。

【００９２】なお、情報処理装置１４で実行される処理
は任意に定めることが可能であり、例えば処理モードが
通常処理モードであり、ディスプレイ１２の表示面上の
特定のアプリケーションを表すアイコンを表示している
箇所が前進クリック（又は後進クリック）された場合に
は、前記特定のアプリケーションを起動し、例えば処理
モードが特殊処理モードであり、ディスプレイ１２の表
示面上の特定のアプリケーションを表すアイコンを表示
している箇所が前進クリック（又は後進クリック）され
た場合には、前記特定のアプリケーションに関連する特
殊処理（例えばアプリケーションに関する各種パラメー
タの設定、アプリケーションのバージョン表示、アイコ
ンの表示に関するパラメータの設定等）を一覧表示し、
更に特定の特殊処理がクリックされた場合には、クリッ
クされた特殊処理を実行することができる。

【００９３】また、例えば処理モードがファイル転送モ
ードであり、ディスプレイ１２の表示面上の特定のデー
タファイルを表すアイコンを表示している箇所が前進ク
リック（又は後進クリック）された場合には、ファイル
転送先を一覧表示し、更に特定の転送先がクリックされ
た場合には、前記アイコンに対応するデータファイルを
前記クリックされた転送先に転送し、処理モードがファ
イル検索（又は更新）モードであり、ディスプレイ１２
の表示面上の特定のデータファイルを表すアイコンを表
示している箇所が前進クリック（又は後進クリック）さ
れた場合には、前記アイコンに対応するデータファイル
を検索して表示することができる。

【００９４】また、例えば処理モードがファイル検索
（又は更新）モードであり、ディスプレイ１２の表示面
上の特定の情報記憶媒体を表すアイコンを表示している
箇所が前進クリック（又は後進クリック）された場合に
は、前記アイコンに対応する情報記憶媒体にどのような
データファイルが記憶されているかを探索して一覧表示
し、処理モードが情報入力モードであり、ディスプレイ
１２に情報入力ウインドウを表示している状態で、前記
ウインドウ内の特定箇所がクリックされた場合には、ク
リック位置へカーソルを移動し、情報入力者１０からの
情報入力に対する準備を行うことができる。

【００９５】このように、本実施形態でクリック動作と
して採用している動作は前進クリック動作及び後進クリ
ック動作であり、基準点Ｐ₀ と特徴点Ｐ_x との距離ｋの
変化に基づいて、クリック動作が行われたか否か及び行
われたクリック動作が前進クリック動作か後進クリック
動作かを判断できると共に、クリック動作が行われた場
合に、クリック位置に対応する各種の処理の中から、そ
のとき設定されている処理モードとクリック方向に対応
する処理を選択的に実行するので、クリック動作そのも
のを多数種定めておく場合と比較して、情報入力者１０
によってクリック動作が行われてから、クリック動作が
行われたと判断して対応する処理を行う迄の時間を短縮
することができる。

【００９６】なお、上述した処理は単なる一例であり、
処理モードの種類数や、各処理モードの名称、処理の内
容については利用形態等に応じて適宜変更可能であるこ
とは言うまでもなく、例えばディスプレイ１２に表示し
ている画像の表示倍率を変更するための表示倍率変更モ
ードを設け、処理モードが表示倍率変更モードであると
きには、基準点Ｐ₀ と特徴点Ｐ_x との距離の変化に応じ
て、そのときの指示位置を中心として表示倍率を変更す
るようにしてもよい。

【００９７】上記では、クリック位置として、情報入力
者１０がクリック動作を開始した際の指示位置を用いて
いるので、クリック動作の最中に指示位置がずれたとし
ても、情報入力者１０が当初指し示していた位置に対応
する処理を確実に実行することができる。従って、クリ
ック動作が行われた際の指示位置の誤判断を防止するこ
とができ、情報入力者１０が所望する処理を確実に実行
することができる。なお、クリック動作開始時に記憶さ
れた指示位置を取り込むステップ１９０は、ステップ１
９２及び情報処理装置１４と共に、請求項１に記載の処
理手段に対応している。

【００９８】次に、処理モードの切り替えについて説明
する。本実施形態では、情報入力者１０が処理モードの
切り替えを指示するための動作（処理モード切替指示動
作）として、手の形を変える動作、処理モードの切り替
えを指示する音声を発する動作、及びフットスイッチ４
６を操作する動作の３種類が定められており、情報入力
者１０が３種類の動作のうちの何れの動作を行っても処
理モードの切り替わるようになっている。

【００９９】本実施形態では、特定位置を指し示す動作
（ポインティング動作）及びクリック動作を行う際の手
の形を、特定箇所を指し示す動作での自然な手の形、す
なわち人指し指を伸ばしかつ他の指を折り曲げた形（図
１６（Ａ）参照）と定めており、処理モードの切り替え
を指示するための手の形として、例えば図１６（Ｂ）乃
至（Ｆ）に示すような上記以外の手の形を用いている。
それぞれの形は互いに異なる処理モードに対応してお
り、手の形を変えることで特定の処理モードへの切り替
えを指示する場合、情報入力者１０は自身の手の形を、
前記特定の処理モードに対応する手の形に変える動作を
行う。

【０１００】なお、処理モード切替指示動作としての手
の形を変える動作は上記に限定されるものではなく、例
えば図１６（Ａ）〜（Ｆ）に示した手の形のうち複数種
の形を組み合わせ、単一の処理モードへの切り替え指示
を、手の形を複数種の形に順に変えていく動作によって
表現し、一連の処理モード切替指示動作における手の形
の組み合わせ及び順番に基づいて、指示された処理モー
ドを判断するようにしてもよい。

【０１０１】また、音声を発することで特定の処理モー
ドへの切り替えを指示する場合、情報入力者１０は、前
記特定の処理モードの名称、或いは特定の処理モードに
付した符号の名称を発音する動作を行う。また、フット
スイッチ４６の個々のフットペダル４８は互いに異なる
処理モードに対応しており、フットスイッチ４６を操作
することで特定の処理モードへの切り替えを指示する場
合には、情報入力者１０は、前記特定の処理モードに対
応するフットペダル４８を自身の足によって押圧操作す
る。

【０１０２】上述した処理モード切替指示動作が行われ
たか否かは、指示判断処理（図６）のステップ１５６の
処理モード判定処理で判断される。以下、この処理モー
ド判定処理について、図８のフローチャートを参照して
説明する。

【０１０３】ステップ２５０では、先に説明した基準点
・特徴点座標演算処理（図７）のステップ２１８と同様
に、情報入力者が指示動作を行っているか否か判定す
る。判定が肯定された場合にはステップ２５２へ移行
し、画像Ａ中に存在する情報入力者１０の手に相当する
画像部を抽出すると共に、画像Ｂ中に存在する情報入力
者１０の手に相当する画像部を抽出する。そして、ステ
ップ２５４では抽出した画像部に基づいて、情報入力者
１０の手の形が処理モードの切り替えを指示する手の形
か否か判定し、判定が肯定された場合にはステップ２６
４で指示された処理モードを判定する。

【０１０４】図１６（Ａ）乃至（Ｆ）に各々示された手
の形からも明らかなように、処理モードの切り替えを指
示するためのそれぞれの手の形は、伸ばしている指の本
数が異なるか、又は伸ばしている指の本数が同一の場合
は伸ばしている指の種類（長さ）が異なっており、それ
ぞれの手の形における面積、輪郭線の長さ、輪郭の形状
は互いに相違している。従って、先のステップ２５４、
２６４の判定は、例えば情報入力者１０の手に相当する
画像部の特徴量として、例えば面積又は輪郭線の長さを
求め、求めた面積又は輪郭線の長さを、それぞれの手の
形に対応して予め定めた複数の閾値と各々比較すること
で行うか、或いは輪郭の形状を、それぞれの手の形に対
応して予め定めた複数種の輪郭形状のパターンと各々比
較することで行うことができる。

【０１０５】なお、上記の面積や輪郭線の長さの閾値、
輪郭形状のパターンは、固定的に定めておいてもよい
が、情報入力空間に情報入力者１０が到来した際に、到
来した情報入力者１０に対し、手の形を各処理モードに
対応する形に変化させる動作を行うことを要請し、情報
入力者１０が手の形を変化させたときの面積や輪郭線の
長さ、或いは輪郭形状のパターンを検知して記憶してお
いて、上記判定に用いることが好ましい。これにより、
個々の情報入力者１０の手の大きさや指の長さのばらつ
き等に拘らず、情報入力者１０が手の形を変化させるこ
とによる処理モード切替指示動作の実行の有無を確実に
判定することができる。

【０１０６】また、上記の判定方法に代えて、基準点・
特徴点座標演算処理における特徴点Ｐ_x の座標の演算と
同様に、情報入力者１０の手の各指の先端（指を伸ばし
ている場合には指先、指を折り曲げている場合には指の
関節部分が先端となる）の位置を周期的に演算し、各指
の先端の位置と、情報入力者１０が指を折り曲げたり伸
ばしたりしても位置が変化しない箇所（例えば情報入力
者１０の手首に相当する点）との相対位置の変化に基づ
いて、各指の形（伸ばしている／折り曲げている）の変
化を常時監視しておき、各指の現在の形に基づいて処理
モード切替指示動作の実行の有無を判定するようにして
もよい。

【０１０７】情報入力者１０が処理モード切替指示動作
として手の形を変える動作を行った場合に、上記のよう
にして指示された処理モードを判定するとステップ２６
６へ移行し、現在の処理モードとして、ステップ２６４
で判定した処理モードを設定・記憶する。これにより、
先にも述べたように、情報入力者１０がクリック動作を
行ったときに情報処理装置１４で実行される処理が、現
在の処理モードに応じて切り替わることになる。

【０１０８】次のステップ２６８では情報処理装置１４
に対し、ディスプレイに表示するカーソルの表示色又は
他の表示箇所の表示色（例えばウインドウの縁の表示色
等）を、現在の処理モードに応じて変更するよう指示す
る。このように、処理モードに応じて表示色を変更する
ことにより、処理モード切替指示動作によって処理モー
ドが変更されたか否かを情報入力者１０が容易に確認す
ることができる。

【０１０９】一方、情報入力者１０が指示動作を行って
いない場合（ステップ２５０の判定が否定された場
合）、又は情報入力者１０が手の形を変えることによる
処理モード切替指示動作を行っていない場合（ステップ
２５４の判定が否定された場合）にはステップ２５６へ
移行し、音声検知装置４２から入力されてＲＡＭ２２Ｃ
に蓄積記憶されている音声データを取り込む。ステップ
２５８では、取り込んだ音声データの中に、処理モード
の切り替えを指示する音声（特定の処理モードの名称又
は特定の処理モードに付した符号の名称を表す音声）の
音声データが含まれているか否かを探索し、次のステッ
プ２６０で、処理モードの切り替えを指示する音声の音
声データが含まれていたか否か判定する。そして、この
判定が肯定された場合にはステップ２６４で指示された
処理モードを判定し、前述のステップ２６６、２６８の
処理を行う。

【０１１０】上記の探索及び判定は、具体的には、処理
モードの切り替えを指示する音声の音声データのパター
ンを予め記憶しておき、ＲＡＭ２２Ｃから取り込んだ音
声データに対してパターンマッチングを行うことで実現
できる。なお、音声データのパターンについても、予め
固定的に記憶しておいてもよいが、情報入力空間に情報
入力者１０が到来した際に、到来した情報入力者１０に
対し、特定の処理モードの名称又は特定の処理モードに
付した符号の名称の発音動作を行うことを要請し、情報
入力者１０が発音することで得られた音声データをパタ
ーンとして記憶しておいて、上記の探索及び判定に用い
ることが好ましい。これにより、個々の情報入力者１０
から発せられる音声の音量や音質のばらつき等に拘ら
ず、情報入力者１０が音声を発することによる処理モー
ド切替指示動作の実行の有無を確実に判定することがで
きる。

【０１１１】また、ステップ２６０の判定が否定された
場合にはステップ２６２へ移行し、フットスイッチ４６
の各スイッチの接点の状態を検知することで、フットス
イッチ４６が操作されたか否か判定し、判定が肯定され
た場合にはステップ２６４で指示された処理モードを判
定する。そして、この判定が肯定された場合にはステッ
プ２６４で指示された処理モードを判定し、前述のステ
ップ２６６、２６８の処理を行う。フットスイッチ４６
の個々のフットペダル４８は互いに異なる処理モードに
対応しているので、上記の判定は、何れかのフットペダ
ル４８が操作されたか否か、及び操作されたフットペダ
ル４８が何れの処理モードに対応しているかを判断する
ことで行うことができる。

【０１１２】上述したモード判定処理は請求項３に記載
の第３の判断手段に対応しており、より詳しくは、ステ
ップ２５２、２５４は請求項４に記載の第３の判断手段
に、ステップ２５６〜２６０は請求項６に記載の第３の
判断手段に、ステップ２６２は請求項５に記載の第３の
判断手段に各々対応している。上述したモード判定処理
では、情報入力者１０が指示動作を行っていない場合に
も、処理モード切替指示動作として、処理モードの切り
替えを指示する音声を発する動作、及びフットスイッチ
４６を操作する動作の何れかが行われたか否かを判定し
ているので、情報入力者１０が腕を上げることなく処理
モードの切り替えを指示することも可能となる。

【０１１３】なお、ステップ２６２の判定も否定された
場合には、情報入力者１０は処理モード切替指示動作を
行っていないと判断し、何ら処理を行うことなくモード
判定処理を終了する。

【０１１４】ところで、処理モード切替指示動作とし
て、処理モードを情報入力モードに切り替えることを指
示する動作が情報入力者１０によって行われた場合、モ
ード判定処理によって処理モードが情報入力モードへ変
更されることにより、指示判断処理（図６）のステップ
１５８の判定が肯定され、ステップ１６０で入力情報認
識・転送処理を行う。

【０１１５】すなわち、音声検知装置４２から入力され
る音声データを取り込み、取り込んだ音声データに基づ
いて、入力すべき情報を表す音声を情報入力者１０が発
したか否か判断する。そして、情報入力者１０が音声を
発したと判断した場合には、情報入力者１０が発した音
声を表す音声データに基づいて、音声の内容（音声が表
す情報）を認識してデータ（例えばテキストデータ）を
生成し、生成したデータを情報処理装置１４へ転送す
る。これにより、情報入力者１０が情報を入力する際に
キーボード等を操作する必要がなくなるので、情報入力
作業を省力化することができる。ステップ１６０は請求
項７に記載の処理手段に対応している。

【０１１６】ハンドポインティング入力装置２０のコン
トローラ２２において、上述した処理が実行されること
により、情報入力者１０によるディスプレイ１２上の表
示面上の指示位置及びクリック動作の有無をリアルタイ
ムで判断することができるので、情報処理処理装置１４
で実行される処理と組み合わせることで、以下で説明す
るように種々の利用形態での利用が可能となる。

【０１１７】例えばディスプレイ１２を地下街等の壁面
に設置し、情報処理装置１４がディスプレイ１２に商品
の広告等を表示する場合に、本実施形態に係るハンドポ
インティング入力装置２０を設ければ、到来した利用者
（情報入力者）の指示に応じて特定の商品を詳しく説明
する画面を表示する等のように、利用者との双方向のコ
ミュニケーションが可能となる。また、利用者に課金用
のカードを所持させるようにすれば、このカードにより
課金することで利用者が商品を購入することも可能とな
る。

【０１１８】また、例えばディスプレイ１２をビルのエ
ントランスに設置し、情報処理装置１４がディスプレイ
１２にビル内を案内する案内図等を表示する場合に、本
実施形態に係るハンドポインティング入力装置２０を設
ければ、到来した利用者（情報入力者）の指示に応じて
ビル内のうち利用者が訪問する箇所を詳しく説明する画
面や、訪問する箇所迄の経路を示す画面を表示する等の
ように、利用者との双方向のコミュニケーションが可能
となる。

【０１１９】また、クリーンルームには取扱説明書やそ
の他のマニュアルを持ち込めないことが一般的である
が、例えばディスプレイ１２をクリーンルームの外部
に、クリーンルーム内から視認可能に配置し、ハンドポ
インティング入力装置２０によって判断したクリーンル
ーム内の作業者からの指示に応じて取扱説明書やその他
のマニュアルの内容をディスプレイ１２に表示するよう
にすれば、クリーンルーム内とクリーンルーム外との双
方向のコミュニケーションが可能となり、クリーンルー
ム内での作業の効率が向上する。

【０１２０】更に、例えば大画面のディスプレイ１２、
ハンドポインティング入力装置２０及び情報処理装置１
４をアミューズメント施設のゲーム機として動作させた
り、会議のプレゼンテーションにおいて、ディスプレイ
１２に説明用の資料を表示しディスプレイ１２の表示面
上の任意の位置を指し示す際に適用することも可能であ
る。

【０１２１】なお、上記では２台のビデオカメラ３６
Ａ、３６Ｂを設けた例を説明したが、これに限定される
ものではなく、より多数のビデオカメラによって情報入
力空間を各々撮像し、情報入力者１０からの指示を判断
するようにしてもよい。

【０１２２】また、上記では本発明に係る特徴点Ｐ_x と
して、指先に相当する点を例に説明したが、特徴点は認
識対象者が腕を屈曲又は伸長させることで位置が変化す
る点であればよく、例えば認識対象者の手首に相当する
点や、認識対象者の手の甲にに相当する点を特徴点とし
て用いるようにしてもよい。

【０１２３】また、情報入力者１０の姿勢が、腕を上げ
ている状態（図１１（Ｂ）又は（Ｃ）参照）から、腕を
下ろした状態（図１１（Ａ）参照）に変化した場合に、
腕を下ろす直前の指示位置にカーソルを継続して表示す
るようにしてもよい。これにより、情報入力者１０が一
定箇所にカーソルを継続して表示させたい等の場合にも
（例えば会議のプレゼンテーション等）、情報入力者１
０が継続的に腕を上げ続ける必要がなくなるので、情報
入力者１０の負担を軽減することができる。

【０１２４】更に、上記では処理モード切替指示動作と
して、手の形を変える動作、処理モードの切り替えを指
示する音声を発する動作、及びフットスイッチ４６を操
作する動作、の３種類の動作を用いていたが、これに限
定されるものではなく、何れか１種類の動作を処理モー
ド切替指示動作として用いてもよいし、上記３種類の動
作以外の他の動作を処理モード切替指示動作として用い
てもよい。

【０１２５】また、上記では請求項５に記載のスイッチ
として、情報入力者１０が足で操作するためのフットス
イッチ４６を床上に配置した例を説明したが、これに限
定されるものではなく、情報入力者が手で操作するため
のスイッチを床面から所定の高さ位置に設けてもよい。
但し、画像から情報入力者１０等を認識する際の妨げと
なる可能性がある（特に特徴点Ｐ_x の抽出の妨げとなる
可能性が高い）ことを考慮すると、スイッチは床上等に
配置することが好ましい。

【０１２６】また、上記ではクリック動作として、情報
入力者１０が手を前方に素早く移動させる前進クリック
動作、及び情報入力者１０が手を後方に素早く移動させ
る後進クリック動作のみを判断するようにしていたが、
これに限定されるものではなく、例えば基準点Ｐ₀ と特
徴点Ｐ_x との距離ｋの推移を所定時間に亘って監視する
ことにより、マウスの操作では一般的なダブルクリック
動作（ハンドポインティング装置では、例えば前進クリ
ック動作又は後進クリック動作を２回続けて行う動作等
で代用できる）やドラッグ＆ドロップ動作（ハンドポイ
ンティング装置では、例えば前進クリック動作→指示位
置移動動作→後進クリック動作等の一連の動作により代
用できる）も判断するようにしてもよい。本発明に係る
クリック動作には上述した動作も含まれる。

【０１２７】更に、ディスプレイ１２としては、プラズ
マディスプレイ、ＣＲＴ、光ファイバディスプレイ等の
周知の表示装置を適用してもよいし、液晶ゴーグル等を
適用することも可能である。また、擬似的に３次元空間
を表す３次元的画像をディスプレイに表示するようにし
てもよい。具体的には、上記のような平面ディスプレイ
い一点透視法や二点透視法に則った画像を表示したり、
液晶シャッタやレンチキュラーレンズを利用した３次元
ディスプレイに画像を表示したり、ホログラフィー技術
を適用して立体画像を表示するようにしてもよい。

【０１２８】また、上記では情報入力者１０がディスプ
レイ１２の表示面上の任意の位置を指し示す態様を例に
説明したが、情報入力者が指し示す対象はディスプレイ
に限定されるものではなく、情報入力者が任意の方向を
指し示したり、情報入力者との距離が不定の任意の物体
を指し示すようにしてもよい。情報入力者が任意の方向
を指し示す場合には、指示判断処理（の例えばステップ
１６４）において、情報入力者の基準点と特徴点とを結
ぶ仮想線の延びる方向を求めるようにすることで、情報
入力者によって指し示された方向を判断できる。また、
情報入力者が、情報入力者との距離が不定の任意の物体
を指し示す場合には、先のステップ１６４において、仮
想線の延びる方向を求めた後に、該仮想線を延長した先
に存在する物体を判定することで、情報入力者が指し示
している物体を判断することができる。

【０１２９】情報入力者が任意の方向を指し示す利用形
態としては、例えば劇場等において、スポットライトの
照射方向や、アレイ状に配置された多数のスピーカによ
って形成される音響ビームの方向を、オペレータ（情報
入力者）が指し示した方向に向ける場合等が挙げられ
る。また、情報入力者が、情報入力者からの距離が不定
の任意の物体を指し示す利用形態としては、例えば建設
現場や工場等においてクレーンやその他の機械をオペレ
ータ（情報入力者）の指示に応じて動作させる場合、或
いはホームオートメーションにおいて情報入力者が各種
設備機器に対して各種の指示を行う場合等が挙げられ
る。

【０１３０】

【発明の効果】以上説明したように請求項１記載の発明
は、特徴点及び基準点の３次元座標に基づいて認識対象
者による指示位置又は指示方向を判断し、基準点と特徴
点との距離の変化に基づき認識対象者によってクリック
動作が行われたか否かを判断すると共に、認識対象者に
よってクリック動作が行われたと判断された場合に、ク
リック動作が行われる直前の認識対象者による指示位置
又は指示方向に対応する所定の処理を実行するようにし
たので、クリック動作が行われた時の指示位置又は指示
方向の誤判断を防止することができる、という優れた効
果を有する。

【０１３１】請求項２記載の発明は、特徴点及び基準点
の３次元座標に基づいて認識対象者による指示位置又は
指示方向を判断し、基準点と特徴点との距離の変化に基
づき認識対象者によってクリック動作が行われたか否か
を判断し、認識対象者によってクリック動作が行われた
と判断された場合に、指示位置又は指示方向に対応する
所定の処理を実行すると共に、指示位置又は指示方向が
所定範囲外から所定範囲内へ変化したときには、クリッ
ク動作の判断を停止させるか、又は所定の処理の実行を
禁止するので、クリック動作が行われていないにも拘ら
ず、利用者の意図に反して何らかの処理が実行されるこ
とを防止できる、という優れた効果を有する。

【０１３２】請求項３記載の発明は、特徴点及び基準点
の３次元座標に基づいて認識対象者による指示位置又は
指示方向を判断し、基準点と特徴点との距離の変化に基
づき認識対象者によってクリック動作が行われたか否か
を判断し、処理モード切替指示動作が認識対象者によっ
て行われたか否かを判定して現在の処理モードを判断
し、認識対象者によってクリック動作が行われたと判断
された場合に、認識対象者による指示位置又は指示方向
に対応し、かつ現在の処理モードに対応する所定の処理
を実行するようにしたので、クリック動作の判断処理の
複雑化を招くことなく、利用者がクリック動作によって
種々の指示を与えることが可能となる、という優れた効
果を有する。

【０１３３】請求項４記載の発明は、請求項３の発明に
おいて、認識対象者の手に相当する画像部の面積の変
化、又は輪郭線の長さの変化、又は輪郭の形状の変化、
又は認識対象者の手の各指の形の変化に基づいて処理モ
ード切替指示動作が行われたか否かを判定するので、上
記効果に加え、処理モード切替指示動作が行われたか否
かを判定するために検出器等を新たに設ける必要がなく
なる、という効果を有する。

【０１３４】請求項５記載の発明は、請求項３の発明に
おいて、認識対象者により接点切替操作が可能なスイッ
チを設け、該スイッチの接点が切り替えられたか否かに
基づいて、処理モード切替指示動作が行われたか否かを
判定するので、上記効果に加え、構成の複雑化を最小限
に抑え、処理モード切替指示動作が行われたか否かを簡
易に判断することができる、という効果を有する。

【０１３５】請求項６記載の発明は、請求項３の発明に
おいて、認識対象者から発せられた音声を検知する音声
検知手段を設け、音声検知手段によって検知された音声
に基づき、認識対象者から処理モードの切り替えを指示
する音声が発せられたか否かを判定することで、処理モ
ード切替指示動作が行われたか否かを判定するようにし
たので、上記効果に加え、認識対象者が違和感を感ずる
ことなく処理モード切替指示動作を行うことができる、
という効果を有する。

【０１３６】請求項７記載の発明は、請求項６の発明に
おいて、入力すべき情報を表す音声が認識対象者から発
せられた場合に、音声検知手段によって検知された音声
に基づき、前記音声が表す情報を認識し、認識した情報
を表すデータを生成するように処理手段を構成したの
で、上記効果に加え、音声検知手段を有効に利用するこ
とができると共に、認識対象者が情報入力作業を容易に
行うことができる、という効果を有する。

【図面の簡単な説明】

【図１】情報入力空間の周辺を示す斜視図である。

【図２】本実施形態に係るハンドポインティング装置の
概略構成を示すブロック図である。

【図３】照明装置の照明範囲とビデオカメラの撮像範囲
との関係の一例を示す概略図である。

【図４】マーク板の一例を示す情報入力空間の斜視図で
ある。

【図５】格子点位置情報初期設定処理の内容を示すフロ
ーチャートである。

【図６】指示判断処理の内容を示すフローチャートであ
る。

【図７】基準点・特徴点座標演算処理の内容を示すフロ
ーチャートである。

【図８】モード判定処理の内容を示すフローチャートで
ある。

【図９】照明装置Ａ、Ｂの点灯・消灯、ビデオカメラの
撮像によって得られる画像の出力（取り込み）のタイミ
ングを示すタイミングチャートである。

【図１０】情報入力者の身長及び床面上の位置の演算を
説明するための、情報入力空間の側面図である。

【図１１】（Ａ）乃至（Ｃ）は情報入力者の動作の一例
を示すイメージ図である。

【図１２】（Ａ）はビデオカメラにより撮像された情報
入力者の手を示すイメージ図、（Ｂ）は特徴点の座標及
び特徴点の３次元座標を求めるための格子点の検索範囲
を示す概念図である。

【図１３】情報入力者が指し示しているディスプレイ上
の位置の判定を説明するための、（Ａ）は情報入力空間
の平面図、（Ｂ）は情報入力空間の側面図である。

【図１４】情報入力者による指示位置がディスプレイの
表示面外から表示面内へ変化したときを示すイメージ図
である。

【図１５】（Ａ）は前進クリック動作、（Ｂ）は後進ク
リック動作を説明するためのイメージ図である。

【図１６】（Ａ）は特定の箇所を指し示す動作を行うと
き、（Ｂ）乃至（Ｆ）は処理モードの切り替えを指示す
るときの手の形の一例を各々示すイメージ図である。

【符号の説明】

１０ 情報入力者 １２ ディスプレイ １４ 情報処理装置 ２０ ハンドポインティング入力装置 ２２ コントローラ ３６ ビデオカメラ

フロントページの続き (72)発明者 赤松 英樹 千葉県印西市大塚一丁目５番地１ 株式会 社竹中工務店技術研究所内 (72)発明者 葛原 ▲あつし▼ 千葉県印西市大塚一丁目５番地１ 株式会 社竹中工務店技術研究所内 Ｆターム(参考） 5B087 AA09 BC01 BC12 BC13 BC31 DD03

Claims (7)

【特許請求の範囲】
1. 【請求項１】 認識対象者を互いに異なる複数の方向か
   ら撮像する撮像手段と、 認識対象者が特定の位置又は方向を指し示している状況
   を前記撮像手段が撮像することで得られた複数の画像に
   基づいて、前記画像中の前記認識対象者に相当する画像
   部を抽出し、認識対象者が腕を屈曲又は伸長させること
   で位置が変化する特徴点及び認識対象者が腕を屈曲及び
   伸長させても位置が変化しない基準点の３次元座標を求
   め、特徴点及び基準点の３次元座標に基づいて認識対象
   者による指示位置又は指示方向を判断する第１の判断手
   段と、 前記基準点と前記特徴点との距離の変化に基づき、認識
   対象者によってクリック動作が行われたか否かを判断す
   る第２の判断手段と、 前記第２の判断手段により、認識対象者によってクリッ
   ク動作が行われたと判断された場合に、前記第１の判断
   手段による判断結果に基づき、前記クリック動作が行わ
   れる直前の認識対象者による指示位置又は指示方向に対
   応する所定の処理を実行する処理手段と、 を含むハンドポインティング装置。
2. 【請求項２】 認識対象者を互いに異なる複数の方向か
   ら撮像する撮像手段と、 認識対象者が特定の位置又は方向を指し示している状況
   を前記撮像手段が撮像することで得られた複数の画像に
   基づいて、前記画像中の前記認識対象者に相当する画像
   部を抽出し、認識対象者が腕を屈曲又は伸長させること
   で位置が変化する特徴点及び認識対象者が腕を屈曲及び
   伸長させても位置が変化しない基準点の３次元座標を求
   め、特徴点及び基準点の３次元座標に基づいて認識対象
   者による指示位置又は指示方向を判断する第１の判断手
   段と、 前記基準点と前記特徴点との距離の変化に基づき、認識
   対象者によってクリック動作が行われたか否かを判断す
   る第２の判断手段と、 前記第１の判断手段によって判断された認識対象者によ
   る指示位置又は指示方向が所定範囲内で、かつ前記第２
   の判断手段により、認識対象者によってクリック動作が
   行われたと判断された場合に、前記指示位置又は指示方
   向に対応する所定の処理を実行する処理手段と、 前記第１の判断手段による判断結果に基づき、認識対象
   者による指示位置又は指示方向が所定範囲外から所定範
   囲内へ変化したときには、前記第２の判断手段による判
   断を停止させるか、又は前記処理手段による所定の処理
   の実行を禁止する制御手段と、 を含むハンドポインティング装置。
3. 【請求項３】 認識対象者を互いに異なる複数の方向か
   ら撮像する撮像手段と、 認識対象者が特定の位置又は方向を指し示している状況
   を前記撮像手段が撮像することで得られた複数の画像に
   基づいて、前記画像中の前記認識対象者に相当する画像
   部を抽出し、認識対象者が腕を屈曲又は伸長させること
   で位置が変化する特徴点及び認識対象者が腕を屈曲及び
   伸長させても位置が変化しない基準点の３次元座標を求
   め、特徴点及び基準点の３次元座標に基づいて認識対象
   者による指示位置又は指示方向を判断する第１の判断手
   段と、 前記基準点と前記特徴点との距離の変化に基づき、認識
   対象者によってクリック動作が行われたか否かを判断す
   る第２の判断手段と、 前記クリック動作とは異なる処理モード切替指示動作が
   認識対象者によって行われたか否かを判定し、現在の処
   理モードを判断する第３の判断手段と、 前記第２の判断手段により、認識対象者によってクリッ
   ク動作が行われたと判断された場合に、前記第１の判断
   手段によって判断された認識対象者による指示位置又は
   指示方向に対応し、かつ前記第３の判断手段によって判
   断された現在の処理モードに対応する所定の処理を実行
   する処理手段と、 を含むハンドポインティング装置。
4. 【請求項４】 前記第３の判断手段は、前記複数の画像
   中の前記認識対象者の手に相当する画像部を抽出し、前
   記画像部の面積の変化、又は輪郭線の長さの変化、又は
   輪郭の形状の変化、又は前記画像部に基づいて認識した
   認識対象者の手の各指の形の変化に基づいて、認識対象
   者によって前記処理モード切替指示動作が行われたか否
   かを判定することを特徴とする請求項３記載のハンドポ
   インティング装置。
5. 【請求項５】 認識対象者により接点切替操作が可能な
   スイッチを備え、 前記第３の判断手段は、前記スイッチの接点が切り替え
   られたか否かに基づいて、認識対象者によって前記処理
   モード切替指示動作が行われたか否かを判定することを
   特徴とする請求項３記載のハンドポインティング装置。
6. 【請求項６】 認識対象者から発せられた音声を検知す
   る音声検知手段を備え、 前記第３の判断手段は、前記音声検知手段によって検知
   された音声に基づき、認識対象者から処理モードの切り
   替えを指示する音声が発せられたか否かを判定すること
   で、認識対象者によって前記処理モード切替指示動作が
   行われたか否かを判定することを特徴とする請求項３記
   載のハンドポインティング装置。
7. 【請求項７】 入力すべき情報を表す音声が認識対象者
   から発せられた場合に、前記処理手段は、前記音声検知
   手段によって検知された音声に基づき、前記音声が表す
   情報を認識し、認識した情報を表すデータを生成するこ
   とを特徴とする請求項６記載のハンドポインティング装
   置。