JP2003076488A - 指示位置判断装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 指示動作における指示位置又は指示方向の判
断精度の向上を実現する。 【解決手段】 情報入力者10がディスプレイ12の表示面
上の任意の箇所の指示している状況を複数の方向から撮
像し、撮像によって得られた複数の画像に基づいて、利
用者が指示動作に用いている腕の左右を判別し、左腕を
用いていると判断した場合は左肩付近、右腕を用いてい
ると判断した場合は右肩付近に基準点Ｐ₀を設定し、基
準点Ｐ₀の３次元座標を求めると共に、指示動作を行っ
ている指の先端に相当する特徴点Ｐ_Xの３次元座標を求
める。そして、情報入力者10による指示方向として、基
準点Ｐ₀と特徴点Ｐ_Xとを結ぶ仮想線54の延びる方向を求
め、情報入力者10による指示位置として、ディスプレイ
12の表示面を含む平面と仮想線54の交点Ｓの座標（平面
座標）を演算する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は指示位置判断装置及
び方法に係り、特に、認識対象者を撮像し、認識対象者
が行った指示動作による指示位置又は方向を判断する指
示位置判断方法、及び該指示位置判断方法を適用可能な
指示位置判断装置に関する。

【０００２】

【従来の技術】従来より、所定の情報を表示するディス
プレイ、ディスプレイの近傍に到来した認識対象者（利
用者）を互いに異なる方向から撮像する撮像手段を備
え、到来した認識対象者がディスプレイ上の任意の位置
を指等によって指し示す指示動作を行っている状況を撮
像手段によって複数の方向から撮像し、撮像によって得
られた複数の画像に基づいて認識対象者を認識し、指示
動作によって指し示されたディスプレイ上の位置を判断
し、ディスプレイ上の指示位置にカーソル等を表示する
と共に、認識対象者が親指を上げるクリック動作を行っ
たことを検出すると、ディスプレイ上の指示位置がクリ
ックされたと認識して所定の処理を行うハンドポインテ
ィング入力装置が知られている（例えば特開平４−２７
１４２３号公報、特開平５−１９９５７号公報、特開平
５−３２４１８１号公報等参照）。

【０００３】上記のハンドポインティング入力装置によ
れば、認識対象者がキーボードやマウス等の入力機器に
触れることなく、情報処理装置に対して各種の指示を与
えたり、各種の情報を入力することが可能となるので、
情報処理装置を利用するための操作の簡素化を実現でき
る。

【０００４】

【発明が解決しようとする課題】ところで、認識対象者
による指示動作における指示位置（又は指示方向）の判
断方法としては、認識対象者に対し、指示位置等の変化
に拘らず位置の変化しない箇所を基準点として設定する
と共に、指示位置等の変化に応じて位置が変化する箇所
を特徴点として設定し、基準点と特徴点の位置関係に基
づいて指示位置等を判断する方法が採用されている。こ
の判断方法において、基準点としては、例えば認識対象
者の背中のうち左右方向に沿った中心に相当する箇所
が、特徴点としては、例えば指示動作を行っている指先
に相当する箇所が用いられる。

【０００５】しかしながら、認識対象者の指示動作は通
常、左右どちらかの腕を使って行われるので、認識対象
者の胴体に対して特徴点の位置は左右方向にオフセット
している。従って、認識対象者が想定した指示位置又は
指示方向に対し、ハンドポインティング装置が判断した
指示位置又は指示方向が大きく相違することも多く、指
示位置又は指示方向の判断精度の向上が求められてい
た。

【０００６】本発明は上記事実を考慮して成されたもの
で、指示動作における指示位置又は指示方向の判断精度
の向上を実現できる指示位置判断装置及び指示位置判断
方法を得ることが目的である。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に請求項１記載の発明に係る指示位置判断装置は、互い
に異なる複数の方向から認識対象者を撮像する撮像手段
と、認識対象者が特定の位置又は特定の方向を指し示す
指示動作を行っている状況を前記撮像手段が撮像するこ
とで得られた画像に基づいて、認識対象者が前記指示動
作に用いている腕の左右を判別し、前記指示動作におけ
る指示位置又は指示方向の変化に拘らず位置が変化せ
ず、かつ前記腕の左右の判別結果に応じて認識対象者の
左右方向の中心に対してオフセットさせた位置に基準点
を設定する基準点設定手段と、前記撮像手段が撮像する
ことで得られた画像から抽出した前記認識対象者に相当
する画像部に基づいて、前記指示動作における指示位置
又は指示方向の変化に応じて位置が変化する特徴点の位
置を求める特徴点認識手段と、前記基準点設定手段によ
って設定された基準点の位置及び前記特徴点認識手段に
よって求められた前記特徴点の位置に基づいて、前記指
示動作による指示位置又は方向を判断する判断手段と、
を含んで構成されている。

【０００８】請求項１記載の発明では、認識対象者が撮
像手段によって互いに異なる複数の方向から撮像され、
認識対象者が特定の位置又は特定の方向を指し示す指示
動作を行っている状況が撮像されることで得られた画像
に基づいて、基準点設定手段により、認識対象者が指示
動作に用いている腕の左右を判別する。

【０００９】なお、撮像手段が認識対象者を上方側から
撮像する構成である場合、基準点設定手段による腕の左
右の判別は、例えば請求項２に記載したように、撮像手
段が撮像することで得られた画像から抽出した認識対象
者に相当する画像部の輪郭の形状に基づいて行うことが
できる。また、基準点設定手段による腕の左右の判別
は、より詳しくは、例えば請求項３に記載したように、
認識対象者に相当する画像部の輪郭のうち認識対象者の
腕に相当する凸部分の位置の、前記画像部の輪郭全体に
対するオフセットの方向に基づいて行うことができる。

【００１０】認識対象者による指示動作は左右何れかの
腕を用いて行われるので、指示動作における指示位置又
は指示方向の変化に応じて位置が変化する特徴点（この
特徴点としては、例えば認識対象者が指示動作に用いて
いる腕の手の指先や、前記腕の手が把持している指示器
の先端等を適用することができる）の位置は、認識対象
者の胴体に対して左右何れかの方向にオフセットしてい
る。そして、特徴点の位置が認識対象者の左右何れの方
向にオフセットしているかについては、腕の左右の判別
結果から判断することができる。

【００１１】このため、基準点設定手段は、認識対象者
による指示動作における指示位置又は指示方向の変化に
拘らず位置が変化せず、かつ腕の左右の判別結果に応じ
て認識対象者の左右方向の中心に対してオフセットさせ
た位置に基準点を設定する。具体的には、例えば請求項
４に記載したように、認識対象者が指示動作に用いてい
る腕の付け根又はその付近に基準点を設定するようにし
てもよいし、認識対象者の身長等に応じたオフセット量
を設定し、認識対象者の胴体の左右方向に沿った中心か
ら設定したオフセット量だけオフセットさせた位置に基
準点を設定するようにしてもよい。これにより、認識対
象者の胴体に対する特徴点のオフセットに応じて、基準
点の位置もオフセットされることになる。

【００１２】そして、請求項１記載の発明では、撮像手
段が撮像することで得られた画像から抽出した認識対象
者に相当する画像部に基づいて、特徴点認識手段が、指
示動作における指示位置又は指示方向の変化に応じて位
置が変化する特徴点の位置を求め、判断手段は、基準点
設定手段によって設定された基準点の位置及び特徴点認
識手段によって求められた特徴点の位置に基づいて、指
示動作による指示位置又は方向を判断するので、特徴点
の位置が左右方向にオフセットしていることによる影響
を排除することができ、指示動作における指示位置又は
指示方向の判断精度の向上を実現することができる。

【００１３】なお、請求項１記載の発明において、判断
手段による指示位置又は指示方向の判断は、例えば請求
項５に記載したように、基準点と特徴点を結ぶ直線と被
指示物体との交点を指示動作による指示位置と判断する
か、又は、基準点と特徴点を結ぶ直線が延びる方向を指
示動作による指示方向と判断することができる。

【００１４】請求項６記載の発明に係る指示位置判断方
法は、互いに異なる複数の方向から認識対象者を撮像
し、認識対象者が特定の位置又は特定の方向を指し示す
指示動作を行っている状況を撮像することで得られた画
像に基づいて、認識対象者が前記指示動作に用いている
腕の左右を判別し、前記指示動作における指示位置又は
指示方向の変化に拘らず位置が変化せず、かつ前記腕の
左右の判別結果に応じて認識対象者の左右方向の中心に
対してオフセットさせた位置に基準点を設定すると共
に、前記撮像によって得られた画像から抽出された前記
認識対象者に相当する画像部に基づいて、前記指示動作
における指示位置又は指示方向の変化に応じて位置が変
化する特徴点の位置を求め、前記設定した基準点の位置
及び前記求めた特徴点の位置に基づいて、前記指示動作
による指示位置又は方向を判断するので、請求項１記載
の発明と同様に、指示動作における指示位置又は指示方
向の判断精度の向上を実現することができる。

【００１５】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態の一例を詳細に説明する。図１に示すように、本
発明に係る認識対象者としての情報入力者１０が到来す
る箇所の壁面には大画面ディスプレイ１２が埋め込まれ
ている。なお、ディスプレイ１２としては液晶ディスプ
レイ（ＬＣＤ）やプラズマディスプレイ、ブラウン管、
光ファイバディスプレイ等の周知の表示手段を適用でき
る。

【００１６】ディスプレイ１２はパーソナルコンピュー
タ等から成る情報処理装置１４に接続されており（図２
参照）、情報処理装置１４により、各種の情報が表示面
上に図形、表、文字、画像等の種々の表示形態で表示さ
れる。本実施形態において、情報入力者１０は、ディス
プレイ１２の前方の図１に示した箇所（情報入力空間）
に到来し、ディスプレイ１２の表示面上の各種情報が表
示されている位置を指し示すと共に、クリック動作（詳
細は後述）を行うことにより、情報処理装置１４に対し
て各種の指示を与えたり各種の処理を実行させる。

【００１７】図２に示すように、情報処理装置１４に
は、本実施形態に係るハンドポインティング入力装置２
０のコントローラ２２が接続されている。なお、上述し
たディスプレイ１２、情報処理装置１４及びハンドポイ
ンティング入力装置２０は、本発明に係る指示位置判断
方法が適用された本発明に係る指示位置判断装置として
の機能を備えている。

【００１８】コントローラ２２は、ＣＰＵ２２Ａ、ＲＯ
Ｍ２２Ｂ、ＲＡＭ２２Ｃ、入出力インタフェース２２Ｄ
を備えており、これらがバスを介して互いに接続されて
構成されている。入出力インタフェース２２Ｄには情報
処理装置１４が接続されていると共に、記憶内容を書換
え可能な不揮発性の記憶媒体を内蔵した記憶装置（例え
ばハードディスクドライブ（ＨＤＤ))２４、各種の情報
を表示するためのディスプレイ２６、オペレータが各種
の指示やデータを入力するためのキーボード２８、照明
制御装置３０、撮像制御装置３４、マーク板駆動装置３
８、及びＣＤ−ＲＯＭドライバ４０が各々接続されてい
る。

【００１９】コントローラ２２を本発明に係るハンドポ
インティング装置として機能させるためのプログラム
（以下、単に「プログラム」という）は、例えばＣＤ−
ＲＯＭドライバ４０に装填されるＣＤ−ＲＯＭ４２に記
憶することができる。プログラムの実行が指示される
と、ＣＤ−ＲＯＭ４２からプログラムが読み出され、読
み出されたプログラムがコントローラ２２によって実行
される。これにより、コントローラ２２を含む各装置は
ハンドポインティング装置として機能する。

【００２０】照明制御装置３０には、近赤外域の波長の
光をビーム状に射出する複数の近赤外光照明装置３２
Ａ、３２Ｂが接続されている。図１に示すように、近赤
外光照明装置３２Ａ、３２Ｂは、情報入力空間の上方の
互いに異なる箇所に配設されており、情報入力空間に到
来した情報入力者１０を、互いに異なる方向から照明す
るように照射範囲が調整されている。照明制御装置３０
は照明装置３２Ａ、３２Ｂの点灯・消灯を制御する。

【００２１】撮像制御装置３４には、情報入力空間の上
方の互いに異なる箇所に配設された（図１参照）複数の
ビデオカメラ３６Ａ、３６Ｂが接続されている。ビデオ
カメラ３６Ａ、３６Ｂは、図示は省略するが、近赤外光
に感度を有するＣＣＤ等から成るエリアセンサを備えて
いると共に、入射光をエリアセンサの受光面に結像させ
る結像レンズの光入射側に、近赤外域の波長の光のみを
透過するフィルタが設けられている。なお、撮像手段
（カメラ）として遠赤外線カメラを用い、人間（情報入
力者）の体温による遠赤外線と、人間の体温と所定値以
上離れた温度（体温よりも高い温度であっても低い温度
であってもよい）に設定又は温度調整された床から放射
される遠赤外光と、によって人間と背景とを弁別する方
法を用いても良い。この場合は照明装置３２Ａ、３２Ｂ
及び照明制御装置３０を省略することも可能となる。

【００２２】図３に示すように、ビデオカメラ３６Ａ、
３６Ｂは情報入力空間に到来した情報入力者１０を互い
に異なる方向から撮像するように向きが調整されてい
る。また、ビデオカメラ３６Ａは、情報入力空間に到来
した情報入力者１０が撮像範囲内に入り、かつ照明装置
３２Ａから射出された光が結像レンズに直接入射せず、
かつ撮像範囲の中心が、情報入力空間内において照明装
置３２Ａによる照明範囲の中心と床面から所定高さで交
差するように（照明装置３２Ａによる床面上の照明範囲
が撮像範囲から外れるように）、向き（撮像範囲）が調
整されている。同様にビデオカメラ３６Ｂは、情報入力
空間に到来した情報入力者１０が撮像範囲内に入り、か
つ照明装置３２Ｂから射出された光が結像レンズに直接
入射せず、かつ撮像範囲の中心が、情報入力空間内にお
いて照明装置３２Ｂによる照明範囲の中心と床面から所
定高さで交差するように（照明装置３２Ａによる床面上
の照明範囲が撮像範囲から外れるように）、向き（撮像
範囲）が調整されている。

【００２３】なお、ビデオカメラ３６Ａ、３６Ｂ、撮像
制御装置３４、照明制御装置３０、及び近赤外光照明装
置３２Ａ、３２Ｂは本発明の撮像手段（詳しくは請求項
２に記載の撮像手段）に対応している。

【００２４】また図４に示すように、ハンドポインティ
ング入力装置２０は、情報入力空間の近傍に配設された
マーク板４０を備えている。マーク板４０は、透明な平
板に多数のマーク４０Ａがマトリクス状に等間隔で記録
されて構成されており、マーク４０Ａの配列方向に直交
する方向（図４の矢印Ａ方向）に沿って情報入力空間を
横切るように移動可能とされている。なおマーク４０Ａ
は、画像上での認識が容易な色（例えば赤色）に着色さ
れている。入出力インタフェース２２Ｄに接続されたマ
ーク板駆動装置３８は、コントローラ２２からの指示に
応じてマーク板４０を図４の矢印Ａ方向に沿って移動さ
せる。

【００２５】次に本実施形態の作用として、まず、ハン
ドポインティング入力装置２０が設置された際にコント
ローラ２２によって実行される格子点位置情報初期設定
処理について、図５のフローチャートを参照して説明す
る。

【００２６】ステップ１００では、マーク板駆動装置３
８により、マーク板４０を所定位置（マーク板４０の移
動範囲の端部に相当する位置）に移動させる。次のステ
ップ１０２では、現在のマーク板４０の位置において、
マーク板４０に記録されている多数のマーク４０Ａの情
報入力空間内での３次元座標（ｘ，ｙ，ｚ）を各々演算
する。ステップ１０４では撮像制御装置３４を介し、ビ
デオカメラ３６Ａ、３６Ｂによって情報入力空間を撮像
させ、次のステップ１０６では、ビデオカメラ３６Ａが
情報入力空間を撮像することによって得られた画像（以
下画像Ａと称する）を撮像制御装置３４を介して取り込
む。

【００２７】ステップ１０８では、ステップ１０６で取
り込んだ画像Ａ中に存在するマーク４０Ａの認識（抽
出）を行い、次のステップ１１０では認識した全てのマ
ーク４０Ａについて、画像Ａ上での位置（Ｘ_A，Ｙ_A）を
演算する。そしてステップ１１２では、画像Ａ中に存在
する全てのマーク４０Ａについて、情報入力空間内での
３次元座標（ｘ，ｙ，ｚ）と、画像Ａ上での位置
（Ｘ_A，Ｙ_A）とを対応させ、ビデオカメラ３６Ａの格子
点位置情報として記憶装置２４に記憶させる。

【００２８】次のステップ１１４〜１２０では、上記の
ステップ１０６〜１１２と同様にしてビデオカメラ３６
Ｂに対する処理を行う。すなわち、ステップ１１４では
ビデオカメラ３６Ｂが情報入力空間を撮像することによ
って得られた画像（以下画像Ｂと称する）を撮像制御装
置３４を介して取り込み、ステップ１１６ではステップ
１１４で取り込んだ画像Ｂ中に存在するマーク４０Ａの
認識（抽出）を行い、次のステップ１１８では認識した
全てのマーク４０Ａについて、画像Ｂ上での位置
（Ｘ_B，Ｙ_B）を演算する。そしてステップ１２０では、
画像Ｂ中に存在する全てのマーク４０Ａについて、情報
入力空間内での３次元座標（ｘ，ｙ，ｚ）と、画像Ｂ上
での位置（Ｘ_B，Ｙ_B）とを対応させ、ビデオカメラ３６
Ｂの格子点位置情報として記憶装置２４に記憶させる。

【００２９】次のステップ１２２では、マーク板４０が
最終位置（マーク板４０の移動範囲のうちステップ１０
０における所定位置と反対側の端部に相当する位置）迄
移動したか否か判定する。ステップ１２２の判定が否定
された場合にはステップ１２４へ移行し、マーク板駆動
装置３８により、マーク板４０を所定方向に一定距離
（詳しくは、マーク板４０上におけるマーク４０Ａの間
隔に一致する距離）だけ移動させた後にステップ１０２
に戻る。

【００３０】上記のように、マーク板４０が最終位置に
移動する迄、ステップ１０２〜１２４が繰り返されるこ
とにより、マーク板４０に記録されている多数のマーク
４０Ａは、情報入力空間内に一定間隔で格子状に並ぶ多
数の格子点に対応する位置へ移動され、ビデオカメラ３
６Ａの格子点位置情報として、各格子点の情報入力空間
内での３次元座標と画像Ａ上での位置とが対応されて記
憶装置２４に記憶されると共に、ビデオカメラ３６Ｂの
格子点位置情報として、各格子点の情報入力空間内での
３次元座標と画像Ｂ上での位置とが対応されて記憶装置
２４に記憶されることになる。

【００３１】なお、マーク板４０及びマーク板駆動装置
３８は、上記の格子点位置情報初期設定処理においての
み用いられ、後述する処理では用いないので、上記の処
理を実行した後に、マーク板４０及びマーク板駆動装置
３８を撤去するようにしてもよい。

【００３２】またマーク４０Ａが記録されたマーク板４
０に代えて、透明な平板にＬＥＤ等の多数の発光素子が
マトリクス状に配設されたマーク板を用い、マーク板を
一定距離ずつステップ移動させると共に、ステップ移動
における各位置で多数の発光素子を順に点灯させること
を繰り返すことによって上記の処理を行うようにしても
よい。また発光素子が取付けられたハンドを備え、該ハ
ンドを情報入力空間内の任意の位置に移動可能とされた
ロボットアーム装置を用い、ロボットアーム装置によっ
て各格子点に対応する各位置に発光素子を移動させて点
灯させることを繰り返すことによって上記処理を行うこ
とも可能である。

【００３３】次に図６のフローチャートを参照し、上記
の格子点位置情報初期設定処理が行われた後にコントロ
ーラ２２で定常的に実行される指示判断処理について説
明する。なお、この指示判断処理は情報入力空間に到来
した情報入力者１０からの指示の判断等を行うものであ
る。

【００３４】ステップ１５０では、ビデオカメラ３６Ａ
から出力される画像Ａを表す画像データ、及びビデオカ
メラ３６Ｂから出力される画像Ｂを表す画像データを各
々取り込み、取り込んだ画像Ａ及び画像Ｂの画像データ
に基づいて、情報入力空間内に情報入力者１０が到来し
たか（存在しているか）否か判定し、判定が肯定される
迄待機する。

【００３５】コントローラ２２が指示判断処理を実行し
ているときには、図８に示すように、照明制御装置３０
は照明装置３２Ａ、３２Ｂを交互に点灯させ、撮像制御
装置３４は、ビデオカメラ３６Ａによる情報入力空間の
撮像が照明装置３２Ａが点灯しているときに行われ、ビ
デオカメラ３６Ｂによる情報入力空間の撮像が照明装置
３２Ｂが点灯しているときに行われるように制御する。

【００３６】ビデオカメラ３６Ａの撮像範囲は照明装置
３２Ａによる床面上の照明範囲が撮像範囲から外れるよ
うに調整されているので、照明装置３２Ａによる床面上
の照明範囲内に情報入力者１０の荷物やゴミ等の非認識
対象物５０Ａ（図３参照）が存在していたとしても、こ
の非認識対象物５０Ａがビデオカメラ３６Ａの撮像範囲
に入ることはない。また、床面上のビデオカメラ３６Ａ
によって撮像される範囲内に非認識対象物５０Ｂ（図３
参照）が存在していたとしても、非認識対象物５０Ｂは
照明装置３２Ａによる照明範囲から外れているので、画
像Ａ中に存在する非認識対象物５０Ｂに相当する画像部
の輝度は非常に低くなる。

【００３７】同様に、ビデオカメラ３６Ｂの撮像範囲は
照明装置３２Ｂによる床面上の照明範囲が撮像範囲から
外れるように調整されているので、照明装置３２Ｂによ
って照明される床面上に非認識対象物５０Ｂが存在して
いたとしても、この非認識対象物５０Ｂがビデオカメラ
３６Ｂの撮像範囲に入ることはない。また、床面上のビ
デオカメラ３６Ｂによって撮像される範囲内に非認識対
象物５０Ａが存在していたとしても、画像Ｂ中に存在す
る非認識対象物５０Ｂに相当する画像部の輝度は非常に
低くなる。

【００３８】従って、先のステップ１５０の判定は、例
えば画像Ａ及び画像Ｂ中に、高輝度でかつ所定値以上の
面積の画像部が存在しているか否か等の極めて簡単な判
断処理で済む。ステップ１５０の判定が否定された場合
には、判定が肯定される迄待機する。

【００３９】情報入力空間に情報入力者１０が到来する
と、ステップ１５０の判定が肯定されてステップ１５２
へ移行し、各種のフラグや処理モード等の初期設定を行
う。次のステップ１５４では、情報入力空間から情報入
力者１０が退去したか否か判定する。情報入力空間から
情報入力者１０が退去した場合には、前記判定が肯定さ
れてステップ１５０に戻り、情報入力空間に再度情報入
力者１０が到来する迄待機するが、前記判定が否定され
た場合には、ステップ１５６で基準点・特徴点座標演算
処理を行う。以下、この基準点・特徴点座標演算処理に
ついて、図７のフローチャートを参照して説明する。

【００４０】ステップ２１０ではビデオカメラ３６Ａ、
３６Ｂから画像Ａ及び画像Ｂのデータを各々取り込み、
次のステップ２１２では取り込んだ画像Ａ及び画像Ｂか
ら、情報入力者１０の全体像に相当する画像部を各々抽
出する。この情報入力者１０の全体像に相当する画像部
についても、高輝度の画素から成る所定値以上の面積の
連続した領域を判断することで容易に抽出することがで
きる。

【００４１】ステップ２１４では、情報入力者１０の全
体像に相当する画像部に基づき、情報入力者１０の身長
を求める。図９に示すように、点Ｏに位置しているビデ
オカメラ３６の結像レンズの焦点距離をｆ、点Ｏを通る
鉛直線と情報入力空間の床面との交点Ｑと点Ｏとの距離
をＨ、点Ｑと情報入力者１０が立っている床面上の点Ｐ
との距離をＲ、情報入力者１０の頭頂部に相当する点
Ｐ’と点Ｐとの距離ｈを情報入力者１０の身長とする。
また、点ＰＯＱの成す角度をθ、点Ｐ’ＯＱの成す角度
をθ’、ビデオカメラ３６のエリアセンサの受光面に結
像される情報入力者１０の像の長さをｈ’、点Ｐに対応
する受光面上の結像点を点ｐ、点Ｐ’に対応する受光面
上の結像点を点ｐ’、受光面の中心ｏと点ｐとの距離を
ｒ、受光面の中心ｏと点ｐ’との距離をｒ’とすると、
角度θ、θ’、距離ｒ、ｒ’は次の（１）〜（４）式か
ら求めることができる。

【００４２】 θ ＝ｔａｎ^-1（Ｒ／Ｈ） …（１） θ’＝ｔａｎ^-1｛Ｒ／（Ｈ−ｈ）｝ …（２） ｒ ＝ｆθ …（３） ｒ’＝ｆθ’ …（４） 従って、情報入力者１０の身長ｈ及び距離Ｒは次の
（５）式及び（６）式によって求めることができる。

【００４３】 ｈ＝Ｈ｛１−ｔａｎ（ｒ／ｆ）／ｔａｎ（ｒ’／ｆ）｝ …（５） Ｒ＝Ｈｔａｎ（ｒ／ｆ） …（６） 距離Ｈ及び焦点距離ｆは既知であるので、ステップ２１
４ではビデオカメラ３６Ａ、３６Ｂの撮像によって得ら
れた画像Ａ及び画像Ｂの何れかから距離ｒ、ｒ’を求
め、これを（５）式に代入することにより情報入力者１
０の身長ｈを求めることができる。また、ステップ２１
４では、画像Ａ及び画像Ｂの各々から距離ｒを求め、こ
れを（６）式に各々代入して距離Ｒを各々求めることに
より、情報入力者１０の床面上の位置（２次元座標）を
求める。

【００４４】次のステップ２１６では、ステップ２１４
で求めた情報入力者１０の身長ｈに基づいて、床面を高
さ０としたときの情報入力者１０の肩辺りに相当する高
さを推定演算し、推定演算した高さを、情報入力者１０
の基準点Ｐ₀（図１３（Ａ）参照）の床面からの高さｚ₀
として決定する。なお、情報入力者１０の肩辺りに相当
する高さに代えて、情報入力者１０の胸に相当する高さ
や、情報入力者１０が指示動作を行っている状態での情
報入力者１０の肘に相当する高さを推定演算するように
してもよい。

【００４５】ステップ２１８では、画像Ａ及び画像Ｂ上
での情報入力者１０の全体像に相当する画像部の形状に
基づいて、情報入力者１０が指等によりディスプレイ１
２側を指し示す動作（指示動作）を行っているか否か判
定する。情報入力者１０から見たディスプレイ１２の方
向は既知であるので、ステップ２１８の判定は、例えば
情報入力者１０の全体像に相当する画像部において、情
報入力者１０の手に相当すると判断できる高さ位置に、
情報入力者１０から見たディスプレイ１２の方向に向か
って突出している部分が有るか否かを判断することで実
現できる。

【００４６】これにより、情報入力者１０が、図１０
（Ａ）に示す直立状態から、図１０（Ｂ）又は（Ｃ）に
示すように腕を上げて手をディスプレイ１２側に向けれ
ば、情報入力者１０が指示動作を行っていると判定され
ることになる。ステップ２１８の判定が否定された場合
には、基準点及び特徴点の３次元座標の演算（詳細は後
述）を行うことなく基準点・特徴点座標演算処理を終了
する。

【００４７】情報入力者１０が指示動作を行っている場
合には、ステップ２１８の判定が肯定されてステップ２
２０へ移行する。ステップ２２０では、画像Ａ及び画像
Ｂ上での情報入力者１０の全体像に相当する画像部の形
状に基づいて、情報入力者１０による指示動作が、情報
入力者１０の左腕を用いて行われているか、情報入力者
１０の右腕を用いて行われているかを判別する。

【００４８】情報入力者１０による指示動作が左腕を用
いて行われている場合、例として図１１（Ａ）に示すよ
うに、情報入力者１０を上方側から撮像したときの情報
入力者１０の全体像に相当する画像部は、情報入力者１
０の胴体に相当する部分の左側（情報入力者１０の左腕
側）から、情報入力者１０の腕（左腕）に相当する部分
が突出している形状になる。また、情報入力者１０によ
る指示動作が右腕を用いて行われている場合には、例と
して図１１（Ａ）に示すように、情報入力者１０を上方
側から撮像したときの情報入力者１０の全体像に相当す
る画像部は、情報入力者１０の胴体に相当する部分の右
側（情報入力者１０の右腕側）から、情報入力者１０の
腕（右腕）に相当する部分が突出している形状になる。

【００４９】従って、ステップ２２０における左右の判
別は、情報入力者１０の全体像に相当する画像部の形状
が、図１１（Ａ）に示すような形状か図１１（Ｂ）に示
すような形状かを判定することで行うことができる。こ
の判定は、より詳しくは、例えば情報入力者１０の全体
像に相当する画像部に含まれる、情報入力者１０の腕に
相当する部分を判断し、該部分が前記画像部に対して左
右何れの方向に偏倚しているかを判断することで行うこ
とができる。また、例えば情報入力者１０の全体像に相
当する画像部を左右方向に沿った中央部で分割し、左右
方向に直交する方向に沿った両画像部の厚みを比較する
ことで行ってもよいし、情報入力者１０の全体像に相当
する画像部の重心が左右何れの方向に偏倚しているかを
判断することで行うことも可能である。

【００５０】次のステップ２２２では、ステップ２２０
における腕の左右の判別結果に基づいて、情報入力者１
０が指示動作に用いている腕側の肩（左腕であれば左
肩、右腕であれば右肩）付近に基準点Ｐ₀が位置するよ
うに、基準点Ｐ₀の水平面内座標（例えばｘ₀、ｙ₀の
値）を設定する。

【００５１】これにより、情報入力者１０が指示動作に
用いている腕が左腕であれば、基準点Ｐ₀の水平面内の
位置は図１１（Ｃ）及び図１３（Ｂ）に示す位置とさ
れ、情報入力者１０が指示動作に用いている腕が右腕で
あれば、基準点Ｐ₀の水平面内の位置は図１１（Ｄ）及
び図１３（Ｃ）に示す位置とされることで、先のステッ
プ２１６で決定した基準点Ｐ₀の高さｚ₀と併せて、基準
点Ｐ₀の３次元座標（ｘ₀，ｙ₀，ｚ₀）が決定されること
になる。

【００５２】上述したステップ２１４〜ステップ２２２
は本発明の基準点設定手段（詳しくは請求項２〜４に記
載の基準点設定手段）に対応しており、次のステップ２
２４以降の処理は本発明の特徴点認識手段に対応してい
る。なお、基準点Ｐ₀の水平面内位置を、指示動作に用
いている腕側の肩付近とすることに代えて、指示動作に
用いている腕側の胸部付近、或いは指示動作に用いてい
る腕側の肘付近としてもよい。

【００５３】ステップ２２４では、ビデオカメラ３６Ａ
から取り込んだ画像Ａを表す画像データに基づいて、画
像Ａ中に存在する情報入力者１０の特徴点Ｐ_Xを抽出
し、画像Ａ上での特徴点Ｐ_Xの位置（Ｘ_A，Ｙ_A）を演算
する。情報入力者１０の特徴点Ｐ_Xとしては、ディスプ
レイ１２側を指し示す動作を行っている指の先端に相当
する点等を用いることができる。この場合、情報入力者
１０の全体像を表す画像部のうち、情報入力者１０の手
に相当すると判断できる高さ位置に、ディスプレイ１２
の方向に向かって突出している部分の先端の位置を、特
徴点Ｐ_Xの位置として演算することができる。

【００５４】これにより、ビデオカメラ３６Ａによって
情報入力者１０の手が図１２（Ａ）に示すように撮像さ
れた場合、特徴点Ｐ_Xの位置として、図１２（Ｂ）に示
す特徴点Ｐ_Xの座標（Ｘ_A，Ｙ_A）が演算されることにな
る。

【００５５】ステップ２２６では、記憶装置２４に記憶
されているビデオカメラ３６Ａの格子点位置情報に基づ
き、画像Ａ上での位置が（Ｘ_A±ｄＸ，Ｙ_A±ｄＹ）の範
囲（図１２（Ｂ）にハッチングで囲んだ範囲を参照）に
入る格子点を全て検索する。なお、このｄＸ及びｄＹの
大きさは、格子点の間隔（マーク４０Ａの間隔）に基づ
き、少なくとも１個以上の格子点が抽出されるように定
められている。

【００５６】また、本実施形態ではビデオカメラの結像
レンズとして広角レンズを用いており、仮にｄＸ及びｄ
Ｙを一定とすると、ビデオカメラと格子点との距離が大
きくなるに従って多くの格子点が（Ｘ_A±ｄＸ，Ｙ_A±ｄ
Ｙ）の範囲に入り、後述する特徴点Ｐ_Xの３次元座標の
演算の精度の低下に繋がる。このため、ｄＸ及びｄＹ
は、３次元座標上でのビデオカメラからの距離が離れる
に従って値が小さくなるように設定される。従って、３
次元座標上での（Ｘ_A±ｄＸ，Ｙ_A±ｄＹ）に相当する範
囲は、底面がビデオカメラ側に位置している四角錐状と
なる。

【００５７】ステップ２２８では、先のステップ２２４
と同様に、ビデオカメラ３６Ｂから取り込んだ画像Ｂを
表す画像データに基づいて、画像Ｂ中に存在する情報入
力者１０の特徴点Ｐ_Xを抽出し、画像Ｂ上での特徴点Ｐ_X
の位置（Ｘ_B，Ｙ_B）を演算する。ステップ２３０では、
先のステップ２２６と同様に、記憶装置２４に記憶され
ているビデオカメラ３６Ｂの格子点位置情報に基づき、
画像Ｂ上での位置が（Ｘ_B±ｄＸ，Ｙ_B±ｄＹ）の範囲に
入る格子点を全て検索する。

【００５８】次のステップ２３２では、画像Ａ及び画像
Ｂから共通に抽出した格子点を判定する。これにより、
情報入力空間内で特徴点Ｐ_Xに近接した位置に存在して
いる格子点のみが複数抽出されることになる。ステップ
２３４では、画像Ａ及び画像Ｂから共通に抽出した格子
点の３次元座標を、格子点位置情報から取り込む。

【００５９】本実施形態では、後述するように特徴点Ｐ
_Xの３次元座標を情報入力空間内で特徴点Ｐ_Xに近接した
位置に存在している複数の格子点の３次元座標から内挿
によって演算する（具体的には、前記複数の格子点の３
次元座標の座標値の重み付き平均により特徴点Ｐ_Xの３
次元座標の座標値を求める）。このため、特徴点Ｐ_Xの
３次元座標の演算に先立ち、次のステップ２３６では、
画像Ａ及び画像Ｂから共通に抽出した各格子点の画像Ａ
及び画像Ｂ上での位置、画像Ａ上での特徴点Ｐ _Xの位置
（Ｘ_A，Ｙ_A）、画像Ｂ上での特徴点Ｐ_Xの位置（Ｘ_B，Ｙ
_B）に基づいて、画像Ａ及び画像Ｂから共通に抽出した
各格子点の３次元座標からの内挿の割合（各格子点の３
次元座標の座標値に対する重み）を決定する。この内挿
の割合は、例えば画像Ａ及び画像Ｂ上で特徴点Ｐ_Xと近
接した位置に存在している格子点の３次元座標の座標値
の重みが大きくなるように決定することができる。

【００６０】そしてステップ２３８では、画像Ａ及び画
像Ｂから共通に抽出した格子点の３次元座標、及びステ
ップ２３６で決定した内挿の割合に基づいて、特徴点Ｐ
_Xの３次元座標（Ｘ_X，Ｙ_X，Ｚ_X）を演算する。上記のよ
うにして特徴点Ｐ_Xの３次元座標を演算すると基準点・
特徴点座標演算処理を終了し、指示判断処理（図６）の
ステップ１５８へ移行する。なお、上記の基準点・特徴
点座標演算処理は繰り返し実行されるので、該処理によ
って演算される基準点Ｐ₀及び特徴点Ｐ_Xの３次元座標の
値は、情報入力者１０の姿勢や動作の変化に応じて逐次
更新されることになる。

【００６１】ステップ１５８では、先に説明した基準点
・特徴点座標演算処理（図７）のステップ２１８の判定
結果に基づき、情報入力者１０が指示動作を行っている
か否かを判定する。なお、基準点・特徴点座標演算処理
では、情報入力者１０が指示動作を行っている場合（ス
テップ２１８の判定が肯定された場合）にのみ特徴点Ｐ
_Xの３次元座標を演算するので、ステップ１５８の判定
は、例えば特徴点Ｐ_Xの３次元座標が演算されたか否か
を判断することで行うことができる。この判定が否定さ
れた場合にはステップ１５４に戻り、情報入力空間内に
情報入力者１０が存在している間はステップ１５４〜ス
テップ１５８を繰り返す。

【００６２】一方、ステップ１５８の判定が肯定された
場合にはステップ１６０へ移行し、先の基準点・特徴点
座標演算処理で演算された基準点Ｐ₀及び特徴点Ｐ_Xの３
次元座標に基づき、情報入力者１０が指し示している方
向として、上記の基準点Ｐ₀と特徴点Ｐ_Xとを結ぶ仮想線
（図１３の仮想線５４参照）の延びる方向を求め、情報
入力者１０が指し示している位置（指示位置）として、
ディスプレイ１２の表示面を含む平面と前記仮想線の交
点（図１３の点Ｓ参照）の座標（平面座標）を演算す
る。

【００６３】ここで、情報入力者１０が左腕で指示動作
を行っている場合には、情報入力者１０の位置に対して
特徴点Ｐ_Xが左側にオフセットすることになるが、基準
点・特徴点座標演算処理のステップ２２２において、図
１３（Ｂ）に示すように情報入力者１０の左肩付近に基
準点Ｐ₀が設定されることで、基準点Ｐ₀の位置も左側に
オフセットされるので、ステップ１６０において、指示
位置の座標として、情報入力者１０の想定した指示位置
に精度良く一致する位置（図１３（Ｂ）に示す点Ｓ）の
座標を求めることができる。

【００６４】また、情報入力者１０が右腕で指示動作を
行っている場合には、情報入力者１０の位置に対して特
徴点Ｐ_Xが右側にオフセットすることになるが、基準点
・特徴点座標演算処理のステップ２２２において、図１
３（Ｃ）に示すように情報入力者１０の右肩付近に基準
点Ｐ₀が設定されることで、基準点Ｐ₀の位置も右側にオ
フセットされるので、ステップ１６０において、指示位
置の座標として、情報入力者１０の想定した指示位置に
精度良く一致する位置（図１３（Ｃ）に示す点Ｓ）の座
標を求めることができる。このように、ステップ１６０
は先に説明した基準点・特徴点座標演算処理と共に、本
発明の判断手段に対応している。

【００６５】次のステップ１６２では、ステップ１６０
で演算した指示位置の座標に基づいて、情報入力者１０
がディスプレイ１２の表示面内を指し示しているか否か
判定する。ステップ１６２の判定が否定された場合には
ステップ１５４に戻る。一方、ステップ１６２の判定が
肯定された場合にはステップ１６４へ移行し、先のステ
ップ１６０で演算した情報入力者１０による指示位置の
座標を、カーソルを表示すべき位置の座標として情報処
理装置１４へ出力し、カーソルの表示を指示する。これ
により、情報処理装置１４は、ディスプレイ１２の表示
面上の指示された位置にカーソルを表示させる。

【００６６】なお、上記のように情報入力者１０による
指示位置にカーソルを表示させることに代えて、特開２
０００−２２２０９８号公報や特開２０００−２２２１
１７号公報等に記載の技術を適用することで、情報入力
者１０による指示位置のふらつきに拘らず、カーソルの
表示位置のふらつきを抑制するようにしてもよいことは
言うまでもない。

【００６７】次のステップ１６６では情報入力者１０に
よりクリック動作が行われたか否か判定する。クリック
動作としては種々の動作を採用することができ、例えば
情報入力者１０が手を前方に素早く移動させる動作（図
１４（Ａ）参照、以下「前進クリック」という）、及び
情報入力者１０が手を後方に素早く移動させる動作（図
１４（Ｂ）参照、以下「後進クリック」という）をクリ
ック動作とすることができる。このクリック動作は、デ
ィスプレイ１２の表示面上の特定の箇所を指し示して選
択する動作として極めて自然な動作であるので、認識対
象者は違和感を感ずることなくクリック動作を行うこと
ができる。

【００６８】前進クリック動作や後進クリック動作が行
われたか否かの判定は、例えば情報入力者１０が指示動
作を行っている間、基準点Ｐ₀と特徴点Ｐ_Xとの距離ｋ
（図１３参照）を繰り返し演算し、ステップ１６６にお
いて、今回演算した距離ｋと前回演算した距離ｋとの差
が所定値以上か否かを判断することで行うことができ
る。ステップ１６６の判定が否定された場合には、何ら
処理を行うことなくステップ１５４へ戻るが、ステップ
１６６の判定が肯定された場合にはステップ１６８へ移
行し、情報入力者１０によって行われたクリック動作に
関する情報（例えばクリック動作時の指示位置（クリッ
ク位置）を表す情報や、情報入力者１０によって行われ
たクリック動作が前進クリックか後進クリックかを表す
情報等）を情報処理装置１４へ通知する。

【００６９】これにより、情報処理装置１４は、通知さ
れたクリック動作に関する情報に基づいて所定の処理を
実行する。この所定の処理としては任意の処理を採用す
ることができるが、例えばディスプレイ１２の表示面上
の特定のアプリケーションを表すアイコンを表示してい
る箇所が前進クリックされた場合には、前記特定のアプ
リケーションを起動し、例えば前記アイコンを表示して
いる箇所が後進クリックされた場合には、前記特定のア
プリケーションに関連する特殊処理（例えばアプリケー
ションに関する各種パラメータの設定、アプリケーショ
ンのバージョン表示、アイコンの表示に関するパラメー
タの設定等）を一覧表示し、更に特定の特殊処理が前進
クリックされた場合には、クリックされた特殊処理を実
行する、等の処理を行うことができる。

【００７０】また、例えば通常処理モード、ファイル転
送モード、ファイル検索モード等のように予め複数種の
処理モードを用意しておくと共に、情報入力者１０が複
数種の処理モードの何れかへの切り替えを指示するため
のモード切替指示手段（フットスイッチであってもよい
し、情報入力者１０が手の形を変える等の処理モード切
替指示動作を行ったか否かを検知する機構（アルゴリズ
ム）であってもよい）を設け、クリック動作が行われた
場合に、処理モード毎に異なる処理を行うようにしても
よい。

【００７１】なお、情報入力者１０が腕を下ろしている
ときには肘を伸ばしている状態が自然であるが、ディス
プレイ１２の表示面内の所望の位置を指し示すために腕
を上げたときには自然に肘が若干曲がる（後でクリック
動作を行うことを考えても、肘を伸ばしたまま腕を上げ
る動作より、肘を若干曲げながら腕を上げる動作の方
が、所望の位置を指し示している状態となったときに自
然に肘が若干曲がっていることになり合理的である）の
で、情報入力者１０が腕を上げる動作の最中に基準点Ｐ
₀と特徴点Ｐ_Xとの距離ｋが変化する。これを考慮する
と、情報入力者１０がディスプレイ１２の表示面内に相
当する位置を指し示している状態が、比較的短い時間以
上継続した後に、クリック動作が行われたか否かの判定
を開始するか、或いは情報処理装置１４に対するクリッ
ク動作が行われた旨の通知を禁止することが好ましい。
これにより、情報入力者１０による指示位置がディスプ
レイ１２の表示面外から表示面内へ変化したときに、ク
リック動作が行われたと誤判断することを防止できる。

【００７２】また、情報入力者１０によるクリック動作
の最中に指示位置がずれる可能性があることを考慮する
と、クリック位置として、情報入力者１０がクリック動
作を開始した際の指示位置を用いることが好ましい。こ
れにより、クリック動作の最中に指示位置がずれたとし
ても、情報入力者１０が当初指し示していた位置に対応
する処理を確実に実行することができる。

【００７３】なお、上記では２台のビデオカメラ３６
Ａ、３６Ｂを設けた例を説明したが、これに限定される
ものではなく、より多数のビデオカメラによって情報入
力空間を各々撮像し、情報入力者１０からの指示を判断
するようにしてもよい。

【００７４】また、上記では本発明に係る特徴点Ｐ_Xと
して、指先に相当する点を例に説明したが、特徴点は認
識対象者が腕を動かすことで位置が変化する点であれば
よく、例えば認識対象者の手首に相当する点や、認識対
象者の手の甲に相当する点を特徴点として用いるように
してもよい。

【００７５】また、情報入力者１０の姿勢が、腕を上げ
ている状態（図１２（Ｂ）又は（Ｃ）参照）から、腕を
下ろした状態（図１２（Ａ）参照）に変化した場合に、
腕を下ろす直前の指示位置にカーソルを継続して表示す
るようにしてもよい。これにより、情報入力者１０が一
定箇所にカーソルを継続して表示させたい等の場合にも
（例えば会議のプレゼンテーション等）、情報入力者１
０が継続的に腕を上げ続ける必要がなくなるので、情報
入力者１０の負担を軽減することができる。

【００７６】更に、上記ではクリック動作として、情報
入力者１０が手を前方に素早く移動させる前進クリック
動作、及び情報入力者１０が手を後方に素早く移動させ
る後進クリック動作のみを判断するようにしていたが、
これに限定されるものではなく、例えば基準点Ｐ₀と特
徴点Ｐ_Xとの距離ｋの推移を所定時間に亘って監視する
ことにより、マウスの操作では一般的なダブルクリック
動作（ハンドポインティング装置では、例えば前進クリ
ック動作又は後進クリック動作を２回続けて行う動作等
で代用できる）やドラッグ＆ドロップ動作（ハンドポイ
ンティング装置では、例えば前進クリック動作→指示位
置移動動作→後進クリック動作等の一連の動作により代
用できる）も判断するようにしてもよい。

【００７７】また、ディスプレイ１２としては、プラズ
マディスプレイ、ＣＲＴ、光ファイバディスプレイ等の
周知の表示装置を適用してもよいし、液晶ゴーグル等を
適用することも可能である。また、擬似的に３次元空間
を表す３次元的画像をディスプレイに表示するようにし
てもよい。具体的には、上記のような平面ディスプレイ
い一点透視法や二点透視法に則った画像を表示したり、
液晶シャッタやレンチキュラーレンズを利用した３次元
ディスプレイに画像を表示したり、ホログラフィー技術
を適用して立体画像を表示するようにしてもよい。

【００７８】また、ディスプレイ１２には任意の情報を
表示可能であることは言うまでもなく、例えば情報処理
装置１４をインターネット等のネットワークに接続し、
利用者が指定したＵＲＬのウェブページ等を表示領域に
表示させるように構成してもよい。また、本発明を適用
したハンドポインティング入力装置を種々の商品が収納
された自動倉庫の前面に配置し、利用者が所望の商品を
指定すると共に決済（支払い）を完了させると、指定さ
れた商品を倉庫から取り出して利用者へ引き渡す等のよ
うに、本発明を適用したハンドポインティング入力装置
を大規模な自動販売機の操作部として用いることも可能
である。

【００７９】

【発明の効果】以上説明したように本発明は、認識対象
者が特定の位置又は特定の方向を指し示す指示動作を行
っている状況を複数の方向から撮像することで得られた
画像に基づいて、指示動作に用いている腕の左右を判別
し、指示動作における指示位置又は指示方向の変化に拘
らず位置が変化せず、かつ腕の左右の判別結果に応じて
認識対象者の左右方向の中心に対してオフセットさせた
位置に基準点を設定すると共に、指示動作における指示
位置又は指示方向の変化に応じて位置が変化する特徴点
の位置を求め、基準点の位置及び特徴点の位置に基づい
て、指示動作による指示位置又は方向を判断するので、
指示動作における指示位置又は指示方向の判断精度の向
上を実現できる、という優れた効果を有する。

【図面の簡単な説明】

【図１】 情報入力空間の周辺を示す斜視図である。

【図２】 本実施形態に係るハンドポインティング入力
装置の概略構成を示すブロック図である。

【図３】 照明装置の照明範囲とビデオカメラの撮像範
囲との関係の一例を示す概略図である。

【図４】 マーク板の一例を示す情報入力空間の斜視図
である。

【図５】 格子点位置情報初期設定処理を示すフローチ
ャートである。

【図６】 指示判断処理の内容を示すフローチャートで
ある。

【図７】 基準点・特徴点座標演算処理の内容を示すフ
ローチャートである。

【図８】 照明装置Ａ、Ｂの点灯・消灯、ビデオカメラ
の撮像によって得られる画像の出力（取り込み）のタイ
ミングを示すタイミングチャートである。

【図９】 情報入力者の身長及び床面上の位置の演算を
説明するための、情報入力空間の側面図である。

【図１０】 （Ａ）乃至（Ｃ）は情報入力者の動作の一
例を示すイメージ図である。

【図１１】 情報入力者が指示動作に用いている腕の左
右の判別及び判別結果に基づく基準点及び特徴点の設定
を説明するためのイメージ図である。

【図１２】 （Ａ）はビデオカメラにより撮像された情
報入力者の手を示すイメージ図、（Ｂ）は特徴点の座標
及び特徴点の３次元座標を求めるための格子点の検索範
囲を示す概念図である。

【図１３】 情報入力者が指し示しているディスプレイ
上の位置の判定を説明するための、（Ａ）は情報入力空
間の平面図、（Ｂ）及び（Ｃ）は情報入力空間の側面図
である。

【図１４】 （Ａ）は前進クリック動作、（Ｂ）は後進
クリック動作を説明するためのイメージ図である。

【符号の説明】

１０ 情報入力者 １２ 大画面ディスプレイ １４ 情報処理装置 ２０ ハンドポインティング入力装置 ２２ コントローラ ３６Ａ ビデオカメラ ３６Ｂ ビデオカメラ ５４ 仮想線

───────────────────────────────────────────────────── フロントページの続き (72)発明者 半沢 久 千葉県印西市大塚一丁目５番地１ 株式会 社竹中工務店技術研究所内 (72)発明者 瓜谷 真幸 東京都中央区銀座八丁目21番１号 株式会 社竹中工務店東京本店内 (72)発明者 川島 哲文 東京都中央区銀座八丁目21番１号 株式会 社竹中工務店東京本店内 Ｆターム(参考） 5B057 AA20 BA13 BA15 CA13 CA16 DA07 DA08 DC05 DC08 DC16 5B087 AA02 BC06 BC12 BC13 BC26 BC32

Claims (6)

【特許請求の範囲】
1. 【請求項１】 互いに異なる複数の方向から認識対象者
   を撮像する撮像手段と、 認識対象者が特定の位置又は特定の方向を指し示す指示
   動作を行っている状況を前記撮像手段が撮像することで
   得られた画像に基づいて、認識対象者が前記指示動作に
   用いている腕の左右を判別し、前記指示動作における指
   示位置又は指示方向の変化に拘らず位置が変化せず、か
   つ前記腕の左右の判別結果に応じて認識対象者の左右方
   向の中心に対してオフセットさせた位置に基準点を設定
   する基準点設定手段と、 前記撮像手段が撮像することで得られた画像から抽出し
   た前記認識対象者に相当する画像部に基づいて、前記指
   示動作における指示位置又は指示方向の変化に応じて位
   置が変化する特徴点の位置を求める特徴点認識手段と、 前記基準点設定手段によって設定された基準点の位置及
   び前記特徴点認識手段によって求められた前記特徴点の
   位置に基づいて、前記指示動作による指示位置又は方向
   を判断する判断手段と、 を含む指示位置判断装置。
2. 【請求項２】 前記撮像手段は、認識対象者を上方側か
   ら撮像し、前記基準点設定手段は、前記撮像手段が撮像
   することで得られた画像から抽出した前記認識対象者に
   相当する画像部の輪郭の形状に基づいて、前記認識対象
   者が前記指示動作に用いている腕の左右を判別すること
   を特徴とする請求項１記載の指示位置判断装置。
3. 【請求項３】 前記基準点設定手段は、前記画像部の輪
   郭のうち前記認識対象者の腕に相当する凸部分の位置
   の、前記画像部の輪郭全体に対するオフセットの方向に
   基づいて、前記腕の左右を判別することを特徴とする請
   求項２記載の指示位置判断装置。
4. 【請求項４】 前記基準点設定手段は、前記腕の左右の
   判別結果に基づき、認識対象者が前記指示動作に用いて
   いる腕の付け根又はその付近に基準点を設定することを
   特徴とする請求項１記載の指示位置判断装置。
5. 【請求項５】 前記判断手段は、前記基準点と前記特徴
   点を結ぶ直線と被指示物体との交点を前記指示動作によ
   る指示位置と判断するか、又は、前記基準点と前記特徴
   点を結ぶ直線が延びる方向を前記指示動作による指示方
   向と判断することを特徴とする請求項１記載の指示位置
   判断装置。
6. 【請求項６】 互いに異なる複数の方向から認識対象者
   を撮像し、 認識対象者が特定の位置又は特定の方向を指し示す指示
   動作を行っている状況を撮像することで得られた画像に
   基づいて、認識対象者が前記指示動作に用いている腕の
   左右を判別し、前記指示動作における指示位置又は指示
   方向の変化に拘らず位置が変化せず、かつ前記腕の左右
   の判別結果に応じて認識対象者の左右方向の中心に対し
   てオフセットさせた位置に基準点を設定すると共に、 前記撮像によって得られた画像から抽出した前記認識対
   象者に相当する画像部に基づいて、前記指示動作におけ
   る指示位置又は指示方向の変化に応じて位置が変化する
   特徴点の位置を求め、 前記設定した基準点の位置及び前記求めた特徴点の位置
   に基づいて、前記指示動作による指示位置又は方向を判
   断する指示位置判断方法。