JP2000148381A - 入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体 - Google Patents
入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体Info
- Publication number
- JP2000148381A JP2000148381A JP32880098A JP32880098A JP2000148381A JP 2000148381 A JP2000148381 A JP 2000148381A JP 32880098 A JP32880098 A JP 32880098A JP 32880098 A JP32880098 A JP 32880098A JP 2000148381 A JP2000148381 A JP 2000148381A
- Authority
- JP
- Japan
- Prior art keywords
- predetermined
- input image
- image processing
- pointing
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 方向を示す指が画角から外れず、正しく指示
方向や動作を検出でき、異なる方向を映すディスプレイ
にも適用でき、現実に指し示されている物体を認識する
ことができる入力画像処理装置を提供する。 【解決手段】 本発明の入力画像処理装置は、ハーフミ
ラー101と、ハーフミラー101で反射された画像を
撮像する撮像部102と、ポインティング位置を検出す
るポインティング位置検出部103と、検出された位置
にあるオブジェクトを認識するポインティングオブジェ
クト認識部104と、オブジェクト情報を蓄積するオブ
ジェクト情報蓄積部106と、オブジェクト情報蓄積部
106に蓄積されているオブジェクト情報を検索するオ
ブジェクト情報検索部105と、オブジェクト情報検索
部105の検索結果を表示するディスプレイ107とを
備えることを特徴とする。
方向や動作を検出でき、異なる方向を映すディスプレイ
にも適用でき、現実に指し示されている物体を認識する
ことができる入力画像処理装置を提供する。 【解決手段】 本発明の入力画像処理装置は、ハーフミ
ラー101と、ハーフミラー101で反射された画像を
撮像する撮像部102と、ポインティング位置を検出す
るポインティング位置検出部103と、検出された位置
にあるオブジェクトを認識するポインティングオブジェ
クト認識部104と、オブジェクト情報を蓄積するオブ
ジェクト情報蓄積部106と、オブジェクト情報蓄積部
106に蓄積されているオブジェクト情報を検索するオ
ブジェクト情報検索部105と、オブジェクト情報検索
部105の検索結果を表示するディスプレイ107とを
備えることを特徴とする。
Description
【0001】
【発明の属する技術分野】本発明は、画像を処理して画
像データを生成する入力画像処理方法、入力画像処理装
置、及び入力画像処理方法を記録した記録媒体に関す
る。特には、指さしポインティングによって指示された
画像を処理して画像データを生成する入力画像処理方
法、入力画像処理装置、及び入力画像処理方法を記録し
た記録媒体に関する。
像データを生成する入力画像処理方法、入力画像処理装
置、及び入力画像処理方法を記録した記録媒体に関す
る。特には、指さしポインティングによって指示された
画像を処理して画像データを生成する入力画像処理方
法、入力画像処理装置、及び入力画像処理方法を記録し
た記録媒体に関する。
【0002】
【従来の技術】近年、マウス装置やキーボード装置から
でなくCCD(Charge Coupled Device )カメラのよう
な撮像部を用いて画像情報の入力を行いそれを処理する
入力画像処理装置が研究、開発されている。撮像部を用
いて画像情報の入力を行う装置として、特開平5−32
4181「ハンドポインティング入力装置」などがあ
る。
でなくCCD(Charge Coupled Device )カメラのよう
な撮像部を用いて画像情報の入力を行いそれを処理する
入力画像処理装置が研究、開発されている。撮像部を用
いて画像情報の入力を行う装置として、特開平5−32
4181「ハンドポインティング入力装置」などがあ
る。
【0003】図12は、CCDカメラなどの撮像部を用
いてマン・マシンインタフェースが実現される従来の一
般的な入力画像処理システムを示す図である。図12に
おいて、この入力画像処理システムは、所定の情報やカ
ーソル1209を表示するディスプレイ1201と、ポ
インティングを行う利用者の指1202a、1202b
を撮像する2つの撮像部1203、1204と、撮像部
1203、1204で撮像された映像に基づいてディス
プレイ1201に対して指1202aが指し示す方向を
算出する方向算出部1205と、方向算出部1205で
算出された方向に対応するディスプレイ1201上の位
置を計算するカーソル位置計算部1206と、指120
2bのクリック動作を検出するクリック動作検出部12
08と、カーソル位置計算部1206の結果に基づいて
ディスプレイ1201上にカーソル1209を表示し、
指1202bでクリックが生起した場合にそのカーソル
位置に対応した処理を行うコンピュータ本体1207と
を備えている。
いてマン・マシンインタフェースが実現される従来の一
般的な入力画像処理システムを示す図である。図12に
おいて、この入力画像処理システムは、所定の情報やカ
ーソル1209を表示するディスプレイ1201と、ポ
インティングを行う利用者の指1202a、1202b
を撮像する2つの撮像部1203、1204と、撮像部
1203、1204で撮像された映像に基づいてディス
プレイ1201に対して指1202aが指し示す方向を
算出する方向算出部1205と、方向算出部1205で
算出された方向に対応するディスプレイ1201上の位
置を計算するカーソル位置計算部1206と、指120
2bのクリック動作を検出するクリック動作検出部12
08と、カーソル位置計算部1206の結果に基づいて
ディスプレイ1201上にカーソル1209を表示し、
指1202bでクリックが生起した場合にそのカーソル
位置に対応した処理を行うコンピュータ本体1207と
を備えている。
【0004】以下、上述した従来の入力画像処理システ
ムの動作について説明する。利用者がディスプレイ12
01の前で、指1202aによりディスプレイ1201
の画像情報を指示すると、撮像部1203、1204
は、この指1202aを撮像する。方向算出部1205
は、撮像部1203、1204で撮像された指1202
aの映像に基づいて、ディスプレイ1201に対して指
1202aが指し示す方向を算出する。カーソル位置算
出部1206は、方向算出部1205で算出された方向
に対応して、指1202aの指し示す位置としてカーソ
ル1209のディスプレイ1201上の位置を算出す
る。カーソル位置算出部1206で算出されたカーソル
位置は、コンピュータ本体1207に送られ、コンピュ
ータ本体1207は、このカーソル位置に応じて、ディ
スプレイ1201上のカーソル1209を対応する位置
に移動する。
ムの動作について説明する。利用者がディスプレイ12
01の前で、指1202aによりディスプレイ1201
の画像情報を指示すると、撮像部1203、1204
は、この指1202aを撮像する。方向算出部1205
は、撮像部1203、1204で撮像された指1202
aの映像に基づいて、ディスプレイ1201に対して指
1202aが指し示す方向を算出する。カーソル位置算
出部1206は、方向算出部1205で算出された方向
に対応して、指1202aの指し示す位置としてカーソ
ル1209のディスプレイ1201上の位置を算出す
る。カーソル位置算出部1206で算出されたカーソル
位置は、コンピュータ本体1207に送られ、コンピュ
ータ本体1207は、このカーソル位置に応じて、ディ
スプレイ1201上のカーソル1209を対応する位置
に移動する。
【0005】一方、利用者がカーソル1209の位置を
確認して、指1202bで所定のクリック動作(指の上
下や曲伸など)を行うと、撮像部1203、1204
は、この指1202bの動作を撮像する。クリック動作
検出部1208は、指1202bのクリック動作を検出
し、コンピュータ本体1207にクリック検出信号を送
る。コンピュータ本体1207では、クリック検出信号
に応じて、ディスプレイ1201上のカーソル1209
の位置に対応する画像情報を利用者が指示した画像情報
として処理する。
確認して、指1202bで所定のクリック動作(指の上
下や曲伸など)を行うと、撮像部1203、1204
は、この指1202bの動作を撮像する。クリック動作
検出部1208は、指1202bのクリック動作を検出
し、コンピュータ本体1207にクリック検出信号を送
る。コンピュータ本体1207では、クリック検出信号
に応じて、ディスプレイ1201上のカーソル1209
の位置に対応する画像情報を利用者が指示した画像情報
として処理する。
【0006】このように、従来の入力画像処理システム
では、通常のマウス装置やキーボード装置を用いる換わ
りに、CCDカメラなどの撮像部を用いて利用者の指を
撮影し、そのカメラ画像を画像処理し、その指さし方向
やクリック動作を認識してコンピュータ装置などへデー
タや制御信号として入力し、コンピュータ装置でそのデ
ータや制御信号を処理している。
では、通常のマウス装置やキーボード装置を用いる換わ
りに、CCDカメラなどの撮像部を用いて利用者の指を
撮影し、そのカメラ画像を画像処理し、その指さし方向
やクリック動作を認識してコンピュータ装置などへデー
タや制御信号として入力し、コンピュータ装置でそのデ
ータや制御信号を処理している。
【0007】
【発明が解決しようとする課題】しかしながら、図12
に示すような従来の入力画像処理システムによれば、撮
像される指1202a、1202bをディスプレイ12
01から遠ざけすぎたり、近づけすぎた場合、撮像部1
203、1204の双方もしくは一方の画角から指12
02aや指1202bが外れてしまうため、方向算出部
1205でディスプレイ1201に対して指1202a
が指し示す方向を算出したり、クリック動作検出部12
08で指1202bのクリック動作を検出したりするこ
とができない場合が生じるという問題があった。
に示すような従来の入力画像処理システムによれば、撮
像される指1202a、1202bをディスプレイ12
01から遠ざけすぎたり、近づけすぎた場合、撮像部1
203、1204の双方もしくは一方の画角から指12
02aや指1202bが外れてしまうため、方向算出部
1205でディスプレイ1201に対して指1202a
が指し示す方向を算出したり、クリック動作検出部12
08で指1202bのクリック動作を検出したりするこ
とができない場合が生じるという問題があった。
【0008】また、ディスプレイ1201に対して指1
202aを真っ直ぐに伸ばしていないと、方向算出部1
205で算出される方向の誤差が大きくなるため、指1
202aで指し示した位置にカーソル1209が正しく
表示されない場合が生じるという問題があった。
202aを真っ直ぐに伸ばしていないと、方向算出部1
205で算出される方向の誤差が大きくなるため、指1
202aで指し示した位置にカーソル1209が正しく
表示されない場合が生じるという問題があった。
【0009】また、図12に示すような従来の入力画像
処理システムによれば、撮像部1203、1204の光
軸方向が、指1202aを指し示めす利用者に向いてい
るため、指1202aで指示されている対象を撮像する
ことができず、現実に存在する物体への指さし動作の場
合、実際に指し示されている物体と該物体を指し示めし
ている指とを同時に認識するような使い方が困難である
という問題があった。また、図12に示すような従来の
入力画像処理システムによれば、画像処理される対象物
が固定配置された通常の平面ディスプレイ1201上の
ものを前提としているため、ヘッドマウントディスプレ
イ(HMD:Head Mount Display)のような絶えず異な
る方向が映し出されるディスプレイ上の撮像画像の場
合、その画像処理ができないという問題があった。
処理システムによれば、撮像部1203、1204の光
軸方向が、指1202aを指し示めす利用者に向いてい
るため、指1202aで指示されている対象を撮像する
ことができず、現実に存在する物体への指さし動作の場
合、実際に指し示されている物体と該物体を指し示めし
ている指とを同時に認識するような使い方が困難である
という問題があった。また、図12に示すような従来の
入力画像処理システムによれば、画像処理される対象物
が固定配置された通常の平面ディスプレイ1201上の
ものを前提としているため、ヘッドマウントディスプレ
イ(HMD:Head Mount Display)のような絶えず異な
る方向が映し出されるディスプレイ上の撮像画像の場
合、その画像処理ができないという問題があった。
【0010】また、撮像部1203、1204で撮像さ
れた画像から指1202a、1202bの領域を抽出す
る(指1202a、1202bを認識する)必要がある
ため、指1202a、1202b以外の背景が複雑な場
合には、指1202a、1202bの領域を安定して抽
出することが困難であるという問題があった。
れた画像から指1202a、1202bの領域を抽出す
る(指1202a、1202bを認識する)必要がある
ため、指1202a、1202b以外の背景が複雑な場
合には、指1202a、1202bの領域を安定して抽
出することが困難であるという問題があった。
【0011】したがって、本発明の目的は、上記の問題
点を解決するため、方向を示す指が撮像部の画角から外
れず、指が曲がった状態でも正しく指示方向や動作を検
出でき、また、絶えず異なる方向が映し出されるディス
プレイにも適用することができる入力画像処理方法、入
力画像処理装置、及び入力画像処理方法を記録した記録
媒体を提供することである。
点を解決するため、方向を示す指が撮像部の画角から外
れず、指が曲がった状態でも正しく指示方向や動作を検
出でき、また、絶えず異なる方向が映し出されるディス
プレイにも適用することができる入力画像処理方法、入
力画像処理装置、及び入力画像処理方法を記録した記録
媒体を提供することである。
【0012】また、本発明の他の目的は、現実に存在す
る物体に対する指さし動作でも、指し示されている物体
を認識することができ、また、指以外の背景が複雑な場
合でも、指先の位置を正確に抽出することができる入力
画像処理方法、入力画像処理装置、及び入力画像処理方
法を記録した記録媒体を提供することである。
る物体に対する指さし動作でも、指し示されている物体
を認識することができ、また、指以外の背景が複雑な場
合でも、指先の位置を正確に抽出することができる入力
画像処理方法、入力画像処理装置、及び入力画像処理方
法を記録した記録媒体を提供することである。
【0013】
【課題を解決するための手段】上記課題を解決するた
め、本発明の第1の態様の入力画像処理方法は、 入力
された画像を処理する入力画像処理方法であって、 所
定の画像を反射させ、反射した画像を撮像し、 撮像さ
れた画像から所定の指標の指し示す位置を検出し、 検
出した位置に基づいて所定の指標の指し示す対象を認識
する、ことを特徴とする。
め、本発明の第1の態様の入力画像処理方法は、 入力
された画像を処理する入力画像処理方法であって、 所
定の画像を反射させ、反射した画像を撮像し、 撮像さ
れた画像から所定の指標の指し示す位置を検出し、 検
出した位置に基づいて所定の指標の指し示す対象を認識
する、ことを特徴とする。
【0014】また、上記課題を解決するため、本発明の
第1の態様の入力画像処理装置は、入力された画像を処
理する入力画像処理装置において、 所定の画像を反射
および透過させるハーフミラーと、 ハーフミラーによ
り反射された所定の画像を撮像する撮像手段と、 撮像
手段の撮像画像から所定の指標の指し示す位置を検出す
るポインティング位置検出手段と、 ポインティング位
置検出手段で検出した位置に基づいて所定の指標の指し
示す対象を認識するオブジェクト認識手段と、を有する
ことを特徴とする。
第1の態様の入力画像処理装置は、入力された画像を処
理する入力画像処理装置において、 所定の画像を反射
および透過させるハーフミラーと、 ハーフミラーによ
り反射された所定の画像を撮像する撮像手段と、 撮像
手段の撮像画像から所定の指標の指し示す位置を検出す
るポインティング位置検出手段と、 ポインティング位
置検出手段で検出した位置に基づいて所定の指標の指し
示す対象を認識するオブジェクト認識手段と、を有する
ことを特徴とする。
【0015】これによって、方向を示す指が撮像部の画
角から外れず、指が曲がった状態でも正しく指示方向や
動作を検出することができる。また、現実に存在する物
体に対する指さし動作でも、指し示されている物体を認
識することができる。
角から外れず、指が曲がった状態でも正しく指示方向や
動作を検出することができる。また、現実に存在する物
体に対する指さし動作でも、指し示されている物体を認
識することができる。
【0016】また、上記課題を解決するため、本発明の
第2の態様の入力画像処理方法は、入力された画像を処
理する入力画像処理方法であって、 相対的な位置関係
が既知である複数の撮像ポイントから画像を撮像し、
複数の撮像ポイントで撮像された画像から、所定の指標
と画像の空間の3次元位置を計測し、 撮像の基準視点
の3次元位置と計測された所定の指標の3次元位置から
所定の指示ベクトルを計算し、 画像の空間の3次元位
置に基づいて、指示ベクトルの延長上にある所定の対象
を認識する、ことを特徴とする。
第2の態様の入力画像処理方法は、入力された画像を処
理する入力画像処理方法であって、 相対的な位置関係
が既知である複数の撮像ポイントから画像を撮像し、
複数の撮像ポイントで撮像された画像から、所定の指標
と画像の空間の3次元位置を計測し、 撮像の基準視点
の3次元位置と計測された所定の指標の3次元位置から
所定の指示ベクトルを計算し、 画像の空間の3次元位
置に基づいて、指示ベクトルの延長上にある所定の対象
を認識する、ことを特徴とする。
【0017】上述の本発明の第2の態様の入力画像処理
方法においては、撮像の基準視点の3次元位置を、複数
の撮像ポイントからの所定の位置に決めるようにするこ
とができる。さらに、認識した対象に基づいて、所定の
処理を行うようにしてもよい。また、所定の処理を行う
ステップは、認識された対象に対応する情報を検索して
表示するステップとするとよい。
方法においては、撮像の基準視点の3次元位置を、複数
の撮像ポイントからの所定の位置に決めるようにするこ
とができる。さらに、認識した対象に基づいて、所定の
処理を行うようにしてもよい。また、所定の処理を行う
ステップは、認識された対象に対応する情報を検索して
表示するステップとするとよい。
【0018】また、上記課題を解決するため、本発明の
第2の態様の入力画像処理装置は、入力された画像を処
理する入力画像処理装置において、 所定の指標と空間
から成る画像を撮像する複数の撮像手段と、 複数の撮
像手段を所定の間隔で所定の位置に固定する手段と、
複数の撮像手段で撮像された画像から所定の指標と空間
の3次元位置の計測を行う3次元計測手段と、 撮像の
基準視点の3次元位置と3次元計測手段で計測された所
定の指標の3次元位置から指示ベクトルを計算する指示
ベクトル計算手段と、 指示ベクトル計算手段で計算さ
れた指示ベクトルに基づいて、空間における指示ベクト
ルの延長上にある対象を認識するオブジェクト認識手段
と、を有することを特徴とする。
第2の態様の入力画像処理装置は、入力された画像を処
理する入力画像処理装置において、 所定の指標と空間
から成る画像を撮像する複数の撮像手段と、 複数の撮
像手段を所定の間隔で所定の位置に固定する手段と、
複数の撮像手段で撮像された画像から所定の指標と空間
の3次元位置の計測を行う3次元計測手段と、 撮像の
基準視点の3次元位置と3次元計測手段で計測された所
定の指標の3次元位置から指示ベクトルを計算する指示
ベクトル計算手段と、 指示ベクトル計算手段で計算さ
れた指示ベクトルに基づいて、空間における指示ベクト
ルの延長上にある対象を認識するオブジェクト認識手段
と、を有することを特徴とする。
【0019】上述の本発明の第2の態様の入力画像処理
装置において、撮像の基準視点の3次元位置を複数の撮
像ポイントからの所定の位置に決める基準位置指示手段
を有することもできる。さらに、オブジェクト認識手段
で認識した対象に基づいて、所定の処理を行う処理手段
を有することもできる。また、対象に対応する情報を蓄
積する情報蓄積手段と、対象に対応する情報を表示する
表示手段と、を備え、処理手段は、オブジェクト認識手
段で認識された対象に対応する情報を情報蓄積手段から
検索し、表示手段は、処理手段で検索した対象に対応す
る情報を表示する、ようにしてもよい。
装置において、撮像の基準視点の3次元位置を複数の撮
像ポイントからの所定の位置に決める基準位置指示手段
を有することもできる。さらに、オブジェクト認識手段
で認識した対象に基づいて、所定の処理を行う処理手段
を有することもできる。また、対象に対応する情報を蓄
積する情報蓄積手段と、対象に対応する情報を表示する
表示手段と、を備え、処理手段は、オブジェクト認識手
段で認識された対象に対応する情報を情報蓄積手段から
検索し、表示手段は、処理手段で検索した対象に対応す
る情報を表示する、ようにしてもよい。
【0020】これによって、方向を示す指が撮像部の画
角から外れず、指が曲がった状態でも正しく指示方向や
動作を検出することができる。また、現実に存在する物
体に対する指さし動作でも、指し示されている物体を認
識することができる。
角から外れず、指が曲がった状態でも正しく指示方向や
動作を検出することができる。また、現実に存在する物
体に対する指さし動作でも、指し示されている物体を認
識することができる。
【0021】また、上記課題を解決するため、本発明の
第3の態様の入力画像処理方法は、入力された画像を処
理する入力画像処理方法であって、 仮想空間の3次元
情報を蓄積し、 相対的な位置関係が既知である複数の
撮像ポイントから画像を撮像し、 複数の撮像ポイント
で撮像された画像から所定の指標の3次元位置を計測
し、 撮像の基準視点の3次元位置と計測された所定の
指標の3次元位置から所定の指示ベクトルを計算し、
所定の基準点からの位置及び方向を判定し、判定された
位置及び方向に基づいて、蓄積されている仮想空間の3
次元情報から仮想空間を生成して表示し、 指示ベクト
ルに応じて表示されている仮想空間にカーソルを重ねて
表示する、ことを特徴とする。
第3の態様の入力画像処理方法は、入力された画像を処
理する入力画像処理方法であって、 仮想空間の3次元
情報を蓄積し、 相対的な位置関係が既知である複数の
撮像ポイントから画像を撮像し、 複数の撮像ポイント
で撮像された画像から所定の指標の3次元位置を計測
し、 撮像の基準視点の3次元位置と計測された所定の
指標の3次元位置から所定の指示ベクトルを計算し、
所定の基準点からの位置及び方向を判定し、判定された
位置及び方向に基づいて、蓄積されている仮想空間の3
次元情報から仮想空間を生成して表示し、 指示ベクト
ルに応じて表示されている仮想空間にカーソルを重ねて
表示する、ことを特徴とする。
【0022】また、上記課題を解決するため、本発明の
第3の態様の入力画像処理装置は、入力された画像を処
理する入力画像処理装置において、 所定の指標を画像
として撮像する複数の撮像手段と、 複数の撮像手段を
所定の間隔で所定の位置に固定する手段と、 複数の撮
像手段で撮像された画像から所定の指標の3次元位置の
計測を行う3次元計測手段と、 撮像の基準視点の3次
元位置と3次元計測手段で計測された所定の指標の3次
元位置から指示ベクトルを計算する指示ベクトル計算手
段と、 仮想空間の3次元情報を蓄積する仮想空間情報
蓄積手段と、所定の基準点からの位置及び方向を判定し
て該位置及び方向に対応する信号を生成するセンサ手段
と、 センサ手段で生成された信号に応じて、仮想空間
情報蓄積手段に蓄積されている3次元情報から仮想空間
を生成し、指示ベクトルの方向に応じて仮想空間にカー
ソルを重ね合わせて仮想空間情報を生成する仮想空間処
理手段と、 仮想空間処理手段で生成された仮想空間情
報を表示する表示手段と、を有することを特徴とする。
ここで、表示手段を、ヘッドマウントディスプレイにし
てもよい。
第3の態様の入力画像処理装置は、入力された画像を処
理する入力画像処理装置において、 所定の指標を画像
として撮像する複数の撮像手段と、 複数の撮像手段を
所定の間隔で所定の位置に固定する手段と、 複数の撮
像手段で撮像された画像から所定の指標の3次元位置の
計測を行う3次元計測手段と、 撮像の基準視点の3次
元位置と3次元計測手段で計測された所定の指標の3次
元位置から指示ベクトルを計算する指示ベクトル計算手
段と、 仮想空間の3次元情報を蓄積する仮想空間情報
蓄積手段と、所定の基準点からの位置及び方向を判定し
て該位置及び方向に対応する信号を生成するセンサ手段
と、 センサ手段で生成された信号に応じて、仮想空間
情報蓄積手段に蓄積されている3次元情報から仮想空間
を生成し、指示ベクトルの方向に応じて仮想空間にカー
ソルを重ね合わせて仮想空間情報を生成する仮想空間処
理手段と、 仮想空間処理手段で生成された仮想空間情
報を表示する表示手段と、を有することを特徴とする。
ここで、表示手段を、ヘッドマウントディスプレイにし
てもよい。
【0023】これによって、方向を示す指が撮像部の画
角から外れず、指が曲がった状態でも正しく指示方向や
動作を検出することができる。また、現実に存在する物
体に対する指さし動作でも、指し示されている物体を認
識することができる。また、絶えず異なる方向が映し出
されるディスプレイにも適用することができる。上述の
本発明の第1乃至第3の態様の入力画像処理方法におい
ては、さらに、所定の指標の動作を認識し、認識した動
作に基づいて、所定の処理を行う、ようにすることがで
きる。また、所定の指標を、カラーマーカで識別するよ
うにしてもよい。
角から外れず、指が曲がった状態でも正しく指示方向や
動作を検出することができる。また、現実に存在する物
体に対する指さし動作でも、指し示されている物体を認
識することができる。また、絶えず異なる方向が映し出
されるディスプレイにも適用することができる。上述の
本発明の第1乃至第3の態様の入力画像処理方法におい
ては、さらに、所定の指標の動作を認識し、認識した動
作に基づいて、所定の処理を行う、ようにすることがで
きる。また、所定の指標を、カラーマーカで識別するよ
うにしてもよい。
【0024】上述の本発明の第1乃至第3の態様の入力
画像処理方法においては、さらに、所定の指標の動作を
認識する動作認識手段と、動作認識手段で認識した所定
の指標の動作に基づいて、所定の処理を行う処理手段
と、を有することもできる。また、所定の指標に取り付
けられるカラーマーカと、画像からカラーマーカを抽出
して所定の指標を認識するカラーマーカ抽出手段と、を
有することもできる。
画像処理方法においては、さらに、所定の指標の動作を
認識する動作認識手段と、動作認識手段で認識した所定
の指標の動作に基づいて、所定の処理を行う処理手段
と、を有することもできる。また、所定の指標に取り付
けられるカラーマーカと、画像からカラーマーカを抽出
して所定の指標を認識するカラーマーカ抽出手段と、を
有することもできる。
【0025】動作を認識することによって、動作に応じ
た画像処理を行うことができ、また、カラーマーカによ
って、指以外の背景が複雑な場合でも、指先の位置を正
確に抽出することができる。
た画像処理を行うことができ、また、カラーマーカによ
って、指以外の背景が複雑な場合でも、指先の位置を正
確に抽出することができる。
【0026】
【発明の実施の形態】以下、本発明の入力画像処理方
法、入力画像処理装置、及び入力画像処理方法を記録し
た記録媒体について、図面を参照しながら説明する。
法、入力画像処理装置、及び入力画像処理方法を記録し
た記録媒体について、図面を参照しながら説明する。
【0027】<実施の形態1>図1は、本発明の第1実
施の形態の入力画像処理装置の構成を示すブロック図で
ある。この入力画像処理装置は、指さしポインティング
による装置である。図1において、入力画像処理装置
は、所定の画像を所定の角度で反射するように調整され
たハーフミラー101と、ハーフミラー101で反射さ
れた画像を撮像する撮像部102と、撮像部102で撮
像された画像の各画像フレームに対する利用者の指先の
指し示す位置(以下、単に「ポインティング位置」とも
いう)を検出するポインティング位置検出部103と、
ポインティング位置検出部103で検出された位置にあ
るオブジェクトを色や形状などで認識するポインティン
グオブジェクト認識部104と、オブジェクトの関連情
報(以下、単に「オブジェクト情報」ともいう)を蓄積
するオブジェクト情報蓄積部106と、ポインティング
オブジェクト認識部104で認識されたオブジェクトの
オブジェクト情報でオブジェクト情報蓄積部106に蓄
積されているオブジェクト情報を検索するオブジェクト
情報検索部105と、オブジェクト情報検索部105の
検索結果を表示するディスプレイ107とを備えてい
る。
施の形態の入力画像処理装置の構成を示すブロック図で
ある。この入力画像処理装置は、指さしポインティング
による装置である。図1において、入力画像処理装置
は、所定の画像を所定の角度で反射するように調整され
たハーフミラー101と、ハーフミラー101で反射さ
れた画像を撮像する撮像部102と、撮像部102で撮
像された画像の各画像フレームに対する利用者の指先の
指し示す位置(以下、単に「ポインティング位置」とも
いう)を検出するポインティング位置検出部103と、
ポインティング位置検出部103で検出された位置にあ
るオブジェクトを色や形状などで認識するポインティン
グオブジェクト認識部104と、オブジェクトの関連情
報(以下、単に「オブジェクト情報」ともいう)を蓄積
するオブジェクト情報蓄積部106と、ポインティング
オブジェクト認識部104で認識されたオブジェクトの
オブジェクト情報でオブジェクト情報蓄積部106に蓄
積されているオブジェクト情報を検索するオブジェクト
情報検索部105と、オブジェクト情報検索部105の
検索結果を表示するディスプレイ107とを備えてい
る。
【0028】ここで、ハーフミラー101は、所定の画
像、例えば、利用者の片目(好ましくは、きき目)の視
野と略同程度以上の範囲の画像が撮像部102で撮像で
きるように調整されている。また、ハーフミラー10
1、撮像部102、及びディスプレイ107は、指さし
ポインティングを行う利用者に装着されるため、できる
だけ小型のものがよい。
像、例えば、利用者の片目(好ましくは、きき目)の視
野と略同程度以上の範囲の画像が撮像部102で撮像で
きるように調整されている。また、ハーフミラー10
1、撮像部102、及びディスプレイ107は、指さし
ポインティングを行う利用者に装着されるため、できる
だけ小型のものがよい。
【0029】次に、図1で示した入力画像処理装置の動
作について説明する。
作について説明する。
【0030】図2は、入力画像処理装置の動作の処理を
示すフローチャートである。以下の説明において、オブ
ジェクトを美術作品または美術作品と一対一に対応して
該美術作品を特定し得るカラーバーコードなどの所定の
マークとし、オブジェクト情報を当該美術作品の関連情
報とする。
示すフローチャートである。以下の説明において、オブ
ジェクトを美術作品または美術作品と一対一に対応して
該美術作品を特定し得るカラーバーコードなどの所定の
マークとし、オブジェクト情報を当該美術作品の関連情
報とする。
【0031】図1及び図2において、利用者の視野の中
に関連情報を知りたい美術作品が存在する場合、利用者
は、まずその美術作品または所定のマーク(以下、単に
「オブジェクト」ともいう)に指先が重なって見えるよ
うに指さし(指さしポインティング)を行う。一般に、
このような両目での指さしで、指先と対象オブジェクト
が重なって見えるのは、利用者のきき目に入る画像中で
指先とオブジェクトが重なって見えるためである。この
とき、撮像部102は、指先と対象オブジェクトの双方
を撮像し、画像フレームを連続して出力する(ステップ
201)。
に関連情報を知りたい美術作品が存在する場合、利用者
は、まずその美術作品または所定のマーク(以下、単に
「オブジェクト」ともいう)に指先が重なって見えるよ
うに指さし(指さしポインティング)を行う。一般に、
このような両目での指さしで、指先と対象オブジェクト
が重なって見えるのは、利用者のきき目に入る画像中で
指先とオブジェクトが重なって見えるためである。この
とき、撮像部102は、指先と対象オブジェクトの双方
を撮像し、画像フレームを連続して出力する(ステップ
201)。
【0032】ポインティング位置検出部103は、撮像
部102からの画像フレーム中の指先の位置を認識し、
指先位置の画像座標値を出力する(ステップ202)。
このとき、利用者が対象オブジェクトの方向を向かずに
目の動きのみで対象オブジェクトを認識してそれを指さ
しした場合、ポインティング位置検出部103で、画像
フレーム中に指先が認識できない場合がある。この場合
には、上述した指さしポインティングを再度やり直す
(ステップ203)。
部102からの画像フレーム中の指先の位置を認識し、
指先位置の画像座標値を出力する(ステップ202)。
このとき、利用者が対象オブジェクトの方向を向かずに
目の動きのみで対象オブジェクトを認識してそれを指さ
しした場合、ポインティング位置検出部103で、画像
フレーム中に指先が認識できない場合がある。この場合
には、上述した指さしポインティングを再度やり直す
(ステップ203)。
【0033】ポインティングオブジェクト認識部104
では、ポインティング位置検出部103からの指先位置
の画像座標値とそれまで撮像された画像フレーム(指さ
し直前の所定の数の画像フレーム)での対象オブジェク
トの画像座標値の平均値を比較する。そして、検出され
た指先の位置に最も近い美術作品またはマークに対応す
る美術作品をポインティングオブジェクトとして認識
し、対応するオブジェクトIDを出力する(ステップ2
04)。ここで、ポインティングオブジェクト認識部1
04は、予め美術作品またはマークとオブジェクトID
を関連付けたテーブル(図示せず)などを備え、このテ
ーブルを参照して認識した美術作品に対応するオブジェ
クトIDを出力するようにするとよい。
では、ポインティング位置検出部103からの指先位置
の画像座標値とそれまで撮像された画像フレーム(指さ
し直前の所定の数の画像フレーム)での対象オブジェク
トの画像座標値の平均値を比較する。そして、検出され
た指先の位置に最も近い美術作品またはマークに対応す
る美術作品をポインティングオブジェクトとして認識
し、対応するオブジェクトIDを出力する(ステップ2
04)。ここで、ポインティングオブジェクト認識部1
04は、予め美術作品またはマークとオブジェクトID
を関連付けたテーブル(図示せず)などを備え、このテ
ーブルを参照して認識した美術作品に対応するオブジェ
クトIDを出力するようにするとよい。
【0034】次に、オブジェクト情報検索部105で
は、ポインティングオブジェクト認識部104から出力
されたオブジェクトIDに基づいて、当該オブジェクト
IDに対応する美術作品の関連情報をオブジェクト情報
蓄積部106より検索する(ステップ205)。そし
て、その検索結果であるオブジェクト情報をディスプレ
イ107に出力する(ステップ206)。
は、ポインティングオブジェクト認識部104から出力
されたオブジェクトIDに基づいて、当該オブジェクト
IDに対応する美術作品の関連情報をオブジェクト情報
蓄積部106より検索する(ステップ205)。そし
て、その検索結果であるオブジェクト情報をディスプレ
イ107に出力する(ステップ206)。
【0035】なお、オブジェクト情報蓄積部106に
は、オブジェクトIDに対応する美術作品の関連情報を
予めそのオブジェクトIDと関連付けて蓄積しておくよ
うにする。
は、オブジェクトIDに対応する美術作品の関連情報を
予めそのオブジェクトIDと関連付けて蓄積しておくよ
うにする。
【0036】以上の処理を継続する場合には、ステップ
201〜ステップ206の処理を繰り返すようにする
(ステップ207)。
201〜ステップ206の処理を繰り返すようにする
(ステップ207)。
【0037】以上のように、本発明の第1の実施の形態
によれば、撮像部102の撮像範囲を利用者のきき目の
視野と略同範囲以上に設定するため、通常は、対象オブ
ジェクトを示す指が撮像部102の撮像範囲から外れる
ことがなく、かつ利用者によってポインティングされて
いる対象オブジェクトも撮像範囲内に入る。このため、
ポインティングされている対象オブジェクトを確実に認
識することができる。また、指さしによるポインティン
グの方向は、指先の画像座標値だけで認識することがで
きるので、指が曲がった状態でも正しく指示方向を算出
できる。
によれば、撮像部102の撮像範囲を利用者のきき目の
視野と略同範囲以上に設定するため、通常は、対象オブ
ジェクトを示す指が撮像部102の撮像範囲から外れる
ことがなく、かつ利用者によってポインティングされて
いる対象オブジェクトも撮像範囲内に入る。このため、
ポインティングされている対象オブジェクトを確実に認
識することができる。また、指さしによるポインティン
グの方向は、指先の画像座標値だけで認識することがで
きるので、指が曲がった状態でも正しく指示方向を算出
できる。
【0038】このように、本発明の第1の実施の形態に
よれば、従来問題であった指の撮像範囲外れや指が曲が
ることによる指さし方向算出の誤差がなくなり、精度の
高い指さしポインティングを実現できる。また、本発明
の第1の実施の形態によれば、利用者によって指さしさ
れている対象オブジェクトを直接認識できるので、実在
のオブジェクトにその関連情報(コンピュータ情報)を
リンクさせるAR(Augmented Reality :拡張現実感)
システムにも利用することができる。
よれば、従来問題であった指の撮像範囲外れや指が曲が
ることによる指さし方向算出の誤差がなくなり、精度の
高い指さしポインティングを実現できる。また、本発明
の第1の実施の形態によれば、利用者によって指さしさ
れている対象オブジェクトを直接認識できるので、実在
のオブジェクトにその関連情報(コンピュータ情報)を
リンクさせるAR(Augmented Reality :拡張現実感)
システムにも利用することができる。
【0039】<実施の形態2>以下、本発明の第2の実
施の形態について、図面を参照しながら説明する。
施の形態について、図面を参照しながら説明する。
【0040】図3は本発明の第2実施の形態の入力画像
処理装置の構成を示すブロック図である。この入力画像
処理装置は、指さしポインティングによる装置である。
また、図3においては、図1と同様の構成のものには、
同一の符号を付している。
処理装置の構成を示すブロック図である。この入力画像
処理装置は、指さしポインティングによる装置である。
また、図3においては、図1と同様の構成のものには、
同一の符号を付している。
【0041】図3において、この入力画像処理装置は、
利用者の指先やオブジェクトなどを撮像する2つの撮像
部301、302と、利用者のきき目とカメラの相対的
な位置関係を固定する装着部303と、装着部303に
設けられた利用者のきき目の位置を合わせるきき目位置
指示部307と、撮像部301、302で撮像された画
像から指先の位置の3次元計測及び撮像された空間の3
次元計測を行う3次元計測部304と、装着部303で
固定された利用者のきき目の3次元位置と指先の3次元
位置から指さしベクトルを計算する指さしベクトル計算
部305と、指さしベクトル計算部305で算出された
指さしベクトルの延長上にある3次元空間の情報を検出
し、検出された位置にあるオブジェクトを色や形状など
で認識するポインティングオブジェクト認識部306
と、オブジェクト情報を蓄積するオブジェクト情報蓄積
部106と、ポインティングオブジェクト認識部306
で認識されたオブジェクトのオブジェクト情報でオブジ
ェクト情報蓄積部106に蓄積されているオブジェクト
情報を検索するオブジェクト情報検索部105と、オブ
ジェクト情報検索部105の検索結果を表示するディス
プレイ107とを備えている。
利用者の指先やオブジェクトなどを撮像する2つの撮像
部301、302と、利用者のきき目とカメラの相対的
な位置関係を固定する装着部303と、装着部303に
設けられた利用者のきき目の位置を合わせるきき目位置
指示部307と、撮像部301、302で撮像された画
像から指先の位置の3次元計測及び撮像された空間の3
次元計測を行う3次元計測部304と、装着部303で
固定された利用者のきき目の3次元位置と指先の3次元
位置から指さしベクトルを計算する指さしベクトル計算
部305と、指さしベクトル計算部305で算出された
指さしベクトルの延長上にある3次元空間の情報を検出
し、検出された位置にあるオブジェクトを色や形状など
で認識するポインティングオブジェクト認識部306
と、オブジェクト情報を蓄積するオブジェクト情報蓄積
部106と、ポインティングオブジェクト認識部306
で認識されたオブジェクトのオブジェクト情報でオブジ
ェクト情報蓄積部106に蓄積されているオブジェクト
情報を検索するオブジェクト情報検索部105と、オブ
ジェクト情報検索部105の検索結果を表示するディス
プレイ107とを備えている。
【0042】ここで、撮像部は、2つ以上であればよ
い。また、撮像部301、302、及びディスプレイ1
07は、指さしポインティングを行う利用者に装着され
るため、できるだけ小型のものがよい。
い。また、撮像部301、302、及びディスプレイ1
07は、指さしポインティングを行う利用者に装着され
るため、できるだけ小型のものがよい。
【0043】次に、図3で示した入力画像処理装置の動
作について説明する。
作について説明する。
【0044】図4は、入力画像処理装置の動作の処理を
示すフローチャートである。以下の説明において、オブ
ジェクトを美術作品または美術作品と一対一に対応して
該美術作品を特定し得るカラーバーコードなどの所定の
マークとし、オブジェクト情報を当該美術作品の関連情
報とする。また、利用者は、きき目の位置をきき目位置
指示部307に合わせて装着部303を頭部に装着する
ものとする。
示すフローチャートである。以下の説明において、オブ
ジェクトを美術作品または美術作品と一対一に対応して
該美術作品を特定し得るカラーバーコードなどの所定の
マークとし、オブジェクト情報を当該美術作品の関連情
報とする。また、利用者は、きき目の位置をきき目位置
指示部307に合わせて装着部303を頭部に装着する
ものとする。
【0045】図3及び図4において、利用者の視野の中
に関連情報を知りたい美術作品が存在する場合、利用者
は、まずその美術作品または所定のマーク(オブジェク
ト)に指先が重なって見えるように指さし(指さしポイ
ンティング)を行う。一般に、このような両目での指さ
しで指先と対象オブジェクトが重なって見えるのは、き
き目に入る画像中で指先とオブジェクトが重なって見え
るためである。2つの撮像部301、302は、指先と
対象オブジェクトの双方を撮像し、画像フレームを連続
して出力する(ステップ401)。
に関連情報を知りたい美術作品が存在する場合、利用者
は、まずその美術作品または所定のマーク(オブジェク
ト)に指先が重なって見えるように指さし(指さしポイ
ンティング)を行う。一般に、このような両目での指さ
しで指先と対象オブジェクトが重なって見えるのは、き
き目に入る画像中で指先とオブジェクトが重なって見え
るためである。2つの撮像部301、302は、指先と
対象オブジェクトの双方を撮像し、画像フレームを連続
して出力する(ステップ401)。
【0046】3次元計測部304では、2つの撮像部3
01、302で同時に撮影された画像フレーム間でステ
レオマッチングを行う。ここで、指先または対象オブジ
ェクトがステレオ画像中で検出されない場合には、再
度、指さしポインティングを行う(ステップ402A、
402B)。
01、302で同時に撮影された画像フレーム間でステ
レオマッチングを行う。ここで、指先または対象オブジ
ェクトがステレオ画像中で検出されない場合には、再
度、指さしポインティングを行う(ステップ402A、
402B)。
【0047】指先またはオブジェクトがステレオ画像中
で検出された場合(ステップ402A、402B)に
は、3次元計測部304で、指先および撮像範囲内にあ
るオブジェクトの3次元座標位置を計測する(ステップ
403A、403B)。ここで、撮像されたステレオ画
像中に他にもオブジェクトが存在する場合には、そのオ
ブジェクトの3次元座標位置も計測する(ステップ40
4、403A)。
で検出された場合(ステップ402A、402B)に
は、3次元計測部304で、指先および撮像範囲内にあ
るオブジェクトの3次元座標位置を計測する(ステップ
403A、403B)。ここで、撮像されたステレオ画
像中に他にもオブジェクトが存在する場合には、そのオ
ブジェクトの3次元座標位置も計測する(ステップ40
4、403A)。
【0048】一方、指さしベクトル計算部305では、
3次元計測部304で計測された指先の3次元位置と装
着部303で固定されたきき目の3次元座標を用いて、
3次元ベクトルを計算し、指さしベクトルとして出力す
る(ステップ405)。なお、きき目位置指示部307
と撮像部301、302の相対的な位置関係は既知であ
るため、きき目の3次元座標も既知である。ここで、指
先の3次元座標値が(xf ,yf ,zf)で、きき目の3
次元座標値が(xe ,ye ,ze )のとき、指さしベク
トル(vx,vy,vz)は、以下の
3次元計測部304で計測された指先の3次元位置と装
着部303で固定されたきき目の3次元座標を用いて、
3次元ベクトルを計算し、指さしベクトルとして出力す
る(ステップ405)。なお、きき目位置指示部307
と撮像部301、302の相対的な位置関係は既知であ
るため、きき目の3次元座標も既知である。ここで、指
先の3次元座標値が(xf ,yf ,zf)で、きき目の3
次元座標値が(xe ,ye ,ze )のとき、指さしベク
トル(vx,vy,vz)は、以下の
【数1】によって算出される。
【数1】(vx,vy,vz)=(xf −xe ,yf −
ye ,zf −ze )
ye ,zf −ze )
【0049】ポインティングオブジェクト認識部306
では、上述した指さしベクトル(vx,vy,vz)の
延長線との距離が最も小さい美術作品もしくはそのマー
クをステップ403Aで算出した3次元座標値に基づい
て検出して、対象オブジェクトとして決定する(ステッ
プ406)。そして、決定した対象オブジェクトに対応
するオブジェクトIDを出力する。ここで、ポインティ
ングオブジェクト認識部306は、予め美術作品または
マークとオブジェクトIDを関連付けたテーブル(図示
せず)などを備え、このテーブルを参照して認識した美
術作品に対応するオブジェクトIDを出力するようにす
るとよい。
では、上述した指さしベクトル(vx,vy,vz)の
延長線との距離が最も小さい美術作品もしくはそのマー
クをステップ403Aで算出した3次元座標値に基づい
て検出して、対象オブジェクトとして決定する(ステッ
プ406)。そして、決定した対象オブジェクトに対応
するオブジェクトIDを出力する。ここで、ポインティ
ングオブジェクト認識部306は、予め美術作品または
マークとオブジェクトIDを関連付けたテーブル(図示
せず)などを備え、このテーブルを参照して認識した美
術作品に対応するオブジェクトIDを出力するようにす
るとよい。
【0050】次に、オブジェクト情報検索部105で
は、ポインティングオブジェクト認識部306から出力
されたオブジェクトIDに基づいて、当該オブジェクト
IDに対応する美術作品の関連情報をオブジェクト情報
蓄積部106より検索する(ステップ407)。そし
て、その検索結果であるオブジェクト情報をディスプレ
イ107に出力する(ステップ408)。
は、ポインティングオブジェクト認識部306から出力
されたオブジェクトIDに基づいて、当該オブジェクト
IDに対応する美術作品の関連情報をオブジェクト情報
蓄積部106より検索する(ステップ407)。そし
て、その検索結果であるオブジェクト情報をディスプレ
イ107に出力する(ステップ408)。
【0051】なお、オブジェクト情報蓄積部106に
は、オブジェクトIDに対応する美術作品の関連情報を
予めそのオブジェクトIDと関連付けて蓄積しておくよ
うにする。
は、オブジェクトIDに対応する美術作品の関連情報を
予めそのオブジェクトIDと関連付けて蓄積しておくよ
うにする。
【0052】以上の処理を継続する場合には、ステップ
401〜ステップ408の処理を繰り返すようにする
(ステップ409)。
401〜ステップ408の処理を繰り返すようにする
(ステップ409)。
【0053】以上のように、本発明の第2の実施の形態
によれば、撮像部の撮像方向が利用者視線方向と一致す
るため、通常は、オブジェクトを指すための指が撮像部
301、302の撮像範囲から外れることはなく、かつ
利用者によってポインティングされている対象オブジェ
クトも撮像範囲内に入る。このため、ポインティングさ
れている対象オブジェクトを確実に認識することができ
る。また、指さしによるポインティングの方向は、指先
の画像座標値だけで認識することができるので、指が曲
がった状態でも正しく指示方向を算出できる。
によれば、撮像部の撮像方向が利用者視線方向と一致す
るため、通常は、オブジェクトを指すための指が撮像部
301、302の撮像範囲から外れることはなく、かつ
利用者によってポインティングされている対象オブジェ
クトも撮像範囲内に入る。このため、ポインティングさ
れている対象オブジェクトを確実に認識することができ
る。また、指さしによるポインティングの方向は、指先
の画像座標値だけで認識することができるので、指が曲
がった状態でも正しく指示方向を算出できる。
【0054】このように、本発明の第2の実施の形態に
よれば、従来問題であった指の撮像範囲外れや指が曲が
ることによる指さし方向算出の誤差がなくなり、精度の
高い指さしポインティングを実現できる。また、本発明
の第2の実施の形態によれば、利用者によって指さしさ
れている対象オブジェクトを直接認識できるので、実在
のオブジェクトにその関連情報(コンピュータ情報)を
リンクさせるAR(Augmented Reality :拡張現実感)
システムにも利用することができる。
よれば、従来問題であった指の撮像範囲外れや指が曲が
ることによる指さし方向算出の誤差がなくなり、精度の
高い指さしポインティングを実現できる。また、本発明
の第2の実施の形態によれば、利用者によって指さしさ
れている対象オブジェクトを直接認識できるので、実在
のオブジェクトにその関連情報(コンピュータ情報)を
リンクさせるAR(Augmented Reality :拡張現実感)
システムにも利用することができる。
【0055】<実施の形態3>以下本発明の第3の実施
の形態について、図面を参照しながら説明する。
の形態について、図面を参照しながら説明する。
【0056】図5は本発明の第3実施の形態の入力画像
処理装置の構成を示すのブロック図である。この入力画
像処理装置は、指さしポインティングをユーザーインタ
フェースに用い、ヘッドマウントディスプレイを表示部
とした装置である。また、図5においては、図3と同様
の構成のものには、同一の符号を付している。
処理装置の構成を示すのブロック図である。この入力画
像処理装置は、指さしポインティングをユーザーインタ
フェースに用い、ヘッドマウントディスプレイを表示部
とした装置である。また、図5においては、図3と同様
の構成のものには、同一の符号を付している。
【0057】図5において、この入力画像処理装置は、
利用者の指先やオブジェクトなどを撮像する2つの撮像
部301、302と、利用者の目とカメラの相対的な位
置関係を固定する装着部303と、利用者の頭の向きを
判定する磁気センサ部504と、2つの撮像部301、
302で撮像された画像から指先位置の3次元計測を行
う3次元計測部304と、利用者のきき目の3次元位置
と指先の3次元位置から指さしベクトルを計算する指さ
しベクトル計算部305と、仮想空間の3次元情報を蓄
積する仮想空間情報蓄積部507と、磁気センサ部50
4の出力信号と仮想空間情報蓄積部507に蓄積されて
いる仮想空間の3次元情報に基づいて仮想空間509a
を生成し、指さしベクトル計算部305で計算された指
さしベクトルの方向に応じてカーソル509bを重ね合
わせる仮想空間処理部508と、仮想空間処理部508
からの信号に基づいて仮想空間509aおよびカーソル
509bを表示するヘッドマウントディスプレイ509
とを備えている。
利用者の指先やオブジェクトなどを撮像する2つの撮像
部301、302と、利用者の目とカメラの相対的な位
置関係を固定する装着部303と、利用者の頭の向きを
判定する磁気センサ部504と、2つの撮像部301、
302で撮像された画像から指先位置の3次元計測を行
う3次元計測部304と、利用者のきき目の3次元位置
と指先の3次元位置から指さしベクトルを計算する指さ
しベクトル計算部305と、仮想空間の3次元情報を蓄
積する仮想空間情報蓄積部507と、磁気センサ部50
4の出力信号と仮想空間情報蓄積部507に蓄積されて
いる仮想空間の3次元情報に基づいて仮想空間509a
を生成し、指さしベクトル計算部305で計算された指
さしベクトルの方向に応じてカーソル509bを重ね合
わせる仮想空間処理部508と、仮想空間処理部508
からの信号に基づいて仮想空間509aおよびカーソル
509bを表示するヘッドマウントディスプレイ509
とを備えている。
【0058】次に、図5で示した入力画像処理装置の動
作について説明する。
作について説明する。
【0059】図6は、入力画像処理装置の動作の処理を
示すフローチャートである。以下の説明において、オブ
ジェクトを美術作品とし、オブジェクト情報を当該美術
作品の関連情報とする。また、仮想空間を複数の美術作
品が存在する美術館の空間として説明する。
示すフローチャートである。以下の説明において、オブ
ジェクトを美術作品とし、オブジェクト情報を当該美術
作品の関連情報とする。また、仮想空間を複数の美術作
品が存在する美術館の空間として説明する。
【0060】図5及び図6において、まず、仮想空間処
理部508では、磁気センサ部504からの出力信号を
受け、利用者の視線方向を計算し、その計算した視線方
向から利用者の視野に入る仮想空間を仮想空間情報蓄積
部507に蓄積されている仮想空間情報に基づいて構築
する(ステップ601)。
理部508では、磁気センサ部504からの出力信号を
受け、利用者の視線方向を計算し、その計算した視線方
向から利用者の視野に入る仮想空間を仮想空間情報蓄積
部507に蓄積されている仮想空間情報に基づいて構築
する(ステップ601)。
【0061】構築された仮想空間は、ヘッドマウントデ
ィスプレイ509によって3次元表示される(ステップ
602)。
ィスプレイ509によって3次元表示される(ステップ
602)。
【0062】ここで、ヘッドマウントディスプレイ50
9で提供される視野の中に、詳しく鑑賞したい美術作品
が存在する場合、利用者はヘッドマウントディスプレイ
509で表示された内容があたかも現実空間であるよう
に指を指すことでポインティングを行う。2つの撮像部
301、302は、指先を撮像し、その画像フレームを
連続して出力する(ステップ603)。
9で提供される視野の中に、詳しく鑑賞したい美術作品
が存在する場合、利用者はヘッドマウントディスプレイ
509で表示された内容があたかも現実空間であるよう
に指を指すことでポインティングを行う。2つの撮像部
301、302は、指先を撮像し、その画像フレームを
連続して出力する(ステップ603)。
【0063】ここで、指先がステレオ画像中で検出され
ない場合には、再度、ステップ601からの処理を繰り
返す(ステップ604)。指先がステレオ画像中で検出
された場合(ステップ604)には、3次元計測部30
4では、2つの撮像部301、302で同時に撮影され
た画像フレーム間でステレオマッチングを行い、指先の
3次元座標位置を計測する(ステップ605)。
ない場合には、再度、ステップ601からの処理を繰り
返す(ステップ604)。指先がステレオ画像中で検出
された場合(ステップ604)には、3次元計測部30
4では、2つの撮像部301、302で同時に撮影され
た画像フレーム間でステレオマッチングを行い、指先の
3次元座標位置を計測する(ステップ605)。
【0064】指さしベクトル計算部305では、3次元
計測部304で計測された指先の3次元位置と装着部3
03で固定されたきき目の3次元座標位置を用いて3次
元ベクトルを計算し、指さしベクトルとして出力する
(ステップ606)。ここで、指先の3次元座標値が
(xf ,yf ,zf )で、きき目の3次元座標値が(x
eye ,ze )のとき、指さしベクトル(vx,vy,
vz)は、上述し
計測部304で計測された指先の3次元位置と装着部3
03で固定されたきき目の3次元座標位置を用いて3次
元ベクトルを計算し、指さしベクトルとして出力する
(ステップ606)。ここで、指先の3次元座標値が
(xf ,yf ,zf )で、きき目の3次元座標値が(x
eye ,ze )のとき、指さしベクトル(vx,vy,
vz)は、上述し
【数1】によって計算される。
【0065】仮想空間処理部508は、仮想空間情報蓄
積部507に蓄積されている仮想空間情報に基づいて構
築された仮想空間中において、指さしベクトル計算部3
05で算出された指さしベクトルがどの方向を指してい
るかを算出し、仮想空間中でのベクトル方向のマッピン
グを行う(ステップ607)。そして、このマッピング
の結果に基づいて、ヘッドマウントディスプレイ509
を通して、仮想空間509a中にカーソル509bを表
示させる(ステップ608)。ここで、撮像部301、
302の画像フレームレートに応じて指先ベクトルの計
算ができるので、カーソル509bは、この画像フレー
ムレートに応じて更新される。なお、指さしベクトルな
どの計算が、画像フレームレートに応じて行えない場合
には、所定の数の画像フレームに一度の割合でカーソル
509bの位置の更新を行うことになる。
積部507に蓄積されている仮想空間情報に基づいて構
築された仮想空間中において、指さしベクトル計算部3
05で算出された指さしベクトルがどの方向を指してい
るかを算出し、仮想空間中でのベクトル方向のマッピン
グを行う(ステップ607)。そして、このマッピング
の結果に基づいて、ヘッドマウントディスプレイ509
を通して、仮想空間509a中にカーソル509bを表
示させる(ステップ608)。ここで、撮像部301、
302の画像フレームレートに応じて指先ベクトルの計
算ができるので、カーソル509bは、この画像フレー
ムレートに応じて更新される。なお、指さしベクトルな
どの計算が、画像フレームレートに応じて行えない場合
には、所定の数の画像フレームに一度の割合でカーソル
509bの位置の更新を行うことになる。
【0066】次に、仮想空間処理部508では、指さし
ベクトルの延長線と表示されている各美術作品との空間
距離を計測する。ここで計測された空間距離のうち、閾
値以下で最小の空間距離を持つ美術作品をポインティン
グされたオブジェクトとして検出する(ステップ60
9)。ここで、この閾値は、ポインティング対象となる
オブジェクト、すなわち、美術作品の配置間隔などで決
定するとよい。
ベクトルの延長線と表示されている各美術作品との空間
距離を計測する。ここで計測された空間距離のうち、閾
値以下で最小の空間距離を持つ美術作品をポインティン
グされたオブジェクトとして検出する(ステップ60
9)。ここで、この閾値は、ポインティング対象となる
オブジェクト、すなわち、美術作品の配置間隔などで決
定するとよい。
【0067】次に、仮想空間処理部508は、ポインテ
ィングされた美術作品の拡大表示などを行う(ステップ
610)。これによって、利用者は、より詳細な美術作
品の鑑賞をすることができる。
ィングされた美術作品の拡大表示などを行う(ステップ
610)。これによって、利用者は、より詳細な美術作
品の鑑賞をすることができる。
【0068】以上のように、本発明の第3の実施の形態
によれば、撮像部の撮像方向が利用者の視線方向と常に
一致するため、オブジェクトを示す指が撮像部301、
302の撮像範囲から外れることはない。また、指さし
によるポインティング方向は、指先の画像座標値から計
算されるので、指が曲がった状態でも正しく指示方向を
算出することができる。また、ヘッドマウントディスプ
レイのような絶えず利用者が異なる方向を向きながら使
用するディスプレイにも適用することができる。
によれば、撮像部の撮像方向が利用者の視線方向と常に
一致するため、オブジェクトを示す指が撮像部301、
302の撮像範囲から外れることはない。また、指さし
によるポインティング方向は、指先の画像座標値から計
算されるので、指が曲がった状態でも正しく指示方向を
算出することができる。また、ヘッドマウントディスプ
レイのような絶えず利用者が異なる方向を向きながら使
用するディスプレイにも適用することができる。
【0069】このように、本発明の第3の実施の形態に
よれば、従来問題であった指の撮像範囲からの外れや、
指が曲がることによる指さし方向算出の誤差がなくなる
ので、精度の高い指さしポインティングを実現すること
ができる。また、ヘッドマウントディスプレイなどの装
着型の表示装置のユーザインタフェースとして使用する
こともできる。
よれば、従来問題であった指の撮像範囲からの外れや、
指が曲がることによる指さし方向算出の誤差がなくなる
ので、精度の高い指さしポインティングを実現すること
ができる。また、ヘッドマウントディスプレイなどの装
着型の表示装置のユーザインタフェースとして使用する
こともできる。
【0070】<実施の形態4>以下、本発明の第4の実
施の形態について、図面を参照しながら説明する。
施の形態について、図面を参照しながら説明する。
【0071】図7は、本発明の第4実施の形態の入力画
像処理装置の構成を示すブロック図である。この入力画
像処理装置は、指さしポインティングによる装置であ
る。また、図7においては、図1と同様の構成のものに
は、同一の符号を付している。
像処理装置の構成を示すブロック図である。この入力画
像処理装置は、指さしポインティングによる装置であ
る。また、図7においては、図1と同様の構成のものに
は、同一の符号を付している。
【0072】図7において、入力画像処理装置は、所定
の画像を所定の角度で反射するように調整されたハーフ
ミラー101と、ハーフミラー101で反射された画像
を撮像する撮像部102と、撮像部102で撮像された
画像の各画像フレームに対する利用者の指先の指し示す
位置(以下、単に「ポインティング位置」ともいう)を
検出するポインティング位置検出部103と、ポインテ
ィング位置検出部103で検出された位置にあるオブジ
ェクトを色や形状などで認識するポインティングオブジ
ェクト認識部104と、利用者の指や手のジェスチャを
認識するジェスチャ認識部704と、オブジェクト情報
やジェスチャ情報を蓄積するオブジェクト情報蓄積部1
06と、オブジェクト情報蓄積部106に蓄積されてい
るオブジェクト情報やジェスチャ情報を検索するオブジ
ェクト情報検索部105と、オブジェクト情報検索部1
05の検索結果を表示するディスプレイ107とを備え
ている。
の画像を所定の角度で反射するように調整されたハーフ
ミラー101と、ハーフミラー101で反射された画像
を撮像する撮像部102と、撮像部102で撮像された
画像の各画像フレームに対する利用者の指先の指し示す
位置(以下、単に「ポインティング位置」ともいう)を
検出するポインティング位置検出部103と、ポインテ
ィング位置検出部103で検出された位置にあるオブジ
ェクトを色や形状などで認識するポインティングオブジ
ェクト認識部104と、利用者の指や手のジェスチャを
認識するジェスチャ認識部704と、オブジェクト情報
やジェスチャ情報を蓄積するオブジェクト情報蓄積部1
06と、オブジェクト情報蓄積部106に蓄積されてい
るオブジェクト情報やジェスチャ情報を検索するオブジ
ェクト情報検索部105と、オブジェクト情報検索部1
05の検索結果を表示するディスプレイ107とを備え
ている。
【0073】ここで、ハーフミラー101は、所定の画
像、例えば、利用者の片目(好ましくは、きき目)の視
野と略同程度以上の範囲の画像が撮像部102で撮像で
きるように調整されている。また、ハーフミラー10
1、撮像部102、及びディスプレイ107は、指さし
ポインティングを行う利用者に装着されるため、できる
だけ小型のものがよい。
像、例えば、利用者の片目(好ましくは、きき目)の視
野と略同程度以上の範囲の画像が撮像部102で撮像で
きるように調整されている。また、ハーフミラー10
1、撮像部102、及びディスプレイ107は、指さし
ポインティングを行う利用者に装着されるため、できる
だけ小型のものがよい。
【0074】次に、図7で示した入力画像処理装置の動
作について説明する。
作について説明する。
【0075】図8は、入力画像処理装置の動作の処理を
示すフローチャートである。また、図9は、利用者のジ
ェスチャを示す図である。
示すフローチャートである。また、図9は、利用者のジ
ェスチャを示す図である。
【0076】ここで、図8においては、図2と同様の処
理のものには、同一のステップ番号を付している。ま
た、以下の説明において、オブジェクトを美術作品また
は美術作品と一対一に対応して該美術作品を特定し得る
カラーバーコードなどの所定のマークとし、オブジェク
ト情報を当該美術作品の関連情報とする。
理のものには、同一のステップ番号を付している。ま
た、以下の説明において、オブジェクトを美術作品また
は美術作品と一対一に対応して該美術作品を特定し得る
カラーバーコードなどの所定のマークとし、オブジェク
ト情報を当該美術作品の関連情報とする。
【0077】図7〜図9において、利用者の視野の中に
関連情報を知りたい美術作品が存在する場合、利用者
は、まずその美術作品または所定のマーク(以下、単に
「オブジェクト」ともいう)に人差指901の指先が重
なって見えるように指さし(指さしポインティング)を
行い、他の指(中指など)902を使ってジェスチャを
提示する。一般に、このような両目での指さしで、指先
と対象オブジェクトが重なって見えるのは、利用者のき
き目に入る画像中で指先とオブジェクトが重なって見え
るためである。このとき、撮像部102は、指先と対象
オブジェクトの双方を撮像し、画像フレームを連続して
出力する(ステップ201)。
関連情報を知りたい美術作品が存在する場合、利用者
は、まずその美術作品または所定のマーク(以下、単に
「オブジェクト」ともいう)に人差指901の指先が重
なって見えるように指さし(指さしポインティング)を
行い、他の指(中指など)902を使ってジェスチャを
提示する。一般に、このような両目での指さしで、指先
と対象オブジェクトが重なって見えるのは、利用者のき
き目に入る画像中で指先とオブジェクトが重なって見え
るためである。このとき、撮像部102は、指先と対象
オブジェクトの双方を撮像し、画像フレームを連続して
出力する(ステップ201)。
【0078】ポインティング位置検出部103は、撮像
部102からの画像フレーム中の指さし及びジェスチャ
(図9)を行っている指先901、902の位置を認識
し、これら指先901、902の指先位置の画像座標値
を出力する(ステップ202)。図9においては、人差
指901の他に1本の指902を立てるジェスチャの例
を示している。
部102からの画像フレーム中の指さし及びジェスチャ
(図9)を行っている指先901、902の位置を認識
し、これら指先901、902の指先位置の画像座標値
を出力する(ステップ202)。図9においては、人差
指901の他に1本の指902を立てるジェスチャの例
を示している。
【0079】このとき、利用者が対象オブジェクトの方
向を向かずに目の動きのみで対象オブジェクトを認識し
てそれを指さしした場合、ポインティング位置検出部1
03で、画像フレーム中に指先901、902が認識で
きない場合がある。この場合には、上述した指さしポイ
ンティングを再度やり直す(ステップ203)。
向を向かずに目の動きのみで対象オブジェクトを認識し
てそれを指さしした場合、ポインティング位置検出部1
03で、画像フレーム中に指先901、902が認識で
きない場合がある。この場合には、上述した指さしポイ
ンティングを再度やり直す(ステップ203)。
【0080】ポインティングオブジェクト認識部104
では、ポインティング位置検出部103からの指先位置
の画像座標値とそれまで撮像された画像フレーム(指さ
し直前の所定の数の画像フレーム)での対象オブジェク
トの画像座標値の平均値を比較する。そして、検出され
た指先の位置に最も近い美術作品またはマークに対応す
る美術作品をポインティングオブジェクトとして認識
し、対応するオブジェクトIDを出力する(ステップ8
04A)。ここで、ポインティングオブジェクト認識部
104は、予め美術作品またはマークとオブジェクトI
Dを関連付けたテーブル(図示せず)などを備え、この
テーブルを参照して認識した美術作品に対応するオブジ
ェクトIDを出力するようにするとよい。
では、ポインティング位置検出部103からの指先位置
の画像座標値とそれまで撮像された画像フレーム(指さ
し直前の所定の数の画像フレーム)での対象オブジェク
トの画像座標値の平均値を比較する。そして、検出され
た指先の位置に最も近い美術作品またはマークに対応す
る美術作品をポインティングオブジェクトとして認識
し、対応するオブジェクトIDを出力する(ステップ8
04A)。ここで、ポインティングオブジェクト認識部
104は、予め美術作品またはマークとオブジェクトI
Dを関連付けたテーブル(図示せず)などを備え、この
テーブルを参照して認識した美術作品に対応するオブジ
ェクトIDを出力するようにするとよい。
【0081】一方、ジェスチャ認識部704では、指先
901、902の位置の画像座標値の相対関係から利用
者が提示しているジェスチャを認識してジェスチャID
を出力する(ステップ804B)。例えば、人差指90
1のみで指さしを行った場合は関連作品の情報提供を要
求するID−1を出力し、指さしを行っている人差指の
他にもう一本の指902が立っていればその作者の経歴
紹介の情報提供を要求するID−2を出力する。ここ
で、ジェスチャ認識部704は、予め決められている指
の動作とジェスチャIDを関連付けたテーブル(図示せ
ず)などを備え、このテーブルを参照して認識したジェ
スチャ(動作)に対応するジェスチャIDを出力するよ
うにするとよい。
901、902の位置の画像座標値の相対関係から利用
者が提示しているジェスチャを認識してジェスチャID
を出力する(ステップ804B)。例えば、人差指90
1のみで指さしを行った場合は関連作品の情報提供を要
求するID−1を出力し、指さしを行っている人差指の
他にもう一本の指902が立っていればその作者の経歴
紹介の情報提供を要求するID−2を出力する。ここ
で、ジェスチャ認識部704は、予め決められている指
の動作とジェスチャIDを関連付けたテーブル(図示せ
ず)などを備え、このテーブルを参照して認識したジェ
スチャ(動作)に対応するジェスチャIDを出力するよ
うにするとよい。
【0082】次に、オブジェクト情報検索部105で
は、ポインティングオブジェクト認識部104から出力
されたオブジェクトID及びジェスチャ認識部704か
ら出力されたジェスチャIDに基づいて、当該オブジェ
クトIDやジェスチャIDに対応する美術作品の関連情
報をオブジェクト情報蓄積部106より検索する(ステ
ップ805)。そして、その検索結果であるオブジェク
ト情報をディスプレイ107に出力する(ステップ20
6)。
は、ポインティングオブジェクト認識部104から出力
されたオブジェクトID及びジェスチャ認識部704か
ら出力されたジェスチャIDに基づいて、当該オブジェ
クトIDやジェスチャIDに対応する美術作品の関連情
報をオブジェクト情報蓄積部106より検索する(ステ
ップ805)。そして、その検索結果であるオブジェク
ト情報をディスプレイ107に出力する(ステップ20
6)。
【0083】なお、オブジェクト情報蓄積部106に
は、オブジェクトIDやジェスチャIDに対応する美術
作品の関連情報を予めそのオブジェクトIDやジェスチ
ャIDと関連付けて蓄積しておくようにする。
は、オブジェクトIDやジェスチャIDに対応する美術
作品の関連情報を予めそのオブジェクトIDやジェスチ
ャIDと関連付けて蓄積しておくようにする。
【0084】以上の処理を継続する場合には、ステップ
201〜ステップ206の処理を繰り返すようにする
(ステップ207)。
201〜ステップ206の処理を繰り返すようにする
(ステップ207)。
【0085】以上のように、本発明の第4の実施の形態
によれば、撮像部102の撮像範囲を利用者のきき目の
視野と略同範囲以上に設定するため、通常は、対象オブ
ジェクトを示す指が撮像部102の撮像範囲から外れる
ことがなく、かつ利用者によってポインティングされて
いる対象オブジェクトも撮像範囲内に入る。このため、
ポインティングされている対象オブジェクトを確実に認
識することができる。また、指さしによるポインティン
グの方向は、指先の画像座標値だけで認識することがで
きるので、指が曲がった状態でも正しく指示方向を算出
できる。また、指先のジェスチャを複数の指先の相対位
置で判定しているため、正確に指先のジェスチャを検出
することができる。
によれば、撮像部102の撮像範囲を利用者のきき目の
視野と略同範囲以上に設定するため、通常は、対象オブ
ジェクトを示す指が撮像部102の撮像範囲から外れる
ことがなく、かつ利用者によってポインティングされて
いる対象オブジェクトも撮像範囲内に入る。このため、
ポインティングされている対象オブジェクトを確実に認
識することができる。また、指さしによるポインティン
グの方向は、指先の画像座標値だけで認識することがで
きるので、指が曲がった状態でも正しく指示方向を算出
できる。また、指先のジェスチャを複数の指先の相対位
置で判定しているため、正確に指先のジェスチャを検出
することができる。
【0086】このように、本発明の第4の実施の形態に
よれば、従来問題であった指の撮像範囲外れや指が曲が
ることによる指さし方向算出の誤差がなくなり、精度の
高い指さしポインティングを実現できる。また、本発明
の第4の実施の形態によれば、利用者によって指さしさ
れている対象オブジェクトを直接認識できるので、実在
のオブジェクトにその関連情報(コンピュータ情報)を
リンクさせるAR(Augmented Reality :拡張現実感)
システムにも利用することができる。
よれば、従来問題であった指の撮像範囲外れや指が曲が
ることによる指さし方向算出の誤差がなくなり、精度の
高い指さしポインティングを実現できる。また、本発明
の第4の実施の形態によれば、利用者によって指さしさ
れている対象オブジェクトを直接認識できるので、実在
のオブジェクトにその関連情報(コンピュータ情報)を
リンクさせるAR(Augmented Reality :拡張現実感)
システムにも利用することができる。
【0087】なお、第4の本実施の形態では、第1の実
施の形態にジェスチャ認識を用いた場合に関して説明し
たが、第2の及び第3の実施の形態においてもジェスチ
ャ認識を適用することができる。
施の形態にジェスチャ認識を用いた場合に関して説明し
たが、第2の及び第3の実施の形態においてもジェスチ
ャ認識を適用することができる。
【0088】<実施の形態5>以下、本発明の第5の実
施の形態について、図面を参照しながら説明する。
施の形態について、図面を参照しながら説明する。
【0089】図10は、本発明の第5実施の形態の入力
画像処理装置の構成を示すブロック図である。この入力
画像処理装置は、指さしポインティングによる装置であ
る。図10において、図1と同様の構成のものには同一
の符号を付している。
画像処理装置の構成を示すブロック図である。この入力
画像処理装置は、指さしポインティングによる装置であ
る。図10において、図1と同様の構成のものには同一
の符号を付している。
【0090】図10において、入力画像処理装置は、所
定の画像を所定の角度で反射するように調整されたハー
フミラー101と、ハーフミラー101で反射された画
像を撮像する撮像部102と、撮像部102で撮像され
た画像の各画像フレームに対する利用者の指や手に装着
する1または複数のカラーマーカ1009の位置を検出
するカラーマーカ抽出部1003と、カラーマーカ10
09の位置に基づいて指先の指し示す位置(以下、単に
「ポインティング位置」ともいう)を検出するポインテ
ィング位置検出部103と、ポインティング位置検出部
103で検出された位置にあるオブジェクトを色や形状
などで認識するポインティングオブジェクト認識部10
4と、オブジェクトの関連情報(以下、単に「オブジェ
クト情報」ともいう)を蓄積するオブジェクト情報蓄積
部106と、ポインティングオブジェクト認識部104
で認識されたオブジェクトのオブジェクト情報でオブジ
ェクト情報蓄積部106に蓄積されているオブジェクト
情報を検索するオブジェクト情報検索部105と、オブ
ジェクト情報検索部105の検索結果を表示するディス
プレイ107とを備えている。
定の画像を所定の角度で反射するように調整されたハー
フミラー101と、ハーフミラー101で反射された画
像を撮像する撮像部102と、撮像部102で撮像され
た画像の各画像フレームに対する利用者の指や手に装着
する1または複数のカラーマーカ1009の位置を検出
するカラーマーカ抽出部1003と、カラーマーカ10
09の位置に基づいて指先の指し示す位置(以下、単に
「ポインティング位置」ともいう)を検出するポインテ
ィング位置検出部103と、ポインティング位置検出部
103で検出された位置にあるオブジェクトを色や形状
などで認識するポインティングオブジェクト認識部10
4と、オブジェクトの関連情報(以下、単に「オブジェ
クト情報」ともいう)を蓄積するオブジェクト情報蓄積
部106と、ポインティングオブジェクト認識部104
で認識されたオブジェクトのオブジェクト情報でオブジ
ェクト情報蓄積部106に蓄積されているオブジェクト
情報を検索するオブジェクト情報検索部105と、オブ
ジェクト情報検索部105の検索結果を表示するディス
プレイ107とを備えている。
【0091】ここで、ハーフミラー101は、所定の画
像、例えば、利用者の片目(好ましくは、きき目)の視
野と略同程度以上の範囲の画像が撮像部102で撮像で
きるように調整されている。また、ハーフミラー10
1、撮像部102、及びディスプレイ107は、指さし
ポインティングを行う利用者に装着されるため、できる
だけ小型のものがよい。
像、例えば、利用者の片目(好ましくは、きき目)の視
野と略同程度以上の範囲の画像が撮像部102で撮像で
きるように調整されている。また、ハーフミラー10
1、撮像部102、及びディスプレイ107は、指さし
ポインティングを行う利用者に装着されるため、できる
だけ小型のものがよい。
【0092】次に、図10で示した入力画像処理装置の
動作について説明する。
動作について説明する。
【0093】図11は、入力画像処理装置の動作の処理
を示すフローチャートである。図11において、図2と
同様の処理には同一のステップ番号を付している。ま
た、以下の説明において、オブジェクトを美術作品また
は美術作品と一対一に対応して該美術作品を特定し得る
カラーバーコードなどの所定のマークとし、オブジェク
ト情報を当該美術作品の関連情報とする。
を示すフローチャートである。図11において、図2と
同様の処理には同一のステップ番号を付している。ま
た、以下の説明において、オブジェクトを美術作品また
は美術作品と一対一に対応して該美術作品を特定し得る
カラーバーコードなどの所定のマークとし、オブジェク
ト情報を当該美術作品の関連情報とする。
【0094】図10及び図11において、利用者の視野
の中に関連情報を知りたい美術作品が存在する場合、利
用者は、まずその美術作品または所定のマーク(以下、
単に「オブジェクト」ともいう)にカラーマーカ100
9を装着した指先が重なって見えるように指さし(指さ
しポインティング)を行う。一般に、このような両目で
の指さしで、カラーマーカ1009を装着した指先と対
象オブジェクトが重なって見えるのは、利用者のきき目
に入る画像中でカラーマーカ1009を装着した指先と
オブジェクトが重なって見えるためである。このとき、
撮像部102は、カラーマーカ1009を装着した指先
と対象オブジェクトの双方を撮像し、画像フレームを連
続して出力する(ステップ201)。
の中に関連情報を知りたい美術作品が存在する場合、利
用者は、まずその美術作品または所定のマーク(以下、
単に「オブジェクト」ともいう)にカラーマーカ100
9を装着した指先が重なって見えるように指さし(指さ
しポインティング)を行う。一般に、このような両目で
の指さしで、カラーマーカ1009を装着した指先と対
象オブジェクトが重なって見えるのは、利用者のきき目
に入る画像中でカラーマーカ1009を装着した指先と
オブジェクトが重なって見えるためである。このとき、
撮像部102は、カラーマーカ1009を装着した指先
と対象オブジェクトの双方を撮像し、画像フレームを連
続して出力する(ステップ201)。
【0095】カラーマーカ抽出部1003は、画像フレ
ーム中からカラーマーカを抽出した画像を出力する。次
に、ポインティング位置検出部103では、カラーマー
カ1009の抽出された画像フレーム中の指先の位置を
認識し、指先位置の画像座標値を出力する(ステップ1
102)。このとき、利用者が対象オブジェクトの方向
を向かずに目の動きのみで対象オブジェクトを認識して
それを指さしした場合、ポインティング位置検出部10
3で、画像フレーム中にカラーマーカ1009を装着し
た指先が認識できない場合がある。この場合には、上述
した指さしポインティングを再度やり直す(ステップ2
03)。
ーム中からカラーマーカを抽出した画像を出力する。次
に、ポインティング位置検出部103では、カラーマー
カ1009の抽出された画像フレーム中の指先の位置を
認識し、指先位置の画像座標値を出力する(ステップ1
102)。このとき、利用者が対象オブジェクトの方向
を向かずに目の動きのみで対象オブジェクトを認識して
それを指さしした場合、ポインティング位置検出部10
3で、画像フレーム中にカラーマーカ1009を装着し
た指先が認識できない場合がある。この場合には、上述
した指さしポインティングを再度やり直す(ステップ2
03)。
【0096】ポインティングオブジェクト認識部104
では、ポインティング位置検出部103からの指先位置
の画像座標値とそれまで撮像された画像フレーム(指さ
し直前の所定の数の画像フレーム)での対象オブジェク
トの画像座標値の平均値を比較する。そして、検出され
た指先の位置に最も近い美術作品またはマークに対応す
る美術作品をポインティングオブジェクトとして認識
し、対応するオブジェクトIDを出力する(ステップ2
04)。ここで、ポインティングオブジェクト認識部1
04は、予め美術作品またはマークとオブジェクトID
を関連付けたテーブル(図示せず)などを備え、このテ
ーブルを参照して認識した美術作品に対応するオブジェ
クトIDを出力するようにするとよい。
では、ポインティング位置検出部103からの指先位置
の画像座標値とそれまで撮像された画像フレーム(指さ
し直前の所定の数の画像フレーム)での対象オブジェク
トの画像座標値の平均値を比較する。そして、検出され
た指先の位置に最も近い美術作品またはマークに対応す
る美術作品をポインティングオブジェクトとして認識
し、対応するオブジェクトIDを出力する(ステップ2
04)。ここで、ポインティングオブジェクト認識部1
04は、予め美術作品またはマークとオブジェクトID
を関連付けたテーブル(図示せず)などを備え、このテ
ーブルを参照して認識した美術作品に対応するオブジェ
クトIDを出力するようにするとよい。
【0097】次に、オブジェクト情報検索部105で
は、ポインティングオブジェクト認識部104から出力
されたオブジェクトIDに基づいて、当該オブジェクト
IDに対応する美術作品の関連情報をオブジェクト情報
蓄積部106より検索する(ステップ205)。そし
て、その検索結果であるオブジェクト情報をディスプレ
イ107に出力する(ステップ206)。
は、ポインティングオブジェクト認識部104から出力
されたオブジェクトIDに基づいて、当該オブジェクト
IDに対応する美術作品の関連情報をオブジェクト情報
蓄積部106より検索する(ステップ205)。そし
て、その検索結果であるオブジェクト情報をディスプレ
イ107に出力する(ステップ206)。
【0098】なお、オブジェクト情報蓄積部106に
は、オブジェクトIDに対応する美術作品の関連情報を
予めそのオブジェクトIDと関連付けて蓄積しておくよ
うにする。
は、オブジェクトIDに対応する美術作品の関連情報を
予めそのオブジェクトIDと関連付けて蓄積しておくよ
うにする。
【0099】以上の処理を継続する場合には、ステップ
201〜ステップ206の処理を繰り返すようにする
(ステップ207)。
201〜ステップ206の処理を繰り返すようにする
(ステップ207)。
【0100】以上のように、本発明の第5の実施の形態
によれば、指以外の背景が複雑である場合にも、カラー
マーカ1009を使用することによって、指先位置の抽
出精度が向上し、より安定した高精度な指さし位置の認
識をすることができる。なお、本実施の形態では、第1
の実施の形態にカラーマーカ認識を用いた場合に関して
説明したが、上述した全ての実施の形態においてカラー
マーカ認識を適用することができる。
によれば、指以外の背景が複雑である場合にも、カラー
マーカ1009を使用することによって、指先位置の抽
出精度が向上し、より安定した高精度な指さし位置の認
識をすることができる。なお、本実施の形態では、第1
の実施の形態にカラーマーカ認識を用いた場合に関して
説明したが、上述した全ての実施の形態においてカラー
マーカ認識を適用することができる。
【0101】以上、本発明の入力画像処理装置及び入力
画像処理装置の動作の処理としての入力画像処理方法に
ついて説明したが、上述した入力画像処理方法をコンピ
ュータで実行可能な入力画像処理プログラムとして、コ
ンピュータで読み取り可能な記録媒体に記録することも
できる。
画像処理装置の動作の処理としての入力画像処理方法に
ついて説明したが、上述した入力画像処理方法をコンピ
ュータで実行可能な入力画像処理プログラムとして、コ
ンピュータで読み取り可能な記録媒体に記録することも
できる。
【0102】
【発明の効果】以上説明したように、本発明の入力画像
処理装置、入力画像処理方法、及び入力画像処理プログ
ラムを記録した記録媒体によれば、方向を示すための指
が画角から外れず、また、指が曲がった状態でも正しく
指示方向を算出できるようになった。
処理装置、入力画像処理方法、及び入力画像処理プログ
ラムを記録した記録媒体によれば、方向を示すための指
が画角から外れず、また、指が曲がった状態でも正しく
指示方向を算出できるようになった。
【0103】また、ヘッドマウントディスプレイ(HM
D)のような絶えず利用者が異なる方向を向きながら使
用するディスプレイにおいても、指さしポインティング
を実現することができるようになった。
D)のような絶えず利用者が異なる方向を向きながら使
用するディスプレイにおいても、指さしポインティング
を実現することができるようになった。
【0104】さらに、現実に存在する物体に対して指さ
し動作を行うことができるため、指示されている物体を
同時に認識することができるようになった。
し動作を行うことができるため、指示されている物体を
同時に認識することができるようになった。
【0105】また、指さしと同時に行うクリック動作な
どのジェスチャも指先の相対位置関係からのみ判定する
ため、安定してジェスチャを認識することができるよう
になった。
どのジェスチャも指先の相対位置関係からのみ判定する
ため、安定してジェスチャを認識することができるよう
になった。
【0106】また、指以外の背景が複雑である場合に
も、カラーマーカの使用などにより、指先位置の抽出精
度を向上させることができるようになった。
も、カラーマーカの使用などにより、指先位置の抽出精
度を向上させることができるようになった。
【図1】本発明の入力画像処理装置の構成を示すブロッ
ク図である。
ク図である。
【図2】本発明の入力画像処理装置の動作を示すフロー
チャートである。
チャートである。
【図3】本発明の入力画像処理装置の構成を示すブロッ
ク図である。
ク図である。
【図4】本発明の入力画像処理装置の動作を示すフロー
チャートである。
チャートである。
【図5】本発明の入力画像処理装置の構成を示すブロッ
ク図である。
ク図である。
【図6】本発明の入力画像処理装置の動作を示すフロー
チャートである。
チャートである。
【図7】本発明の入力画像処理装置の構成を示すブロッ
ク図である。
ク図である。
【図8】本発明の入力画像処理装置の動作を示すフロー
チャートである。
チャートである。
【図9】利用者のジェスチャを示す図である。
【図10】本発明の入力画像処理装置の構成を示すブロ
ック図である。
ック図である。
【図11】本発明の入力画像処理装置の動作を示すフロ
ーチャートである。
ーチャートである。
【図12】従来の入力画像処理システムの構成を示すブ
ロック図である。
ロック図である。
101 ハーフミラー 102、301、302、1203、1204 撮像部 103 ポインティング位置検出部 104、306 ポインティングオブジェクト認識部 105 オブジェクト情報検索部 106 オブジェクト情報蓄積部 107 ディスプレイ 303 装着部 304 3次元計測部 305 指さしベクトル計算部 307 きき目位置指示部 504 磁気センサ部 507 仮想空間情報蓄積部 508 仮想空間処理部 509 ヘッドマウントディスプレイ 509a 仮想空間 509b、1209 カーソル 704 ジェスチャ認識部 901、902、1202a、1202b 指 1003 カラーマーカ抽出部 1009 カラーマーカ 1201 ディスプレイ 1205 方向算出部 1206 カーソル位置計算部 1207 コンピュータ本体 1208 クリック動作検出部
───────────────────────────────────────────────────── フロントページの続き (71)出願人 598155195 寺島 信義 東京都新宿区西早稲田1−3−10 早稲田 大学内 (72)発明者 田中 司 東京都新宿区大久保3丁目4番1号 早稲 田大学内 (72)発明者 竹内 俊一 東京都新宿区西早稲田1丁目21番1号 通 信・放送機構 早稲田リサーチセンター内 (72)発明者 寺島 信義 東京都新宿区大久保3丁目4番1号 早稲 田大学内 (72)発明者 富永 英義 東京都新宿区大久保3丁目4番1号 早稲 田大学内 Fターム(参考) 5B087 AA07 AD02 AE03 CC12 CC26 CC33 DD03 DE07 5C080 AA01 AA09 AA18 BB05 DD09 EE18 FF09 GG07 GG09 JJ02 JJ07
Claims (25)
- 【請求項1】入力された画像を処理する入力画像処理方
法であって、 所定の画像を反射させ、 反射した画像を撮像し、 撮像された前記画像から所定の指標の指し示す位置を検
出し、 検出した位置に基づいて前記所定の指標の指し示す対象
を認識する、 ことを特徴とする入力画像処理方法。 - 【請求項2】入力された画像を処理する入力画像処理方
法であって、 相対的な位置関係が既知である複数の撮像ポイントから
画像を撮像し、 前記複数の撮像ポイントで撮像された画像から、所定の
指標と前記画像の空間の3次元位置を計測し、 撮像の基準視点の3次元位置と計測された前記所定の指
標の3次元位置から所定の指示ベクトルを計算し、 前記画像の空間の3次元位置に基づいて、前記指示ベク
トルの延長上にある所定の対象を認識する、 ことを特徴とする入力画像処理方法。 - 【請求項3】前記撮像の基準視点の3次元位置は、前記
複数の撮像ポイントからの所定の位置に決められること
を特徴とする請求項2記載の入力画像処理方法。 - 【請求項4】さらに、認識した対象に基づいて、所定の
処理を行うことを特徴とする請求項1乃至3記載の入力
画像処理方法。 - 【請求項5】前記所定の処理を行うステップは、認識さ
れた前記対象に対応する情報を検索して表示するステッ
プである請求項4記載の入力画像処理方法。 - 【請求項6】入力された画像を処理する入力画像処理方
法であって、 仮想空間の3次元情報を蓄積し、 相対的な位置関係が既知である複数の撮像ポイントから
画像を撮像し、 前記複数の撮像ポイントで撮像された画像から所定の指
標の3次元位置を計測し、 撮像の基準視点の3次元位置と計測された前記所定の指
標の3次元位置から所定の指示ベクトルを計算し、 所定の基準点からの位置及び方向を判定し、 判定された前記位置及び前記方向に基づいて、蓄積され
ている前記仮想空間の3次元情報から仮想空間を生成し
て表示し、 前記指示ベクトルに応じて表示されている前記仮想空間
にカーソルを重ねて表示する、 ことを特徴とする入力画像処理方法。 - 【請求項7】さらに、前記所定の指標の動作を認識し、 認識した動作に基づいて、所定の処理を行う、 ことを特徴とする請求項1乃至6記載の入力画像処理方
法。 - 【請求項8】前記所定の指標は、カラーマーカで識別さ
れることを特徴とする請求項1乃至7記載の入力画像処
理方法。 - 【請求項9】入力された画像を処理する入力画像処理装
置において、 所定の画像を反射および透過させるハーフミラーと、 前記ハーフミラーにより反射された所定の画像を撮像す
る撮像手段と、 前記撮像手段の撮像画像から所定の指標の指し示す位置
を検出するポインティング位置検出手段と、 前記ポインティング位置検出手段で検出した前記位置に
基づいて前記所定の指標の指し示す対象を認識するオブ
ジェクト認識手段と、 を有することを特徴とする入力画像処理装置。 - 【請求項10】入力された画像を処理する入力画像処理
装置において、 所定の指標と空間から成る画像を撮像する複数の撮像手
段と、 前記複数の撮像手段を所定の間隔で所定の位置に固定す
る手段と、 前記複数の撮像手段で撮像された画像から前記所定の指
標と前記空間の3次元位置の計測を行う3次元計測手段
と、 撮像の基準視点の3次元位置と前記3次元計測手段で計
測された前記所定の指標の3次元位置から指示ベクトル
を計算する指示ベクトル計算手段と、 前記指示ベクトル計算手段で計算された前記指示ベクト
ルに基づいて、前記空間における前記指示ベクトルの延
長上にある対象を認識するオブジェクト認識手段と、 を有することを特徴とする入力画像処理装置。 - 【請求項11】さらに、前記撮像の基準視点の3次元位
置を前記複数の撮像ポイントからの所定の位置に決める
基準位置指示手段を有することを特徴とする請求項10
記載の入力画像処理装置。 - 【請求項12】さらに、前記オブジェクト認識手段で認
識した対象に基づいて、所定の処理を行う処理手段を有
することを特徴とする請求項9乃至11記載の入力画像
処理装置。 - 【請求項13】さらに、 前記対象に対応する情報を蓄積する情報蓄積手段と、 前記対象に対応する情報を表示する表示手段と、 を備え、 前記処理手段は、前記オブジェクト認識手段で認識され
た前記対象に対応する情報を前記情報蓄積手段から検索
し、 前記表示手段は、前記処理手段で検索した前記対象に対
応する情報を表示する、 ことを特徴とする請求項12記載の入力画像処理装置。 - 【請求項14】入力された画像を処理する入力画像処理
装置において、 所定の指標を画像として撮像する複数の撮像手段と、 前記複数の撮像手段を所定の間隔で所定の位置に固定す
る手段と、 前記複数の撮像手段で撮像された画像から前記所定の指
標の3次元位置の計測を行う3次元計測手段と、 撮像の基準視点の3次元位置と前記3次元計測手段で計
測された前記所定の指標の3次元位置から指示ベクトル
を計算する指示ベクトル計算手段と、 仮想空間の3次元情報を蓄積する仮想空間情報蓄積手段
と、 所定の基準点からの位置及び方向を判定して該位置及び
方向に対応する信号を生成するセンサ手段と、 前記センサ手段で生成された前記信号に応じて、前記仮
想空間情報蓄積手段に蓄積されている前記3次元情報か
ら仮想空間を生成し、前記指示ベクトルの方向に応じて
前記仮想空間にカーソルを重ね合わせて仮想空間情報を
生成する仮想空間処理手段と、 前記仮想空間処理手段で生成された前記仮想空間情報を
表示する表示手段と、 を有することを特徴とする入力画像処理装置。 - 【請求項15】前記表示手段は、ヘッドマウントディス
プレイであることを特徴とする請求項14記載の入力画
像処理装置。 - 【請求項16】さらに、前記所定の指標の動作を認識す
る動作認識手段と、 前記動作認識手段で認識した前記所定の指標の動作に基
づいて、所定の処理を行う処理手段と、 を有することを特徴とする請求項9乃至15記載の入力
画像処理装置。 - 【請求項17】前記所定の指標に取り付けられるカラー
マーカと、 前記画像から前記カラーマーカを抽出して前記所定の指
標を認識するカラーマーカ抽出手段と、 を有することを特徴とする請求項9乃至16記載の入力
画像処理装置。 - 【請求項18】所定の画像を反射させるステップと、 反射した画像を撮像するステップと、 撮像された前記画像から所定の指標の指し示す位置を検
出するステップと、 検出した位置に基づいて前記所定の指標の指し示す対象
を認識するステップと、 を有する方法をコンピュータで実行させるための入力画
像処理プログラムを記録したコンピュータ読み取り可能
な記録媒体。 - 【請求項19】相対的な位置関係が既知である複数の撮
像ポイントから画像を撮像するステップと、 前記複数の撮像ポイントで撮像された画像から、所定の
指標と前記画像の空間の3次元位置を計測するステップ
と、 撮像の基準視点の3次元位置と計測された前記所定の指
標の3次元位置から所定の指示ベクトルを計算するステ
ップと、 前記画像の空間の3次元位置に基づいて、前記指示ベク
トルの延長上にある所定の対象を認識するステップと、 を有する方法をコンピュータで実行させるための入力画
像処理プログラムを記録したコンピュータ読み取り可能
な記録媒体。 - 【請求項20】前記撮像の基準視点の3次元位置は、前
記複数の撮像ポイントからの所定の位置に決められるこ
とを特徴とする請求項19記載の記録媒体。 - 【請求項21】さらに、認識した対象に基づいて、所定
の処理を行うステップを有することを特徴とする請求項
18乃至20記載の記録媒体。 - 【請求項22】前記所定の処理を行うステップは、認識
された前記対象に対応する情報を検索して表示するステ
ップである請求項21記載の記録媒体。 - 【請求項23】仮想空間の3次元情報を蓄積するステッ
プと、 相対的な位置関係が既知である複数の撮像ポイントから
画像を撮像するステップと、 前記複数の撮像ポイントで撮像された画像から所定の指
標の3次元位置を計測するステップと、 撮像の基準視点の3次元位置と計測された前記所定の指
標の3次元位置から所定の指示ベクトルを計算するステ
ップと、 所定の基準点からの位置及び方向を判定するステップ
と、 判定された前記位置及び前記方向に基づいて、蓄積され
ている前記仮想空間の3次元情報から仮想空間を生成し
て表示するステップと、 前記指示ベクトルに応じて表示されている前記仮想空間
にカーソルを重ねて表示するステップと、 を有する方法をコンピュータで実行させるための入力画
像処理プログラムを記録したコンピュータ読み取り可能
な記録媒体。 - 【請求項24】さらに、前記所定の指標の動作を認識す
るステップと、 認識した動作に基づいて、所定の処理を行うステップ
と、 を有することを特徴とする請求項18乃至23記載の記
録媒体。 - 【請求項25】前記所定の指標は、カラーマーカで識別
されることを特徴とする請求項18乃至24記載の記録
媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32880098A JP2000148381A (ja) | 1998-11-05 | 1998-11-05 | 入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32880098A JP2000148381A (ja) | 1998-11-05 | 1998-11-05 | 入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000148381A true JP2000148381A (ja) | 2000-05-26 |
Family
ID=18214256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32880098A Pending JP2000148381A (ja) | 1998-11-05 | 1998-11-05 | 入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000148381A (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003337653A (ja) * | 2002-05-20 | 2003-11-28 | Seiko Epson Corp | 触覚・力覚提示装置および触覚・力覚提示システム |
JP2006145988A (ja) * | 2004-11-22 | 2006-06-08 | Olympus Corp | 情報重畳表示装置及び情報重畳表示システム |
JP2007293453A (ja) * | 2006-04-21 | 2007-11-08 | Canon Inc | 画像からの色情報の取得方法 |
JP2009288613A (ja) * | 2008-05-30 | 2009-12-10 | Univ Of Tokyo | 情報提示装置 |
WO2010107072A1 (ja) * | 2009-03-18 | 2010-09-23 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
JP2011095902A (ja) * | 2009-10-28 | 2011-05-12 | Tomoko Yonezawa | マルチメディア付箋装置 |
JP2012146236A (ja) * | 2011-01-14 | 2012-08-02 | Olympus Corp | ジェスチャ入力装置 |
WO2012137801A1 (ja) | 2011-04-07 | 2012-10-11 | Necカシオモバイルコミュニケーションズ株式会社 | 入力装置及び入力方法並びにコンピュータプログラム |
WO2013147147A1 (ja) * | 2012-03-29 | 2013-10-03 | ブラザー工業株式会社 | ヘッドマウントディスプレイ及びコンピュータプログラム |
WO2016190057A1 (ja) * | 2015-05-22 | 2016-12-01 | コニカミノルタ株式会社 | ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法 |
JP2017102768A (ja) * | 2015-12-03 | 2017-06-08 | セイコーエプソン株式会社 | 情報処理装置、表示装置、情報処理方法、及び、プログラム |
JP2017522633A (ja) * | 2014-05-15 | 2017-08-10 | フェデラル エクスプレス コーポレイション | 配達処理のためのウェアラブル・デバイスおよびその使用方法 |
US9766715B2 (en) | 2014-05-01 | 2017-09-19 | Seiko Epson Corporation | Head-mount type display device, control system, method of controlling head-mount type display device, and computer program |
JP2017219911A (ja) * | 2016-06-03 | 2017-12-14 | 京セラドキュメントソリューションズ株式会社 | 印刷システム |
JP2019109897A (ja) * | 2019-01-08 | 2019-07-04 | 株式会社ニコン | 電子機器 |
WO2020122456A1 (ko) * | 2018-12-12 | 2020-06-18 | 주식회사 인공지능연구원 | 이미지와 텍스트간 유사도 매칭 시스템 및 방법 |
-
1998
- 1998-11-05 JP JP32880098A patent/JP2000148381A/ja active Pending
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003337653A (ja) * | 2002-05-20 | 2003-11-28 | Seiko Epson Corp | 触覚・力覚提示装置および触覚・力覚提示システム |
JP2006145988A (ja) * | 2004-11-22 | 2006-06-08 | Olympus Corp | 情報重畳表示装置及び情報重畳表示システム |
JP2007293453A (ja) * | 2006-04-21 | 2007-11-08 | Canon Inc | 画像からの色情報の取得方法 |
JP2009288613A (ja) * | 2008-05-30 | 2009-12-10 | Univ Of Tokyo | 情報提示装置 |
WO2010107072A1 (ja) * | 2009-03-18 | 2010-09-23 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
JP2010218405A (ja) * | 2009-03-18 | 2010-09-30 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2011095902A (ja) * | 2009-10-28 | 2011-05-12 | Tomoko Yonezawa | マルチメディア付箋装置 |
JP2012146236A (ja) * | 2011-01-14 | 2012-08-02 | Olympus Corp | ジェスチャ入力装置 |
WO2012137801A1 (ja) | 2011-04-07 | 2012-10-11 | Necカシオモバイルコミュニケーションズ株式会社 | 入力装置及び入力方法並びにコンピュータプログラム |
WO2013147147A1 (ja) * | 2012-03-29 | 2013-10-03 | ブラザー工業株式会社 | ヘッドマウントディスプレイ及びコンピュータプログラム |
JP2013206411A (ja) * | 2012-03-29 | 2013-10-07 | Brother Ind Ltd | ヘッドマウントディスプレイ及びコンピュータプログラム |
US9766715B2 (en) | 2014-05-01 | 2017-09-19 | Seiko Epson Corporation | Head-mount type display device, control system, method of controlling head-mount type display device, and computer program |
US9965048B2 (en) | 2014-05-01 | 2018-05-08 | Seiko Epson Corporation | Head-mount type display device, control system, method of controlling head-mount type display device, and computer program |
US11320858B2 (en) | 2014-05-15 | 2022-05-03 | Federal Express Corporation | Wearable devices for courier processing and methods of use thereof |
JP2017522633A (ja) * | 2014-05-15 | 2017-08-10 | フェデラル エクスプレス コーポレイション | 配達処理のためのウェアラブル・デバイスおよびその使用方法 |
US12026013B2 (en) | 2014-05-15 | 2024-07-02 | Federal Express Corporation | Wearable devices for courier processing and methods of use thereof |
US11567534B2 (en) | 2014-05-15 | 2023-01-31 | Federal Express Corporation | Wearable devices for courier processing and methods of use thereof |
WO2016190057A1 (ja) * | 2015-05-22 | 2016-12-01 | コニカミノルタ株式会社 | ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法 |
JP2017102768A (ja) * | 2015-12-03 | 2017-06-08 | セイコーエプソン株式会社 | 情報処理装置、表示装置、情報処理方法、及び、プログラム |
JP2017219911A (ja) * | 2016-06-03 | 2017-12-14 | 京セラドキュメントソリューションズ株式会社 | 印刷システム |
KR20200075114A (ko) * | 2018-12-12 | 2020-06-26 | 주식회사 인공지능연구원 | 이미지와 텍스트간 유사도 매칭 시스템 및 방법 |
KR102177412B1 (ko) * | 2018-12-12 | 2020-11-11 | 주식회사 인공지능연구원 | 이미지와 텍스트간 유사도 매칭 시스템 및 방법 |
WO2020122456A1 (ko) * | 2018-12-12 | 2020-06-18 | 주식회사 인공지능연구원 | 이미지와 텍스트간 유사도 매칭 시스템 및 방법 |
JP2019109897A (ja) * | 2019-01-08 | 2019-07-04 | 株式会社ニコン | 電子機器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10228763B2 (en) | Gaze direction mapping | |
US7489806B2 (en) | Motion detection apparatus | |
JP2000148381A (ja) | 入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体 | |
WO2013035758A1 (ja) | 情報表示システム、情報表示方法、及び記憶媒体 | |
JP4898464B2 (ja) | 情報処理装置および方法 | |
JP5554726B2 (ja) | データ関連付けのための方法と装置 | |
CN104364733A (zh) | 注视位置检测装置、注视位置检测方法和注视位置检测程序 | |
US9836130B2 (en) | Operation input device, operation input method, and program | |
CN108027656B (zh) | 输入设备、输入方法和程序 | |
JP7379065B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2020052979A (ja) | 情報処理装置およびプログラム | |
CN111801725A (zh) | 图像显示控制装置及图像显示控制用程序 | |
KR101396488B1 (ko) | 신호 입력 장치 및 신호 입력 방법 | |
JP2005056059A (ja) | 撮像部を備えた頭部搭載型ディスプレイを用いた入力装置および方法 | |
KR20190036864A (ko) | 가상현실 전망용 망원경, 이를 이용한 전망용 가상현실 구동 방법 및 매체에 기록된 어플리케이션 | |
JP6950644B2 (ja) | 注意対象推定装置及び注意対象推定方法 | |
Utsumi et al. | Multi-camera hand pose recognition system using skeleton image | |
JP6993282B2 (ja) | 情報端末装置、プログラム及び方法 | |
JP2868449B2 (ja) | 手振り認識装置 | |
CN113228117B (zh) | 创作装置、创作方法和记录有创作程序的记录介质 | |
JP6810442B2 (ja) | カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体 | |
JP4221330B2 (ja) | インタフェース方法、装置、およびプログラム | |
JP6981340B2 (ja) | 表示制御プログラム、装置、及び方法 | |
JP2832333B2 (ja) | 物体の形状・姿勢検出装置 | |
WO2020113185A1 (en) | Control system for a three dimensional environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040513 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040517 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040827 |