JP3749369B2 - ハンドポインティング装置 - Google Patents
ハンドポインティング装置 Download PDFInfo
- Publication number
- JP3749369B2 JP3749369B2 JP36962897A JP36962897A JP3749369B2 JP 3749369 B2 JP3749369 B2 JP 3749369B2 JP 36962897 A JP36962897 A JP 36962897A JP 36962897 A JP36962897 A JP 36962897A JP 3749369 B2 JP3749369 B2 JP 3749369B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- imaging
- information input
- recognition target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明はハンドポインティング装置に係り、特に、認識対象者を撮像し、認識対象者が指し示した位置又は方向を判断するハンドポインティング装置に関する。
【0002】
【従来の技術】
従来より、所定の情報を表示するディスプレイ、ディスプレイの近傍に到来した情報入力者を照明する照明装置、到来した情報入力者を互いに異なる方向から撮像する複数の撮像手段を備え、到来した情報入力者がディスプレイ上の任意の位置を指等によって指し示した状況を複数の撮像手段によって撮像し、撮像によって得られた複数の画像に基づいて情報入力者を認識し、情報入力者が指示したディスプレイ上の位置を判断し、ディスプレイ上の指示位置にカーソル等を表示すると共に、情報入力者が親指を上げるクリック動作を行ったことを検出すると、ディスプレイ上の指示位置がクリックされたと認識して所定の処理を行うハンドポインティング入力装置が知られている(例えば特開平4-271423号公報、特開平 5-19957号公報、特開平5-324181号公報等参照)。
【0003】
上記のハンドポインティング入力装置によれば、情報入力者がキーボードやマウス等の入力機器に触れることなく、情報処理装置に対して各種の指示を与えたり、各種の情報を入力することが可能となるので、情報処理装置を利用するための操作の簡素化を実現できる。
【0004】
【発明が解決しようとする課題】
しかしながら、ハンドポインティング入力装置を実際に運用する環境下では、認識対象物体である情報入力者の周囲に、例えば情報入力者の荷物やゴミ等の認識対象でない物体が存在している可能性がある。照明装置から射出された照明光は情報入力者の周囲にも照射されるので、上記のような非認識対象物体が情報入力者の周囲に存在していると、撮像手段の撮像によって得られた画像中に、非認識対象物体が高輝度の物体として存在することになり、非認識対象物体を情報入力者と誤認識する可能性が高い。
【0005】
この情報入力者の誤認識を回避するためには、情報入力者の認識の精度を高くする必要があり、例えば、輝度の他に複数の画像特徴量も用いて総合的に情報入力者を認識する等の煩雑な画像処理(例えば画像特徴量の1つである輪郭形状に基づくパターンマッチング等)を行う必要がある。従って、撮像によって得られた画像に基づき認識等の画像処理を行う画像処理部に多大な負荷が加わるので、情報入力者からの指示の判定に時間がかかる原因になっていた。そして、情報入力者からの指示の判定に要する時間を短縮するためには処理速度の高い画像処理部を用いる必要があり、装置のコストが嵩むという問題があった。
【0006】
また従来は、撮像によって得られた画像上での情報入力者の特徴点(例えば人指し指の先端等)の位置から、演算によって特徴点の3次元座標を求め、情報入力者が指示したディスプレイ上の位置を判定していたが、特徴点の3次元座標を求めるための演算処理が複雑であり、上記と同様に、情報入力者からの指示の判定に時間がかかる原因になっていた。
【0007】
また従来は、親指を上げる動作をクリック動作として予め定めておき、クリック動作として親指を上げる動作のみを検出するようにしていたが、動作としての自由度が低く、使い勝手が悪いという問題があった。しかし、クリック動作として親指を上げる動作以外に別の動作も検出するようにすると、クリック動作を検出するための処理が煩雑になり、クリック動作の検出に時間がかかるという問題があった。
【0008】
本発明は上記事実を考慮して成されたもので、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができるハンドポインティング装置を得ることが目的である。
【0009】
また本発明は、認識対象者からの指示の判定に時間がかかることなく、認識対象者が指示するための動作の自由度を向上させることができるハンドポインティング装置を得ることが目的である。
【0010】
【課題を解決するための手段】
上記目的を達成するために請求項1記載の発明に係るハンドポインティング装置は、認識対象者を照明する照明手段と、互いに異なる位置に配置され、前記照明手段によって照明された認識対象者が撮像範囲内に入り、かつ前記照明手段によって照明される床面上の照明範囲が撮像範囲から外れるように撮像範囲が各々調整された複数の撮像手段と、認識対象者が特定の位置又は方向を指し示している状況を前記複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、を含んで構成している。
【0011】
本発明において、認識対象者は、例えばディスプレイの表示面等の面上の特定の位置を指し示してもよいし、特定の方向(例えば認識対象者から見て特定の物体が存在している方向)を指し示してもよい。判断手段は、認識対象者が特定の位置又は方向を指し示している状況を複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、画像中の認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する。この指し示した特定の位置又は方向の判断は、具体的には、認識対象者の特徴点(認識対象者が特定の位置又は方向を指し示す動作に応じて位置が変化する点、例えば指し示す動作を行っている認識対象者の身体の所定部分(例えば手、指等)の先端や、認識対象者が把持している指示器の先端等)の3次元座標を演算し、認識対象者の位置と前記特徴点の3次元座標に基づいて行うことができる。
【0012】
また請求項1記載の発明では、複数の撮像手段の撮像範囲が、照明手段によって照明された認識対象者が撮像範囲内に入り、かつ照明手段によって照明される床面上の照明範囲が撮像範囲から外れるように各々調整されている。これにより、認識対象者の周囲の床面上に荷物やゴミ等の非認識対象物体が存在していたとしても、この非認識対象物体が撮像手段の撮像範囲内に入る可能性が低くなると共に、仮に非認識対象物体が撮像範囲内に入っていたとしてもその輝度は低くなるので、撮像手段の撮像によって得られた画像についても、非認識対象物体に相当する画像部が存在する確率が低く、かつ前記画像部が存在していたとしてもその輝度が低くなる。
【0013】
このため、判断手段での認識対象者に相当する画像部の抽出において、複雑な画像処理を行うことなく、認識対象者に相当する画像部を簡単な処理により短時間で抽出することができる。従って、処理速度の高い画像処理部等を用いることで構成が複雑化することなく、認識対象者からの指示の判定に要する時間を短縮することができる。
【0014】
請求項2記載の発明に係るハンドポインティング装置は、互いに異なる方向から認識対象者を照明する複数の照明手段と、互いに異なる位置に配置され、前記照明手段によって照明された認識対象者が撮像範囲内に入り、かつ互いに異なる照明手段によって照明される床面上の互いに異なる照明範囲が撮像範囲から外れるように、撮像範囲が各々調整された複数の撮像手段と、認識対象者が特定の位置又は方向を指し示しているときに、複数の照明手段の何れか1つを順に点灯させると共に、複数の照明手段の各々の点灯時に、点灯している照明手段によって照明される床面上の照明範囲が撮像範囲から外れている撮像手段によって前記認識対象者を撮像させ、該撮像によって得られた画像を出力させる制御手段と、前記複数の撮像手段から各々出力された複数の画像に基づいて、前記画像中の認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、を含んで構成している。
【0015】
請求項2記載の発明では、互いに異なる方向から認識対象者を照明する複数の照明手段が設けられており、複数の撮像手段は、互いに異なる位置に配置され、照明手段によって照明された認識対象者が撮像範囲内に入り、かつ互いに異なる照明手段によって照明される床面上の互いに異なる照明範囲が撮像範囲から外れるように、撮像範囲が各々調整されている。これにより、認識対象者の周囲の床面上に荷物やゴミ等の非認識対象物体が存在していたとしても、この非認識対象物体が各撮像手段の撮像範囲内に入る可能性が低くなる。
【0016】
また制御手段は、認識対象者が特定の位置又は方向を指し示しているときに複数の照明手段の何れか1つを順に点灯させると共に、複数の照明手段の各々の点灯時に、点灯している照明手段による床面上の照明範囲が撮像範囲から外れている撮像手段によって認識対象者を撮像させ、該撮像によって得られた画像を出力させる。これにより、仮に非認識対象物体が撮像範囲内に入っていたとしても、その輝度が低い状況で各撮像手段での撮像が行われ、撮像によって得られた画像が出力されることになる。
【0017】
そして、判断手段は、複数の撮像手段から各々出力された複数の画像に基づいて、画像中の認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する。これにより、請求項1の発明と同様に、非認識対象物体に相当する画像部が存在する確率が低く、かつ該画像部が存在していたとしてもその輝度が低い複数の画像に基づいて、認識対象者に相当する画像部の抽出が行われるので、複雑な画像処理を行うことなく、認識対象者に相当する画像部を簡単な処理により短時間で抽出することができる。従って、処理速度の高い画像処理部等を用いることで構成が複雑化することなく、認識対象者からの指示の判定に要する時間を短縮することができる。
【0018】
請求項3記載の発明に係るハンドポインティング装置は、互いに異なる方向から認識対象者を照明する複数の照明手段と、前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、認識対象者が特定の位置又は方向を指し示しているときに、前記複数の照明手段の何れか1つを順に点灯させると共に、複数の照明手段の各々の点灯時に同一の撮像手段の撮像によって各々得られた複数の画像を比較し、前記複数の画像中の前記認識対象者に相当する画像部とそれ以外の画像部とを判別することを、複数の撮像手段に対して各々行う判別手段と、前記判別手段による判別結果に基づいて、前記複数の撮像手段の各々が撮像した画像から認識対象者に相当する画像部を各々抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、を含んで構成している。
【0019】
請求項3記載の発明では、判別手段が、認識対象者が特定の位置又は方向を指し示しているときに複数の照明手段の何れか1つを順に点灯させると共に、複数の照明手段の各々の点灯時に同一の撮像手段の撮像によって各々得られた複数の画像を比較し、複数の画像中の認識対象者に相当する画像部とそれ以外の画像部とを判別することを、複数の撮像手段に対して各々行う。
【0020】
複数の照明手段は認識対象者を照明する方向が互いに異なっているので、複数の照明手段の各々の点灯時に同一の撮像手段の撮像によって各々得られる複数の画像において、認識対象者に相当する画像部については常に高い輝度となるが、認識対象者の周囲の床面上に荷物やゴミ等の非認識対象物体が存在していたとすると、該非認識対象物体に相当する画像部については、撮像時の照明の方向によって輝度が大きく変動する。従って、画像中の各画像部の輝度を前記複数の画像に亘って比較(例えば輝度の平均値や最低値を各画像部毎に比較)する、という非常に簡単な処理により、画像中の認識対象者に相当する画像部とそれ以外の画像部とを判別することができる。
【0021】
そして判断手段は、判別手段による判別結果に基づいて、複数の撮像手段の各々が撮像した画像から認識対象者に相当する画像部を各々抽出し、認識対象者が指し示した位置又は方向を判断するので、複雑な画像処理を行うことなく、認識対象者に相当する画像部を簡単な処理により短時間で抽出することができ、処理速度の高い画像処理部等を用いることで構成が複雑化することなく、認識対象者からの指示の判定に要する時間を短縮することができる。
【0026】
請求項4記載の発明に係るハンドポインティング装置は、所定箇所に到来した認識対象者を照明する照明手段と、前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、前記所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点について、仮想点の3次元座標と各撮像手段の撮像によって得られる各画像上での仮想点の位置とを対応付ける情報を各々記憶する記憶手段と、認識対象者が特定の位置又は方向を指し示している状況を複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、各画像中の前記認識対象者に相当する画像部を抽出して認識対象者の特徴点の前記各画像上での位置を求め、前記各画像上での特徴点の位置及び前記記憶手段に記憶された情報に基づいて前記特徴点の3次元座標を求め、求めた特徴点の3次元座標に基づいて認識対象者が指し示した位置又は方向を判断する判断手段と、を含んで構成している。
【0027】
請求項4記載の発明では、所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点について、仮想点の3次元座標と各撮像手段の撮像によって得られる各画像上での仮想点の位置とを対応付ける情報が記憶手段に各々記憶されている。判断手段は、認識対象者が特定の位置又は方向を指し示している状況を複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、各画像中の認識対象者に相当する画像部を抽出して認識対象者の特徴点の各画像上での位置を求め、各画像上での特徴点の位置及び前記記憶手段に記憶された情報に基づいて前記特徴点の3次元座標を求め、認識対象者が指し示した位置又は方向を判断する。
【0028】
このように、請求項4の発明では、所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点の各々の3次元座標と、各撮像手段の撮像によって得られる各画像上での各仮想点の位置との対応が、記憶手段に記憶されている情報により予め判明しており、認識対象者の特徴点の3次元座標を前記情報に基づいて求めているので、非常に簡単な処理で認識対象者の特徴点の3次元座標を求めることができる。従って、処理速度の高い画像処理部等を用いることで構成が複雑化することなく、認識対象者からの指示の判定に要する時間を短縮することができる。
【0029】
また、請求項4の発明では、多数の仮想点が一定間隔で格子状に並んでいるので、特徴点が所定箇所付近の何れの位置に位置していたとしても、特徴点に近接した位置に仮想点が存在していることになる。3次元座標上で近接した位置に存在している可能性の高い仮想点の3次元座標に基づいて特徴点の3次元座標を求めることにより、特徴点の3次元座標上での位置に拘らず、特徴点の3次元座標を精度良く求めることができる。
【0031】
また、上記のように多数の仮想点が一定間隔で格子状に並んでいる場合、特徴点の3次元座標は、例えば以下のようにして求めることができる。すなわち、請求項5記載の発明は、請求項4の発明において、判断手段は、複数の撮像手段の撮像によって得られる各画像上での特徴点の位置を各々求めた後に、画像上での位置が前記特徴点を包含する所定範囲内である仮想点を前記各画像から各々抽出し、前記各画像から共通に抽出された仮想点の3次元座標に基づいて前記特徴点の3次元座標を求めることを特徴としている。
【0032】
請求項5の発明では、判断手段が、各画像上での特徴点の位置を各々求めた後に、画像上での位置が特徴点を包含する所定範囲内である仮想点を各画像から各々抽出する。これにより、3次元座標上で特徴点に近接した位置に存在している可能性がある仮想点が全て抽出される。なお、前記所定範囲の広さは仮想点の間隔に応じて定めることができる。また判断手段は、各画像から共通に抽出された仮想点の3次元座標に基づいて特徴点の3次元座標を求めている。撮像手段の撮像によって得られる画像は撮像範囲内の状況を平面に投影した画像であるので、3次元座標が異なっているものの撮像手段から重なって見える位置関係にある点は撮像によって得られた画像上での位置が等しいが、各画像から共通に抽出された仮想点は3次元座標上で特徴点に近接した位置に存在している仮想点であるので、前記共通に抽出された仮想点の3次元座標から特徴点の3次元座標を求めることにより、特徴点の3次元座標を更に精度良く求めることができる。
【0033】
なお、記憶手段に記憶する情報は、認識対象者が到来する所定箇所と撮像手段との位置関係が正確に一定である場合には、所定箇所付近に位置している複数の仮想点の各々の3次元座標、及び各撮像手段の撮像によって得られる各画像上での複数の仮想点の各々の位置を実験等により測定し、測定結果に基づいて固定的に設定することも可能であるが、前記位置関係にばらつきがあったり、個々のハンドポインティング装置毎に前記位置関係が大幅に異なる設計となっている等の場合には、記憶手段に記憶する情報を設定し直す必要がある。
【0034】
上記を考慮し、請求項6記載の発明は、請求項4の発明において、前記仮想点の位置にマーカが位置している状況を前記複数の撮像手段によって撮像させ、前記仮想点の3次元座標と各撮像手段の撮像によって得られた各画像上でのマーカの位置とに基づいて、仮想点の3次元座標と前記各画像上での仮想点の位置とを対応付ける情報を生成し、前記記憶手段に記憶させる生成手段を更に備えたことを特徴としている。
【0035】
なお、上記のマーカは撮像によって得られた画像上での識別が容易なものであればよく、例えば特有の色に着色されたマークや、LED等の発光源を用いることができる。また、所定位置にマーカを位置させることは、人間が行ってもよいし、マーカを任意の位置に移動可能な移動手段を設けて自動的に行ってもよい。移動手段によってマーカを移動させる場合には、移動手段によるマーカの移動量から所定位置の3次元座標を求めることができる。
【0036】
請求項6の発明では、仮想点の3次元座標と前記各画像上での仮想点の位置とを対応付ける情報が生成手段によって自動的に生成されるので、認識対象者が到来する所定箇所と撮像手段との位置関係にばらつきがあったり、個々のハンドポインティング装置毎に前記位置関係が大幅に異なる設計となっている等の場合であっても、仮想点の3次元座標と前記各画像上での仮想点の位置とを精度良く対応付ける情報を自動的に得ることができる。
【0040】
ところで、人間が特定の位置や特定の方向を指し示す動作では、指し示す位置や方向を変更した場合であっても、指先等は一般に腕の付け根付近を中心とする仮想的な球面に沿って移動するのみであり、指先等と腕の付け根を含む胴体部との距離は殆ど変化しない。
【0041】
上記に着目し、請求項7記載の発明に係るハンドポインティング装置は、認識対象者を照明する照明手段と、前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、認識対象者が特定の位置又は方向を指し示している状況を前記複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の3次元座標を求め、特徴点及び基準点の3次元座標に基づいて認識対象者が指し示した位置又は方向を判断する判断手段と、前記基準点と前記特徴点との距離を演算し、基準点と特徴点との距離の変化に基づいて所定の処理を実行する処理手段と、を含んで構成している。
【0042】
請求項7記載の発明に係る判断手段は、複数の画像から認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の3次元座標を求め、特徴点及び基準点の3次元座標に基づいて認識対象者が指し示した位置又は方向を判断する。また処理手段は、基準点と特徴点との距離を演算し、基準点と特徴点との距離の変化に基づいて所定の処理を実行する。なお特徴点としては、例えば認識対象者の手や指等の先端、或いは認識対象者が把持している指示器の先端等に相当する点を用いることができ、基準点としては、例えば認識対象者の胴体部(例えば胸部や腕の付け根等)に相当する点を用いることができる。
【0043】
これにより、基準点から特徴点に向かう方向が認識対象者から見て指示対象としての位置又は方向に対応するように、基準点に対する特徴点の方向を調節する動作を行えば、指し示した位置又は方向が判断手段によって判断され、認識対象者が腕を屈曲又は伸長させる動作を行えば、基準点と特徴点との距離が変化し、この距離の変化に基づいて所定の処理が行われることになる。
【0044】
このように、請求項7の発明は、基準点及び特徴点の位置関係から認識対象者が指し示した位置又は方向が判断されると共に、基準点及び特徴点の距離(相対位置)の変化に基づいて所定の処理の実行が指示されたか否かが判断されるので、撮像手段による撮像方向を、指の上げ下げ等の動作を考慮することなく、基準点及び特徴点が確実に検出できるように定めることができると共に、所定の処理の実行が指示されたか否かを判定するために、新たな画像特徴量を検出する必要もない。そして、基準点と特徴点の距離は人間が特定の位置や特定の方向を指し示す動作では殆ど変化しない。従って、請求項7の発明によれば、認識対象者による所定の処理の実行を指示する動作(腕を屈曲又は伸長させる動作)を短時間で確実に検出することができ、認識対象者からの指示を短時間で判定することができる。
【0045】
なお処理手段は、所定の処理として、例えば基準点と特徴点との距離が変化したときに認識対象者が指し示していた位置又は方向に関連する処理を実行することができるが、腕を屈曲又は伸長させる動作は、上記の所定の処理の実行を指示するための動作として極めて自然な動作であるので、所定の処理の実行を指示する動作を、認識対象者が違和感を感ずることなく行うことができる。
【0046】
また、腕を屈曲又は伸長させる動作に伴う基準点と特徴点との距離の変化方向には2種類ある(距離が増加する方向及び減少する方向)ので、請求項8に記載したように、基準点と特徴点との距離が増加した場合には第1の所定の処理を行い、基準点と特徴点との距離が減少した場合には前記第1の所定の処理と異なる第2の所定の処理を行うようにしてもよい。
【0047】
請求項8の発明では、認識対象者が腕を伸長させる動作(この場合、基準点と特徴点との距離は増加する)を行うと第1の所定の処理が行われ、認識対象者が腕を屈曲させる動作(この場合、基準点と特徴点との距離は減少する)を行うと第2の所定の処理が行われるので、マウスの左クリックと右クリックのように、第1の所定の処理及び第2の所定の処理のうち実行させるべき処理を認識対象者が選択することが可能となる。そして、認識対象者が上記の何れかの動作を行うことにより、第1の所定の処理及び第2の所定の処理のうち認識対象者によって選択された処理を確実に実行することができる。
【0048】
なお、基準点と特徴点との距離の変化に基づいて所定の処理の実行が指示されたか否かを判断することは、具体的には、例えば基準点と特徴点との距離の変化の大きさに基づいて、距離の変化が所定値以上となった場合に所定の処理の実行が指示されたと判断することも可能ではあるが、所定の処理の実行を意図しない別の動作において基準点と特徴点との距離が大きく変化したとすると、認識対象者からの指示を誤判断する可能性もある。
【0049】
これを考慮すると、請求項9に記載したように、処理手段は、基準点と特徴点との距離の変化速度を検出し、検出した変化速度が閾値以上の場合にのみ所定の処理を実行することが好ましい。
【0050】
請求項9の発明では、基準点と特徴点との距離の変化速度を検出し、検出した変化速度が閾値以上の場合にのみ所定の処理を実行するので、認識対象者が、腕を素早く屈曲又は伸長させる、という特有の動作を行うことによって、基準点と特徴点との距離の変化速度が閾値以上になって所定の処理が実行されることになる。これにより、認識対象者による所定の処理の実行を指示する動作の認識率が向上し、認識対象者が所定の処理の実行を指示する動作を行った場合にのみ、これを確実に検知して所定の処理を実行することができる。
【0051】
また、認識対象者の体格は一定ではないと共に、認識対象者の筋力等も一定ではないので、処理手段に所定の処理を行わせるために認識対象者が腕を素早く屈曲又は伸長させる動作を行ったとしても、基準点と特徴点との距離の変化速度は個々の認識対象者毎にばらつきがある。従って、所定の処理を行わせるために認識対象者が腕を素早く屈曲又は伸長させる動作を行ったとしても検知できなかったり、逆に認識対象者が前記動作を行っていないにも拘らず前記動作を誤検知することも考えられる。
【0052】
このため請求項10記載の発明は、請求項9の発明において、処理手段に所定の処理を行わせるために腕を屈曲又は伸長させる動作を行うよう認識対象者に要請し、認識対象者が腕を屈曲又は伸長させる動作を行ったときの基準点と特徴点との距離の変化速度に基づいて前記閾値を予め設定する閾値設定手段を更に備えたことを特徴としている。
【0053】
請求項10記載の発明では、処理手段に所定の処理を行わせるために認識対象者が腕を屈曲又は伸長させる動作(腕を素早く屈曲又は伸長させる動作)を行ったときの基準点と特徴点との距離の変化速度に基づいて、処理手段が所定の処理を行うか否かの閾値を予め設定するので、個々の認識対象者の体格や筋力等に応じた閾値を得ることができる。そして、この閾値を用いて所定の処理の実行が指示されたか否かを判断することにより、個々の認識対象者の体格や筋力等のばらつきに拘らず、認識対象者による所定の処理の実行を指示する動作を確実に検知して所定の処理を実行することができる。
【0054】
また請求項7の発明において、請求項11に記載したように、認識対象者の腕が下げられたか否かを検出する第2の検出手段を設け、処理手段は、第2の検出手段によって認識対象者の腕が下げられたことが検出された場合には、処理を実行又は停止している状態を継続するようにすれば、ある処理を継続して実行させるために、認識対象者が継続的に腕を上げ続ける必要がなくなるので、認識対象者の負担を軽減することができる。
【0055】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図1に示すように、本発明の認識対象者としての情報入力者10が到来する箇所の壁面には大画面ディスプレイ12が埋め込まれている。なお、ディスプレイ12としては液晶ディスプレイ(LCD)やプラズマディスプレイ、ブラウン管、光ファイバディスプレイ等の周知の表示手段を適用できる。
【0056】
ディスプレイ12はパーソナルコンピュータ等から成る情報処理装置14に接続されており(図2参照)、情報処理装置14により、各種の情報が表示面上に図形、表、文字、画像等の種々の表示形態で表示される。本実施形態において、情報入力者10は、ディスプレイ12の前方の図1に示した箇所(情報入力空間)に到来し、ディスプレイ12の表示面上の各種情報が表示されている位置を指し示すと共に、クリック動作(詳細は後述)を行うことにより、情報処理装置14に対して各種の指示を与えたり各種の処理を実行させる。
【0057】
図2に示すように、情報処理装置14には、本実施形態に係るハンドポインティング入力装置20のコントローラ22が接続されている。コントローラ22は、CPU22A、ROM22B、RAM22C、入出力インタフェース22Dを備えており、これらがバスを介して互いに接続されて構成されている。入出力インタフェース22Dには情報処理装置14が接続されていると共に、記憶内容を書換え可能な不揮発性の記憶装置24、各種の情報を表示するためのディスプレイ26、オペレータが各種の指示やデータを入力するためのキーボード28が接続されている。
【0058】
また、コントローラ22の入出力インタフェース22Dには照明制御装置30が接続されており、この照明制御装置30には、近赤外域の波長の光をビーム状に射出する複数の近赤外光照明装置32A、32Bが接続されている。図1に示すように、近赤外光照明装置32A、32Bは、情報入力空間の上方の互いに異なる箇所に配設されており、情報入力空間に到来した情報入力者10を、互いに異なる方向から照明するように照射範囲が調整されている(図3も参照)。照明制御装置30は、コントローラ22から指示に応じて照明装置32A、32Bの点灯・消灯を制御する。
【0059】
コントローラ22の入出力インタフェース22Dには撮像制御装置34が接続されており、この撮像制御装置34には、情報入力空間の上方の互いに異なる箇所に配設された(図1参照)複数のビデオカメラ36A、36Bが接続されている。ビデオカメラ36A、36Bは、図示は省略するが、近赤外光に感度を有するCCD等から成るエリアセンサを備えていると共に、入射光をエリアセンサの受光面に結像させる結像レンズの光入射側に、近赤外域の波長の光のみを透過するフィルタが設けられている。
【0060】
また図3に示すように、ビデオカメラ36Aは、情報入力空間に到来した情報入力者10が撮像範囲内に入り、かつ照明装置32Aから射出された光が結像レンズに直接入射せず、かつ撮像範囲の中心が、情報入力空間内において、照明装置32Aによる照明範囲の中心と床面から所定高さで交差するように向きが調整されている。従ってビデオカメラ36Aは、照明装置32Aによる床面上の照明範囲が撮像範囲から外れるように撮像範囲が調整されている。同様にビデオカメラ36Bは、情報入力空間に到来した情報入力者10が撮像範囲内に入り、かつ照明装置32Bから射出された光が結像レンズに直接入射せず、かつ撮像範囲の中心が、情報入力空間内において、照明装置32Bによる照明範囲の中心と床面から所定高さで交差するように向きが調整されている。
【0061】
このように、ビデオカメラ36A、36Bは、互いに異なる照明装置によって照明される床面上の照明範囲が撮像範囲から外れるように撮像範囲が各々調整されており、請求項1、より詳しくは請求項2に記載の撮像手段に対応している。
【0062】
また、コントローラ22の入出力インタフェース22Dにはマーク板駆動装置38も接続されている。図4に示すように、ハンドポインティング入力装置20は、情報入力空間の近傍に配設されたマーク板40を備えている。マーク板40は、透明な平板に多数のマーク40Aがマトリクス状に等間隔で記録されて構成されており、マーク40Aの配列方向に直交する方向(図4の矢印A方向)に沿って情報入力空間を横切るように移動可能とされている。なおマーク40Aは、画像上での認識が容易な色(例えば赤色)に着色されている。マーク板駆動装置38は、コントローラ22からの指示に応じてマーク板40を図4の矢印A方向に沿って移動させる。
【0063】
次に本実施形態の作用として、まず、ハンドポインティング入力装置20が設置された際に行われる格子点位置情報初期設定処理について、図5のフローチャートを参照して説明する。
【0064】
ステップ100では、マーク板駆動装置38により、マーク板40を所定位置(マーク板40の移動範囲の端部に相当する位置)に移動させる。次のステップ102では、現在のマーク板40の位置において、マーク板40に記録されている多数のマーク40Aの情報入力空間内での3次元座標(x,y,z)を各々演算する。ステップ104では撮像制御装置34を介し、ビデオカメラ36A、36Bによって情報入力空間を撮像させ、次のステップ106では、ビデオカメラ36Aが情報入力空間を撮像することによって得られた画像(以下画像Aと称する)を撮像制御装置34を介して取り込む。
【0065】
ステップ108では、ステップ106で取り込んだ画像A中に存在するマーク40Aの認識(抽出)を行い、次のステップ110では認識した全てのマーク40Aについて、画像A上での位置(XA ,YA )を演算する。そしてステップ112では、画像A中に存在する全てのマーク40Aについて、情報入力空間内での3次元座標(x,y,z)と、画像A上での位置(XA ,YA )とを対応させ、ビデオカメラ36Aの格子点位置情報として記憶装置24に記憶させる。
【0066】
次のステップ114〜120では、上記のステップ106〜112と同様にしてビデオカメラ36Bに対する処理を行う。すなわち、ステップ114ではビデオカメラ36Bが情報入力空間を撮像することによって得られた画像(以下画像Bと称する)を撮像制御装置34を介して取り込み、ステップ116ではステップ114で取り込んだ画像B中に存在するマーク40Aの認識(抽出)を行い、次のステップ118では認識した全てのマーク40Aについて、画像B上での位置(XB ,YB )を演算する。そしてステップ120では、画像B中に存在する全てのマーク40Aについて、情報入力空間内での3次元座標(x,y,z)と、画像B上での位置(XB ,YB )とを対応させ、ビデオカメラ36Bの格子点位置情報として記憶装置24に記憶させる。
【0067】
次のステップ122では、マーク板40が最終位置(マーク板40の移動範囲のうちステップ100における所定位置と反対側の端部に相当する位置)迄移動したか否か判定する。ステップ122の判定が否定された場合にはステップ124へ移行し、マーク板駆動装置38により、マーク板40を所定方向に一定距離(詳しくは、マーク板40上におけるマーク40Aの間隔に一致する距離)だけ移動させた後にステップ102に戻る。
【0068】
上記のように、マーク板40が最終位置に移動する迄、ステップ102〜124が繰り返されることにより、マーク板40に記録されている多数のマーク40Aは、情報入力空間内に一定間隔で格子状に並ぶ多数の格子点(請求項4に記載の仮想点に相当)に対応する位置へ移動され、ビデオカメラ36Aの格子点位置情報として、各格子点の情報入力空間内での3次元座標と画像A上での位置とが対応されて記憶装置24に記憶されると共に、ビデオカメラ36Bの格子点位置情報として、各格子点の情報入力空間内での3次元座標と画像B上での位置とが対応されて記憶装置24に記憶されることになる。
【0069】
上記の格子点位置情報初期設定処理は請求項6に記載の生成手段に対応しており、上記処理によって初期設定される格子点位置情報は、請求項4及び請求項6に記載の「仮想点の3次元座標と画像上での仮想点の位置とを対応付ける情報」に相当し、記憶装置24は本発明の記憶手段に対応している。なお、マーク板40及びマーク板駆動装置38は、上記の格子点位置情報初期設定処理においてのみ用いられ、後述する処理では用いないので、上記の処理を実行した後に、マーク板40及びマーク板駆動装置38を撤去するようにしてもよい。
【0070】
次に図6のフローチャートを参照し、上記の格子点位置情報初期設定処理が行われた後に、コントローラ22で定常的に実行される照明制御処理について説明する。ステップ130では、照明制御装置30により照明装置32Aを点灯させると共に照明装置32Bを消灯させる。ステップ132では、ビデオカメラ36Aによって情報入力空間を撮像させ、ビデオカメラ36Aから画像を出力させる。ステップ134では照明装置32Aの点灯を開始してから所定時間経過したか否か判定し、判定が肯定される迄待機する。
【0071】
ステップ134の判定が肯定されるとステップ136へ移行し、照明制御装置30により照明装置32Aを消灯させると共に照明装置32Bを点灯させる。ステップ138では、ビデオカメラ36Bによって情報入力空間を撮像させ、ビデオカメラ36Bから画像を出力させる。ステップ140では照明装置32Bの点灯を開始してから所定時間経過したか否か判定し、判定が肯定される迄待機する。そして、ステップ140の判定が肯定されるとステップ130へ戻る。
【0072】
上記の照明制御処理により、図7にも示すように、照明装置32A及び照明装置32Bは所定時間毎に交互に点灯されると共に、照明装置32Aが点灯しているときにビデオカメラ36Aの撮像が行われ、ビデオカメラ36Aの撮像によって得られた画像Aを表す画像データが撮像制御装置34を介してコントローラ22に出力され、照明装置32Bが点灯しているときにビデオカメラ36Bの撮像が行われ、ビデオカメラ36Bの撮像によって得られた画像Bを表す画像データが撮像制御装置34を介してコントローラ22に出力される。上記の照明制御処理は請求項2に記載の制御手段に対応している。
【0073】
本実施形態では、近赤外光により撮像を行っているので、撮像によって得られる画像中の情報入力者10に相当する画像部の輝度が、可視光が射出されるディスプレイ12の輝度の変化や、情報入力者10の肌の色や服の色の影響を受けて変化することはなく、後述する指示判断処理において、情報入力者10に相当する画像部を高精度に抽出することができる。また、情報入力空間の近傍に、近赤外域の波長の光が射出されないように処理した蛍光灯を配置したとしても、この影響を受けることはない。更に、近赤外光が照射されていることを情報入力者10に感知されることがないので、上記のように照明装置32A、32Bを交互に点灯させても、情報入力者10に不快感を与えることはない。
【0074】
次に図8のフローチャートを参照し、上記の照明制御処理と並行してコントローラ22で所定時間毎に繰り返し実行される、情報入力者10からの指示を判断する指示判断処理について説明する。
【0075】
ステップ150では、ビデオカメラ36Aから出力される画像Aを表す画像データ、及びビデオカメラ36Bから出力される画像Bを表す画像データを、図7に示すタイミングで各々取り込む。次のステップ152では、ステップ150で取り込んだ画像A、画像Bの画像データに基づいて、情報入力空間内に情報入力者10が存在しているか否か判定する。
【0076】
先に説明したように、ビデオカメラ36Aによる情報入力空間の撮像は照明装置32Aのみが点灯しているときに行われ、ビデオカメラ36Aの撮像範囲は照明装置32Aによる床面上の照明範囲が撮像範囲から外れるように調整されている。従って、照明装置32Aによる床面上の照明範囲内に情報入力者10の荷物やゴミ等の非認識対象物50A(図3参照)が存在していたとしても、この非認識対象物50Aがビデオカメラ36Aの撮像範囲に入ることはない。また、床面上のビデオカメラ36Aによって撮像される範囲内に非認識対象物50B(図3参照)が存在していた場合には、非認識対象物50Bはビデオカメラ36Aによって撮像されることになるが、非認識対象物50Bは照明装置32Aによる照明範囲から外れているので、画像A中に存在する非認識対象物50Bに相当する画像部の輝度は非常に低くなる。
【0077】
また、ビデオカメラ36Bによる情報入力空間の撮像についても照明装置32Bのみが点灯しているときに行われ、ビデオカメラ36Bの撮像範囲は照明装置32Bによる床面上の照明範囲が撮像範囲から外れるように調整されている。従って、照明装置32Bによって照明される床面上に非認識対象物50Bが存在していたとしても、この非認識対象物50Bがビデオカメラ36Bの撮像範囲に入ることはない。また、床面上のビデオカメラ36Bによって撮像される範囲内に非認識対象物50Aが存在していた場合には、ビデオカメラ36Bによって非認識対象物50Bが撮像され、画像B中に非認識対象物50Bに相当する画像部が存在することになるが、上記と同様にその輝度は非常に低い。
【0078】
従って、先のステップ152では、例えば画像A及び画像B中に、高輝度でかつ所定値以上の面積の画像部が存在しているか否か等の極めて簡単な判断処理により、情報入力空間内に情報入力者10が存在しているか否かを判定することができる。ステップ152の判定が否定された場合には、何ら処理を行うことなく指示判断処理を終了する。
【0079】
一方、ステップ152の判定が肯定された場合にはステップ154へ移行する。なお、ステップ154以降の処理は本発明の判断手段に対応している。ステップ154では画像A及び画像Bから、情報入力者10の全体像に相当する画像部を各々抽出する。この情報入力者10の全体像に相当する画像部についても、高輝度の画素から成る所定値以上の面積の連続した領域を判断することで容易に抽出することができる。
【0080】
ステップ156では、情報入力者10の全体像に相当する画像部に基づき、情報入力者10の身長を求める。図9に示すように、点Oに位置しているビデオカメラ36の結像レンズの焦点距離をf、点Oを通る鉛直線と情報入力空間の床面との交点Qと点Oとの距離をH、点Qと情報入力者10が立っている床面上の点Pとの距離をR、情報入力者10の頭頂部に相当する点P’と点Pとの距離hを情報入力者10の身長とする。また、点POQの成す角度をθ、点P’OQの成す角度をθ’、ビデオカメラ36のエリアセンサの受光面に結像される情報入力者の像の長さをh’、点Pに対応する受光面上の結像点を点p、点P’に対応する受光面上の結像点を点p’、受光面の中心oと点pとの距離をr、受光面の中心oと点p’との距離をr’とすると、角度θ、θ’、距離r、r’は次の(1)〜(4)式から求めることができる。
【0081】
θ =tan-1(R/H) …(1)
θ’=tan-1{R/(H−h)} …(2)
r =fθ …(3)
r’=fθ’ …(4)
【0082】
従って、情報入力者10の身長h及び距離Rは次の(5)式及び(6)式によって求めることができる。
【0083】
h=H{1−tan(r/f)/tan(r’/f)} …(5)
R=Htan(r/f) …(6)
【0084】
距離H及び焦点距離fは既知であるので、ステップ156ではビデオカメラ36A、36Bの撮像によって得られた画像A及び画像Bの何れかから距離r、r’を求め、これを(5)式に代入することにより情報入力者10の身長hを求めることができる。また、ステップ156では、画像A及び画像Bの各々から距離rを求め、これを(6)式に各々代入して距離Rを各々求めることにより、情報入力者10の床面上の位置(2次元座標)を求める。
【0085】
次のステップ158では、ステップ156で求めた情報入力者10の身長h及び情報入力者の床面上の位置に基づき、情報入力者10の基準点P0 の3次元座標(x0 ,y0 ,z0 )を決定する。なお基準点P0 としては、例えば情報入力者10の背中に相当する点(図11に示す点P0 )等を用いることができる。この場合、情報入力者10の身長hに基づいて情報入力者10の背中に相当する基準点P0 の床面からの高さ(例えばz0 の値)を割り出し、情報入力者10の床面上の位置(平面座標)を基準点P0 の平面座標(例えばx0 、y0 の値)として設定することにより、基準点P0 の3次元座標を決定することができる。
【0086】
ステップ159では、画像A及び画像B上での情報入力者10の全体像に相当する画像部の形状に基づいて、情報入力者10が指示動作(指等によりディスプレイ12側を指し示す動作)を行っているか否か判定する。情報入力者10から見たディスプレイ12の方向は既知であるので、ステップ159の判定は、例えば情報入力者10の全体像に相当する画像部において、情報入力者10の手に相当すると判断できる高さ位置に、情報入力者10から見たディスプレイ12の方向に向かって突出している部分が有るか否かを判断することで実現できる。
【0087】
これにより、情報入力者10が、図12(A)に示す直立状態から、図12(B)又は(C)に示すように手をディスプレイ12側に向ければ、情報入力者10が指示動作を行っていると判定されることになる。ステップ159の判定が否定された場合には、何ら処理を行うことなく指示判断処理を一旦終了するが、ステップ159の判定が肯定された場合には、ステップ160へ移行する。
【0088】
ステップ160では、ビデオカメラ36Aから取り込んだ画像Aを表す画像データに基づいて、画像A中に存在する情報入力者10の特徴点Px を抽出し、画像A上での特徴点Px の位置(XA ,YA )を演算する。情報入力者10の特徴点Px としては、ディスプレイ12側を指し示す動作を行っている指の先端に相当する点等を用いることができる。この場合、情報入力者10の全体像を表す画像部のうち、情報入力者10の手に相当すると判断できる高さ位置に、ディスプレイ12の方向に向かって突出している部分の先端の位置を、特徴点Px の位置として演算することができる。
【0089】
これにより、ビデオカメラ36Aにより情報入力者10の手が図10(A)に示すように撮像された場合、特徴点Px の位置として、図10(B)に示す特徴点Px の座標(XA ,YA )が演算されることになる。
【0090】
ステップ162では、記憶装置24に記憶されているビデオカメラ36Aの格子点位置情報に基づき、画像A上での位置が(XA ±dX,YA ±dY)の範囲(図10(B)にハッチングで囲んだ範囲を参照)に入る格子点を全て検索する。なお、このdX及びdYの大きさは、格子点の間隔(マーク40Aの間隔)に基づき、少なくとも1個以上の格子点が抽出されるように定められている。
【0091】
また、本実施形態ではビデオカメラの結像レンズとして広角レンズを用いており、仮にdX及びdYを一定とすると、ビデオカメラと格子点との距離が大きくなるに従って多くの格子点が(XA ±dX,YA ±dY)の範囲に入り、後述する特徴点Px の3次元座標の演算の精度の低下に繋がる。このため、dX及びdYは、3次元座標上でのビデオカメラからの距離が離れるに従って値が小さくなるように設定される。従って、3次元座標上での(XA ±dX,YA ±dY)に相当する範囲は、底面がビデオカメラ側に位置している円錐状(又は楕円錐状)となる。このステップ162は、請求項5に記載の「画像上での位置が特徴点を包含する所定範囲内である仮想点を抽出する」ことに対応している。
【0092】
ステップ164では、先のステップ160と同様に、ビデオカメラ36Bから取り込んだ画像Bを表す画像データに基づいて、画像B中に存在する情報入力者10の特徴点Px を抽出し、画像B上での特徴点Px の位置(XB ,YB )を演算する。ステップ166では、先のステップ162と同様に、記憶装置24に記憶されているビデオカメラ36Bの格子点位置情報に基づき、画像B上での位置が(XB ±dX,YB ±dY)の範囲に入る格子点を全て検索する。このステップ166も、請求項5に記載の「画像上での位置が特徴点を包含する所定範囲内である仮想点を抽出する」ことに対応している。
【0093】
次のステップ168では、画像A及び画像Bから共通に抽出した格子点を判定する。これにより、情報入力空間内で特徴点Px に近接した位置に存在している格子点のみが複数抽出されることになる。ステップ170では、画像A及び画像Bから共通に抽出した格子点の3次元座標を、格子点位置情報から取り込む。
【0094】
本実施形態では、後述するように、特徴点Px の3次元座標を、情報入力空間内で特徴点に近接した位置に存在している複数の格子点の3次元座標から内挿によって演算する(具体的には、前記複数の格子点の3次元座標の座標値の重み付き平均により特徴点の3次元座標の座標値を求める)。このため、特徴点Px の3次元座標を演算するに先立ち、次のステップ172では、画像A及び画像Bから共通に抽出した各格子点の画像A及び画像B上での位置、画像A上での特徴点Px の位置(XA ,YA )、画像B上での特徴点Px の位置(XB ,YB )に基づいて、画像A及び画像Bから共通に抽出した各格子点の3次元座標からの内挿の割合(各格子点の3次元座標の座標値に対する重み)を決定する。この内挿の割合は、例えば画像A及び画像B上で特徴点と近接した位置に存在している格子点の3次元座標の座標値の重みが大きくなるように決定することができる。
【0095】
ステップ174では、画像A及び画像Bから共通に抽出した格子点の3次元座標、及びステップ172で決定した内挿の割合に基づいて、特徴点Px の3次元座標(Xx ,Yx ,Zx )を演算する。
【0096】
ステップ176では、先のステップ158で演算した情報入力者の基準点P0 の3次元座標と、ステップ174で演算した特徴点の3次元座標とに基づき、情報入力者10が指し示している方向として、上記の基準点と特徴点とを結ぶ仮想線(図11の仮想線54参照)の延びる方向を求め、情報入力者10が指し示している位置として、大画面ディスプレイ12の表示面を含む平面と前記仮想線の交点(図11の点S参照)の座標(平面座標)を演算する。
【0097】
次のステップ178では、ステップ176で求めた座標に基づいて、情報入力者10が大画面ディスプレイ12の表示面上を指し示しているか否か判定する。判定が否定された場合には、ステップ180で監視フラグ(クリック動作を監視するためのフラグ)を0にして指示判断処理を終了する。一方、ステップ178の判定が肯定された場合には、ステップ176で演算した情報入力者10が指し示している位置を表す座標を情報処理装置14に出力する。これにより、情報処理装置14では、情報入力者10が指し示していると判断されたディスプレイ12の表示面上の所定位置にカーソルを表示する等の処理を行う。
【0098】
次のステップ184以降は情報入力者10がクリック動作を行ったか否かを判定する。なお、本実施形態ではクリック動作が、情報入力者が自身の手を動かすあらゆる動作(例えば手首の屈曲や回転、任意の指の曲げ伸ばし等)として定義されている。ステップ184では、画像A中に存在する情報入力者10の手に相当する画像部を抽出し、該画像部の面積を求めると共に、画像B中に存在する情報入力者10の手に相当する画像部を抽出し、該画像部の面積を求める。
【0099】
次のステップ186では監視フラグが1か否か判定する。ステップ186の判定が否定された場合は、指示判断処理を前回行ったときには情報入力者10がディスプレイ12の表示面上を指し示していなかった場合であるので、ステップ188で監視フラグを1にして、次のステップ190では、後にクリック動作の判定を行うために、ステップ184で演算した情報入力者の手に相当する画像部の面積をRAM22Cに記憶し、指示判断処理を一旦終了する。
【0100】
一方、ステップ186の判定が肯定された場合は、情報入力者10がディスプレイ12の表示面上を継続的に指し示している場合であるので、ステップ192へ移行し、ステップ184で演算した面積を、RAM22C等に記憶されている面積(情報入力者10がディスプレイ12の表示面上を指し示すことを開始したとき、すなわち過去にステップ188で監視フラグを1にしたときに演算した面積)と比較し、情報入力者10の手に相当する画像部の面積に所定値以上の変化が有ったか否か判定する。ステップ192の判定が否定された場合には、情報入力者10がクリック動作を行っていないと判断し、何ら処理を行うことなく指示判断処理を終了する。
【0101】
また、情報入力者10が手首の屈曲や回転(例えば図12(B)に示す状態から図12(C)に示す状態への変化、或いはその逆の変化)、任意の指の曲げ伸ばし等の動作を行うと、画像A及び画像B中に存在する情報入力者10の手に相当する画像部の面積が所定値以上変化することによってステップ192の判定が肯定される。ステップ192の判定が肯定されると、ステップ194で「クリック有り」を表す情報を情報処理装置14に出力し、次のステップ196で監視フラグを0にした後に指示判断処理を終了する。
【0102】
これにより、情報処理装置14では、情報入力者10によって指し示されているディスプレイ12の表示面上の所定位置(ステップ182で入力された座標に相当する位置)がクリックされたと判断し、ディスプレイ12の表示面上の所定位置に表示している情報に応じた処理を行う。
【0103】
ハンドポインティング入力装置20のコントローラ22において、上記の指示判断処理を所定時間毎に繰り返し実行することにより、情報入力者10によるディスプレイ12上の表示面上の指示位置及びクリック動作の有無をリアルタイムで判断することができるので、情報処理処理装置14で実行される処理と組み合わせることで、以下で説明するように種々の利用形態での利用が可能となる。
【0104】
例えばディスプレイ12を地下街等の壁面に設置し、情報処理装置14がディスプレイ12に商品の広告等を表示する場合に、本実施形態に係るハンドポインティング入力装置20を設ければ、到来した利用者(情報入力者)の指示に応じて特定の商品を詳しく説明する画面を表示する等のように、利用者との双方向のコミュニケーションが可能となる。また、利用者に課金用のカードを所持させるようにすれば、このカードにより課金することで利用者が商品を購入することも可能となる。
【0105】
また、例えばディスプレイ12をビルのエントランスに設置し、情報処理装置14がディスプレイ12にビル内を案内する案内図等を表示する場合に、本実施形態に係るハンドポインティング入力装置20を設ければ、到来した利用者(情報入力者)の指示に応じてビル内のうち利用者が訪問する箇所を詳しく説明する画面や、訪問する箇所迄の経路を示す画面を表示する等のように、利用者との双方向のコミュニケーションが可能となる。
【0106】
また、クリーンルームには取扱説明書やその他のマニュアルを持ち込めないことが一般的であるが、例えばディスプレイ12をクリーンルームの外部に、クリーンルーム内から視認可能に配置し、ハンドポインティング入力装置20によって判断したクリーンルーム内の作業者からの指示に応じて取扱説明書やその他のマニュアルの内容をディスプレイ12に表示するようにすれば、クリーンルーム内とクリーンルーム外との双方向のコミュニケーションが可能となり、クリーンルーム内での作業の効率が向上する。
【0107】
更に、例えば大画面のディスプレイ12、ハンドポインティング入力装置20及び情報処理装置14をアミューズメント施設のゲーム機として動作させたり、会議のプレゼンテーションにおいて、ディスプレイ12に説明用の資料を表示しディスプレイ12の表示面上の任意の位置を指し示す際に適用することも可能である。
【0108】
なお、上記では、照明装置32Aによる床面上の照明範囲がビデオカメラ36Aの撮像範囲から外れるように調整すると共に、照明装置32Bによる床面上の照明範囲がビデオカメラ36Bの撮像範囲から外れるように調整し、照明装置32Aのみが点灯しているときにビデオカメラ36Aによる撮像を行い、照明装置32Bのみが点灯しているときにビデオカメラ36Bによる撮像を行うことにより、情報入力者10に相当する画像部の抽出が容易な画像A及び画像Bを得ていたが、これに限定されるものではなく、照明装置32による床面上の照明範囲がビデオカメラ36の撮像範囲内に入っていたとしても、情報入力者10に相当する画像部の抽出が容易な画像を得ることは可能である。
【0109】
図13に示す例では、ビデオカメラ36の撮像範囲が、照明装置32Aによる床面上の照明範囲及び照明装置32Bによる床面上の照明範囲を含んでおり、照明装置32Aによって照明される床面上に存在している非認識対象物50A、照明装置32Bによって照明される床面上に存在している非認識対象物50Bは、ビデオカメラ36によって各々撮像される。このような場合には、図14に示す照明制御処理を行えばよい。
【0110】
図14に示す照明制御処理では、ステップ250で照明装置32Aを点灯させると共に照明装置32Bを消灯させた後に、ステップ252ではビデオカメラ36によって情報入力空間を撮像させ、ステップ254ではビデオカメラ36から出力された画像データ(該画像データが表す画像を便宜的に第1の画像という)を取り込んでRAM22Cに記憶する。ステップ256では、照明装置32Aを点灯させてから所定時間Tが経過したか否か判定し、所定時間Tが経過する迄待機する。ステップ256の判定が肯定されるとステップ258へ移行し、照明装置32Bを点灯させると共に、照明装置32Bを点灯させてから所定時間t0 経過後に照明装置32Aを消灯させる(但し、t0 <T:図15参照)。
【0111】
次のステップ260ではビデオカメラ36によって情報入力空間を撮像させ、ステップ262ではビデオカメラ36から出力された画像データ(該画像データが表す画像を便宜的に第2の画像という)を取り込む。ステップ264では、ステップ254でRAM22Cに記憶した第1の画像を表す画像データと、ステップ262で取り込んだ第2の画像を表す画像データに基づいて、或る画素について第1の画像上での輝度値と第2の画像上での輝度値のうち低輝度の輝度値を選択し、選択した輝度値を前記画素の輝度値として採用することを全ての画素について行うことにより、新たな画像データを生成し、生成した画像データを出力する。
【0112】
この照明制御処理では、図15に示すように、照明装置32Aが点灯している期間と照明装置32Bが点灯している期間とが所定時間t0 だけオーバラップしているので、情報入力者10は常に照明されるが、図13に示すように、非認識対象物50Aは照明装置32Aが点灯しているときにのみ照明され、非認識対象物50Bは照明装置32Bが点灯しているときにのみ照明される。従って、ステップ262の処理により、情報入力者10に相当する画像部のみが高輝度となっている画像、すなわち情報入力者10に相当する画像部の抽出が容易な画像(を表す画像データ)が得られることになる。
【0113】
次のステップ266では、照明装置32Bを点灯させてから所定時間Tが経過したか否か判定し、所定時間Tが経過する迄待機する。ステップ266の判定が肯定されるとステップ268へ移行し、照明装置32Aを点灯させると共に、照明装置32Aを点灯させてから所定時間t0 経過後に照明装置32Bを消灯させた後にステップ252へ戻る。
【0114】
上記の照明制御処理は請求項3に記載の判別手段に対応している。なお、上記では説明を簡単にするために、図13にビデオカメラ36を1台のみ示し、図14には1台のビデオカメラ36に対する処理のみを示しているが、情報入力空間を各々異なる方向から撮像する複数台のビデオカメラ36が設けられている場合であっても、各ビデオカメラ36に対して上記の処理を各々行えば、情報入力者10に相当する画像部の抽出が容易な画像を各々得ることができる。
【0115】
また、図14の照明制御処理では、照明装置32A、32Bの点消灯のタイミングと同期して、照明装置32A及び照明装置32Bの何れか一方が点灯している期間にのみ画像データの取込みを行うようにしていたが、例えば照明装置32A、32Bの点消灯のタイミングと無関係に、所定時間T(図14及び図15参照)の整数分の1の周期で画像データの取込みを行い、2×Tの周期でステップ264の処理を行うようにしてもよい。
【0116】
また、先のステップ264のように各画素毎に低輝度の値を選択することに代えて、例えばオーバラップ期間t0 を挟んで照明装置32Aと照明装置32Bを一定周期で交互に点灯させ(これにより、照明装置32A、32Bの点灯のデューティー比は各々50+α%になる:αはオーバラップ期間に相当)、各画素について、照明装置32A、32Bの点灯の1サイクルにおける平均輝度を各画素の輝度として採用するようにしてもよいし、照明装置32A、32Bの点灯の1サイクルにおける各画素毎の輝度の変化に対し、ローパスフィルタや高速フーリエ変換等により輝度変化の直流成分のみを取り出し、取り出した輝度変化の直流成分に相当する輝度値を各画素の輝度値として採用するようにしてもよい。上記の場合にも、照明装置32A、32Bの点灯の1サイクルの間、照明装置32A又は照明装置32Bによって常に照明される情報入力者10に相当する画素については、輝度値として比較的高輝度の値が採用され、情報入力者10に相当する画像部の抽出が容易な画像を得ることができる。
【0117】
また、情報入力者10に相当する画像部の抽出が容易な画像を得るために、図16に示すように、情報入力空間の床面上に傾斜台58を配設してもよい。この傾斜台58は、情報入力空間に到来した情報入力者10を囲むように傾斜面58Aが形成されている。これにより、例えば情報入力者10が荷物等を携行して情報入力空間に到来したとしても、情報入力者10が前記荷物等を自身の近くに置くことは傾斜台58によって阻止され、情報入力者10から離れた箇所、すなわちビデオカメラ36の撮像範囲外に荷物等が置かれることになる。従って、ビデオカメラ36の撮像によって得られる画像中に、情報入力者10の荷物等の非認識対象物に相当する画像部が存在することが防止され、情報入力者10に相当する画像部の抽出が容易な画像を得ることができる。
【0118】
また、情報入力者10の周囲に、非認識対象物として比較的小さなゴミや塵埃等が滞留する場合には、情報入力者10の周囲に空気の流れを発生させるファン等を設け、上記のような非認識対象物を空気流によって吹き飛ばすようにしてもよい。また情報入力者10の周囲に水等を貯留する貯留槽を配設してもよいし、更に貯留槽を環状とし、貯留槽内を水等が循環するように構成しても、情報入力者10の周囲に非認識対象物が滞留することを阻止できる。
【0119】
更に、上記では、透明な平板に多数のマーク40Aがマトリクス状に等間隔で記録されて構成されたマーク板40を用いて格子点位置情報を設定するようにしていたが、これに限定されるものではなく、図17に示すように、透明な平板にLED等の多数の発光素子62A(請求項6記載のマーカに対応)がマトリクス状に配設されたマーク板62を用いてもよい。
【0120】
この場合、格子点位置情報初期設定処理では、発光素子62Aを1個ずつ順に点灯させると共に、各発光素子62Aを点灯させる毎に、点灯している発光素子62Aの3次元座標を演算し、ビデオカメラ36A、36Bによって情報入力空間を撮像させ、画像A、画像B上での発光素子62Aの位置を演算し、発光素子62Aの3次元座標と画像A、画像B上での発光素子62Aの位置とを対応させて格子点位置情報として記憶装置24に記憶させ、マーク板62の全ての発光素子62Aを点灯させた後に、マーク板駆動装置38によってマーク板62を一定量移動させることを繰り返すようにすればよい。
【0121】
また、マーク板40やマーク板62に代えて、図18に示すように、アーム66Aの先端に取付けられたハンド66Bを情報入力空間内の任意の位置に移動可能で、ハンド66Bに発光素子68(請求項6記載のマーカに対応)が取付けられたロボットアーム装置66を用いてもよい。この場合、格子点位置情報初期設定処理では、発光素子68を点灯させ、情報入力空間内に一定間隔で格子状に並ぶ多数の格子点に対応する各位置へ発光素子68を移動させると共に、発光素子68が前記各位置に位置する毎に、発光素子68の3次元座標を演算し、ビデオカメラ36A、36Bによって情報入力空間を撮像させ、画像A、画像B上での発光素子68の位置を演算し、発光素子68の3次元座標と画像A、画像B上での発光素子68の位置とを対応させて格子点位置情報として記憶装置24に記憶させるようにすればよい。
【0122】
更に、上記のようにマーク板40、マーク板62、ロボットアーム装置66等を駆動することで、情報入力空間内に一定間隔で格子状に並ぶ多数の格子点に対応する各位置にマーカ(マーク40A又は発光素子62A又は発光素子68)を自動的に位置させることに代えて、オペレータが、前記多数の格子点に対応する各位置にマーカを手動で位置させ、この状況を撮像することにより格子点位置情報の設定のみを自動的に行うようにしてもよい。
【0123】
また、図8に示した指示判断処理では、情報入力者10が指示動作を行っていないとき(ステップ159の判定が否定された場合)には、ディスプレイ12の表示面上の情報入力者10が指し示している位置の座標の演算・情報処理装置14への出力を行わないので、結果として、情報入力者10が指示動作を行っていないときにはディスプレイ12にカーソル等が表示されないことになる。従って、ディスプレイ12にカーソル等を継続的に表示させるためには、カーソル等を表示させたい位置を情報入力者10が指し示し続ける必要があり、情報入力者10の負担が大きいという問題がある。
【0124】
上記を考慮すると、図8に示した指示判断処理に代えて、図19に示す指示判断処理を行うようにしてもよい。この指示判断処理では、図8の指示判断処理のステップ150、152と同様に、ステップ230でビデオカメラ36A、36Bから出力される画像データを取り込み、次のステップ232では、取り込んだ画像データ基づいて情報入力空間内に情報入力者10が存在しているか否か判定する。
【0125】
判定が否定された場合にはステップ280へ移行し、到来フラグ(情報入力者10が情報入力空間に到来していることを表すフラグ)が1か否か判定する。到来フラグの初期値は0であるので、最初はステップ280の判定は否定され、何ら処理を行うことなく指示判断処理を一旦終了する。なお、情報入力空間に情報入力者が到来していないときには、情報処理装置14はディスプレイ12に所定の呼び込み画面(情報入力空間の近傍を通りかかった人を情報入力空間に呼び込む画面)を表示させる。
【0126】
一方、情報入力空間に情報入力者10が到来すると、ステップ232の判定が肯定されてステップ234へ移行し、到来フラグが0か否か判定する。ステップ234の判定が肯定されるとステップ236へ移行し、情報入力空間に情報入力者が到来したことを情報処理装置14に通知する。これにより情報処理装置14は、ディスプレイ12に表示する画面を呼び込み画面から初期画面(例えば商品の広告であれば商品の一覧を示した画面等)に切替える。
【0127】
次のステップ238では、情報入力空間に情報入力者が到来したので、到来フラグを1にすると共に、指示フラグ(情報入力者10がディスプレイ12の表示面上を指し示していることを表すフラグ)及び監視フラグを0にして、ステップ240へ移行する。なお、ステップ234の判定が否定された場合、すなわち指示判断処理を前回実行したときから情報入力空間に継続的に情報入力者が居る場合には、ステップ236、238の処理を行うことなくステップ240へ移行する。
【0128】
ステップ240では、図8のフローチャートのステップ154乃至ステップ158と同様に、ビデオカメラ36A、36Bの撮像によって得られた画像から情報入力者10の全体像に相当する画像部を抽出し、情報入力者10の身長h及び床面上の位置を演算し、情報入力者10の基準点の3次元座標を決定する。そして次のステップ242では、図8のフローチャートのステップ159と同様に、情報入力者10が指示動作を行っているか否か判定する。判定が否定された場合には、ステップ270で指示フラグが1か否か判定し、この判定も否定された場合には指示判断処理を一旦終了する。
【0129】
一方、情報入力者10が、図12(A)に示す直立している状態から、図12(B)又は(C)に示すように手をディスプレイ12側に向けると、ステップ242の判定が肯定されてステップ244へ移行する。ステップ244では、図8のフローチャートのステップ160乃至ステップ176と同様にして情報入力者10の特徴点の3次元座標を演算し、情報入力者10が指し示している位置を演算する。
【0130】
次のステップ246では情報入力者10がディスプレイ12の表示面上を指し示しているか否か判定する。判定が否定された場合にはステップ270へ移行するが、判定が肯定された場合には、ステップ247で指示フラグを1にした後に、ステップ248でディスプレイ12の表示面上の情報入力者10が指し示している位置の座標を情報処理装置14に出力すると共に、前記座標をRAM22C等に記憶する。これにより、情報処理装置14では、ディスプレイ12の表示面上の情報入力者10が指し示している位置にカーソル等を表示する。
【0131】
次のステップ252乃至262の処理は、図8のフローチャートのステップ184乃至ステップ196の処理を同様にしてクリック動作を検出する。すなわち、画像中に存在する情報入力者10の手に相当する画像部を抽出し、その面積を求め(ステップ250)、監視フラグが1か否か判定する(ステップ252)。判定が否定された場合は、監視フラグを1にして(ステップ254)、先に演算した情報入力者の手に相当する画像部の面積を記憶し(ステップ256)、指示判断処理を一旦終了する。
【0132】
また、ステップ252の判定が肯定された場合は、ステップ250で演算した面積を、RAM22C等に記憶されている面積と比較し、情報入力者10の手に相当する画像部の面積に所定値以上の変化が有ったか否か判定する(ステップ258)。判定が否定された場合には、情報入力者10がクリック動作を行っていないと判断し、何ら処理を行うことなく指示判断処理を終了するが、判定が肯定された場合には、「クリック有り」を表す情報を情報処理装置14に出力し(ステップ260:これにより、情報処理装置14ではディスプレイ12に表示している画面の切替え等の所定の処理を実行する)、監視フラグ及び指示フラグを0にして(ステップ262)、指示判断処理を終了する。
【0133】
また、情報入力者10がディスプレイ12の表示面上を指し示した後に、クリック動作を行うことなく腕を下ろした場合には、ステップ242の判定が否定されてステップ270へ移行するが、このときには指示フラグが1であるのでステップ270の判定が肯定され、ステップ272へ移行する。ステップ272では、ステップ248で演算しRAM22Cに記憶している、ディスプレイ12の表示面上の情報入力者10が指し示している位置の座標を情報処理装置14に出力する。これにより、情報処理装置14は、情報入力者10が腕を下ろす前にカーソルを表示していた位置に、継続してカーソルを表示させる。
【0134】
このカーソルの表示の継続は請求項11に記載の処理手段による処理に対応しており、上記のステップ270は、ステップ242、247と共に請求項11に記載の第2の検出手段に対応している。
【0135】
上記により、情報入力者10の姿勢が、図12(B)又は(C)に示す姿勢から図12(A)に示す姿勢に変化したとしても、カーソルの表示が継続されるので、情報入力者10がカーソルを継続して表示させたい等の場合にも(例えば会議のプレゼンテーション等)、情報入力者10が継続的に腕を上げ続ける必要がなくなるので、情報入力者10の負担を軽減することができる。
【0136】
また、情報入力者10が情報入力空間から退去すると、それが情報処理装置14における一連の処理の途中であったとしても、ステップ232の判定が否定され、ステップ280へ移行する。情報入力者10が情報入力空間から退去したときには、到来フラグは1になっているので、ステップ280の判定が肯定され、ステップ282で情報入力空間から情報入力者10が退去したことを情報処理装置14に通知する。これにより、情報処理装置14は実行途中の処理があれば該処理の実行を中止すると共に、ディスプレイ12に表示している画面を呼び込み画面に切替える。次のステップ284では到来フラグを0にして、指示判断処理を一旦終了する。
【0137】
これにより、情報入力空間に情報入力者10が居ない間は常に呼び込み画面がディスプレイに表示され、情報入力空間に情報入力者10が到来する毎に、情報処理装置14では、ディスプレイ12への初期画面の表示から始まる一連の処理が行われることになる。
【0138】
また、図8及び図19に示した指示判断処理では、情報入力者が自身の手を動かすあらゆる動作(例えば手首の屈曲や回転、任意の指の曲げ伸ばし等)をクリック動作として定義していたが、これに限定されるものではなく、情報入力者10が手を前方に素早く移動させる動作(図22(A)参照、以下「前進クリック」という)、及び情報入力者10が手を後方に素早く移動させる動作(図22(B)参照、以下「後進クリック」という)をクリック動作としてもよい。上記のクリック動作は、図8や図19に示した指示判断処理に代えて、例えば図20に示す指示判断処理を行うことで検知することができる。
【0139】
すなわち、図20に示す指示判断処理では、まずステップ310において、図8のフローチャートのステップ152、図19のフローチャートのステップ232と同様に、情報入力空間内に情報入力者10が到来したか(存在しているか)否かを判定する。この判定も、例えば画像A及び画像B中に高輝度でかつ所定値以上の面積の画像部が存在しているか否か等の極めて簡単な判断処理で済む。ステップ310の判定が否定された場合には、判定が肯定される迄待機する。情報入力空間に情報入力者10が到来すると、ステップ310の判定が肯定されてステップ312へ移行し、クリック動作速度設定処理を実行する。
【0140】
このクリック動作速度設定処理について、図21のフローチャートを参照して説明する。なお、クリック動作速度設定処理は請求項10に記載の閾値設定手段に対応している。ステップ290では、クリック動作の実行を情報入力者10に要請するメッセージをディスプレイ12に表示するよう情報処理装置14に指示し、情報処理装置14はディスプレイ12に前記メッセージを表示させる。ディスプレイ12に前記メッセージが表示されると、情報入力者10は腕を屈曲又は伸長させ、前進クリック動作又は後進クリック動作を繰り返し行う。
【0141】
次のステップ292では、基準点・特徴点座標演算処理(図8のフローチャートのステップ154乃至ステップ176と同様の処理)を行って基準点P0 及び特徴点Px の3次元座標を求め、ステップ294では情報入力者10がディスプレイ12を指し示す指示動作を行っているか否か判定する。ステップ294の判定が否定された場合にはステップ292に戻り、情報入力者10が指示動作を行う迄ステップ292、294を繰り返す。ステップ294の判定が肯定されるとステップ296へ移行する。
【0142】
ステップ296では、ステップ292で取り込んだ基準点P0 及び特徴点Px の3次元座標から基準点P0 と特徴点Px との距離kを演算する。また、ステップ296は繰り返し実行されるが、2回目以降の実行時には、今回演算した距離kの値と前回演算した距離kの値との差に基づいて距離kの変化速度V(基準点P0 に対する特徴点Px の位置の移動速度)を演算し、演算結果を記憶する。
【0143】
次のステップ298では、クリック動作の実行を要請するメッセージをディスプレイ12に表示してから所定時間が経過したか否か判定する。判定が否定された場合にはステップ292に戻り、ステップ292〜298を繰り返す。従って、クリック動作の実行を要請するメッセージを表示してから所定時間が経過する迄の間は、基準点P0 と特徴点Px との距離kの変化速度Vが繰り返し演算・記憶されることになる。
【0144】
ステップ298の判定が肯定されるとステップ300へ移行し、先に演算・記憶した変化速度Vを取り込み、情報入力者10が1回のクリック動作を行っている間の変化速度Vの推移に基づいてクリック動作速度V0 (請求項9及び請求項10に記載の閾値に対応)を設定・記憶する。このクリック動作速度V0 は、後述する処理において、情報入力者10がクリック動作を行ったか否かを判定するための閾値として用いる。このため、情報入力者10がクリック動作を行ったことを確実に判定するために、クリック動作速度V0 としては、例えば情報入力者10の1回のクリック動作における変化速度Vの平均値よりも若干低い値を設定することができる。また、情報入力者10の1回のクリック動作における変化速度Vの最小値をクリック動作速度V0 として設定するようにしてもよい。
【0145】
情報入力者10が腕を屈曲又は伸長させてクリック動作を行ったときの特徴点Px の移動速度(変化速度V)は情報入力者10毎にばらつきがあるが、上記のクリック動作速度設定処理は情報入力空間に情報入力者10が到来する毎に実行されるので、情報入力空間に新たな情報入力者10が到来すると、クリック動作速度V0 として到来した情報入力者10の体格や筋力等に応じた適切な値が新たに設定されることになる。
【0146】
上述したクリック動作速度設定処理を終了すると、指示判断処理(図20)のステップ314へ移行し、基準点・特徴点座標演算処理(図8のフローチャートのステップ154乃至ステップ176と同様の処理)を行って基準点P0 及び特徴点Px の3次元座標を求める。次のステップ316では、ステップ314で求めた基準点P0 及び特徴点Px の3次元座標に基づいて、情報入力者10が指示動作を行っているか否か判定する。
【0147】
ステップ316の判定が否定された場合にはステップ334へ移行し、情報入力空間から情報入力者10が退去したか否か判定する。この判定についても、先に説明したステップ310と同様に、画像A及び画像Bから高輝度でかつ所定値以上の面積の画像部が無くなったか否か等の極めて簡単な判断処理で済む。上記判定が否定された場合にはステップ314に戻り、情報入力者10が指示動作を行う迄ステップ314、316、334を繰り返す。
【0148】
また、ステップ316の判定が肯定されるとステップ318へ移行し、ステップ314で求めた基準点P0 及び特徴点Px の3次元座標に基づいて、図8のフローチャートのステップ176と同様に、情報入力者10が指し示している位置として、大画面ディスプレイ12の表示面を含む平面と、基準点と特徴点とを結ぶ仮想線と、の交点の座標を演算する。次のステップ320では、ステップ318で求めた座標に基づいて、情報入力者10が大画面ディスプレイ12の表示面上を指し示しているか否か判定する。
【0149】
ステップ320の判定が否定された場合には何ら処理を行うことなくステップ334へ移行するが、前記判定が肯定された場合は、ステップ322において、ステップ318で演算した座標を情報処理装置14に出力し、情報処理装置14に対してカーソルの表示を指示する。これにより、情報処理装置14では、情報入力者10が指し示していると判断されたディスプレイ12の表示面上の所定位置にカーソルを表示する等の処理を行う。
【0150】
次のステップ324では、基準点P0 及び特徴点Px の3次元座標に基づいて基準点P0 と特徴点Px の距離kを演算し、距離kの変化が有ったか否か判定する。なお、ステップ324は情報入力者10がディスプレイ12の表示面を指し示す動作を行っている間(ステップ320の判定が肯定されている間)繰り返し実行されるが、ステップ324で最初に距離kが演算されたときには、距離kの変化の有無を判定できないのでステップ324の判定は無条件に否定される。
【0151】
一方、ステップ324の判定が肯定された場合にはステップ326へ移行し、距離kの変化速度Vを演算し、演算した変化速度Vが閾値(クリック動作速度設定処理によって設定されたクリック動作速度V0 )以上か否か判定する。なお、ステップ326についても、ステップ324で最初に距離kが演算されたときには距離kの変化速度Vを演算することができないので、判定は無条件に否定される。ステップ324又はステップ326の判定が否定された場合には、情報入力者10はクリック動作を行っていないと判断し、何ら処理を行うことなくステップ334へ移行する。
【0152】
また、ステップ324、326の判定が各々肯定された場合には情報入力者10がクリック動作を行ったと判断し、ステップ328において距離kの変化方向を判定し、判定結果に応じて分岐する。距離kが増大方向に変化していた場合には、情報入力者10が腕を素早く伸長させる前進クリック動作を行ったと判断できるので、ステップ330へ移行し、前進クリックが有ったことを表す情報を情報処理装置14に出力し、ステップ334へ移行する。また、距離kが減少方向に変化していた場合には、情報入力者10が腕を素早く屈曲させる後進クリック動作を行ったと判断できるので、ステップ332へ移行し、後進クリックが有ったことを表す情報を情報処理装置14に出力した後に、ステップ334へ移行する。
【0153】
情報処理装置14では、前進クリックが有ったことを表す情報又は後進クリックが有ったことを表す情報が入力されると、情報入力者10による現在の指示箇所がクリックされたと判断し、前進クリックが有った場合には現在の指示箇所に対応する第1の処理を、後進クリックが有った場合には現在の指示箇所に対応する第2の処理(第1の処理と異なる処理)を行う。なお、この第1の処理、第2の処理は、請求項7に記載の所定の処理(より詳しくは、請求項8に記載の第1の所定の処理、第2の所定の処理)に対応している。
【0154】
このように、ステップ324〜332は、実際に第1の処理、第2の処理を行う情報処理装置14と共に、請求項7に記載の処理手段(より詳しくは請求項8及び請求項9に記載の処理手段)に対応している。なお、情報入力空間から情報入力者10が退去した場合には、ステップ334の判定が肯定されてステップ310に戻る。
【0155】
上述した指示判断処理におけるクリック動作は、ディスプレイ12の表示面上の特定の箇所を指し示して選択する動作として極めて自然な動作であるので、認識対象者は違和感を感ずることなくクリック動作を行うことができる。また、上記では、基準点と特徴点との距離kの変化に基づいて、クリック動作が行われたか否か及び行われたクリック動作が前進クリック動作か後進クリック動作かを判断することができるので、クリック動作の検知を短時間で行うことができる。また、クリック動作として2種類のクリック動作(前進クリック動作及び後進クリック動作)を定義しているので、情報入力者10が、第1の処理及び第2の処理を選択的に実行させることができる。
【0156】
ところで、上記の前進クリック動作又は後進クリック動作を行った後の人間の自然な手の動きは、クリック動作を行う前の位置(ニュートラルポジション)に戻ろうとする動きであるので、前進クリック動作を行った後のニュートラルポジションに戻ろうとする手の動きを後進クリック動作と誤検知したり、後進クリック動作を行った後のニュートラルポジションに戻ろうとする手の動きを前進クリック動作を誤検知することを防止するために、前進クリック動作又は後進クリック動作を検知した後のニュートラルポジションに戻ろうとする手の動きを無視することが望ましい。これは、例えば前進クリック動作又は後進クリック動作を検知してからクリック動作の検知を所定時間停止したり、或いは前進クリック動作又は後進クリック動作を検知する前の距離kの値をニュートラルポジションに相当する値として予め記憶しておき、前進クリック動作又は後進クリック動作を検知してから距離kの値が前記ニュートラルポジションに相当する値になる迄の間、クリック動作の検知を停止することによって実現することができる。
【0157】
また、上述した指示判断処理においても、図19に示した指示判断処理と同様に、情報入力者10が腕を下ろした場合に、腕を下ろす前にカーソルを表示していた位置に、継続してカーソルを表示させるようにしてもよいことは言うまでもない。
【0158】
また、上記では情報入力者10の基準点及び特徴点の3次元座標に基づいて情報入力者10が指し示している位置を演算していたが、これに限定されるものではなく、ビデオカメラ36の撮像によって得られた画像から情報入力者10の全体像に相当する画像部を抽出し(図23の画像部72を参照)、情報入力者10の身長h及び床面上の位置を演算し、更に、太さ等の情報入力者に関する他のパラメータを決定した後に、身長hを含む各種パラメータに基づいて、情報入力者10の全体像をダミーモデル74(図23参照)に変換し、このダミーモデルに基づいて、ディスプレイ12の表示面上を指し示す動作を含む、情報入力者の各種動作の認識を行うようにしてもよい。
【0159】
上記のようにダミーモデルを用いた場合、例えば手を振る等のように、情報入力者の全体像からは認識が困難な動作も認識することができる。そして、例えば情報入力者が手を振る動作を「取消し」を意味する動作と定義しておき、情報入力者が手を振る動作を行ったことを認識したときには、その前に認識した情報入力者の動作に応じて実行した処理を中止させることも可能となる。
【0160】
また、上記では情報入力者10がディスプレイ12の表示面上の任意の位置を指し示す態様を例に説明したが、情報入力者が指し示す対象はディスプレイに限定されるものではなく、情報入力者が任意の方向を指し示したり、情報入力者との距離が不定の任意の物体を指し示すようにしてもよい。
【0161】
情報入力者が任意の方向を指し示す場合には、指示判断処理(例えば図8のフローチャートのステップ176)において、情報入力者の基準点と特徴点とを結ぶ仮想線の延びる方向を求めるようにすることで、情報入力者によって指し示された方向を判断できる。また、情報入力者が、情報入力者との距離が不定の任意の物体を指し示す場合には、先のステップ176において、仮想線の延びる方向を求めた後に、該仮想線を延長した先に存在する物体を判定することで、情報入力者が指し示している物体を判断することができる。
【0162】
情報入力者が任意の方向を指し示す利用形態としては、例えば劇場等において、スポットライトの照射方向や、アレイ状に配置された多数のスピーカによって形成される音響ビームの方向を、オペレータ(情報入力者)が指し示した方向に向ける場合等が挙げられる。
【0163】
また、情報入力者が、情報入力者からの距離が不定の任意の物体を指し示す利用形態としては、例えば建設現場や工場等においてクレーンやその他の機械をオペレータ(情報入力者)の指示に応じて動作させる場合、或いはホームオートメーションにおいて情報入力者が各種設備機器に対して各種の指示を行う場合等が挙げられる。
【0164】
また、上記では2台のビデオカメラ36A、36Bを設けた例を説明したが、これに限定されるものではなく、より多数のビデオカメラによって情報入力空間を各々撮像し、情報入力者10からの指示を判断するようにしてもよい。
【0165】
【発明の効果】
以上説明したように請求項1記載の発明は、複数の撮像手段の撮像範囲を、照明手段によって照明された認識対象者が撮像範囲内に入り、かつ照明手段によって照明される床面上の照明範囲が撮像範囲から外れるように各々調整するようにしたので、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができる、という優れた効果を有する。
【0166】
請求項2記載の発明は、互いに異なる位置に配置される複数の撮像手段の撮像範囲を、照明手段によって照明された認識対象者が撮像範囲内に入り、かつ互いに異なる照明手段によって照明される床面上の互いに異なる照明範囲が撮像範囲から外れるように各々調整し、認識対象者が特定の位置又は方向を指し示しているときに複数の照明手段の何れか1つを順に点灯させると共に、各照明手段の点灯時に、点灯している照明手段による床面上の照明範囲が撮像範囲から外れている撮像手段によって認識対象者を撮像させるので、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができる、という優れた効果を有する。
【0167】
請求項3記載の発明は、互いに異なる方向から認識対象者を照明する複数の照明手段を設け、認識対象者が特定の位置又は方向を指し示しているときに複数の照明手段の何れか1つを順に点灯させると共に、各照明手段の点灯時に同一の撮像手段の撮像によって各々得られた複数の画像を比較し、複数の画像中の認識対象者に相当する画像部とそれ以外の画像部とを判別することを、複数の撮像手段に対して各々行い、判別結果に基づいて複数の画像から認識対象者に相当する画像部を各々抽出するので、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができる、という優れた効果を有する。
【0169】
請求項4記載の発明は、認識対象者が到来する所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点について、仮想点の3次元座標と各撮像手段の撮像によって得られる各画像上での仮想点の位置とを対応付ける情報を記憶手段に各々記憶し、複数の撮像手段の撮像によって得られた各画像上での特徴点の位置及び記憶手段に記憶された情報に基づいて特徴点の3次元座標を求めているので、特徴点の3次元座標上での位置に拘らず、特徴点の3次元座標を精度良く求めることができ、構成が簡単で、認識対象者からの指示の判定に要する時間を短縮することができる、という優れた効果を有する。
【0171】
請求項5記載の発明は、請求項4の発明において、複数の撮像手段の撮像によって得られる各画像上での特徴点の位置を各々求めた後に、画像上での位置が特徴点を包含する所定範囲内である仮想点を各画像から各々抽出し、各画像から共通に抽出された仮想点の3次元座標に基づいて特徴点の3次元座標を求めているので、上記効果に加え、特徴点の3次元座標を更に精度良く求めることができる、という効果を有する。
【0172】
請求項6記載の発明は、請求項4の発明において、仮想点の位置にマーカが位置している状況を複数の撮像手段によって撮像させ、仮想点の3次元座標と各画像上での仮想点の位置とを対応付ける情報を生成し、記憶手段に記憶させるようにしたので、上記効果に加え、仮想点の3次元座標と前記各画像上での仮想点の位置とを精度良く対応付ける情報を自動的に得ることができる、という効果を有する。
【0174】
請求項7記載の発明は、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の3次元座標に基づいて認識対象者が指し示した位置又は方向を判断すると共に、基準点と特徴点との距離の変化に基づいて所定の処理を実行するようにしたので、認識対象者による所定の処理の実行を指示する動作を短時間で確実に検出することができ、認識対象者からの指示を短時間で判定することができる、という優れた効果を有する。
【0175】
請求項8記載の発明は、請求項7の発明において、基準点と特徴点との距離が増加した場合には第1の所定の処理を行い、基準点と特徴点との距離が減少した場合には第1の所定の処理と異なる第2の所定の処理を行うので、上記効果に加え、第1の所定処理及び第2の所定の処理のうち実行させるべき処理を認識対象者が選択することが可能となると共に、第1の所定処理及び第2の所定の処理のうち認識対象者によって選択された処理を確実に実行することができる、という効果を有する。
【0176】
請求項9記載の発明は、請求項7又は請求項8の発明において、基準点と特徴点との距離の変化速度を検出し、検出した変化速度が閾値以上の場合にのみ所定の処理を実行するようにしたので、上記効果に加え、認識対象者が所定の処理の実行を指示する動作を行った場合に、これを確実に検知して所定の処理を実行することができる、という効果を有する。
【0177】
請求項10記載の発明は、請求項9の発明において、所定の処理を行わせるために腕を屈曲又は伸長させる動作を行うよう認識対象者に要請し、認識対象者が腕を屈曲又は伸長させる動作を行ったときの基準点と特徴点との距離の変化速度に基づいて前記閾値を予め設定するようにしたので、上記効果に加え、個々の認識対象者の体格や筋力等のばらつきに拘らず、認識対象者による所定の処理の実行を指示する動作を確実に検知して所定の処理を実行することができる、という効果を有する。
【0178】
請求項11記載の発明は、請求項7の発明において、認識対象者の腕が下げられたことが検出された場合には、処理を実行又は停止している状態を継続するようにしたので、上記効果に加え、認識対象者の負担を軽減することができる、という効果を有する。
【図面の簡単な説明】
【図1】情報入力空間の周辺を示す斜視図である。
【図2】本実施形態に係るハンドポインティング入力装置の概略構成を示すブロック図である。
【図3】照明装置の照明範囲とビデオカメラの撮像範囲との関係の一例を示す概略図である。
【図4】マーク板の一例を示す情報入力空間の斜視図である。
【図5】格子点位置情報初期設定処理を示すフローチャートである。
【図6】照明制御処理を示すフローチャートである。
【図7】図6の照明制御処理による照明装置A、Bの点灯・消灯、ビデオカメラの撮像によって得られる画像の出力(取り込み)のタイミングを示すタイミングチャートである。
【図8】指示判断処理を示すフローチャートである。
【図9】情報入力者の身長及び床面上の位置の演算を説明するための、情報入力空間の側面図である。
【図10】(A)はビデオカメラにより撮像された情報入力者の手を示すイメージ図、(B)は特徴点の座標及び特徴点の3次元座標を求めるための格子点の検索範囲を示す概念図である。
【図11】情報入力者が指し示しているディスプレイ上の位置の判定を説明するための、(A)は情報入力空間の平面図、(B)は情報入力空間の側面図である。
【図12】(A)乃至(C)は情報入力者の動作の一例を示すイメージ図である。
【図13】照明装置の照明範囲とビデオカメラの撮像範囲との関係の他の例を示す概略図である。
【図14】図13に示す配置における照明制御処理を示すフローチャートである。
【図15】図14の照明制御処理による照明装置A、Bの点灯・消灯のタイミングを示すタイミングチャートである。
【図16】情報入力空間の床面上に傾斜台を配設した態様を示す斜視図である。
【図17】マーク板の他の例を示す情報入力空間の斜視図である。
【図18】ロボットアーム装置によってマーカの位置を移動させる例を示す情報入力空間の斜視図である。
【図19】指示判断処理の他の例を示すフローチャートである。
【図20】指示判断処理の他の例を示すフローチャートである。
【図21】クリック動作速度設定処理を示すフローチャートである。
【図22】(A)は前進クリック動作、(B)は後進クリック動作を説明するためのイメージ図である。
【図23】ダミーモデルへのデータ変換を説明するためのイメージ図である。
【符号の説明】
10 情報入力者
12 大画面ディスプレイ
14 情報処理装置
20 ハンドポインティング入力装置
22 コントローラ
24 記憶装置
32 近赤外光照明装置
36 ビデオカメラ
40 マーク板
Claims (11)
- 認識対象者を照明する照明手段と、
互いに異なる位置に配置され、前記照明手段によって照明された認識対象者が撮像範囲内に入り、かつ前記照明手段によって照明される床面上の照明範囲が撮像範囲から外れるように撮像範囲が各々調整された複数の撮像手段と、
認識対象者が特定の位置又は方向を指し示している状況を前記複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、
を含むハンドポインティング装置。 - 互いに異なる方向から認識対象者を照明する複数の照明手段と、
互いに異なる位置に配置され、前記照明手段によって照明された認識対象者が撮像範囲内に入り、かつ互いに異なる照明手段によって照明される床面上の互いに異なる照明範囲が撮像範囲から外れるように、撮像範囲が各々調整された複数の撮像手段と、
認識対象者が特定の位置又は方向を指し示しているときに、複数の照明手段の何れか1つを順に点灯させると共に、複数の照明手段の各々の点灯時に、点灯している照明手段によって照明される床面上の照明範囲が撮像範囲から外れている撮像手段によって前記認識対象者を撮像させ、該撮像によって得られた画像を出力させる制御手段と、
前記複数の撮像手段から各々出力された複数の画像に基づいて、前記画像中の認識対象者に相当する画像部を抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、
を含むハンドポインティング装置。 - 互いに異なる方向から認識対象者を照明する複数の照明手段と、
前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、
認識対象者が特定の位置又は方向を指し示しているときに、前記複数の照明手段の何れか1つを順に点灯させると共に、複数の照明手段の各々の点灯時に同一の撮像手段の撮像によって各々得られた複数の画像を比較し、前記複数の画像中の前記認識対象者に相当する画像部とそれ以外の画像部とを判別することを、複数の撮像手段に対して各々行う判別手段と、
前記判別手段による判別結果に基づいて、前記複数の撮像手段の各々が撮像した画像から認識対象者に相当する画像部を各々抽出し、認識対象者が指し示した位置又は方向を判断する判断手段と、
を含むハンドポインティング装置。 - 所定箇所に到来した認識対象者を照明する照明手段と、
前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、
前記所定箇所付近に一定間隔で格子状に並ぶ多数の仮想点について、仮想点の3次元座標と各撮像手段の撮像によって得られる各画像上での仮想点の位置とを対応付ける情報を各々記憶する記憶手段と、
認識対象者が特定の位置又は方向を指し示している状況を複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、各画像中の前記認識対象者に相当する画像部を抽出して認識対象者の特徴点の前記各画像上での位置を求め、前記各画像上での特徴点の位置及び前記記憶手段に記憶された情報に基づいて前記特徴点の3次元座標を求め、求めた特徴点の3次元座標に基づいて認識対象者が指し示した位置又は方向を判断する判断手段と、
を含むハンドポインティング装置。 - 前記判断手段は、複数の撮像手段の撮像によって得られる各画像上での前記特徴点の位置を各々求めた後に、画像上での位置が前記特徴点を包含する所定範囲内である仮想点を前記各画像から各々抽出し、前記各画像から共通に抽出された仮想点の3次元座標に基づいて前記特徴点の3次元座標を求めることを特徴とする請求項4記載の ハンドポインティング装置。
- 前記仮想点の位置にマーカが位置している状況を前記複数の撮像手段によって撮像させ、前記仮想点の3次元座標と各撮像手段の撮像によって得られた各画像上でのマーカの位置とに基づいて、仮想点の3次元座標と前記各画像上での仮想点の位置とを対応付ける情報を生成し、前記記憶手段に記憶させる生成手段を更に備えたことを特徴とする請求項4記載のハンドポインティング装置。
- 認識対象者を照明する照明手段と、
前記照明手段によって照明された認識対象者を互いに異なる方向から撮像する複数の撮像手段と、
認識対象者が特定の位置又は方向を指し示している状況を前記複数の撮像手段が各々撮像することで得られた複数の画像に基づいて、前記画像中の前記認識対象者に相当する画像部を抽出し、認識対象者が腕を屈曲又は伸長させることで位置が変化する特徴点及び認識対象者が腕を屈曲及び伸長させても位置が変化しない基準点の3次元座標を求め、特徴点及び基準点の3次元座標に基づいて認識対象者が指し示した位置又は方向を判断する判断手段と、
前記基準点と前記特徴点との距離を演算し、基準点と特徴点との距離の変化に基づいて所定の処理を実行する処理手段と、
を含むハンドポインティング装置。 - 前記処理手段は、前記基準点と前記特徴点との距離が増加した場合には第1の所定の処理を行い、前記基準点と前記特徴点との距離が減少した場合には前記第1の所定の処理と異なる第2の所定の処理を行うことを特徴とする請求項7記載のハンドポインティング装置。
- 前記処理手段は、前記基準点と前記特徴点との距離の変化速度を検出し、検出した変化速度が閾値以上の場合にのみ所定の処理を実行することを特徴とする請求項7又は請求項8記載のハンドポインティング装置。
- 前記処理手段に所定の処理を行わせるために腕を屈曲又は伸長させる動作を行うよう認識対象者に要請し、認識対象者が腕を屈曲又は伸長させる動作を行ったときの前記基準点と前記特徴点との距離の変化速度に基づいて前記閾値を予め設定する閾値設定手段を更に備えたことを特徴とする請求項9記載のハンドポインティング装置。
- 前記複数の画像中の前記認識対象者の腕に相当する画像部を抽出し、認識対象者の腕が下げられたか否かを検出する第2の検出手段を更に備え、
前記処理手段は、前記第2の検出手段によって前記認識対象者の腕が下げられたことが検出された場合には処理を実行又は停止している状態を継続する
ことを特徴とする請求項7記載のハンドポインティング装置。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36962897A JP3749369B2 (ja) | 1997-03-21 | 1997-12-29 | ハンドポインティング装置 |
DE69824225T DE69824225T2 (de) | 1997-03-21 | 1998-03-18 | Das Bild einer Hand verwendende Hinweisvorrichtung |
DE69828912T DE69828912T2 (de) | 1997-03-21 | 1998-03-18 | Hinweisvorrichtung, die das Bild einer Hand verwendet |
EP03008193A EP1329838B1 (en) | 1997-03-21 | 1998-03-18 | Pointing device using the image of the hand |
EP03008194A EP1329839B1 (en) | 1997-03-21 | 1998-03-18 | Pointing device using the image of the hand |
DE69829424T DE69829424T2 (de) | 1997-03-21 | 1998-03-18 | Hinweisvorrichtung, die das Bild einer Hand verwendet |
EP98104954A EP0866419B1 (en) | 1997-03-21 | 1998-03-18 | Pointing device using the image of the hand |
US09/040,436 US6385331B2 (en) | 1997-03-21 | 1998-03-18 | Hand pointing device |
KR1019980009762A KR100328648B1 (ko) | 1997-03-21 | 1998-03-20 | 핸드포인팅장치 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6860297 | 1997-03-21 | ||
JP9-68602 | 1997-03-21 | ||
JP36962897A JP3749369B2 (ja) | 1997-03-21 | 1997-12-29 | ハンドポインティング装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10326148A JPH10326148A (ja) | 1998-12-08 |
JP3749369B2 true JP3749369B2 (ja) | 2006-02-22 |
Family
ID=26409810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36962897A Expired - Fee Related JP3749369B2 (ja) | 1997-03-21 | 1997-12-29 | ハンドポインティング装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6385331B2 (ja) |
EP (3) | EP1329839B1 (ja) |
JP (1) | JP3749369B2 (ja) |
KR (1) | KR100328648B1 (ja) |
DE (3) | DE69828912T2 (ja) |
Families Citing this family (135)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6256046B1 (en) * | 1997-04-18 | 2001-07-03 | Compaq Computer Corporation | Method and apparatus for visual sensing of humans for active public interfaces |
JP3795647B2 (ja) | 1997-10-29 | 2006-07-12 | 株式会社竹中工務店 | ハンドポインティング装置 |
DE19806024A1 (de) * | 1998-02-13 | 1999-08-19 | Siemens Nixdorf Inf Syst | Verfahren zur Überwachung eines Gerätebedienungsvorganges und mit diesem überwachte Selbstbedienungseinrichtung |
US6690357B1 (en) | 1998-10-07 | 2004-02-10 | Intel Corporation | Input device using scanning sensors |
TW464800B (en) * | 1998-10-07 | 2001-11-21 | Intel Corp | A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system |
JP2000181601A (ja) * | 1998-12-18 | 2000-06-30 | Fujitsu General Ltd | 情報表示システム |
JP2000222117A (ja) * | 1999-01-29 | 2000-08-11 | Takenaka Komuten Co Ltd | ハンドポインティング装置、指示位置表示方法及び記録媒体 |
WO2000075860A1 (en) * | 1999-06-08 | 2000-12-14 | Soffix, S.R.L. | Electronic writing/display apparatus and respective method of operation |
EP1074943A3 (en) * | 1999-08-06 | 2004-03-24 | Canon Kabushiki Kaisha | Image processing method and apparatus |
US6738041B2 (en) | 1999-10-29 | 2004-05-18 | Intel Corporation | Using video information to control cursor position |
WO2001088681A1 (en) * | 2000-05-17 | 2001-11-22 | Koninklijke Philips Electronics N.V. | Apparatus and method for indicating a target by image processing without three-dimensional modeling |
US6531999B1 (en) | 2000-07-13 | 2003-03-11 | Koninklijke Philips Electronics N.V. | Pointing direction calibration in video conferencing and other camera-based system applications |
US20040246234A1 (en) * | 2001-03-01 | 2004-12-09 | Luis Serra | Display apparatus |
US6711280B2 (en) * | 2001-05-25 | 2004-03-23 | Oscar M. Stafsudd | Method and apparatus for intelligent ranging via image subtraction |
US7274800B2 (en) * | 2001-07-18 | 2007-09-25 | Intel Corporation | Dynamic gesture recognition from stereo sequences |
JP2003084229A (ja) * | 2001-09-14 | 2003-03-19 | Takenaka Komuten Co Ltd | 指示位置表示装置及び方法 |
WO2003054683A2 (en) * | 2001-12-07 | 2003-07-03 | Canesta Inc. | User interface for electronic devices |
AU2003217587A1 (en) * | 2002-02-15 | 2003-09-09 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
US10242255B2 (en) | 2002-02-15 | 2019-03-26 | Microsoft Technology Licensing, Llc | Gesture recognition system using depth perceptive sensors |
JP3762309B2 (ja) * | 2002-02-18 | 2006-04-05 | キヤノン株式会社 | 位置方向測定装置および情報処理方法 |
US6973579B2 (en) * | 2002-05-07 | 2005-12-06 | Interdigital Technology Corporation | Generation of user equipment identification specific scrambling code for the high speed shared control channel |
US7165029B2 (en) | 2002-05-09 | 2007-01-16 | Intel Corporation | Coupled hidden Markov model for audiovisual speech recognition |
US20030212552A1 (en) * | 2002-05-09 | 2003-11-13 | Liang Lu Hong | Face recognition procedure useful for audiovisual speech recognition |
US7209883B2 (en) * | 2002-05-09 | 2007-04-24 | Intel Corporation | Factorial hidden markov model for audiovisual speech recognition |
JP4149213B2 (ja) * | 2002-07-12 | 2008-09-10 | 本田技研工業株式会社 | 指示位置検出装置及び自律ロボット |
US7151530B2 (en) | 2002-08-20 | 2006-12-19 | Canesta, Inc. | System and method for determining an input selected by a user through a virtual interface |
US7526120B2 (en) * | 2002-09-11 | 2009-04-28 | Canesta, Inc. | System and method for providing intelligent airbag deployment |
US20040066500A1 (en) * | 2002-10-02 | 2004-04-08 | Gokturk Salih Burak | Occupancy detection and measurement system and method |
EP1408443B1 (en) * | 2002-10-07 | 2006-10-18 | Sony France S.A. | Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition |
US7171043B2 (en) | 2002-10-11 | 2007-01-30 | Intel Corporation | Image recognition using hidden markov models and coupled hidden markov models |
US7472063B2 (en) * | 2002-12-19 | 2008-12-30 | Intel Corporation | Audio-visual feature fusion and support vector machine useful for continuous speech recognition |
US7203368B2 (en) * | 2003-01-06 | 2007-04-10 | Intel Corporation | Embedded bayesian network for pattern recognition |
JP3849645B2 (ja) * | 2003-01-20 | 2006-11-22 | ソニー株式会社 | 監視装置 |
JP4286556B2 (ja) * | 2003-02-24 | 2009-07-01 | 株式会社東芝 | 画像表示装置 |
US7618323B2 (en) * | 2003-02-26 | 2009-11-17 | Wms Gaming Inc. | Gaming machine system having a gesture-sensing mechanism |
FR2853423B1 (fr) * | 2003-03-20 | 2005-07-15 | Simag Dev | Dispositif de saisie comportant un capteur optique suivi d'un moyen de filtrage |
DE602004006190T8 (de) * | 2003-03-31 | 2008-04-10 | Honda Motor Co., Ltd. | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
US7439074B2 (en) * | 2003-09-30 | 2008-10-21 | Hoa Duc Nguyen | Method of analysis of alcohol by mass spectrometry |
US7746321B2 (en) | 2004-05-28 | 2010-06-29 | Erik Jan Banning | Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor |
CN1977293A (zh) * | 2004-06-29 | 2007-06-06 | 皇家飞利浦电子股份有限公司 | 个人手势签名 |
WO2006027423A1 (fr) * | 2004-08-09 | 2006-03-16 | Simag Developpement | Dispositif de saisie comportant un capteur optique suivi d’un moyen de filtrage |
US8009871B2 (en) | 2005-02-08 | 2011-08-30 | Microsoft Corporation | Method and system to segment depth images and to detect shapes in three-dimensionally acquired data |
JP5631535B2 (ja) | 2005-02-08 | 2014-11-26 | オブロング・インダストリーズ・インコーポレーテッド | ジェスチャベースの制御システムのためのシステムおよび方法 |
KR100687737B1 (ko) * | 2005-03-19 | 2007-02-27 | 한국전자통신연구원 | 양손 제스쳐에 기반한 가상 마우스 장치 및 방법 |
JP4654773B2 (ja) * | 2005-05-31 | 2011-03-23 | 富士フイルム株式会社 | 情報処理装置、動画像符号化装置、情報処理方法及び情報処理プログラム |
US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
KR100815159B1 (ko) | 2005-12-08 | 2008-03-19 | 한국전자통신연구원 | 다수의 카메라를 이용한 손 추적 3 차원 입력 장치 및 그방법 |
US8537111B2 (en) | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US8531396B2 (en) | 2006-02-08 | 2013-09-10 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US8370383B2 (en) | 2006-02-08 | 2013-02-05 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US9075441B2 (en) * | 2006-02-08 | 2015-07-07 | Oblong Industries, Inc. | Gesture based control using three-dimensional information extracted over an extended depth of field |
US9823747B2 (en) | 2006-02-08 | 2017-11-21 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
US8537112B2 (en) * | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US9910497B2 (en) * | 2006-02-08 | 2018-03-06 | Oblong Industries, Inc. | Gestural control of autonomous and semi-autonomous systems |
EP2004299A2 (en) * | 2006-03-22 | 2008-12-24 | Home Focus Development Limited | Interactive playmat |
US8972902B2 (en) * | 2008-08-22 | 2015-03-03 | Northrop Grumman Systems Corporation | Compound gesture recognition |
US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
US8180114B2 (en) * | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
US8589824B2 (en) * | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
US8234578B2 (en) * | 2006-07-25 | 2012-07-31 | Northrop Grumman Systems Corporatiom | Networked gesture collaboration system |
US8432448B2 (en) * | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
JP2008052029A (ja) * | 2006-08-24 | 2008-03-06 | Takata Corp | 撮像システム、車両乗員検出システム、作動装置制御システム、車両 |
KR100799766B1 (ko) | 2006-10-25 | 2008-02-01 | 엠텍비젼 주식회사 | 포인터 이동 제어 장치 |
US8356254B2 (en) * | 2006-10-25 | 2013-01-15 | International Business Machines Corporation | System and method for interacting with a display |
KR100814289B1 (ko) | 2006-11-14 | 2008-03-18 | 서경대학교 산학협력단 | 실시간 동작 인식 장치 및 그 방법 |
KR100851977B1 (ko) * | 2006-11-20 | 2008-08-12 | 삼성전자주식회사 | 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치. |
JP5212991B2 (ja) * | 2007-03-30 | 2013-06-19 | 独立行政法人情報通信研究機構 | 空中映像インタラクション装置及びそのプログラム |
EP2150893A4 (en) | 2007-04-24 | 2012-08-22 | Oblong Ind Inc | PROTEINS, POOLS AND SLAWX IN PROCESSING ENVIRONMENTS |
EP2145238A4 (en) * | 2007-04-26 | 2011-10-12 | Roberto Rosso | COMMUNICATION CONTROL BUS AND DEVICE FOR CONTROLLING MULTIPLE ELECTRONIC HARDWARE DEVICES |
US8139110B2 (en) * | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
US9377874B2 (en) * | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
JP5120754B2 (ja) * | 2008-03-28 | 2013-01-16 | 株式会社国際電気通信基礎技術研究所 | 動作検出装置 |
US10642364B2 (en) | 2009-04-02 | 2020-05-05 | Oblong Industries, Inc. | Processing tracking and recognition data in gestural recognition systems |
US9495013B2 (en) | 2008-04-24 | 2016-11-15 | Oblong Industries, Inc. | Multi-modal gestural interface |
US9740922B2 (en) | 2008-04-24 | 2017-08-22 | Oblong Industries, Inc. | Adaptive tracking system for spatial input devices |
US9740293B2 (en) | 2009-04-02 | 2017-08-22 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US9684380B2 (en) | 2009-04-02 | 2017-06-20 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US9952673B2 (en) | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
US8723795B2 (en) | 2008-04-24 | 2014-05-13 | Oblong Industries, Inc. | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes |
JP2011525283A (ja) * | 2008-06-18 | 2011-09-15 | オブロング・インダストリーズ・インコーポレーテッド | 車両インターフェース用ジェスチャ基準制御システム |
US8345920B2 (en) * | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
US20100066673A1 (en) * | 2008-09-16 | 2010-03-18 | Shang Tai Yeh | Laser pointer capable of detecting a gesture associated therewith and representing the gesture with a function |
JP5183398B2 (ja) * | 2008-09-29 | 2013-04-17 | 株式会社日立製作所 | 入力装置 |
EP2352078B1 (en) * | 2008-10-01 | 2022-09-07 | Sony Interactive Entertainment Inc. | Information processing apparatus, information processing method, information recording medium, and program |
US8788977B2 (en) * | 2008-11-20 | 2014-07-22 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
US10824238B2 (en) | 2009-04-02 | 2020-11-03 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US9317128B2 (en) | 2009-04-02 | 2016-04-19 | Oblong Industries, Inc. | Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control |
JP2010257089A (ja) * | 2009-04-22 | 2010-11-11 | Xiroku:Kk | 光学式位置検出装置 |
JP5567908B2 (ja) * | 2009-06-24 | 2014-08-06 | キヤノン株式会社 | 3次元計測装置、その計測方法及びプログラム |
JP4701424B2 (ja) * | 2009-08-12 | 2011-06-15 | 島根県 | 画像認識装置および操作判定方法並びにプログラム |
KR100969927B1 (ko) * | 2009-08-17 | 2010-07-14 | (주)예연창 | 사용자 지향적 비접촉식 상호 작용 디스플레이 장치 |
US8970669B2 (en) * | 2009-09-30 | 2015-03-03 | Rovi Guides, Inc. | Systems and methods for generating a three-dimensional media guidance application |
US9933852B2 (en) | 2009-10-14 | 2018-04-03 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US9971807B2 (en) | 2009-10-14 | 2018-05-15 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
JP2011166332A (ja) * | 2010-02-08 | 2011-08-25 | Hitachi Consumer Electronics Co Ltd | 情報処理装置 |
US8878773B1 (en) | 2010-05-24 | 2014-11-04 | Amazon Technologies, Inc. | Determining relative motion as input |
US8749484B2 (en) | 2010-10-01 | 2014-06-10 | Z124 | Multi-screen user interface with orientation based control |
KR20120051212A (ko) * | 2010-11-12 | 2012-05-22 | 엘지전자 주식회사 | 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치 |
US9440144B2 (en) | 2011-04-21 | 2016-09-13 | Sony Interactive Entertainment Inc. | User identified to a controller |
US9123272B1 (en) | 2011-05-13 | 2015-09-01 | Amazon Technologies, Inc. | Realistic image lighting and shading |
KR101235432B1 (ko) * | 2011-07-11 | 2013-02-22 | 김석중 | 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법 |
US9041734B2 (en) | 2011-07-12 | 2015-05-26 | Amazon Technologies, Inc. | Simulating three-dimensional features |
US10088924B1 (en) | 2011-08-04 | 2018-10-02 | Amazon Technologies, Inc. | Overcoming motion effects in gesture recognition |
WO2013035308A2 (en) * | 2011-09-05 | 2013-03-14 | Panasonic Corporation | Television communication system, terminal, and method |
US8947351B1 (en) | 2011-09-27 | 2015-02-03 | Amazon Technologies, Inc. | Point of view determinations for finger tracking |
US8842057B2 (en) * | 2011-09-27 | 2014-09-23 | Z124 | Detail on triggers: transitional states |
US9223415B1 (en) | 2012-01-17 | 2015-12-29 | Amazon Technologies, Inc. | Managing resource usage for task performance |
US8884928B1 (en) | 2012-01-26 | 2014-11-11 | Amazon Technologies, Inc. | Correcting for parallax in electronic displays |
US9063574B1 (en) | 2012-03-14 | 2015-06-23 | Amazon Technologies, Inc. | Motion detection systems for electronic devices |
US9285895B1 (en) | 2012-03-28 | 2016-03-15 | Amazon Technologies, Inc. | Integrated near field sensor for display devices |
US9587804B2 (en) | 2012-05-07 | 2017-03-07 | Chia Ming Chen | Light control systems and methods |
US8938124B2 (en) | 2012-05-10 | 2015-01-20 | Pointgrab Ltd. | Computer vision based tracking of a hand |
WO2013190538A1 (en) * | 2012-06-20 | 2013-12-27 | Pointgrab Ltd. | Method for touchless control of a device |
CN102968208B (zh) * | 2012-09-05 | 2015-10-07 | 广东威创视讯科技股份有限公司 | 面阵摄像头定位图像有效区域调整方式的选择方法和*** |
US9423886B1 (en) | 2012-10-02 | 2016-08-23 | Amazon Technologies, Inc. | Sensor connectivity approaches |
US8933882B2 (en) * | 2012-12-31 | 2015-01-13 | Intentive Inc. | User centric interface for interaction with visual display that recognizes user intentions |
JP6070211B2 (ja) * | 2013-01-22 | 2017-02-01 | 株式会社リコー | 情報処理装置、システム、画像投影装置、情報処理方法およびプログラム |
WO2014129683A1 (ko) * | 2013-02-21 | 2014-08-28 | 엘지전자 주식회사 | 원격 포인팅 방법 |
US9524028B2 (en) | 2013-03-08 | 2016-12-20 | Fastvdo Llc | Visual language for human computer interfaces |
US9035874B1 (en) | 2013-03-08 | 2015-05-19 | Amazon Technologies, Inc. | Providing user input to a computing device with an eye closure |
US9829984B2 (en) | 2013-05-23 | 2017-11-28 | Fastvdo Llc | Motion-assisted visual language for human computer interfaces |
US9717118B2 (en) | 2013-07-16 | 2017-07-25 | Chia Ming Chen | Light control systems and methods |
US9269012B2 (en) | 2013-08-22 | 2016-02-23 | Amazon Technologies, Inc. | Multi-tracker object tracking |
US11199906B1 (en) | 2013-09-04 | 2021-12-14 | Amazon Technologies, Inc. | Global user input management |
US10055013B2 (en) | 2013-09-17 | 2018-08-21 | Amazon Technologies, Inc. | Dynamic object tracking for user interfaces |
US9367203B1 (en) | 2013-10-04 | 2016-06-14 | Amazon Technologies, Inc. | User interface techniques for simulating three-dimensional depth |
US9990046B2 (en) | 2014-03-17 | 2018-06-05 | Oblong Industries, Inc. | Visual collaboration interface |
US10406967B2 (en) | 2014-04-29 | 2019-09-10 | Chia Ming Chen | Light control systems and methods |
US10088971B2 (en) * | 2014-12-10 | 2018-10-02 | Microsoft Technology Licensing, Llc | Natural user interface camera calibration |
JP6710946B2 (ja) * | 2015-12-01 | 2020-06-17 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
JP6586891B2 (ja) * | 2016-01-13 | 2019-10-09 | セイコーエプソン株式会社 | プロジェクター及びプロジェクターの制御方法 |
US10529302B2 (en) | 2016-07-07 | 2020-01-07 | Oblong Industries, Inc. | Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold |
CN106383500A (zh) * | 2016-09-05 | 2017-02-08 | 湖北工业大学 | 一种智能建筑门窗幕墙*** |
JP6255129B1 (ja) * | 2017-04-18 | 2017-12-27 | 京セラ株式会社 | 電子機器 |
JP7380453B2 (ja) * | 2020-07-01 | 2023-11-15 | トヨタ自動車株式会社 | サーバ装置、情報処理システム、及びシステムの動作方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE8915535U1 (de) * | 1989-03-02 | 1990-10-25 | Carl Zeiss, 89518 Heidenheim | Auflicht-Objektbeleuchtungseinrichtung |
JPH0474285A (ja) | 1990-07-17 | 1992-03-09 | Medama Kikaku:Kk | 特定人又は物の位置検出表示装置 |
JP3114813B2 (ja) * | 1991-02-27 | 2000-12-04 | 日本電信電話株式会社 | 情報入力方法 |
JPH0519957A (ja) * | 1991-07-15 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報の入力方法 |
DE4142614A1 (de) | 1991-10-14 | 1993-04-15 | Tropf Hermann Dr Ing | Vorrichtung und verfahren zum erkennen von objekten, wie unregelmaessigkeiten in oberflaechen oder dergleichen |
JPH05324181A (ja) | 1992-05-26 | 1993-12-07 | Takenaka Komuten Co Ltd | ハンドポインティング式入力装置 |
EP0571702A3 (en) * | 1992-05-26 | 1994-10-12 | Takenaka Corp | Handheld input device and wall computer unit. |
IT1264225B1 (it) * | 1993-09-24 | 1996-09-23 | Sintecna S R L | Dispositivo per il puntamento del cursore sullo schermo di sistemi interattivi |
JPH07160412A (ja) * | 1993-12-10 | 1995-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 指示位置検出方法 |
JP2552427B2 (ja) * | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
US5900863A (en) * | 1995-03-16 | 1999-05-04 | Kabushiki Kaisha Toshiba | Method and apparatus for controlling computer without touching input device |
JPH08329222A (ja) * | 1995-06-02 | 1996-12-13 | Takenaka Komuten Co Ltd | 3次元位置認識装置 |
JPH08328735A (ja) * | 1995-06-02 | 1996-12-13 | Takenaka Komuten Co Ltd | ハンドポインティング入力装置 |
-
1997
- 1997-12-29 JP JP36962897A patent/JP3749369B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-18 US US09/040,436 patent/US6385331B2/en not_active Expired - Fee Related
- 1998-03-18 EP EP03008194A patent/EP1329839B1/en not_active Expired - Lifetime
- 1998-03-18 DE DE69828912T patent/DE69828912T2/de not_active Expired - Fee Related
- 1998-03-18 EP EP98104954A patent/EP0866419B1/en not_active Expired - Lifetime
- 1998-03-18 DE DE69829424T patent/DE69829424T2/de not_active Expired - Fee Related
- 1998-03-18 EP EP03008193A patent/EP1329838B1/en not_active Expired - Lifetime
- 1998-03-18 DE DE69824225T patent/DE69824225T2/de not_active Expired - Fee Related
- 1998-03-20 KR KR1019980009762A patent/KR100328648B1/ko not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
EP1329839B1 (en) | 2005-03-16 |
KR19980080509A (ko) | 1998-11-25 |
EP1329838A3 (en) | 2003-08-06 |
EP0866419A3 (en) | 2001-05-23 |
JPH10326148A (ja) | 1998-12-08 |
US6385331B2 (en) | 2002-05-07 |
EP1329839A3 (en) | 2003-07-30 |
EP0866419A2 (en) | 1998-09-23 |
EP0866419B1 (en) | 2004-06-02 |
DE69829424T2 (de) | 2006-05-04 |
DE69824225D1 (de) | 2004-07-08 |
DE69829424D1 (de) | 2005-04-21 |
DE69828912T2 (de) | 2005-07-28 |
EP1329838A2 (en) | 2003-07-23 |
DE69824225T2 (de) | 2005-06-23 |
DE69828912D1 (de) | 2005-03-10 |
KR100328648B1 (ko) | 2002-07-31 |
EP1329838B1 (en) | 2005-02-02 |
US20010043719A1 (en) | 2001-11-22 |
EP1329839A2 (en) | 2003-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3749369B2 (ja) | ハンドポインティング装置 | |
JP3795647B2 (ja) | ハンドポインティング装置 | |
JP6598617B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP4278979B2 (ja) | ジェスチャーに基づいた入力及びターゲット指示のための単一カメラシステム | |
JP2988178B2 (ja) | 視線方向計測装置 | |
JPH0844490A (ja) | インターフェイス装置 | |
CN102033702A (zh) | 影像显示装置及其显示控制方法 | |
JP2004078977A (ja) | インターフェイス装置 | |
JP3792907B2 (ja) | ハンドポインティング装置 | |
JP2013156889A (ja) | 移動制御装置、移動制御装置の制御方法、及びプログラム | |
CN109219426B (zh) | 康复训练辅助控制装置以及计算机能够读取的记录介质 | |
CN108572730B (zh) | 用于使用深度感知相机与计算机实现的交互式应用程序进行交互的***和方法 | |
JP3138145U (ja) | 脳トレーニング装置 | |
CN109144598A (zh) | 基于手势的电子面罩人机交互方法与*** | |
CN111515946B (zh) | 一种人体辅助机器人的控制方法及装置 | |
JP2003076488A (ja) | 指示位置判断装置及び方法 | |
KR20150049872A (ko) | 사용자 동작 인식에 기반한 영상 처리 방법 및 시스템 | |
US11195525B2 (en) | Operation terminal, voice inputting method, and computer-readable recording medium | |
JP2000222098A (ja) | ハンドポインティング装置、指示位置表示方法及び記録媒体 | |
KR20150073146A (ko) | 사용자 동작 인식에 기반한 영상 처리 방법 및 시스템 | |
JP2021071788A (ja) | 撮影システム | |
US12039650B2 (en) | Moving image processing method of a moving image viewed by a viewing user, a server device controlling the moving image, and a computer program thereof | |
KR20080083095A (ko) | 패턴 마커 인식에의한 모션 캡처장치와 컴퓨터 입력장치 | |
KR20090087778A (ko) | 패턴 마커 인식에의한 모션 캡처장치와 컴퓨터 입력장치 | |
JP6597277B2 (ja) | 投影装置、投影方法及び投影用コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051201 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |