JP6348211B2 - コンピュータ装置の遠隔制御 - Google Patents
コンピュータ装置の遠隔制御 Download PDFInfo
- Publication number
- JP6348211B2 JP6348211B2 JP2017155546A JP2017155546A JP6348211B2 JP 6348211 B2 JP6348211 B2 JP 6348211B2 JP 2017155546 A JP2017155546 A JP 2017155546A JP 2017155546 A JP2017155546 A JP 2017155546A JP 6348211 B2 JP6348211 B2 JP 6348211B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- image
- computer
- user
- finger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
- Telephonic Communication Services (AREA)
- Selective Calling Equipment (AREA)
Description
具体的には、本願発明によれば、以下の(1)〜(34)の構成が提供される。
(1)コンピュータ装置の遠隔手制御のための装置であって、
コンピュータ装置のユーザの手の動きを追跡するように構成された手追跡器と、
前記手追跡器に関連付けられ、手を表わす第1画像および第2画像をユーザに提示し、かつ追跡された動きに従って第1画像を動かすように構成された画像提示器と、
前記画像提示器に関連付けられ、第1画像と第2画像との間の相互作用に応じてコンピュータ装置を制御するように構成され、それによって、第1画像および第2画像を前記相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするコンピュータ制御器と
を備えた装置。
(2)前記手追跡器はさらに、手の動きを追跡するために、二次元ビデオデータを使用するように構成される、(1)に記載の装置。
(3)前記手追跡器はさらに、手に投射される光パターンの連続的特徴のセグメント化を検知することによって動きを追跡するように構成され、光パターンは、第1方向の前記連続的特徴、および第1方向に対し実質的に垂直な方向の非連続的特徴を有する、(1)に記載の装置。
(4)光パターンは、互いに実質的に平行に配列された複数の縞を含み、前記手追跡器はさらに、光パターンにおいて、手のそれぞれの指による縞のセグメント化によって生じる縞セグメントの少なくとも1つのクラスタを識別し、指による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって指の動きを追跡するように構成される、(3)に記載の装置。
(5)前記手追跡器はさらに、追跡されたクラスタ内の縞のセグメントの数の変化を検知することによって、指の深度移動を識別するように構成される、(4)に記載の装置。
(6)光パターンは、互いに実質的に平行に配列された複数の縞を含み、前記手追跡器はさらに、光パターンにおいて、手の掌による縞のセグメント化によって生じる縞セグメントの少なくとも1つのクラスタを識別し、掌による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって手の動きを追跡するように構成される、(3)に記載の装置。
(7)前記手追跡器はさらに、手に投射される光パターンの連続的特徴に沿ったノーテーションの位置のずれを検知することによって動きを追跡するように構成される、(1)に記載の装置。
(8)第1方向に連続的特徴を有し、かつ第1方向に対し実質的に垂直な方向に非連続的特徴を有する光パターンを手の上に投射するように構成された投光器と、
前記手追跡器に関連付けられ、光パターンを投射された手の画像を取得することにより第一画像を取得するように構成されたカメラと
を備えた、(1)に記載の装置。
(9)前記投光器はコンピュータ装置から遠隔位置にある、(8)に記載の装置。
(10)前記カメラはコンピュータ装置から遠隔位置にある、(8)に記載の装置。
(11)前記投光器は、光ビームを放出するように構成された光源と、
光パターンを生成するために、光ビームを修正するように構成された微細構造素子と
を備えた、(8)に記載の装置。
(12)前記微細構造素子はさらに、光ビームを、光ビームに沿って変化する断面強度プロファイルを有する光ビームに変換するように構成される、(11)に記載の装置。
(13)前記手追跡器に関連付けられ、追跡された手の動きの中で予め定められたジェスチャを検知するように構成されたジェスチャ認識器をさらに含み、前記コンピュータ制御器はさらに、検知されたジェスチャに対し予め定められた方法でコンピュータ装置を制御するように構成される、(1)に記載の装置。
(14)前記画像提示器はさらに、予め定められたジェスチャを検知すると、第1画像を予め定められた位置に位置合せするように構成される、(13)に記載の装置。
(15)前記画像提示器はさらに、予め定められたジェスチャを検知すると、第1画像のサイズを変更するように構成される、(13)に記載の装置。
(16)前記画像提示器はさらに、予め定められたジェスチャを検知すると、第2画像のサイズを変更するように構成される、(13)に記載の装置。
(17)前記コンピュータ制御器は、携帯電話機の一部である、(1)に記載の装置。
(18)前記コンピュータ制御器は、自動車に据え付けられる装置の一部である、(1)に記載の装置。
(19)前記コンピュータ制御器は、楽器の一部である、(1)に記載の装置。
(20)前記手追跡器は、コンピュータ装置から遠隔位置にある、(1)に記載の装置。
(21)第2画像は、コンピュータ入力装置を表わす、(1)に記載の装置。
(22)コンピュータ装置の遠隔手制御のためのコンピュータ実装方法であって、コンピュータ装置が実行するようにプログラムされたステップを含み、該ステップが
a)コンピュータ装置のユーザの手の動きを追跡するステップと、
b)手を表わす第1画像および第2画像をユーザに提示し、かつ追跡された動きに呼応して第1画像を動かすステップと、
c)第1画像と第2画像との間の相互作用に従ってコンピュータ装置を制御し、それによって、第1画像および第2画像を相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするステップと
を含む、方法
(23)手の動きの前記追跡は、二次元ビデオデータを用いて実行される、(22)に記載の方法。
(24)手の動きの前記追跡はさらに、手に投射された光パターンの連続的特徴のセグメント化を検知することを含み、光パターンは、第1方向に前記連続的特徴を有し、第1方向に対して実質的に垂直な方向に非連続的特徴を有する、(22)に記載の方法。
(25)光パターンは、互いに実質的に平行に配列された複数の縞を含み、方法はさらに、光パターンにおいて、手のそれぞれの指による縞のセグメント化によって生じる縞セグメントの少なくとも1つのクラスタを識別し、指による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって指の動きを追跡することを含む、(24)に記載の方法。
(26)追跡されたクラスタ内の縞のセグメントの数の変化を検知することによって、指の深度移動を識別することをさらに含む、(25)に記載の方法。
(27)光パターンは、互いに実質的に平行に配列された複数の縞を含み、方法はさらに、光パターンにおいて、手の掌による縞のセグメント化によって生じる縞セグメントの少なくとも1つのクラスタを識別し、掌による縞のセグメント化によって生じる縞セグメントのクラスタを追跡することによって手の動きを追跡することを含む、(24)に記載の方法。
(28)手の動きの前記追跡は、手に投射された光パターンの連続的特徴に沿ったノーテーションの位置のずれを検知することをさらに含む、(22)に記載の方法。
(29)追跡された手の動きの中で、予め定められたジェスチャを検知し、検知されたジェスチャに対して予め定められた方法でコンピュータ装置を制御することをさらに含む、(22)に記載の方法。
(30)予め定められたジェスチャが検知されると、第1画像を予め定められた位置に位置合せすることをさらに含む、(29)に記載の方法。
(31)予め定められたジェスチャが検知されると、第1画像のサイズを変更することをさらに含む、(29)に記載の方法。
(32)予め定められたジェスチャが検知されると、第2画像のサイズを変更することをさらに含む、(29)に記載の方法。
(33)第2画像は、コンピュータ入力装置を表わす、(22)に記載の方法。
(34)コンピュータ装置の遠隔手制御のためのステップを実行するためのコンピュータ実行可能命令を格納するコンピュータ可読媒体であって、該ステップが
a)コンピュータ装置のユーザの手の動きを追跡するステップと、
b)手を表わす第1画像および第2画像をユーザに提示し、かつ追跡された動きに呼応して第1画像を動かすステップと、
c)第1画像と第2画像との間の相互作用に従ってコンピュータ装置を制御し、それによって、第1画像および第2画像を相互作用させるように手を動かすことにより、ユーザがコンピュータ装置を制御することを可能にするステップと
を含む、コンピュータ可読媒体。
こともできるが)。
一部の方法は、デジタル・ビデオ・ストリームからの通常の画像解析を含む。
Claims (20)
- 以下のステップを含むコンピュータ実装方法:
コンピュータ装置のユーザの手の画像の時系列を得るステップであって、前記手が、手の追跡を可能にするパターンに構造化された光で投射されるステップ、ただし、前記構造化された光のパターンは、第1方向の連続的特徴及び第2方向の非連続的特徴を含む、
前記第1方向に沿って手から反射される光の強度プロファイルの変化に基づいて、前記連続的特徴のセグメント化を検出するステップ、
手の少なくとも一部による連続的特徴のセグメント化によって生じる連続的特徴のセグメントの少なくとも1つのクラスタを、前記構造化された光のパターンにおいて識別し、そして前記連続的特徴のセグメントの少なくとも1つのクラスタを追跡することによって、前記画像を使用して手の動きを追跡するステップ、
コンピュータ装置のディスプレイに、手を表わす第1画像と、コンピュータ装置上で実行されるコンピュータアプリケーションのオブジェクトを表わす第2画像とを提示するステップ、
手の追跡された動きに呼応して第1画像を動かすステップ、
コンピュータ装置のディプレイ上の第2画像に対する第1画像によって表わされる第1画像と第2画像の間の相互作用を検知するステップ、及び
検知された相互作用に基づいてコンピュータアプリケーションの機能性を呼び出すステップ。 - 前記第1方向の連続的特徴は、互いに実質的に平行に配列された複数の縞を含み、前記第2方向は、前記第1方向に対して垂直である、請求項1に記載の方法。
- 前記手の動きを追跡するステップは、二次元ビデオデータを使用することを含む、請求項1に記載の方法。
- 前記構造化された光のパターンは、手の指及び手の掌によるパターンの歪みに基づいて、二次元ビデオデータにおける手の指及び手の掌の動きを追跡することを可能にする、請求項1に記載の方法。
- 前記手の動きを追跡するステップは、少なくとも1つの追跡されたクラスタ内の前記連続的特徴のセグメントの数の変化を検知することによって、手の少なくとも一部の深度移動を識別することをさらに含む、請求項1に記載の方法。
- 前記構造化された光のパターンは、グリッドパターンを含み、前記方法は、グリッドパターンを有する構造化された光を手に投射することによって手の動きにおける予め定められたジェスチャを検知することをさらに含む、請求項1に記載の方法。
- 以下のものを含む装置:
コンピュータ装置のユーザの手に、手の追跡を可能にするパターンに構造化された光を投射するように構成された投光器、ただし、前記構造化された光のパターンは、第1方向の連続的特徴及び第2方向の非連続的特徴を含む、
構造化された光のパターンで投射された手の画像を取得することによって、手の画像の時系列を取得するように構成されたカメラ、
前記カメラに関連付けられた手追跡器であって、前記第1方向に沿って手から反射される光の強度プロファイルの変化に基づいて、前記連続的特徴のセグメント化を検出するように構成された手追跡器、ただし、前記手追跡器は、手の少なくとも一部による連続的特徴のセグメント化によって生じる連続的特徴のセグメントの少なくとも1つのクラスタを、前記構造化された光のパターンにおいて識別し、そして前記連続的特徴のセグメントの少なくとも1つのクラスタを追跡することによって、前記画像を使用して手の動きを追跡するようにさらに構成されている、
前記手追跡器に関連付けられた画像提示器であって、コンピュータ装置のディスプレイに、手を表わす第1画像と、コンピュータ装置上で実行されるコンピュータアプリケーションのオブジェクトを表わす第2画像とを提示するように構成された画像提示器、及び
前記画像提示器に関連付けられたコンピュータ制御器であって、手の追跡された動きに呼応して第1画像を動かすように構成され、さらにコンピュータ装置のディプレイ上の第2画像に対する第1画像によって表わされる第1画像と第2画像の間の相互作用を検知し、検知された相互作用に基づいてコンピュータアプリケーションの機能性を呼び出すように構成されたコンピュータ制御器。 - 前記第1方向の連続的特徴は、互いに実質的に平行に配列された複数の縞を含み、前記第2方向は、前記第1方向に対して垂直である、請求項7に記載の装置。
- 前記手追跡器は、手の動きを追跡するために、二次元ビデオデータを使用するようにさらに構成されている、請求項7に記載の装置。
- 前記構造化された光のパターンは、二次元ビデオデータにおける手の指の動きを追跡することを可能にする、請求項7に記載の装置。
- 前記構造化された光のパターンは、手の指及び手の掌によるパターンの歪みに基づいて、二次元ビデオデータにおける手の指及び手の掌の動きを追跡することを可能にする、請求項7に記載の装置。
- 前記手追跡器は、少なくとも1つの追跡されたクラスタ内の前記連続的特徴のセグメントの数の変化を検知することによって、手の少なくとも一部の深度移動を識別するようにさらに構成されている、請求項7に記載の装置。
- 前記カメラは、構造化された光のパターンで投射された手の画像を取得することによって第1画像を取得するようにさらに構成されている、請求項7に記載の装置。
- 前記投光器はコンピュータ装置から遠隔位置にある、請求項7に記載の装置。
- 前記カメラはコンピュータ装置から遠隔位置にある、請求項7に記載の装置。
- 前記装置は、前記手追跡器に関連付けられ、かつグリッドパターンを有する構造化された光を手に投射することによって、追跡された手の動きの中で予め定められたジェスチャを検知するように構成されたジェスチャ認識器をさらに含み、前記コンピュータ制御器は、検知されたジェスチャに対し予め定められた方法でコンピュータ装置を制御するようにさらに構成されている、請求項7に記載の装置。
- 前記画像提示器は、予め定められたジェスチャを検知すると、第1画像を予め定められた位置に位置合せするように;又は予め定められたジェスチャを検知すると、第1画像のサイズを変更するように;又は予め定められたジェスチャを検知すると、第2画像のサイズを変更するようにさらに構成されている、請求項16に記載の装置。
- 前記コンピュータ制御器は、携帯電話機の一部であるか、又は自動車に据え付けられる装置の一部であるか、又は楽器の一部である、請求項7に記載の装置。
- 前記手追跡器は、コンピュータ装置から遠隔位置にある、請求項7に記載の装置。
- 以下のステップを実行するためのコンピュータ実行可能命令を格納するコンピュータ可読媒体:
コンピュータ装置のユーザの手の画像の時系列を得るステップであって、前記手が、手の追跡を可能にするパターンに構造化された光で投射されるステップ、ただし、前記構造化された光のパターンは、第1方向の連続的特徴及び第2方向の非連続的特徴を含む、
前記第1方向に沿って手から反射される光の強度プロファイルの変化に基づいて、前記連続的特徴のセグメント化を検出するステップ、
手の少なくとも一部による連続的特徴のセグメント化によって生じる連続的特徴のセグメントの少なくとも1つのクラスタを、前記構造化された光のパターンにおいて識別し、そして前記連続的特徴のセグメントの少なくとも1つのクラスタを追跡することによって、前記画像を使用して手の動きを追跡するステップ、
コンピュータ装置のディスプレイに、手を表わす第1画像と、コンピュータ装置上で実行されるコンピュータアプリケーションのオブジェクトを表わす第2画像とを提示するステップ、
手の追跡された動きに呼応して第1画像を動かすステップ、
コンピュータ装置のディプレイ上の第2画像に対する第1画像によって表わされる第1画像と第2画像の間の相互作用を検知するステップ、及び
検知された相互作用に基づいてコンピュータアプリケーションの機能性を呼び出すステップ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US24447309P | 2009-09-22 | 2009-09-22 | |
US61/244,473 | 2009-09-22 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016085276A Division JP6207659B2 (ja) | 2009-09-22 | 2016-04-21 | コンピュータ装置の遠隔制御 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018010653A JP2018010653A (ja) | 2018-01-18 |
JP6348211B2 true JP6348211B2 (ja) | 2018-06-27 |
Family
ID=43796308
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012530394A Active JP5926184B2 (ja) | 2009-09-22 | 2010-09-19 | コンピュータ装置の遠隔制御 |
JP2016085276A Active JP6207659B2 (ja) | 2009-09-22 | 2016-04-21 | コンピュータ装置の遠隔制御 |
JP2017155546A Active JP6348211B2 (ja) | 2009-09-22 | 2017-08-10 | コンピュータ装置の遠隔制御 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012530394A Active JP5926184B2 (ja) | 2009-09-22 | 2010-09-19 | コンピュータ装置の遠隔制御 |
JP2016085276A Active JP6207659B2 (ja) | 2009-09-22 | 2016-04-21 | コンピュータ装置の遠隔制御 |
Country Status (6)
Country | Link |
---|---|
US (4) | US9507411B2 (ja) |
EP (1) | EP2480955B1 (ja) |
JP (3) | JP5926184B2 (ja) |
KR (2) | KR101809636B1 (ja) |
CN (1) | CN102656543A (ja) |
WO (1) | WO2011036618A2 (ja) |
Families Citing this family (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2569411T3 (es) | 2006-05-19 | 2016-05-10 | The Queen's Medical Center | Sistema de seguimiento de movimiento para imágenes adaptativas en tiempo real y espectroscopia |
WO2010096279A2 (en) | 2009-02-17 | 2010-08-26 | Omek Interactive , Ltd. | Method and system for gesture recognition |
US9507411B2 (en) | 2009-09-22 | 2016-11-29 | Facebook, Inc. | Hand tracker for device with display |
US8639020B1 (en) | 2010-06-16 | 2014-01-28 | Intel Corporation | Method and system for modeling subjects from a depth map |
US9870068B2 (en) | 2010-09-19 | 2018-01-16 | Facebook, Inc. | Depth mapping with a head mounted display using stereo cameras and structured light |
US9195345B2 (en) * | 2010-10-28 | 2015-11-24 | Microsoft Technology Licensing, Llc | Position aware gestures with visual feedback as input method |
EP2474950B1 (en) * | 2011-01-05 | 2013-08-21 | Softkinetic Software | Natural gesture based user interface methods and systems |
US8503494B2 (en) * | 2011-04-05 | 2013-08-06 | Microsoft Corporation | Thermal management system |
US9478067B1 (en) | 2011-04-08 | 2016-10-25 | Amazon Technologies, Inc. | Augmented reality environment with secondary sensory feedback |
JP6074170B2 (ja) | 2011-06-23 | 2017-02-01 | インテル・コーポレーション | 近距離動作のトラッキングのシステムおよび方法 |
US11048333B2 (en) | 2011-06-23 | 2021-06-29 | Intel Corporation | System and method for close-range movement tracking |
CN102841733B (zh) * | 2011-06-24 | 2015-02-18 | 株式会社理光 | 虚拟触摸屏***以及自动切换交互模式的方法 |
KR101446902B1 (ko) * | 2011-08-19 | 2014-10-07 | 한국전자통신연구원 | 사용자 인터랙션 장치 및 방법 |
EP2747641A4 (en) | 2011-08-26 | 2015-04-01 | Kineticor Inc | METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION |
US20130088434A1 (en) * | 2011-10-06 | 2013-04-11 | Sony Ericsson Mobile Communications Ab | Accessory to improve user experience with an electronic display |
KR101260053B1 (ko) | 2011-11-17 | 2013-05-06 | 재단법인대구경북과학기술원 | 동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법 |
US8958631B2 (en) | 2011-12-02 | 2015-02-17 | Intel Corporation | System and method for automatically defining and identifying a gesture |
WO2013085525A1 (en) * | 2011-12-08 | 2013-06-13 | Intel Corporation | Techniques for efficient stereo block matching for gesture recognition |
US8782565B2 (en) * | 2012-01-12 | 2014-07-15 | Cisco Technology, Inc. | System for selecting objects on display |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
JP5550670B2 (ja) * | 2012-03-28 | 2014-07-16 | 株式会社デンソーアイティーラボラトリ | 情報処理装置 |
US10448161B2 (en) | 2012-04-02 | 2019-10-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field |
US9477303B2 (en) | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
WO2014009561A2 (en) | 2012-07-13 | 2014-01-16 | Softkinetic Software | Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand |
WO2014014461A1 (en) * | 2012-07-19 | 2014-01-23 | Intel Corporation | System and method for controlling an external system using a remote device with a depth sensor |
US8907914B2 (en) * | 2012-08-31 | 2014-12-09 | General Electric Company | Methods and apparatus for documenting a procedure |
CN103777746B (zh) * | 2012-10-23 | 2018-03-13 | 腾讯科技(深圳)有限公司 | 一种人机交互方法、终端及*** |
US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US10327708B2 (en) | 2013-01-24 | 2019-06-25 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
US9717461B2 (en) | 2013-01-24 | 2017-08-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
US9305365B2 (en) | 2013-01-24 | 2016-04-05 | Kineticor, Inc. | Systems, devices, and methods for tracking moving targets |
CN105392423B (zh) | 2013-02-01 | 2018-08-17 | 凯内蒂科尔股份有限公司 | 生物医学成像中的实时适应性运动补偿的运动追踪*** |
CN104981757B (zh) | 2013-02-14 | 2017-08-22 | 苹果公司 | 灵活的房间控制器 |
JP6127564B2 (ja) * | 2013-02-15 | 2017-05-17 | コニカミノルタ株式会社 | タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム |
US9702977B2 (en) | 2013-03-15 | 2017-07-11 | Leap Motion, Inc. | Determining positional information of an object in space |
US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
US9560103B2 (en) * | 2013-06-26 | 2017-01-31 | Echostar Technologies L.L.C. | Custom video content |
US10846942B1 (en) | 2013-08-29 | 2020-11-24 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
JP6547104B2 (ja) | 2013-10-23 | 2019-07-24 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | 動的構造化光を用いた三次元深度マッピング |
US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
JP2015095682A (ja) * | 2013-11-08 | 2015-05-18 | 株式会社東芝 | 電子機器、方法、及びプログラム |
EP2891950B1 (en) | 2014-01-07 | 2018-08-15 | Sony Depthsensing Solutions | Human-to-computer natural three-dimensional hand gesture based navigation method |
US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
CN106572810A (zh) | 2014-03-24 | 2017-04-19 | 凯内蒂科尔股份有限公司 | 去除医学成像扫描的预期运动校正的***、方法和装置 |
US9749513B2 (en) | 2014-04-29 | 2017-08-29 | Facebook, Inc. | System and method for generating a light pattern for object illumination |
US9766806B2 (en) | 2014-07-15 | 2017-09-19 | Microsoft Technology Licensing, Llc | Holographic keyboard display |
WO2016014718A1 (en) | 2014-07-23 | 2016-01-28 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
CN204480228U (zh) | 2014-08-08 | 2015-07-15 | 厉动公司 | 运动感测和成像设备 |
US9842392B2 (en) * | 2014-12-15 | 2017-12-12 | Koninklijke Philips N.V. | Device, system and method for skin detection |
NL2014037B1 (en) | 2014-12-22 | 2016-10-12 | Meyn Food Proc Technology Bv | Processing line and method for inspecting a poultry carcass and/or a viscera package taken out from the poultry carcass. |
US20180267637A1 (en) * | 2014-12-22 | 2018-09-20 | Volkswagen Ag | Finger-operated control bar, and use of the finger-operated control bar |
WO2016112019A1 (en) * | 2015-01-06 | 2016-07-14 | Oculus Vr, Llc | Method and system for providing depth mapping using patterned light |
WO2016138145A1 (en) * | 2015-02-25 | 2016-09-01 | Oculus Vr, Llc | Identifying an object in a volume based on characteristics of light reflected by the object |
CN106033257B (zh) * | 2015-03-18 | 2019-05-31 | 联想(北京)有限公司 | 一种控制方法和装置 |
EP3274653B1 (en) | 2015-03-22 | 2020-11-25 | Facebook Technologies, LLC | Depth mapping with a head mounted display using stereo cameras and structured light |
EP3104209B1 (en) | 2015-05-20 | 2021-10-20 | Facebook Technologies, LLC | Method and system for generating light pattern using polygons |
US9648698B2 (en) | 2015-05-20 | 2017-05-09 | Facebook, Inc. | Method and system for generating light pattern using polygons |
US9943247B2 (en) | 2015-07-28 | 2018-04-17 | The University Of Hawai'i | Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan |
JP6510648B2 (ja) * | 2015-07-29 | 2019-05-08 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
US10067569B2 (en) * | 2015-08-14 | 2018-09-04 | Fresenius Medical Care Holdings, Inc. | Touchless interface for a medical treatment system |
JP6631181B2 (ja) * | 2015-11-13 | 2020-01-15 | セイコーエプソン株式会社 | 画像投射システム、プロジェクター、及び、画像投射システムの制御方法 |
CN108697367A (zh) | 2015-11-23 | 2018-10-23 | 凯内蒂科尓股份有限公司 | 用于在医学成像扫描期间跟踪并补偿患者运动的***、装置和方法 |
US10620316B2 (en) * | 2017-05-05 | 2020-04-14 | Qualcomm Incorporated | Systems and methods for generating a structured light depth map with a non-uniform codeword pattern |
WO2019152013A1 (en) * | 2018-01-31 | 2019-08-08 | Hewlett-Packard Development Company, L.P. | Operating user interfaces |
CN108537163A (zh) * | 2018-04-04 | 2018-09-14 | 天目爱视(北京)科技有限公司 | 一种基于可见光拍照的生物特征四维数据识别方法及*** |
CN108550184A (zh) * | 2018-04-04 | 2018-09-18 | 北京天目智联科技有限公司 | 一种基于光场相机的生物特征3d四维数据识别方法及*** |
JP6705926B1 (ja) * | 2019-03-13 | 2020-06-03 | Necプラットフォームズ株式会社 | ウェアラブルデバイスおよび制御方法 |
JP7372061B2 (ja) * | 2019-07-01 | 2023-10-31 | 株式会社日立製作所 | 遠隔作業支援システム |
KR102266874B1 (ko) * | 2020-01-03 | 2021-06-17 | 동의대학교 산학협력단 | 스마트 에어 피아노 |
US11119570B1 (en) * | 2020-10-29 | 2021-09-14 | XRSpace CO., LTD. | Method and system of modifying position of cursor |
KR102586144B1 (ko) * | 2021-09-23 | 2023-10-10 | 주식회사 딥비전 | 딥러닝을 이용한 손 움직임 추적방법 및 장치 |
Family Cites Families (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5335288A (en) | 1992-02-10 | 1994-08-02 | Faulkner Keith W | Apparatus and method for biometric identification |
JP3531014B2 (ja) | 1994-06-22 | 2004-05-24 | 株式会社トプコン | レーザ照準装置 |
WO1999058930A1 (en) | 1998-05-14 | 1999-11-18 | Metacreations Corporation | Structured-light, triangulation-based three-dimensional digitizer |
JP2000267800A (ja) | 1999-01-12 | 2000-09-29 | Takenaka Komuten Co Ltd | 動作認識装置 |
JP3714063B2 (ja) * | 1999-10-19 | 2005-11-09 | 富士ゼロックス株式会社 | 3次元形状計測装置 |
US7006236B2 (en) | 2002-05-22 | 2006-02-28 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
CN100489881C (zh) * | 2001-01-08 | 2009-05-20 | Vkb有限公司 | 数据输入装置和数据输入方法 |
US7176440B2 (en) * | 2001-01-19 | 2007-02-13 | Honeywell International Inc. | Method and apparatus for detecting objects using structured light patterns |
US6841780B2 (en) | 2001-01-19 | 2005-01-11 | Honeywell International Inc. | Method and apparatus for detecting objects |
US6714234B1 (en) | 2001-04-11 | 2004-03-30 | Applied Minds, Inc. | Maintaining eye-contact in teleconferencing using structured light |
US6947575B2 (en) * | 2001-05-24 | 2005-09-20 | Trw Inc. | Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light |
US8300042B2 (en) * | 2001-06-05 | 2012-10-30 | Microsoft Corporation | Interactive video display system using strobed light |
US7440590B1 (en) | 2002-05-21 | 2008-10-21 | University Of Kentucky Research Foundation | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns |
US7385708B2 (en) | 2002-06-07 | 2008-06-10 | The University Of North Carolina At Chapel Hill | Methods and systems for laser based real-time structured light depth extraction |
US8224064B1 (en) | 2003-05-21 | 2012-07-17 | University Of Kentucky Research Foundation, Inc. | System and method for 3D imaging using structured light illumination |
JP2006285370A (ja) * | 2005-03-31 | 2006-10-19 | Mitsubishi Fuso Truck & Bus Corp | ハンドパターンスイッチ装置及びハンドパターン操作方法 |
US7834850B2 (en) * | 2005-11-29 | 2010-11-16 | Navisense | Method and system for object control |
EP1983402A4 (en) * | 2006-02-03 | 2013-06-26 | Panasonic Corp | INPUT DEVICE AND ITS METHOD |
CN101375235B (zh) * | 2006-02-03 | 2011-04-06 | 松下电器产业株式会社 | 信息处理装置 |
WO2007105215A2 (en) * | 2006-03-14 | 2007-09-20 | Prime Sense Ltd. | Depth-varying light fields for three dimensional sensing |
ATE543132T1 (de) * | 2006-07-16 | 2012-02-15 | I Cherradi | Freifinger-tipptechnologie |
US8144121B2 (en) * | 2006-10-11 | 2012-03-27 | Victor Company Of Japan, Limited | Method and apparatus for controlling electronic appliance |
WO2008087652A2 (en) | 2007-01-21 | 2008-07-24 | Prime Sense Ltd. | Depth mapping using multi-beam illumination |
US20080256494A1 (en) * | 2007-04-16 | 2008-10-16 | Greenfield Mfg Co Inc | Touchless hand gesture device controller |
US7907781B2 (en) * | 2007-06-21 | 2011-03-15 | Mitsubishi Electric Research Laboraties, Inc. | System and method for determining geometries of scenes |
US8726194B2 (en) * | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
US8646689B2 (en) * | 2007-12-28 | 2014-02-11 | Cognex Corporation | Deformable light pattern for machine vision system |
US20090189858A1 (en) * | 2008-01-30 | 2009-07-30 | Jeff Lev | Gesture Identification Using A Structured Light Pattern |
US8319832B2 (en) * | 2008-01-31 | 2012-11-27 | Denso Corporation | Input apparatus and imaging apparatus |
TWI409502B (zh) * | 2009-01-23 | 2013-09-21 | Univ Nat Taipei Technology | 相位資訊擷取方法及其三維形貌量測系統 |
US9002354B2 (en) * | 2009-06-12 | 2015-04-07 | Google Technology Holdings, LLC | Interference control, SINR optimization and signaling enhancements to improve the performance of OTDOA measurements |
US8654234B2 (en) * | 2009-07-26 | 2014-02-18 | Massachusetts Institute Of Technology | Bi-directional screen |
US8264536B2 (en) | 2009-08-25 | 2012-09-11 | Microsoft Corporation | Depth-sensitive imaging via polarization-state mapping |
US9507411B2 (en) * | 2009-09-22 | 2016-11-29 | Facebook, Inc. | Hand tracker for device with display |
US8982182B2 (en) | 2010-03-01 | 2015-03-17 | Apple Inc. | Non-uniform spatial resource allocation for depth mapping |
EP2378394A3 (en) * | 2010-04-15 | 2015-03-25 | Electronics and Telecommunications Research Institute | User interface device and method for recognizing user interaction using same |
US20120056982A1 (en) * | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
US9870068B2 (en) * | 2010-09-19 | 2018-01-16 | Facebook, Inc. | Depth mapping with a head mounted display using stereo cameras and structured light |
KR20120071551A (ko) * | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | 구조 영상을 이용한 사용자 인터랙션 장치 및 방법 |
US8878858B2 (en) * | 2011-02-03 | 2014-11-04 | Videa, Llc | Video projection apparatus and methods, with image content control |
KR101423536B1 (ko) * | 2011-06-14 | 2014-08-01 | 한국전자통신연구원 | 인쇄매체 기반 혼합현실 구현 장치 및 방법 |
KR101446902B1 (ko) | 2011-08-19 | 2014-10-07 | 한국전자통신연구원 | 사용자 인터랙션 장치 및 방법 |
US8887043B1 (en) * | 2012-01-17 | 2014-11-11 | Rawles Llc | Providing user feedback in projection environments |
KR101953165B1 (ko) * | 2012-02-24 | 2019-05-22 | 토마스 제이. 모스카릴로 | 제스처 인식 디바이스들 및 방법들 |
KR20130099317A (ko) * | 2012-02-29 | 2013-09-06 | 한국전자통신연구원 | 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법 |
US9141868B2 (en) * | 2012-06-26 | 2015-09-22 | Xerox Corporation | Contemporaneously reconstructing images captured of a scene illuminated with unstructured and structured illumination sources |
KR20140004335A (ko) * | 2012-07-02 | 2014-01-13 | 한국전자통신연구원 | 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법 |
CN105027030B (zh) * | 2012-11-01 | 2018-10-23 | 艾卡姆有限公司 | 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 |
US9201499B1 (en) * | 2013-02-11 | 2015-12-01 | Amazon Technologies, Inc. | Object tracking in a 3-dimensional environment |
GB2513200A (en) * | 2013-04-21 | 2014-10-22 | Biogaming Ltd | Kinetic user interface |
KR20140133093A (ko) | 2013-05-09 | 2014-11-19 | 한국전자통신연구원 | 인식 장치 및 그 방법 |
US10019843B2 (en) * | 2013-08-08 | 2018-07-10 | Facebook, Inc. | Controlling a near eye display |
JP6547104B2 (ja) * | 2013-10-23 | 2019-07-24 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | 動的構造化光を用いた三次元深度マッピング |
EP2894546B1 (en) * | 2014-01-13 | 2018-07-18 | Facebook Inc. | Sub-resolution optical detection |
US9749513B2 (en) * | 2014-04-29 | 2017-08-29 | Facebook, Inc. | System and method for generating a light pattern for object illumination |
JP6417702B2 (ja) * | 2014-05-01 | 2018-11-07 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US9552074B2 (en) * | 2014-05-21 | 2017-01-24 | Facebook, Inc. | Method and system for generating user feedback of a gesture capturing device |
MX363283B (es) * | 2014-08-10 | 2019-03-19 | Facebook Inc | Luz estructura para deteccion tridimensional. |
US10126123B2 (en) * | 2014-09-19 | 2018-11-13 | Carnegie Mellon University | System and method for tracking objects with projected m-sequences |
US10013068B2 (en) * | 2014-10-08 | 2018-07-03 | Canon Kabushiki Kaisha | Information processing apparatus including a mirror configured to reflect an image and a projector and an image capturing unit arranged below the mirror |
JP6309174B1 (ja) * | 2014-12-18 | 2018-04-11 | フェイスブック,インク. | 仮想現実環境におけるユーザインターフェースを提供するシステム、装置、および方法 |
EP3234741A4 (en) * | 2014-12-18 | 2018-08-22 | Facebook, Inc. | Method, system and device for navigating in a virtual reality environment |
WO2016112019A1 (en) * | 2015-01-06 | 2016-07-14 | Oculus Vr, Llc | Method and system for providing depth mapping using patterned light |
WO2016138145A1 (en) * | 2015-02-25 | 2016-09-01 | Oculus Vr, Llc | Identifying an object in a volume based on characteristics of light reflected by the object |
EP3262439B1 (en) * | 2015-02-25 | 2022-11-02 | Facebook Technologies, LLC | Using intensity variations in a light pattern for depth mapping of objects in a volume |
CN107850782B (zh) * | 2015-05-13 | 2019-10-25 | 脸谱科技有限责任公司 | 用反射率图表示增强深度图表示 |
US9648698B2 (en) * | 2015-05-20 | 2017-05-09 | Facebook, Inc. | Method and system for generating light pattern using polygons |
-
2010
- 2010-09-19 US US13/497,589 patent/US9507411B2/en active Active
- 2010-09-19 WO PCT/IB2010/054228 patent/WO2011036618A2/en active Application Filing
- 2010-09-19 EP EP10818488.8A patent/EP2480955B1/en active Active
- 2010-09-19 KR KR1020177005250A patent/KR101809636B1/ko active IP Right Grant
- 2010-09-19 KR KR1020127009974A patent/KR101711619B1/ko active IP Right Grant
- 2010-09-19 JP JP2012530394A patent/JP5926184B2/ja active Active
- 2010-09-19 CN CN2010800528559A patent/CN102656543A/zh active Pending
- 2010-09-19 US US13/497,589 patent/US20120194561A1/en active Granted
-
2016
- 2016-03-01 US US15/057,382 patent/US9606618B2/en active Active
- 2016-04-21 JP JP2016085276A patent/JP6207659B2/ja active Active
-
2017
- 2017-02-08 US US15/427,916 patent/US9927881B2/en active Active
- 2017-08-10 JP JP2017155546A patent/JP6348211B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP2480955B1 (en) | 2018-05-16 |
US20170147082A1 (en) | 2017-05-25 |
US9606618B2 (en) | 2017-03-28 |
US9507411B2 (en) | 2016-11-29 |
CN102656543A (zh) | 2012-09-05 |
KR101809636B1 (ko) | 2018-01-18 |
JP2013505508A (ja) | 2013-02-14 |
US20160179188A1 (en) | 2016-06-23 |
EP2480955A4 (en) | 2015-07-29 |
JP2018010653A (ja) | 2018-01-18 |
KR20120085774A (ko) | 2012-08-01 |
EP2480955A2 (en) | 2012-08-01 |
JP6207659B2 (ja) | 2017-10-04 |
WO2011036618A2 (en) | 2011-03-31 |
KR101711619B1 (ko) | 2017-03-02 |
US9927881B2 (en) | 2018-03-27 |
KR20170023220A (ko) | 2017-03-02 |
WO2011036618A3 (en) | 2011-08-11 |
JP5926184B2 (ja) | 2016-05-25 |
JP2016173831A (ja) | 2016-09-29 |
US20120194561A1 (en) | 2012-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6348211B2 (ja) | コンピュータ装置の遠隔制御 | |
US20220164032A1 (en) | Enhanced Virtual Touchpad | |
KR101844390B1 (ko) | 사용자 인터페이스 제어를 위한 시스템 및 기법 | |
CN108399010B (zh) | 增强的基于相机的输入 | |
JP2022540315A (ja) | 人工現実環境において周辺デバイスを使用する仮想ユーザインターフェース | |
JP6539816B2 (ja) | 1つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法 | |
Prätorius et al. | DigiTap: an eyes-free VR/AR symbolic input device | |
Menzner et al. | Above surface interaction for multiscale navigation in mobile virtual reality | |
Edelmann et al. | The dabr-a multitouch system for intuitive 3d scene navigation | |
US20130120361A1 (en) | Spatial 3d interactive instrument | |
Chakraborty et al. | Interactive touch screen using augmented reality | |
Takahashi et al. | Extending Three-Dimensional Space Touch Interaction using Hand Gesture | |
AU2015252151B2 (en) | Enhanced virtual touchpad and touchscreen | |
WO2012114791A1 (ja) | ジェスチャー操作システム | |
Pietroszek | 3D Pointing with Everyday Devices: Speed, Occlusion, Fatigue | |
Xie et al. | Natural Bare-Hand Interaction for Remote Operating Large Touch Screen. | |
Ren | Designing for Effective Freehand Gestural Interaction | |
Pyryeskin | Investigating Selection above a Multitouch Surface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180530 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6348211 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |