JP6571108B2 - モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム - Google Patents
モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム Download PDFInfo
- Publication number
- JP6571108B2 JP6571108B2 JP2016562725A JP2016562725A JP6571108B2 JP 6571108 B2 JP6571108 B2 JP 6571108B2 JP 2016562725 A JP2016562725 A JP 2016562725A JP 2016562725 A JP2016562725 A JP 2016562725A JP 6571108 B2 JP6571108 B2 JP 6571108B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- image
- database
- dimensional
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
図2Aは、本発明の実施形態による、三次元ユーザインタフェースシステム200Aの概略図である。ユーザインタフェースは、任意の種類のセンサ34(例えば二次元/三次元カメラ、超音波、三次元深度カメラ、IRカメラ)を装備した、任意の種類(モバイル、固定型、ウエラブル等)のスマート機器20に基づく。センサ34は、機器20の後ろ、正面、及び/又は機器20の周囲の三次元シーン情報をキャプチャする。この三次元シーン情報は、人間であるユーザ10の、例えば手、頭又は体のジェスチャであるジェスチャ32を含む。このジェスチャ32(手/頭/体のジェスチャ)を検出/認識すべく、スマート機器20は、充分な解像度でジェスチャ画像をキャプチャし、ジェスチャ32(手/頭/体のジェスチャ)、ならびにその特定の位置及び方向の抽出を可能にする。位置は、画像におけるジェスチャ中心(x,y)の空間的座標に、ジェスチャスケール(z方向のセンサからの距離)を加えて表す。そして方向は、手のジェスチャの、センサの三次元座標(x,y,z)に対する相対的な方向である。ジェスチャ32(手/頭/体のジェスチャ)加え、キャプチャされた画像又はクエリ画像33は通常、体の他の部分、及び/又はクラッタ背景を含む。
図4は、注釈付ジェスチャ画像のデータベース52の、インデクス可能な特徴54の形成方法50を示すフローチャートである。データベースは、方向、位置及びスケーリングにおける全ての潜在的バリエーションを有する手のジェスチャエントリーの、異なる実像56の大きなセットを含んでいる。データベースはまた、関節で結ばれた三次元ハンドモデル/三次元図形モデル等により合成し、既知の位置及び方向パラメータを有する、全ての手のジェスチャ図形57を含む。
図6は、画像クエリの処理方法30を概略的に示すフローチャートである。クエリ入力33は、ユーザ10のジェスチャ32(手/頭/体のジェスチャ)を、センサ34(二次元/三次元カメラ、IRセンサ、超音波等)によりキャプチャされた、ジェスチャ32の特定の3つの位置及び3つの方向のパラメータで特徴付けする。センサ34は、機器20の後ろ、又は正面の三次元シーン情報をキャプチャする。スマート機器20は、クエリ入力33のシークエンスをキャプチャし、及びそれらを処理して、インデクス可能な特徴36をリトリーブする。方法30は、クエリ入力33から、インデクス可能な特徴36を抽出する。インデクス可能な特徴36は、クエリ入力33から得られたエッジ画素の、正確な位置及び方向を含む低レベルのエッジ方向属性を含む。
図5は、ジェスチャ検索エンジン70の方法を示す。注釈付ジェスチャ画像のデータベース52における各エントリーの、抽出されたインデクス可能な特徴54は、インデクス可能な特徴72の大規模語彙テーブル72を、ジェスチャ検索エンジン70において構築する。
図7は、検索エンジン70の検出/認識の出力(アクション/ジェスチャ/三次元の動き、注釈付画像等)92を受信する、インタフェースレベル90の方法を示す概略図である。検出/認識されたパラメータ(アクション/ジェスチャ/三次元の動き、注釈付画像等)92は、アプリケーションプログラミングインターフェイス(API)を介して、機器20上で動作するアプリケーションプログラムに供給される。アプリケーションは、ディスプレイ100上に提示された二次元/三次元ビデオゲーム、二次元/三次元オブジェクトモデリング/レンダリング、フォトブラウジング、マップ、ナビゲーション等を含んでよい。ユーザ10は、ディスプレイ100上に提示されたビジュアルコンテンツの出力(二次元/三次元)94を知覚する。この出力は、ユーザの実行するジェスチャ32に反応して、連続的に修正される。
図8は、図2Aのモバイル機器20を示す。モバイル機器20は、記憶ユニット22、処理ユニット24、センサ34(例えば二次元/三次元カメラ、IRセンサ、超音波等)及びディスプレイ100からなる。センサ34は、機器20の正面の三次元のシーン情報をキャプチャする。機器20は、機器20の後ろの三次元のシーン情報をキャプチャする、リアセンサ34(例えば二次元/三次元カメラ、IRセンサ、超音波等)を含んでもよい。モバイル機器20は、クエリ入力33のシークエンスをキャプチャし、及びそれらを処理して、インデクス可能な特徴36をリトリーブする。記憶ユニット22は、注釈付ジェスチャ画像のデータベース52、インデクス付特徴の大規模語彙テーブル72及びジェスチャマップ73を記憶する。処理ユニット24は、画像クエリの処理方法30及び検索エンジン70の方法を実行する。処理ユニット24はまた、ディスプレイ100上に提示されたビジュアルコンテンツの出力(二次元/三次元)94を、ユーザの実行するジェスチャ32に反応して修正する。ディスプレイ100は、機器20上で動作するアプリケーションを表示する。アプリケーションは、ディスプレイ100上に提示された二次元/三次元ビデオゲーム、二次元/三次元オブジェクトモデリング/レンダリング、フォトブラウジング、マップ、ナビゲーション等を含んでよい。ユーザ10は、ディスプレイ100上に提示されたビジュアルコンテンツの出力(二次元/三次元)94を知覚する。この出力は、ユーザの実行するジェスチャ32に反応して、連続的に修正されている。
本発明の実施形態は、リアルタイムのジェスチャ認識に使用される機器において、電力が限られる状況下で、リソースを消費する計算を強いられるという問題解決に向けたものである。図11aは、本発明の実施形態による、三次元ジェスチャの認識方法を示すフローチャートである。方法は、ジェスチャ画像のデータベース52へのアクセスを有し、センサ34と通信する機器20において実行する。センサ34は、三次元のジェスチャの画像33をキャプチャするよう構成される。センサは、機器と一体型の部品とするか、又はセンサに連結可能な独立センサとしてもよい。ジェスチャ画像のデータベース52は、正規化されたジェスチャ画像のインデクス可能な特徴54を備える。インデクス可能な特徴は、正規化されたジェスチャ画像のエッジ画像の各画素に対して位置及び方向を備える。機器はデータベース52を記憶する記憶ユニット22を備えてよい。又は、機器はインタフェースユニットを備えてよく、インタフェースユニットは、例えばインターネットを介してデータベース52を記憶する、リモートデータベースノードを介して通信する。方法は以下のステップを含む。
Claims (16)
- 三次元ジェスチャの認識方法であって、ジェスチャ画像のデータベース(52)へのアクセスを有する機器(20)において実行する方法において、前記機器は、前記三次元ジェスチャの画像(33)をキャプチャするよう構成されたセンサ(34)と通信し、前記ジェスチャ画像のデータベース(52)は、正規化されたジェスチャ画像のインデクス可能な特徴(54)を備え、該インデクス可能な特徴は、前記正規化されたジェスチャ画像のエッジ画像の各画素に対して位置及び方向を備え、該方法は、
前記三次元ジェスチャの前記画像(33)を、前記センサを介してキャプチャするステップ(110)と、
比較を可能とするために、前記データベース(52)の前記正規化されたジェスチャ画像に従って、キャプチャされた画像を正規化するステップ(120)と、
キャプチャされ、正規化された前記画像(33)から、インデクス可能な特徴(36)を得るステップ(130)であって、該インデクス可能な特徴(36)は、前記キャプチャされ、正規化された画像のエッジ画像の各画素に対して位置及び方向を備えるステップ(130)と、
得られた前記インデクス可能な特徴(36)を、前記データベースの前記インデクス可能な特徴(54)と、相似機能を使用して比較するステップ(140)と、
前記データベース(52)において、前記三次元ジェスチャとマッチするジェスチャ画像を、前記比較に基づいて決定するステップ(150)であって、前記ジェスチャ画像のデータベース(52)における各エントリーに、3つの方向及び3つの位置のパラメータを備える、関連する三次元の動きのパラメータをタグ付けするステップと、
前記三次元ジェスチャとマッチする、決定されたジェスチャ画像に関連する三次元の動きのパラメータを、前記データベース(52)からリトリーブするステップと、
を含む方法。 - 請求項1に記載の方法であって、
得られた前記インデクス可能な特徴を比較する前記ステップ(140)は、更に、
前記データベースにおいて、前記キャプチャされた画像とマッチする複数のジェスチャ画像を決定するために、直接相似分析を使用するステップ(141)と、
前記複数のジェスチャ画像の1つとするために、前記データベース(52)において、前記三次元ジェスチャとマッチするジェスチャ画像を決定するステップ(150)と、を含む方法。 - 請求項2に記載の方法であって、
得られた前記インデクス可能な特徴を比較する前記ステップ(140)は、
前記キャプチャされた画像とマッチする、前記複数のジェスチャ画像のサブセットを決定するために、前記複数のジェスチャ画像に対して逆相似分析を使用するステップ(142)と、
前記複数のジェスチャ画像の前記サブセットの1つとするために、前記データベース(52)において、前記三次元ジェスチャとマッチするジェスチャ画像を決定するステップ(150)と、
を含む方法。 - 請求項1〜3の何れか一項に記載の方法であって、更に、
前記キャプチャされ、正規化された画像から、前記エッジ画像の各画素の近接画素に対して位置及び方向を備える追加的なインデクス可能な特徴を得るステップと、
得られた前記追加的なインデクス可能な特徴を、前記データベースの追加的なインデクス可能な特徴と、前記相似機能を使用して比較するステップと、
を含み、
前記データベース(52)において、前記三次元ジェスチャとマッチするジェスチャ画像を、前記追加的なインデクス可能な特徴との比較にも基づいて決定する方法。 - 請求項1〜4の何れか一項に記載の方法であって、
前記三次元ジェスチャとマッチするジェスチャ画像を、ジェスチャ画像のシークエンスにおいて、互いに近いジェスチャ画像を示すジェスチャマップに基づいて決定する方法。 - 請求項1〜5の何れか一項に記載の方法であって、
前記画像をキャプチャする前記ステップ(110)は、前記三次元ジェスチャの画像のシークエンスをキャプチャするステップを含む方法。 - 請求項6に記載の方法であって、更に、
ユーザのジェスチャを、前記画像のシークエンスに基づいて追跡するステップを含み、
前記データベース(52)において、前記三次元ジェスチャとマッチするジェスチャ画像を、追跡された前記ユーザのジェスチャにも基づいて、決定する方法。 - 請求項1〜7の何れか一項に記載の方法であって、更に、
ディスプレイ上に提示されたビジュアルコンテンツを修正するために、前記三次元ジェスチャとマッチする、決定されたジェスチャ画像を使用するステップ(160)を含む方法。 - 三次元ジェスチャを認識する機器(20)であって、正規化されたジェスチャ画像の、インデクス可能な特徴(54)を備えるジェスチャ画像のデータベース(52)へのアクセスを有するよう構成される機器(20)において、
前記インデクス可能な特徴は、前記正規化されたジェスチャ画像のエッジ画像の各画素に対して位置及び方向を備え、前記機器(20)は、前記三次元ジェスチャの画像(33)をキャプチャするよう構成されたセンサ(34)に接続可能であり、及び処理ユニット(24)を備え、
前記処理ユニット(24)は、
前記センサ(34)を介して前記三次元ジェスチャの前記画像(33)をキャプチャし、
比較を可能とするために、前記データベース(52)の前記正規化されたジェスチャ画像に従って、キャプチャされた画像を正規化し、
キャプチャされ、正規化された前記画像(33)から、インデクス可能な特徴(36)を得て、前記インデクス可能な特徴(36)は、前記キャプチャされ、正規化された画像のエッジ画像の各画素に対して位置及び方向を備え、
得られた前記インデクス可能な特徴(36)を、前記データベースの前記インデクス可能な特徴(54)と、相似機能を使用して比較し、及び
前記データベース(52)において、前記三次元ジェスチャとマッチするジェスチャ画像を、前記比較に基づいて決定し、前記ジェスチャ画像のデータベース(52)における各エントリーは、3つの方向及び3つの位置のパラメータを備える、関連する三次元の動きのパラメータをタグ付けされ、
前記三次元ジェスチャとマッチする、決定されたジェスチャ画像に関連する三次元の動きのパラメータを、前記データベース(52)からリトリーブする、よう構成される機器(20)。 - 請求項9に記載の機器(20)であって、
前記処理ユニット(24)は更に、前記データベースにおいて、前記キャプチャされた画像とマッチする、複数のジェスチャ画像を決定するために、得られた前記インデクス可能な特徴を、直接相似分析を使用して比較するよう構成され、
前記処理ユニット(24)は更に、前記複数のジェスチャ画像の1つとするために、前記データベース(52)において、前記三次元ジェスチャとマッチするジェスチャ画像を決定する、よう構成される機器(20)。 - 請求項10に記載の機器(20)であって、
前記処理ユニット(24)は更に、前記キャプチャされた画像とマッチする、前記複数のジェスチャ画像のサブセットを決定するために、得られた前記インデクス可能な特徴を、前記複数のジェスチャ画像に対する逆相似分析を使用して比較するよう構成され、
前記処理ユニット(24)は更に、前記複数のジェスチャ画像のサブセットの1つとするために、前記データベース(52)において、前記三次元ジェスチャとマッチするジェスチャ画像を決定する、よう構成される機器(20)。 - 請求項9〜11の何れか一項に記載の機器(20)であって、
前記処理ユニット(24)は、更に、
前記キャプチャされ、正規化された画像から、前記エッジ画像の各画素の近接画素に対して位置及び方向を備える追加的なインデクス可能な特徴を得て、
得られた前記追加的なインデクス可能な特徴を、前記データベースの追加的なインデクス可能な特徴と、前記相似機能を使用して比較し、
前記データベース(52)において、前記三次元ジェスチャとマッチするジェスチャ画像を、前記追加的なインデクス可能な特徴との比較にも基づいて決定する、よう構成される機器(20)。 - 請求項9〜12の何れか一項に記載の機器(20)であって、
前記処理ユニット(24)は更に、前記三次元ジェスチャとマッチするジェスチャ画像を、ジェスチャ画像のシークエンスにおいて、互いに近いジェスチャ画像を示すジェスチャマップに基づいて決定する、よう構成される機器(20)。 - 請求項9〜13の何れか一項に記載の機器(20)であって、
前記処理ユニット(24)は更に、前記三次元ジェスチャの画像のシークエンスを、前記センサ(34)を介してキャプチャする、よう構成される機器(20)。 - 請求項14に記載の機器(20)であって、
前記処理ユニット(24)は、更に、
ユーザのジェスチャを、前記画像のシークエンスに基づいて追跡し、
前記データベース(52)において、前記三次元ジェスチャとマッチするジェスチャ画像を、追跡された前記ユーザのジェスチャにも基づいて決定する、よう構成される機器(20)。 - 請求項9〜15の何れか一項に記載の機器(20)であって、
前記処理ユニット(24)は更に、ディスプレイ上に提示されたビジュアルコンテンツを修正するために、前記三次元ジェスチャとマッチする、決定されたジェスチャ画像を使用する、よう構成される機器(20)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461923687P | 2014-01-05 | 2014-01-05 | |
US61/923,687 | 2014-01-05 | ||
PCT/SE2014/051562 WO2015102527A1 (en) | 2014-01-05 | 2014-12-22 | Real-time 3d gesture recognition and tracking system for mobile devices |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017505965A JP2017505965A (ja) | 2017-02-23 |
JP6571108B2 true JP6571108B2 (ja) | 2019-09-04 |
Family
ID=52392189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016562725A Active JP6571108B2 (ja) | 2014-01-05 | 2014-12-22 | モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US10108270B2 (ja) |
EP (1) | EP3090382B1 (ja) |
JP (1) | JP6571108B2 (ja) |
KR (1) | KR102285915B1 (ja) |
CN (1) | CN106030610B (ja) |
WO (1) | WO2015102527A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10015402B2 (en) * | 2014-09-08 | 2018-07-03 | Nintendo Co., Ltd. | Electronic apparatus |
US10147243B2 (en) * | 2016-12-05 | 2018-12-04 | Google Llc | Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment |
US10107767B1 (en) * | 2017-06-14 | 2018-10-23 | The Boeing Company | Aircraft inspection system with visualization and recording |
CN107316025B (zh) * | 2017-06-27 | 2021-04-06 | 北京康邦科技有限公司 | 一种手部姿态识别方法及识别*** |
CN107479715A (zh) * | 2017-09-29 | 2017-12-15 | 广州云友网络科技有限公司 | 利用手势控制实现虚拟现实交互的方法和装置 |
CN107918488B (zh) * | 2017-10-27 | 2020-08-11 | 杭州电子科技大学 | 一种基于特征选择的各向同性三维手势识别方法 |
US10572002B2 (en) | 2018-03-13 | 2020-02-25 | Facebook Technologies, Llc | Distributed artificial reality system with contextualized hand tracking |
US10528133B2 (en) | 2018-03-13 | 2020-01-07 | Facebook Technologies, Llc | Bracelet in a distributed artificial reality system |
SE542978C2 (en) * | 2019-03-20 | 2020-09-22 | Manomotion Ab | A method and device for recognizing a gesture in real-time |
CN110276292B (zh) * | 2019-06-19 | 2021-09-10 | 上海商汤智能科技有限公司 | 智能车运动控制方法及装置、设备和存储介质 |
US11232582B2 (en) * | 2020-04-21 | 2022-01-25 | Here Global B.V. | Visual localization using a three-dimensional model and image segmentation |
US11340707B2 (en) * | 2020-05-29 | 2022-05-24 | Microsoft Technology Licensing, Llc | Hand gesture-based emojis |
KR20230025807A (ko) * | 2020-06-26 | 2023-02-23 | 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 | 사용자 인터페이스 방법 및 시스템 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0849697B1 (en) * | 1996-12-20 | 2003-02-12 | Hitachi Europe Limited | A hand gesture recognition system and method |
US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US7050606B2 (en) * | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
US6788809B1 (en) * | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
SE519733C2 (sv) * | 2000-07-05 | 2003-04-01 | Olof Lindahl | System och förfarande för tolkning av visuell information överför till en person genom taktil inverkan på känselorgan på personens kropp |
US7620205B2 (en) * | 2005-08-31 | 2009-11-17 | Siemens Medical Solutions Usa, Inc. | Method for characterizing shape, appearance and motion of an object that is being tracked |
US7681796B2 (en) * | 2006-01-05 | 2010-03-23 | International Business Machines Corporation | Mobile device tracking |
US7725547B2 (en) * | 2006-09-06 | 2010-05-25 | International Business Machines Corporation | Informing a user of gestures made by others out of the user's line of sight |
KR100978929B1 (ko) * | 2008-06-24 | 2010-08-30 | 한국전자통신연구원 | 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말 |
US20100053151A1 (en) | 2008-09-02 | 2010-03-04 | Samsung Electronics Co., Ltd | In-line mediation for manipulating three-dimensional content on a display device |
DE102008052928A1 (de) * | 2008-10-23 | 2010-05-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zur Erkennung einer Geste in einem Bild, sowie Vorrichtung, Verfahren und Computerprogramm zur Steuerung eines Geräts |
US9417699B2 (en) | 2008-12-23 | 2016-08-16 | Htc Corporation | Method and apparatus for controlling a mobile device using a camera |
TWI395145B (zh) * | 2009-02-02 | 2013-05-01 | Ind Tech Res Inst | 手勢辨識系統及其方法 |
CN101599177B (zh) * | 2009-07-01 | 2011-07-27 | 北京邮电大学 | 一种基于视频的人体肢体运动的跟踪方法 |
JP5553141B2 (ja) * | 2009-11-11 | 2014-07-16 | ソニー株式会社 | 画像処理システム、画像処理装置、画像処理方法、およびプログラム |
JP2011253292A (ja) * | 2010-06-01 | 2011-12-15 | Sony Corp | 情報処理装置および方法、並びにプログラム |
US8649575B2 (en) * | 2010-08-24 | 2014-02-11 | Samsung Electronics Co., Ltd. | Method and apparatus of a gesture based biometric system |
KR101708696B1 (ko) | 2010-09-15 | 2017-02-21 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
US8582867B2 (en) * | 2010-09-16 | 2013-11-12 | Primesense Ltd | Learning-based pose estimation from depth maps |
US9002099B2 (en) * | 2011-09-11 | 2015-04-07 | Apple Inc. | Learning-based estimation of hand and finger pose |
US9734393B2 (en) * | 2012-03-20 | 2017-08-15 | Facebook, Inc. | Gesture-based control system |
US9122916B2 (en) * | 2013-03-14 | 2015-09-01 | Honda Motor Co., Ltd. | Three dimensional fingertip tracking |
-
2014
- 2014-12-22 CN CN201480074558.2A patent/CN106030610B/zh active Active
- 2014-12-22 US US15/109,524 patent/US10108270B2/en active Active
- 2014-12-22 KR KR1020167021301A patent/KR102285915B1/ko active IP Right Grant
- 2014-12-22 EP EP14828371.6A patent/EP3090382B1/en active Active
- 2014-12-22 JP JP2016562725A patent/JP6571108B2/ja active Active
- 2014-12-22 WO PCT/SE2014/051562 patent/WO2015102527A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
KR20160129000A (ko) | 2016-11-08 |
KR102285915B1 (ko) | 2021-08-03 |
US20160334877A1 (en) | 2016-11-17 |
WO2015102527A1 (en) | 2015-07-09 |
JP2017505965A (ja) | 2017-02-23 |
CN106030610B (zh) | 2019-09-20 |
CN106030610A (zh) | 2016-10-12 |
EP3090382A1 (en) | 2016-11-09 |
US10108270B2 (en) | 2018-10-23 |
EP3090382B1 (en) | 2023-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6571108B2 (ja) | モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム | |
Yao et al. | Contour model-based hand-gesture recognition using the Kinect sensor | |
Sharp et al. | Accurate, robust, and flexible real-time hand tracking | |
US9912874B2 (en) | Real-time visual effects for a live camera view | |
US8994652B2 (en) | Model-based multi-hypothesis target tracker | |
TWI682326B (zh) | 追蹤系統及其方法 | |
US11842514B1 (en) | Determining a pose of an object from rgb-d images | |
CN104487915A (zh) | 维持扩增的连续性 | |
CN110986969B (zh) | 地图融合方法及装置、设备、存储介质 | |
CN113034652A (zh) | 虚拟形象驱动方法、装置、设备及存储介质 | |
Yousefi et al. | 3D gesture-based interaction for immersive experience in mobile VR | |
Dhore et al. | Human Pose Estimation And Classification: A Review | |
JP6393495B2 (ja) | 画像処理装置および物体認識方法 | |
Thabet et al. | Algorithm of local features fusion and modified covariance-matrix technique for hand motion position estimation and hand gesture trajectory tracking approach | |
Yousefi et al. | 3D hand gesture analysis through a real-time gesture search engine | |
Mesbahi et al. | Hand gesture recognition based on various deep learning YOLO models | |
Jain et al. | [POSTER] AirGestAR: Leveraging Deep Learning for Complex Hand Gestural Interaction with Frugal AR Devices | |
Kim et al. | Pointing gesture-based unknown object extraction for learning objects with robot | |
Uke et al. | Optimal video processing and soft computing algorithms for human hand gesture recognition from real-time video | |
Augustauskas et al. | Implementation of artificial intelligence methods for virtual reality solutions: a review of the literature | |
Zholshiyeva et al. | A Real-Time Approach to Recognition of Kazakh Sign Language | |
Sharma | Hand Gesture Recognition System: As Assistive Technology to Control Machines | |
Cardona López | Hand recognition using depth cameras | |
Yousefi et al. | 3D Interaction through a Real-time Gesture Search Engine | |
Yousefi et al. | 3D Gesture Analysis Using a Large-Scale Gesture Database |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20160727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161216 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20161221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6571108 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |