JP2015179491A - 遮蔽パターン検出に基づくジェスチャ制御を可能とするシステムと方法 - Google Patents
遮蔽パターン検出に基づくジェスチャ制御を可能とするシステムと方法 Download PDFInfo
- Publication number
- JP2015179491A JP2015179491A JP2014175266A JP2014175266A JP2015179491A JP 2015179491 A JP2015179491 A JP 2015179491A JP 2014175266 A JP2014175266 A JP 2014175266A JP 2014175266 A JP2014175266 A JP 2014175266A JP 2015179491 A JP2015179491 A JP 2015179491A
- Authority
- JP
- Japan
- Prior art keywords
- detection pixel
- gesture
- detection
- user
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
Claims (24)
- 中央処理ユニットとカメラとメモリを備える電子システムが実行する、ユーザが行うジェスチャを複数の検出用画素塊を含むユーザインタフェースを用いて検出する為の方法であって、
前記方法は、
a.前記カメラが、前記複数の検出用画素塊の画像を取得し、
b.前記中央処理ユニットが、前記取得した複数の検出用画素塊の画像において、前記ユーザが行うジェスチャによる前記複数の検出用画素塊の内の少なくとも一部の遮蔽を識別し、
c.前記中央処理ユニットが、前記識別した前記複数の検出用画素塊の少なくとも一部の遮蔽に基づいて、前記ユーザが行うジェスチャを検出する、
ことを含む、方法。 - プロジェクタが、前記複数の検出用画素塊を表示面上に投影し、
前記プロジェクタが、前記表示面上にコンテンツを投影する、
ことを更に含み、
前記投影された複数の検出用画素塊は実質的にすべての投影されたコンテンツと重なり合う、請求項1に記載の方法。 - 電子表示装置が、前記複数の検出用画素塊を表示し、
前記電子表示装置が、コンテンツを表示する、
ことを更に含み、
前記表示された複数の検出用画素塊は実質的に前記表示されたコンテンツ全体と重なり合う、請求項1に記載の方法。 - 前記bにおいて、前記複数の検出用画素塊の前記少なくとも一部の遮蔽は、前記取得した複数の検出用画素塊の画像内の前記検出用画素塊に対応する位置における色値に基づいて識別される、請求項1に記載の方法。
- 前記複数の検出用画素塊の少なくとも一部の前記識別された遮蔽が所定の遮蔽パターンに一致し、かつ前記識別された遮蔽が所定の時間間隔の間存続するという条件に基づいて押し操作イベントを検出することを更に含む、請求項1に記載の方法。
- 前記複数の検出用画素塊が表示面上に表示または投影され、かつ前記ジェスチャの検出が前記押し操作イベントの検出に応答して実行される、請求項5に記載の方法。
- 前記押し操作イベントの検出に応答して、前記複数の検出用画素塊を表示面上に表示するか又は前記複数の検出用画素塊を表示面上に投影することを更に含み、
前記複数の検出用画素塊が最初は前記検出された押し操作イベントの周りに配置される、請求項5に記載の方法。 - 前記複数の検出用画素塊は最後に識別されたユーザ生成イベントの位置を中心に円盤形状に配置される、請求項7に記載の方法。
- 前記押し操作イベントが以前に検出されていて、かつ
i.前記複数の検出用画素塊の少なくとも一部の前記識別された遮蔽は、第2の所定の時間間隔の間には発生しないか、又は
ii.前記複数の検出用画素塊の少なくとも一部の前記識別された遮蔽は、第3の所定の時間間隔の間、前記押し操作イベントの場所において発生する、
という条件に基づいてリリース操作イベントを検出することを更に含む、請求項5に記載の方法。 - 前記リリース操作イベントの検出に応答して、前記ジェスチャの検出を中止することを更に含む、請求項9に記載の方法。
- 前記ユーザのジェスチャの検出に応答して、前記ジェスチャに関連するコマンドを発行することを更に含む、請求項1に記載の方法。
- 前記ジェスチャに関連するコマンドは、画像のパンコマンド及び画像のズームコマンド、画像の回転コマンドから成る群より選択される、請求項11に記載の方法。
- 前記ユーザのジェスチャの方向を検出することを更に含み、前記発行されるコマンドは、少なくとも部分的に前記ジェスチャの検出された方向に基づく、請求項11に記載の方法。
- 前記ユーザのジェスチャの速度を検出することを更に含み、前記発行されるコマンドは、少なくとも部分的に前記ジェスチャの検出された速度に基づく、請求項11に記載の方法。
- 前記ジェスチャは、前記複数の検出用画素塊を表示する面への物理的接触なしに前記ユーザによって実行される、請求項1に記載の方法。
- 前記取得した複数の検出用画素塊の画像において前記複数の検出用画素塊のそれぞれに対応する位置を識別することによって較正操作を実行し、かつ前記識別された位置に情報を格納することを更に含む、請求項1に記載の方法。
- 前記複数の検出用画素塊はグリッド状に配置され、
前記cにおける前記ジェスチャの検出は、ユーザ生成イベントを検出することを含み、
前記ユーザ生成イベントは、前記グリッド状に配置された第1の検出用画素塊と、前記第1の検出用画素塊に隣接する少なくとも1つの第2の検出用画素塊が所定の遮蔽パターンに従って遮蔽される条件に基づいて検出され、
前記ユーザ生成イベントの位置は前記第1の検出用画素塊の位置である、請求項1に記載の方法。 - 前記複数の検出用画素塊はグリッド状に配置され、
前記cにおいて、前記ジェスチャの検出は、ユーザ生成イベントを検出することを含み、
前記ユーザ生成イベントは、前記グリッド状に配置された第1の検出用画素塊と、前記第1の検出用画素塊に隣接する少なくとも1つの第2の検出用画素塊とが遮蔽され、かつ前記グリッド状に配置された検出用画素塊の少なくとも1つの第3の検出用画素塊が遮蔽されないという条件に基づいて検出され、
前記第1、第2、第3の検出用画素塊は、所定の遮蔽パターンに従っており、かつ
前記ジェスチャの位置は前記第1の検出用画素塊の位置である、請求項1に記載の方法。 - 前記cにおいて前記ジェスチャは所定の時間間隔内の2つの異なる時間において識別された2つの遮蔽に基づいて検出される、請求項1に記載の方法。
- 前記2つの識別された遮蔽は相互に所定の距離内で起きる、請求項19に記載の方法。
- 前記検出されたジェスチャは連続的なジェスチャである、請求項1に記載の方法。
- ジェスチャウィジェットを提供することを更に含み、
前記複数の検出用画素塊が表示面上に表示または投影され、かつ
前記ジェスチャの検出は、前記ユーザにより前記提供されたジェスチャウィジェットの作動の検出に応答して実行される、請求項1に記載の方法。 - 中央処理ユニットと、カメラと、メモリとを備える電子システムに、ユーザが行うジェスチャを複数の検出用画素塊を用いて検出させる、一組のコンピュータ実行可能命令を包含するプログラムであって、前記プログラムは、
a.前記カメラに、前記複数の検出用画素塊の画像を取得させ、
b.前記中央処理ユニットに、前記取得された複数の検出用画素塊の画像において、前記ユーザが行うジェスチャによる、前記複数の検出用画素塊の内の少なくとも一部の遮蔽を識別させ、
c.前記中央処理ユニットに、前記識別された前記複数の検出用画素塊の少なくとも一部の遮蔽に基づいて、前記ユーザが行うジェスチャを検出させる、
プログラム。 - a.複数の検出用画素塊を備えるユーザインタフェースをユーザに提供するためのユーザインタフェース生成モジュールと、
b.前記ユーザインタフェースの画像を取得するためのカメラと、
c.前記ユーザインタフェースの取得された画像において、前記ユーザが行うジェスチャによる、複数の検出用画素塊の少なくとも一部の遮蔽を識別するための、遮蔽識別モジュールと、
d.前記識別された前記複数の検出用画素塊の少なくとも一部の遮蔽に基づいて、前記ユーザが行うジェスチャを検出するための、ジェスチャ検出モジュールと、
を含む、電子システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/218,891 | 2014-03-18 | ||
US14/218,891 US9411432B2 (en) | 2013-04-18 | 2014-03-18 | Systems and methods for enabling gesture control based on detection of occlusion patterns |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015179491A true JP2015179491A (ja) | 2015-10-08 |
JP6394190B2 JP6394190B2 (ja) | 2018-09-26 |
Family
ID=54263464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014175266A Active JP6394190B2 (ja) | 2014-03-18 | 2014-08-29 | 遮蔽パターン検出に基づくジェスチャ制御を可能とするシステムと方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6394190B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018181140A (ja) * | 2017-04-19 | 2018-11-15 | 東芝情報システム株式会社 | コマンド入力システム及びコマンド入力システム用プログラム |
JP2018181294A (ja) * | 2017-04-20 | 2018-11-15 | 富士ゼロックス株式会社 | カメラベースのグラフィカルユーザインタフェースを提供するための方法およびシステム、コンピュータシステム、プログラム |
US10354428B2 (en) | 2016-09-12 | 2019-07-16 | Seiko Epson Corporation | Display device and method of controlling display device |
CN112748822A (zh) * | 2019-10-29 | 2021-05-04 | Oppo广东移动通信有限公司 | 投影键盘***、移动终端及投影键盘的实现方法 |
CN113377199A (zh) * | 2021-06-16 | 2021-09-10 | 广东艾檬电子科技有限公司 | 手势识别方法、终端设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003076495A (ja) * | 2001-08-31 | 2003-03-14 | Hitachi Kokusai Electric Inc | 仮想入力装置 |
JP2005326274A (ja) * | 2004-05-14 | 2005-11-24 | Canon Inc | 配置情報推定方法および情報処理装置 |
US20090116742A1 (en) * | 2007-11-01 | 2009-05-07 | H Keith Nishihara | Calibration of a Gesture Recognition Interface System |
US20120320092A1 (en) * | 2011-06-14 | 2012-12-20 | Electronics And Telecommunications Research Institute | Method and apparatus for exhibiting mixed reality based on print medium |
-
2014
- 2014-08-29 JP JP2014175266A patent/JP6394190B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003076495A (ja) * | 2001-08-31 | 2003-03-14 | Hitachi Kokusai Electric Inc | 仮想入力装置 |
JP2005326274A (ja) * | 2004-05-14 | 2005-11-24 | Canon Inc | 配置情報推定方法および情報処理装置 |
US20090116742A1 (en) * | 2007-11-01 | 2009-05-07 | H Keith Nishihara | Calibration of a Gesture Recognition Interface System |
US20120320092A1 (en) * | 2011-06-14 | 2012-12-20 | Electronics And Telecommunications Research Institute | Method and apparatus for exhibiting mixed reality based on print medium |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10354428B2 (en) | 2016-09-12 | 2019-07-16 | Seiko Epson Corporation | Display device and method of controlling display device |
JP2018181140A (ja) * | 2017-04-19 | 2018-11-15 | 東芝情報システム株式会社 | コマンド入力システム及びコマンド入力システム用プログラム |
JP2018181294A (ja) * | 2017-04-20 | 2018-11-15 | 富士ゼロックス株式会社 | カメラベースのグラフィカルユーザインタフェースを提供するための方法およびシステム、コンピュータシステム、プログラム |
CN112748822A (zh) * | 2019-10-29 | 2021-05-04 | Oppo广东移动通信有限公司 | 投影键盘***、移动终端及投影键盘的实现方法 |
CN113377199A (zh) * | 2021-06-16 | 2021-09-10 | 广东艾檬电子科技有限公司 | 手势识别方法、终端设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6394190B2 (ja) | 2018-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3997552B1 (en) | Virtual user interface using a peripheral device in artificial reality environments | |
US9411432B2 (en) | Systems and methods for enabling gesture control based on detection of occlusion patterns | |
JP6676071B2 (ja) | 仮想現実におけるオブジェクトとの手のコンテキスト依存衝突を介した入力 | |
US11443453B2 (en) | Method and device for detecting planes and/or quadtrees for use as a virtual substrate | |
JP6394190B2 (ja) | 遮蔽パターン検出に基づくジェスチャ制御を可能とするシステムと方法 | |
US9146669B2 (en) | Password processing method and apparatus | |
US20120113044A1 (en) | Multi-Sensor Device | |
US20140168062A1 (en) | Systems and methods for triggering actions based on touch-free gesture detection | |
US20120007857A1 (en) | Information Processing Device, Information Processing Method, and Program | |
US20140118268A1 (en) | Touch screen operation using additional inputs | |
WO2015102658A1 (en) | Systems and techniques for user interface control | |
JP2013141207A (ja) | ハンドヘルドプロジェクタを用いたマルチユーザインタラクション | |
WO2011002414A2 (en) | A user interface | |
JP6569794B1 (ja) | 情報処理装置及びプログラム | |
JP2014211858A (ja) | ジェスチャに基づくユーザ・インターフェイスを提供するシステム、方法及びプログラム | |
US11057549B2 (en) | Techniques for presenting video stream next to camera | |
US20180260044A1 (en) | Information processing apparatus, information processing method, and program | |
JP6686345B2 (ja) | 操作イベントを検出する方法、システム及びプログラム | |
EP3037936B1 (en) | Image projection apparatus, and system employing interactive input-output capability | |
KR20230163328A (ko) | 전자 장치 및 그의 동작 방법 | |
TWI564780B (zh) | 觸控螢幕姿態技術 | |
US10222866B2 (en) | Information processing method and electronic device | |
WO2016208099A1 (ja) | 情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム | |
JP6075193B2 (ja) | 携帯端末装置 | |
WO2018042923A1 (ja) | 情報処理システム、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180731 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180813 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6394190 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |