JP2014192838A - 携帯端末向けarジェスチャユーザインタフェースシステム - Google Patents
携帯端末向けarジェスチャユーザインタフェースシステム Download PDFInfo
- Publication number
- JP2014192838A JP2014192838A JP2013068961A JP2013068961A JP2014192838A JP 2014192838 A JP2014192838 A JP 2014192838A JP 2013068961 A JP2013068961 A JP 2013068961A JP 2013068961 A JP2013068961 A JP 2013068961A JP 2014192838 A JP2014192838 A JP 2014192838A
- Authority
- JP
- Japan
- Prior art keywords
- finger
- terminal
- key
- user interface
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 20
- 230000005057 finger movement Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000002374 sebum Anatomy 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Landscapes
- Input From Keyboards Or The Like (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】手hが置かれた端末T奥の空間を端末Tの背面に取り付けた小型カメラ1で撮影し、得られた画像列を処理することで、指fの動きを認識し、その画像列に仮想キーボードkと認識結果を重ね合わせて端末Tのディスプレイ2に表示する。よって、操作領域は端末T奥の広い空間となり、より利便性の高い端末操作を実現できる。
【選択図】図1
Description
本システムは、手hが置かれた端末T奥の空間を端末Tの背面に取り付けた小型カメラ1で撮影し、得られた画像列を処理することで、指fの動きを認識し、その画像列に仮想キーボードkと認識結果を重ね合わせて端末Tのディスプレイ2に表示する。よって、操作領域は端末T奥の広い空間となり、より利便性の高い端末操作を実現できる。
実験システムは、小型カメラ1、小型ディスプレイ2、PC3から構成される。
小型カメラ1は、ディスプレイ2の奥の空間を写すように端末Tの背面に取り付けられている。あるいは図3に示すように、小型カメラ1を端末Tの下側の側面に取り付けてもよい。これにより、手hが端末Tによって覆い隠されなくなるので、手指全体が直視できるようになり、操作性が向上する。
従って、図6(a)から図6(b)のように指fを端末奥に移動させていけばカメラ1に写る指サイズが小さくなりキーも奥へと押し込まれていき、指fをカメラ1に近づければ、押し込まれたキーも元の位置に戻る。このようにして、実際のキーボードのキーを実際に指fで押しているような感覚が得られる。指fが動いてキータイプ判定点が別のキー上に乗ったとき、その直前まで指が乗っていたキーは元の位置に戻り、キー押下の基準値は更新される。
2 ディスプレイ
3 PC
f 指
h 手
k 仮想キーボード
N 入力フィールド
T 端末
Claims (6)
- 携帯端末の奥の空間に置いた手指を上方から撮影するカメラと、
このカメラで撮影された手指の実画像上に仮想キーボードを重ね会わせて表示するディスプレイと、
この仮想キーボードを操作することで、指の動きに連動しながら動く仮想キーと、
を備えたことを特徴とする携帯端末向けARジェスチャユーザインタフェースシステム。 - 前記カメラは携帯端末の背面あるいは下側の側面に取り付けられることを特徴とする請求項1記載の携帯端末向けARジェスチャユーザインタフェースシステム。
- 前記指の動きに連動しながら動く仮想キーは指を端末奥に移動させていけば指サイズが小さくなり仮想キーも奥へと押し込まれていき、指をカメラに近づければ、押し込まれた仮想キーも元の位置に戻ることを特徴とする請求項1記載の携帯端末向けARジェスチャユーザインタフェースシステム。
- 前記新しく指が乗った仮想キーに対する押下量は指が乗った時点で記憶される指サイズを基準値として計算され、ある閾値を超えてキーが押し込まれた場合、キー入力と判定され、そのキーに対応する情報が端末内アプリケーションとユーザにフィードバックされることを特徴とする請求項1記載の携帯端末向けARジェスチャユーザインタフェースシステム。
- 前記仮想キーボードを操作する際、指先を半透明にして仮想キーの文字を見えるように表示することを特徴とする請求項1記載の携帯端末向けARジェスチャユーザインタフェースシステム。
- 前記仮想キーボードを操作する際、指先を電子ペンのように細いスティック状に変形して表示することを特徴とする請求項1記載の携帯端末向けARジェスチャユーザインタフェースシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013068961A JP6165485B2 (ja) | 2013-03-28 | 2013-03-28 | 携帯端末向けarジェスチャユーザインタフェースシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013068961A JP6165485B2 (ja) | 2013-03-28 | 2013-03-28 | 携帯端末向けarジェスチャユーザインタフェースシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014192838A true JP2014192838A (ja) | 2014-10-06 |
JP6165485B2 JP6165485B2 (ja) | 2017-07-19 |
Family
ID=51838704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013068961A Active JP6165485B2 (ja) | 2013-03-28 | 2013-03-28 | 携帯端末向けarジェスチャユーザインタフェースシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6165485B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105373236A (zh) * | 2015-10-09 | 2016-03-02 | 北京搜狗科技发展有限公司 | 一种学词方法和装置 |
JP2016100825A (ja) * | 2014-11-25 | 2016-05-30 | カシオ計算機株式会社 | 撮像装置およびデータ記憶方法ならびにプログラム |
JP2016148901A (ja) * | 2015-02-10 | 2016-08-18 | 嘉泰 小笠原 | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 |
JP2016148896A (ja) * | 2015-02-10 | 2016-08-18 | 裕介 北園 | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 |
JP2016148899A (ja) * | 2015-02-10 | 2016-08-18 | 嘉泰 小笠原 | 電子機器 |
CN106095235A (zh) * | 2016-06-07 | 2016-11-09 | 腾讯科技(深圳)有限公司 | 基于虚拟现实的控制方法和装置 |
JP6257826B1 (ja) * | 2017-05-31 | 2018-01-10 | 株式会社コロプラ | 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置 |
WO2018198910A1 (ja) * | 2017-04-28 | 2018-11-01 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理装置の制御方法、及びプログラム |
JP2018534643A (ja) * | 2015-09-16 | 2018-11-22 | グーグル エルエルシー | 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 |
WO2018227954A1 (zh) * | 2017-06-16 | 2018-12-20 | 京东方科技集团股份有限公司 | 一种增强现实显示装置及增强现实显示方法 |
JPWO2017217375A1 (ja) * | 2016-06-15 | 2019-02-21 | ナーブ株式会社 | 画像表示装置、画像表示方法、及び画像表示プログラム |
CN109597492A (zh) * | 2018-12-05 | 2019-04-09 | 谷东科技有限公司 | 激光虚拟键盘与ar眼镜交互*** |
JP2020513618A (ja) * | 2016-12-05 | 2020-05-14 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 複合現実環境における仮想ユーザ入力制御 |
US11334765B2 (en) | 2017-07-26 | 2022-05-17 | Magic Leap, Inc. | Training a neural network with representations of user interface devices |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008158675A (ja) * | 2006-12-21 | 2008-07-10 | Toyota Motor Corp | 車両用操作装置 |
US20120001845A1 (en) * | 2010-06-30 | 2012-01-05 | Lee Chi Ching | System and Method for Virtual Touch Sensing |
WO2012075197A2 (en) * | 2010-11-30 | 2012-06-07 | Cleankeys Inc. | Dynamically located onscreen keyboard |
JP2012248067A (ja) * | 2011-05-30 | 2012-12-13 | Canon Inc | 情報入力装置、その制御方法、および制御プログラム |
JP2013041431A (ja) * | 2011-08-16 | 2013-02-28 | Fujitsu Ltd | 入力装置、入力制御方法及び入力制御プログラム |
-
2013
- 2013-03-28 JP JP2013068961A patent/JP6165485B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008158675A (ja) * | 2006-12-21 | 2008-07-10 | Toyota Motor Corp | 車両用操作装置 |
US20120001845A1 (en) * | 2010-06-30 | 2012-01-05 | Lee Chi Ching | System and Method for Virtual Touch Sensing |
WO2012075197A2 (en) * | 2010-11-30 | 2012-06-07 | Cleankeys Inc. | Dynamically located onscreen keyboard |
JP2012248067A (ja) * | 2011-05-30 | 2012-12-13 | Canon Inc | 情報入力装置、その制御方法、および制御プログラム |
JP2013041431A (ja) * | 2011-08-16 | 2013-02-28 | Fujitsu Ltd | 入力装置、入力制御方法及び入力制御プログラム |
Non-Patent Citations (1)
Title |
---|
廣部祐樹,他5名: "単眼カメラを用いた携帯機器向け空中タイピングインターフェース", 映像情報メディア学会技術報告, vol. 33, no. 23, JPN6017002402, 15 June 2009 (2009-06-15), JP, pages 65 - 68, ISSN: 0003506996 * |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016100825A (ja) * | 2014-11-25 | 2016-05-30 | カシオ計算機株式会社 | 撮像装置およびデータ記憶方法ならびにプログラム |
JP2016148901A (ja) * | 2015-02-10 | 2016-08-18 | 嘉泰 小笠原 | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 |
JP2016148896A (ja) * | 2015-02-10 | 2016-08-18 | 裕介 北園 | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 |
JP2016148899A (ja) * | 2015-02-10 | 2016-08-18 | 嘉泰 小笠原 | 電子機器 |
JP2018534643A (ja) * | 2015-09-16 | 2018-11-22 | グーグル エルエルシー | 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 |
CN105373236A (zh) * | 2015-10-09 | 2016-03-02 | 北京搜狗科技发展有限公司 | 一种学词方法和装置 |
CN105373236B (zh) * | 2015-10-09 | 2020-09-08 | 北京搜狗科技发展有限公司 | 一种学词方法和装置 |
CN106095235A (zh) * | 2016-06-07 | 2016-11-09 | 腾讯科技(深圳)有限公司 | 基于虚拟现实的控制方法和装置 |
JPWO2017217375A1 (ja) * | 2016-06-15 | 2019-02-21 | ナーブ株式会社 | 画像表示装置、画像表示方法、及び画像表示プログラム |
JP7339392B2 (ja) | 2016-12-05 | 2023-09-05 | マジック リープ, インコーポレイテッド | 複合現実環境における仮想ユーザ入力制御 |
JP2022097726A (ja) * | 2016-12-05 | 2022-06-30 | マジック リープ, インコーポレイテッド | 複合現実環境における仮想ユーザ入力制御 |
JP7112399B2 (ja) | 2016-12-05 | 2022-08-03 | マジック リープ, インコーポレイテッド | 複合現実環境における仮想ユーザ入力制御 |
US11720223B2 (en) | 2016-12-05 | 2023-08-08 | Magic Leap, Inc. | Virtual user input controls in a mixed reality environment |
JP2020513618A (ja) * | 2016-12-05 | 2020-05-14 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 複合現実環境における仮想ユーザ入力制御 |
US20200129850A1 (en) * | 2017-04-28 | 2020-04-30 | Sony Interactive Entertainment Inc. | Information processing device, control method of information processing device, and program |
US11617942B2 (en) | 2017-04-28 | 2023-04-04 | Sony Interactive Entertainment Inc. | Information processing device, control method of information processing device, and program |
US11896893B2 (en) | 2017-04-28 | 2024-02-13 | Sony Interactive Entertainment Inc. | Information processing device, control method of information processing device, and program |
US11077360B2 (en) | 2017-04-28 | 2021-08-03 | Sony Interactive Entertainment Inc. | Information processing device, control method of information processing device, and program |
US11260287B2 (en) | 2017-04-28 | 2022-03-01 | Sony Interactive Entertainment Inc. | Information processing device, control method of information processing device, and program |
WO2018198910A1 (ja) * | 2017-04-28 | 2018-11-01 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理装置の制御方法、及びプログラム |
JPWO2018198910A1 (ja) * | 2017-04-28 | 2019-11-07 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理装置の制御方法、及びプログラム |
JP2018205913A (ja) * | 2017-05-31 | 2018-12-27 | 株式会社コロプラ | 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置 |
JP6257826B1 (ja) * | 2017-05-31 | 2018-01-10 | 株式会社コロプラ | 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置 |
US11347055B2 (en) | 2017-06-16 | 2022-05-31 | Boe Technology Group Co., Ltd. | Augmented reality display apparatus and augmented reality display method |
WO2018227954A1 (zh) * | 2017-06-16 | 2018-12-20 | 京东方科技集团股份有限公司 | 一种增强现实显示装置及增强现实显示方法 |
US11334765B2 (en) | 2017-07-26 | 2022-05-17 | Magic Leap, Inc. | Training a neural network with representations of user interface devices |
US11630314B2 (en) | 2017-07-26 | 2023-04-18 | Magic Leap, Inc. | Training a neural network with representations of user interface devices |
CN109597492B (zh) * | 2018-12-05 | 2022-03-04 | 谷东科技有限公司 | 激光虚拟键盘与ar眼镜交互*** |
CN109597492A (zh) * | 2018-12-05 | 2019-04-09 | 谷东科技有限公司 | 激光虚拟键盘与ar眼镜交互*** |
Also Published As
Publication number | Publication date |
---|---|
JP6165485B2 (ja) | 2017-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6165485B2 (ja) | 携帯端末向けarジェスチャユーザインタフェースシステム | |
US9329691B2 (en) | Operation input apparatus and method using distinct determination and control areas | |
CN107665042B (zh) | 增强的虚拟触摸板和触摸屏 | |
EP4211661A2 (en) | Methods for manipulating objects in an environment | |
JP5167523B2 (ja) | 操作入力装置および操作判定方法並びにプログラム | |
US9619105B1 (en) | Systems and methods for gesture based interaction with viewpoint dependent user interfaces | |
CN102779000B (zh) | 一种用户交互***和方法 | |
CN110968187B (zh) | 由***设备启用的远程触摸检测 | |
Matulic et al. | Phonetroller: Visual representations of fingers for precise touch input with mobile phones in vr | |
US20190050132A1 (en) | Visual cue system | |
KR102147430B1 (ko) | 가상 공간 멀티 터치 인터랙션 장치 및 방법 | |
CN106445118B (zh) | 虚拟现实交互方法及装置 | |
US11500452B2 (en) | Displaying physical input devices as virtual objects | |
CN111766937A (zh) | 虚拟内容的交互方法、装置、终端设备及存储介质 | |
KR20120126508A (ko) | 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법 | |
US11397478B1 (en) | Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment | |
KR101321274B1 (ko) | 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치 | |
KR101370027B1 (ko) | 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법 | |
KR101564089B1 (ko) | 손동작 인식을 이용한 프리젠테이션 실행시스템 | |
Kemmoku et al. | AR tabletop interface using a head-mounted projector | |
US20130187890A1 (en) | User interface apparatus and method for 3d space-touch using multiple imaging sensors | |
Bai et al. | Poster: Markerless fingertip-based 3D interaction for handheld augmented reality in a small workspace | |
KR101272458B1 (ko) | 포인터를 사용하지 않는 가상 터치 장치 및 방법 | |
Higuchi et al. | AR typing interface for mobile devices | |
Zhang et al. | Free-hand gesture control with" touchable" virtual interface for human-3DTV interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160318 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161213 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6165485 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |