JP6379880B2 - プロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なユーザインタラクションを可能とするシステム、方法及びプログラム - Google Patents
プロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なユーザインタラクションを可能とするシステム、方法及びプログラム Download PDFInfo
- Publication number
- JP6379880B2 JP6379880B2 JP2014178022A JP2014178022A JP6379880B2 JP 6379880 B2 JP6379880 B2 JP 6379880B2 JP 2014178022 A JP2014178022 A JP 2014178022A JP 2014178022 A JP2014178022 A JP 2014178022A JP 6379880 B2 JP6379880 B2 JP 6379880B2
- Authority
- JP
- Japan
- Prior art keywords
- marker pattern
- processing unit
- computing device
- mobile computing
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Description
101 プロジェクタ
102 視野
103 投影面
104 入力装置、モバイルコンピューティング装置
105 カメラ
106 サーバ
107 コンテンツストレージ
Claims (24)
- 処理ユニットとカメラとメモリとを備える計算処理システムが実行するユーザインタラクションを可能とする方法であって、
a.前記処理ユニットが、ユーザに保持されマーカパターンを表示するモバイルコンピューティング装置の複数の画像をカメラを用いて取得し、
b.前記処理ユニットが、前記取得された複数の画像内の前記マーカパターンを検出し、
c.前記処理ユニットが、前記取得された複数の画像内の前記検出されたマーカパターンに基づいて、前記モバイルコンピューティング装置の複数の位置を判定し、
d.前記処理ユニットが、前記モバイルコンピューティング装置の前記判定された複数の位置に基づいてインクストロークを描画する、
方法。 - 前記処理ユニットがコンテンツを表示し、
前記処理ユニットが、前記コンテンツに関連させて、前記インクストロークを描画することを特徴とする請求項1に記載の方法。 - 前記処理ユニットが、前記取得された複数の画像内の前記検出されたマーカパターンの少なくとも1つの特徴を判定することを更に含み、前記マーカパターンの前記判定された少なくとも1つの特徴に基づいて、前記インクストロークを描画することを特徴とする請求項1又は請求項2に記載の方法。
- 前記マーカパターンの前記特徴は、前記マーカパターンの色であることを特徴とする請求項3に記載の方法。
- 前記処理ユニットにより描画される前記インクストロークの色が、前記マーカパターンの色に基づいていることを特徴とする請求項4に記載の方法。
- 前記マーカパターンの前記特徴は、前記マーカパターンのサイズであることを特徴とする請求項3ないし5のいずれか一項に記載の方法。
- 前記インクストロークのサイズが、前記マーカパターンのサイズに基づいていることを特徴とする請求項6に記載の方法。
- 前記マーカパターンの前記少なくとも1つの特徴は、前記マーカパターン内における所定の図形要素の存在または欠如であり、
前記処理ユニットが、前記所定の図形要素の存在または欠如に基づいて、前記インクストロークの描画のオンとオフとを切り替えることを特徴とする請求項3ないし7のいずれか一項に記載の方法。 - 前記マーカパターンの前記特徴は、前記マーカパターンの回転角であることを特徴とする請求項3に記載の方法。
- 前記インクストロークの幅が、前記マーカパターンの前記回転角に基づくことを特徴とする請求項9に記載の方法。
- 処理ユニットとカメラとメモリとを備える計算処理システムが実行するユーザインタラクションを可能とする方法であって、
a.前記処理ユニットがコンテンツを表示し、
b.前記処理ユニットが、前記コンテンツ上でユーザに保持されて、マーカパターンを表示するモバイルコンピューティング装置の画像をカメラを用いて取得し、
c.前記処理ユニットが、取得された前記画像内の前記マーカパターンを検出し、
d.前記処理ユニットが、複数の前記画像から検出された複数の前記マーカパターンに基づいて、前記モバイルコンピューティング装置の複数の位置を判定し、
e.前記処理ユニットが、前記モバイルコンピューティング装置の複数の前記位置に基づいて、前記コンテンツに関連させてインクストロークを描画する、
方法。 - a.ユーザに保持され、マーカパターンを表示するモバイルコンピューティング装置の画像をカメラを用いて取得し、
b.取得された前記画像内の前記マーカパターンを処理ユニットを用いて検出し、
c.複数の前記画像から検出された複数の前記マーカパターンに基づいて、前記モバイルコンピューティング装置の複数の位置を、前記処理ユニットを用いて判定し、
d.前記モバイルコンピューティング装置の前記複数の位置に基づいて、インクストロークを描画する、
ことをコンピュータに実行させるプログラム。 - 前記処理ユニットがコンテンツを表示し、
前記処理ユニットが、前記コンテンツに関連させて、前記インクストロークを描画することを特徴とする請求項12に記載のプログラム。 - 検出されたマーカパターンの少なくとも1つの特徴を判定することを更に含み、判定された少なくとも1つの前記特徴に基づいて、前記インクストロークを描画することを特徴とする請求項12又は請求項13に記載のプログラム。
- 前記マーカパターンの前記特徴は、前記マーカパターンの色であることを特徴とする請求項14に記載のプログラム。
- 前記インクストロークの色が、前記マーカパターンの色に基づいていることを特徴とする請求項15に記載のプログラム。
- 前記マーカパターンの前記特徴は、前記マーカパターンのサイズであることを特徴とする請求項14ないし16のいずれか一項に記載のプログラム。
- 前記インクストロークのサイズが、前記マーカパターンのサイズに基づいていることを特徴とする請求項17に記載のプログラム。
- 前記マーカパターンの前記特徴は、前記マーカパターン内における所定の図形要素の存在または欠如であり、
前記所定の図形要素の存在または欠如に基づいて、インクストロークの描画のオンとオフとを切り替えることを特徴とする請求項14ないし18のいずれか一項に記載のプログラム。 - 前記マーカパターンの前記特徴は、前記マーカパターンの回転角であることを特徴とする請求項14に記載のプログラム。
- 前記インクストロークの幅が、前記マーカパターンの回転角に基づくことを特徴とする請求項14に記載のプログラム。
- a.処理ユニットを用いて、コンテンツを表示し、
b.前記コンテンツ上でユーザに保持されて、マーカパターンを表示するモバイルコンピューティング装置の画像を、カメラを用いて取得し、
c.取得された前記画像内の前記マーカパターンを、前記処理ユニットを用いて検出し、
d.複数の前記画像から検出された複数の前記マーカパターンに基づいて、前記モバイルコンピューティング装置の複数の位置を、前記処理ユニットを用いて判定し、
e.前記モバイルコンピューティング装置の複数の前記位置に基づいて、前記コンテンツに関連させてインクストロークを、前記処理ユニットを用いて描画する、
ことをコンピュータに実行させるプログラム。 - 処理ユニットとカメラと命令セットを格納するメモリとを備える計算処理システムであって、
前記命令セットは、
a.ユーザに保持され、マーカパターンを表示するモバイルコンピューティング装置の画像をカメラを用いて取得し、
b.取得された前記画像内の前記マーカパターンを処理ユニットを用いて検出し、
c.複数の前記画像から検出された複数の前記マーカパターンに基づいて、前記モバイルコンピューティング装置の複数の位置を、前記処理ユニットを用いて判定し、
d.前記モバイルコンピューティング装置の前記複数の位置に基づいて、インクストロークを描画する、
ことを前記処理ユニットに実行させる命令を含む、計算処理システム。 - 処理ユニットとカメラと命令セットを格納するメモリとを備える計算処理システムであって、
前記命令セットは、
a.処理ユニットを用いて、コンテンツを表示し、
b.前記コンテンツ上でユーザに保持されて、マーカパターンを表示するモバイルコンピューティング装置の画像を、カメラを用いて取得し、
c.取得された前記画像内の前記マーカパターンを、前記処理ユニットを用いて検出し、
d.複数の前記画像から検出された複数の前記マーカパターンに基づいて、前記モバイルコンピューティング装置の複数の位置を、前記処理ユニットを用いて判定し、
e.前記モバイルコンピューティング装置の複数の前記位置に基づいて、前記コンテンツに関連させてインクストロークを、前記処理ユニットを用いて描画する、
ことを前記処理ユニットに実行させる命令を含む、計算処理システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/288,370 US9547370B2 (en) | 2014-05-27 | 2014-05-27 | Systems and methods for enabling fine-grained user interactions for projector-camera or display-camera systems |
US14/288,370 | 2014-05-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015225652A JP2015225652A (ja) | 2015-12-14 |
JP6379880B2 true JP6379880B2 (ja) | 2018-08-29 |
Family
ID=54701682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014178022A Active JP6379880B2 (ja) | 2014-05-27 | 2014-09-02 | プロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なユーザインタラクションを可能とするシステム、方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9547370B2 (ja) |
JP (1) | JP6379880B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10990198B2 (en) | 2016-06-30 | 2021-04-27 | Intel Corporation | Wireless stylus with grip force expression capability |
US10338701B2 (en) * | 2017-07-18 | 2019-07-02 | Intel Corporation | Active brush stylus |
CN107613314B (zh) * | 2017-10-09 | 2019-09-20 | 武汉斗鱼网络科技有限公司 | 一种检测直播中刷人气行为的方法及装置 |
JP6784944B2 (ja) * | 2018-03-26 | 2020-11-18 | カシオ計算機株式会社 | 投影制御装置、マーカ検出方法及びプログラム |
US10649550B2 (en) | 2018-06-26 | 2020-05-12 | Intel Corporation | Predictive detection of user intent for stylus use |
US10921928B2 (en) * | 2019-02-22 | 2021-02-16 | Sharp Kabushiki Kaisha | Input apparatus and input system |
JP7312615B2 (ja) * | 2019-02-22 | 2023-07-21 | シャープ株式会社 | 入力装置及び入力システム |
US11032482B2 (en) * | 2019-08-05 | 2021-06-08 | Cisco Technology, Inc. | Automatic screen brightness and camera exposure adjustment for remote multimedia collaboration sessions |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4689684B2 (ja) * | 2005-01-21 | 2011-05-25 | ジェスチャー テック,インコーポレイテッド | 動作に基づくトラッキング |
JP2008117083A (ja) * | 2006-11-01 | 2008-05-22 | Sharp Corp | 座標指示装置、電子機器、座標指示方法、座標指示プログラム、及び座標指示プログラムを記録した記録媒体 |
GB0622451D0 (en) * | 2006-11-10 | 2006-12-20 | Intelligent Earth Ltd | Object position and orientation detection device |
US8086026B2 (en) * | 2008-06-27 | 2011-12-27 | Waldean Schulz | Method and system for the determination of object positions in a volume |
KR101082285B1 (ko) * | 2010-01-29 | 2011-11-09 | 주식회사 팬택 | 증강 현실 제공 단말기 및 방법 |
JP4995934B2 (ja) * | 2010-03-26 | 2012-08-08 | 株式会社コナミデジタルエンタテインメント | 拡張現実システム、マーカ端末、撮影端末、拡張現実方法、ならびに、情報記録媒体 |
US9110512B2 (en) * | 2011-03-31 | 2015-08-18 | Smart Technologies Ulc | Interactive input system having a 3D input space |
US9311883B2 (en) * | 2011-11-11 | 2016-04-12 | Microsoft Technology Licensing, Llc | Recalibration of a flexible mixed reality device |
-
2014
- 2014-05-27 US US14/288,370 patent/US9547370B2/en active Active
- 2014-09-02 JP JP2014178022A patent/JP6379880B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US9547370B2 (en) | 2017-01-17 |
JP2015225652A (ja) | 2015-12-14 |
US20150346825A1 (en) | 2015-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6379880B2 (ja) | プロジェクタ−カメラシステム又はディスプレイ−カメラシステムに対する微細なユーザインタラクションを可能とするシステム、方法及びプログラム | |
US20220129060A1 (en) | Three-dimensional object tracking to augment display area | |
US6594616B2 (en) | System and method for providing a mobile input device | |
US9584766B2 (en) | Integrated interactive space | |
EP2919104B1 (en) | Information processing device, information processing method, and computer-readable recording medium | |
Shen et al. | Vision-based hand interaction in augmented reality environment | |
US9513716B2 (en) | Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector | |
US20140300542A1 (en) | Portable device and method for providing non-contact interface | |
US10782787B2 (en) | Mirroring touch gestures | |
US20010030668A1 (en) | Method and system for interacting with a display | |
US20160012612A1 (en) | Display control method and system | |
US20190050132A1 (en) | Visual cue system | |
JP2013141207A (ja) | ハンドヘルドプロジェクタを用いたマルチユーザインタラクション | |
US20160334884A1 (en) | Remote Sensitivity Adjustment in an Interactive Display System | |
JP6686345B2 (ja) | 操作イベントを検出する方法、システム及びプログラム | |
JP2018005663A (ja) | 情報処理装置、表示システム、プログラム | |
US9946333B2 (en) | Interactive image projection | |
CN110888581A (zh) | 元素传递方法、装置、设备及存储介质 | |
JP6699406B2 (ja) | 情報処理装置、プログラム、位置情報作成方法、情報処理システム | |
WO2018042923A1 (ja) | 情報処理システム、情報処理方法、およびプログラム | |
TW201621651A (zh) | 滑鼠模擬系統及方法 | |
Yamaguchi et al. | A Study of Followable User Interface to Hand Behavior | |
Conotter et al. | Multi-device Interaction for Content Sharing | |
Stødle | Device-free interaction and cross-platform pixel based output to display walls | |
Rusnak | Unobtrusive Multi-User Interaction in Group Collaborative Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180716 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6379880 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |