JP6340958B2 - プロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法 - Google Patents
プロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法 Download PDFInfo
- Publication number
- JP6340958B2 JP6340958B2 JP2014137201A JP2014137201A JP6340958B2 JP 6340958 B2 JP6340958 B2 JP 6340958B2 JP 2014137201 A JP2014137201 A JP 2014137201A JP 2014137201 A JP2014137201 A JP 2014137201A JP 6340958 B2 JP6340958 B2 JP 6340958B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- information
- pen
- operation direction
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000002452 interceptive effect Effects 0.000 title claims description 71
- 238000000034 method Methods 0.000 title claims description 35
- 238000001514 detection method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 9
- 101000579647 Penaeus vannamei Penaeidin-2a Proteins 0.000 description 100
- 238000004891 communication Methods 0.000 description 26
- 230000001133 acceleration Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001028 reflection method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03542—Light pens for emitting or receiving light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Projection Apparatus (AREA)
- Position Input By Displaying (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
まず、インタラクティブシステムとしては、例えば「光反射方式」のインタラクティブシステムとしてもよいし、または「光遮断方式」のインタラクティブシステムとしてもよい。「光反射方式」のインタラクティブシステムの場合、プロジェクタ装置などで映像が投影される投影面上部に赤外線装置を設け、投影面全体を撮影部(カメラ部)で撮影する。赤外線装置は、投影面全体に赤外線光を投射する。ユーザがペンまたは指などの指示体で投影面を操作すると、操作した箇所で赤外線光が反射する。操作検出部は、撮影部で撮影された投影面上で反射する赤外線光の画像を用いて、指示体によりポイントされた位置、または、ユーザの操作形態等を検出する。
(システム構成)
図1に、第1の実施の形態のインタラクティブシステムのシステム構成図を示す。一例として、第1の実施の形態のインタラクティブシステムは、プロジェクタ装置1、ペン2、パーソナルコンピュータ装置3、撮影部5、およびレーザーモジュール6を有している。プロジェクタ装置1とパーソナルコンピュータ装置3は、映像を入力するための、例えばHDMI(登録商標)ケーブル等の映像ケーブル7で接続されている。HDMI(登録商標)は、「High Definition Multimedia Interface」の略記である。さらに、プロジェクタ装置1とパーソナルコンピュータ装置3は、操作情報を送受信するための、例えばUSBケーブル等の有線ケーブル8で接続されている。USBは、「Universal Serial Bus」の略記である。なお、ブルートゥース(登録商標)等の近距離無線通信で操作情報を送受信してもよい。
図2は、プロジェクタ装置1のハードウェア構成図である。プロジェクタ装置1は、CPU11、RAM12、ROM13、USBI/Fポート14、光学部15、電源部16、電源制御部17、ファン部18、ランプ部19、およびランプ制御部20を有している。また、プロジェクタ装置1は、映像信号処理部21、映像信号受付部22、操作受付部23、無線ユニット24、および撮影部5を有している。撮影部5、およびCPU11〜無線ユニット24は、バスライン25を介して相互に接続されている。なお、図2では、撮影部5は、プロジェクタ装置1と一体的に構成されているように図示しているが、撮影部5は、プロジェクタ装置1に対して外付けの構成としてもよい。
図3は、ペン2のハードウェア構成図である。この図3に示すように、ペン2は、CPU31、RAM32、ROM33、接触検知部34、加速度検知部35、無線ユニット36を有している。CPU31〜無線ユニット36は、バスライン37を介して相互に接続されている。CPU31は、ペン2の動作制御を行う「ペン2用のインタラクティブプログラム」を実行する。RAM32は、CPU31のワークエリア等を構成する。ROM33は、CPU31が実行するインタラクティブプログラム、および、インタラクティブプログラムの実行に必要なデータを記憶する。接触検知部34は、投影面4に接触したペン先の押下を検知するセンサである。加速度検知部35は、ペン2の加速度、加速方向、およびペン2の傾き角を検知するセンサである。無線ユニット36は、例えば赤外線無線通信、または、ブルートゥース(登録商標)通信規格の無線通信を用いて、ペン2のペン識別子、加速度情報、加速方向情報、および傾き角情報等の各種情報をプロジェクタ装置1に送信する。
図4は、プロジェクタ装置1のCPU11が、プロジェクタ装置1用のインタラクティブプログラムを実行することで実現される各機能の機能ブロック図である。また、図4は、ペン2のCPU31が、ペン2用のインタラクティブプログラムを実行することで実現される各機能の機能ブロック図である。プロジェクタ装置1の機能ブロックは、映像入力受付部41〜撮影制御部50である。また、ペン2の機能ブロックは、ペン接触検知部51〜ペン情報通信部53である。
次に、図5は、投影面4の接触操作時における各装置の動作を示すシーケンス図である。図5に示すステップS1〜ステップS5は、並列処理(par)を示している。また、ステップS1〜ステップS5の各処理は、ペン2で投影面4が接触操作されている間、定期的に繰り返し実行されるループ処理(loop)である。
次に、第2の実施の形態のインタラクティブシステムを説明する。一つのペン2で投影面4が操作されている場合、撮影画像で算出される操作方向は、ペン2の操作方向である。このため、一つのペン2で投影面4が操作されている場合、プロジェクタ装置1側で撮影画像から算出した操作方向と、ペン2の固有識別情報の関連付けを行う処理は、不要となる。
次に、第3の実施の形態のインタラクティブシステムを説明する。第3の実施の形態のインタラクティブシステムでは、プロジェクタ装置1が、投影面4を操作している指示体を識別して、インタラクティブ制御を可能としたものである。すなわち、第3の実施の形態の場合、プロジェクタ装置1は、ペン2、および例えば指等のペン2以外の指示体を識別して、インタラクティブ制御を可能とする。なお、上述の各実施の形態と以下に説明する第3の実施の形態は、この点のみが異なる。このため、以下、差異の部分のみ説明し、重複説明は省略する。
2 ペン
3 パーソナルコンピュータ装置
4 投影面
5 撮影部
6 レーザーモジュール
7 映像ケーブル
8 有線ケーブル
34 接触検知部
35 加速度検知部
36 無線ユニット
41 映像入力受付部
42 映像編集部
43 投影部
44 位置座標算出部
45 ペン情報通信部
46 PC操作座標情報変換部
47 ペン方向算出部
48 ペン識別部
49 操作情報通信部
50 撮影制御部
51 ペン接触検知部
52 ペン方向検知部
53 ペン情報通信部
Claims (5)
- 投影面に投影画像を投影する投影部と、
前記投影面を操作する指示体から送信される、前記指示体の固有識別情報および操作方向を示す第1の操作方向情報を受信する受信部と、
前記投影面を撮影する撮影部と、
前記撮影部で撮影された複数の撮影画像から、前記投影面を操作する前記指示体の操作方向を示す第2の操作方向情報を生成する生成部と、
前記第1の操作方向情報に合致する前記第2の操作方向情報と、前記固有識別情報とを関連付ける関連付け部と、
関連付けられた前記固有識別情報および前記第2の操作方向情報を含む操作情報を生成する操作情報生成部と、
生成された前記操作情報を被制御機器に送信する送信部と
を有するプロジェクタ装置。 - 前記撮影部で撮影された前記撮影画像から、前記投影面を操作する前記指示体の数を検出する指示体数検出部を、さらに備え、
前記関連付け部は、検出された前記指示体の数が単数である場合、前記関連付けの処理を停止し、
前記操作情報生成部は、検出された前記指示体の数が単数である場合、前記受信部で受信された前記指示体の前記固有識別情報、および、前記生成部で生成された前記第2の操作方向情報を含む操作情報を生成すること
を特徴とする請求項1に記載のプロジェクタ装置。 - 受信された前記固有識別情報のうち、異なる前記固有識別情報の数を、前記投影面を操作する前記指示体の数として検出する第1の数検出部と、
前記撮影部で撮影された前記撮影画像から、前記指示体の数を検出する第2の数検出部と、をさらに備え、
前記関連付け部は、前記第1の数検出部で検出された前記指示体の数と、前記第2の数検出部で検出された前記指示体の数とが異なる場合、前記生成部で検出された前記第2の操作方向情報のうち、前記第1の操作方向情報に合致する前記第2の操作方向情報と、当該第1の操作方向情報と共に受信された前記固有識別情報とを関連付けし、
前記操作情報生成部は、関連付けされた前記固有識別情報および前記第2の操作方向情報を含む操作情報を生成すると共に、関連付けする前記固有識別情報が存在しない前記第2の操作方向情報を含む操作情報を生成すること
を特徴とする請求項1または請求項2に記載のプロジェクタ装置。 - 操作情報に対応する投影画像を生成する投影画像生成部と、
生成された投影画像を投影面に投影する投影部と、
前記投影面を操作する指示体から送信される、前記指示体の固有識別情報および操作方向を示す第1の操作方向情報を受信する受信部と、
前記投影面を撮影する撮影部と、
前記撮影部で撮影された複数の撮影画像から、前記投影面を操作する前記指示体の操作方向を示す第2の操作方向情報を生成する生成部と、
前記第1の操作方向情報に合致する前記第2の操作方向情報と、前記固有識別情報とを関連付ける関連付け部と、
関連付けられた前記固有識別情報および前記第2の操作方向情報を含む操作情報を生成する操作情報生成部と、
生成された前記操作情報を前記投影画像生成部に送信する送信部と
を有するインタラクティブシステム。 - 投影画像生成部が、操作情報に対応する投影画像を生成する投影画像生成ステップと、
投影部が、生成された前記投影画像を投影面に投影する投影ステップと、
受信部が、前記投影画像の前記投影面を操作する指示体から送信される、前記指示体の固有識別情報および操作方向を示す第1の操作方向情報を受信する受信ステップと、
撮影部が、前記投影面を撮影する撮影ステップと、
生成部が、撮影された複数の撮影画像から、前記投影面を操作する前記指示体の操作方向を示す第2の操作方向情報を生成する生成ステップと、
関連付け部が、前記第1の操作方向情報に合致する前記第2の操作方向情報と、前記固有識別情報とを関連付けする関連付けステップと、
操作情報生成部が、関連付けされた前記固有識別情報および前記第2の操作方向情報を含む操作情報を生成する操作情報生成ステップと、
送信部が、生成された前記操作情報を投影画像生成部に送信する送信ステップと
を有するインタラクティブ制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014137201A JP6340958B2 (ja) | 2014-07-02 | 2014-07-02 | プロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法 |
US14/744,530 US20160004337A1 (en) | 2014-07-02 | 2015-06-19 | Projector device, interactive system, and interactive control method |
EP15174353.1A EP2963528B1 (en) | 2014-07-02 | 2015-06-29 | Projector device, interactive system, and interactive control method |
CN201510386121.9A CN105323520B (zh) | 2014-07-02 | 2015-06-30 | 投影仪设备、交互***和交互控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014137201A JP6340958B2 (ja) | 2014-07-02 | 2014-07-02 | プロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016015649A JP2016015649A (ja) | 2016-01-28 |
JP6340958B2 true JP6340958B2 (ja) | 2018-06-13 |
Family
ID=53510678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014137201A Expired - Fee Related JP6340958B2 (ja) | 2014-07-02 | 2014-07-02 | プロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160004337A1 (ja) |
EP (1) | EP2963528B1 (ja) |
JP (1) | JP6340958B2 (ja) |
CN (1) | CN105323520B (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105072430B (zh) * | 2015-08-19 | 2017-10-03 | 海信集团有限公司 | 一种调整投影图像的方法和设备 |
US20180373392A1 (en) * | 2015-12-21 | 2018-12-27 | Sony Corporation | Information processing device and information processing method |
CN112416149A (zh) * | 2016-03-08 | 2021-02-26 | 禾瑞亚科技股份有限公司 | 侦测触控笔的倾斜角的触控控制装置与其控制方法 |
CN106528016A (zh) * | 2016-10-31 | 2017-03-22 | 努比亚技术有限公司 | 一种信息处理方法及终端 |
JP6763554B2 (ja) * | 2016-12-22 | 2020-09-30 | Necディスプレイソリューションズ株式会社 | カメラ装置、電子黒板システム及び描画信号生成方法 |
TWI700003B (zh) * | 2017-06-12 | 2020-07-21 | 李霈恩 | 客製化動態影音場景生成系統 |
JP2019159748A (ja) | 2018-03-13 | 2019-09-19 | セイコーエプソン株式会社 | 画像投写システム、指示体及び画像投写システムの制御方法 |
CN113391709B (zh) * | 2021-08-17 | 2021-11-19 | 深圳雷柏科技股份有限公司 | 基于蓝牙连接的红外定位笔教学***及应用方法 |
JP7162813B1 (ja) | 2022-03-04 | 2022-10-31 | チームラボ株式会社 | お絵描き用の表示制御システム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3579096B2 (ja) * | 1994-09-27 | 2004-10-20 | 株式会社日立製作所 | 表示装置 |
JP2009043139A (ja) * | 2007-08-10 | 2009-02-26 | Mitsubishi Electric Corp | 位置検出装置 |
US9350923B2 (en) * | 2010-08-31 | 2016-05-24 | Cast Group Of Companies Inc. | System and method for tracking |
JP5733941B2 (ja) * | 2010-10-07 | 2015-06-10 | 株式会社タイトー | ゲーム装置およびゲームシステム |
JP2012185798A (ja) | 2011-02-16 | 2012-09-27 | Ricoh Co Ltd | 座標検出システム、情報処理装置、方法、プログラムおよび記録媒体 |
JP6141596B2 (ja) * | 2011-12-27 | 2017-06-07 | セイコーエプソン株式会社 | 表示装置、表示システム及び表示装置のデータ供給方法 |
US20130342704A1 (en) * | 2012-06-23 | 2013-12-26 | VillageTech Solutions | Interactive audiovisual device |
GB2508840B (en) * | 2012-12-12 | 2015-10-21 | Modular Software Ltd T A Reflective Thinking | Method and apparatus for tracking the movement of a plurality of pointer devices within a scene |
-
2014
- 2014-07-02 JP JP2014137201A patent/JP6340958B2/ja not_active Expired - Fee Related
-
2015
- 2015-06-19 US US14/744,530 patent/US20160004337A1/en not_active Abandoned
- 2015-06-29 EP EP15174353.1A patent/EP2963528B1/en not_active Not-in-force
- 2015-06-30 CN CN201510386121.9A patent/CN105323520B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP2963528A1 (en) | 2016-01-06 |
US20160004337A1 (en) | 2016-01-07 |
EP2963528B1 (en) | 2017-04-26 |
CN105323520B (zh) | 2018-08-24 |
CN105323520A (zh) | 2016-02-10 |
JP2016015649A (ja) | 2016-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6340958B2 (ja) | プロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法 | |
JP6442893B2 (ja) | プロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法 | |
JP2001236179A (ja) | 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体 | |
US20170085848A1 (en) | Information processing device, projector and information processing method | |
JP2017009829A (ja) | 画像投影装置、画像投影システムおよび映像供給装置 | |
US20120218294A1 (en) | Projection-type image display apparatus | |
US20150138512A1 (en) | Information processing apparatus, image projecting apparatus, and method for providing distortion correction instruction | |
CN107203287B (zh) | 电子设备以及电子设备的控制方法 | |
US10416814B2 (en) | Information processing apparatus to display an image on a flat surface, method of controlling the same, and storage medium | |
JP6349886B2 (ja) | 画像投射装置、画像投射装置の制御方法、および画像投射装置の制御プログラム | |
JP2017010314A (ja) | 画像投影システム、画像投影装置、ポインティングデバイス、および映像供給装置 | |
JP6137247B2 (ja) | プロジェクタ装置及びプロジェクタシステム | |
JP2004265235A (ja) | プロジェクタシステム、プロジェクタ装置、画像投射方法 | |
US11868544B2 (en) | Information processing device, information processing method, program, display system, display method, and electronic writing tool | |
JP2015156167A (ja) | 画像投影装置、画像投影装置の制御方法、および画像投影装置の制御プログラム | |
JP2016103060A (ja) | 画像投影装置、画像投影システムおよび映像供給装置 | |
JP6524741B2 (ja) | 位置検出装置、表示装置、位置検出装置の制御方法、及び、表示装置の制御方法 | |
JP6300053B2 (ja) | プロジェクタ装置及びプロジェクタシステム | |
JP2015219547A (ja) | 機器制御システム、機器制御プログラムおよび機器制御装置 | |
JP2017182246A (ja) | 表示装置および情報処理方法 | |
JP6183084B2 (ja) | 画像投影装置及び画像投影方法 | |
JP2017090957A (ja) | 画像投影装置および画像投影システム | |
JP2016103061A (ja) | 画像投影システム | |
JP2018077605A (ja) | 表示装置および表示装置の制御方法 | |
JP2017162334A (ja) | 情報処理装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180430 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6340958 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |