JP2005266471A - Image projection method and apparatus with pointing function, and program - Google Patents
Image projection method and apparatus with pointing function, and program Download PDFInfo
- Publication number
- JP2005266471A JP2005266471A JP2004080453A JP2004080453A JP2005266471A JP 2005266471 A JP2005266471 A JP 2005266471A JP 2004080453 A JP2004080453 A JP 2004080453A JP 2004080453 A JP2004080453 A JP 2004080453A JP 2005266471 A JP2005266471 A JP 2005266471A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- movement
- projector
- cursor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は画像投影装置に関し、特に投影面上の画像をポインティングする方法および装置に関する。 The present invention relates to an image projection apparatus, and more particularly to a method and apparatus for pointing an image on a projection surface.
従来、プロジェクタで表示されている画像中のポインティングにはレーザポインタやマウスが用いられていた。
上述した従来の画像投影装置は、投影面上の画像をポインティングするには、ポインティング機能を持つ装置を操作しなければならず、面倒であった。 The conventional image projection apparatus described above is troublesome because an apparatus having a pointing function has to be operated in order to point an image on the projection plane.
本発明の目的は、ポインティング操作を容易に行なうことができる画像投影方法、装置、およびプログラムを提供することにある。 An object of the present invention is to provide an image projecting method, apparatus, and program capable of easily performing a pointing operation.
本発明のポインティング機能付画像投影方法は、
カメラから入力された画像から投影装置の動きを検出する段階と、
投影しようとする元画像を、前記動きを相殺して、投影面上の固定された位置に投影する段階と、
カーソルを前記投影装置の動きに追従して前記投影面上に重畳して表示する段階を有する。
The image projection method with a pointing function of the present invention includes:
Detecting the movement of the projection device from the image input from the camera;
Projecting an original image to be projected onto a fixed position on the projection plane while canceling the movement;
A step of superimposing and displaying the cursor on the projection surface following the movement of the projection device.
プロジェクタ(投影装置)本体を動かし、その動きに応じて投影されている画像を更新し、背景の画像に対してあたかも静止しているかのようにその投影画像を表示する。そしてプロジェクタの動きに合わせて動く(すなわち投影画像とは別に動く)カーソルを投影画像に重ねて表示する。 The main body of the projector (projection device) is moved, the projected image is updated according to the movement, and the projected image is displayed as if it were still with respect to the background image. A cursor that moves in accordance with the movement of the projector (that is, moves separately from the projected image) is displayed superimposed on the projected image.
このように、プロジェクタを動かして投影画像とカーソルを別々の動きで表示させるため、プロジェクタ以外のもの(異なる動きが必要な装置)を使わずに、画像の投影とその画像上のポインティングを手等による1つの動きで同時に実現できる。 In this way, the projector is moved so that the projected image and the cursor are displayed with different movements, so that the projection of the image and the pointing on the image can be performed manually without using anything other than the projector (an apparatus that requires different movement). It can be realized simultaneously with one movement.
本発明の実施態様によれば、カーソルが投影画像中の所定の領域に移動するとコマンドを発生する。 According to an embodiment of the present invention, a command is generated when the cursor moves to a predetermined area in the projected image.
したがって、ポインティングだけでなく、投影画像とのコマンドの受け渡しが可能である。 Therefore, not only pointing but also command exchange with a projected image is possible.
投影装置本体を動かして投影画像とカーソルを別々の動きで表示するため、投影装置以外の、動きが異なる装置を使わずに、画像の投影と画像上のポインティング機能を同時に実現し、ポインティングの操作性が向上する。 Since the projected image and the cursor are displayed separately by moving the projection device itself, the image projection and pointing function on the image can be realized at the same time without using a device with different motion other than the projection device. Improves.
次に、本発明の実施の形態について図面を参照して説明する。
[第1の実施形態]
図1は本発明の一実施形態の画像投影装置のブロック図、図2はその処理の流れを示すフローチャート、図3は動作説明図である。
Next, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is a block diagram of an image projection apparatus according to an embodiment of the present invention, FIG. 2 is a flowchart showing the processing flow, and FIG.
本実施形態はカメラ付きプロジェクタ(またはプロジェクタ付きカメラ、以下プロジェクタ)を動かすことにより、1つの動作でポインティング機能と表示機能を同時に実現するものである。 In this embodiment, a pointing function and a display function are realized simultaneously by one operation by moving a projector with a camera (or a camera with a projector, hereinafter referred to as a projector).
カメラ2は通常の市販されているビデオカメラでよい。プロジェクタ1も通常の市販されているものでもよいが、小型のものであれば手に持って動かすことができる。
The
投影面3に全画像投影領域(説明図)の大きさの画像を生成し、プロジェクタ1で画像を投影する。全画像投影領域の中には、実際に映したい内容が映されている有効画像表示領域と、その他の周囲の何も映さない領域とがある。
An image having the size of the entire image projection area (explanatory drawing) is generated on the projection surface 3, and the image is projected by the
まず、画像入力部11によりカメラ2から画像情報を入力する(ステップ101)。
First, image information is input from the
次に動き検出部12では、カメラ2からの時間的に連続した入力画像情報から、プロジェクタ1の動きを検出する。具体的な方法としては、例えば、ある時間t1の画像I1と、t2=t1+1の時間の画像I2があった場合、画像I1とI2の間の画像全体の移動方向と移動量を推定することにより、プロジェクタ2の動きを求めることができる。例えば、SONY(登録商標)ビデオカメラDCR−IP1K(参考文献:http://www.sony.jp/products/Consumer/handycam/PRODUCTS/DCR-IP1K/spec.html)やSANYO(登録商標)の手振れ補正可能な動画像処理ソフトウェア(参考文献:http://www.sanyo.co.jp/koho/hypertext4/0309news-j/0925-1.html)等では、画像処理を用いた手振れ補正を実現しており、すなわちカメラ本体の動きを検出している。また、撮影画像の揺動防止技術である特許第1589189号によるジャイロを用いた手振れ補正方法も同様にジャイロセンサによりリアルタイムに本体の動きを検出している。図3中で、投影中心座標を、動かす前(x1c,y1c)、動かした後(x2c,y2c)とすると、例えばその差分の(x2c−x1c,y2c−y1c)が動き情報である。全画像投影領域中の有効画像表示領域の位置は、プロジェクタ1の動きに基づき、移動する。このとき、動き検出処理で得られたプロジェクタ1の動き情報に基づき、投影する面(壁など)に対して、有効画像表示領域は、常に同じ絶対座標位置に表示されるように表示領域を設定する。例えば、図中の上の状態での有効画像表示領域の始点(x11,y11)、終点(x12,y12)、カーソル位置(x1c,y1c)とし、プロジェクタを動かした後の状態での有効画像表示領域の始点(x21,y21)、終点(x22,y22)、カーソル位置(x2c,y2c)とする(壁に対する絶対座標で)。有効画像表示領域の位置は常に変わらないので、x11=x21、y11=y21、x12=x22、y12=y22となる。これに対し、カーソル位置は、プロジェクタ1の動きに対応して動くので、x1c≠x2c、y1c≠y2cである。
Next, the
カーソル位置は、全画像投影領域内で固定した位置であれば、例えば投影中心でもよいし、他の位置(投影中心からずれた固定位置)でもよい。説明図中では、投影中心にカーソルがある場合を例に示している。カーソルの形状、色、大きさは、任意でよい。カーソルは非表示でもよい。非表示の場合は、ユーザがおおよその投影中心位置を推測して操作すればよい。 The cursor position may be, for example, the projection center or another position (a fixed position shifted from the projection center) as long as the cursor position is a fixed position in the entire image projection area. In the explanatory diagram, a case where the cursor is at the projection center is shown as an example. The shape, color, and size of the cursor may be arbitrary. The cursor may be hidden. In the case of non-display, the user may operate by estimating an approximate projection center position.
投影画像生成部14は投影元画像と動き情報から投影画像を生成する(ステップ104)。動き情報から、前記のような投影画像を生成する方法としては、既存の手振れ補正技術と同様に、動き情報から手振れ補正した画像を生成することにより実現できる。具体的には、動き検出処理の中で述べたような従来の手振れ補正技術を用いれば実現できる。例えば、カメラの動き(手振れ)に応じてリアルタイムにレンズを動かし入力画像を補正する光学系の手振れ補正方法もあるし、また入力画像中の動きを画像処理により認識し微細なカメラの動き(手振れ)を修正する画像処理を用いた補正方法もある。本方法では、手振れ補正方法は既存の公知の方法でよいが、それにポインティング機能を併せ持つことが異なる。
The projection
画像投影部15では、得られた投影画像とカーソル位置を重畳してプロジェクタ1から投影して表示する(ステップ105)。
[第2の実施形態]
本実施形態はカメラ2を据置き固定し、プロジェクタ1のみ動く場合で、図4はその説明図である。
The
[Second Embodiment]
In the present embodiment, the
カメラ2はプロジェクタ1と一緒に動かなくても、各種の演算は可能である。例えば、投影面に対して固定された場所にカメラ2を据置き、プロジェクタ1のみを動かせばよい。このとき、カメラ2とプロジェクタ1を有線(または無線)で接続している必要がある。
Various calculations can be performed without the
動き検出処理の方法としては、第1の実施形態で挙げた画像処理を用いた手振れ補正方法により実現できる。プロジェクタ1を動かして、投影画像がずれた時、外部に据え置かれたカメラ2から撮られた画像情報を用いて、先ほどの手振れ補正のための画像処理を施すことにより、プロジェクタ1の動きを検出し、動き情報に基づき補正した投影画像を生成してプロジェクタ1から投影すればよい。
The motion detection processing method can be realized by the camera shake correction method using the image processing described in the first embodiment. When the
本実施形態によれば、カメラ2を別に据え置くことで、稼働部分(プロジェクタ部分のみ)が少なくなるため、手に持って使う場合を考えると、軽くなり使い易くなる。
[第3の実施形態]
図5は本発明の第3の実施形態の画像投影装置のブロック図、図6はその処理の流れを示すフローチャート、図7はその動作説明図である。
According to the present embodiment, since the
[Third Embodiment]
FIG. 5 is a block diagram of an image projection apparatus according to the third embodiment of the present invention, FIG. 6 is a flowchart showing the flow of the processing, and FIG.
本実施形態は、カーソルの位置によってコマンドを発生する機能を第1または第2の実施形態に付加したものである。すなわち、本実施形態は、投影する画像上の任意の位置にコマンドを発生できる領域(ボタン等の画像があってもよい)を設定しておき、その領域をカーソルで指し示すと、コマンド生成部16によりコマンドが発生することにより(ステップ106)、マウスのクリック機能のように、画像に対するコマンド送信が可能になる。
In this embodiment, a function for generating a command according to the position of the cursor is added to the first or second embodiment. That is, in the present embodiment, when an area (an image such as a button may be generated) where a command can be generated is set at an arbitrary position on the image to be projected, and the area is pointed with the cursor, the
なお、コマンドを確定する方法としては、その設定した領域を、ある所定の時間指し示し続けることによる方法が考えられる。
[第4の実施形態]
図8は本発明の第4の実施形態の画像投影装置のブロック図、図9はその処理の流れを示すフローチャート、図10はその動作の説明図である。
As a method for confirming the command, a method in which the set area is continuously indicated for a predetermined time can be considered.
[Fourth Embodiment]
FIG. 8 is a block diagram of an image projection apparatus according to a fourth embodiment of the present invention, FIG. 9 is a flowchart showing the processing flow, and FIG. 10 is an explanatory diagram of the operation.
本実施形態は、第3の実施形態において動きによってカーソルをプロジェクタ1と独立にも動くようにしたものである。すなわち、プロジェクタ1の動き情報からある特定の動きを認識することによって、プロジェクタ1と一緒に動く表示と、投影面上で目標位置(ユーザが止めたい位置)に止まる表示を切り替えられるようにしたものである。ここで、動きとは、例えばこきざみに振る、一定時間じっとしている、目標位置近くで回転運動する、などである。これらは、画像処理により実現できる。
In the present embodiment, the cursor is moved independently of the
カーソル位置算出部13’は、動き検出部12で得られた動き情報に基づき、カーソル位置を算出する(ステップ103’)点で、第3の実施形態のカーソル位置算出部13と異なる。
The cursor position calculation unit 13 'is different from the cursor
第3の実施形態では、カーソル位置をプロジェクタ1の位置(方向)に対して固定位置としていたが、本実施形態では、プロジェクタ1の位置と無関係にカーソル位置を動かすことができる。これにより、投影した画像の中で、カーソルを有効画像表示領域に対して同じ座標位置に留まらせて表示させることも可能である。これにより、例えば、ユーザが投影画像中のある(物が表示されている)位置に、しばらくカーソルを固定しておきたい場合に、プロジェクタ1の動きを止めなくても、カーソルを固定させておくことが可能になり、利便性が向上する。
[第5の実施形態]
本実施形態は第1から第4の実施形態において、プロジェクタ1にスイッチ機能を付けたもので、図11はその例を示している。スイッチ機能としては、押しボタン式、スライダーバー式、マウスのスクロールボタン、トラックポインタ、ジョイスティック、ゲーム機の十字キー、トラックボール、トラックパッド、などのスイッチ機能が考えられる。複数の同じまたは異なるスイッチを組み合わせて備えていてもよい。
In the third embodiment, the cursor position is a fixed position with respect to the position (direction) of the
[Fifth Embodiment]
In this embodiment, the
本実施形態によれば、PCのマウス(その他上記スイッチ類)と同じ機能、例えば、決定機能(クリック)、ドラッグアンドドロップ機能(押し続けによる)、スクロール機能(スライダー)、ズーム機能等を実現できる。プロジェクタ1を手に持って操作する場合には、スイッチも同じ手で操作できるので、使いやすい。
According to the present embodiment, the same functions as a PC mouse (other switches described above), for example, a determination function (click), a drag and drop function (by pressing and holding), a scroll function (slider), a zoom function, and the like can be realized. . When the
その他の機能は第1から第4の実施形態と同じである。 Other functions are the same as those in the first to fourth embodiments.
なお、図1、図5、図8に示した処理ブロックはプロジェクタ1内に設けてもよいし、あるいは処理用のコンピュータを有線(または無線)によりプロジェクタ1と接続し、該コンピュータ内で図1、図5、図8に示した処理ブロックの処理を行なうようにしてもよい。
The processing blocks shown in FIGS. 1, 5, and 8 may be provided in the
また、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、CD−ROM等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの(伝送媒体もしくは伝送波)、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。 In addition to what is realized by dedicated hardware, the present invention records a program for realizing the function on a computer-readable recording medium, and the program recorded on the recording medium is stored in a computer system. It may be read and executed. The computer-readable recording medium refers to a recording medium such as a floppy disk, a magneto-optical disk, a CD-ROM, or a storage device such as a hard disk device built in the computer system. Furthermore, a computer-readable recording medium is a server that dynamically holds a program (transmission medium or transmission wave) for a short period of time, as in the case of transmitting a program via the Internet, and a server in that case. Some of them hold programs for a certain period of time, such as volatile memory inside computer systems.
1 プロジェクタ
2 カメラ
3 投影面
11 画像入力部
12 動き検出部
13,13’ カーソル位置算出部
14 投影画像生成部
15 画像投影部
16 コマンド生成部
101〜106 ステップ
DESCRIPTION OF
Claims (7)
カメラから入力された画像から投影装置の動きを検出する段階と、
投影しようとする元画像を、前記動きを相殺して、投影面上の固定された位置に投影する段階と、
カーソルを前記投影装置の動きに追従して前記投影面上に重畳して表示する段階を有する
ポインティング機能付画像投影方法。 In a method of projecting an image,
Detecting the movement of the projection device from the image input from the camera;
Projecting an original image to be projected onto a fixed position on the projection plane while canceling the movement;
A method of projecting an image with a pointing function, comprising: displaying a cursor following the movement of the projection device so as to be superimposed on the projection surface.
カメラから入力された画像から投影装置の動きを検出する手段と、
投影しようとする元画像を、前記動きを相殺して、投影面上の固定された位置に投影する手段と、
カーソルを前記投影装置の動きに追従して前記投影面上に重畳して表示する手段を有する
ポインティング機能付画像投影装置。 In an apparatus for projecting an image,
Means for detecting the movement of the projection device from an image input from the camera;
Means for projecting an original image to be projected to a fixed position on the projection plane by canceling the movement;
An image projection apparatus with a pointing function, comprising: means for displaying a cursor superimposed on the projection plane following the movement of the projection apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004080453A JP2005266471A (en) | 2004-03-19 | 2004-03-19 | Image projection method and apparatus with pointing function, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004080453A JP2005266471A (en) | 2004-03-19 | 2004-03-19 | Image projection method and apparatus with pointing function, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005266471A true JP2005266471A (en) | 2005-09-29 |
Family
ID=35091063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004080453A Pending JP2005266471A (en) | 2004-03-19 | 2004-03-19 | Image projection method and apparatus with pointing function, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005266471A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008176042A (en) * | 2007-01-18 | 2008-07-31 | Matsushita Electric Ind Co Ltd | Image projection apparatus and image projection method |
JP2008275896A (en) * | 2007-04-27 | 2008-11-13 | Ricoh Co Ltd | Image projection device |
WO2011082007A2 (en) * | 2010-01-04 | 2011-07-07 | Microvision, Inc. | Interactive projection method, apparatus, and system |
US8491135B2 (en) | 2010-01-04 | 2013-07-23 | Microvision, Inc. | Interactive projection with gesture recognition |
WO2016076874A1 (en) * | 2014-11-13 | 2016-05-19 | Hewlett-Packard Development Company, L.P. | Image projection |
-
2004
- 2004-03-19 JP JP2004080453A patent/JP2005266471A/en active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008176042A (en) * | 2007-01-18 | 2008-07-31 | Matsushita Electric Ind Co Ltd | Image projection apparatus and image projection method |
JP2008275896A (en) * | 2007-04-27 | 2008-11-13 | Ricoh Co Ltd | Image projection device |
WO2011082007A2 (en) * | 2010-01-04 | 2011-07-07 | Microvision, Inc. | Interactive projection method, apparatus, and system |
WO2011082007A3 (en) * | 2010-01-04 | 2011-09-22 | Microvision, Inc. | Interactive projection method, apparatus, and system |
US8491135B2 (en) | 2010-01-04 | 2013-07-23 | Microvision, Inc. | Interactive projection with gesture recognition |
WO2016076874A1 (en) * | 2014-11-13 | 2016-05-19 | Hewlett-Packard Development Company, L.P. | Image projection |
US10417801B2 (en) | 2014-11-13 | 2019-09-17 | Hewlett-Packard Development Company, L.P. | Image projection |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5343676B2 (en) | Image processing apparatus, image processing method, and computer program | |
US8698898B2 (en) | Controlling robotic motion of camera | |
US8350896B2 (en) | Terminal apparatus, display control method, and display control program | |
US7852315B2 (en) | Camera and acceleration based interface for presentations | |
US7477236B2 (en) | Remote control of on-screen interactions | |
JP5258399B2 (en) | Image projection apparatus and control method thereof | |
US8769409B2 (en) | Systems and methods for improving object detection | |
US20070216642A1 (en) | System For 3D Rendering Applications Using Hands | |
US20110298703A1 (en) | Information processing device and computer readable recording medium | |
JP2009064109A (en) | Image projector and its control method | |
WO2016113969A1 (en) | Gesture recognition device and method, program, and recording medium | |
TW201305854A (en) | Remote controllable image display system, controller, and processing method therefor | |
JP2016201714A (en) | Display control device and display control method | |
CN113253833A (en) | System and method for augmented reality applications | |
US20110200303A1 (en) | Method of Video Playback | |
JP2005266471A (en) | Image projection method and apparatus with pointing function, and program | |
JP3953450B2 (en) | 3D object posture operation method and program | |
US20230244318A1 (en) | Program, head-mounted display, and information processing device | |
JP2005148555A (en) | Image projection display device, image projection display method, and image projection display program | |
JP2010026754A (en) | Terminal device, display control method, and display control program | |
US8363011B2 (en) | Control apparatus and method | |
JP2006222901A (en) | Method and program for supporting moving picture reproduction, server device and computer system | |
US10475247B1 (en) | Configuration for resuming/supplementing an augmented reality experience | |
JP4595322B2 (en) | Image processing system, remote controller and method, image processing apparatus and method, recording medium, and program | |
JP2013074612A (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050623 |