JP2009218883A - Indication system, indication program and indication device - Google Patents

Indication system, indication program and indication device Download PDF

Info

Publication number
JP2009218883A
JP2009218883A JP2008060876A JP2008060876A JP2009218883A JP 2009218883 A JP2009218883 A JP 2009218883A JP 2008060876 A JP2008060876 A JP 2008060876A JP 2008060876 A JP2008060876 A JP 2008060876A JP 2009218883 A JP2009218883 A JP 2009218883A
Authority
JP
Japan
Prior art keywords
image
display
projection
terminal
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008060876A
Other languages
Japanese (ja)
Inventor
Kizashi Toki
萌 時
Ken Tokai
研 東海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2008060876A priority Critical patent/JP2009218883A/en
Publication of JP2009218883A publication Critical patent/JP2009218883A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an indication system that makes a projection image having changed consistent with drawing of the projection image when the projection image changes and is already drawn in the projected image. <P>SOLUTION: The indication system includes a server 50 which transmits an imaging picture picked up by a video camera 20 imaging the inside of an object area including an object 200 to a terminal 100, and makes a projector 40 project an annotation image AN1, corresponding to an indication made by the terminal 100 and the indication based upon the picked-up image, in the object area. The server 50 makes the projector 40 project a first display image of the terminal 100 in the object area and when change of the display area for the first display image is detected and drawing of the projection image associated with the projected first display image is detected, the server 50 makes the projector 40 project a second display image corresponding to the display area after change consistently with the projection image on the basis of position coordinates of the first display image and the second display image. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、指示システム、指示プログラム及び指示装置に関する。   The present invention relates to an instruction system, an instruction program, and an instruction device.

会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば特許文献１に示すように、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末側において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。   In a conference system or the like, it is necessary to give various instructions such as instructions for work procedures from the terminal side to the real object side. As such a conference system capable of giving an instruction from the terminal side to the real object side, for example, as shown in Patent Document 1, a captured image is captured by the video camera while imaging an object existing on the real object side. In addition, an instruction system for projecting an annotation image instructed based on a captured image on a terminal side onto a target object on a real object side is known.

また、投影された投影画像に対する描画を、その投影画像と対応付けて記録する技術も知られている。例えば、特許文献２や特許文献３では、上記描画がなされた場合に一時的に投影を停止し、その間にいわゆるデジタルカメラを利用して描画を撮影し、投影画像と対応付けて記録する技術が開示されている。   There is also known a technique for recording a drawing on a projected image in association with the projected image. For example, in Patent Document 2 and Patent Document 3, when the above drawing is performed, the projection is temporarily stopped, and during that time, a drawing is captured using a so-called digital camera and recorded in association with the projected image. It is disclosed.

さらに、特許文献４では、投射領域への描画を簡単に取り込む技術、特許文献５では、投影画像と描画とを合成して取り込む際の双方の位置関係を調整する技術が開示されている。   Furthermore, Patent Document 4 discloses a technique for easily capturing a drawing in a projection area, and Patent Document 5 discloses a technique for adjusting the positional relationship between the projection image and the drawing when they are combined and captured.

特開２００５−３３７５６号公報JP 2005-33756 A 特開２００４−１９９２９９号公報JP 2004-199299 A 特開２００６−１８４３３３号公報JP 2006-184333 A 特開２００４−２３９９６７号公報JP 2004-239967 A 特開２００４−２５２１１８号公報JP 2004-252118 A

ところで、上述した特許文献１から５に開示される技術は、投影画像に対する描画の記録に留まっており、投影画像に例えば画像切替等の変化が生じた際に、変化後の投影画像に対して変化前の投影画像に対する描画が残る可能性がある。   By the way, the techniques disclosed in Patent Documents 1 to 5 described above are limited to the recording of drawing on the projection image. When a change such as image switching occurs in the projection image, for example, the change to the projection image after the change is performed. There is a possibility that the drawing for the projection image before the change remains.

本発明は、このような事情に鑑みてなされたものであり、投影画像に変化があった場合であって、その投影画像に対して描画がなされていたときに、変化後の投影画像と描画との整合性を図り得る指示システム、指示プログラム及び指示装置を提供することを目的とする。   The present invention has been made in view of such circumstances, and when the projection image has changed and the drawing has been made on the projection image, the projection image and the drawing after the change are drawn. It is an object of the present invention to provide an instruction system, an instruction program, and an instruction device that can achieve consistency with the information.

請求項１に記載の発明は、対象物を含む対象領域内を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象領域内に投影させ得る制御手段を有し、制御手段は、端末における第１の表示画像を投影手段により対象領域内に投影させ、第１の表示画像に対する表示領域の変化を検出した場合であって、投影された第１の表示画像に関する投影画像に対する描画を検出したときに、変化後の表示領域に相当する第２の表示画像を、第１の表示画像と第２の表示画像の位置座標に基づいて、投影画像と整合するように投影手段により投影させることを特徴とする指示システムである。   According to the first aspect of the present invention, the captured image captured by the imaging unit that captures the inside of the target region including the target object is transmitted to the terminal, and the annotation according to the instruction based on the captured image made by the terminal is represented. Control means capable of projecting the annotation image into the target area by the projecting means. The control means projects the first display image on the terminal into the target area by the projecting means, and the display area of the display area relative to the first display image is displayed. When a change is detected and drawing on the projected image related to the projected first display image is detected, the second display image corresponding to the display area after the change is changed to the first display image and the first display image. The pointing system is characterized in that, based on the position coordinates of the second display image, the projection unit projects the image so as to match the projection image.

請求項２に記載の発明は、請求項１に記載の発明において、制御手段は、描画を、描画前後の撮像手段による撮像画像を比較することにより検出することを特徴としている。   The invention according to claim 2 is characterized in that, in the invention according to claim 1, the control means detects the drawing by comparing the images taken by the imaging means before and after the drawing.

請求項３に記載の発明は、請求項１又は２に記載の発明において、制御手段は、第１の表示画像と第２の表示画像との差分に関する差分画像を投影画像と連続するように投影手段に投影させることを特徴としている。   According to a third aspect of the present invention, in the first or second aspect of the present invention, the control means projects the difference image related to the difference between the first display image and the second display image so as to be continuous with the projection image. It is characterized by projecting on means.

請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、制御手段は、第２の表示画像に関する投影画像の一部が投影手段の投影領域内に収まらない場合に、該一部に相当する投影画像を投影領域内であって、第２の表示画像に関する投影画像に重ならない場所に投影させることを特徴としている。   According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, the control unit does not allow a part of the projection image related to the second display image to be within the projection area of the projection unit. In this case, the projection image corresponding to the part is projected to a location in the projection area that does not overlap the projection image related to the second display image.

請求項５に記載の発明は、コンピュータを、対象物を含む対象領域内を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象領域内に投影させ得る制御手段として機能させ、制御手段は、端末における第１の表示画像を投影手段により対象領域内に投影させ、第１の表示画像に対する表示領域の変化を検出した場合であって、投影された第１の表示画像に関する投影画像に対する描画を検出したときに、変化後の表示領域に相当する第２の表示画像を、第１の表示画像と第２の表示画像の位置座標に基づいて、投影画像と整合するように投影手段により投影させることを特徴とする指示プログラムである。   According to the fifth aspect of the present invention, the computer transmits the captured image captured by the imaging unit that captures the inside of the target region including the target object to the terminal and responds to an instruction based on the captured image made by the terminal. An annotation image representing an annotation is caused to function as a control unit that can project the annotation image into the target area by the projection unit, and the control unit projects the first display image on the terminal into the target region by the projection unit, and When a change in the display area is detected, and when a drawing on the projected image related to the projected first display image is detected, a second display image corresponding to the display area after the change is displayed in the first display. An instruction program that causes a projection unit to project the image and the second display image so as to match the projection image based on the position coordinates of the image and the second display image.

請求項６に記載の発明は、対象物含む対象領域内を撮像する撮像手段と、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を対象領域内に投影する投影手段と、撮像画像を端末に送信すると共に、端末でなされた指示に応じた注釈画像を投影手段に投影させ、端末における第１の表示画像を投影手段により対象領域内に投影させ、第１の表示画像に対する表示領域の変化を検出した場合であって、投影された第１の表示画像に関する投影画像に対する描画を検出したときに、変化後の表示領域に相当する第２の表示画像を、第１の表示画像と第２の表示画像の位置座標に基づいて、投影画像と整合するように投影手段により投影させる制御手段と、を有することを特徴とする指示装置である。   According to a sixth aspect of the present invention, there is provided an imaging unit that images a target area including an object, and a projection unit that projects an annotation image representing an annotation according to an instruction based on a captured image captured by the imaging unit into the target area. The captured image is transmitted to the terminal, and an annotation image corresponding to the instruction given by the terminal is projected onto the projecting unit, and the first display image on the terminal is projected into the target area by the projecting unit, and the first display When a change in the display area with respect to the image is detected, and when a drawing with respect to the projected image related to the projected first display image is detected, the second display image corresponding to the display area after the change is changed to the first display image. And a control means for projecting by the projection means so as to be matched with the projection image based on the position coordinates of the display image and the second display image.

請求項１に記載の発明によれば、投影画像に変化があった場合であって、その投影画像に対して描画がなされていたときに、変化後の投影画像と描画との整合性を図ることができる。   According to the first aspect of the present invention, when there is a change in the projection image and drawing is performed on the projection image, consistency between the projection image after the change and the drawing is achieved. be able to.

請求項２に記載の発明によれば、本構成を有していない場合に比較して、投影画像内の描画を検出できる。   According to the second aspect of the present invention, it is possible to detect the drawing in the projection image as compared with the case where the present configuration is not provided.

請求項３に記載の発明によれば、変化後の表示領域に相当する表示画像の全部を投影する場合に比べて、電力消費量が低下する。   According to the third aspect of the invention, the power consumption is reduced as compared with the case where the entire display image corresponding to the display area after the change is projected.

請求項４に記載の発明によれば、本構成を有していない場合に比較して、投影画像に対する描画の位置を維持しつつ、投影領域に収まらない画像の一部を利用者に視認させることができる。   According to the invention described in claim 4, the user can visually recognize a part of the image that does not fit in the projection area while maintaining the drawing position with respect to the projection image as compared with the case where the present configuration is not provided. be able to.

請求項５に記載の発明によれば、投影画像に変化があった場合であって、その投影画像に対して描画がなされていたときに、変化後の投影画像と描画との整合性を図ることができる。   According to the fifth aspect of the present invention, when there is a change in the projected image and drawing is performed on the projected image, consistency between the changed projected image and the drawing is achieved. be able to.

請求項６に記載の発明によれば、投影画像に変化があった場合であって、その投影画像に対して描画がなされていたときに、変化後の投影画像と描画との整合性を図ることができる。   According to the sixth aspect of the present invention, when the projection image is changed and drawing is performed on the projection image, consistency between the changed projection image and the drawing is achieved. be able to.

以下、本発明の実施形態について図面を参照して説明する。
（第１実施形態）
図１は本発明の実施形態に係る指示システムの構成図、図２はサーバ５０の要部構成を例示する機能ブロック図、図３はサーバ５０のハードウェア構成を例示する機能ブロック図である。 Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a configuration diagram of an instruction system according to an embodiment of the present invention, FIG. 2 is a functional block diagram illustrating a main configuration of the server 50, and FIG. 3 is a functional block diagram illustrating a hardware configuration of the server 50.

この指示システムは、図１に示すように、対象物側装置１０及び端末１００等を備えており、対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００がネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続されるようにしてもよい。また、本実施形態に係る指示システムは、１つの筐体で覆われる等して１つの指示装置として構成されていてもよく、また、複数の装置から構成されていてもよい。   As shown in FIG. 1, the instruction system includes an object-side device 10 and a terminal 100, and the object-side device 10 and the terminal 100 are connected to each other via a network 300 so that they can communicate with each other. Although only one terminal 100 is shown in FIG. 1, a plurality of terminals 100 may be connected to a server 50 described later of the object side device 10 through the network 300. In addition, the instruction system according to the present embodiment may be configured as one instruction device by being covered with one casing, or may be configured from a plurality of devices.

対象物側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０及びハーフミラー６０等から構成される。   The object side device 10 includes a video camera 20 as an imaging unit, a projector 40 as a projection unit, a server 50 as a control unit, a half mirror 60, and the like.

ビデオカメラ２０は、例えばＣＣＤカメラ等で構成される。ビデオカメラ２０は、例えばホワイトボードやテーブル、スクリーン等の対象物２００を含む、ビデオカメラ２０が撮像可能な撮像領域としての対象領域内を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。ビデオカメラ２０は、ハーフミラー６０を透過した画像を撮像する。   The video camera 20 is composed of, for example, a CCD camera. The video camera 20 captures an image of a target area as an imaging area that can be captured by the video camera 20 including the target object 200 such as a whiteboard, a table, and a screen, and information on the captured image is captured by the server 50. . The video camera 20 captures an image that has passed through the half mirror 60.

プロジェクタ４０は、例えば液晶プロジェクタ等で構成される。プロジェクタ４０は、端末１００における表示画像に応じた投影画像ＰＲ１を対象物２００に投影する。また、必要に応じて、端末１００でなされた撮像画像に基づく指示に応じた注釈画像（以下、アノテーション画像という。）ＡＮ１を対象物２００を含む対象領域内に投影する。プロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２０と光学的な主点が略一致するように配置されている。すなわち、プロジェクタ４０とビデオカメラ２０との光軸及び投影・撮像画角をそれぞれ一致させている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像ＡＮ１をその光学系を通じハーフミラー６０を介して対象領域内へ投影する。プロジェクタ４０からのアノテーション画像ＡＮ１は、ハーフミラー６０で反射して対象領域内へ投影される。尚、アノテーション画像ＡＮ１には、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラー６０の反射率は発振現象の防止の観点から０．３％程度であることが望ましい。   The projector 40 is composed of, for example, a liquid crystal projector. The projector 40 projects a projection image PR1 corresponding to the display image on the terminal 100 onto the object 200. Further, as necessary, an annotation image (hereinafter referred to as an annotation image) AN1 according to an instruction based on the captured image made by the terminal 100 is projected into a target area including the target object 200. The projector 40 is arranged such that its optical system substantially coincides with the video camera 20 by the half mirror 60. That is, the optical axes and the projection / imaging angles of view of the projector 40 and the video camera 20 are matched. The projector 40 projects the annotation image AN1 transmitted from the server 50 into the target area via the half mirror 60 through the optical system. The annotation image AN1 from the projector 40 is reflected by the half mirror 60 and projected into the target area. Note that the annotation image AN1 includes images of all forms such as lines, characters, and figures. The reflectance of the half mirror 60 is desirably about 0.3% from the viewpoint of preventing an oscillation phenomenon.

サーバ５０は、ビデオカメラ２０及びプロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を授受する。   The server 50 controls the operations of the video camera 20 and the projector 40 and exchanges various information with the terminal 100 via the network 300.

より詳しくは、図２に示すように、ビデオカメラ２０を制御する撮像部５１と、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、端末１００からの表示画像や描画指示を受信する受信部５３と、プロジェクタ４０を制御し、プロジェクタ４０に投影画像ＰＲ１やアノテーション画像ＡＮ１を投影させ得る投影部５４とを備える。さらに、端末１００からの描画指示に対して所要の処理を行う描画指示処理部５５、撮像画像から投影画像ＰＲ１等に対しての描画を検出する画像処理部５６を備える。   More specifically, as shown in FIG. 2, an imaging unit 51 that controls the video camera 20 and an image transmission unit 52 that transmits a captured image captured by the video camera 20 to the terminal 100 are provided. The server 50 includes a receiving unit 53 that receives a display image and a drawing instruction from the terminal 100, and a projection unit 54 that controls the projector 40 and can cause the projector 40 to project the projection image PR1 and the annotation image AN1. Furthermore, a drawing instruction processing unit 55 that performs necessary processing in response to a drawing instruction from the terminal 100, and an image processing unit 56 that detects drawing on the projection image PR1 and the like from the captured image are provided.

したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００における表示画像に応じた投影画像ＰＲ１をプロジェクタ４０により対象物２００へ投影させるとともに、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮ１を投影させる。   Therefore, the server 50 transmits the captured image captured by the video camera 20 to the terminal 100, and causes the projector 40 to project the projection image PR1 corresponding to the display image on the terminal 100 onto the target 200, and at the terminal 100. An annotation image AN1 corresponding to an instruction based on the captured image is projected.

端末１００は、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成される。端末１００は、例えばノート型やデスクトップ型のいわゆるパソコン、携帯電話等が該当する。   The terminal 100 includes a display device 110 such as a liquid crystal display or a CRT display, a computer 120 connected to the network 300, a pointing device (mouse) 130 connected to the computer 120, and the like. The terminal 100 corresponds to, for example, a so-called personal computer or mobile phone of a notebook type or a desktop type.

表示装置１１０は、その表示画面に対象物側装置１０から送信される画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象領域へ投影するアノテーション画像ＡＮに関する指示を形成するのに用いられる。 The display device 110 displays an image transmitted from the object side device 10 on the display screen.
The pointing device 130 is used to form an instruction related to the annotation image AN to be projected onto the target area by operating various buttons with a pointer on the display screen on which the captured image is displayed.

尚、上述したサーバ５０は、いわゆるコンピュータ、すなわち、図３に示すように、ＣＰＵ等の処理装置５０ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０ｃ及び入出力を制御するＩ／Ｆ５０ｄがバス５０ｅにより接続されたハードウェア構成により実現される。   The server 50 described above is a so-called computer, that is, as shown in FIG. 3, a processing device 50a such as a CPU, SRAM (Static Random Access Memory), DRAM (Dynamic RAM), SDRAM (Synchronous DRAM), NVRAM (Non A RAM 50b such as a Volatile RAM), a ROM (Read Only Memory) 50c such as a flash memory, and an I / F 50d for controlling input / output are realized by a hardware configuration connected by a bus 50e.

したがって、ＣＰＵ５０ａがＲＡＭ５０ｂやＲＯＭ５０ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、各装置の機能が実現される。コンピュータ１２０についても同様の構成である。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、必要に応じて、バス５０ｅにハードディスクを接続するようにしてもよい。   Therefore, the CPU 50a reads a required program stored in a storage device such as the RAM 50b or the ROM 50c, and performs a calculation according to the program, thereby realizing the function of each device. The computer 120 has the same configuration. In addition, as such a program, it can be set as the program according to the flowchart mentioned later. Further, if necessary, a hard disk may be connected to the bus 50e.

次に、上記構成の指示システムの動作について図４から図６を参照して説明する。
図４は対象物側装置１０のサーバ５０における処理の一例を示すフローチャート、図５は端末１００のコンピュータ１２０における処理の一例を示すフローチャート、図６は端末１００側の操作の一例を説明するための図である。 Next, the operation of the instruction system configured as described above will be described with reference to FIGS.
4 is a flowchart showing an example of processing in the server 50 of the object side device 10, FIG. 5 is a flowchart showing an example of processing in the computer 120 of the terminal 100, and FIG. 6 is a diagram for explaining an example of operation on the terminal 100 side. FIG.

まず、サーバ５０の動作について説明する。
対象物側装置１０側のサーバ５０は、図４に示すように、まず、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する（ステップＳ１３）。 First, the operation of the server 50 will be described.
As shown in FIG. 4, the server 50 on the object side device 10 side first starts capturing an image captured by the video camera 20 (step S <b> 11), and determines whether there is a connection request from the computer 120 of the terminal 100. (Step S12). Then, when there is a connection request from the computer 120, the server 50 transmits the captured image of the video camera 20 to the computer 120 of the terminal 100 through the network 300 (step S13).

サーバ５０は、次いで、コンピュータ１２０から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像ＡＮ１の描画に関する情報である。サーバ５０は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。描画指示に対する処理としては、例えば、プロジェクタ４０を制御して、描画指示に応じたアノテーション画像ＡＮ１の投影させること等がある。   Next, the server 50 determines whether or not a drawing instruction is transmitted from the computer 120 (step S14). This drawing instruction is information relating to the drawing of the annotation image AN1. When receiving the drawing instruction, the server 50 performs a drawing instruction process according to the contents of the drawing instruction (step S15). As a process for the drawing instruction, for example, the projector 40 is controlled to project the annotation image AN1 according to the drawing instruction.

一方、サーバ５０は、上記の描画指示を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像等をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信し、切断要求があった場合には、ビデオカメラ２０の撮像画像の送信を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。   On the other hand, if the server 50 does not receive the drawing instruction, the server 50 determines whether there is a disconnection request from the computer 120 (step S16). If there is no disconnection request, the server 50 returns to step S13 to obtain a new captured image. Are transmitted to the computer 120 of the terminal 100 through the network 300, and when there is a disconnection request, the transmission of the captured image of the video camera 20 is stopped (step S17). Then, the server 50 determines whether or not there is a process end request (step S18). If there is no end request, the server 50 returns to step S12 and repeats the above process. finish.

次に、端末１００の動作について説明する。
端末１００のコンピュータ１２０は、図５に示すように、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図６に示すように、対象物側装置１０のサーバ５０から送信される撮像画像１１２を表示装置１１０の表示画面に表示させる（ステップＳ２２）。撮像画像１１２には投影画像ＰＲ１が投影された、投影領域内の対象物２００が表示される。 Next, the operation of the terminal 100 will be described.
As shown in FIG. 5, the computer 120 of the terminal 100 makes a connection request to the server 50 (step S21). Next, after the connection is completed, the computer 120 displays the captured image 112 transmitted from the server 50 of the object side device 10 on the display screen of the display device 110, for example, as illustrated in FIG. 6 (step S22). . The captured image 112 displays the target object 200 in the projection area on which the projection image PR1 is projected.

次いで、コンピュータ１２０は、表示装置１１０の表示画面に表示した撮像画像１１２に対する利用者からの注目領域ＡＲの指示があるかを判断し（ステップＳ２３）、注目領域ＡＲの指示がある場合には、指示に応じた処理を行う（ステップＳ２４）。   Next, the computer 120 determines whether there is an instruction of the attention area AR from the user for the captured image 112 displayed on the display screen of the display device 110 (step S23). Processing according to the instruction is performed (step S24).

具体的には、端末１００の利用者は、図６に示すような表示装置１１０の表示画面内の撮像画像１１２を見ながら、表示されている撮像画像１１１ａにアノテーション画像ＡＮ１を投影したい領域があるか判断する。投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面上のポインタＰｔを移動させながら注目領域ＡＲを指示する。注目領域ＡＲは、アノテーション画像ＡＮ１を投影する投影位置を規定する領域である。このとき、同時に、注目領域ＡＲに投影するアノテーション画像ＡＮ１に関する情報を指示する。   Specifically, there is a region where the user of the terminal 100 wants to project the annotation image AN1 on the displayed captured image 111a while viewing the captured image 112 in the display screen of the display device 110 as shown in FIG. Judge. When there is an area to be projected, the pointing area 130 is operated to indicate the attention area AR while moving the pointer Pt on the display screen. The attention area AR is an area that defines a projection position at which the annotation image AN1 is projected. At this time, information on the annotation image AN1 to be projected onto the attention area AR is instructed at the same time.

アノテーション画像ＡＮ１に関する情報は、例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより指示する。この情報には、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等がある。そして、コンピュータ１２０は、ステップＳ２４で特定された各種情報を描画指示としてサーバ５０へ送信する（ステップＳ２５）。   Information regarding the annotation image AN1 is instructed by operating various buttons BT formed on the display screen 111 using the pointing device 130, for example. This information includes graphic information such as drawn rectangles and circles, a bitmap image prepared in advance, text information input from a keyboard, the pointer itself reflecting the operation of the pointing device 130, and the like. Then, the computer 120 transmits the various types of information specified in step S24 to the server 50 as a drawing instruction (step S25).

コンピュータ１２０は、次いで、端末１００でなされたビデオカメラ２０の撮像画像に基づく利用者による指示が完了したかを判断し（ステップＳ２６）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２７）、処理を終了する。端末１００の利用者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。   Next, the computer 120 determines whether or not the user's instruction based on the image captured by the video camera 20 made at the terminal 100 is completed (step S26). (Step S27), the process ends. If the instruction operation by the user of the terminal 100 has not ended, the process returns to step S22 and the above processing is repeated.

次に、本発明の特徴となる投影調整機能について図７から図１１を参照して説明する。
図７はサーバ５０における投影調整処理の一例を示すフローチャート、図８は
端末１００における表示例、図９は対象物２００に対する投影例、図１０は対象物２００に対する他の投影例、図１１は端末１００における他の表示例である。 Next, a projection adjustment function that is a feature of the present invention will be described with reference to FIGS.
7 is a flowchart showing an example of projection adjustment processing in the server 50, FIG. 8 is a display example on the terminal 100, FIG. 9 is a projection example on the object 200, FIG. 10 is another projection example on the object 200, and FIG. 10 is another display example of 100.

尚、図７に示すフローチャートは、図４に示すサーバ５０の動作の一例を示すフローチャートに含めることができ、望ましくは、ステップＳ１３の処理とステップＳ１４の処理の間に含めることができる。   Note that the flowchart shown in FIG. 7 can be included in the flowchart showing an example of the operation of the server 50 shown in FIG. 4, and can be included preferably between the process of step S13 and the process of step S14.

サーバ５０は、図７に示すように、端末１００における表示画像１１１を受信すると、当該表示画像１１１をプロジェクタ４０に投影させる（ステップＳ３１）。また、その投影と併せて、撮像画像１１２を保持する。すなわち、図８に示すように、端末１００側の利用者は、操作により対象物２００に投影させたい表示画像１１１を表示装置１１０に表示させる。コンピュータ１２０は表示画像１１１の表示を検出し、その表示画像１１１をサーバ５０に送信する。   As shown in FIG. 7, when receiving the display image 111 on the terminal 100, the server 50 projects the display image 111 on the projector 40 (step S31). In addition, the captured image 112 is held together with the projection. That is, as shown in FIG. 8, the user on the terminal 100 side causes the display device 110 to display a display image 111 that is desired to be projected on the object 200 by an operation. The computer 120 detects the display of the display image 111 and transmits the display image 111 to the server 50.

尚、表示画像１１１としては、例えば上述した図面等のビットマップ画像や電子文書等の画像がある。これにより、図９に示すように、表示画像１１１に関する投影画像ＰＲ２がホワイトボード等の対象物２００を含む対象領域内に投影される。また、図８に示すように、対象物２００側でビデオカメラ２０により撮像された撮像画像１１２が表示装置１１０に表示される。   Examples of the display image 111 include bitmap images such as the above-described drawings and images such as electronic documents. As a result, as shown in FIG. 9, the projection image PR2 related to the display image 111 is projected into a target area including the target object 200 such as a whiteboard. In addition, as shown in FIG. 8, a captured image 112 captured by the video camera 20 on the object 200 side is displayed on the display device 110.

ここで、図１０に示すように、例えば、対象物２００側の利用者がペン２１０等の描画手段を用いて投影画像ＰＲ２に対して矢印等の描画を行った場合には、図１１に示すように、表示装置１１０の撮像画像１１２内にその描画が行われた対象物２００が表示される。また、必要に応じて、表示画像１１１上の該当する箇所に上述した描画に応じたアノテーション画像ＡＮ２を表示させるようにしてもよい。尚、描画手段は、対象物２００に対してインクや墨、黒鉛等、物理的に描画できるものであれば特に限定されるものではない。また、描画は、利用者による手書きであってもよいし、例えば工作機械等が有するアームによるものであってもよい。   Here, as shown in FIG. 10, for example, when the user on the object 200 side draws an arrow or the like on the projection image PR2 using drawing means such as the pen 210, it is shown in FIG. As described above, the object 200 on which the drawing has been performed is displayed in the captured image 112 of the display device 110. Further, if necessary, the annotation image AN2 corresponding to the above-described drawing may be displayed at a corresponding position on the display image 111. The drawing means is not particularly limited as long as it can physically draw the object 200 such as ink, black ink, and graphite. The drawing may be handwritten by the user, or may be performed by an arm of a machine tool or the like, for example.

サーバ５０は、ここで、表示画像１１１の表示領域が変化されたか否か判定する（ステップＳ３２）。図１２に示すように、例えば、表示画像１１１において、端末１００側の利用者が、ポインティングデバイス１３０を操作してポインタＰｔを移動させ、表示画像１１１の表示枠を指示しつつ移動させる。これにより、表示画像１１１の表示枠が拡大し、表示領域が変化する。表示領域の変化は、コンピュータ１２０によってサーバ５０に送信される。送信の際には、表示領域が変化した旨の情報に併せて、変化前後の表示領域の四隅の位置座標等を送信することが望ましい。   Here, the server 50 determines whether or not the display area of the display image 111 has been changed (step S32). As illustrated in FIG. 12, for example, in the display image 111, the user on the terminal 100 side operates the pointing device 130 to move the pointer Pt, and moves the pointer while indicating the display frame of the display image 111. As a result, the display frame of the display image 111 is enlarged and the display area is changed. The change in the display area is transmitted to the server 50 by the computer 120. At the time of transmission, it is desirable to transmit the position coordinates and the like of the four corners of the display area before and after the change together with information indicating that the display area has changed.

サーバ５０は、表示画像１１１の変化を検出した場合には、投影領域内をビデオカメラ２０に撮像させる（ステップＳ３３）。したがって、例えば、図１０に示す投影画像ＰＲ２を含めた対象物２００のうち投影領域内のものが撮像される。当該画像は、図１１に示す撮像画像１１２と同様となる。   When detecting a change in the display image 111, the server 50 causes the video camera 20 to capture an image of the projection area (step S33). Therefore, for example, the target 200 including the projection image PR2 shown in FIG. The image is the same as the captured image 112 shown in FIG.

サーバ５０は、次いで、ステップＳ３３の処理において撮像された撮像画像１１２内に描画があるか否かを判定する（ステップＳ３４）。例えば撮像画像１１２内の輝度値を比較することで判定すればよい。この描画は、描画前後のビデオカメラ２０による撮像画像１１２を比較することにより検出する。描画前の撮像画像１１２は、ステップＳ３１の処理で保持された図８に示す撮像画像１１２が使用される。描画後の撮像画像１１２は、図１１に示す撮像画像１１２が使用される。   Next, the server 50 determines whether or not there is a drawing in the captured image 112 captured in the process of step S33 (step S34). For example, the determination may be made by comparing luminance values in the captured image 112. This drawing is detected by comparing the images 112 taken by the video camera 20 before and after the drawing. As the captured image 112 before drawing, the captured image 112 shown in FIG. 8 held in step S31 is used. As the captured image 112 after drawing, the captured image 112 shown in FIG. 11 is used.

サーバ５０は、ステップＳ３４の処理において、撮像画像１１２内に描画があると判定した場合には、次いで、その描画が投影画像ＰＲ２上のあるか否かを判定する（ステップＳ３５）。投影画像ＰＲ２上にあるか否かについては、上述した図８に示す撮像画像１１２と図１１に示す撮像画像１１２を比較すればよい。   If the server 50 determines in the process of step S34 that there is a drawing in the captured image 112, the server 50 then determines whether the drawing is on the projection image PR2 (step S35). Whether the image is on the projection image PR2 may be compared with the above-described captured image 112 shown in FIG. 8 and the captured image 112 shown in FIG.

サーバ５０は、ステップＳ３５の処理のおいて、投影画像ＰＲ２上に描画があると判定した場合には、表示画像１１２における表示領域の変化前後の差分に関する差分画像を生成する（ステップＳ３６）。   If the server 50 determines that there is a drawing on the projection image PR2 in the process of step S35, the server 50 generates a difference image related to the difference before and after the change of the display area in the display image 112 (step S36).

より詳しくは、図１２に示すように、表示画像１１１における破線の表示枠から実線の表示枠に表示領域が変化された場合、実線枠で囲われる表示領域から破線枠で囲われる表示領域を除いた領域が表示画像の差分であるとして差分画像を生成する。この際、例えば変化前後の四隅の位置座標が使用される。   More specifically, as shown in FIG. 12, when the display area is changed from the broken line display frame to the solid line display frame in the display image 111, the display area surrounded by the broken line frame is excluded from the display area surrounded by the solid line frame. A difference image is generated on the assumption that the region is the difference between the display images. At this time, for example, the position coordinates of the four corners before and after the change are used.

サーバ５０は、ステップＳ３６の処理により、差分画像を生成すると、プロジェクタ４０を制御して、図１３に示すように、当該差分画像に関する投影画像ＰＲ３を投影させる（ステップＳ３７）。この際、投影画像ＰＲ２と整合するように投影させる。この結果、同図に示すように、対象物２００には、描画位置が維持されつつ、投影画像ＰＲ２と連続するように、投影画像ＰＲ３が投影される。すなわち、サーバ５０は、変更前後の表示画像１１１の四隅の位置座標を有しており、これに基づき差分画像を投影画像ＰＲ２と連続させる。サーバ５０は、この画像をビデオカメラ２０に撮像させる（ステップＳ３８）。この撮像画像は、別の描画が投影画像ＰＲ２に対してなされた際に描画前の撮像画像として比較するために使用される。   When the server 50 generates the difference image by the process of step S36, the server 50 controls the projector 40 to project the projection image PR3 related to the difference image as shown in FIG. 13 (step S37). At this time, projection is performed so as to be consistent with the projection image PR2. As a result, as shown in the figure, the projection image PR3 is projected onto the object 200 so as to be continuous with the projection image PR2 while maintaining the drawing position. That is, the server 50 has the position coordinates of the four corners of the display image 111 before and after the change, and based on this, the difference image is made continuous with the projection image PR2. The server 50 causes the video camera 20 to capture this image (step S38). This captured image is used for comparison as a captured image before rendering when another rendering is performed on the projection image PR2.

尚、上述したステップＳ３４の処理において、サーバ５０は、撮像画像１１２内に描画がないと判定した場合や、ステップＳ３５の処理において、描画が投影画像ＰＲ２上にないと判定した場合には、投影画像ＰＲ２の座標情報を更新し（ステップＳ３９）、変化後の表示画像をプロジェクタ４０に投影させる（ステップＳ４０）。すなわち、表示領域が変化した表示画像に関する投影画像ＰＲ２が対象物２００に投影される。   If the server 50 determines that there is no drawing in the captured image 112 in the process of step S34 described above, or if it is determined that the drawing is not on the projection image PR2 in the process of step S35, the projection is performed. The coordinate information of the image PR2 is updated (step S39), and the display image after the change is projected on the projector 40 (step S40). That is, the projection image PR2 related to the display image in which the display area is changed is projected onto the object 200.

ここで、上述した差分画像の種々の生成形態について図１４から図１７を参照して説明する。
図１４は表示領域１１１ａの拡張を説明するための図、図１５は拡張による差分画像の一例、図１６は表示領域１１１ａの移動を説明するための図、図１７は移動による差分画像の一例である。 Here, various generation forms of the above-described difference image will be described with reference to FIGS. 14 to 17.
14 is a diagram for explaining expansion of the display area 111a, FIG. 15 is an example of a difference image by expansion, FIG. 16 is a diagram for explaining movement of the display area 111a, and FIG. 17 is an example of difference image by movement. is there.

表示領域１１１ａは、上述したようなポインタＰｔの指示により、図１４に示すように、表示領域１１１ｂに拡大する。この場合、図１５に示すように、実線枠で囲われる表示領域１１１ｂから破線枠で囲われる表示領域１１１ａを除いた表示領域が表示画像の差分であるとして差分画像を生成する。すなわち、表示領域の拡張は、上述した図１２に示す拡張の形態だけに限られず、この拡張に応じた差分画像の生成も可能である。   The display area 111a is enlarged to the display area 111b as shown in FIG. 14 according to the instruction of the pointer Pt as described above. In this case, as shown in FIG. 15, the difference image is generated assuming that the display area excluding the display area 111a surrounded by the broken line frame from the display area 111b surrounded by the solid line frame is the difference of the display image. That is, the expansion of the display area is not limited to the form of expansion illustrated in FIG. 12 described above, and a difference image corresponding to the expansion can be generated.

また、表示領域１１１ａは、図１６に示すように、表示領域１１１ｂに移動する。この場合も、図１７に示すように、実線枠で囲われる表示領域１１１ｂから破線枠で囲われる表示領域１１１ａを除いた表示領域が表示画像の差分であるとして差分画像を生成する。   Further, the display area 111a moves to the display area 111b as shown in FIG. Also in this case, as shown in FIG. 17, the difference image is generated assuming that the display area excluding the display area 111a surrounded by the broken line frame from the display area 111b surrounded by the solid line frame is the difference of the display image.

（第２実施形態）
続いて、本発明の第２実施形態について図１８及び図１９を参照して説明する。
図１８は端末１００における表示例、図１９は対象物２００に対する投影例である。 (Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIGS.
18 shows a display example on the terminal 100, and FIG. 19 shows a projection example on the object 200. FIG.

本実施形態に係る指示システムは、上述した拡張や移動によって生成される差分画像の投影がプロジェクタ４０の投影領域に収まらない場合に、投影領域内であって、投影画像に重ならない場所に投影させている。   When the projection of the difference image generated by the above-described expansion or movement does not fit in the projection area of the projector 40, the instruction system according to the present embodiment causes the projection system to project to a place that does not overlap the projection image. ing.

具体的には、図１８に示すように、表示画像１１１が第１実施形態に係る表示領域からさらに拡張されて、破線の表示枠から実線の表示枠に表示領域が変化された場合、当該変化に応じた差分画像を生成する。   Specifically, as illustrated in FIG. 18, when the display image 111 is further expanded from the display area according to the first embodiment and the display area is changed from a broken display frame to a solid display frame, the change is performed. A difference image corresponding to is generated.

ここで、この拡張・変化に応じた差分画像を投影画像として対象物２００に投影させるべきであるが、図１９に示すように、投影画像ＰＲ３の下には、投影可能な場所がない。したがって、投影領域内であって、投影画像ＰＲ２、ＰＲ３に重ならない場所に投影画像ＰＲ４を投影させる。この投影は、撮像画像１１２を利用して行われ、投影画像ＰＲ２、ＰＲ３が投影されていない領域を抽出することにより行われる。この領域の抽出には、例えば上述した撮像画像１１２内の輝度値等を使用さればよい。   Here, the difference image corresponding to the expansion / change should be projected onto the target object 200 as a projection image, but as shown in FIG. 19, there is no projectable place under the projection image PR3. Therefore, the projection image PR4 is projected to a place in the projection area that does not overlap the projection images PR2 and PR3. This projection is performed using the captured image 112, and is performed by extracting a region where the projection images PR2 and PR3 are not projected. For example, the luminance value in the captured image 112 described above may be used to extract this region.

これにより、表示画像１１１に投影領域を超える拡張等があっても、対象物２００上の投影画像ＰＲ２に対する描画の位置を変化せずに、表示画像１１１に関する投影画像ＰＲ２、ＰＲ３、ＰＲ４が投影される。   Thereby, even if the display image 111 extends beyond the projection area, the projection images PR2, PR3, and PR4 related to the display image 111 are projected without changing the drawing position on the projection image PR2 on the object 200. The

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変化が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。また、上述した実施形態では、差分画像を投影したが、変更後の表示領域に相当する表示画像の全体を投影画像として投影させるようにしてもよい。   The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to the specific embodiments according to the present invention, and various modifications are possible within the scope of the gist of the present invention described in the claims.・ Change is possible. For example, the program of the present invention can be provided not only by communication means but also stored in a recording medium such as a CD-ROM. In the above-described embodiment, the difference image is projected, but the entire display image corresponding to the changed display area may be projected as a projection image.

本発明によれば、表示画像の表示領域に変化が生じても、表示画像に関する投影画像の投影位置とその投影画像に対して行われた描画の描画位置との位置ずれを生じさせずに、変更後の表示画像に関する投影画像が投影される。これにより、遠隔地間の対話が円滑となるため、産業上の利用可能性が高い。   According to the present invention, even if a change occurs in the display area of the display image, without causing a displacement between the projection position of the projection image related to the display image and the drawing position of the drawing performed on the projection image, A projection image related to the display image after the change is projected. As a result, the dialogue between remote locations becomes smooth, so the industrial applicability is high.

指示システムの実施形態を示す構成図である。It is a block diagram which shows embodiment of an instruction | indication system. サーバの要部構成を示す機能ブロック図である。It is a functional block diagram which shows the principal part structure of a server. サーバのハードウェア構成を示す機能ブロック図である。It is a functional block diagram which shows the hardware constitutions of a server. 対象物側装置のサーバにおける処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process in the server of the target side apparatus. 端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process in the image formation in the computer of a terminal. 端末側の操作の一例を説明するための図である。It is a figure for demonstrating an example of operation by the side of a terminal. サーバにおける投影調整処理の一例を示すフローチャートである。It is a flowchart which shows an example of the projection adjustment process in a server. 端末における表示例である。It is the example of a display in a terminal. 対象物に対する投影例である。It is an example of projection with respect to a target object. 対象物に対する他の投影例である。It is another example of projection with respect to a target object. 端末における他の表示例である。It is another example of a display in a terminal. 端末における表示領域拡張を説明するための図である。It is a figure for demonstrating the display area expansion in a terminal. 表示領域拡張に応じた対象物に対する投影例である。It is an example of the projection with respect to the target object according to display area expansion. 表示領域の拡張を説明するための図である。It is a figure for demonstrating the expansion of a display area. 拡張による差分画像の一例である。It is an example of the difference image by expansion. 表示領域の移動を説明するための図である。It is a figure for demonstrating the movement of a display area. 移動による差分画像の一例である。It is an example of the difference image by movement. 端末における表示例である。It is the example of a display in a terminal. 対象物に対する投影例である。It is an example of projection with respect to a target object.

符号の説明Explanation of symbols

１０ 対象物側装置
２０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
５０ａ ＣＰＵ
５０ｂ ＲＡＭ
５０ｃ ＲＯＭ
５０ｄ Ｉ／Ｆ
５０ｅ バス
５１ 撮像部
５２ 画像送信部
５３ 受信部
５４ 投影部
５５ 描画指示処理部
５６ 画像処理部
６０ ハーフミラー
１００ 端末
１１０ 表示装置
１１１ 表示画面
１１２ 撮像画像
１２０ コンピュータ
１３０ ポインティングデバイス
２００ 対象物
２１０ ペン
３００ ネットワーク
ＡＮ１、ＡＮ２ アノテーション画像
ＡＲ 注目領域
ＢＴ ボタン
Ｐｔ ポインタ
ＰＲ１、ＰＲ２、ＰＲ３、ＰＲ４ 投影画像

DESCRIPTION OF SYMBOLS 10 Object side apparatus 20 Video camera 40 Projector 50 Server 50a CPU
50b RAM
50c ROM
50d I / F
50e bus 51 imaging unit 52 image transmission unit 53 reception unit 54 projection unit 55 drawing instruction processing unit 56 image processing unit 60 half mirror 100 terminal 110 display device 111 display screen 112 captured image 120 computer 130 pointing device 200 target object 210 pen 300 network AN1, AN2 Annotation image AR Attention area BT button Pt pointer PR1, PR2, PR3, PR4 Projected image

Claims (6)

対象物を含む対象領域内を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象領域内に投影させ得る制御手段を有し、
前記制御手段は、前記端末における第１の表示画像を前記投影手段により前記対象領域内に投影させ、前記第１の表示画像に対する表示領域の変化を検出した場合であって、投影された前記第１の表示画像に関する投影画像に対する描画を検出したときに、変化後の表示領域に相当する第２の表示画像を、前記第１の表示画像と前記第２の表示画像の位置座標に基づいて、前記投影画像と整合するように前記投影手段により投影させることを特徴とする指示システム。 The captured image captured by the imaging unit that captures the inside of the target area including the target object is transmitted to the terminal, and the annotation image representing the annotation according to the instruction based on the captured image made by the terminal is transmitted by the projecting unit. Having control means capable of projecting into the area;
The control means is a case where a first display image on the terminal is projected into the target area by the projection means, and a change in the display area with respect to the first display image is detected. A second display image corresponding to the display area after the change is detected based on the position coordinates of the first display image and the second display image when drawing on the projection image related to the one display image is detected; An instruction system that causes the projection unit to project the projected image so as to match the projected image. 前記制御手段は、前記描画を、描画前後の前記撮像手段による撮像画像を比較することにより検出することを特徴とする請求項１に記載の指示システム。   The instruction system according to claim 1, wherein the control unit detects the drawing by comparing images captured by the imaging unit before and after the drawing. 前記制御手段は、前記第１の表示画像と前記第２の表示画像との差分に関する差分画像を前記投影画像と連続するように前記投影手段に投影させることを特徴とする請求項１又は２に記載の指示システム。   The control unit causes the projection unit to project a difference image related to a difference between the first display image and the second display image so as to be continuous with the projection image. The indicated instruction system. 前記制御手段は、前記第２の表示画像に関する投影画像の一部が前記投影手段の投影領域内に収まらない場合に、該一部に相当する投影画像を前記投影領域内であって、前記第２の表示画像に関する投影画像に重ならない場所に投影させることを特徴とする請求項１から３のいずれか１項に記載の指示システム。   When a part of the projection image related to the second display image does not fit in the projection area of the projection means, the control means sends a projection image corresponding to the part in the projection area, and The instruction system according to any one of claims 1 to 3, wherein projection is performed on a place that does not overlap with a projection image related to the two display images. コンピュータを、
対象物を含む対象領域内を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象領域内に投影させ得る制御手段として機能させ、
前記制御手段は、前記端末における第１の表示画像を前記投影手段により前記対象領域内に投影させ、前記第１の表示画像に対する表示領域の変化を検出した場合であって、投影された前記第１の表示画像に関する投影画像に対する描画を検出したときに、変化後の表示領域に相当する第２の表示画像を、前記第１の表示画像と前記第２の表示画像の位置座標に基づいて、前記投影画像と整合するように前記投影手段により投影させることを特徴とする指示プログラム。 Computer
The captured image captured by the imaging unit that captures the inside of the target area including the target object is transmitted to the terminal, and the annotation image representing the annotation according to the instruction based on the captured image made by the terminal is transmitted by the projecting unit. Function as a control means that can be projected into the area,
The control means projects the first display image on the terminal into the target area by the projection means, and detects a change in the display area with respect to the first display image. A second display image corresponding to the display area after the change is detected based on the position coordinates of the first display image and the second display image when drawing on the projection image relating to the one display image is detected. An instruction program for causing the projection unit to project the image so as to match the projected image. 対象物を含む対象領域内を撮像する撮像手段と、
前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を前記対象領域内に投影する投影手段と、
前記撮像画像を端末に送信すると共に、前記端末でなされた前記指示に応じた前記注釈画像を前記投影手段に投影させ、前記端末における第１の表示画像を前記投影手段により前記対象領域内に投影させ、前記第１の表示画像に対する表示領域の変化を検出した場合であって、投影された前記第１の表示画像に関する投影画像に対する描画を検出したときに、変化後の表示領域に相当する第２の表示画像を、前記第１の表示画像と前記第２の表示画像の位置座標に基づいて、前記投影画像と整合するように前記投影手段により投影させる制御手段と、
を有することを特徴とする指示装置。


Imaging means for imaging the inside of the target area including the target object;
Projection means for projecting an annotation image representing an annotation in accordance with an instruction based on a captured image captured by the imaging means into the target area;
The captured image is transmitted to the terminal, and the annotation image according to the instruction given by the terminal is projected onto the projection unit, and the first display image on the terminal is projected into the target area by the projection unit. When a change in the display area with respect to the first display image is detected, and when a drawing with respect to the projected image related to the projected first display image is detected, a second display area corresponding to the changed display area is detected. Control means for projecting the two display images by the projection means so as to be aligned with the projection image based on the position coordinates of the first display image and the second display image;
A pointing device characterized by comprising:


JP2008060876A 2008-03-11 2008-03-11 Indication system, indication program and indication device Pending JP2009218883A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008060876A JP2009218883A (en) 2008-03-11 2008-03-11 Indication system, indication program and indication device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008060876A JP2009218883A (en) 2008-03-11 2008-03-11 Indication system, indication program and indication device

Publications (1)

Publication Number Publication Date
JP2009218883A true JP2009218883A (en) 2009-09-24

Family

ID=41190315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008060876A Pending JP2009218883A (en) 2008-03-11 2008-03-11 Indication system, indication program and indication device

Country Status (1)

Country Link
JP (1) JP2009218883A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010133A (en) * 2021-04-08 2021-06-22 腾讯科技（深圳）有限公司 Data display method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010133A (en) * 2021-04-08 2021-06-22 腾讯科技（深圳）有限公司 Data display method
CN113010133B (en) * 2021-04-08 2023-04-07 腾讯科技（深圳）有限公司 Data display method

Similar Documents

Publication Publication Date Title
JP5361159B2 (en) Image display control device, control method therefor, program, and recording medium
KR20200028481A (en) Imaging apparatus, image display system and operation method
JP6573755B2 (en) Display control method, information processing program, and information processing apparatus
JP4816704B2 (en) Instruction system, instruction program
JP2005123707A (en) Image projection apparatus and image projection system, and display image generating apparatus and display image generating method
JP5220157B2 (en) Information processing apparatus, control method therefor, program, and storage medium
JP4872482B2 (en) Remote support device, remote support system, and remote support method
JP2007241537A (en) Projection system, projection device, personal digital assistant, control method for projection system and its program
JP4438870B2 (en) Instruction system, instruction program and instruction apparatus
JP4674627B2 (en) Information processing apparatus, remote instruction system, and program
JP2010272078A (en) System, and control unit of electronic information board, and cursor control method
JP2010015032A (en) Projector, control method thereof, and image projection display system
JP2009218883A (en) Indication system, indication program and indication device
JP2009200846A (en) Indication system, indication program and indication device
JP2009222919A (en) Image display system, display device used in the same and information processing method
JP5327439B2 (en) Display device, display system, program, and information storage medium
JP2009098281A (en) Projection video display system, and projection video display device used for the same
JP2010068193A (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP5162855B2 (en) Image processing apparatus, remote image processing system, and image processing method
JP2010034720A (en) Instruction system, instruction device, terminal apparatus, instruction program, and program for terminal
JP5656496B2 (en) Display device and display method
JP4744217B2 (en) How the terminal works
JP2009219037A (en) Indication system, indication program and indication device
JP2015156167A (en) Image projection device, control method of image projection device, and control program of image projection device
JP7484568B2 (en) Display device, display method, and program