JP4517827B2

JP4517827B2 - Screen sharing system and information processing apparatus

Info

Publication number: JP4517827B2
Application number: JP2004336865A
Authority: JP
Inventors: ひろみ鵜飼; 雅人石井; 祐佳當目; 昭博伊藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-11-22
Filing date: 2004-11-22
Publication date: 2010-08-04
Anticipated expiration: 2024-11-22
Also published as: JP2006146629A

Description

本発明は、ネットワークで接続された端末間で画面を共有し合い、かつ、各端末から同時に書き込みが可能なシステム及び方法に関する。 The present invention relates to a system and method capable of sharing a screen between terminals connected via a network and simultaneously writing from each terminal.

特許文献１では、（ａ）ウィンドウシステムによるベースのウィンドウ（デスクトップウィンドウ）、（ｂ）任意のアプリケーションのウィンドウ、（ｃ）（ｂ）のアプリケーションウィンドウを親とする透明なボード、（ｄ）透明ボード上のマウスイベント検知、という順にウィンドウを重ね、任意のアプリケーションに対するアノテーション機能を実現する方法が公開されている。 In Patent Document 1, (a) a window based on a window system (desktop window), (b) a window of an arbitrary application, (c) a transparent board whose parent is the application window of (b), and (d) a transparent board A method for realizing an annotation function for an arbitrary application by overlapping windows in the order of mouse event detection above has been disclosed.

特開２００１−１３４４１５号公報JP 2001-134415 A

特許文献1で公開されている方法では、アノテーションを行うための対象アプリケーションが、端末間で起動済みであり、互いに画面情報が共有され、同じ画面情報が表示されていることが前提となっているため、任意のアプリケーション（対象アプリケーションとは異なる）で作成された画面を共有する場合には、端末すべてにその任意のアプリケーションがインストールされていなければならない。例えば、作成途中のソフトウェア・プログラムのレビューを行うなど、汎用プログラムではない画面を共有したい場合に対応することができない恐れがある。 The method disclosed in Patent Document 1 is based on the premise that the target application for performing annotation has been started between terminals, the screen information is shared with each other, and the same screen information is displayed. Therefore, when sharing a screen created by an arbitrary application (different from the target application), the arbitrary application must be installed in all terminals. For example, there is a possibility that it is not possible to cope with a case where it is desired to share a screen that is not a general-purpose program, such as a review of a software program being created.

本発明の解決しようとする第一の課題は、各端末で画面を作成する専用アプリケーションが起動していなくても、専用アプリケーションの画面を共有することができ、また、共有している画面への書き込みが互いに可能なシステム及び方法を提供することである。 The first problem to be solved by the present invention is that even if a dedicated application for creating a screen is not activated on each terminal, the screen of the dedicated application can be shared. It is to provide a system and method that can be written to each other.

また、任意の端末で動作中のアプリケーションの画面を共有する場合、アプリケーションが動作中の端末からはアプリケーションの画面情報（表示データ）をキャプチャして送信し、その他の端末では画面情報を受信して表示する方法が一般的である。しかし、ホワイトボードへの書き込みも同時に行おうとすると、画面情報をキャプチャする処理の間は、グラフィックボードからの読み出し処理と書き込み処理が同時に行われることとなり、一般に流通しているグラフィックボードでは対応が不可能なため、書き込み処理が中断することとなり、マウスやペンによるホワイトボードへの書き込みが滑らかでなく、不完全な軌跡となる。 Also, when sharing the screen of an application that is running on any terminal, the application screen information (display data) is captured and transmitted from the terminal on which the application is running, and the screen information is received on other terminals. The display method is common. However, if you try to write to the whiteboard at the same time, during the process of capturing the screen information, the reading process from the graphic board and the writing process will be performed at the same time. Since this is possible, the writing process is interrupted, and writing on the whiteboard with a mouse or pen is not smooth, resulting in an incomplete locus.

本発明の解決しようとする第二の課題は、ホワイトボードへの書き込みが滑らかな線となるシステム及び方法を提供することである。 The second problem to be solved by the present invention is to provide a system and a method in which writing on a whiteboard becomes a smooth line.

本発明は、ネットワークに接続された複数の端末（例えば、ディスプレイステーション、ノートPC）間で、マスタ端末が当該マスタ端末に表示されているベース画面（例えば、デスクトップ画面）をキャプチャした表示データを他のスレーブ端末へ定期的に送信し、スレーブ端末が表示データを用いて当該スレーブ端末にベース画面を表示し、さらに、各端末は、マスタ端末であるかスレーブ端末であるかに関わらず、書き込みができる透明又は半透明な画面（例えば、ホワイトボード画面）をベース画面に重ねて表示し、ある端末が入力装置から透明又は半透明な画面に書き込みを行った場合に、その書き込み情報（例えば、入力イベント）を他の端末に送信し、他の端末が書き込み情報をベース画面に重ねて表示し、マスタ端末は、当該マスタ端末への書き込み情報が入力されている場合に、当該マスタ端末に表示されたベース画面のキャプチャ処理と表示データの送受信処理を中断し、当該マスタ端末への書き込み情報が入力されない場合に、当該マスタ端末に表示されたベース画面のキャプチャ処理と表示データの送信処理を定期的に行う。 The present invention relates to display data obtained by capturing a base screen (for example, a desktop screen) displayed on a master terminal by a master terminal between a plurality of terminals (for example, a display station or a notebook PC) connected to a network. The slave terminal periodically displays the base screen on the slave terminal using the display data, and each terminal can write regardless of whether it is a master terminal or a slave terminal. A transparent or semi-transparent screen (for example, a whiteboard screen) that can be displayed is superimposed on the base screen, and when a terminal writes from the input device to the transparent or translucent screen, the writing information (for example, input) Event) to the other terminal, the other terminal displays the written information superimposed on the base screen, and the master terminal When the write information to the master terminal is input, the capture process of the base screen displayed on the master terminal and the display data transmission / reception process are interrupted, and the write information to the master terminal is not input, The base screen displayed on the master terminal is periodically captured and the display data is transmitted.

また、本発明は、スレーブ端末は、利用者の指示に従って又は当該画面共有システム自動的に当該スレーブ端末の任意のウィンドウを選択して、選択されたウィンドウの画面を定期的にキャプチャしてマスタ端末に送信し、マスタ端末は、ウィンドウを受信してベース画面上に重ねて表示することによって、複数の端末間で画面を共有する。 Further, according to the present invention, the slave terminal selects an arbitrary window of the slave terminal in accordance with an instruction of the user or automatically of the screen sharing system, and periodically captures the screen of the selected window. The master terminal receives the window and displays it over the base screen, thereby sharing the screen among the plurality of terminals.

また、本発明は、表示装置に表示された第１の画面（例えば、デスクトップ画面）上に透明又は半透明な第２の画面（例えば、ホワイトボード画面）を重ねて表示し、第１のプログラム（例えば、文書作成アプリケーション、図表作成アプリケーション）を用いて入力装置からの入力に従って第１の画面を作成し、他の情報処理装置（例えば、ディスプレイステーション、ノートPC）にインストールされたプログラム（例えば、ホワイトボードアプリケーション）に対応する第２のプログラム（例えば、ホワイトボードアプリケーション）を用いて入力装置からの入力に従って第２の画面を作成し、第２のプログラムを用いて通信装置を介して他の情報処理装置と第２の画面を共有し、表示装置に表示されている第１の画面をキャプチャし、キャプチャされた第１の画面を通信装置を介して他の情報処理装置へ送信し、第２の画面に対して入力装置からの入力（例えば、入力イベント）がある場合に、第１の画面のキャプチャを停止する。 The present invention also provides a first program that displays a transparent or translucent second screen (for example, a whiteboard screen) on a first screen (for example, a desktop screen) displayed on the display device. (For example, a document creation application, a chart creation application) is used to create a first screen in accordance with an input from an input device, and a program (for example, a display station, a notebook PC) installed on another information processing device (for example, a display station, a notebook PC) A second screen corresponding to the input from the input device is created using a second program (for example, a whiteboard application) corresponding to the whiteboard application), and other information is transmitted via the communication device using the second program. Share the second screen with the processing device, capture the first screen displayed on the display device, When the captured first screen is transmitted to another information processing apparatus via the communication device, and there is an input (for example, an input event) from the input device to the second screen, the first screen Stop capture.

また、本発明は、表示装置に表示された第１の画面（例えば、デスクトップ画面）上に透明又は半透明な第２の画面（例えば、ホワイトボード画面）を重ねて表示し、表示装置に表示されている第１の画面の表示データを通信装置を介して他の情報処理装置（例えば、ディスプレイステーション、ノートPC）へ送信することによって他の情報処理装置と第１の画面を共有し、第２の画面に対する入力装置からの入力のイベントを通信装置を介して他の情報処理装置へ送信することによって他の情報処理装置と第２の画面を共有する。 Further, the present invention displays a transparent or translucent second screen (for example, a whiteboard screen) on a first screen (for example, a desktop screen) displayed on the display device, and displays it on the display device. The first screen is shared with the other information processing apparatus by transmitting the displayed first screen display data to the other information processing apparatus (for example, display station, notebook PC) via the communication apparatus, The second screen is shared with another information processing apparatus by transmitting an event of input from the input apparatus to the second screen to the other information processing apparatus via the communication apparatus.

本発明によれば、画面そのものをキャプチャするため、各端末に専用の複数の端末間で画面を共有することができ、また、共有している画面への書き込みが互いにできる。 According to the present invention, since the screen itself is captured, the screen can be shared among a plurality of terminals dedicated to each terminal, and writing to the shared screen can be performed mutually.

本発明によれば、マスタ端末が大画面であれば、複数の端末のアプリケーション画面をマスタ端末の画面に表示できるため、複数の端末から必要な画面のみを表示して共有することができるようになり、共有画面への書き込みもできる。 According to the present invention, if the master terminal is a large screen, the application screens of a plurality of terminals can be displayed on the screen of the master terminal, so that only necessary screens can be displayed and shared from the plurality of terminals. You can also write to the shared screen.

本発明によれば、マスタ端末の画面を手元のノートPCに表示して共有し、共有画面への書き込みができるようになるため、席に座ったままで書き込み操作ができる。 According to the present invention, since the screen of the master terminal is displayed on the notebook PC at hand and shared, and writing on the shared screen can be performed, the writing operation can be performed while sitting in the seat.

本発明によれば、画面を共有して作業を進めることができるため、オフィス内での手軽なミーティングを支援し、効率的に作業を進めることができるようになり、遠隔地においても使用できるため、出張のための費用や時間を削減することができる。 According to the present invention, since the work can be performed by sharing the screen, it is possible to support a simple meeting in the office, work efficiently, and can be used even in a remote place. Costs and time for business trips can be reduced.

本発明によれば、ベースとなる第１の画面は表示データのみを送受信し、透明又は半透明な第２の画面はその第２の画面に対する入力イベントを送受信するため、各情報処理装置に第１の画面を作成（編集）するプログラムを必要とせず、各情報処理装置の構成を簡素化できる。 According to the present invention, the first screen as a base transmits and receives only display data, and the second screen that is transparent or translucent transmits and receives input events for the second screen. The configuration of each information processing apparatus can be simplified without requiring a program for creating (editing) one screen.

本発明によれば、ベースとなる第１の画面は表示データのみを送受信し、透明又は半透明な第２の画面はその第２の画面に対する入力イベントを送受信するため、各情報処理装置に第１の画面を作成（編集）するプログラムを必要とせずに第１の画面を共有できると友に、第１の画面に対する書き込みを第２の画面上に行うため、各情報処理装置の利用者間で第１の画面に対する有用な議論を行うことができる。 According to the present invention, the first screen as a base transmits and receives only display data, and the second screen that is transparent or translucent transmits and receives input events for the second screen. When the first screen can be shared without the need for a program for creating (editing) one screen, a friend writes information to the first screen on the second screen. A useful discussion on the first screen can be made.

ある端末で画面共有するアプリケーションが動作している場合、その端末をマスタとし、一定時間ごとにそのマスタのデスクトップ画面をキャプチャして他の端末（スレーブ端末）に送信し、他の端末はマスタ端末のデスクトップ画面を受信して表示する。各端末では、デスクトップ画面の上に透明ホワイトボードを透明なウィンドウとして表示し、透明ホワイトボード上のマウスイベントを検知して透明ホワイトボードへの入力とし、透明ホワイトボード上にマウスイベントに対応した図形や文字を描く。マスタ端末では、マウスイベントとして、マスタ端末のマウスボタンが押されている間は、書き込み処理を優先させてデスクトップのキャプチャと画面送信は行わないようにする。また、ホワイトボードが不透明な場合も、マスタのデスクトップ画面を送信する必要がないため、送信しないようにする。更に、ある端末で動作しているアプリケーションの画面を選択し、一定時間ごとにアプリケーションの画面をキャプチャしてマスタ端末に送信するようにし、マスタ端末においては、複数の端末のアプリケーション画面をマスタ端末の画面に表示するようにし、上述の方法でマスタ端末の画面を共有すると共に透明ホワイトボードを使用することにより、複数の端末のアプリケーション画面を共有し、かつ、共有画面への書き込みを可能とする。 When a screen sharing application is running on a certain terminal, that terminal is the master, and the desktop screen of that master is captured and sent to another terminal (slave terminal) at regular intervals. Receive and display the desktop screen. Each terminal displays a transparent whiteboard as a transparent window on the desktop screen, detects mouse events on the transparent whiteboard and inputs them to the transparent whiteboard, and shapes corresponding to mouse events on the transparent whiteboard And draw letters. In the master terminal, as a mouse event, while the mouse button of the master terminal is being pressed, the writing process is prioritized so that desktop capture and screen transmission are not performed. Also, even when the whiteboard is opaque, it is not necessary to transmit the master desktop screen. Furthermore, an application screen running on a certain terminal is selected, and the application screen is captured and transmitted to the master terminal at regular intervals. In the master terminal, the application screens of a plurality of terminals are displayed on the master terminal. By displaying on the screen, sharing the screen of the master terminal by the above-described method and using a transparent whiteboard, the application screens of a plurality of terminals can be shared and writing to the shared screen can be performed.

図１は、本発明の１実施例の全体構成図である。図１を用いて、全体構成と画面共有システムの概要を述べる。１０１と１０４はCPU（処理装置）、メインメモリ（記憶装置）、ハードディスク（記憶装置）、グラフィックボード（画像処理装置）、無線ＬＡＮのアクセスポイント（通信装置）、大型ディスプレイ（表示装置）を備えたディスプレイステーション（以下、「ＤＳ」と略す）であり、イントラネット（ネットワーク）１０５に接続されている。DS１０１とDS１０４は別々の会議エリア１００に設置されており、５〜６人程度が大型ディスプレイを見ながら打合せすることを想定している。打合せの参加者がノートPC（情報処理装置）を持参する場合も想定し、DS１０１とノートPC１０２、１０３が無線ＬＡＮで接続されている。本実施例では無線ＬＡＮで接続されているが、有線ＬＡＮで接続されていても良く、また、イントラネットに接続されていても良い。DS１０１、DS１０４とノートPC１０２、ノートPC１０３には透明ホワイトボードアプリケーション（ソフトウェア・プログラム）８００（図８に表示）がインストールされている。透明ホワイトボードアプリケーション８００の一部である一部画面共有アプリケーション８３０を使用してノートPC１０２のウィンドウ画面１１１をDS１０１に表示し（ウィンドウ画面１１２）、また、DS１０１のウィンドウ画面１１２をノートPC１０３のウィンドウ画面１１１に表示する。また、透明ホワイトボードアプリケーション８００の一部であるホワイトボードアプリケーション８１０を使用して、キーボードやマウス、ペンによって描いた情報を接続された全端末に表示して共有する。CPUが各種アプリケーションを実行して、所定の機能を実現する。尚、ディスプレイステーション１０１は、複数の参加者（利用者）が使用可能な共有装置であり、ノートPC１０２、１０３は、各参加者が使用可能な個人端末であるのが好ましい。ホワイトボードアプリケーション８１０は、DS１０１やノートPC１０２、１０３の画面上に、キーボードやマウス、ペンなどから書き込み可能なホワイドボードを表示する。 FIG. 1 is an overall configuration diagram of one embodiment of the present invention. An overview of the overall configuration and the screen sharing system will be described with reference to FIG. Reference numerals 101 and 104 each include a CPU (processing device), a main memory (storage device), a hard disk (storage device), a graphic board (image processing device), a wireless LAN access point (communication device), and a large display (display device). A display station (hereinafter abbreviated as “DS”), which is connected to an intranet (network) 105. DS101 and DS104 are installed in separate conference areas 100, and it is assumed that about 5 to 6 people meet while watching a large display. Assuming that a meeting participant brings a notebook PC (information processing apparatus), the DS 101 and the notebook PCs 102 and 103 are connected by a wireless LAN. In this embodiment, the wireless LAN is used, but a wired LAN or an intranet may be used. A transparent whiteboard application (software program) 800 (shown in FIG. 8) is installed in the DS 101, DS 104, the notebook PC 102, and the notebook PC 103. Using the partial screen sharing application 830 that is a part of the transparent whiteboard application 800, the window screen 111 of the notebook PC 102 is displayed on the DS 101 (window screen 112), and the window screen 112 of the DS 101 is displayed on the window screen of the notebook PC 103. 111. In addition, the whiteboard application 810 that is a part of the transparent whiteboard application 800 is used to display and share information drawn by the keyboard, mouse, and pen on all connected terminals. The CPU executes various applications to realize predetermined functions. The display station 101 is preferably a shared device that can be used by a plurality of participants (users), and the notebook PCs 102 and 103 are preferably personal terminals that can be used by each participant. The whiteboard application 810 displays a wide board that can be written from a keyboard, mouse, pen, or the like on the screen of the DS 101 or the notebook PC 102 or 103.

DSと複数のノートPCの組み合わせに加えて、遠隔地の複数台のDSを接続してリアルタイムで画面を共有しながら打合せをすることができる。DSの一台がマスタとなって全画面をキャプチャして送信し（全画面共有アプリケーション８２０のサーバ用プログラム８２１）、他のDS１０１がスレーブとなってマスタのDSによってキャプチャされた画面を受信して他のDS１０１に表示することにより（全画面共有アプリケーション８２０のクライアント用プログラム８２２）、複数台のDSで画面を共有することができる。マスタとなるDSは一台だけであるが、マスタのDSをスレーブにし、他のスレーブのDSをマスタに切り替えることにより、任意のDSの画面を共有することができる。この共有画面上に、ホワイトボードアプリケーション８１０を使用して、マウスで描いた情報を各端末に表示して共有することができる。 In addition to the combination of DS and multiple notebook PCs, you can connect multiple DSs at remote locations and have a meeting while sharing the screen in real time. One of the DSs becomes the master and captures and transmits the entire screen (server program 821 of the full-screen sharing application 820), and the other DS 101 becomes the slave and receives the screen captured by the master DS. By displaying on the other DS 101 (client program 822 of the full screen sharing application 820), the screen can be shared by a plurality of DSs. Although there is only one master DS, it is possible to share the screen of any DS by making the master DS a slave and switching the other slave DS to the master. On the shared screen, using the whiteboard application 810, information drawn with a mouse can be displayed on each terminal and shared.

図８に透明ホワイトボードアプリケーション８００の構成を示す。透明ホワイトボードアプリケーション８００は、ホワイトボードアプリケーション８１０と全画面共有アプリケーション８２０、一部画面共有アプリケーション８３０、接続端末管理ミドルウェア８４９を含む。ホワイトボードアプリケーション８１０は、ホワイトボードアプリケーション８１０への入力イベントを送受信し合う。入力イベントとは、ディスプレイステーション１０１に備えられ又は接続されたマウスやキーボード、タッチパネル、ペン（入力装置）や、ノートPC１０２、１０３に備えられ又は接続されたマウスやキーボード、タッチパネル、ペン（入力装置）から入力された書き込み、削除、移動、追加などのイベントをいう。全画面共有アプリケーション８２０は、サーバ用プログラム８２１とクライアント用プログラム８２２を含む。サーバ用プログラム８２１は一定時間（例えば、１秒、３０秒、１分、５分など）の間隔で定期的にデスクトップ画面をキャプチャして他のDSやノートPCに送信する。全画面共有アプリケーション８２０は、キャプチャすべきタイミングで、デスクトップ画面の１画面分の表示データをメインメモリに格納することにより、デスクトップ画面をキャプチャする。クライアント用プログラム８２２は、サーバ用プログラム８２１によってキャプチャされた画面の表示データを受信して表示する。一部画面共有アプリケーション８３０は、表示画面中の任意のウィンドウを選択して共有するアプリケーションであり、一定時間の間隔で定期的（例えば、１秒、３０秒、１分、５分など）に個別のウィンドウ画面１１１をキャプチャして他の端末に送信し、受信したDS１０１又はノートPC１０２、１０３でキャプチャされたウィンドウ画面１１１を表示する。一部画面共有アプリケーション８３０は、キャプチャすべきタイミングで、ウィンドウ画面１１１の表示データをメインメモリに格納することにより、画面をキャプチャする。接続端末管理ミドルウェア８４０は、ピア・トュー・ピア技術を使用して接続端末を管理するミドルウェアであり、透明ホワイトボードアプリケーション８００を使用している端末を自動的に検索し、アプリケーション間の情報の送受信を補助する。サーバ用プログラム８２１は参加者の指示によって、画面をキャプチャして他のDSやノートPCへ送信してもよい。表示データのファイル形式は、ビットマップイメージでもよいしＪＰＥＧでもよい。 FIG. 8 shows the configuration of the transparent whiteboard application 800. The transparent whiteboard application 800 includes a whiteboard application 810, a full screen sharing application 820, a partial screen sharing application 830, and a connection terminal management middleware 849. The whiteboard application 810 transmits and receives input events to the whiteboard application 810. An input event is a mouse, keyboard, touch panel, pen (input device) provided or connected to the display station 101, or a mouse, keyboard, touch panel, pen (input device) provided or connected to the notebook PCs 102, 103. This refers to events such as write, delete, move, and add entered from. The full screen sharing application 820 includes a server program 821 and a client program 822. The server program 821 captures a desktop screen at regular intervals (for example, 1 second, 30 seconds, 1 minute, 5 minutes, etc.) and transmits it to other DSs or notebook PCs. The full screen sharing application 820 captures the desktop screen by storing display data for one screen of the desktop screen in the main memory at the timing to be captured. The client program 822 receives and displays the screen display data captured by the server program 821. The partial screen sharing application 830 is an application that selects and shares an arbitrary window in the display screen, and is periodically and periodically (for example, 1 second, 30 seconds, 1 minute, 5 minutes, etc.). The window screen 111 is captured and transmitted to another terminal, and the received window screen 111 captured by the DS 101 or the notebook PC 102 or 103 is displayed. The partial screen sharing application 830 captures the screen by storing the display data of the window screen 111 in the main memory at the timing to be captured. The connection terminal management middleware 840 is a middleware that manages connection terminals using peer-to-peer technology, and automatically searches for terminals using the transparent whiteboard application 800 and transmits / receives information between applications. To assist. The server program 821 may capture the screen and send it to another DS or notebook PC according to the instruction of the participant. The file format of the display data may be a bitmap image or JPEG.

図２は透明ホワイトボードアプリケーション８００の画面表示例と、画面表示におけるレイヤ構成を表す図である。DS１０１の画面２０１は、DS１０１のデスクトップ画面２０２とホワイトボードアプリケーション８１０のホワイトボード画面２０３を重ね合わせて構成している。デスクトップ画面２０２は、通常のコンピュータの画面を表しており、図２ではデスクトップ上に任意の専用アプリケーションのウィンドウが表示されているが、アプリケーションのウィンドウが何も表示されていない場合もある。ホワイトボード画面２０３は、デスクトップ画面２０２の上に透明なボードとして表示されている。但し、ホワイトボード画面２０３は半透明なボードでもよい。画面２０１とホワイトボード画面２０３の左上に表示されている矢印型のアイコン２１０は、現在のモードからアプリケーションモードへの変更を、ペン型のアイコン２１１は現在のモードからペンモードへの変更を選択するためのアイコンである。アプリケーションモードとは、任意の専用アプリケーション（例えば、文書作成アプリケーション、図表作成アプリケーション）の操作が可能な状態であり、ペンモードとはマウスやタブレットPCのペンで画面に図形を描いたり、それを消しゴムで消したりすることができるモードである。アプリケーションモードでは、利用者からの入力に従って任意の専用アプリケーションによって作成された文書や図形、線が描かれたデスクトップ画面２０２又はウィンドウ画面１１１が表示される。一方、ペンモードでは、利用者からの入力に従ってホワイトボードアプリケーション８１０によって作成された文書や図形、線が描かれたホワイトボード画面２０３が表示される。画面の左側の部分にはホワイトボードアプリケーションのツール群が表示されている。ホワイトボード画面２０３は透明なボードであるため、何も描かれていない状態では下層に表示されている画面２０２が透けてあたかもデスクトップ画面が表示されているように見える。ユーザにとっては、アプリケーションモードとペンモードとの違いが分かりにくいため、ペンモードの時には格子模様を表示するのが好ましい。ペンモード時に、ペンで図形や線を描くと描かれた部分は透けずに上書きされたように表示され、蛍光ペンで描くと半透明となり、下層が透けて見えるように表示される。このように、デスクトップ画面２０２の上に透明ボードなホワイトボード画面２０３を表示することにより、デスクトップ画面２０２でアニメーションを表示している場合などのように、デスクトップ画面２０２が変化する場合にも描くことができるため、画像を取り込んでから描く方法と比較して、画面が変化した場合にも画像を取り込みなおす必要がないという利点がある。また、透明なホワイトボード画面２０３のみをクリアすることも容易であることや、ある資料に対して修正を指示した後に、透明ボードなホワイトボード画面２０３はそのままにしておき、デスクトップ画面２０２にて修正前の資料と修正後の資料を入れ替えて修正部分を確認する、という使い方もできるようになる。また、デスクトップ画面２０２又はウィンドウ画面１１１にホワイトボード画面２０３が重ねられた画面が印刷されるのが好ましい。 FIG. 2 is a diagram illustrating a screen display example of the transparent whiteboard application 800 and a layer configuration in the screen display. The screen 101 of the DS 101 is configured by superimposing the desktop screen 202 of the DS 101 and the white board screen 203 of the white board application 810. A desktop screen 202 represents a normal computer screen. In FIG. 2, an arbitrary dedicated application window is displayed on the desktop. However, there are cases where no application window is displayed. The whiteboard screen 203 is displayed on the desktop screen 202 as a transparent board. However, the whiteboard screen 203 may be a translucent board. An arrow-shaped icon 210 displayed on the upper left of the screen 201 and the whiteboard screen 203 selects a change from the current mode to the application mode, and a pen-shaped icon 211 selects a change from the current mode to the pen mode. It is an icon for. Application mode is a state in which any dedicated application (for example, document creation application, chart creation application) can be operated. Pen mode is a mode in which a mouse or tablet PC pen draws a figure or erases it. It is a mode that can be erased with. In the application mode, a desktop screen 202 or a window screen 111 on which a document, a figure, or a line created by an arbitrary dedicated application according to an input from the user is displayed. On the other hand, in the pen mode, a whiteboard screen 203 on which a document, a figure, and a line created by the whiteboard application 810 according to an input from the user is displayed. In the left part of the screen, the whiteboard application tools are displayed. Since the whiteboard screen 203 is a transparent board, when nothing is drawn, the screen 202 displayed in the lower layer is seen through as if the desktop screen is displayed. Since it is difficult for the user to understand the difference between the application mode and the pen mode, it is preferable to display a lattice pattern in the pen mode. In the pen mode, when a figure or line is drawn with the pen, the drawn part is displayed without being transparent, and when it is drawn with the highlighter pen, it becomes semi-transparent and is displayed so that the lower layer can be seen through. In this way, by displaying the transparent whiteboard screen 203 on the desktop screen 202, drawing is performed even when the desktop screen 202 changes, such as when an animation is displayed on the desktop screen 202. Therefore, as compared with the method of drawing after capturing an image, there is an advantage that it is not necessary to recapture the image even when the screen changes. In addition, it is easy to clear only the transparent whiteboard screen 203, and after instructing correction to a certain document, the transparent whiteboard screen 203 is left as it is and corrected on the desktop screen 202. You can also use the previous material and the material after correction to check the corrected part. In addition, it is preferable to print a screen in which the whiteboard screen 203 is superimposed on the desktop screen 202 or the window screen 111.

図３は、DS１０１とノートPC１０３が透明ホワイトボードアプリケーション８００を使用して打合せを行っている場合の画面情報の送受信方法を示した図である。DS１０１では、全画面共有アプリケーション８２０のサーバ用プログラム８２１が起動しており、ノートPC１０３では全画面共有アプリケーション８２０のクライアント用プログラム８２２が起動している。よって、全画面共有アプリケーション８２０又は一部画面共有アプリケーション８３０により、DS１０１で任意の専用アプリケーションによって作成されたデスクトップ画面２０２又はウィンドウ画面１１１が、その専用アプリケーションがインストールされていないノートPC１０３にも表示される。しかし、ノートPC１０３は、専用アプリケーションがインストールされていないため、デスクトップ画面２０２又はウィンドウ画面１１２の内容を変更できない。尚、DS１０１及びノートPC１０２、１０３の双方にホワイトボードアプリケーション８１０がインストールされているため、ホワイトボード画面２０３については、DS１０１及びノートPC１０２、１０３間で双方向で送受信及び表示可能である。ホワイトボードアプリケーション８１０は、図形や文字などが描かれると該当するイベント情報を互いに送受信し、ホワイトボード画面２０３に反映させる。このような処理を同時に行うと、画面をキャプチャする処理と描く処理を同時に行うことはできないため、キャプチャ時のマウスの座標情報が省かれてしまうこととなり、特に曲線を描いていた場合には、マウスの軌跡どおりの線が描かれずにぎざぎざの線になってしまうという問題がある。他の端末からのイベントは、データが保持されているため、曲線が描かれないという問題は発生しない。そこで、サーバ用プログラム８２１は、自端末のマウスのボタン押下情報がない場合に限って、つまり、入力装置からの入力イベントがない場合に限って、画面をキャプチャする。これによって、マウスの座標情報が省かれしまうために曲線が描けないという問題を解決することができる。また、打合せではテーブルを囲む形に座ることが多いため、大型のディスプレイが設置されている場合に、大型ディスプレイに対して横向きに座ることとなり、大型ディスプレイの画面を見ながら操作を行うことが難しいという問題があった。更に、大型ディスプレイにタッチパネルをつけたタイプや、専用ペンを使用してディスプレイ上で直接操作して描けるタイプのディスプレイも使用されているが、描くためには席を立ってディスプレイの前まで行かなければ書き込むことはできず、誰もが手軽に使用することが難しかった。手元のノートPCに大型ディスプレイの画面と同じ画面を表示し、かつ、手元のノートPCを使用してコメントなどを書き込むことができるようにすることにより、席に座ったまま、画面に対して横向きになることなく操作出来るようになるという効果も生まれる。尚、ノートPC１０２、１０３のデスクトップ画面１０２又はウィンドウ画面１１１をDS１０１へ表示するためには、ノートPC上でサーバ用プログラム８２１を起動し、DS１０１上でクライアント用プログラム８２２を起動すればよい。デスクトップ画面２０２又はウィンドウ画面１１１は、表示データのみ共有され、ホワイトボード画面２０３は、ホワイトボードアプリケーションレベルで共有される。 FIG. 3 is a diagram showing a screen information transmission / reception method when the DS 101 and the notebook PC 103 are making a meeting using the transparent whiteboard application 800. In the DS 101, the server program 821 of the full screen sharing application 820 is activated, and in the notebook PC 103, the client program 822 of the full screen sharing application 820 is activated. Therefore, the desktop screen 202 or the window screen 111 created by any dedicated application in the DS 101 by the full screen sharing application 820 or the partial screen sharing application 830 is also displayed on the notebook PC 103 in which the dedicated application is not installed. . However, the notebook PC 103 cannot change the contents of the desktop screen 202 or the window screen 112 because the dedicated application is not installed. Since the whiteboard application 810 is installed on both the DS 101 and the notebook PCs 102 and 103, the whiteboard screen 203 can be transmitted / received and displayed bidirectionally between the DS 101 and the notebook PCs 102 and 103. When a graphic or character is drawn, the whiteboard application 810 transmits / receives corresponding event information to the whiteboard screen 203. If such processing is performed at the same time, the screen capture processing and the drawing processing cannot be performed at the same time, so the coordinate information of the mouse at the time of capture will be omitted, especially when drawing a curve, There is a problem that the line as the mouse trajectory is not drawn and becomes a jagged line. Since events from other terminals hold data, there is no problem that a curve is not drawn. Therefore, the server program 821 captures the screen only when there is no mouse button press information of the terminal itself, that is, when there is no input event from the input device. This solves the problem that a curve cannot be drawn because mouse coordinate information is omitted. Also, since meetings often involve sitting around a table, if a large display is installed, it will sit sideways with respect to the large display, making it difficult to operate while looking at the screen of the large display There was a problem. In addition, a type with a touch panel attached to a large display and a type of display that can be drawn by directly operating on the display using a dedicated pen are also used, but in order to draw, you must stand up and go to the front of the display. It was difficult for everyone to use it easily. By displaying the same screen as the large display screen on the notebook PC at hand and allowing you to write comments etc. using the notebook PC at hand, you can sit sideways with respect to the screen while sitting in your seat The effect of being able to operate without becoming. In order to display the desktop screen 102 or the window screen 111 of the notebook PCs 102 and 103 on the DS 101, the server program 821 may be activated on the notebook PC and the client program 822 may be activated on the DS 101. The desktop screen 202 or the window screen 111 is shared only with display data, and the whiteboard screen 203 is shared at the whiteboard application level.

図４は、デスクトップ画面２０２に重ねて不透明なホワイトボード画面２０３を表示している画面例である。ホワイトボードアプリケーションには透明なボードを表示する透明モードと不透明なボードを表示する不透明モードがある。不透明モードでは、デスクトップ画面が表示されないため、実世界で使用されている一般的なホワイトボードのように使用することもできるし、画像を貼り付けて使用することもできる。不透明モードでは、デスクトップ画面２０２をキャプチャしてクライアント端末に送る処理はなくてもよい。透明モードではデスクトップ画面を送信し、不透明モードでは送信しないように処理を分け、表示しない情報は送受信しないようにすることにより、効率的な通信を行うことができるようになるという利点がある。尚、半透明なボードを表示する半透明モードを設けてもよい。半透明モードは、透明モードと同様に処理してもよいし、又は不透明モードと同様に処理してもよい。 FIG. 4 is a screen example in which an opaque whiteboard screen 203 is displayed on the desktop screen 202. The whiteboard application has a transparent mode that displays a transparent board and an opaque mode that displays an opaque board. In the opaque mode, since the desktop screen is not displayed, it can be used like a general whiteboard used in the real world, or can be used by pasting an image. In the opaque mode, there is no need to capture the desktop screen 202 and send it to the client terminal. By dividing the processing so that the desktop screen is transmitted in the transparent mode and not transmitted in the opaque mode, and not transmitting / receiving information that is not displayed, there is an advantage that efficient communication can be performed. A translucent mode for displaying a translucent board may be provided. The translucent mode may be processed in the same manner as the transparent mode, or may be processed in the same manner as the opaque mode.

図５はアプリケーションモードからペンモードへの切替えの様子を示した図である。ペンモードからアプリケーションモードに切り替えるときにはホワイトボードが画面の下方へスライドし、アプリケーションモードからペンモードに切り替える時にはホワイトボードが画面の下方から上方へスライドするアニメーションを表示することにより、ユーザにモードの切替えを分かりやすくさせることができる。 FIG. 5 is a diagram showing a state of switching from the application mode to the pen mode. When switching from pen mode to application mode, the whiteboard slides to the bottom of the screen, and when switching from application mode to pen mode, the whiteboard slides from the bottom to the top of the screen to display an animation that allows the user to switch modes. It can be made easy to understand.

図６は一部画面共有アプリケーション８３０を使用した場合の画面表示を示した図である。ノートPC１０３を持参して打合せに参加する場合、ノートPC１０３には利用者が作成した資料が保存されており、打合せで使用することが想定される。ノートPC１０３にプロジェクタを接続して投影するという形でも資料を表示することは可能であるが、フルスクリーンが投影されてしまうため、表示したくない情報まで表示されてしまう可能性がある。そこで、共有したいウィンドウを選択し、定期的にウィンドウ画面１１１をキャプチャしてその画面をDS１０１に送信し、DS１０１では送信された画面を表示することにより、表示したいウィンドウ画面１１１のみを投影することができるようになる。ノートPC上のウィンドウ画面１１１の座標を画面に付加することにより、DS上でウィンドウ画面１１２の位置を再現してもよい。アプリケーションもノートPCのみで起動すれば良く、利用者がデータをコピーする必要もないため、手軽でデータの流出もないという利点がある。また、DSでは受信した複数の画像情報を表示できるため、複数のノートPCからDSに同時にウィンドウ画面１１１を送信して表示することも可能である。ノートPC１０２がウィンドウ画面１１１を送信し、DS１０１が受信してウィンドウ画面１１２を表示している場合、DS１０１の画面は、デスクトップ画面６０１を最下層に表示し、一部画面共有画面６０２をウィンドウ画面１１１としてデスクトップ画面の上に表示し、さらにホワイトボード画面６０３が最上層にデスクトップ画面と同じ大きさで重ねて表示する。ノートPC１０３の画面は、ノートPCのデスクトップ画面６１１が最下層に表示され、その上に全画面共有画面６１２をウィンドウ画面１１１として表示し、更に、ホワイトボード画面を最上層に全画面共有画面６１２と同じ大きさで重ねて表示する。このように、一部画面共有と全画面共有を組み合わせて使用することにより、柔軟な構成が可能となる。ノートPC１０２に対しては、全画面共有画面６１２をウィンドウ画面１１１として表示したが、他の会議エリアに設置されているDS１０４に対しては、全画面共有画面６１２を全画面表示することにより、DS１０１とDS１０４に同じ画面を表示してもよい。 FIG. 6 is a diagram showing a screen display when the partial screen sharing application 830 is used. When bringing a notebook PC 103 to participate in a meeting, materials created by the user are stored in the notebook PC 103 and are assumed to be used in the meeting. Although it is possible to display a document by projecting it with a projector connected to the notebook PC 103, since a full screen is projected, there is a possibility that even information that is not desired to be displayed may be displayed. Therefore, it is possible to project only the window screen 111 to be displayed by selecting a window to be shared, periodically capturing the window screen 111, transmitting the screen to the DS 101, and displaying the transmitted screen on the DS 101. become able to. The position of the window screen 112 may be reproduced on the DS by adding the coordinates of the window screen 111 on the notebook PC to the screen. The application only needs to be launched on a notebook PC, and the user does not need to copy the data. Further, since the DS can display a plurality of received image information, the window screen 111 can be simultaneously transmitted from a plurality of notebook PCs to the DS for display. When the notebook PC 102 transmits the window screen 111 and the DS 101 receives and displays the window screen 112, the DS 101 screen displays the desktop screen 601 at the lowest layer and the partial screen sharing screen 602 as the window screen 111. Are displayed on the desktop screen, and the whiteboard screen 603 is displayed on the top layer in the same size as the desktop screen. As for the screen of the notebook PC 103, the desktop screen 611 of the notebook PC is displayed in the lowest layer, the full screen sharing screen 612 is displayed thereon as the window screen 111, and further, the full screen sharing screen 612 is displayed in the top layer of the whiteboard screen. Overlay the same size. In this way, by using a combination of partial screen sharing and full screen sharing, a flexible configuration is possible. For the notebook PC 102, the full screen sharing screen 612 is displayed as the window screen 111. However, for the DS 104 installed in another conference area, the full screen sharing screen 612 is displayed on the full screen, so that the DS 101 And DS 104 may display the same screen.

図７は透明ホワイトボードアプリケーション８００の一部である、ホワイトボード−全画面共有連携モジュール７００のフローを示した図である。モジュールがスタート（ステップ７１０）すると、接続端末管理ミドルウェア８４０を起動し、ホワイトボードアプリケーション８１０を起動する。次に、ステップ７３０でホワイトボードが透明モードか否かを判断する。透明ボードであった場合はステップ７４０に進んでペンモードで、かつ、マウスボタンが押されているか否かを判断する。ペンモードで、かつ、マウスボタンが押されていると判断した場合にはステップ７３０に戻る。それ以外の場合（ペンモードではない場合又はマウスボタンが押されていない場合）は、ステップ７５０に進み、定期的に処理を行うためのタイマーを起動する。ステップ７６０にて一定時間の経過が判断されたらステップ７７０に進み、全画面をキャプチャして接続中の他のDS１０１やノートPC１０２、１０３に送信し、ステップ７３０に戻る。ステップ７３０でホワイトボードが透明モードでない場合は、何も処理せずにステップ７３０に戻る。ステップ７５０からステップ７７０までの処理は全画面共有アプリケーション８２０のサーバ用プログラム８２１の処理である。 FIG. 7 is a diagram showing a flow of the whiteboard-full screen sharing cooperation module 700 which is a part of the transparent whiteboard application 800. When the module starts (Step 710), the connection terminal management middleware 840 is activated and the whiteboard application 810 is activated. Next, in step 730, it is determined whether the whiteboard is in a transparent mode. If it is a transparent board, the process proceeds to step 740 to determine whether the pen mode is active and the mouse button is pressed. If it is determined that the mouse mode is pressed in the pen mode, the process returns to step 730. In other cases (when not in the pen mode or when the mouse button is not pressed), the process proceeds to step 750, and a timer for performing processing periodically is started. If it is determined in step 760 that the predetermined time has elapsed, the process proceeds to step 770, where the entire screen is captured and transmitted to the other connected DS 101 and notebook PCs 102 and 103, and the process returns to step 730. If the whiteboard is not in the transparent mode in step 730, no processing is performed and the process returns to step 730. The processing from step 750 to step 770 is the processing of the server program 821 of the full screen sharing application 820.

図９は、ステップ７３０およびステップ７４０の判断に結果によって、サーバ用プログラム８２１の処理が行われるか否かを示す表９００である。サーバ用プログラム８２１が実行される場合を○、されない場合を×で表示している。 FIG. 9 is a table 900 showing whether or not the processing of the server program 821 is performed depending on the result of the determination in step 730 and step 740. A case where the server program 821 is executed is indicated by ◯, and a case where the server program 821 is not executed is indicated by ×.

このように、ホワイトボードアプリケーション８１０が不透明モードか透明モードか、マウスカーソルがペンモードかアプリケーションモードか、ペンモードの場合はマウスボタンが押されているか否か、によって処理を分け、透明モードで、かつ、アプリモードの場合と、不透明モードで、かつ、ペンモードでマウスボタンが押されていない場合のみ、DSのデスクトップ画面を送信するようにすることにより、必要な共有画面のみを送受信することができ、また、接続中の端末が共有画面の上に互いに書き込みを行うことができるようになる。更に、画面をキャプチャしている間は描画ができないために曲線がスムーズに描画されないという問題を解決することができる。例えば、ホームページをFLASHアニメーションで作成している場合に、ウェブブラウザでアニメーションをし、その上に透明ホワイトボードを表示して書き込む、ということができるようになる。加えて、複数の端末の画面を大型ディスプレイに表示し、大型ディスプレイの画面をマスタとして複数の端末をスレーブとし、マスタ−スレーブ端末間で透明ホワイトボードを使用することもできるようになる。 In this way, the processing is divided according to whether the whiteboard application 810 is in the opaque mode or the transparent mode, whether the mouse cursor is in the pen mode or the application mode, and whether the mouse button is pressed in the pen mode. In addition, only the necessary shared screen can be sent and received by sending the DS desktop screen only in the application mode and in the opaque mode and when the mouse button is not pressed in the pen mode. In addition, connected terminals can write to each other on the shared screen. Further, since the drawing cannot be performed while the screen is captured, the problem that the curve is not drawn smoothly can be solved. For example, when a homepage is created with FLASH animation, it is possible to animate with a web browser and display and write a transparent whiteboard on it. In addition, the screen of a plurality of terminals can be displayed on a large display, the screen of the large display can be used as a master, the plurality of terminals can be slaves, and a transparent whiteboard can be used between the master and slave terminals.

大型のディスプレイとノートPCを連携させ、大型ディスプレイの画面と同じ画面をノートPCに表示させ、その上に互いに書き込むことができるようにすることにより、オフィス内での手軽な打合せを支援し、効率的に作業を進めることができるようになるという効果がある。また、遠隔地に設置されているDSを接続して会議ができること、および、アプリケーションを動作させるDSは一台で、その画面情報のみを共有することにより、プログラムレビューなどのように特別なプログラムを動作させた画面も遠隔地のメンバと共有することができ、出張費や出張のための時間を削減することもでき、効率的に仕事を進めることができるようになる。また、必要な画面をハードコピーして保存しておくことにより、ホワイトボードとそのときに表示されていたアプリケーションの画面を画面情報として同時に保存することができるため、保存した画面情報を配布するなどして、ミーティングのプロセスをメンバで共有することが容易にできるようになる。これらの利点は、オフィスでのミーティングへの適用だけでなく、顧客へのコンサルティングなどへの幅広い適用が可能である。 Supports easy meetings in the office by linking a large display and a notebook PC, displaying the same screen as the large display on the notebook PC, and writing on each other on it. There is an effect that it is possible to proceed with the work. In addition, it is possible to have a conference by connecting a DS installed at a remote location, and a single DS that operates the application. By sharing only the screen information, a special program such as a program review can be created. The operated screen can also be shared with members at remote locations, the travel expenses and time for business trips can be reduced, and the work can be carried out efficiently. In addition, by hard-copying and saving the necessary screens, the screen of the whiteboard and the application that was displayed at that time can be saved simultaneously as screen information, so the saved screen information is distributed, etc. Thus, the meeting process can be easily shared with members. These advantages can be widely applied not only to office meetings but also to customer consulting.

使用するアプリケーションに依存せずに、注釈をつけたり、修正を依頼したりすることができるため、画面を共有することによる作業の効率化アップと作業のプロセスを保存するツールとして、オフィスでのミーティング、金融などの相談窓口や在宅でのコンサルティング業務、などに適用できる。 You can annotate and request corrections without depending on the application you use, so you can improve your work efficiency by sharing the screen and save your work process. It can be applied to consulting services such as finance and consulting services at home.

ミーティング支援システムの全体構成図である。1 is an overall configuration diagram of a meeting support system. 透明ホワイトボードの画面例と構成を示した図である。It is the figure which showed the example of a screen of a transparent whiteboard, and a structure. 透明ホワイトボードの画面情報の送受信方法を示した図である。It is the figure which showed the transmission / reception method of the screen information of a transparent whiteboard. 不透明モードのホワイトボードの画面例を示した図である。It is the figure which showed the example of a screen of the white board of opaque mode. アプリモードとペンモードの切替え画面を示した図である。It is the figure which showed the switching screen of application mode and pen mode. 一部画面共有アプリケーション８３０を使用した場合の画面表示に関する図である。10 is a diagram related to screen display when a partial screen sharing application 830 is used. FIG. ホワイトボードと全画面共有の連携モジュールのフローを示した図である。It is the figure which showed the flow of the cooperation module of a whiteboard and full screen sharing. 透明ホワイトボードアプリケーションの構成を示した図である。It is the figure which showed the structure of the transparent whiteboard application. 全画面共有プログラムのサーバプログラムを実行する判断基準を示した図である。It is the figure which showed the criteria for performing the server program of a full screen sharing program.

符号の説明Explanation of symbols

１００会議エリア
１０１、１０４ディスプレイステーション
１０２、１０３ノートPC
１０５イントラネット
１１１ホワイトボード画面
２０１透明ホワイトボードの画面例
８００透明ホワイトボードアプリケーション
８１０ホワイトボードアプリケーション
８２０全画面共有アプリケーション
８３０一部画面共有アプリケーション
８４０接続端末管理ミドルウェア
100 Conference area 101, 104 Display station 102, 103 Notebook PC
105 Intranet 111 Whiteboard Screen 201 Transparent Whiteboard Screen Example 800 Transparent Whiteboard Application
810 Whiteboard application 820 Full screen sharing application 830 Partial screen sharing application 840 Connected terminal management middleware

Claims

ネットワークに接続されたマスタ端末とスレーブ端末とからなる複数の端末間で、前記マスタ端末が当該マスタ端末に表示されているベース画面をキャプチャした表示データを前記スレーブ端末へ送信し、前記スレーブ端末が前記表示データを用いて当該スレーブ端末に前記ベース画面を表示する画面共有システムにおいて、
前記各端末は、
前記マスタ端末であるか前記スレーブ端末であるかに関わらず、書き込みができる画面を透明モード又は不透明モードにて前記ベース画面の上に重ねて表示し、
いずれかの前記端末が入力装置から前記書き込みができる画面への書き込みを受け付けた場合に、当該書き込み情報を他の前記端末に送信し、
前記書き込み情報を受信した他の前記端末は前記書き込み情報に基づく前記書き込みができる画面を前記ベース画面の上に重ねて表示し、
前記マスタ端末は、
当該マスタ端末の前記書き込みができる画面への書き込みが行われている場合、または、前記書き込みができる画面に不透明モードが選択された場合に、当該マスタ端末に表示された前記ベース画面のキャプチャ処理と前記表示データの送受信処理を行わず、
当該マスタ端末の前記書き込みができる画面への書き込みが行われず、かつ、前記書き込みができる画面に透明モードが選択された場合に、当該マスタ端末に表示された前記ベース画面のキャプチャ処理と前記表示データの送信処理を行う
ことを特徴とする画面共有システム。 Among a plurality of terminals comprising a master terminal connected to the network and the slave terminals, the display data to which the master terminal has captured the base screen that is displayed on the master terminal transmits to the slave terminal, the slave terminal In a screen sharing system that displays the base screen on the slave terminal using the display data,
Wherein each terminal,
Regardless of whether it is the master terminal or the slave terminal, a writable screen is displayed on the base screen in a transparent mode or an opaque mode ,
If any of the terminal has accepted the write from the input device to the screen that allows the writing, and transmits the write data to the other of said terminals,
Another of the terminal receiving the write information is displayed over the screen that allows the writing based on the write information on the base screen,
The master terminal is
When the writing to the writable screen of the master terminal is performed , or when the opaque mode is selected for the writable screen, the capture process of the base screen displayed on the master terminal; Without performing the transmission and reception processing of the display data,
When the writing to the writable screen of the master terminal is not performed and the transparent mode is selected for the writable screen, the capture process of the base screen displayed on the master terminal and the display A screen sharing system characterized by performing data transmission processing.

請求項１に記載の画面共有システムにおいて、
前記スレーブ端末は、
当該スレーブ端末の任意のウィンドウの選択を受け付け、
選択された前記ウィンドウの画面をキャプチャして前記マスタ端末に送信し、
前記マスタ端末は、前記ウィンドウを受信して前記ベース画面上に重ねて表示することによって、複数の端末間で画面を共有する
ことを特徴とする画面共有システム。 The screen sharing system according to claim 1,
The slave terminal is
Accepting a selection of any window of the slave terminal,
Capture the screen of the selected window and send it to the master terminal,
The master terminal by displaying superimposed on the base screen for receiving the window, screen sharing system that is characterized by sharing the screen among a plurality of terminals.

他の情報処理装置と画面を共有可能な情報処理装置において、
画面を表示する表示装置と、
入力装置からの入力に従って前記画面を作成する処理装置と、
前記他の情報処理装置と通信する通信装置とを備え、
前記処理装置は、
前記表示装置に表示された第１の画面上に、透明モード又は不透明モードの第２の画面を重ねて表示し、
第１のプログラムを用いて前記入力装置からの入力に従って前記第１の画面を作成し、
前記他の情報処理装置にインストールされたプログラムに対応する第２のプログラムを用いて前記入力装置からの入力に従って前記第２の画面を作成し、
前記第２のプログラムを用いて前記通信装置を介して前記他の情報処理装置と前記第２の画面を共有し、
前記表示装置に表示されている前記第１の画面をキャプチャし、
キャプチャした前記第１の画面を前記通信装置を介して前記他の情報処理装置へ送信し、
前記第２の画面に対して前記入力装置からの入力がある場合、または、前記第２の画面が不透明モードである場合に、前記第１の画面のキャプチャを停止する
ことを特徴とする情報処理装置。 In an information processing apparatus that can share a screen with another information processing apparatus,
A display device for displaying a screen;
A processing device for creating the screen according to an input from an input device;
A communication device that communicates with the other information processing device,
The processor is
Wherein the display device a first screen displayed on the displays superimposed the second screen of the transparent mode or non transparent mode,
Creating the first screen according to an input from the input device using a first program;
Creating the second screen according to an input from the input device using a second program corresponding to a program installed in the other information processing device;
Sharing the second screen with the other information processing apparatus via the communication apparatus using the second program,
Capturing the first screen displayed on the display device;
The first screen capture via the communication device transmits to the other information processing apparatus,
When the input from the input device is input to the second screen, or when the second screen is in an opaque mode, the capture of the first screen is stopped. apparatus.

請求項３に記載の情報処理装置において、
前記処理装置は、前記第２の画面に対する前記入力装置からの入力のイベントを前記通信装置を介して前記他の情報処理装置へ送信することによって、前記他の情報処理装置と前記第２の画面を共有する
ことを特徴とする情報処理装置。 The information processing apparatus according to claim 3.
The processing device transmits an event of input from the input device with respect to the second screen to the other information processing device via the communication device, whereby the other information processing device and the second screen are transmitted. information processing apparatus said to share.

請求項４に記載の情報処理装置において、
前記通信装置は、前記他の情報装置装置に表示された第２の画面に対する入力のイベントを前記他の情報処理装置から受信し、
前記処理装置は、前記第２のプログラムを用いて前記他の情報処理装置から受信された前記第２の画面に対する入力のイベントに従って前記第２の画面を作成し、前記表示装置に表示された第１の画面上に、作成された前記第２の画面を重ねて表示することによって、前記他の情報処理装置に表示された前記第２の画面を前記他の情報処理装置と共有する
ことを特徴とする情報処理装置。 The information processing apparatus according to claim 4,
The communication device receives an input event for the second screen displayed on the other information device from the other information processing device,
The processing device creates the second screen according to an input event for the second screen received from the other information processing device using the second program, and displays the second screen displayed on the display device. The second screen displayed on the other information processing apparatus is shared with the other information processing apparatus by displaying the created second screen superimposed on the one screen. and to that information processing apparatus.

請求項４または５に記載の情報処理装置において、
前記処理装置は、
前記第１のプログラムに優先して前記第２のプログラムを実行しているか否かを判定し、
前記第２の画面に対して前記入力装置からの入力があるか否かを判定し、
前記第１のプログラムに優先して前記第２のプログラムを実行しておらずかつ前記第２の画面に対して前記入力装置からの入力がない場合に、前記表示装置に表示されている前記第１の画面をキャプチャする
ことを特徴とする情報処理装置。 The information processing apparatus according to claim 4 or 5,
The processor is
Determining whether the second program is executed in preference to the first program;
Determining whether there is an input from the input device for the second screen;
The second program displayed on the display device when the second program is not executed in preference to the first program and there is no input from the input device to the second screen. information processing apparatus characterized by capturing a screen.

他の情報処理装置と画面を共有可能な情報処理装置において、
画面を表示する表示装置と、
入力装置からの入力に従って前記画面を作成する処理装置と、
前記他の情報処理装置と通信する通信装置とを備え、
前記処理装置は、
前記表示装置に表示された第１の画面上に透明モード又は不透明モードの第２の画面を重ねて表示し、
前記第２の画面に対して前記入力装置からの入力がなく、かつ、前記第２の画面が透明モードである場合に、前記表示装置に表示されている前記第１の画面のキャプチャと、キャプチャした前記第1の画面の表示データを前記通信装置を介して前記他の情報処理装置へ送信する処理と、を行うことによって前記他の情報処理装置と前記第１の画面を共有し、
前記第２の画面に対する前記入力装置からの入力のイベントを前記通信装置を介して前記他の情報処理装置へ送信することによって前記他の情報処理装置と前記第２の画面を共有する
ことを特徴とする情報処理装置。 In an information processing apparatus that can share a screen with another information processing apparatus,
A display device for displaying a screen;
A processing device for creating the screen according to an input from an input device;
A communication device that communicates with the other information processing device,
The processor is
The display device superimposed a second screen of the first screen transparent mode or non-transparent mode on the displayed displayed on,
Capture of the first screen displayed on the display device when there is no input from the input device to the second screen and the second screen is in a transparent mode, and capture Sharing the first screen with the other information processing device by performing processing to transmit the display data of the first screen to the other information processing device via the communication device,
An event of input from the input device for the second screen is transmitted to the other information processing device via the communication device, thereby sharing the second screen with the other information processing device. Information processing apparatus.