JP2001197461A - Sharing operation method for multimedia information operation window - Google Patents

Abstract

PROBLEM TO BE SOLVED: To resolve the problem that it is necessary to perform complicated application program(AP) installation work at each time of execution for differ ent kinds of sharing operations, when it is necessary that an AP be installed at all information terminals which will perform sharing operations. SOLUTION: Display data in a display area of a window to be subjected to sharing operation is acquired in a first information terminal, and only this display data is transmitted via a network to a second information terminal which will perform sharing operation. This display data is displayed on a window in the second information terminal and information of character input operation, point moving operation, and click operation which a user of the second information terminal has performed on this window is transmitted to the first information terminal via the network and is reproduced in window operation on the first information terminal. Display data and sharing operation information are communicated between the first information terminal and the second information terminal, to realize window sharing operation.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、ネットワークに接
続された複数の情報端末間において、マルチメディア情
報の操作用ウインドウを共有して操作する方法に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method of operating a multimedia information operation window in a shared manner among a plurality of information terminals connected to a network.

【０００２】[0002]

【従来の技術】近年におけるインターネットの企業・家
庭への普及は、複数の情報端末を有機的に結合させるこ
とを加速化させた。それに伴い、複数の情報端末間で情
報の共有化はもちろんのこと、共有化された情報に対す
る共有操作環境の提供も望まれている。2. Description of the Related Art The recent spread of the Internet to businesses and homes has accelerated the organic coupling of a plurality of information terminals. Accordingly, it is desired to provide not only information sharing among a plurality of information terminals but also a sharing operation environment for the shared information.

【０００３】ネットワークに接続された複数の情報端末
において共有化された情報を効率よく操作するために
は、共有操作を行う全情報端末の画面上に同じウインド
ウを表示し、そのウインドウを操作することが望まし
い。In order to efficiently operate information shared by a plurality of information terminals connected to a network, it is necessary to display the same window on the screen of all information terminals performing the sharing operation and operate the window. Is desirable.

【０００４】前記のような共有操作が可能な共有操作環
境提供用プログラムの例としては、マイクロソフト社の
ＮｅｔＭｅｅｔｉｎｇが挙げられる。前記ＮｅｔＭｅｅ
ｔｉｎｇは、テレビ電話／会議システムの国際標準であ
るアイ・ティー・ユー−ティー勧告エッチ.３２３（Ｉ
ＴＵ−Ｔ勧告Ｈ．３２３）に準拠している。しかし、前
記ＮｅｔＭｅｅｔｉｎｇはマイクロソフト社のＷｉｎｄ
ｏｗｓ９５、Ｗｉｎｄｏｗｓ９８およびＷｉｎｄｏｗｓ
ＮＴが動作するパーソナルコンピュータ向けの共有操作
環境提供用プログラムであり、情報の共有操作を行うた
めには共有操作環境提供用プログラム内で起動させるホ
ワイトボードのようなアプリケーションプログラムが全
情報端末にインストールされている必要があった。[0004] An example of a program for providing a shared operation environment capable of performing the above-described shared operation is Microsoft's NetMeeting. The NetMee
Ting is an international standard for videophone / conference systems, which is an IT utility recommendation H.323 (I
TU-T Recommendation H. 323). However, NetMeeting is Microsoft's Wind
ows95, Windows98 and Windows
This is a program for providing a shared operation environment for personal computers on which NT operates. In order to perform information sharing operation, an application program such as a whiteboard that is started in the program for providing a shared operation environment is installed on all information terminals. Had to be.

【０００５】次に、図２１を用いて共有操作の従来例を
説明する。従来例では、まず前記の共有操作環境提供用
プログラムを予め起動しておいた後に、ステップ２１０
１により、共有操作環境提供用プログラム内で使用する
アプリケーションプログラム（例えば、ホワイトボード
・プログラム）が全端末で起動する。Next, a conventional example of a sharing operation will be described with reference to FIG. In the conventional example, first, the program for providing the shared operation environment is started in advance, and
By 1, an application program (for example, a whiteboard program) used in the shared operation environment providing program is started on all terminals.

【０００６】前記アプリケーションプログラムは、各端
末内にインストールされているものが使用される。アプ
リケーションプログラムの起動後は、自端末上でアプリ
ケーションプログラムを操作したかをステップ２１０２
で判断する。もし自端末で操作を加えた場合には、ステ
ップ２１０５でアプリケーションプログラムを共有操作
している自端末以外の端末へ加えた操作情報が送信され
る。一方、自端末以外の端末でアプリケーションプログ
ラムが操作されているかをステップ２１０３で判断す
る。もし、自端末以外の端末で操作が加えられた場合に
は、ステップ２１０４で操作を加えた端末が送信した操
作情報を受信し、ステップ２１０６で加えられた操作を
自端末のアプリケーションプログラムに反映させる。[0006] The application program used is installed in each terminal. After the application program is started, it is determined in step 2102 whether the application program has been operated on the own terminal.
To judge. If an operation has been performed on the own terminal, the added operation information is transmitted to a terminal other than the own terminal that is sharing the application program in step 2105. On the other hand, it is determined in step 2103 whether an application program is being operated on a terminal other than the own terminal. If an operation is performed on a terminal other than the own terminal, the operation information transmitted by the terminal that performed the operation in step 2104 is received, and the operation performed in step 2106 is reflected on the application program of the own terminal. .

【０００７】ステップ２１０７で共有操作の終了が確認
されるまで、前記の処理フローが繰り返される。[0007] The above processing flow is repeated until the end of the sharing operation is confirmed in step 2107.

【０００８】[0008]

【発明が解決しようとする課題】将来、高速な通信イン
フラストラクチャが整備されると、企業／企業間、企業
／家庭間のインタラクティブなマルチメディアサービス
が増加し、複数の情報端末間で共有操作を行う機会も増
加するものと考えられる。また、現在よりも更にインタ
ラクティブなマルチメディアサービスが一般家庭に浸透
していくためには、パーソナルコンピュータの操作経験
がない人も簡単に操作できるような家庭内情報端末が必
要になると考えられる。そのような家庭内情報端末は、
安価であること、メンテナンスが簡単であることが望ま
れるため、高性能なＣＰＵ、大容量なメモリを有する既
存のパーソナルコンピュータとは異なる構成になるもの
と考えられる。If a high-speed communication infrastructure is developed in the future, interactive multimedia services between companies / enterprise companies and between enterprises / homes will increase, and sharing operations will be performed between a plurality of information terminals. It is thought that opportunities to do it will increase. Further, in order for multimedia services more interactive than in the present to permeate ordinary households, it is considered that a home information terminal that can be easily operated even by a person who has no experience in operating a personal computer will be required. Such home information terminals,
Since it is desired to be inexpensive and easy to maintain, the configuration is considered to be different from that of an existing personal computer having a high-performance CPU and a large-capacity memory.

【０００９】しかし、従来例のＮｅｔＭｅｅｔｉｎｇ等
は、マイクロソフト社のＷｉｎｄｏｗｓ９５、Ｗｉｎｄ
ｏｗｓ９８およびＷｉｎｄｏｗｓＮＴが動作するパーソ
ナルコンピュータをターゲットとした共有操作環境提供
用プログラムであり、前記のような家庭内情報端末には
使用できない。更に、ＮｅｔＭｅｅｔｉｎｇの場合で
は、図２１の２１０１ステップのようにそのプログラム
内で起動させるアプリケーションプログラムが共有操作
を行う全情報端末にインストールされている必要があ
る。そのような場合には、バージョンアップや異なる種
類の共有操作が必要となるたびに、煩雑なアプリケーシ
ョンプログラムのインストール作業を行わなくてなら
ず、アプリケーションプログラムを蓄積する記憶媒体の
容量制限によりインストールが不可能な事態の発生も考
えられる。However, the conventional NetMeeting and the like are described in Microsoft Corporation's Windows 95 and Windows 95.
This is a program for providing a shared operation environment for personal computers on which Windows 98 and Windows NT operate, and cannot be used for home information terminals as described above. Furthermore, in the case of NetMeeting, it is necessary that an application program to be started in the program is installed in all information terminals that perform a sharing operation, as in step 2101 in FIG. In such a case, every time a version upgrade or a different type of sharing operation becomes necessary, complicated installation work of the application program must be performed, and the installation is not possible due to the limitation of the storage medium for storing the application program. Possible situations may occur.

【００１０】本発明では、前記の問題点を鑑み、前記の
家庭内情報端末でもマルチメディア情報の操作ウインド
ウを共有して操作する方法を提供する。[0010] In view of the above problems, the present invention provides a method of operating the multimedia information terminal by sharing the operation window of the multimedia information in the home information terminal.

【００１１】本発明と同様に、ＡＴ＆Ｔ社のＶＮＣ（Ｖ
ｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ）
と呼ばれるネットワークを介したウインドウの遠隔操作
プログラムも、全端末に共有操作を行うアプリケーショ
ンプログラムをインストールする必要がない。しかし、
ＶＮＣはモニタに表示されている全画面イメージが共有
操作をする端末に送信される点、ウインドウの遠隔操作
を行う端末が共有操作を開始する点が、本発明と異な
る。[0011] As in the present invention, VNC (V
actual Network Computing)
Also, a remote control program for windows via a network, which is referred to as a remote control program, does not need to install an application program for performing a sharing operation on all terminals. But,
The VNC differs from the present invention in that the full screen image displayed on the monitor is transmitted to the terminal that performs the sharing operation, and that the terminal that performs the remote operation of the window starts the sharing operation.

【００１２】[0012]

【課題を解決するための手段】本発明の請求項１の発明
は、共有操作を行うウインドウが起動している第１の情
報端末において、前記ウインドウの表示領域の表示デー
タを獲得し、共有操作を行う第２の情報端末へはネット
ワーク経由で前記ウインドウの表示データのみを送信す
る。According to a first aspect of the present invention, in a first information terminal in which a window for performing a sharing operation is activated, display data of a display area of the window is acquired, and the sharing operation is performed. Only the display data of the window is transmitted via the network to the second information terminal that performs the above.

【００１３】一方、第２の情報端末では、第１の情報端
末から送信された前記ウインドウの表示データを表示し
ている共有操作ウインドウ上で文字入力動作、ポインタ
移動動作およびクリック動作を行う。第２の情報端末上
で行われた前記文字入力動作、ポインタ移動動作および
クリツク動作の共有操作情報は、ネットワーク経由で第
１の情報端末に送信され、第１の情報端末上でのウイン
ドウ操作に再現され、その再現されたウインドウ操作と
第１の情報端末に接続されている入力装置で行われたウ
インドウ操作を合成し、合成後のウインドウ操作を画面
上に表示する。On the other hand, the second information terminal performs a character input operation, a pointer moving operation, and a click operation on the shared operation window displaying the window display data transmitted from the first information terminal. The shared operation information of the character input operation, the pointer movement operation, and the click operation performed on the second information terminal is transmitted to the first information terminal via the network, and is transmitted to the window operation on the first information terminal. The reproduced window operation is combined with the window operation performed by the input device connected to the first information terminal, and the combined window operation is displayed on the screen.

【００１４】第１の情報端末と第２の情報端末間で前記
表示データと共有操作情報を通信することにより、ウイ
ンドウの共有操作が実現される。By sharing the display data and the sharing operation information between the first information terminal and the second information terminal, a window sharing operation is realized.

【００１５】本発明の請求項２の発明は、本発明の請求
項１の手段を用いるとともに、第２の情報端末が２台以
上ある場合には、第１の情報端末内で複数の第２の情報
端末が加えた共有操作を解析、合成する。[0015] The invention of claim 2 of the present invention uses the means of claim 1 of the present invention and, when there are two or more second information terminals, a plurality of second information terminals in the first information terminal. Analyze and synthesize the sharing operation added by the information terminal.

【００１６】本発明の請求項３の発明は、本発明の請求
項１の手段を用いるとともに、第１の情報端末と第２の
情報端末間で複数の共有操作を行う場合には、共有操作
を行うウインドウ毎に特定な識別子を割り当て、前記識
別子でいずれのウインドウに対する共有操作かを認識す
る。According to a third aspect of the present invention, when a plurality of sharing operations are performed between the first information terminal and the second information terminal using the means of the first aspect of the present invention, the sharing operation is performed. A specific identifier is assigned to each window in which the sharing operation is performed, and the identifier identifies which window the sharing operation is for.

【００１７】本発明の請求項４の発明は、本発明の請求
項１、２および３に記載の共有操作方法を組み合わせる
ことにより、第１の情報端末と複数の第２の情報端末間
で様々なウインドウの共有操作方法を提供する。According to a fourth aspect of the present invention, by combining the sharing operation methods described in the first, second and third aspects of the present invention, various operations can be performed between a first information terminal and a plurality of second information terminals. Provide a simple window sharing operation method.

【００１８】本発明の請求項５の発明は、本発明の請求
項１、２および３に記載の共有操作方法を組み合わせる
ことにより、複数の第１の情報端末と第２の情報端末間
で様々なウインドウの共有操作方法を提供する。According to a fifth aspect of the present invention, by combining the sharing operation methods described in the first, second and third aspects of the present invention, various methods can be performed between a plurality of first information terminals and a plurality of second information terminals. Provide a simple window sharing operation method.

【００１９】本発明の請求項６の発明は、本発明の請求
項１、２および３に記載の共有操作方法を組み合わせる
ことにより、複数の第１の情報端末と複数の第２の情報
端末間で様々なウインドウの共有操作方法を提供する。According to a sixth aspect of the present invention, a plurality of first information terminals and a plurality of second information terminals are provided by combining the sharing operation methods according to the first, second and third aspects of the present invention. Provides various window sharing operation methods.

【００２０】本発明の請求項７の発明は、本発明の請求
項１、２、３、４、５および６の手段を用いるととも
に、第１の情報端末に接続されている入力装置が操作す
る第１のポインタと第２の情報端末の共有操作が操作す
る第２のポインタを個々に表示し、個々のポインタでウ
インドウが操作する場合には、共有操作するウインドウ
内に第２の情報端末用第２のポインタを新たに生成した
後、第２のポインタは第２の情報端末からの共有操作情
報で制御する。The invention of claim 7 of the present invention uses the means of claims 1, 2, 3, 4, 5, and 6 of the present invention, and operates an input device connected to the first information terminal. The first pointer and the second pointer operated by the sharing operation of the second information terminal are individually displayed. When the window is operated by each pointer, the second information terminal for the second information terminal is displayed in the window operated by the sharing operation. After newly generating the second pointer, the second pointer is controlled by the sharing operation information from the second information terminal.

【００２１】本発明の請求項８の発明は、本発明の請求
項１、２、３、４、５、６および７の手段を用いるとと
もに、第１の情報端末で第２の情報端末が行った共有操
作を有効化・無効化の切り替えをする場合には、第１の
情報端末内に共有操作可否情報を設け、第２の情報端末
が行った共有操作の有効化・無効化を共有操作可否情報
の設定で判断する。[0021] The invention of claim 8 of the present invention uses the means of claims 1, 2, 3, 4, 5, 6, and 7 of the present invention, and the second information terminal is operated by the first information terminal. When enabling / disabling the shared operation that has been performed, the sharing operation availability information is provided in the first information terminal, and the enabling / disabling of the sharing operation performed by the second information terminal is performed by the sharing operation. Judgment is made by setting the availability information.

【００２２】本発明の請求項９の発明は、本発明の請求
項１、２、３、４、５、６、７および８の手段を用いる
とともに、第１および第２もしくは第１または第２の情
報端末が行った操作履歴を、第１および第２もしくは第
１または第２の情報端末の記憶媒体内に保存するために
は、各情報端末で共有操作が行われたことを検知し、行
われた共有操作の情報をログファイルに出力する。A ninth aspect of the present invention uses the means of the first, second, third, fourth, fifth, sixth, seventh and eighth aspects of the present invention, and uses the first and second or first or second means. In order to save the operation history performed by the information terminal in the storage medium of the first and second or first or second information terminal, it is detected that the sharing operation has been performed in each information terminal, Outputs information on the performed sharing operation to a log file.

【００２３】[0023]

【発明の実施の形態】（実施の形態１）本発明が使用さ
れる環境について、図１〜６、図１９〜２０を参照して
説明する。図６において、情報端末６０１とサービス提
供端末６２１がネットワーク６４０を介して接続されて
いる。(Embodiment 1) An environment in which the present invention is used will be described with reference to FIGS. 1 to 6 and FIGS. In FIG. 6, an information terminal 601 and a service providing terminal 621 are connected via a network 640.

【００２４】なお、ネットワークはＬＡＮ、ＷＡＮまた
は専用回線で構成されている。The network is constituted by a LAN, a WAN or a dedicated line.

【００２５】また、情報端末６０１とサービス提供端末
６２１は、オーディオとビデオを使用したテレビ電話／
会議システムの国際標準方式であるアイ・ティー・ユー
−ティー勧告エッチ.３２３（ＩＴＵ−Ｔ勧告Ｈ．３２
３）に準拠した共有操作環境提供用プログラムを実行で
きるものとする。The information terminal 601 and the service providing terminal 621 are connected to a videophone / audio using video and audio.
IT-Ut Recommendation H.323 (ITU-T Recommendation H.32), which is an international standard system for conference systems
It is assumed that a program for providing a shared operation environment conforming to 3) can be executed.

【００２６】図１９に情報端末６０１のハードウエア構
造例のブロック図を示す。情報端末６０１の制御カード
１９０１上には、情報処理に用いるＣＰＵ１９０４、主
記憶メモリ１９０３およびフラッシュメモリ１９０２が
バス１９０５で結合されいる。また、モニタ６０２に映
像を出力するためのグラフィック処理部１９０７と、タ
ッチパネル６０３およびキーボード６０４からの操作入
力を制御する入力装置制御部１９０９と、カメラ６０７
からの映像入力を処理するビデオキャプチャ処理部１９
０８と、スピーカ６０８への音声出力およびマイク６０
９からの音声入力を処理するオーディオ処理部１９１０
と、ネットワークに対し、通信データの送受信を行うネ
ットワークインターフェース部１９１１がバス１９０５
で結合されている。なお、本実施の形態では、文字の入
力をキーボードで行ったが、音声による文字入力装置な
どを使用しても構わない。FIG. 19 is a block diagram showing an example of a hardware structure of the information terminal 601. On a control card 1901 of the information terminal 601, a CPU 1904 used for information processing, a main storage memory 1903, and a flash memory 1902 are connected by a bus 1905. Also, a graphic processing unit 1907 for outputting an image to the monitor 602, an input device control unit 1909 for controlling operation input from the touch panel 603 and the keyboard 604, and a camera 607
Video capture processing unit 19 that processes video input from
08, audio output to the speaker 608 and the microphone 60
Audio processing unit 1910 that processes audio input from
And a network interface unit 1911 for transmitting and receiving communication data to and from the network.
Are joined by In the present embodiment, characters are input using the keyboard, but a character input device using voice may be used.

【００２７】次に、図２０にサービス提供端末６２１の
ハードウエア構造例のブロック図を示す。サービス提供
端末６２１の制御カード２００１上には、情報処理に用
いるＣＰＵ２００４、主記憶メモリ２００３およびフラ
ッシュメモリ２００２と、データ記憶用のハードディス
クドライブ２００５がバス２００６で結合されいる。ま
た、モニタ６２２に映像を出力するためのグラフィック
処理部２００７と、マウス６２３およびキーボード６２
４からの操作入力を制御する入力装置制御部２００９
と、カメラ６２７からの映像入力を処理するビデオキャ
プチャ処理部２００８と、スピーカ６２８への音声出力
およびマイク６２９からの音声入力を処理するオーディ
オ処理部２０１０と、ネットワークに対し通信データの
送受信を行うネットワークインターフェース部２０１１
がバス２００６で結合されている。FIG. 20 is a block diagram showing an example of the hardware structure of the service providing terminal 621. On the control card 2001 of the service providing terminal 621, a CPU 2004 used for information processing, a main storage memory 2003, a flash memory 2002, and a hard disk drive 2005 for data storage are connected by a bus 2006. A graphic processing unit 2007 for outputting an image to the monitor 622, a mouse 623 and a keyboard 62
Input device control unit 2009 for controlling the operation input from the control unit 4
A video capture processing unit 2008 that processes video input from the camera 627, an audio processing unit 2010 that processes audio output to the speaker 628 and audio input from the microphone 629, and a network that transmits and receives communication data to and from the network. Interface section 2011
Are connected by a bus 2006.

【００２８】情報端末６０１には、図中に記していない
複数のウインドウが起動可能なウインドウシステムを利
用できるオペレーションシステムと本発明を実現するた
めのウインドウ共有操作プログラムが、フラッシュメモ
リ１９０２内にインストールされている。なお、本実施
の形態では前記オペレーションシステムとウインドウ共
有操作プログラムがフラッシュメモリにインストールさ
れていたがその他の記憶媒体にインストールされていて
も構わない。In the information terminal 601, an operation system capable of using a window system capable of starting a plurality of windows (not shown) and a window sharing operation program for realizing the present invention are installed in a flash memory 1902. ing. In the present embodiment, the operation system and the window sharing operation program are installed in the flash memory, but may be installed in another storage medium.

【００２９】サービス提供端末６２１には、図中に記し
ていない複数のウインドウが起動可能なウインドウシス
テムを利用できるオペレーションシステムと本発明を実
現するためのウインドウ共有操作マネージャープログラ
ムが、ハードディスクドライブ２００５に格納されてい
る。なお、本実施の形態では前記オペレーションシステ
ムとウインドウ共有操作マネージャープログラムがハー
ドディスクドライブにインストールされていたがその他
の記憶媒体にインストールされていても構わない。The service providing terminal 621 stores, in the hard disk drive 2005, an operation system capable of using a window system capable of starting a plurality of windows (not shown) and a window sharing operation manager program for realizing the present invention. Have been. In the present embodiment, the operating system and the window sharing operation manager program are installed on the hard disk drive, but may be installed on other storage media.

【００３０】前記の本発明の使用環境において、マルチ
メディア情報操作ウインドウの共有操作方法を図２〜５
を用いて具体的に説明する。In the use environment of the present invention, the sharing operation method of the multimedia information operation window will be described with reference to FIGS.
This will be specifically described with reference to FIG.

【００３１】図６において、サービス提供端末６２１の
使用者は、サービス提供端末６２１で起動したアプリケ
ーションプログラムの画面表示としてのマルチメディア
情報操作ウインドウ６２６を利用して、情報端末６０１
の使用者と共有操作を行う状況にあるものとする。In FIG. 6, the user of the service providing terminal 621 uses the multimedia information operating window 626 as a screen display of the application program started on the service providing terminal 621 to operate the information terminal 601.
It is assumed that the user is performing a sharing operation with the user.

【００３２】サービス提供端末６２１の使用者は、マル
チメディア情報操作ウインドウ６２６のメニューで共有
操作先ネットワークアドレスを設定した後、そのメニュ
ーで共有操作を開始する。共有操作の開始とともに、サ
ービス提供端末６２１はＨ．３２３が有する機能を用い
て情報端末６０１に何も表示されていない共有操作用ウ
インドウ６０６を開く。The user of the service providing terminal 621 sets the sharing operation destination network address in the menu of the multimedia information operation window 626, and then starts the sharing operation in the menu. With the start of the sharing operation, the service providing terminal 621 switches to The sharing operation window 606 in which nothing is displayed on the information terminal 601 is opened using the function of the H.323.

【００３３】以降、マルチメディア情報操作ウインドウ
６２６の表示が更新される毎に、サービス提供端末６２
１から情報端末６０１へマルチメディア情報操作ウイン
ドウ６２６の表示データを送信する処理を行う。その処
理の流れを図２に表すフローチャートで説明する。Thereafter, each time the display of the multimedia information operation window 626 is updated, the service providing terminal 62
1 to the information terminal 601 to transmit the display data of the multimedia information operation window 626. The flow of the processing will be described with reference to the flowchart shown in FIG.

【００３４】ステップ２０１では、マルチメディア情報
操作ウインドウ６２６の表示データに対応した画像メモ
リ２０２０内の記憶領域を監視し、その記憶領域に書き
込みアクセスが発生したことと検知する。もし、書き込
みアクセスを検知した場合には、ステップ２０２でマル
チメディア情報操作ウインドウ６２６の表示データが画
像メモリ２０２０から獲得され、主記憶メモリ２００３
内に保存される。ここで画像メモリの書き込みアクセス
は、マルチメディア情報操作ウインドウ６２６がポイン
タ操作や文字入力操作される場合や、マルチメディア情
報操作ウインドウ６２６上に表示中の映像や文字、ボタ
ンや文字入力フォームが変化する場合に発生する。In step 201, a storage area in the image memory 2020 corresponding to the display data of the multimedia information operation window 626 is monitored, and it is detected that a write access has occurred in the storage area. If the write access is detected, the display data of the multimedia information operation window 626 is obtained from the image memory 2020 in step 202 and the main memory 2003
Stored in Here, the write access to the image memory is performed when the multimedia information operation window 626 is operated by a pointer operation or a character input operation, or a video, a character, a button, or a character input form displayed on the multimedia information operation window 626 is changed. Occurs when:

【００３５】主記憶メモリ２００３内に獲得した表示デ
ータは、ステップ２０３で送信先のネットワークアドレ
スと通信制御情報を付加してパケット化される。ステッ
プ２０４では、パケット化した表示データが、主記憶メ
モリ２００３からネットワークインターフェース部２０
１１へ転送された後、ネットワーク６４０を介して情報
端末６０１へ送信される。The display data acquired in the main storage memory 2003 is packetized in step 203 by adding a transmission destination network address and communication control information. In step 204, the packetized display data is transferred from the main memory 2003 to the network interface unit 20.
11 is transmitted to the information terminal 601 via the network 640.

【００３６】次に、情報端末６０１では、サービス提供
端末６２１が送信するマルチメディア情報操作ウインド
ウ６２６の表示データを受信し、その表示データを画面
上の共有操作用ウインドウ６０６に表示する。その処理
の流れを図３に表すフローチャートで説明する。Next, the information terminal 601 receives the display data of the multimedia information operation window 626 transmitted from the service providing terminal 621, and displays the display data in the sharing operation window 606 on the screen. The flow of the processing will be described with reference to the flowchart shown in FIG.

【００３７】ネットワーク６４０を経由して送られてき
たパケットが、ネットワークインターフェース部１９１
１で受信された後、主記憶メモリ１９０３に転送され
る。ステップ３０１では、パケットの通信制御情報から
マルチメディア情報操作ウインドウ６２６の表示データ
が含まれているか否かを判断する。もし、パケットに表
示データが含まれる場合には、ステップ３０２でパケッ
トから通信制御情報を取り除き、表示データが通信が行
われる以前の状態に再組立てされる。復元された表示デ
ータは、ステップ３０３で共有操作用ウインドウ６０６
に対応した画像メモリ１９２０内の記憶領域に書き込ま
れる。上記の処理群によって、情報端末６０１の使用者
は、共有操作用ウインドウ６０６にマルチメディア情報
操作ウインドウ６２６と同じ表示を得る。The packet transmitted via the network 640 is transmitted to the network interface unit 191.
1 and then transferred to the main storage memory 1903. In step 301, it is determined from the communication control information of the packet whether or not display data of the multimedia information operation window 626 is included. If the packet contains the display data, the communication control information is removed from the packet in step 302, and the display data is reassembled to the state before the communication was performed. The restored display data is stored in the sharing operation window 606 in step 303.
Is written to a storage area in the image memory 1920 corresponding to Through the above processing group, the user of the information terminal 601 obtains the same display as the multimedia information operation window 626 on the sharing operation window 606.

【００３８】一方、情報端末６０１の使用者は、タッチ
パネル６０３およびキーボード６０４を使用して、共有
操作用ウインドウ６０６に対し、ポインタの位置を移動
する動作、ボタンをクリックする動作および文字入力フ
ォームに文字を入力する動作等の共有操作を行う。情報
端末６０１で共有操作が行われる毎に、その共有操作情
報はサービス提供端末６２１に送信される。その処理の
流れを図４に表すフローチャートで説明する。On the other hand, the user of the information terminal 601 uses the touch panel 603 and the keyboard 604 to move the position of the pointer, click the button, and enter text on the character input form with respect to the sharing operation window 606. The user performs a sharing operation such as an operation of inputting. Every time a sharing operation is performed on the information terminal 601, the sharing operation information is transmitted to the service providing terminal 621. The flow of the processing will be described with reference to the flowchart shown in FIG.

【００３９】ステップ４０１では、情報端末６０１でタ
ッチパネル６０３やキーボード６０４が操作されたこと
を入力装置制御部１９０９からオペレーションシステム
もしくはデバイスドライバへ転送される操作情報で認識
し、その操作が共有操作用ウインドウ６０６上で行われ
たか否かを判断する。もし、タッチパネル６０３やキー
ボード６０４の操作が共有操作用ウインドウ６０６に対
する共有操作の場合には、ステップ４０２で前記の操作
情報からタッチパネル６０３によるポインタ操作である
のか、それともキーボード６０４による文字入力操作で
あるのかを判断する。もし、タッチパネル６０３による
共有操作の場合には、ステップ４０３で前記の操作情報
から共有操作用ウインドウ内におけるポインタの移動前
座標、移動後座標、クリック動作の有無、ドラック動作
の有無から共有操作情報を作成する。共有操作がタッチ
パネル６０３からでなく、キーボード６０４による場合
には、ステップ４０４で入力された文字列と共有操作用
ウインドウ内におけるポインタの座標から共有操作情報
を作成する。ステップ４０５では、作成された共有操作
情報に送信先のネットワークアドレスと通信制御情報を
付加してパケット化される。パケット化した共有操作情
報は、ステップ４０６で主記憶メモリ１９０３からネッ
トワークインターフェース部１９１１へ転送された後、
ネットワーク６４０を介してサービス提供端末６２１へ
送信される。In step 401, the operation of the touch panel 603 or the keyboard 604 on the information terminal 601 is recognized by the operation information transferred from the input device control unit 1909 to the operation system or device driver, and the operation is recognized as a shared operation window. It is determined whether or not the operation has been performed on 606. If the operation on the touch panel 603 or the keyboard 604 is a sharing operation on the sharing operation window 606, whether the operation is a pointer operation on the touch panel 603 or a character input operation on the keyboard 604 based on the operation information in step 402. Judge. In the case of the sharing operation using the touch panel 603, in step 403, the sharing operation information is obtained from the coordinates before movement, the coordinates after movement, the presence or absence of the click operation, and the presence or absence of the drag operation of the pointer in the sharing operation window from the operation information. create. When the sharing operation is performed not by the touch panel 603 but by the keyboard 604, the sharing operation information is created from the character string input in step 404 and the coordinates of the pointer in the sharing operation window. In step 405, the created shared operation information is packetized by adding the transmission destination network address and the communication control information. The packetized sharing operation information is transferred from the main storage memory 1903 to the network interface unit 1911 in step 406.
The data is transmitted to the service providing terminal 621 via the network 640.

【００４０】次に、サービス提供端末６２１では、情報
端末６０１が送信するマルチメディア情報操作ウインド
ウ６２６に対する共有操作情報を受信する。その共有操
作情報は、サービス提供端末６２１の使用者が行った操
作の情報と合成された後、オペレーションシステムに渡
される。よって、マルチメディア情報操作ウインドウ６
２６は、サービス提供端末６２１の使用者と情報端末６
０１の使用者によって共有操作されることになる。その
処理の流れを図５に表すフローチャートで説明する。Next, the service providing terminal 621 receives the sharing operation information for the multimedia information operation window 626 transmitted by the information terminal 601. The shared operation information is combined with information on an operation performed by the user of the service providing terminal 621, and then passed to the operation system. Therefore, the multimedia information operation window 6
26 is a user of the service providing terminal 621 and the information terminal 6
01 will be shared. The flow of the processing will be described with reference to the flowchart shown in FIG.

【００４１】ネットワーク６４０を経由して送られてき
たパケットが、ネットワークインターフェース部２０１
１で受信された後、主記憶メモリ２００３に転送され
る。ステップ５０１では、パケットの通信制御情報から
マルチメディア情報操作ウインドウ６２６の共有操作情
報が含まれているか否かを判断する。もし、パケットに
共有操作情報が含まれる場合には、ステップ５０２でパ
ケットから通信制御情報を取り除き、共有操作情報が通
信が行われる以前の状態に再組立てされる。復元された
共有操作情報は、ステップ５０３でポインタの移動、ク
リックおよびドラックであるのか、それとも文字入力で
あるのかを判断される。The packet sent via the network 640 is sent to the network interface unit 201.
1 and then transferred to the main storage memory 2003. In step 501, it is determined from the communication control information of the packet whether or not the sharing operation information of the multimedia information operation window 626 is included. If the shared operation information is included in the packet, the communication control information is removed from the packet in step 502, and the shared operation information is reassembled to a state before communication was performed. In step 503, it is determined whether the restored sharing operation information is a pointer movement, a click and a drag, or a character input.

【００４２】もし、共有操作がポインタの移動、クリッ
クおよびドラックに関する内容である場合には、ステッ
プ５０４で共有操作情報をサービス提供端末のオペレー
ションシステムが認識できるポインタ制御情報に変換す
る。If the sharing operation relates to the movement, clicking and dragging of the pointer, in step 504, the sharing operation information is converted into pointer control information that can be recognized by the operation system of the service providing terminal.

【００４３】ステップ５０５では、サービス提供端末６
２１に接続されたマウス６２３から入力したポインタ制
御情報が、オペレーションシステムに渡される前に前記
の共有操作情報を変換したポインタ制御情報と合成され
る。共有操作がポインタの移動、クリックおよびドラッ
クに関する内容でなく、文字入力に関する内容である場
合には、ステップ５０６で共有操作情報をサービス提供
端末のオペレーションシステムが認識できる文字コード
並びに文字入力制御情報に変換する。In step 505, the service providing terminal 6
The pointer control information input from the mouse 623 connected to the PC 21 is combined with the pointer control information obtained by converting the shared operation information before being passed to the operation system. If the sharing operation is not related to the movement, click and drag of the pointer, but is related to character input, in step 506, the sharing operation information is converted into a character code and character input control information that can be recognized by the operation system of the service providing terminal. I do.

【００４４】ステップ５０７では、サービス提供端末６
２１に接続されたキーボード６２４から入力した文字入
力制御情報が、オペレーションシステムに渡される前に
前記の共有操作情報を変換した文字入力制御情報と合成
される。ステップ５０５で合成されたポインタ制御情報
およびステップ５０７で合成された文字入力制御情報
は、ステップ５０８でオペレーションシステムに渡さ
れ、マルチメディア情報操作ウインドウ６２６が、サー
ビス提供端末６２１の使用者と情報端末６０１の使用者
によって共有操作される。なお、情報端末６０１とサー
ビス提供端末６２１で生じたポインタ制御情報ならびに
文字入力制御情報を合成する方法は、単純に重ね合わせ
る方法や、情報端末６０１もしくはサービス提供端末６
２１のポインタ制御情報ならびに文字入力制御情報のい
ずれかを優先する方法などを使用しても構わない。In step 507, the service providing terminal 6
The character input control information input from the keyboard 624 connected to the keyboard 21 is combined with the character input control information obtained by converting the shared operation information before being passed to the operation system. The pointer control information synthesized in step 505 and the character input control information synthesized in step 507 are passed to the operation system in step 508, and the multimedia information operation window 626 displays the user of the service providing terminal 621 and the information terminal 601. Is shared by the user. Note that the method of combining the pointer control information and the character input control information generated in the information terminal 601 and the service providing terminal 621 may be a simple overlapping method or the information terminal 601 or the service providing terminal 6.
A method of giving priority to any one of the pointer control information 21 and the character input control information may be used.

【００４５】以上で説明したマルチメディア情報操作ウ
インドウの共有操作方法を、具体的にサービス提供端末
６２１上のタスクと情報端末６０１上のタスクで実現し
たソフトウエア構成の例を図１に説明する。FIG. 1 illustrates an example of a software configuration in which the sharing operation method of the multimedia information operation window described above is specifically realized by a task on the service providing terminal 621 and a task on the information terminal 601.

【００４６】サービス提供端末６２１の使用者は、マル
チメディア情報操作ウインドウ６２６メニューで共有操
作先ネットワークアドレスを設定した後、前記のメニュ
ーで共有操作を開始する。共有操作の開始とともに、サ
ービス提供端末６２１はＨ．３２３が有する機能を用い
て情報端末６０１に何も表示されていない共有操作用ウ
インドウ６０６を開き、マルチメディア情報操作ウイン
ドウ６２６の表示データに対応した画像メモリ２０２０
内の記憶領域を監視し、前記の記憶領域に書き込みアク
セスが発生したこと検知するためのサービス提供端末内
画像メモリアクセス検知タスク１０１を実行状態にす
る。マルチメディア情報操作ウインドウ６２６の画面表
示を共有操作中の状態に変化させることで、サービス提
供端末内画像メモリアクセス検知タスク１０１がマルチ
メディア情報操作ウインドウ６２６の表示データが更新
されたことを検知する。そして、サービス提供端末内画
像メモリアクセス検知タスク１０１はサービス提供端末
内表示データ獲得タスク１０２にマルチメディア情報操
作ウインドウ６２６の表示データを主記憶メモリ２００
３内に獲得させる。The user of the service providing terminal 621 sets a sharing operation destination network address in the multimedia information operation window 626 menu, and then starts the sharing operation in the menu. With the start of the sharing operation, the service providing terminal 621 switches to H.264. By using the function of the H.323, the sharing operation window 606 in which nothing is displayed on the information terminal 601 is opened, and the image memory 2020 corresponding to the display data of the multimedia information operation window 626 is opened.
The storage area in the service providing terminal is monitored, and an image memory access detection task 101 in the service providing terminal for detecting that a write access has occurred in the storage area is set to an execution state. By changing the screen display of the multimedia information operation window 626 to a state where the sharing operation is being performed, the image memory access detection task 101 in the service providing terminal detects that the display data of the multimedia information operation window 626 has been updated. Then, the image memory access detection task 101 in the service providing terminal transmits the display data of the multimedia information operation window 626 to the main storage memory 200 to the display data acquisition task 102 in the service providing terminal.
Get within 3.

【００４７】サービス提供端末内表示データ獲得タスク
１０２は主記憶メモリ２００３内の前記の表示データを
サービス提供端末内表示データ送信タスク１０３に送
る。サービス提供端末内表示データ送信タスク１０３で
は前記の表示データに送信先のネットワークアドレスや
通信制御情報を付加してパケット化するとともに、前記
パケットを情報端末６０１へネットワークを介して送信
する。The display data acquisition task 102 in the service providing terminal sends the display data in the main memory 2003 to the display data transmission task 103 in the service providing terminal. The display data transmission task 103 in the service providing terminal adds the destination network address and the communication control information to the display data to form a packet, and transmits the packet to the information terminal 601 via the network.

【００４８】情報端末内表示データ受信タスク１０４で
は、ネットワーク経由して情報端末６０１に到着した前
記パケット化された表示データを通信前の表示データに
再組み立てし、前記の表示データを情報端末内表示デー
タ描画タスク１０５に送る。In the display data reception task 104 in the information terminal, the packetized display data arriving at the information terminal 601 via the network is reassembled into display data before communication, and the display data is displayed in the information terminal. The data is sent to the data drawing task 105.

【００４９】情報端末内表示データ描画タスク１０５で
は前記の表示データを共有操作用ウインドウに対応した
画像メモリ１９２０内の記憶領域に書き込む。In the display data rendering task 105 in the information terminal, the display data described above is written to a storage area in the image memory 1920 corresponding to the window for sharing operation.

【００５０】一方、情報端末６０１では、共有操作の開
始とともにタッチパネル６０３およびキーボード６０４
からオペレーションシステムまたはデバイスドライバに
送られる操作情報を監視し、前記操作情報が発生したこ
と検知するための情報端末内共有操作検知タスク１１１
を実行状態にする。そして、情報端末内共有操作検知タ
スク１１１は情報端末内共有操作情報獲得タスク１１２
に前記の操作情報を獲得させる。情報端末内共有操作情
報獲得タスク１１２では情報端末６０１上で行われた前
記の共有操作を、動作の種類情報（ポインタ移動、クリ
ック、ドラック、文字入力）、動作が行われた前記共有
操作用ウインドウ内における相対的な座標情報および入
力された文字情報を共有操作情報として獲得する。情報
端末内共有操作情報獲得タスク１１２で獲得された前記
共有操作情報は、情報端末内共有操作情報送信タスク１
１３に送られる。情報端末内共有操作情報送信タスク１
１３は、前記の共有操作情報に送信先のネットワークア
ドレスや通信制御情報を付加してパケット化するととも
に、パケットをサービス提供端末６２１へネットワーク
を介して送信する。On the other hand, in the information terminal 601, the touch panel 603 and the keyboard 604
Task for monitoring the operation information sent to the operation system or the device driver from the PC and detecting the occurrence of the operation information in the information terminal 111
To the execution state. Then, the shared operation detection task 111 in the information terminal is a shared operation information acquisition task 112 in the information terminal.
To obtain the operation information. In the information terminal shared operation information acquisition task 112, the above-mentioned shared operation performed on the information terminal 601 is represented by the operation type information (pointer movement, click, drag, character input), the shared operation window in which the operation is performed. The relative coordinate information and the input character information in the information are obtained as shared operation information. The shared operation information acquired by the information terminal shared operation information acquisition task 112 is the information terminal shared operation information transmission task 1
13 is sent. Information terminal shared operation information transmission task 1
Reference numeral 13 adds a transmission destination network address and communication control information to the shared operation information to form a packet, and transmits the packet to the service providing terminal 621 via the network.

【００５１】サービス提供端末内共有操作情報受信タス
ク１１４ではネットワークを経由してサービス提供端末
６２１に到着した前記パケット化された共有操作情報を
前記共有操作情報に再組み立てし、前記共有操作情報を
サービス提供端末内共有操作再現タスク１１５に送る。
サービス提供端末内共有操作再現タスク１１５は、まず
前記の共有操作情報を解読し、解読した結果がポインタ
に関する場合にはサービス提供端末６２１のオペレーシ
ョンシステムで認識可能なポインタ制御情報に変換す
る。In the service providing terminal shared operation information receiving task 114, the packetized shared operation information arriving at the service providing terminal 621 via the network is reassembled into the shared operation information, and the shared operation information is transferred to the service. This is sent to the sharing operation reproduction task 115 in the providing terminal.
The in-service-providing-terminal shared operation reproducing task 115 first decodes the above-mentioned shared operation information, and converts the decoded result into pointer control information that can be recognized by the operation system of the service providing terminal 621 when the decoded result relates to a pointer.

【００５２】次に、変換後のポインタ制御情報をサービ
ス提供端末６２１に接続されているマウス６２３から入
力されたポインタの制御情報と合成し、オペレーション
システムへ渡す。また、サービス提供端末内共有操作再
現タスク１１５で解読した結果が文字入力に関する場合
には、まず入力された文字をサービス提供端末６２１の
オペレーションシステムで認識可能な文字コード並びに
文字入力制御情報に変換する。Next, the converted pointer control information is combined with the pointer control information input from the mouse 623 connected to the service providing terminal 621 and passed to the operation system. When the result decoded by the shared operation reproduction task 115 in the service providing terminal is related to character input, first, the input character is converted into a character code and character input control information that can be recognized by the operation system of the service providing terminal 621. .

【００５３】次に、変換後の文字入力制御情報をサービ
ス提供端末６２１に接続されているキーボード６２４か
ら入力された文字入力制御情報と合成し、オペレーショ
ンシステムへ変換後の文字入力制御情報を渡す。Next, the converted character input control information is combined with the character input control information input from the keyboard 624 connected to the service providing terminal 621, and the converted character input control information is passed to the operation system.

【００５４】オペレーションシステムに渡された合成後
のポインタ制御情報ならびに文字入力制御情報は、マル
チメディア情報操作ウインドウ６２６が有するボタンの
押下動作や文字入力フォームへの文字入力動作に反映さ
れ、画面上にもポインタ操作動作ならびに文字入力動作
が表示される。The pointer control information and the character input control information after composition passed to the operation system are reflected on a button press operation and a character input operation on a character input form of the multimedia information operation window 626, and are displayed on the screen. Also, a pointer operation operation and a character input operation are displayed.

【００５５】このようにして、情報端末６０１の使用者
とサービス提供端末６２１の使用者は、サービス提供端
末６２１で実行中のアプリケーションプログラムを共有
操作することが可能となる。In this way, the user of the information terminal 601 and the user of the service providing terminal 621 can share and operate the application program being executed on the service providing terminal 621.

【００５６】（実施の形態２）マルチメディア情報操作
ウインドウの共有操作方法の実施の形態２を図２〜４、
図７〜８を用いて説明する。ただし、実施の形態２は、
実施の形態１と差異がある部分のみを説明する。(Second Embodiment) FIGS. 2 to 4 show a second embodiment of a sharing operation method of a multimedia information operation window.
This will be described with reference to FIGS. However, in the second embodiment,
Only parts different from the first embodiment will be described.

【００５７】図８において、サービス提供端末６２１の
使用者は、サービス提供端末６２１で起動したアプリケ
ーションプログラムの画面表示としてのマルチメディア
情報操作ウインドウ６２６を利用して、第１の情報端末
６０１の使用者と第２の情報端末８０１の使用者と共有
操作を行う状況にあるものとする。In FIG. 8, the user of the first information terminal 601 uses the multimedia information operation window 626 as a screen display of the application program started by the service providing terminal 621. And a user of the second information terminal 801 is in a situation of performing a sharing operation.

【００５８】サービス情報端末６２１、情報端末６０１
およびネットワーク６４０は、実施の形態１と同じもの
である。Service information terminal 621, information terminal 601
The network 640 is the same as in the first embodiment.

【００５９】ここで第２の情報端末８０１は、第１の情
報端末６０１のハードウエア構成と同じで、映像を出力
するモニタ８０２と、操作を入力するタッチパネル８０
３およびキーボード８０４と、映像を入力するカメラ８
０７と、音声を出力するスピーカ８０８および音声を入
力するマイク８０９を有する。Here, the second information terminal 801 has the same hardware configuration as the first information terminal 601 and has a monitor 802 for outputting an image and a touch panel 80 for inputting an operation.
3 and keyboard 804 and camera 8 for inputting video
07, a speaker 808 for outputting sound, and a microphone 809 for inputting sound.

【００６０】また情報端末８０１には、図中に記してい
ない複数のウインドウが起動可能なウインドウシステム
を利用できるオペレーションシステムと本発明を実現す
るためのウインドウ共有操作プログラムが、フラッシュ
メモリ１９０２内にインストールされている。なお、本
実施の形態では前記オペレーションシステムとウインド
ウ共有操作プログラムがフラッシュメモリにインストー
ルされていたがその他の記憶媒体にインストールされて
いても構わない。In the information terminal 801, an operation system that can use a window system capable of starting a plurality of windows (not shown) and a window sharing operation program for realizing the present invention are installed in the flash memory 1902. Have been. In the present embodiment, the operation system and the window sharing operation program are installed in the flash memory, but may be installed in another storage medium.

【００６１】前記の本発明の使用環境において、マルチ
メディア情報操作ウインドウの共有操作方法を図２〜
４、図７を用いて具体的に説明する。In the use environment of the present invention described above, a sharing operation method of the multimedia information operation window is shown in FIGS.
4, a detailed description will be given with reference to FIG.

【００６２】サービス提供端末６２１の使用者は、マル
チメディア情報操作ウインドウ６２６のメニューで共有
操作先ネットワークアドレスを設定した後、そのメニュ
ーで共有操作を開始する。共有操作の開始とともに、サ
ービス提供端末６２１はＨ．３２３が有する機能を用い
て第１の情報端末６０１と第２の情報端末８０１に何も
表示されていない共有操作用ウインドウ６０６および８
０６を開く。The user of the service providing terminal 621 sets the sharing operation destination network address in the menu of the multimedia information operation window 626, and then starts the sharing operation in the menu. With the start of the sharing operation, the service providing terminal 621 switches to H.264. Windows 606 and 8 in which nothing is displayed on the first information terminal 601 and the second information terminal 801 using the function of the H.323
Open 06.

【００６３】以降、マルチメディア情報操作ウインドウ
６２６の表示が更新される毎に、サービス提供端末６２
１から第１の情報端末６０１および第２の情報端末８０
１へマルチメディア情報操作ウインドウ６２６の表示デ
ータを送信する処理を行う。その処理の流れは、実施の
形態１で示した図２のフローチャートと同じである。Thereafter, each time the display of the multimedia information operation window 626 is updated, the service providing terminal 62
1 to the first information terminal 601 and the second information terminal 80
Then, a process of transmitting the display data of the multimedia information operation window 626 to No. 1 is performed. The flow of the processing is the same as the flow chart of FIG. 2 shown in the first embodiment.

【００６４】次に、第１の情報端末６０１および第２の
情報端末８０１では、サービス提供端末６２１が送信す
るマルチメディア情報操作ウインドウ６２６の表示デー
タを受信し、その表示データを画面上の共有操作用ウイ
ンドウ６０６および８０６に表示する。各情報端末にお
けるその処理の流れは、実施の形態１で示した図３のフ
ローチャートと同じである。Next, the first information terminal 601 and the second information terminal 801 receive the display data of the multimedia information operation window 626 transmitted by the service providing terminal 621, and share the display data on the screen. Window 606 and window 806. The flow of the processing in each information terminal is the same as the flow chart of FIG. 3 shown in the first embodiment.

【００６５】一方、第１の情報端末６０１の使用者およ
び第２の情報端末８０１の使用者は、各々のタッチパネ
ル６０３、８０３および各々のキーボード６０４、８０
４を使用して、各々の共有操作用ウインドウ６０６、８
０６に対し、ポインタの位置を移動する動作、ボタンを
クリックする動作および文字入力フォームに文字を入力
する動作等の共有操作を行う。第１の情報端末６０１お
よび第２の情報端末８０１で共有操作が行われる毎に、
その共有操作情報はサービス提供端末６２１に送信され
る。各情報端末におけるその処理の流れは、実施の形態
１で示した図４のフローチャートと同じである。On the other hand, the user of the first information terminal 601 and the user of the second information terminal 801 have the touch panels 603 and 803 and the keyboards 604 and 80 respectively.
4, each of the sharing operation windows 606, 8
For 06, sharing operations such as an operation of moving the position of the pointer, an operation of clicking a button, and an operation of inputting a character in a character input form are performed. Each time a sharing operation is performed on the first information terminal 601 and the second information terminal 801,
The sharing operation information is transmitted to the service providing terminal 621. The flow of the processing in each information terminal is the same as the flow chart of FIG. 4 shown in the first embodiment.

【００６６】次に、サービス提供端末６２１では、第１
の情報端末６０１および第２の情報端末８０１が送信す
るマルチメディア情報操作ウインドウ６２６に対する共
有操作情報を受信する。その共有操作情報は、サービス
提供端末６２１の使用者が行った操作の情報と合成され
た後、オペレーションシステムに渡される。よって、マ
ルチメディア情報操作ウインドウ６２６は、サービス提
供端末６２１の使用者と第１の情報端末６０１の使用者
と第２の情報端末８０１の使用者によって共有操作され
ることになる。その処理の流れを図７に表すフローチャ
ートで説明する。Next, at the service providing terminal 621, the first
Of the multimedia information operation window 626 transmitted by the information terminal 601 and the second information terminal 801. The shared operation information is combined with information on an operation performed by the user of the service providing terminal 621, and then passed to the operation system. Therefore, the multimedia information operation window 626 is shared and operated by the user of the service providing terminal 621, the user of the first information terminal 601, and the user of the second information terminal 801. The flow of the processing will be described with reference to the flowchart shown in FIG.

【００６７】ネットワーク６４０を経由したパケット
が、ネットワークインターフェース部２０１１で受信さ
れた後、主記憶メモリ２００３に転送される。ステップ
５０１では、パケットの通信制御情報からマルチメディ
ア情報操作ウインドウ６２６の共有操作情報が含まれて
いるか否かを判断する。もし、パケットに共有操作情報
が含まれる場合には、ステップ５０２でパケットから通
信制御情報を取り除き、共有操作情報が通信が行われる
以前の状態に再組立てされる。復元された共有操作情報
は、ステップ５０３でポインタの移動、クリックおよび
ドラックであるのか、それとも文字入力であるのかを判
断される。After the packet transmitted via the network 640 is received by the network interface unit 2011, it is transferred to the main storage memory 2003. In step 501, it is determined from the communication control information of the packet whether or not the sharing operation information of the multimedia information operation window 626 is included. If the shared operation information is included in the packet, the communication control information is removed from the packet in step 502, and the shared operation information is reassembled to a state before communication was performed. In step 503, it is determined whether the restored sharing operation information is a pointer movement, a click and a drag, or a character input.

【００６８】もし、共有操作がポインタの移動、クリッ
クおよびドラックに関する内容である場合には、ステッ
プ７０１で送信元のネットワークアドレスが共有操作情
報に付加されていたパケットの通信制御情報から取り出
され、第１の情報端末６０１が行った共有操作情報であ
るのか、もしくは第２の情報端末８０１が行った共有操
作情報であるのかを判断する。If the sharing operation is related to the movement, clicking and dragging of the pointer, the network address of the transmission source is extracted from the communication control information of the packet added to the sharing operation information in step 701. It is determined whether the information is the shared operation information performed by the first information terminal 601 or the shared operation information performed by the second information terminal 801.

【００６９】共有操作情報の送信元が第１の情報端末６
０１の場合には、ステップ７０３で共有操作情報をサー
ビス提供端末のオペレーションシステムが認識できるポ
インタ制御情報に変換し、共有操作情報の送信元が第２
の情報端末８０１の場合には、ステップ７０４で共有操
作情報をサービス提供端末のオペレーションシステムが
認識できるポインタ制御情報に変換する。The source of the sharing operation information is the first information terminal 6
In the case of 01, the shared operation information is converted into pointer control information recognizable by the operation system of the service providing terminal in step 703, and the transmission source of the shared operation information is
In the case of the information terminal 801, the shared operation information is converted into pointer control information that can be recognized by the operation system of the service providing terminal in step 704.

【００７０】ステップ５０５では、サービス提供端末６
２１に接続されたマウス６２３から入力したポインタ制
御情報が、オペレーションシステムに渡される前に前記
の共有操作情報を変換したポインタ制御情報と合成され
る。In step 505, the service providing terminal 6
The pointer control information input from the mouse 623 connected to the PC 21 is combined with the pointer control information obtained by converting the shared operation information before being passed to the operation system.

【００７１】共有操作がポインタの移動、クリックおよ
びドラックに関する内容でなく、文字入力に関する内容
である場合には、ステップ７０２で送信元のネットワー
クアドレスが共有操作情報に付加されていたパケットの
通信制御情報から取り出され、第１の情報端末６０１が
行った共有操作情報であるのか、もしくは第２の情報端
末８０１が行った共有操作情報であるのかを判断する。If the sharing operation is not related to the movement, click and drag of the pointer but is related to character input, the communication control information of the packet in which the network address of the transmission source is added to the sharing operation information in step 702 It is determined whether the received information is the shared operation information performed by the first information terminal 601 or the shared operation information performed by the second information terminal 801.

【００７２】共有操作情報の送信元が第１の情報端末６
０１の場合には、ステップ７０５で共有操作情報をサー
ビス提供端末のオペレーションシステムが認識できる文
字コード並びに文字入力制御情報に変換し、共有操作情
報の送信元が第２の情報端末８０１の場合には、ステッ
プ７０６で共有操作情報をサービス提供端末のオペレー
ションシステムが認識できる文字コード並びに文字入力
制御情報に変換する。The transmission source of the sharing operation information is the first information terminal 6
In the case of 01, the shared operation information is converted into a character code and character input control information that can be recognized by the operation system of the service providing terminal in step 705, and if the source of the shared operation information is the second information terminal 801, In step 706, the shared operation information is converted into a character code and character input control information that can be recognized by the operation system of the service providing terminal.

【００７３】ステップ５０７では、サービス提供端末６
２１に接続されたキーボード６２４から入力した文字入
力制御情報が、オペレーションシステムに渡される前に
前記の共有操作情報を変換した文字入力制御情報と合成
される。In step 507, the service providing terminal 6
The character input control information input from the keyboard 624 connected to the keyboard 21 is combined with the character input control information obtained by converting the shared operation information before being passed to the operation system.

【００７４】なお、情報端末６０１とサービス提供端末
６２１で生じたポインタ制御情報ならびに文字入力制御
情報を合成する方法は、単純に重ね合わせる方法や、情
報端末６０１もしくはサービス提供端末６２１のポイン
タ制御情報ならびに文字入力制御情報のいずれかを優先
する方法などを使用しても構わない。The method of synthesizing the pointer control information and the character input control information generated at the information terminal 601 and the service providing terminal 621 is a simple overlapping method, the pointer control information of the information terminal 601 or the service providing terminal 621, and the like. A method of giving priority to any of the character input control information may be used.

【００７５】ステップ５０５で合成されたポインタ制御
情報およびステップ５０７で合成された文字入力制御情
報は、ステップ５０８でオペレーションシステムに渡さ
れ、マルチメディア情報操作ウインドウ６２６が、サー
ビス提供端末６２１の使用者と情報端末６０１の使用者
と情報端末８０１によって共有操作される。The pointer control information synthesized in step 505 and the character input control information synthesized in step 507 are passed to the operation system in step 508, and the multimedia information operation window 626 is displayed with the user of the service providing terminal 621. The sharing operation is performed by the user of the information terminal 601 and the information terminal 801.

【００７６】このようにして、情報端末６０１の使用
者、情報端末８０１の使用者とサービス提供端末６２１
の使用者は、サービス提供端末６２１で実行中のアプリ
ケーションプログラムを共有操作することが可能とな
る。なお、本実施形態では情報端末数が２台の場合のみ
を説明したが、情報端末数が３台以上の場合も同様に共
有操作することが可能である。Thus, the user of the information terminal 601, the user of the information terminal 801, and the service providing terminal 621
Can share the operation of the application program running on the service providing terminal 621. In the present embodiment, only the case where the number of information terminals is two has been described, but the sharing operation can be similarly performed when the number of information terminals is three or more.

【００７７】（実施の形態３）マルチメディア情報操作
ウインドウの共有操作方法の実施の形態３を図９〜１３
を用いて説明する。ただし、実施の形態３は、実施の形
態１と差異がある部分のみを説明する。(Third Embodiment) FIGS. 9 to 13 show a third embodiment of a sharing operation method of a multimedia information operation window.
This will be described with reference to FIG. However, in the third embodiment, only portions different from the first embodiment will be described.

【００７８】図１３において、サービス提供端末６２１
の使用者は、サービス提供端末６２１で起動した第１の
アプリケーションプログラムの画面表示としての第１の
マルチメディア情報操作ウインドウ６２６および第２の
アプリケーションプログラムの画面表示としての第２の
マルチメディア情報操作ウインドウ１３０２を利用し
て、情報端末６０１の使用者と共有操作を行う状況にあ
るものとする。この場合には、同じ端末に複数の共有操
作を行うウインドウが表示されていため、個々のウイン
ドウにマルチメディア情報操作ウインドウ番号が割り振
られているものとする。In FIG. 13, the service providing terminal 621
Of the first multimedia information operation window 626 as a screen display of the first application program started on the service providing terminal 621 and a second multimedia information operation window as a screen display of the second application program It is assumed that a sharing operation is performed with the user of the information terminal 601 using the terminal 1302. In this case, since a plurality of windows for performing a sharing operation are displayed on the same terminal, it is assumed that a multimedia information operation window number is assigned to each window.

【００７９】ここで、サービス情報端末６２１、情報端
末６０１およびネットワーク６４０は、実施の形態１と
同じものである。Here, service information terminal 621, information terminal 601 and network 640 are the same as those in the first embodiment.

【００８０】前記の本発明の使用環境において、マルチ
メディア情報操作ウインドウの共有操作方法を図９〜１
２を用いて具体的に説明する。In the use environment of the present invention, the sharing operation method of the multimedia information operation window will be described with reference to FIGS.
This will be specifically described with reference to FIG.

【００８１】サービス提供端末６２１の使用者は、第１
および第２のマルチメディア情報操作ウインドウ６２６
および１３０２のメニューで共有操作先ネットワークア
ドレスを設定した後、そのメニューで共有操作を開始す
る。共有操作の開始とともに、サービス提供端末６２１
はＨ．３２３が有する機能を用いて情報端末６０１に何
も表示されていない第１および第２の共有操作用ウイン
ドウ６０６および１３０１を開く。The user of the service providing terminal 621 is
And second multimedia information operation window 626
After the sharing operation destination network address is set in the menu of 130 and 1302, the sharing operation is started in the menu. With the start of the sharing operation, the service providing terminal 621
Is H. The first and second sharing operation windows 606 and 1301 in which nothing is displayed on the information terminal 601 are opened using the function of the H.323.

【００８２】以降、第１のマルチメディア情報操作ウイ
ンドウ６２６または第２のマルチメディア情報操作ウイ
ンドウ１３０２の表示が更新される毎に、サービス提供
端末６２１から情報端末６０１へ第１マルチメディア情
報操作ウインドウ６２６または第２のマルチメディア情
報操作ウインドウ１３０２の表示データを送信する処理
を行う。その処理の流れを図９に表すフローチャートで
説明する。Thereafter, each time the display of the first multimedia information operation window 626 or the second multimedia information operation window 1302 is updated, the first multimedia information operation window 626 is transmitted from the service providing terminal 621 to the information terminal 601. Alternatively, a process of transmitting display data of the second multimedia information operation window 1302 is performed. The flow of the processing will be described with reference to the flowchart shown in FIG.

【００８３】ステップ２０１では、第１および第２のマ
ルチメディア情報操作ウインドウ６２６および１３０２
の表示データに 対応した画像メモリ２０２０内の記憶
領域を監視し、その記憶領域に書き込みアクセスが発生
したことを検知する。もし、書き込みアクセスを検知し
た場合には、ステップ９０１で書き込みアクセスが発生
した画像メモリ２０２０の記憶領域から、表示データが
変化したマルチメディア情報操作ウインドウ番号を特定
する。ステップ９０２では、ステップ９０１で特定され
たマルチメディア情報操作ウインドウ番号のウインドウ
の表示データが画像メモリ２０２０から獲得され、主記
憶メモリ２００３内に保存される。主記憶メモリ２００
３内に獲得した表示データとマルチメディア情報操作ウ
インドウ番号は、ステップ９０３で個々の送信先のネッ
トワークアドレスと通信制御情報を付加してパケット化
される。ステップ２０４では、パケット化した表示デー
タとマルチメディア情報操作ウインドウ番号が、主記憶
メモリ２００３からネットワークインターフェース部２
０１１へ転送された後、ネットワーク６４０を介して情
報端末６０１へ送信される。In step 201, the first and second multimedia information operation windows 626 and 1302
The storage area in the image memory 2020 corresponding to the display data is monitored to detect that a write access has occurred in the storage area. If a write access is detected, a multimedia information operation window number whose display data has changed is specified from the storage area of the image memory 2020 where the write access has occurred in step 901. In step 902, the display data of the window of the multimedia information operation window number specified in step 901 is obtained from the image memory 2020 and stored in the main storage memory 2003. Main memory 200
The display data and the multimedia information operation window number acquired in 3 are packetized in step 903 by adding a network address and communication control information of each transmission destination. In step 204, the packetized display data and the multimedia information operation window number are stored in the main memory 2003 from the network interface unit 2.
After being transferred to 011, it is transmitted to the information terminal 601 via the network 640.

【００８４】次に、情報端末６０１では、サービス提供
端末６２１が送信するマルチメディア情報操作ウインド
ウ番号とその番号に対応した表示データを受信し、その
表示データを画面上の対応した共有操作用ウインドウに
表示する。その処理の流れを図１０に表すフローチャー
トで説明する。Next, the information terminal 601 receives the multimedia information operation window number transmitted by the service providing terminal 621 and the display data corresponding to the number, and transfers the display data to the corresponding sharing operation window on the screen. indicate. The flow of the processing will be described with reference to the flowchart shown in FIG.

【００８５】ネットワーク６４０を経由したパケット
が、ネットワークインターフェース部１９１１で受信さ
れた後、主記憶メモリ１９０３に転送される。ステップ
３０１では、パケットの通信制御情報から第１のマルチ
メディア情報操作ウインドウ６２６または第２のマルチ
メディア情報操作ウインドウ１３０２の表示データが含
まれているか否かを判断する。もし、パケットに表示デ
ータが含まれる場合には、ステップ３０２でパケットか
ら通信制御情報を取り除き、マルチメディア情報操作ウ
インドウ番号と表示データが通信が行われる以前の状態
に再組立てされる。ステップ１００１で復元された表示
データは、ステップ１００２でマルチメディア情報操作
ウインドウ番号で特定された共有操作用ウインドウに対
応する画像メモリ１９２０内の記憶領域に書き込まれ
る。上記の処理群によって、情報端末６０１の使用者
は、共有操作用ウインドウ６０６に第１および第２のマ
ルチメディア情報操作ウインドウ６２６および１３０２
と同じ表示を得る。After the packet transmitted via the network 640 is received by the network interface unit 1911, it is transferred to the main memory 1903. In step 301, it is determined from the communication control information of the packet whether display data of the first multimedia information operation window 626 or the second multimedia information operation window 1302 is included. If the packet contains display data, the communication control information is removed from the packet in step 302, and the multimedia information operation window number and the display data are reassembled to the state before the communication was performed. The display data restored in step 1001 is written to a storage area in the image memory 1920 corresponding to the sharing operation window specified by the multimedia information operation window number in step 1002. By the above processing group, the user of the information terminal 601 displays the first and second multimedia information operation windows 626 and 1302 on the sharing operation window 606.
And get the same display.

【００８６】一方、情報端末６０１の使用者は、タッチ
パネル６０３およびキーボード６０４を使用して、第１
の共有操作用ウインドウ６０６または第２の共有操作用
ウインドウ１３０１に対し、ポインタの位置を移動する
動作、ボタンをクリックする動作および文字入力フォー
ムに文字を入力する動作等の共有操作を行う。情報端末
６０１で共有操作が行われる毎に、その共有操作情報は
サービス提供端末６２１に送信される。その処理の流れ
を図１１に表すフローチャートで説明する。On the other hand, the user of the information terminal 601 uses the touch panel 603 and the keyboard 604 to perform the first
In the sharing operation window 606 or the second sharing operation window 1301, a sharing operation such as an operation of moving a pointer, an operation of clicking a button, and an operation of inputting a character in a character input form is performed. Every time a sharing operation is performed on the information terminal 601, the sharing operation information is transmitted to the service providing terminal 621. The flow of the processing will be described with reference to the flowchart shown in FIG.

【００８７】ステップ４０１では、情報端末６０１でタ
ッチパネル６０３やキーボード６０４が操作されたこと
を入力装置制御部１９０９からオペレーションシステム
もしくはデバイスドライバへ転送される操作情報で認識
し、その操作が第１の共有操作用ウインドウ６０６上ま
たは第２の共有操作用ウインドウ１３０１上で行われた
か否かを判断する。In step 401, the operation of the touch panel 603 or the keyboard 604 on the information terminal 601 is recognized by the operation information transferred from the input device control unit 1909 to the operation system or the device driver, and the operation is performed by the first shared device. It is determined whether the operation has been performed on the operation window 606 or the second shared operation window 1301.

【００８８】もし、タッチパネル６０３やキーボード６
０４の操作が第１の共有操作用ウインドウ６０６または
第２の共有操作用ウインドウ１３０１に対する共有操作
の場合には、ステップ１１０１で共有操作が行われた共
有操作用ウインドウのマルチメディア情報操作ウインド
ウ番号を獲得するとともに、ステップ４０２で前記の操
作情報からタッチパネル６０３によるポインタ操作であ
るのか、それともキーボード６０４による文字入力操作
であるのかを判断する。If the touch panel 603 or the keyboard 6
If the operation in step 04 is a sharing operation on the first sharing operation window 606 or the second sharing operation window 1301, the multimedia information operation window number of the sharing operation window on which the sharing operation was performed in step 1101 is set. At the same time, it is determined in step 402 whether the operation is a pointer operation using the touch panel 603 or a character input operation using the keyboard 604 from the operation information.

【００８９】もし、タッチパネル６０３による共有操作
の場合には、ステップ４０３で前記の操作情報から共有
操作用ウインドウ内におけるポインタの移動前座標、移
動後座標、クリック動作の有無、ドラック動作の有無か
ら共有操作情報を作成する。共有操作がタッチパネル６
０３からでなく、キーボード６０４による場合には、ス
テップ４０４で入力された文字列と共有操作用ウインド
ウ内におけるポインタの座標から共有操作情報を作成す
る。In the case of a sharing operation using the touch panel 603, in step 403, based on the operation information described above, sharing is performed based on the coordinates before movement, the coordinates after movement, the presence / absence of a click operation, and the presence / absence of a drag operation of the pointer in the sharing operation window. Create operation information. Sharing operation is touch panel 6
In the case of using the keyboard 604 instead of 03, shared operation information is created from the character string input in step 404 and the coordinates of the pointer in the shared operation window.

【００９０】ステップ１１０２では、作成された共有操
作情報とステップ１１０１で獲得したマルチメディア情
報操作ウインドウ番号に送信先のネットワークアドレス
と通信制御情報を付加してパケット化される。パケット
化した共有操作情報は、ステップ４０６で主記憶メモリ
１９０３からネットワークインターフェース部１９１１
へ転送された後、ネットワーク６４０を介してサービス
提供端末６２１へ送信される。At step 1102, the shared operation information created and the multimedia information operation window number acquired at step 1101 are packetized by adding the transmission destination network address and the communication control information. The packetized sharing operation information is transferred from the main memory 1903 to the network interface unit 1911 in step 406.
After that, it is transmitted to the service providing terminal 621 via the network 640.

【００９１】次に、サービス提供端末６２１では、情報
端末６０１が送信する第１のマルチメディア情報操作ウ
インドウ６２６または第１のマルチメディア情報操作ウ
インドウ１３０２に対する共有操作情報を受信する。そ
の共有操作情報は、サービス提供端末６２１の使用者が
行った操作の情報と合成された後、オペレーションシス
テムに渡される。よって、第１および第２のマルチメデ
ィア情報操作ウインドウ６２６および１３０２は、サー
ビス提供端末６２１の使用者と情報端末６０１の使用者
によって共有操作されることになる。その処理の流れを
図１２に表すフローチャートで説明する。Next, the service providing terminal 621 receives the sharing operation information for the first multimedia information operation window 626 or the first multimedia information operation window 1302 transmitted by the information terminal 601. The shared operation information is combined with information on an operation performed by the user of the service providing terminal 621, and then passed to the operation system. Therefore, the first and second multimedia information operation windows 626 and 1302 are shared by the service providing terminal 621 user and the information terminal 601 user. The flow of the processing will be described with reference to the flowchart shown in FIG.

【００９２】ネットワーク６４０を経由して送られてき
たパケットが、ネットワークインターフェース部２０１
１で受信された後、主記憶メモリ２００３に転送され
る。ステップ５０１では、パケットの通信制御情報から
第１のマルチメディア情報操作ウインドウ６２６または
第２のマルチメディア情報操作ウインドウ１３０２の共
有操作情報が含まれているか否かを判断する。The packet transmitted via the network 640 is transmitted to the network interface unit 201.
1 and then transferred to the main storage memory 2003. In step 501, it is determined from the communication control information of the packet whether or not the sharing operation information of the first multimedia information operation window 626 or the second multimedia information operation window 1302 is included.

【００９３】もし、パケットに共有操作情報が含まれる
場合には、ステップ５０２でパケットから通信制御情報
を取り除き、共有操作情報とマルチメディア情報操作ウ
インドウ番号が、通信が行われる以前の状態に再組立て
される。If the packet contains the sharing operation information, the communication control information is removed from the packet in step 502, and the sharing operation information and the multimedia information operation window number are reassembled to the state before the communication was performed. Is done.

【００９４】復元されたマルチメディア情報操作ウイン
ドウ番号は、ステップ１２０１で共有操作が加えられた
マルチメディア情報操作ウインドウを特定する。また、
復元された共有操作情報は、ステップ５０３で特定され
たマルチメディア情報操作ウインドウに対するポインタ
の移動、クリックおよびドラックであるのか、それとも
文字入力であるのかを判断される。The restored multimedia information operation window number specifies the multimedia information operation window to which the sharing operation was added in step 1201. Also,
It is determined whether the restored sharing operation information is a movement, a click and a drag of the pointer with respect to the multimedia information operation window specified in step 503, or a character input.

【００９５】もし、共有操作がポインタの移動、クリッ
クおよびドラックに関する内容である場合には、ステッ
プ５０４で共有操作情報をサービス提供端末のオペレー
ションシステムが認識できるポインタ制御情報に変換す
る。ステップ５０５では、サービス提供端末６２１に接
続されたマウス６２３から入力したポインタ制御情報
が、オペレーションシステムに渡される前に前記の共有
操作情報を変換したポインタ制御情報と合成される。If the sharing operation relates to the movement, clicking and dragging of the pointer, in step 504, the sharing operation information is converted into pointer control information that can be recognized by the operation system of the service providing terminal. In step 505, the pointer control information input from the mouse 623 connected to the service providing terminal 621 is combined with the pointer control information obtained by converting the shared operation information before being passed to the operation system.

【００９６】共有操作がポインタの移動、クリックおよ
びドラックに関する内容でなく、文字入力に関する内容
である場合には、ステップ５０６で共有操作情報をサー
ビス提供端末のオペレーションシステムが認識できる文
字コード並びに文字入力制御情報に変換する。ステップ
５０７では、サービス提供端末６２１に接続されたキー
ボード６２４から入力した文字入力制御情報が、オペレ
ーションシステムに渡される前に前記の共有操作情報を
変換した文字入力制御情報と合成される。If the sharing operation is not related to the movement, click and drag of the pointer, but is related to character input, at step 506 the character code and character input control for recognizing the shared operation information by the operation system of the service providing terminal. Convert to information. In step 507, the character input control information input from the keyboard 624 connected to the service providing terminal 621 is combined with the character input control information obtained by converting the shared operation information before being passed to the operation system.

【００９７】なお、情報端末６０１とサービス提供端末
６２１で生じたポインタ制御情報ならびに文字入力制御
情報を合成する方法は、単純に重ね合わせる方法や、情
報端末６０１もしくはサービス提供端末６２１のポイン
タ制御情報ならびに文字入力制御情報のいずれかを優先
する方法などを使用しても構わない。The method of synthesizing the pointer control information and the character input control information generated by the information terminal 601 and the service providing terminal 621 is a simple overlapping method, the pointer control information of the information terminal 601 or the service providing terminal 621, and the like. A method of giving priority to any of the character input control information may be used.

【００９８】ステップ５０５で合成されたポインタ制御
情報およびステップ５０７で合成された文字入力制御情
報は、ステップ５０８でオペレーションシステムに渡さ
れ、第１および第２のマルチメディア情報操作ウインド
ウ６２６および１３０２が、サービス提供端末 ６２１
の使用者と情報端末６０１の使用者によって共有操作さ
れる。The pointer control information synthesized in step 505 and the character input control information synthesized in step 507 are passed to the operation system in step 508, and the first and second multimedia information operation windows 626 and 1302 are Service providing terminal 621
And the user of the information terminal 601 performs a sharing operation.

【００９９】このようにして、情報端末６０１の使用者
とサービス提供端末６２１の使用者は、サービス提供端
末６２１で実行中の複数のアプリケーションプログラム
を同時に共有操作することが可能となる。なお、本実施
形態では２台の端末間で２個のアプリケーションプログ
ラムを共有操作した場合のみを説明したが、２台の端末
間で３個以上のアプリケーションプログラムを共有操作
する場合でも構わない。In this way, the user of the information terminal 601 and the user of the service providing terminal 621 can simultaneously share a plurality of application programs running on the service providing terminal 621. In this embodiment, only the case where two application programs are shared between two terminals has been described. However, the case where three or more application programs are shared between two terminals may be used.

【０１００】なお、１台のサービス提供端末と２台以上
の情報端末間で複数のアプリケーションプログラムが共
有操作されており、その個々のアプリケーションプログ
ラムが使用している共有操作方法の組み合わせが、実施
の形態１、実施の形態２または実施の形態３のうちいず
れか１つまたはいずれか２つまたは全ての場合の組み合
わせである場合でも構わない。A plurality of application programs are shared between one service providing terminal and two or more information terminals, and the combination of the sharing operation methods used by the individual application programs is determined by the implementation. It may be a combination of any one, any two, or all of the first, second, and third embodiments.

【０１０１】なお、２台以上のサービス提供端末と１台
の情報端末間で複数のアプリケーションプログラムが共
有操作されており、その個々のアプリケーションプログ
ラムが使用している共有操作方法の組み合わせが、実施
の形態１、実施の形態２または実施の形態３のうちいず
れか１つまたはいずれか２つまたは全ての場合の組み合
わせである場合でも構わない。A plurality of application programs are shared and operated between two or more service providing terminals and one information terminal, and the combination of the sharing operation methods used by the individual application programs is determined by the implementation. It may be a combination of any one, any two, or all of the first, second, and third embodiments.

【０１０２】なお、２台以上のサービス提供端末と２台
以上の情報端末間で複数のアプリケーションプログラム
が共有操作されており、その任意のアプリケーションプ
ログラムが使用している共有操作方法の組み合わせが、
実施の形態１、実施の形態２または実施の形態３のうち
いずれか１つまたはいずれか２つまたは全ての場合の組
み合わせである場合でも構わない。A plurality of application programs are shared between two or more service providing terminals and two or more information terminals, and the combination of the sharing operation methods used by any of the application programs is as follows.
A combination of any one, two, or all of the first, second, and third embodiments may be used.

【０１０３】（実施の形態４）マルチメディア情報操作
ウインドウの共有操作方法の実施の形態４を図１〜３、
図１４〜１５を用いて説明する。ただし、実施の形態４
は、実施の形態４と差異がある部分のみを説明する。(Embodiment 4) Embodiment 4 of a sharing operation method of a multimedia information operation window will be described with reference to FIGS.
This will be described with reference to FIGS. However, Embodiment 4
In the following, only the parts that are different from the fourth embodiment will be described.

【０１０４】図１５において、サービス提供端末６２１
の使用者は、サービス提供端末６２１で起動したアプリ
ケーションプログラムの画面表示としてのマルチメディ
ア情報操作ウインドウ６２６を利用して、情報端末６０
１の使用者と共有操作を行う状況にあるものとする。更
に本実施形態では、サービス提供端末６２１の使用者が
操作するポインタ６２５と、情報端末６０１の使用者が
操作するポインタ１５０１とが個々に起動する。In FIG. 15, the service providing terminal 621
The user of the information terminal 60 uses the multimedia information operation window 626 as a screen display of the application program started on the service providing terminal 621.
It is assumed that a sharing operation is performed with one user. Further, in this embodiment, the pointer 625 operated by the user of the service providing terminal 621 and the pointer 1501 operated by the user of the information terminal 601 are individually activated.

【０１０５】サービス情報端末６２１、情報端末６０１
およびネットワーク６４０は、実施の形態１と同じもの
である。Service information terminal 621, information terminal 601
The network 640 is the same as in the first embodiment.

【０１０６】前記の本発明の使用環境において、マルチ
メディア情報操作ウインドウの共有操作方法を図１〜
３、図１４を用いて具体的に説明する。In the use environment of the present invention, the sharing operation method of the multimedia information operation window is shown in FIGS.
A specific description will be given with reference to FIG.

【０１０７】サービス提供端末６２１の使用者は、マル
チメディア情報操作ウインドウ６２６のメニューで共有
操作先ネットワークアドレスを設定した後、そのメニュ
ーで共有操作を開始する。共有操作の開始とともに、サ
ービス提供端末６２１はＨ．３２３が有する機能を用い
て情報端末６０１に何も表示されていない共有操作用ウ
インドウ６０６を開く。また、情報端末６０１が操作を
行う第２のポインタ１５０２をマルチメディア情報操作
ウインドウ６２６上に起動する。The user of the service providing terminal 621 sets a sharing operation destination network address in the menu of the multimedia information operation window 626, and then starts the sharing operation in the menu. With the start of the sharing operation, the service providing terminal 621 switches to H.264. The sharing operation window 606 in which nothing is displayed on the information terminal 601 is opened using the function of the H.323. Also, a second pointer 1502 operated by the information terminal 601 is activated on the multimedia information operation window 626.

【０１０８】以降、マルチメディア情報操作ウインドウ
６２６の表示が更新される毎に、サービス提供端末６２
１から情報端末６０１へマルチメディア情報操作ウイン
ドウ６２６の表示データを送信する処理を行う。その処
理の流れは、実施の形態１で示した図２のフローチャー
トと同じである。Thereafter, each time the display of the multimedia information operation window 626 is updated, the service providing terminal 62
1 to the information terminal 601 to transmit the display data of the multimedia information operation window 626. The flow of the processing is the same as the flow chart of FIG. 2 shown in the first embodiment.

【０１０９】次に、情報端末６０１では、サービス提供
端末６２１が送信するマルチメディア情報操作ウインド
ウ６２６の表示データを受信し、その表示データを画面
上の共有操作用ウインドウ６０６に表示する。その処理
の流れは、実施の形態１で示した図３のフローチャート
と同じである。Next, the information terminal 601 receives the display data of the multimedia information operation window 626 transmitted from the service providing terminal 621, and displays the display data in the sharing operation window 606 on the screen. The flow of the process is the same as the flow chart of FIG. 3 shown in the first embodiment.

【０１１０】一方、情報端末６０１の使用者は、タッチ
パネル６０３およびキーボード６０４を使用して、共有
操作用ウインドウ６０６に対し、ポインタの位置を移動
する動作、ボタンをクリックする動作および文字入力フ
ォームに文字を入力する動作等の共有操作を行う。情報
端末６０１で共有操作が行われる毎に、その共有操作情
報はサービス提供端末６２１に送信される。各情報端末
におけるその処理の流れは、実施の形態１で示した図４
のフローチャートと同じである。On the other hand, the user of the information terminal 601 uses the touch panel 603 and the keyboard 604 to move the position of the pointer, click the button, and enter text on the character input form on the sharing operation window 606. The user performs a sharing operation such as an operation of inputting. Every time a sharing operation is performed on the information terminal 601, the sharing operation information is transmitted to the service providing terminal 621. The flow of the processing in each information terminal is the same as that shown in FIG.
This is the same as the flowchart of FIG.

【０１１１】次に、サービス提供端末６２１では、情報
端末６０１が送信するマルチメディア情報操作ウインド
ウ６２６に対する共有操作情報を受信する。その共有操
作情報は、サービス提供端末６２１の使用者が行った操
作の情報と個別に、オペレーションシステムに渡され
る。よって、マルチメディア情報操作ウインドウ６２６
は、サービス提供端末６２１の使用者と情報端末６０１
の使用者によって個別のポインタを用いて共有操作され
ることになる。その処理の流れを図１４に表すフローチ
ャートで説明する。Next, the service providing terminal 621 receives the sharing operation information for the multimedia information operation window 626 transmitted by the information terminal 601. The shared operation information is passed to the operation system separately from the information on the operation performed by the user of the service providing terminal 621. Therefore, the multimedia information operation window 626
Are the user of the service providing terminal 621 and the information terminal 601
Will be shared by individual users using individual pointers. The flow of the processing will be described with reference to the flowchart shown in FIG.

【０１１２】まず、共有操作の開始時にステップ１４０
１で情報端末６０１が操作を行う第２のポインタ１５０
２および図示しない第２の文字入力手段をマルチメディ
ア情報操作ウインドウ６２６上に起動する。ネットワー
ク６４０を経由したパケットが、ネットワークインター
フェース部２０１１で受信された後、主記憶メモリ２０
０３に転送される。First, at the start of the sharing operation, step 140
1 the second pointer 150 operated by the information terminal 601
2 and a second character input means (not shown) are activated on the multimedia information operation window 626. After the packet transmitted via the network 640 is received by the network interface unit 2011, the main storage memory 20
03.

【０１１３】ステップ５０１では、パケットの通信制御
情報からマルチメディア情報操作ウインドウ６２６の共
有操作情報が含まれているか否かを判断する。もし、パ
ケットに共有操作情報が含まれる場合には、ステップ５
０２でパケットから通信制御情報を取り除き、共有操作
情報が通信が行われる以前の状態に再組立てされる。復
元された共有操作情報は、ステップ５０３でポインタの
移動、クリックおよびドラックであるのか、それとも文
字入力であるのかを判断される。In step 501, it is determined from the communication control information of the packet whether or not the sharing operation information of the multimedia information operation window 626 is included. If the packet contains shared operation information, step 5
At 02, the communication control information is removed from the packet, and the shared operation information is reassembled to the state before the communication was performed. In step 503, it is determined whether the restored sharing operation information is a pointer movement, a click and a drag, or a character input.

【０１１４】もし、共有操作がポインタの移動、クリッ
クおよびドラックに関する内容である場合には、ステッ
プ５０４で共有操作情報をサービス提供端末のオペレー
ションシステムが認識できるポインタ制御情報に変換す
る。ステップ１４０２では、前記の共有操作情報を変換
したポインタ制御情報が第２のポインタ操作情報として
オペレーションシステムに渡される。If the sharing operation relates to the movement, clicking and dragging of the pointer, at step 504, the sharing operation information is converted into pointer control information that can be recognized by the operation system of the service providing terminal. In step 1402, the pointer control information obtained by converting the shared operation information is passed to the operation system as second pointer operation information.

【０１１５】共有操作がポインタの移動、クリックおよ
びドラックに関する内容でなく、文字入力に関する内容
である場合には、ステップ５０６で共有操作情報をサー
ビス提供端末のオペレーションシステムが認識できる文
字コード並びに文字入力制御情報に変換する。ステップ
１４０３では、前記の共有操作情報を変換した文字入力
制御情報が第２の文字入力情報としてオペレーションシ
ステムに渡される。If the sharing operation is not related to the movement, clicking and dragging of the pointer, but is related to character input, at step 506 the character code and character input control for recognizing the shared operation information by the operation system of the service providing terminal. Convert to information. In step 1403, the character input control information obtained by converting the shared operation information is passed to the operation system as second character input information.

【０１１６】ステップ１４０２およびステップ１４０３
により、ステップ１４０４でマルチメディア情報操作ウ
インドウ６２６が、サービス提供端末６２１の使用者と
情報端末６０１の使用者によって各々のポインタ操作お
よび文字入力で共有操作される。Step 1402 and Step 1403
Accordingly, in step 1404, the multimedia information operation window 626 is shared by the user of the service providing terminal 621 and the user of the information terminal 601 by the respective pointer operations and character inputs.

【０１１７】このようにして、情報端末６０１の使用者
とサービス提供端末６２１の使用者は、サービス提供端
末６２１で実行中のアプリケーションプログラムを、個
々に操れるポインタを使用して共有操作することが可能
となる。In this way, the user of the information terminal 601 and the user of the service providing terminal 621 can share and operate the application programs running on the service providing terminal 621 using pointers that can be individually manipulated. Becomes

【０１１８】（実施の形態５）マルチメディア情報操作
ウインドウの共有操作方法の実施の形態５を図２〜４、
図６および図１６を用いて説明する。ただし、実施の形
態５は、実施の形態１と差異がある部分のみを説明す
る。(Fifth Embodiment) FIGS. 2 to 4 show a fifth embodiment of a sharing operation method of a multimedia information operation window.
This will be described with reference to FIGS. However, in the fifth embodiment, only portions different from the first embodiment will be described.

【０１１９】実施の形態１と同じく図６において、サー
ビス提供端末６２１の使用者は、サービス提供端末６２
１で起動したアプリケーションプログラムの画面表示と
してのマルチメディア情報操作ウインドウ６２６を利用
して、情報端末６０１の使用者と共有操作を行う状況に
あるものとする。更に、実施の形態５において、サービ
ス提供端末６２１内の記憶装置内、例えば図２０のフラ
ッシュメモリ２００２やハードディスクドライブ２００
５には、共有操作の有効化・無効化を設定する図示しな
い共有操作可否情報がある。In FIG. 6 as in Embodiment 1, the user of service providing terminal 621 is
It is assumed that a sharing operation is performed with the user of the information terminal 601 using the multimedia information operation window 626 as a screen display of the application program started in Step 1. Furthermore, in the fifth embodiment, the storage device in the service providing terminal 621, such as the flash memory 2002 or the hard disk drive 200 shown in FIG.
5 includes sharing operation enable / disable information (not shown) for setting enable / disable of the sharing operation.

【０１２０】サービス情報端末６２１、情報端末６０１
およびネットワーク６４０は、実施の形態１と同じもの
である。Service information terminal 621, information terminal 601
The network 640 is the same as in the first embodiment.

【０１２１】前記の本発明の使用環境において、マルチ
メディア情報操作ウインドウの共有操作方法を図２〜
４、図１６を用いて具体的に説明する。In the use environment of the present invention, the sharing operation method of the multimedia information operation window is shown in FIGS.
This will be specifically described with reference to FIG. 16 and FIG.

【０１２２】サービス提供端末６２１の使用者は、マル
チメディア情報操作ウインドウ６２６のメニューで共有
操作先ネットワークアドレスを設定した後、そのメニュ
ーで共有操作を開始する。共有操作の開始とともに、サ
ービス提供端末６２１はＨ．３２３が有する機能を用い
て情報端末６０１に何も表示されていない共有操作用ウ
インドウ６０６を開く。The user of the service providing terminal 621 sets the sharing operation destination network address in the menu of the multimedia information operation window 626, and then starts the sharing operation in the menu. With the start of the sharing operation, the service providing terminal 621 switches to H.264. The sharing operation window 606 in which nothing is displayed on the information terminal 601 is opened using the function of the H.323.

【０１２３】以降、マルチメディア情報操作ウインドウ
６２６の表示が更新される毎に、サービス提供端末６２
１から情報端末６０１へマルチメディア情報操作ウイン
ドウ６２６の表示データを送信する処理を行う。その処
理の流れは、実施の形態１で示した図２のフローチャー
トと同じである。Thereafter, each time the display of the multimedia information operation window 626 is updated, the service providing terminal 62
1 to the information terminal 601 to transmit the display data of the multimedia information operation window 626. The flow of the processing is the same as the flow chart of FIG. 2 shown in the first embodiment.

【０１２４】次に、情報端末６０１では、サービス提供
端末６２１が送信するマルチメディア情報操作ウインド
ウ６２６の表示データを受信し、その表示データを画面
上の共有操作用ウインドウ６０６に表示する。その処理
の流れは、実施の形態１で示した図３のフローチャート
と同じである。Next, the information terminal 601 receives the display data of the multimedia information operation window 626 transmitted from the service providing terminal 621, and displays the display data in the sharing operation window 606 on the screen. The flow of the process is the same as the flow chart of FIG. 3 shown in the first embodiment.

【０１２５】一方、情報端末６０１の使用者は、タッチ
パネル６０３およびキーボード６０４を使用して、共有
操作用ウインドウ６０６に対し、ポインタの位置を移動
する動作、ボタンをクリックする動作および文字入力フ
ォームに文字を入力する動作等の共有操作を行う。情報
端末６０１で共有操作が行われる毎に、その共有操作情
報はサービス提供端末６２１に送信される。各情報端末
におけるその処理の流れは、実施の形態１で示した図４
のフローチャートと同じである。On the other hand, the user of the information terminal 601 uses the touch panel 603 and the keyboard 604 to move the position of the pointer, click the button, and enter text on the character input form in the sharing operation window 606. The user performs a sharing operation such as an operation of inputting. Every time a sharing operation is performed on the information terminal 601, the sharing operation information is transmitted to the service providing terminal 621. The flow of the processing in each information terminal is the same as that shown in FIG.
This is the same as the flowchart of FIG.

【０１２６】次に、サービス提供端末６２１では、情報
端末６０１が送信するマルチメディア情報操作ウインド
ウ６２６に対する共有操作情報を受信する。その共有操
作情報は、サービス提供端末６２１の使用者が行った操
作の情報と個別に、オペレーションシステムに渡され
る。よって、マルチメディア情報操作ウインドウ６２６
は、サービス提供端末６２１の使用者と情報端末６０１
の使用者によって個別のポインタを用いて共有操作され
ることになる。その処理の流れを図１６に表すフローチ
ャートで説明する。Next, the service providing terminal 621 receives the sharing operation information for the multimedia information operation window 626 transmitted by the information terminal 601. The shared operation information is passed to the operation system separately from the information on the operation performed by the user of the service providing terminal 621. Therefore, the multimedia information operation window 626
Are the user of the service providing terminal 621 and the information terminal 601
Will be shared by individual users using individual pointers. The flow of the processing will be described with reference to the flowchart shown in FIG.

【０１２７】ネットワーク６４０を経由して送られてき
たパケットが、ネットワークインターフェース部２０１
１で受信された後、主記憶メモリ２００３に転送され
る。ステップ５０１では、パケットの通信制御情報から
マルチメディア情報操作ウインドウ６２６の共有操作情
報が含まれているか否かを判断する。The packet transmitted via the network 640 is transmitted to the network interface unit 201.
1 and then transferred to the main storage memory 2003. In step 501, it is determined from the communication control information of the packet whether or not the sharing operation information of the multimedia information operation window 626 is included.

【０１２８】もし、パケットに共有操作情報が含まれる
場合には、ステップ１６０１でサービス提供端末６２１
内にある共有操作可否情報に設定されている共有操作無
効送信元ネットワークアドレスリストとパケットの送信
元のネットワークアドレスを照合し、送信元が共有操作
を無効化されているか否かを決定する。If the sharing operation information is included in the packet, the service providing terminal
The source network address of the packet transmission source is compared with the sharing operation invalid transmission source network address list set in the sharing operation propriety information in the table, and it is determined whether the transmission source is invalidated the sharing operation.

【０１２９】もし、送信元のネットワークアドレスが共
有操作無効送信元ネットワークアドレスリスト内にある
場合には、共有操作はマルチメディア情報操作ウインド
ウ６２６上で実行できない。逆に、送信元のネットワー
クアドレスが共有操作無効送信元ネットワークアドレス
リスト内にない場合には、以下の処理の流れは実施の形
態１と同じである。If the source network address is in the sharing operation invalid source network address list, the sharing operation cannot be executed on the multimedia information operation window 626. Conversely, if the source network address is not in the sharing operation invalid source network address list, the following processing flow is the same as in the first embodiment.

【０１３０】このようにして、サービス提供端末６２１
の使用者は、情報端末６０１の使用者が行う共有操作の
有効化／無効化を制御しながら、サービス提供端末６２
１で実行中のアプリケーションプログラムを共有操作す
ることが可能となる。In this manner, the service providing terminal 621
Of the service providing terminal 62 while controlling the enabling / disabling of the sharing operation performed by the user of the information terminal 601.
1 allows the application program being executed to be shared.

【０１３１】（実施の形態６）マルチメディア情報操作
ウインドウの共有操作方法の実施の形態６を図２〜３、
図６および図１７〜１８を用いて説明する。ただし、実
施の形態６は、実施の形態１と差異がある部分のみを説
明する。(Embodiment 6) Embodiment 6 of a sharing operation method of a multimedia information operation window will be described with reference to FIGS.
This will be described with reference to FIG. 6 and FIGS. However, in the sixth embodiment, only portions different from the first embodiment will be described.

【０１３２】実施の形態１と同じく図６において、サー
ビス提供端末６２１の使用者は、サービス提供端末６２
１で起動したアプリケーションプログラムの画面表示と
してのマルチメディア情報操作ウインドウ６２６を利用
して、情報端末６０１の使用者と共有操作を行う状況に
あるものとする。更に、実施の形態６において、サービ
ス提供端末６２１内の記憶装置、例えば図２０のハード
ディスク２００５と情報端末６０１内の記憶装置、例え
ば図１９のフラッシュメモリ１９０２には共有操作の履
歴を保存する図示しないログファイルがある。In FIG. 6 as in the first embodiment, the user of service providing terminal 621 is
It is assumed that a sharing operation is performed with the user of the information terminal 601 using the multimedia information operation window 626 as a screen display of the application program started in Step 1. Further, in the sixth embodiment, the storage device in the service providing terminal 621, for example, the hard disk 2005 in FIG. 20 and the storage device in the information terminal 601 such as the flash memory 1902 in FIG. There is a log file.

【０１３３】サービス情報端末６２１、情報端末６０１
およびネットワーク６４０は、実施の形態１と同じもの
である。Service information terminal 621, information terminal 601
The network 640 is the same as in the first embodiment.

【０１３４】前記の本発明の使用環境において、マルチ
メディア情報操作ウインドウの共有操作方法を図２〜
３、図１７〜１８を用いて具体的に説明する。In the use environment of the present invention, the sharing operation method of the multimedia information operation window is shown in FIGS.
3, a detailed description will be given with reference to FIGS.

【０１３５】サービス提供端末６２１の使用者は、マル
チメディア情報操作ウインドウ６２６のメニューで共有
操作先ネットワークアドレスを設定した後、そのメニュ
ーで共有操作を開始する。共有操作の開始とともに、サ
ービス提供端末６２１はＨ．３２３が有する機能を用い
て情報端末６０１に何も表示されていない共有操作用ウ
インドウ６０６を開く。[0135] The user of the service providing terminal 621 sets a sharing operation destination network address in the menu of the multimedia information operation window 626, and then starts the sharing operation in the menu. With the start of the sharing operation, the service providing terminal 621 switches to H.264. The sharing operation window 606 in which nothing is displayed on the information terminal 601 is opened using the function of the H.323.

【０１３６】以降、マルチメディア情報操作ウインドウ
６２６の表示が更新される毎に、サービス提供端末６２
１から情報端末６０１へマルチメディア情報操作ウイン
ドウ６２６の表示データを送信する処理を行う。その処
理の流れは、実施の形態１で示した図２のフローチャー
トと同じである。Subsequently, each time the display of the multimedia information operation window 626 is updated, the service providing terminal 62
1 to the information terminal 601 to transmit the display data of the multimedia information operation window 626. The flow of the processing is the same as the flow chart of FIG. 2 shown in the first embodiment.

【０１３７】次に、情報端末６０１では、サービス提供
端末６２１が送信するマルチメディア情報操作ウインド
ウ６２６の表示データを受信し、その表示データを画面
上の共有操作用ウインドウ６０６に表示する。その処理
の流れは、実施の形態１で示した図３のフローチャート
と同じである。Next, the information terminal 601 receives the display data of the multimedia information operation window 626 transmitted from the service providing terminal 621, and displays the display data in the sharing operation window 606 on the screen. The flow of the process is the same as the flow chart of FIG. 3 shown in the first embodiment.

【０１３８】一方、情報端末６０１の使用者は、タッチ
パネル６０３およびキーボード６０４を使用して、共有
操作用ウインドウ６０６に対し、ポインタの位置を移動
する動作、ボタンをクリックする動作および文字入力フ
ォームに文字を入力する動作等の共有操作を行う。情報
端末６０１で共有操作が行われる毎に、その共有操作情
報は情報端末６０１内のログファイルにその操作履歴が
保存されるとともに、サービス提供端末６２１に送信さ
れる。その処理の流れを図１７に表すフローチャートで
説明する。On the other hand, the user of the information terminal 601 uses the touch panel 603 and the keyboard 604 to move the position of the pointer, click the button, and enter text on the character input form with respect to the sharing operation window 606. The user performs a sharing operation such as an operation of inputting. Every time a sharing operation is performed on the information terminal 601, the sharing operation information is stored in a log file in the information terminal 601, and transmitted to the service providing terminal 621. The flow of the processing will be described with reference to the flowchart shown in FIG.

【０１３９】ステップ４０１では、情報端末６０１でタ
ッチパネル６０３やキーボード６０４が操作されたこと
を入力装置制御部１９０９からオペレーションシステム
もしくはデバイスドライバへ転送される操作情報で認識
し、その操作が共有操作用ウインドウ６０６上で行われ
たか否かを判断する。もし、タッチパネル６０３やキー
ボード６０４の操作が共有操作用ウインドウ６０６に対
する共有操作の場合には、ステップ４０２で前記の操作
情報からタッチパネル６０３によるポインタ操作である
のか、それともキーボード６０４による文字入力操作で
あるのかを判断する。もし、タッチパネル６０３による
共有操作の場合には、ステップ４０３で前記の操作情報
から共有操作用ウインドウ内におけるポインタの移動前
座標、移動後座標、クリック動作の有無、ドラック動作
の有無から共有操作情報を作成する。共有操作がタッチ
パネル６０３からでなく、キーボード６０４による場合
には、ステップ４０４で入力された文字列と共有操作用
ウインドウ内におけるポインタの座標から共有操作情報
を作成する。In step 401, the operation of the touch panel 603 or the keyboard 604 on the information terminal 601 is recognized by the operation information transferred from the input device control unit 1909 to the operation system or device driver, and the operation is recognized as a shared operation window. It is determined whether or not the operation has been performed on 606. If the operation on the touch panel 603 or the keyboard 604 is a sharing operation on the sharing operation window 606, whether the operation is a pointer operation on the touch panel 603 or a character input operation on the keyboard 604 based on the operation information in step 402. Judge. In the case of the sharing operation using the touch panel 603, in step 403, the sharing operation information is obtained from the coordinates before movement, the coordinates after movement, the presence or absence of the click operation, and the presence or absence of the drag operation of the pointer in the sharing operation window from the operation information. create. When the sharing operation is performed not by the touch panel 603 but by the keyboard 604, the sharing operation information is created from the character string input in step 404 and the coordinates of the pointer in the sharing operation window.

【０１４０】ステップ１７０１では、情報端末６０１内
のログファイルに作成された共有操作情報の履歴が保存
される。なお、ここではログファイルに共有操作情報の
履歴のみを保存したが、それに追加してその操作を行っ
た時間やその操作が正常に実行できたか否か等の情報も
ログファイルに保存しても構わない。In step 1701, the history of the created sharing operation information is stored in a log file in the information terminal 601. In this case, only the history of the shared operation information is stored in the log file. However, information such as the time when the operation was performed and whether or not the operation was normally performed may be stored in the log file. I do not care.

【０１４１】ステップ４０５では、作成された共有操作
情報に送信先のネットワークアドレスと通信制御情報を
付加してパケット化される。パケット化した共有操作情
報は、ステップ４０６で主記憶メモリ１９０３からネッ
トワークインターフェース部１９１１へ転送された後、
ネットワーク６４０を介してサービス提供端末６２１へ
送信される。In step 405, the created shared operation information is packetized by adding the transmission destination network address and the communication control information. The packetized sharing operation information is transferred from the main storage memory 1903 to the network interface unit 1911 in step 406.
The data is transmitted to the service providing terminal 621 via the network 640.

【０１４２】次に、サービス提供端末６２１では、情報
端末６０１が送信するマルチメディア情報操作ウインド
ウ６２６に対する共有操作情報を受信する。まず、その
共有操作情報の履歴とサービス提供端末６２１の使用者
が行った操作の情報の履歴を、個々にサービス提供端末
６２１内のログファイルに保存する。次に、前記の共有
操作情報は、サービス提供端末６２１の使用者が行った
操作の情報と合成された後、サービス提供端末６２１内
のログファイルにその操作履歴が保存されるとともに、
オペレーションシステムに渡される。よって、マルチメ
ディア情報操作ウインドウ６２６は、サービス提供端末
６２１の使用者と情報端末６０１の使用者によって共有
操作されることになる。その処理の流れを図１８に表す
フローチャートで説明する。Next, the service providing terminal 621 receives the sharing operation information for the multimedia information operation window 626 transmitted by the information terminal 601. First, the history of the shared operation information and the history of the information of the operation performed by the user of the service providing terminal 621 are individually stored in a log file in the service providing terminal 621. Next, after the shared operation information is combined with information on an operation performed by a user of the service providing terminal 621, the operation history is stored in a log file in the service providing terminal 621, and
Passed to the operating system. Therefore, the multimedia information operation window 626 is shared by the user of the service providing terminal 621 and the user of the information terminal 601. The flow of the processing will be described with reference to the flowchart shown in FIG.

【０１４３】ネットワーク６４０を経由して送られてき
たパケットが、ネットワークインターフェース部２０１
１で受信された後、主記憶メモリ２００３に転送され
る。The packet transmitted via the network 640 is transmitted to the network interface unit 201.
1 and then transferred to the main storage memory 2003.

【０１４４】ステップ５０１では、パケットの通信制御
情報からマルチメディア情報操作ウインドウ６２６の共
有操作情報が含まれているか否かを判断する。もし、パ
ケットに共有操作情報が含まれる場合には、ステップ５
０２でパケットから通信制御情報を取り除き、共有操作
情報が通信が行われる以前の状態に再組立てされる。復
元された共有操作情報は、ステップ５０３でポインタの
移動、クリックおよびドラックであるのか、それとも文
字入力であるのかを判断される。At step 501, it is determined from the communication control information of the packet whether or not the sharing operation information of the multimedia information operation window 626 is included. If the packet contains shared operation information, step 5
At 02, the communication control information is removed from the packet, and the shared operation information is reassembled to the state before the communication was performed. In step 503, it is determined whether the restored sharing operation information is a pointer movement, a click and a drag, or a character input.

【０１４５】もし、共有操作がポインタの移動、クリッ
クおよびドラックに関する内容である場合には、ステッ
プ５０４で共有操作情報をサービス提供端末のオペレー
ションシステムが認識できるポインタ制御情報に変換す
る。ステップ１８０１では、共有操作情報を変換したポ
インタ制御情報の履歴と、サービス提供端末６２１に接
続されたマウス６２３から入力したポインタ制御情報の
履歴を、個々にサービス提供端末６２１内のログファイ
ルに保存する。なお、ここではログファイルに共有操作
情報の履歴とサービス提供端末６２１に接続されたマウ
ス６２３から入力したポインタ制御情報の履歴のみを保
存したが、それに追加してその操作を行った時間やその
操作が正常に実行できたか否か等の情報をログファイル
に保存しても構わない。ステップ５０５では、サービス
提供端末６２１に接続されたマウス６２３から入力した
ポインタ制御情報が、オペレーションシステムに渡され
る前に前記の共有操作情報を変換したポインタ制御情報
と合成される。共有操作がポインタの移動、クリックお
よびドラックに関する内容でなく、文字入力に関する内
容である場合には、ステップ５０６で共有操作情報をサ
ービス提供端末のオペレーションシステムが認識できる
文字コード並びに文字入力制御情報に変換する。ステッ
プ１８０２では、共有操作情報を変換した文字入力制御
情報の履歴と、サービス提供端末６２１に接続されたキ
ーボード６２４から入力した文字入力制御情報の履歴
を、個々にサービス提供端末６２１内のログファイルに
保存する。なお、ここではログファイルに共有操作情報
を変換した文字入力制御情報の履歴とサービス提供端末
６２１に接続されたキーボード６２４から入力した文字
入力制御情報の履歴のみを保存したが、それに追加して
その操作を行った時間やその操作が正常に実行できたか
否か等の情報をログファイルに保存しても構わない。ス
テップ５０７では、サービス提供端末６２１に接続され
たキーボード６２４から入力した文字入力制御情報が、
オペレーションシステムに渡される前に前記の共有操作
情報を変換した文字入力制御情報と合成される。If the sharing operation relates to the movement, clicking and dragging of the pointer, at step 504, the sharing operation information is converted into pointer control information which can be recognized by the operation system of the service providing terminal. In step 1801, the history of the pointer control information obtained by converting the sharing operation information and the history of the pointer control information input from the mouse 623 connected to the service providing terminal 621 are individually stored in a log file in the service providing terminal 621. . In this case, only the history of the shared operation information and the history of the pointer control information input from the mouse 623 connected to the service providing terminal 621 are stored in the log file. May be saved in a log file. In step 505, the pointer control information input from the mouse 623 connected to the service providing terminal 621 is combined with the pointer control information obtained by converting the shared operation information before being passed to the operation system. If the sharing operation is not related to the movement, click and drag of the pointer, but is related to character input, in step 506, the sharing operation information is converted into a character code and character input control information that can be recognized by the operation system of the service providing terminal. I do. In step 1802, the history of the character input control information converted from the shared operation information and the history of the character input control information input from the keyboard 624 connected to the service providing terminal 621 are individually stored in a log file in the service providing terminal 621. save. Here, only the history of the character input control information obtained by converting the shared operation information into the log file and the history of the character input control information input from the keyboard 624 connected to the service providing terminal 621 are stored. Information such as the time when the operation was performed and whether or not the operation was normally performed may be stored in the log file. In step 507, the character input control information input from the keyboard 624 connected to the service providing terminal 621 is
Before being passed to the operation system, the shared operation information is combined with the converted character input control information.

【０１４６】なお、情報端末６０１とサービス提供端末
６２１で生じたポインタ制御情報ならびに文字入力制御
情報を合成する方法は、単純に重ね合わせる方法や、情
報端末６０１もしくはサービス提供端末６２１のポイン
タ制御情報ならびに文字入力制御情報のいずれかを優先
する方法などを使用しても構わない。The method of synthesizing the pointer control information and the character input control information generated in the information terminal 601 and the service providing terminal 621 is a simple overlapping method, the pointer control information of the information terminal 601 or the service providing terminal 621, and the like. A method of giving priority to any of the character input control information may be used.

【０１４７】ステップ５０５で合成されたポインタ制御
情報およびステップ５０７で合成された文字入力制御情
報は、ステップ１８０３でサービス提供端末６２１内の
ログファイルに保存されるとともに、ステップ５０８で
オペレーションシステムに渡され、マルチメディア情報
操作ウインドウ６２６が、サービス提供端末６２１の使
用者と情報端末６０１の使用者によって共有操作され
る。The pointer control information synthesized in step 505 and the character input control information synthesized in step 507 are stored in a log file in the service providing terminal 621 in step 1803, and passed to the operation system in step 508. The multimedia information operation window 626 is shared between the user of the service providing terminal 621 and the user of the information terminal 601.

【０１４８】なお、ここではログファイルにステップ５
０５で合成されたポインタ制御情報およびステップ５０
７で合成された文字入力制御情報の履歴のみを保存した
が、それに追加してその操作を行った時間やその操作が
正常に実行できたか否か等の情報をログファイルに保存
しても構わない。Here, step 5 is added to the log file.
Pointer control information synthesized in step 05 and step 50
Although only the history of the character input control information synthesized in step 7 is stored, information such as the time when the operation was performed and whether or not the operation was normally performed may be stored in the log file. Absent.

【０１４９】このようにして、情報端末６０１の使用者
とサービス提供端末６２１の使用者は、個々の操作履歴
ならびに合成後の操作履歴を残しながら、サービス提供
端末６２１で実行中のアプリケーションプログラムを共
有操作することが可能となる。なお、本実施形態では情
報端末とサービス提供端末が個々に操作履歴を保存する
場合のみを説明したが、どちらか一方の端末のみで操作
履歴を保存する場合も可能である。As described above, the user of the information terminal 601 and the user of the service providing terminal 621 share the application program being executed on the service providing terminal 621 while leaving the individual operation histories and the combined operation histories. It becomes possible to operate. In the present embodiment, only the case where the information terminal and the service providing terminal individually save the operation history has been described. However, the case where the operation history is saved in only one of the terminals is also possible.

【０１５０】[0150]

【発明の効果】本発明の請求項１の共有操作方法におい
て、第１の情報端末には前記マルチメディア情報操作ウ
インドウの表示データを獲得し第２の端末に送信する共
有操作用ウインドウ表示データ送信プログラムが、第２
の情報端末には第１の情報端末から送信されるマルチメ
ディア情報操作ウインドウの表示データを表示する共有
操作用ウインドウ表示プログラムと自端末上で行った操
作情報を獲得し第１の情報端末に送信する共有操作送信
プログラムのみが必要となる。そのため、第２の情報端
末には共有操作を行うアプリケーションプログラムをイ
ンストールする必要がない。更に、前記共有操作用ウイ
ンドウ表示プログラムと共有操作プログラムは共有操作
するアプリケーションプログラムの種類に依存しないた
め、共有操作するアプリケーションプログラム数が増加
した場合でも、第２の情報端末の記憶媒体容量に制限を
受けずにマルチメディア情報操作ウインドウの共有操作
が可能である。According to the sharing operation method of the present invention, the first information terminal acquires the display data of the multimedia information operation window and transmits it to the second terminal. The program is the second
The information terminal acquires a shared operation window display program for displaying the display data of the multimedia information operation window transmitted from the first information terminal, and acquires the operation information performed on its own terminal and transmits the acquired information to the first information terminal Only the sharing operation transmission program to be performed is required. Therefore, there is no need to install an application program for performing a sharing operation on the second information terminal. Further, since the sharing operation window display program and the sharing operation program do not depend on the type of the application program to be shared, even if the number of application programs to be shared increases, the storage medium capacity of the second information terminal is limited. Sharing operation of the multimedia information operation window is possible without receiving.

【０１５１】本発明の請求項２の共有操作方法におい
て、前記共有操作用ウインドウ表示データ送信プログラ
ムは第２の情報端末が複数ある場合でも、第２の情報端
末が1台の場合のプログラムが使用できる。また、前記
マルチメディア情報操作ウインドウの表示データを共有
操作中の複数の端末へ送信する場合には、同報通信で前
記表示データを送信すればよいため、ネットワーク資源
を節約することが可能である。In the sharing operation method according to the second aspect of the present invention, the sharing operation window display data transmission program is used even when there are a plurality of second information terminals, even when there is one second information terminal. it can. Further, when the display data of the multimedia information operation window is transmitted to a plurality of terminals performing a sharing operation, the display data may be transmitted by broadcast, so that network resources can be saved. .

【０１５２】本発明の請求項３の共有操作方法におい
て、第1の情報端末上で複数のウインドウに対する共有
操作も可能なため、あるアプリケーションプログラムの
共有操作中で得た情報を、その他の共有操作中のアプリ
ケーションプログラムに受け渡すことが可能である。In the sharing operation method according to the third aspect of the present invention, since sharing operation for a plurality of windows is also possible on the first information terminal, information obtained during the sharing operation of a certain application program can be used for other sharing operations. It can be passed to the application program inside.

【０１５３】本発明の請求項４〜６の共有操作方法にお
いて、第１の情報端末と複数の第２の端末間で、様々な
共有操作方法を組み合わせて実施することが可能であ
る。In the sharing operation method according to claims 4 to 6 of the present invention, various sharing operation methods can be implemented in combination between the first information terminal and the plurality of second terminals.

【０１５４】本発明の請求項７の共有操作方法におい
て、第１の情報端末上で共有操作中の使用者が各々のポ
インタを独立に操作できるため、ウインドウに表示され
た資料の一部などを指し示すことが可能になり、各共有
操作中の使用者が共有操作中の自分以外の使用者とコミ
ュニケーションがとりやすくなる。In the sharing operation method according to the seventh aspect of the present invention, since the user who is performing the sharing operation on the first information terminal can independently operate each pointer, a part of the material displayed in the window can be displayed. Pointing is possible, and it becomes easier for the user performing each sharing operation to communicate with other users during the sharing operation.

【０１５５】本発明の請求項８の共有操作方法におい
て、第１の情報端末で第２の情報端末が行った共有操作
を有効化・無効化できるため、第１の情報端末が一時的
に第２の情報端末の共有操作を無効化し、第２の情報端
末にはウインドウに表示している情報の閲覧のみを可能
にすることができる。[0155] In the sharing operation method according to claim 8 of the present invention, the sharing operation performed by the second information terminal can be validated / invalidated by the first information terminal. The sharing operation of the second information terminal can be invalidated, and only the information displayed in the window can be viewed on the second information terminal.

【０１５６】本発明の請求項９の共有操作方法におい
て、第１および第２の情報端末が契約処理を共有操作で
行っている場合に、行われた共有操作の履歴を保存して
おくことで、契約処理に問題が発生したときに、どちら
の情報端末でどのような契約処理が行われたかを知るこ
とが可能である。In the sharing operation method according to the ninth aspect of the present invention, when the first and second information terminals are performing the contract processing by the sharing operation, the history of the sharing operation performed is stored. When a problem occurs in the contract processing, it is possible to know which contract processing was performed on which information terminal.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の実施の形態１のソフトウエア構成の一
例を示す図FIG. 1 is a diagram illustrating an example of a software configuration according to a first embodiment of the present invention;

【図２】本発明の実施の形態１のサービス提供端末内表
示データ獲得・送信処理を示したフローチャートFIG. 2 is a flowchart showing display data acquisition / transmission processing in a service providing terminal according to the first embodiment of the present invention;

【図３】本発明の実施の形態１の情報端末内表示データ
受信・描画処理を示したフローチャートFIG. 3 is a flowchart showing display data receiving / drawing processing in the information terminal according to the first embodiment of the present invention;

【図４】本発明の実施の形態１の情報端末内共有操作情
報獲得・送信処理を示したフローチャートFIG. 4 is a flowchart showing a shared operation information acquisition / transmission process in the information terminal according to the first embodiment of the present invention;

【図５】本発明の実施の形態１のサービス提供端末内共
有操作情報受信・再現処理を示したフローチャートFIG. 5 is a flowchart showing a process of receiving and reproducing shared operation information in the service providing terminal according to the first embodiment of the present invention;

【図６】本発明の実施の形態１の実行環境を示す図FIG. 6 is a diagram showing an execution environment according to the first embodiment of the present invention;

【図７】本発明の実施の形態２のサービス提供端末内共
有操作情報受信・再現処理を示したフローチャートFIG. 7 is a flowchart showing a process of receiving and reproducing shared operation information in a service providing terminal according to the second embodiment of the present invention;

【図８】本発明の実施の形態２の実行環境を示す図FIG. 8 is a diagram showing an execution environment according to the second embodiment of the present invention;

【図９】本発明の実施の形態３のサービス提供端末内表
示データ獲得・送信処理を示したフローチャートFIG. 9 is a flowchart showing display data acquisition / transmission processing in the service providing terminal according to the third embodiment of the present invention;

【図１０】本発明の実施の形態３の情報端末内表示デー
タ受信・描画処理を示したフローチャートFIG. 10 is a flowchart showing a display data receiving / drawing process in the information terminal according to the third embodiment of the present invention;

【図１１】本発明の実施の形態３の情報端末内共有操作
情報獲得・送信処理を示したフローチャートFIG. 11 is a flowchart showing a shared operation information acquisition / transmission process in an information terminal according to the third embodiment of the present invention;

【図１２】本発明の実施の形態３のサービス提供端末内
共有操作情報受信・再現処理を示したフローチャートFIG. 12 is a flowchart showing a process of receiving and reproducing shared operation information in a service providing terminal according to the third embodiment of the present invention;

【図１３】本発明の実施の形態３の実行環境を示す図FIG. 13 is a diagram showing an execution environment according to the third embodiment of the present invention;

【図１４】本発明の実施の形態４のサービス提供端末内
共有操作情報受信・再現処理を示したフローチャートFIG. 14 is a flowchart showing a process of receiving and reproducing shared operation information in a service providing terminal according to the fourth embodiment of the present invention;

【図１５】本発明の実施の形態４の実行環境を示す図FIG. 15 is a diagram showing an execution environment according to the fourth embodiment of the present invention;

【図１６】本発明の実施の形態５のサービス提供端末内
共有操作情報受信・再現処理を示したフローチャートFIG. 16 is a flowchart showing processing for receiving and reproducing shared operation information in a service providing terminal according to the fifth embodiment of the present invention;

【図１７】本発明の実施の形態６の情報端末内共有操作
情報獲得・送信処理を示したフローチャートFIG. 17 is a flowchart showing a shared operation information acquisition / transmission process in an information terminal according to the sixth embodiment of the present invention;

【図１８】本発明の実施の形態６のサービス提供端末内
共有操作情報受信・再現処理を示したフローチャートFIG. 18 is a flowchart showing processing for receiving and reproducing shared operation information in a service providing terminal according to the sixth embodiment of the present invention;

【図１９】本発明の実施の形態１における情報端末のハ
ードウエア構成の一例を示すブロック図FIG. 19 is a block diagram illustrating an example of a hardware configuration of an information terminal according to Embodiment 1 of the present invention.

【図２０】本発明の実施の形態１におけるサービス提供
端末のハードウエア構成の一例を示すブロック図FIG. 20 is a block diagram illustrating an example of a hardware configuration of a service providing terminal according to the first embodiment of the present invention.

【図２１】従来の共有操作の一例を示したフローチャー
トFIG. 21 is a flowchart showing an example of a conventional sharing operation.

【符号の説明】[Explanation of symbols]

６０１，８０１ 情報端末 ６０２，６２２，８０２ モニタ ６０３，８０３ タッチパネル ６０４，６２４，８０４ キーボード ６０５，６２５，８０５ ポインタ ６０６，８０６ 共有操作用ウインドウ ６０７，６２７，８０７ カメラ ６０８，６２８，８０８ スピーカ ６０９，６２９，８０９ マイク ６２１ サービス提供端末 ６２３ マウス ６２６ マルチメディア情報操作ウインドウ ６４０ ネットワーク １３０１ 第２の共有操作用ウインドウ １３０２ 第２のマルチメディア情報操作ウインドウ １５０１，１５０２ ポインタ １９０１，２００１ 制御カード １９０２，２００２ フラッシュメモリ １９０３，２００３ 主記憶メモリ １９０４，２００４ ＣＰＵ １９０５，２００６ バス １９０７，２００７ グラフィック処理部 １９０８，２００８ ビデオキャプチャ処理部 １９０９，２００９ 入力装置制御部 １９１０，２０１０ オーディオ処理部 １９１１，２０１１ ネットワークインターフェース部 ２００５ ハードディスクドライブ 601 801 Information terminal 602 622 802 Monitor 603 803 Touch panel 604 624 804 Keyboard 605 625 805 Pointer 606 806 Window for shared operation 607 627 807 Camera 608 628 808 Speaker 609 629 809 Microphone 621 Service providing terminal 623 Mouse 626 Multimedia information operation window 640 Network 1301 Second sharing operation window 1302 Second multimedia information operation window 1501, 1502 Pointer 1901, 2001 Control card 1902, 2002 Flash memory 1903, 2003 Main memory 1904, 2004 CPU 1905, 2006 Bus 1907, 2007 Graphic processing unit 1908 2008 video capture processor 1909,2009 input device control unit 1910,2010 audio processor 1911,2011 network interface 2005 Hard Drive

フロントページの続き Ｆターム(参考） 5B089 GA21 JA16 JB22 KA07 KA10 LB14 5C064 AA06 AB06 AC01 AC13 AD14 5E501 AA02 AB20 CA02 CA06 CB02 CB05 CB09 CB14 CB15 EB01 FA14 Continued on the front page F term (reference) 5B089 GA21 JA16 JB22 KA07 KA10 LB14 5C064 AA06 AB06 AC01 AC13 AD14 5E501 AA02 AB20 CA02 CA06 CB02 CB05 CB09 CB14 CB15 EB01 FA14

Claims (9)

【特許請求の範囲】[Claims] 【請求項１】 複数の情報端末がネツトワークを介して
相互の画面上に共有操作ウインドウを起動終了できる環
境にあり、第１の情報端末には第２の情報端末と共有操
作を行うマルチメディア情報操作ウインドウが起動し、
第２の情報端末には前記共有操作ウインドウとしてマル
チメディア情報操作ウインドウが起動している状態にお
いて、 第１の情報端末で、 前記マルチメディア情報操作ウインドウの表示データに
アクセスがあったことを検知するウインドウ表示データ
アクセス検知ステップと、前記表示データを獲得するウ
インドウ表示データ獲得ステップと、第２の情報端末へ
前記表示データを、前記ネットワークを介して送信する
ウインドウ表示データ送信ステップと、第２の情報端末
で、 前記ウインドウ表示データ送信ステップで送信された前
記表示データを受信するウインドウ表示データ受信ステ
ップと、前記ウインドウ表示データ受信ステップで受信
した前記表示データを、前記共有操作ウインドウの表示
領域に描画するウインドウ表示データ描画ステツプ、と
を有し、さらに、 第２の情報端末で、 前記共有操作ウインドウ上におけるポインタの位置情
報、移動情報、指定情報と文字入力情報の両方またはい
ずれかを意味する第２の共有操作情報を検知する操作情
報検知ステップと、前記第２の共有操作情報を獲得する
操作情報獲得ステップと、第１の情報端末へ前記第２の
共有操作情報を、前記ネットワークを介して送信する操
作情報送信ステップと、 第１の情報端末で、 前記第２の共有操作情報を受信する操作情報受信ステッ
プと、前記第２の共有操作情報を再現する操作再現ステ
ップと、自らの入力装置で入力されたポインタの位置情
報、移動情報、指定情報と文字入力情報の両方またはい
ずれかを意味する第１の共有操作情報と前記操作再現ス
テップで再現した第２の共有操作情報とを合成し、その
合成後の操作情報の内容を情報処理し、前記マルチメデ
ィア情報操作ウインドウに反映するウインドウ操作実行
ステップとを有するマルチメディア情報操作ウインドウ
の共有操作方法。1. An environment in which a plurality of information terminals can start and end a sharing operation window on a mutual screen via a network, and a first information terminal includes a multimedia for performing a sharing operation with a second information terminal. The information operation window starts,
In a state where the multimedia information operation window is activated as the shared operation window in the second information terminal, the first information terminal detects that the display data of the multimedia information operation window has been accessed. A window display data access detecting step, a window display data obtaining step of obtaining the display data, a window display data transmitting step of transmitting the display data to a second information terminal via the network, A terminal, a window display data receiving step of receiving the display data transmitted in the window display data transmitting step, and drawing the display data received in the window display data receiving step in a display area of the shared operation window; Window display data drawing And a second information terminal, wherein the second information terminal further comprises: second shared operation information indicating both or any of position information, movement information, designation information and character input information of the pointer on the shared operation window. Operation information detecting step of detecting the second shared operation information, operation information acquiring step of acquiring the second shared operation information, and operation information transmission of transmitting the second shared operation information to the first information terminal via the network A first information terminal, an operation information receiving step of receiving the second shared operation information, an operation reproducing step of reproducing the second shared operation information, and a pointer input by its own input device First shared operation information, which means position information, movement information, designated information and / or character input information, and a second shared operation reproduced in the operation reproducing step. It synthesizes the information to the information processing the contents of the operation information after the synthesis, the shared operating method of the multimedia information operation window having a window operation execution step of reflecting the multimedia information operation window. 【請求項２】 ネットワーク上に、第２の情報端末を複
数有する請求項１記載のマルチメディア情報操作ウイン
ドウの共有操作方法。2. The method according to claim 1, wherein a plurality of second information terminals are provided on the network. 【請求項３】 第１の情報端末には複数の前記マルチメ
ディア情報操作ウインドウが起動し、第２の情報端末に
は前記マルチメディア情報操作ウインドウの個々に対応
した前記共有操作ウインドウが起動している状態におい
て、第１の情報端末に、複数のマルチメディア情報操作
ウインドウを個々に識別するマルチメディア情報操作ウ
インドウ識別ステップを設け、第２の情報端末が第１の
情報端末画面上に表示されている複数の前記マルチメデ
ィア情報操作ウインドウを個々に複数の共有操作する請
求項１記載のマルチメディア情報操作ウインドウの共有
操作方法。3. The first information terminal activates a plurality of the multimedia information operation windows, and the second information terminal activates the sharing operation window corresponding to each of the multimedia information operation windows. In the state, the first information terminal is provided with a multimedia information operation window identification step for individually identifying a plurality of multimedia information operation windows, and the second information terminal is displayed on the first information terminal screen. 2. The sharing operation method for a multimedia information operation window according to claim 1, wherein a plurality of the plurality of multimedia information operation windows are individually operated. 【請求項４】 ネットワーク上に、複数の第２の情報端
末があり、第１の情報端末には複数の第２の情報端末と
共有操作をしている複数のマルチメディア情報操作ウイ
ンドウが起動しており、個々の前記マルチメディア情報
操作ウインドウが用いる共有操作方法の組み合わせは、
請求項１、２または３に記載された共有操作方法のうち
のいずれか１つまたはいずれか２つまたは全ての組み合
わせであるマルチメディア情報操作ウインドウの共有操
作方法。4. A plurality of second information terminals are provided on a network, and a plurality of multimedia information operation windows for performing a sharing operation with the plurality of second information terminals are activated on the first information terminal. The combination of the sharing operation method used by each of the multimedia information operation windows,
A sharing operation method for a multimedia information operation window, which is a combination of any one or any two or all of the sharing operation methods according to claim 1, 2 or 3. 【請求項５】 ネットワーク上に、複数の第１の情報端
末があり、第２の情報端末には複数の第１の情報端末と
共有操作をしている複数の共有操作ウインドウが起動し
ており、個々の前記共有操作ウインドウが用いる共有操
作方法の組み合わせは、請求項１、２または３に記載さ
れた共有操作方法のうちのいずれか１つまたはいずれか
２つまたは全ての組み合せであるマルチメディア情報操
作ウインドウの共有操作方法。5. A plurality of first information terminals are provided on a network, and a plurality of sharing operation windows for performing a sharing operation with the plurality of first information terminals are running on the second information terminal. A combination of the sharing operation methods used by each of the sharing operation windows is a multimedia which is a combination of any one or any two or all of the sharing operation methods according to claim 1, 2, or 3. How to share information operation window. 【請求項６】 ネットワーク上に、複数の第１の情報端
末と複数の第２の情報端末があり、任意の第１の情報端
末で起動している任意の前記マルチメディア情報操作ウ
インドウと任意の第２の情報端末で起動している任意の
前記共有操作ウインドウの共有操作方法の組み合わせ
は、請求項４または請求項５の共有操作方法の組み合わ
せであるマルチメディア情報操作ウインドウの共有操作
方法。6. A plurality of first information terminals and a plurality of second information terminals on a network, and any one of the multimedia information operation windows running on any one of the first information terminals and any one of the multimedia information operation windows 6. The sharing operation method of a multimedia information operation window, wherein a combination of the sharing operation methods of any of the sharing operation windows running on the second information terminal is a combination of the sharing operation methods of claim 4 or 5. 【請求項７】 前記操作再現ステップにおいて、第１の
情報端末上に再現した前記第２の共有操作情報と、前記
第１の共有操作情報とを、マルチメディア情報操作ウイ
ンドウ上に区別可能な表示形式で個別に表示する操作個
別再現ステップを有する請求項１、２、３、４、５また
は６記載のマルチメディア情報操作ウインドウ共有操作
方法。7. In the operation reproducing step, the second shared operation information reproduced on the first information terminal and the first shared operation information can be displayed on a multimedia information operation window in a distinguishable manner. 7. The multimedia information operation window sharing operation method according to claim 1, further comprising an operation individual reproduction step of individually displaying in a format. 【請求項８】 前記操作再現ステップの前に、第１の情
報端末内に設定された共有操作可否情報と前記第２の情
報端末からの情報を照合し、第２の情報端末からの共有
操作の可否を決定する操作可否決定ステップを設け、第
２の情報端末からの共有操作を有効化、無効化する機能
を有する請求項1、２、３、４、５、６または７記載の
マルチメディア情報操作ウインドウの共有操作方法。8. Before the operation reproducing step, the sharing operation availability information set in the first information terminal is compared with the information from the second information terminal, and the sharing operation from the second information terminal is performed. 8. The multimedia according to claim 1, further comprising an operation permission / inhibition determining step of determining the permission / inhibition of the operation, and having a function of validating and invalidating a sharing operation from the second information terminal. How to share information operation window. 【請求項９】 第２の情報端末で、 前記第２の共有操作情報と関連ウインドウ情報の履歴を
第２の情報端末の記憶媒体内のログに記録する操作履歴
保存ステップと、 第１の情報端末で、 前記第１および第２もしくは第１または第２の共有操作
情報の履歴と関連ウインドウ情報の履歴や、前記第１の
共有操作情報と前記第２の共有操作情報を合成した後の
共有操作の履歴と関連ウインドウ情報の履歴を第１の情
報端末の記憶媒体内のログに記録するウインドウ操作履
歴保存ステップを有する請求項１、２、３、４、５、
６、７または８記載のマルチメディア情報操作ウインド
ウの共有操作方法。9. An operation history storing step of, in the second information terminal, recording a history of the second shared operation information and related window information in a log in a storage medium of the second information terminal; A terminal, wherein the history of the first and second or first or second sharing operation information and the history of related window information, and the sharing after combining the first sharing operation information and the second sharing operation information 5. A window operation history storing step of recording a history of operation and a history of related window information in a log in a storage medium of the first information terminal.
6. The sharing operation method of the multimedia information operation window according to 6, 7, or 8.