JP2007249695A - Information sharing system - Google Patents

Information sharing system Download PDF

Info

Publication number
JP2007249695A
JP2007249695A JP2006073371A JP2006073371A JP2007249695A JP 2007249695 A JP2007249695 A JP 2007249695A JP 2006073371 A JP2006073371 A JP 2006073371A JP 2006073371 A JP2006073371 A JP 2006073371A JP 2007249695 A JP2007249695 A JP 2007249695A
Authority
JP
Japan
Prior art keywords
information
cursor
information terminal
network
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006073371A
Other languages
Japanese (ja)
Inventor
Takashi Katooka
隆 加登岡
Ikumi Terunuma
育美 照沼
Stejic Zoran
ステイチゾラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2006073371A priority Critical patent/JP2007249695A/en
Publication of JP2007249695A publication Critical patent/JP2007249695A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information sharing system for sharing a video between a plurality of information terminals, and sharing a designated portion in a display screen between the plurality of information terminals. <P>SOLUTION: In this information sharing system, the plurality of information terminals are connected communicably with each other via a network. The information terminal 1a distributes operation information of a cursor to the information terminal 1b via the network 3 when moving the cursor on a display device 7a on the information terminal 1a side by an input device 5a of the information terminal 1a. When the information terminal 1b receives the cursor information sent via the network 3, the information terminal 1b superimposes a cursor image on a reproduction screen of the information terminal 1b based on the cursor information to display the cursor image, and records and storages corresponding video information and the cursor information into a recording device. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、ネットワークを介して互いに通信可能に接続された複数の情報端末において、一方の情報端末で取得した映像、画像、音などのマルチメディア・コンテンツやその他の情報を、他方の情報端末でも共有できるようにした情報共有システムに関するものである。   The present invention provides multimedia information such as video, image, and sound acquired from one information terminal and other information in a plurality of information terminals that are communicably connected to each other via a network. The present invention relates to an information sharing system that can be shared.

この種の情報共有システムとは、ネットワークを介して互いに通信可能に接続されている複数の情報端末側の表示装置の画面で、同じ情報を同期して表示できるシステムであって、任意の時刻に前記情報を前記画面に再生表示させるためのスケジュール情報を作成した情報端末から他の情報端末に、当該スケジュール情報をネットワークを介して配信し、前記スケジュール情報を受信した情報端末により、予め記録しておいた情報の中から前記スケジュールにしたがって当該情報を再生し、前記情報の再生時に特殊再生を実行した情報端末から、当該特殊再生の操作情報を前記ネットワークを介して他の情報端末に配信し、前記操作情報を受信した情報端末により、当該操作情報に基づいて当該操作情報を発信した情報端末と同じ種類の特殊再生を行うようにしたものである(特許文献1参照)。   This type of information sharing system is a system that can display the same information synchronously on the screens of the display devices of a plurality of information terminals that are communicably connected to each other via a network. The schedule information is distributed from the information terminal that created the schedule information for reproducing and displaying the information on the screen to other information terminals via the network, and recorded in advance by the information terminal that received the schedule information. Reproducing the information according to the schedule from the information placed, from the information terminal that performed the special reproduction at the time of reproduction of the information, to distribute the operation information of the special reproduction to other information terminals via the network, The same type of special terminal as the information terminal that has transmitted the operation information based on the operation information by the information terminal that has received the operation information It is obtained to perform live (see Patent Document 1).

上述した従来の情報共有システムによれば、スケジュールにしたがって当該情報を再生したときに、その再生した側の情報端末の特殊な操作情報を他の情報端末に送り、特殊な操作情報を受信した情報端末でも、その操作情報に基づいて再生を行うというものである。
特開2002−218277公報
According to the conventional information sharing system described above, when the information is reproduced according to the schedule, the special operation information of the information terminal on the reproduction side is transmitted to the other information terminal, and the special operation information is received. Even the terminal performs playback based on the operation information.
JP 2002-218277 A

しかしながら、特許文献1に記載された情報共有システムで予定している特殊な操作とは、例えば早送り、巻き戻し、一時停止、再スタート等の操作のことを指したものであって、その他の操作を予期したものではなく、遠隔地にいるもの同士で特定の場所の指定等をしようとするには使用できないものであった。
すなわち、上記特許文献1に記載された情報共有システムでは、上述したように動作するものであるため、例えば機械の修理を現場と遠隔地とに分かれて行う場合、現場の様子や機械の動作確認を、異なる場所にいるユーザ同士で映像でリアルタイムに共有することができないほか、操作情報が特殊なものであるために、リアルタイム映像の中の指定したい部分を指定することができず、コミュニケーションの質が悪化してしまうという不都合があった。
However, the special operation scheduled in the information sharing system described in Patent Document 1 refers to operations such as fast-forward, rewind, pause, restart, and other operations. It was not expected to be used, and it could not be used to try to specify a specific place between remote places.
That is, since the information sharing system described in Patent Document 1 operates as described above, for example, when repairing a machine separately at a site and a remote site, confirming the state of the site and the operation of the machine Can not be shared in real time between users in different locations, and because the operation information is special, it is not possible to specify the part you want to specify in the real time video, so the quality of communication There was an inconvenience that would worsen.

本発明は、上述した従来技術の不都合を解消し、複数の情報端末の間で映像を共有できるほか、表示画面中の指定部分を複数の情報端末の間で共有できるようにした情報共有システムを提供することを目的とする。   The present invention eliminates the above-mentioned disadvantages of the prior art and allows an information sharing system to share a video between a plurality of information terminals and to share a designated portion in a display screen between a plurality of information terminals. The purpose is to provide.

上記目的を達成するために、請求項1記載の情報共有システムは、複数の情報端末がネットワークを介して互いに通信可能に接続されていて、一方の情報端末は、当該一方の情報端末側の撮像装置により撮影した映像データを前記ネットワークを介して他方の情報端末に配信する手段を備え、他方の情報端末は、前記ネットワークから送られてくる映像データを受信したときには、当該他方の情報端末側の表示装置に映像を表示させる手段を備えた情報共有システムであって、前記一方の情報端末は、前記一方の情報端末側の表示装置上のカーソルを入力装置で動かすと、このカーソル情報を前記ネットワークを介して他方の情報端末に配信する手段を備え、前記他方の情報端末は、前記ネットワークを介して送られてくるカーソル情報を受信すると、当該カーソル情報を基に、当該他方の情報端末の再生画面上にカーソル画像を合成して表示できる手段と、当該映像情報とカーソル情報とを記録装置に記録保存する手段とを備えたことを特徴とする。
請求項2記載の情報共有システムでは、請求項1において、前記一方の情報端末は、撮像装置から取り込んだビットマップ情報をエンコードで圧縮して映像データとし、当該映像データを前記ネットワークを介して他方の情報端末に配信する手段を備え、前記他方の情報端末は、ネットワークを介して送られてくる映像データを受信したときには、当該映像データをデコードで元のビットマップ情報に戻すことができる手段を備えたことを特徴とする。
請求項3記載の情報共有システムでは、請求項1において、前記一方の情報端末は、入力装置から入力されるカーソルの位置情報を映像上で監視し、当該映像上でカーソルの位置情報に変化があったときは、カーソル位置の座標情報を取得し、ネットワークを介して他方の情報端末にこのカーソル情報を配信し、前記他方の情報端末は、ネットワークを介してカーソル情報を受信すると、当該カーソル情報に基づいて、時刻、座標、形状、色のカーソル画像を生成し、前記ビットマップの画像に重ねた画像を合成してから表示装置に表示することを特徴とする。
請求項4記載の情報共有システムでは、請求項1において、前記一方の情報端末は、共有カーソル設定では、カーソルの形状やサイズ、色などを設定する手段と、前記手段で設定した共有カーソル設定情報をネットワークを介して他方の情報端末に送出する手段とを備え、前記他方の情報端末は、前記ネットワークを介して得た共有カーソル設定情報を基にカーソル表示属性を変更指示する手段と、前記手段からの指示により前記カーソルの表示様態を変更する手段とを備えたことを特徴とする。
In order to achieve the above object, the information sharing system according to claim 1 is configured such that a plurality of information terminals are communicably connected to each other via a network, and one information terminal captures an image on the one information terminal side. Means for distributing video data captured by the apparatus to the other information terminal via the network, and when the other information terminal receives the video data sent from the network, the other information terminal side An information sharing system comprising means for displaying an image on a display device, wherein the one information terminal moves the cursor on the display device on the one information terminal side with the input device, and the cursor information is transferred to the network Means for delivering to the other information terminal via the network, the other information terminal receiving the cursor information sent via the network. Then, based on the cursor information, provided with means capable of combining and displaying the cursor image on the playback screen of the other information terminal, and means for recording and saving the video information and the cursor information in the recording device It is characterized by.
According to a second aspect of the present invention, there is provided the information sharing system according to the first aspect, wherein the one information terminal compresses the bitmap information fetched from the imaging device into video data and encodes the video data into the other via the network. Means for delivering to the information terminal, and when the other information terminal receives the video data sent via the network, the means for returning the video data to the original bitmap information by decoding the video data. It is characterized by having.
According to a third aspect of the present invention, there is provided the information sharing system according to the first aspect, wherein the one information terminal monitors the position information of the cursor input from the input device on the video and changes the position information of the cursor on the video. If there is, the coordinate information of the cursor position is acquired, and this cursor information is distributed to the other information terminal via the network. When the other information terminal receives the cursor information via the network, the cursor information Based on the above, a cursor image of time, coordinates, shape, and color is generated, and an image superimposed on the bitmap image is synthesized and then displayed on a display device.
5. The information sharing system according to claim 4, wherein, in the shared cursor setting, the one information terminal has means for setting a cursor shape, size, color and the like, and shared cursor setting information set by the means. And means for sending the cursor display attribute to the other information terminal via the network, the other information terminal instructing to change the cursor display attribute based on the shared cursor setting information obtained via the network, and the means Means for changing the display mode of the cursor in accordance with an instruction from.

請求項1記載の情報共有システムによれば、遠隔地に動画をリアルタイムに送って、その動画上に遠隔地同士のカーソルを表示できるようにして操作情報を共有できるようにしたので、動画上のどの部分を指しているかが明確になり、スムーズにコミュニケーションをとることができるほか、動画とカーソル指示の情報を別々に保管することで、動画再生したときに、カーソルの表示・非表示や、カーソルの様態を自由に指示できる。
また、カーソル画像があることで遠隔地の別の情報端末の操作者が指示したカーソルの位置や動きを確認できるとともに、そのカーソルがオリジナル映像に重なることによって、オリジナル映像が見にくくなってしまう場合には、カーソル表示モードを切り替えることによって、カーソルの表示を取りやめることもできる。
さらに、各情報端末が、それぞれ配信側、受信側になることができ、相互の映像とカーソル情報を交換しあうことができるので、遠隔地にいる者同士が互いの現場の状況を把握しあいながらコミュニケーションすることが容易になる。
According to the information sharing system of the first aspect, the operation information can be shared by sending a moving image to a remote location in real time and displaying a cursor between the remote locations on the moving image. In addition to clarifying which part is pointing, you can communicate smoothly, and by storing the video and cursor instruction information separately, when the video is played back, the cursor is displayed or hidden, and the cursor Can be freely instructed.
In addition, when the cursor image is present, it is possible to confirm the position and movement of the cursor indicated by the operator of another information terminal at a remote location, and when the cursor overlaps the original video, it becomes difficult to see the original video. Can cancel the cursor display by switching the cursor display mode.
Furthermore, each information terminal can be a delivery side and a reception side, respectively, and can exchange each other's video and cursor information, so that people in remote locations can grasp each other's situation on the ground It becomes easy to communicate.

請求項2記載の情報共有システムによれば、ネットワークに送り込む映像データを少なくできる。
請求項3記載の情報共有システムによれば、カーソルに変化のあったときにだけカーソル情報を送るだけでよいので、ネットワーク上に送るデータ量が少なくてすむ。
請求項4記載の情報共有システムによれば、カーソルの形状やサイズ、色などが設定できるので、実情に沿った最適なカーソルを送ることができ、コミュニケーションの精度が向上する。
According to the information sharing system of the second aspect, the video data sent to the network can be reduced.
According to the information sharing system of the third aspect, it is only necessary to send the cursor information when there is a change in the cursor, so that the amount of data to be sent on the network can be reduced.
According to the information sharing system of the fourth aspect, since the shape, size, color, and the like of the cursor can be set, it is possible to send an optimal cursor in accordance with the actual situation and improve the accuracy of communication.

以下、本発明の好適な実施の形態を図1ないし図7を参照して詳細に説明する。
図1は、本発明の実施形態に係る情報共有システムを示した全体構成図である。
この図1において、本発明の実施形態に係る情報共有システムは、複数の情報端末1a,1b,1cがネットワーク3を介して互いに通信可能に接続されている。また、情報端末1aには、入力装置5aと、表示装置7aと、撮像装置9aとが接続されている。情報端末1bには、入力装置5bと、表示装置7bと、撮像装置9bとが接続されている。情報端末1cには、入力装置5cと、表示装置7cと、撮像装置9cとが接続されている。
Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to FIGS.
FIG. 1 is an overall configuration diagram showing an information sharing system according to an embodiment of the present invention.
In FIG. 1, in an information sharing system according to an embodiment of the present invention, a plurality of information terminals 1 a, 1 b, and 1 c are connected via a network 3 so as to communicate with each other. In addition, an input device 5a, a display device 7a, and an imaging device 9a are connected to the information terminal 1a. An input device 5b, a display device 7b, and an imaging device 9b are connected to the information terminal 1b. An input device 5c, a display device 7c, and an imaging device 9c are connected to the information terminal 1c.

各入力装置5a,5b,5cは、ここではマウスを想定しており、マウスを操作した情報が各情報端末1a,1b,1cにそれぞれ入力されるようになっている。また、各表示装置7a,7b,7cは、ここでは液晶モニター等を想定しており、各情報端末1a,1b,1cで処理された表示情報をそれぞれ表示できるようになっている。さらに、撮像装置9a,9b,9cは、CCD動画カメラ等を想定しており、撮像した動画映像信号を各情報端末1a,1b,1cにそれぞれ入力することができるようになっている。
ここで、一方の情報端末を例えば情報端末1aとすると、他方の情報端末は例えば情報端末1b,1cとなる。以下では、上述した仮定状態で説明するが、これに限定されるものではない。
The input devices 5a, 5b, and 5c are assumed to be mice here, and information on the operation of the mouse is input to the information terminals 1a, 1b, and 1c, respectively. The display devices 7a, 7b, and 7c are assumed to be liquid crystal monitors and the like, and can display display information processed by the information terminals 1a, 1b, and 1c, respectively. Furthermore, the imaging devices 9a, 9b, and 9c are assumed to be CCD moving cameras and the like, and the captured moving image signals can be input to the information terminals 1a, 1b, and 1c, respectively.
Here, if one information terminal is, for example, the information terminal 1a, the other information terminal is, for example, the information terminals 1b and 1c. In the following, the assumption state described above will be described, but the present invention is not limited to this.

情報端末1aは、図示しないが、第1の配信手段と、第2の配信手段とを備えている。この第1の配信手段は、当該情報端末1a側の撮像装置9aにより撮影した映像データをネットワーク3を介して情報端末1b,1cに配信することができるものである。前記第2の配信手段は、当該情報端末1a側の表示装置7a上のカーソルを情報端末1a側の入力装置5aで動かすと、このカーソルの動作情報をネットワーク3を介して情報端末1b,1cに配信することができるものである。
各情報端末1b,1cは、第1の表示手段と、第2の表示手段と、保存手段とを各々備えている。第1の表示手段は、ネットワーク3から送られてくる映像データを受信したときに、情報端末1b,1c側の表示装置7b,7cに映像を表示させることができる手段である。第2の表示手段は、ネットワーク3を介して送られてくるカーソル情報を受信すると、当該カーソル情報を基に、情報端末1b,1cの表示装置7b,7cに表示される再生画面上にカーソル画像を合成して表示することができる手段である。前記保存手段は、当該映像情報とカーソル情報とを記録装置に記録保存することができる手段である。
Although not shown, the information terminal 1a includes a first distribution unit and a second distribution unit. This first distribution means can distribute video data captured by the imaging device 9a on the information terminal 1a side to the information terminals 1b and 1c via the network 3. When the cursor on the display device 7a on the information terminal 1a side is moved by the input device 5a on the information terminal 1a side, the second distribution means sends the operation information of the cursor to the information terminals 1b and 1c via the network 3. It can be delivered.
Each information terminal 1b, 1c includes a first display unit, a second display unit, and a storage unit. The first display means is a means capable of displaying video on the display devices 7b and 7c on the information terminals 1b and 1c side when video data sent from the network 3 is received. When the second display means receives the cursor information sent via the network 3, the cursor image is displayed on the reproduction screen displayed on the display devices 7b and 7c of the information terminals 1b and 1c based on the cursor information. It is a means which can synthesize | combine and display. The storage means is means for recording and saving the video information and cursor information in a recording device.

図2は、本発明の実施形態に係る情報共有システムにおける情報端末等の構成例を示したブロック図である。
この図2において、本発明の実施形態では、各情報端末1a,1b,1cは同一の構成としてあるので、情報端末1aを代表して説明し、他の情報端末1b,1cの説明は省略する。
情報端末1aは、ネットワーク3との通信を司る通信装置11aと、映像、画像、音などのマルチメディア・コンテンツやその他の情報を格納するファイル保存装置12aと、前記第1の表示手段や第2の表示手段を実現する受信処理装置13aと、これらの動作を制御する制御装置14aとから構成されている。
また、情報端末1aの制御装置14aには、入力装置5aと、表示装置7aと、撮像装置9aとが接続されている。
FIG. 2 is a block diagram showing a configuration example of an information terminal or the like in the information sharing system according to the embodiment of the present invention.
In FIG. 2, in the embodiment of the present invention, the information terminals 1a, 1b, and 1c have the same configuration. Therefore, the information terminal 1a will be described as a representative, and descriptions of the other information terminals 1b and 1c will be omitted. .
The information terminal 1a includes a communication device 11a that controls communication with the network 3, a file storage device 12a that stores multimedia contents such as video, images, and sounds, and other information, the first display unit, The reception processing device 13a for realizing the display means and the control device 14a for controlling these operations.
In addition, an input device 5a, a display device 7a, and an imaging device 9a are connected to the control device 14a of the information terminal 1a.

図3は、本発明の実施形態に係る情報共有システムの総合的な動作を説明するためのシーケンス図である。
ここで、任意のユーザが情報端末1aを他のユーザの情報端末1bに接続して、情報の共有を図ろうとする場合について説明する。
まず、ユーザは情報端末1aを使用し、当該情報端末1aを本システムの認証サーバ20にアクセスさせる(ステップ101)。認証サーバ20にIDやパスワードを入力することにより認証サーバ20に認証処理を実行させ(ステップ102)、自身の情報端末1aを特定する。
ここで、例えば電話などを使って、他のユーザに連絡して、他のユーザの情報端末1bを本システムの認証サーバ20にアクセスさせる(ステップ103)。同様に、認証サーバ20にIDやパスワードを入力することにより認証サーバ20に認証処理を実行させ(ステップ104)、情報端末1bを認証させる。
FIG. 3 is a sequence diagram for explaining the overall operation of the information sharing system according to the embodiment of the present invention.
Here, a case where an arbitrary user tries to share information by connecting the information terminal 1a to the information terminal 1b of another user will be described.
First, the user uses the information terminal 1a and causes the information terminal 1a to access the authentication server 20 of the present system (step 101). By inputting the ID and password to the authentication server 20, the authentication server 20 executes authentication processing (step 102), and identifies its own information terminal 1a.
Here, for example, by using a telephone or the like, another user is contacted and the information terminal 1b of the other user is accessed to the authentication server 20 of this system (step 103). Similarly, by inputting an ID and password to the authentication server 20, the authentication server 20 is caused to execute an authentication process (step 104), and the information terminal 1b is authenticated.

これらにより、お互いの情報端末1a,1bの情報を交換する。例えば、双方の端末IDや、ネットワーク上のIPアドレスなどである。そして、認証サーバ20によってセッションの確立がなされる(ステップ105)。
また、情報端末1aでは、カーソルの形状が指定されると、その指定を処理する(ステップ106)。
ここで、情報端末1aは、映像配信指示があると、セッションの確立した情報端末1bに配信処理を実行する(ステップ107)。この配信処理(ステップ107)は、動画送信、映像送信、カーソル情報送信などである。また、映像配信は、例えばUDPやTCP/IPなどのプロトコルで映像送信を行う。そして、情報端末1aは、映像を転送し(ステップ108)、カーソル情報を配信する(ステップ109)。
また、情報端末1bは、受信・再生・保存の各処理を実行する(ステップ110)。
As a result, the information of the information terminals 1a and 1b is exchanged. For example, both terminal IDs and IP addresses on the network. Then, a session is established by the authentication server 20 (step 105).
When the cursor shape is specified, the information terminal 1a processes the specification (step 106).
Here, when there is a video distribution instruction, the information terminal 1a executes distribution processing on the information terminal 1b with which the session is established (step 107). This distribution processing (step 107) includes moving image transmission, video transmission, cursor information transmission, and the like. For video distribution, video transmission is performed using a protocol such as UDP or TCP / IP. Then, the information terminal 1a transfers the video (step 108) and distributes the cursor information (step 109).
Further, the information terminal 1b executes each process of reception, reproduction, and storage (step 110).

図4は、本発明の実施形態に係る情報共有システムにおいて、セッションが確立した2台の情報端末のそれぞれの処理を示したフローチャートであって、図4(a)は情報端末1aの処理を、図4(b)は情報端末1bの処理を、それぞれ示したフローチャートである。
図5は、本発明の実施形態に係る情報共有システムにおいて、共有カーソルの表示例を示した図である。図6は、本発明の実施形態に係る情報共有システムにおいて、カーソル形状設定画面の例を示した図である。
図4において、情報端末1aが映像を配信する側であり、情報端末1bが映像を受信する側である。
なお、情報端末1a、1bが順次処理をしていく上で、表示画面を使用するので、まず共有カーソル表示画面700、及びカーソル形状設定画面800について説明する。
FIG. 4 is a flowchart showing the processing of each of the two information terminals that have established a session in the information sharing system according to the embodiment of the present invention. FIG. 4A shows the processing of the information terminal 1a. FIG. 4B is a flowchart showing the processing of the information terminal 1b.
FIG. 5 is a diagram showing a display example of the shared cursor in the information sharing system according to the embodiment of the present invention. FIG. 6 is a diagram showing an example of a cursor shape setting screen in the information sharing system according to the embodiment of the present invention.
In FIG. 4, the information terminal 1a is a side that distributes video, and the information terminal 1b is a side that receives video.
Since the display screen is used when the information terminals 1a and 1b sequentially perform processing, the shared cursor display screen 700 and the cursor shape setting screen 800 will be described first.

共有カーソル表示画面700は、中央に動画画像701が表示されており、その動画画像701の下部に図示左側からカーソルの表示ボタン702、非表示ボタン703、開始ボタン704、停止ボタン705、スナップショットボタン706が配置されており、上側右端に左側から最小化ボタン707、最大化ボタン708、閉じるボタン709が配置されている。
カーソル形状設定画面800は、最下部にOKボタン801、キャンセルボタン802が設けられており、それらの上側にカーソルの色を設定するための色表示部803及び設定ボタン804が設けられており、さらにその上にカーソルのサイズを設定するための入力部805が設けられ、最上部にカーソルの形状を設定するラジオボタンで円選択ボタン806、三角選択ボタン807、四角選択ボタン808が設けられている。
On the shared cursor display screen 700, a moving image 701 is displayed in the center, and a cursor display button 702, a non-display button 703, a start button 704, a stop button 705, and a snapshot button are displayed at the bottom of the moving image 701 from the left side in the figure. 706 is arranged, and a minimize button 707, a maximize button 708, and a close button 709 are arranged on the upper right end from the left side.
The cursor shape setting screen 800 has an OK button 801 and a cancel button 802 at the bottom, a color display unit 803 and a setting button 804 for setting the cursor color above them, and further An input unit 805 for setting the cursor size is provided thereon, and a circle selection button 806, a triangle selection button 807, and a square selection button 808 are provided as radio buttons for setting the cursor shape at the top.

情報端末1aでは、まず、図6に示すカーソル形状設定画面800を表示装置7aに表示させて、カーソルに関する指定を行う(ステップ201)。
次に、情報端末1aでは、ビデオカメラなどの撮像装置9aから取り込まれた映像の1フレームを取得し(ステップ202)、情報端末1aの表示装置7aに表示する(ステップ203)。
さらに、情報端末1aでは、映像をエンコードして例えばMPEG4などの規格で圧縮する(ステップ204)。
また、操作者が、入力装置(この場合、マウス)5aを操作し、表示装置7aに表示された映像のある部分を指し示したとする。
情報端末1aは、カーソルの位置が変化したことを検知した場合には(ステップ205;Y)、現時点でのカーソルの情報(カーソルの形状、サイズ、色、座標)を取得し、カーソル情報として情報端末1bに向けてネットワーク3上に配信する(ステップ206)。この場合、映像配信の通信ポートとは別のポートに向け配信する。
In the information terminal 1a, first, the cursor shape setting screen 800 shown in FIG. 6 is displayed on the display device 7a, and designation relating to the cursor is performed (step 201).
Next, the information terminal 1a acquires one frame of the video captured from the imaging device 9a such as a video camera (step 202) and displays it on the display device 7a of the information terminal 1a (step 203).
Further, the information terminal 1a encodes the video and compresses it according to a standard such as MPEG4 (step 204).
Further, it is assumed that the operator operates the input device (in this case, the mouse) 5a and points to a certain part of the image displayed on the display device 7a.
When the information terminal 1a detects that the cursor position has changed (step 205; Y), the information terminal 1a acquires the current cursor information (cursor shape, size, color, coordinates), and provides information as cursor information. Distribution is performed on the network 3 toward the terminal 1b (step 206). In this case, distribution is performed to a port different from the communication port for video distribution.

一方、情報端末1aは、カーソルの位置が変化しないことを検知した場合には(ステップ205;N)、何もせずにステップ207に移行する。
カーソル情報の配信(ステップ206)、または、カーソルの位置が変化しないことを検知した場合には(ステップ205;N)、情報端末1aは、前記エンコードされ圧縮された映像情報を情報端末1bに向けてネットワーク3上に配信する(ステップ207)。
そして、カメラからの1フレーム取得の処理(ステップ202)に戻り、上記フローを繰り返し行う。
一方、情報端末1bでは、情報端末1aから映像をネットワーク3を介して取得すると(ステップ301)、まず当該映像を記録手段であるハードディスクドライブ等に記録させる(ステップ302)。
On the other hand, when the information terminal 1a detects that the cursor position does not change (step 205; N), the information terminal 1a proceeds to step 207 without doing anything.
When distribution of cursor information (step 206) or when it is detected that the position of the cursor does not change (step 205; N), the information terminal 1a directs the encoded and compressed video information to the information terminal 1b. And distributed on the network 3 (step 207).
Then, the process returns to the process of obtaining one frame from the camera (step 202), and the above flow is repeated.
On the other hand, in the information terminal 1b, when an image is acquired from the information terminal 1a via the network 3 (step 301), the image is first recorded on a hard disk drive or the like as a recording unit (step 302).

次に、情報端末1bは、デコードにより1フレーム映像をビットマップに変換する(ステップ303)。ついで、情報端末1bは、フレームカウンターにより受け取ったフレーム番号をカウントアップする(ステップ304)。
さらに、情報端末1bは、情報端末1aからのカーソル情報を受信したか否かを判断し(ステップ305)、受信した場合(ステップ305;Y)、デコードした映像フレーム番号と共にハードディスクドライブなどの記録手段に記録させる(ステップ306)。
一方、カーソル情報を受信していない場合は(ステップ305;N)、前回受信したカーソル情報を今回の受信カーソル情報として保存する(ステップ307)。
Next, the information terminal 1b converts the 1-frame video into a bitmap by decoding (step 303). Next, the information terminal 1b counts up the frame number received by the frame counter (step 304).
Further, the information terminal 1b determines whether or not the cursor information is received from the information terminal 1a (step 305), and if received (step 305; Y), recording means such as a hard disk drive together with the decoded video frame number. (Step 306).
On the other hand, when the cursor information is not received (step 305; N), the cursor information received last time is stored as the current received cursor information (step 307).

次に、情報端末1bは、カーソル表示モードをチェックする(ステップ308)。図5に示す共有カーソル表示画面700のカーソルの表示ボタン702、または非表示ボタン703を操作者に押下させることで、カーソル表示・非表示のモードを切り替えることができる。
ここで、情報端末1bが、カーソル表示モードであった場合(ステップ308;表示モード)、カーソル情報からカーソル画像を生成してビットマップ画像に合成する(ステップ309)。なお、カーソルの形状は、情報端末1a側において、図6に示すカーソル形状設定画面800により、「カーソルの形状(丸、三角、四角)」、「サイズ」、「色」などが指定される。
Next, the information terminal 1b checks the cursor display mode (step 308). By causing the operator to press the cursor display button 702 or the non-display button 703 on the shared cursor display screen 700 shown in FIG. 5, the cursor display / non-display mode can be switched.
Here, when the information terminal 1b is in the cursor display mode (step 308; display mode), a cursor image is generated from the cursor information and combined with the bitmap image (step 309). As the cursor shape, “cursor shape (circle, triangle, square)”, “size”, “color”, and the like are designated on the information terminal 1a side by the cursor shape setting screen 800 shown in FIG.

次に、情報端末1bは、カーソル画像とビットマップ画像とを合成した画像を表示装置7bに表示する(ステップ310)。
なお、情報端末1bは、カーソル非表示モードであった場合には(ステップ308;非表示モード)、ビットマップ画像を表示する(ステップ310)。
そして、情報端末1aからの映像の取得処理(ステップ301)に戻り、上記フローを繰り返し行う。
Next, the information terminal 1b displays an image obtained by combining the cursor image and the bitmap image on the display device 7b (step 310).
If the cursor is in the cursor non-display mode (step 308; non-display mode), the information terminal 1b displays a bitmap image (step 310).
And it returns to the acquisition process (step 301) of the image | video from the information terminal 1a, and performs the said flow repeatedly.

図7は、本発明の実施形態に係る情報共有システムにおいて、情報端末1bで記録装置に保存された映像情報とカーソル情報とを読み出し、再生するときの処理動作を説明するためのフローチャートである。
情報端末1bは、記録手段から映像を1フレーム取り出す(ステップ401)。同様に、情報端末1bは、記録手段からカーソル情報を取り出す(ステップ402)。
また、情報端末1bは、取り出した映像情報をデコードすることにより1フレームをビットマップ画像に変換する(ステップ403)。
次に、情報端末1bは、カーソル表示モードをチェックし(ステップ404)、表示モードと判断した場合には(ステップ404;カーソル表示モード)、取り出したカーソル情報からカーソル画像を生成し、先のビットマップに合成する(ステップ405)。
FIG. 7 is a flowchart for explaining the processing operation when the information terminal 1b reads and reproduces the video information and cursor information stored in the recording device in the information sharing system according to the embodiment of the present invention.
The information terminal 1b takes out one frame of video from the recording means (step 401). Similarly, the information terminal 1b takes out cursor information from the recording means (step 402).
Further, the information terminal 1b converts one frame into a bitmap image by decoding the extracted video information (step 403).
Next, the information terminal 1b checks the cursor display mode (step 404). If the information terminal 1b determines that the display mode is selected (step 404; cursor display mode), the information terminal 1b generates a cursor image from the extracted cursor information. The map is synthesized (step 405).

一方、情報端末1bは、カーソル表示モードをチェックしたときに(ステップ404)、非表示モードと判断した場合は(ステップ404;カーソル非表示モード)、直ちにステップ406に移行する。
そして、カーソル画像を生成して先のビットマップに合成する処理(ステップ405)、あるいは、カーソル非表示モードと判断された場合には(ステップ404;カーソル非表示モード)、情報端末1bは、そのモードに従いビットマップ画像を表示装置7bに表示する(ステップ406)。
On the other hand, when the information terminal 1b checks the cursor display mode (step 404) and determines that it is the non-display mode (step 404; cursor non-display mode), the information terminal 1b immediately proceeds to step 406.
Then, when the cursor image is generated and combined with the previous bitmap (step 405), or when the cursor non-display mode is determined (step 404; cursor non-display mode), the information terminal 1b The bitmap image is displayed on the display device 7b according to the mode (step 406).

このように本発明の実施形態に係る情報共有システムによれば、カーソル画像があることで遠隔地の別の情報端末の操作者が指示したカーソルの位置や動きが確認できるとともに、そのカーソルがオリジナル映像に重なることによって、オリジナル映像が見にくくなってしまうときには、カーソル表示モードを切り替えることによって、カーソルの表示を取りやめることもできる。
また、本発明の実施形態に係る情報共有システムによれば、各情報端末が、それぞれ配信側、受信側になることができ、相互の映像とカーソル情報を交換しあうことができるので、遠隔地にいる者同士が互いの現場の状況を把握しあいながらコミュニケーションすることが容易になる。
As described above, according to the information sharing system according to the embodiment of the present invention, it is possible to confirm the position and movement of the cursor instructed by the operator of another information terminal at a remote place by the presence of the cursor image, and the cursor is original. When it becomes difficult to see the original video by overlapping the video, the cursor display can be canceled by switching the cursor display mode.
Further, according to the information sharing system according to the embodiment of the present invention, each information terminal can be a delivery side and a reception side, respectively, and can exchange video and cursor information with each other. It becomes easy for those who are in the center to communicate while grasping each other's situation at the site.

なお、本発明の実施形態に係る情報共有システムでは、カーソルの大きさを小さくする、あるいはカーソルの色を半透明にするなどの指示が他方の情報端末側でできるようにしてもよい。このようにすることにより、受信側の操作者が指示することで、カーソルの大きさや、半透明化を実施することができる。カーソル画像の縮小の場合は、世の中でよく知られている最近傍法、線形補完法、3次補完法、面積平均法などの手法を用いて画像を変換すればよい。半透明化では、アルファブレンドなどの方法により実現すればよい。
このようにすれば、本発明の実施形態に係る情報共有システムは、カーソルが見にくい場合には、カーソルの形状を大きくして、見つけやすくしたり、あるいは逆にカーソルが邪魔で映像が見にくい場合には、カーソルを小さくしたり、半透明化することで、映像を見やすくすることができる。
In the information sharing system according to the embodiment of the present invention, the other information terminal may be instructed to reduce the size of the cursor or to make the cursor color translucent. In this way, the size of the cursor and translucency can be implemented by an instruction on the receiving side. In the case of the reduction of the cursor image, the image may be converted using techniques such as the nearest neighbor method, linear interpolation method, cubic interpolation method, and area average method that are well known in the world. The translucency may be realized by a method such as alpha blend.
In this way, the information sharing system according to the embodiment of the present invention increases the shape of the cursor to make it easier to find when the cursor is difficult to see, or conversely when the cursor is obstructive and the image is difficult to see. Can make the video easier to see by making the cursor smaller or translucent.

本発明の実施形態に係る情報共有システムを示した全体構成図である。1 is an overall configuration diagram illustrating an information sharing system according to an embodiment of the present invention. 本発明の実施形態に係る情報共有システムにおける情報端末等の構成例を示したブロック図である。It is the block diagram which showed the structural example of the information terminal etc. in the information sharing system which concerns on embodiment of this invention. 本発明の実施形態に係る情報共有システムの総合的な動作を説明するためのシーケンス図である。It is a sequence diagram for demonstrating the comprehensive operation | movement of the information sharing system which concerns on embodiment of this invention. 本発明の実施形態に係る情報共有システムにおいて、セッションが確立した2台の情報端末のそれぞれの処理を示したフローチャートである。5 is a flowchart showing processing of each of two information terminals with established sessions in the information sharing system according to the embodiment of the present invention. 本発明の実施形態に係る情報共有システムにおいて、共有カーソルの表示例を示した図である。It is the figure which showed the example of a display of a shared cursor in the information sharing system which concerns on embodiment of this invention. 本発明の実施形態に係る情報共有システムにおいて、カーソル形状設定画面の例を示した図である。In the information sharing system which concerns on embodiment of this invention, it is the figure which showed the example of the cursor shape setting screen. 本発明の実施形態に係る情報共有システムにおいて、他方の情報端末で記録装置に保存された映像情報とカーソル情報を読み出し、再生するときの処理動作を説明するためのフローチャートである。7 is a flowchart for explaining processing operations when reading and reproducing video information and cursor information stored in a recording device at the other information terminal in the information sharing system according to the embodiment of the present invention.

符号の説明Explanation of symbols

1a,1b,1c 情報端末
3 ネットワーク
5a,5b,5c 入力装置
7a,7b,7c 表示装置
9a,9b,9c 撮像装置
11a 通信装置
12a ファイル保存装置
13a 受信処理装置
14a 制御装置
20 認証サーバ
1a, 1b, 1c Information terminal 3 Networks 5a, 5b, 5c Input devices 7a, 7b, 7c Display devices 9a, 9b, 9c Imaging device 11a Communication device 12a File storage device 13a Reception processing device 14a Control device 20 Authentication server

Claims (4)

複数の情報端末がネットワークを介して互いに通信可能に接続されていて、
一方の情報端末は、当該一方の情報端末側の撮像装置により撮影した映像データを前記ネットワークを介して他方の情報端末に配信する手段を備え、
他方の情報端末は、前記ネットワークから送られてくる映像データを受信したときには、当該他方の情報端末側の表示装置に映像を表示させる手段を備えた情報共有システムであって、
前記一方の情報端末は、前記一方の情報端末側の表示装置上のカーソルを入力装置で動かすと、このカーソル情報を前記ネットワークを介して他方の情報端末に配信する手段を備え、
前記他方の情報端末は、前記ネットワークを介して送られてくるカーソル情報を受信すると、当該カーソル情報を基に、当該他方の情報端末の再生画面上にカーソル画像を合成して表示できる手段と、当該映像情報とカーソル情報とを記録装置に記録保存する手段とを備えたことを特徴とする情報共有システム。
A plurality of information terminals are communicably connected to each other via a network.
One information terminal includes means for distributing video data captured by the imaging device on the one information terminal side to the other information terminal via the network,
The other information terminal is an information sharing system comprising means for displaying video on the display device on the other information terminal side when receiving video data sent from the network,
The one information terminal includes means for delivering the cursor information to the other information terminal via the network when the cursor on the display device on the one information terminal side is moved by the input device.
When the other information terminal receives cursor information sent via the network, the cursor information is displayed on the reproduction screen of the other information terminal based on the cursor information. An information sharing system comprising: means for recording and storing the video information and cursor information in a recording device.
前記一方の情報端末は、撮像装置から取り込んだビットマップ情報をエンコードで圧縮して映像データとし、当該映像データを前記ネットワークを介して他方の情報端末に配信する手段を備え、
前記他方の情報端末は、ネットワークを介して送られてくる映像データを受信したときには、当該映像データをデコードで元のビットマップ情報に戻すことができる手段を備えたことを特徴とする請求項1記載の情報共有システム。
The one information terminal is provided with means for compressing the bitmap information captured from the imaging device by encoding into video data, and distributing the video data to the other information terminal via the network,
2. The information terminal according to claim 1, further comprising means for decoding the video data back to the original bitmap information when receiving the video data sent via the network. The information sharing system described.
前記一方の情報端末は、入力装置から入力されるカーソルの位置情報を映像上で監視し、当該映像上でカーソルの位置情報に変化があったときは、カーソル位置の座標情報を取得し、ネットワークを介して他方の情報端末にこのカーソル情報を配信し、
前記他方の情報端末は、ネットワークを介してカーソル情報を受信すると、当該カーソル情報に基づいて、時刻、座標、形状、色のカーソル画像を生成し、前記ビットマップの画像に重ねた画像を合成してから表示装置に表示することを特徴とする請求項1記載の情報共有システム。
The one information terminal monitors the position information of the cursor input from the input device on the video, and when there is a change in the position information of the cursor on the video, acquires the coordinate information of the cursor position, This cursor information is distributed to the other information terminal via
Upon receiving the cursor information via the network, the other information terminal generates a cursor image of time, coordinates, shape, and color based on the cursor information, and synthesizes the image superimposed on the bitmap image. The information sharing system according to claim 1, wherein the information is displayed on a display device.
前記一方の情報端末は、共有カーソル設定では、カーソルの形状やサイズ、色などを設定する手段と、前記手段で設定した共有カーソル設定情報をネットワークを介して他方の情報端末に送出する手段とを備え、
前記他方の情報端末は、前記ネットワークを介して得た共有カーソル設定情報を基にカーソル表示属性を変更指示する手段と、前記手段からの指示により前記カーソルの表示様態を変更する手段とを備えたことを特徴とする情報共有システム。
In the shared cursor setting, the one information terminal includes means for setting the shape, size, color, etc. of the cursor, and means for sending the shared cursor setting information set by the means to the other information terminal via the network. Prepared,
The other information terminal includes means for instructing to change a cursor display attribute based on shared cursor setting information obtained via the network, and means for changing the display mode of the cursor according to an instruction from the means. An information sharing system characterized by this.
JP2006073371A 2006-03-16 2006-03-16 Information sharing system Pending JP2007249695A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006073371A JP2007249695A (en) 2006-03-16 2006-03-16 Information sharing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006073371A JP2007249695A (en) 2006-03-16 2006-03-16 Information sharing system

Publications (1)

Publication Number Publication Date
JP2007249695A true JP2007249695A (en) 2007-09-27

Family

ID=38593906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006073371A Pending JP2007249695A (en) 2006-03-16 2006-03-16 Information sharing system

Country Status (1)

Country Link
JP (1) JP2007249695A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192162A1 (en) * 2013-05-31 2014-12-04 富士通株式会社 Information processing device, remote operation control method, and remote operation control program
JP6437624B1 (en) * 2017-11-24 2018-12-12 株式会社ドワンゴ Server and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192162A1 (en) * 2013-05-31 2014-12-04 富士通株式会社 Information processing device, remote operation control method, and remote operation control program
JPWO2014192162A1 (en) * 2013-05-31 2017-02-23 富士通株式会社 Information processing apparatus, remote operation control method, and remote operation control program
JP6437624B1 (en) * 2017-11-24 2018-12-12 株式会社ドワンゴ Server and program
JP2019096144A (en) * 2017-11-24 2019-06-20 株式会社ドワンゴ Server and program

Similar Documents

Publication Publication Date Title
US8144182B2 (en) Real time video communications system
US6646677B2 (en) Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method
KR101326739B1 (en) Information processing system and information processing device
US9700789B2 (en) System and method for combining multiple game or application views into a single media stream
CN103238178B (en) For providing the system and method for the figure of enhancing in video environment
US9661264B2 (en) Multi-display video communication medium, apparatus, system, and method
KR20170023885A (en) Compositing and transmitting contextual information during an audio or video call
WO2012037850A1 (en) Mobile terminal and method thereof for magnifying portion of remote image in video call
JP2008210417A (en) Transmission device and method, content distribution device and method, and program
JP2005123804A (en) Communication system and method
CN114610253A (en) Screen projection method and equipment
JP4897404B2 (en) VIDEO DISPLAY SYSTEM, VIDEO DISPLAY DEVICE, ITS CONTROL METHOD, AND PROGRAM
US20200145608A1 (en) Media Production Remote Control and Switching Systems, Methods, Devices, and Configurable User Interfaces
JP2013255210A (en) Video display method, video display device and video display program
JP5553782B2 (en) Video communication system and operating method thereof
JP6283160B2 (en) Information processing program, information processing apparatus, information processing system, and information processing method
JP2020524450A (en) Transmission system for multi-channel video, control method thereof, multi-channel video reproduction method and device thereof
CN113965766B (en) Live broadcast system, live broadcast method, live broadcast device, live broadcast computer equipment and live broadcast storage medium
CN110868620A (en) Remote interaction system and method based on television
JP2007249695A (en) Information sharing system
JP2006041884A (en) Information processing apparatus and method therefor, recording medium and program
JP2010056966A (en) Server for transmitting image content, image display device, method of transmitting image content, and method of displaying image
JP5818326B2 (en) Video viewing history analysis method, video viewing history analysis apparatus, and video viewing history analysis program
JP2015136069A (en) Video distribution system, video distribution method, and video distribution program
JP2004101708A (en) Device and method of image display control, and program