JP4406295B2 - Application linkage system and application linkage method - Google Patents
Application linkage system and application linkage method Download PDFInfo
- Publication number
- JP4406295B2 JP4406295B2 JP2004021196A JP2004021196A JP4406295B2 JP 4406295 B2 JP4406295 B2 JP 4406295B2 JP 2004021196 A JP2004021196 A JP 2004021196A JP 2004021196 A JP2004021196 A JP 2004021196A JP 4406295 B2 JP4406295 B2 JP 4406295B2
- Authority
- JP
- Japan
- Prior art keywords
- application
- video
- receiving
- unit
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、マルチメディア会議において、発表者が利用するアプリケーションの動作に連動して会議の参加者のアプリケーションを動作させるアプリケーション連携システム、ネットワーク端末装置等を提供するものである。 The present invention provides an application cooperation system, a network terminal device, and the like that operate an application of a participant of a conference in conjunction with an operation of an application used by a presenter in a multimedia conference.
現在、各種の通信事業者により、一般消費者あるいは企業ユーザを対象とした様々な通信サービスが提供されている。これら通信サービスの一つとして、多地点の一般電話、携帯電話、PHS等を結んで同時に会話を実施する音声会議サービスが提供されている(例えば、コーラスラインサービス)。 Currently, various communication services for general consumers or corporate users are provided by various communication operators. As one of these communication services, a voice conference service is provided (for example, a chorus line service) in which a multi-point general telephone, a mobile phone, a PHS, etc. are connected to carry out a conversation at the same time.
一方で、インターネット市場の拡大に伴い、Web上において文字データ、画像データ、音楽等のデータ系の情報を多数のユーザが共有するテキスト会議サービス、テキストチャット型サービスも提供されている(例えば、Web会議室)。 On the other hand, along with the expansion of the Internet market, text conferencing services and text chat services are also provided in which many users share data-type information such as character data, image data, and music on the Web (for example, Web conference room).
上記のような音声会議サービスやテキスト会議サービスである、ネットワーク提供型会議サービスでは、ユーザニーズやビジネス形態の多様化を背景に、リアルタイムの音声会議サービスとデータ系サービスの相互連動の実現が望まれている。 In the network-provided conference service, which is the voice conference service and the text conference service as described above, real-time voice conference service and data system service should be interlinked with the background of the diversification of user needs and business forms. ing.
また、近年では、VoIP(Voice over IP)技術の進展により、インターネットなどのIP(Internet protocol)パケット網上で、双方向のリアルタイム音声通信を行うインターネット電話というアプリケーションも普及し始めている。 In recent years, with the advancement of VoIP (Voice over IP) technology, an application called an Internet telephone that performs two-way real-time voice communication on an IP (Internet protocol) packet network such as the Internet has begun to spread.
そこで、従来のマルチメディア会議サービスを提供するシステムは、画像情報の共有部、ホワイトボード共有部、話者画面の表示部、任意情報の検索部、任意情報の掲示部、会議での議事録作成部の中の何れか1つ以上を装備したデータ系会議と、リアルタイム音声会議との連動を実現している。また、音声会議においては、電話端末のような回線交換用音声通信端末と、インターネット電話端末のようなVoIP通信端末が混在したマルチメディア会議サービスを提供している(例えば、特許文献1参照。)。
一般的に、伝送媒体共有型のネットワークを用いて通信している場合は、ある端末がある時刻に伝送できる情報量は、その瞬間に他の端末が伝送している情報量によって左右される。このため、ある端末がデータを伝送しようとするとき、すべて遅延無く伝送できる保証はない。実際に、発表者の映像と音声に加えて発表者側の端末装置に表示しているアプリケーションの出力映像を同時に送信しようとする場合には、送信すべきデータ量が多大となるため、音声データと画像データのズレや、トラフィック量の増大によるデータの伝達の遅延等が起こるといった問題がある。つまり、受信側では音声に対して画像が遅れて表示され、あるいは途切れたり、発表者の音声(会話)がその発声から明らかに遅れて到着する場合には会話がギクシャクしてしまったりするのである。 In general, when communication is performed using a transmission medium sharing type network, the amount of information that can be transmitted at a certain time depends on the amount of information transmitted by another terminal at that moment. For this reason, when a certain terminal tries to transmit data, there is no guarantee that data can be transmitted without delay. Actually, in addition to the video and audio of the presenter, when trying to transmit the output video of the application displayed on the terminal device on the presenter side at the same time, the amount of data to be transmitted becomes enormous. There are problems such as a shift in image data and a delay in data transmission due to an increase in traffic volume. In other words, on the receiving side, the image is displayed with a delay with respect to the voice, or is interrupted, or the conversation is jerky if the presenter's voice (conversation) arrives clearly behind the utterance. .
特に従来の技術では、発信元の端末装置ユーザが発表している映像を、ネットワークで接続された複数の受信側の端末装置に送信することで、多地点に存在する複数のユーザが発表している資料の映像を共有していた。また、これと同時に例えば発表者の映像を動画として送信していた。このため、発表している資料の映像が切り替わる度に資料の映像を受信装置側に送信しなければならず、資料の映像の切り替え毎にトラフィックの増大により発表者および資料の映像が途切れるという問題があった。なお、このような問題に対して、次世代インターネットプロトコルであるIPv6(Internet Protocol Version 6)が実装されようとしている。現行のIPv4(Internet Protocol Version 4)をベースに、管理できるアドレス空間の増大、セキュリティ機能の追加、優先度に応じたデータの送信などの改良を施したIPv6によれば、ネットワークカメラ(またはデジタルカメラ)のAVパケット情報を優先して送受信するように制御することができる。 In particular, in the conventional technology, a plurality of users who are present at multiple points announce the video presented by the terminal device user of the transmission source to a plurality of terminal devices on the receiving side connected via the network. I was sharing the video of the material. At the same time, for example, the video of the presenter was transmitted as a moving image. For this reason, the video of the document must be transmitted to the receiving device every time the video of the material being presented is switched, and the video of the presenter and the material is interrupted due to an increase in traffic each time the video of the material is switched. was there. For such problems, IPv6 (Internet Protocol Version 6), which is a next-generation Internet protocol, is about to be implemented. Based on the current IPv4 (Internet Protocol Version 4), IPv6 is a network camera (or digital camera) that has been improved such as an increase in address space that can be managed, addition of security functions, and data transmission according to priority. ) Is preferentially transmitted / received.
しかし、特に、上述したマルチメディア会議サービスを提供する場合、文字が多用された画面に近接して使用するコンピュータと、動画をスクリーンから離れて見る家庭用TVの双方で満足できる解像度を満たす必要があり、2M画素/フレームの解像度が必要とされている。これは、図11に示すHDTV1100に該当し、即ちハイビジョン品質(High Definition:HD)レベルの解像度である。今後、このようなハイビジョン品質が通常となり、さらに複数のAV情報が頻繁に送受信されるようになると、当然ネットワークのトラフィック量も増加する。このため、IPv6の採用によりAV情報を優先して送信するようにしてもネットワークトラフィック量に係る上記問題を完全に解決することはできないと考えられる。
However, in particular, when the above-described multimedia conference service is provided, it is necessary to satisfy a resolution that can be satisfied by both a computer that is used in the vicinity of a screen that uses a lot of characters and a home TV that displays moving images away from the screen. Yes, a resolution of 2M pixels / frame is required. This corresponds to the
さらに、受信側でのデータの処理においても問題が生じる。つまり発信元の端末装置における映像の切り替わりに伴い、受信端末装置では変化前の映像から変化後の映像に切り替える処理を行なうため、当該受信端末装置の内部処理が増大し、VoIPによる音声を順次処理出来なくなるため音声が途絶えるという問題があった。この点においても、ハイビジョン化によるデータ量の増大により、さらに顕著な問題となることが予想される。 Furthermore, a problem occurs in data processing on the receiving side. In other words, as the video at the source terminal device is switched, the receiving terminal device performs processing to switch from the video before the change to the video after the change, so the internal processing of the receiving terminal device increases, and the VoIP audio is sequentially processed. There was a problem that the sound was interrupted because it was impossible. In this respect as well, it is expected that it will become a more prominent problem due to the increase in the amount of data due to the high definition.
本発明では、発表している地点から離れた多地点において、発表内容の映像や音声を途切れることがなく表示、再生可能であり、さらに装置内部の演算処理の負担を軽減できるアプリケーション連携システム、ネットワーク端末装置等を提供することを目的とする。 In the present invention, an application linkage system and a network that can display and play video and audio of the presentation contents without interruption at many points away from the point where the announcement is made, and further reduce the processing load inside the apparatus. An object is to provide a terminal device or the like.
本発明は、上記目的を達成するために以下の手段を採用している。すなわち、本発明は、機能が同一であり、ネットワークを介して接続された発信側装置と、1又は2以上の受信側装置とのそれぞれで動作している、2以上のアプリケーションを連携動作させるアプリケーション連携システムである。ここで、上記発信側装置には、当該発信側装置上で動作して、映像が含まれていない指示を受けて出力映像を切り替える第一のアプリケーションを、その第一のアプリケーションにアプリケーションデータを読込ませて動作させる第一のアプリケーション動作部と、上記第一のアプリケーション動作部上で動作している上記第一のアプリケーションに、上記第一のアプリケーション、及び第一のアプリケーションと機能が同一のアプリケーションであって上記受信側装置上で動作する第二のアプリケーションのいずれにも適用される上記指示であり、それぞれのアプリケーションでの出力映像の切り替えを指示する画面切り替え指示を、その第一のアプリケーションに対するユーザの操作又はその第一のアプリケーションに予め設定された条件に従って与えて、その第一のアプリケーションでの出力映像を切り替えさせる第一のアプリケーション制御部と、上記画面切り替え指示が上記第一のアプリケーションに与えられたとき、その画面切り替え指示を上記受信側装置へ送信する送信部とを備える。つまり、第一のアプリケーション制御部は、自装置上で動作しているアプリケーションに指示を送信すると共に、送信部が当該指示を受信側装置にも送信するのである。そして、各受信側装置には、上記第二のアプリケーションを、上記アプリケーションデータの内容を含んだ電子ファイルを予め受け取って上記アプリケーションデータと同じ内容のアプリケーションデータをその第二のアプリケーションに読込ませて動作させる第二のアプリケーション動作部と、上記送信部から送信された上記画面切り替え指示を受信する受信部と、上記第二のアプリケーション動作部上で動作している上記第二のアプリケーションに、上記受信部にて受信された、映像が含まれていない上記画面切り替え指示を与えて、その第二のアプリケーションでのそのアプリケーションデータに基づく出力映像を、上記第一のアプリケーションでの上記出力映像と同様のものに連動して切り替えさせる第二のアプリケーション制御部とを備える。 The present invention employs the following means in order to achieve the above object. That is, the present invention has the same function, and is an application that operates two or more applications in cooperation with each other, which is operated by each of a transmitting device connected via a network and one or more receiving devices. cooperation Ru system der. Here, the above-mentioned originating device, operating on the originating device, read application data to the first application to switch the output image in response to an instruction that does not contain video, its first application a first application operation unit to be operated Mase, to the first application running on the first application operation unit on, the first application, and in the first application and function the same application The instruction that is applied to any of the second applications that operate on the receiving-side apparatus, and the screen switching instruction that instructs switching of the output video in each application is sent to the user for the first application. Or pre-set conditions for the first application Given in accordance with, the a first first application controller that allowed switching the output image of the application, when the screen switching instruction is given to the first application, the receiving-side apparatus that screen switching instruction And a transmission unit for transmitting to. That is, the first application control unit transmits an instruction to an application operating on the own device, and the transmission unit transmits the instruction to the receiving side device. Then, each receiving side apparatus operates the second application by receiving an electronic file including the contents of the application data in advance and reading the application data having the same contents as the application data into the second application. A second application operating unit, a receiving unit that receives the screen switching instruction transmitted from the transmitting unit, and the second application that is operating on the second application operating unit. received by, giving the screen switching instruction does not include a video, an output image based on the application data at the second application, the same as the output image at the first application the second application control unit that allowed switching in conjunction with the Equipped with a.
以上によれば、発信側装置のアプリケーションにより出力されている発表資料の映像データを送信することなく、受信側装置でも発表資料を連動して表示させることが可能であるため、ネットワークのトラフィック量の軽減と受信側装置の演算処理の負担を軽減し、発表している地点から離れた多地点において、発表者の映像や音声及び発表資料のアプリケーション出力映像を途切れることがなく出力することができる。 According to the above, since the presentation material can be displayed in conjunction with the reception side device without transmitting the video data of the presentation material output by the application of the transmission side device, the traffic volume of the network It is possible to reduce the burden of the reduction and the calculation processing of the receiving side device, and to output the video and audio of the presenter and the application output video of the presentation material without interruption at multiple points away from the point where the announcement is made.
さらに、本発明は、発信側装置または各受信側装置の少なくとも一方に、相手側の装置にて動作しているアプリケーションが、そのファイル名若しくはファイルの作成日時のいずれかの情報又はそのいずれかと共にバージョンの情報を含むアプリケーション種、入力可能であるか、表示サイズが所定範囲内にあるかなどの情報を含むそのアプリケーションの状態、及び、そのアプリケーションで使用されているアプリケーションデータについて、自装置のアプリケーションと同一か否かの同一性をチェックして、同一性を有する場合には上記連携動作を許可するアプリケーション・データ管理部を備える。 Further, according to the present invention, at least one of the transmitting side device and each receiving side device has an application running on the other side device, together with either the file name or the file creation date / time information, or any one of them. applications species including version information, or can be input, the state of the application that the display size includes information such as it is within a predetermined range, and, with the application data used by the application, the self-device An application / data management unit that checks the identity of whether or not the application is the same and permits the cooperative operation when there is identity is provided.
この構成で、発表者側のアプリケーションで利用しているアプリケーションデータと、その他の会議参加者のアプリケーションで利用しているアプリケーションデータとが異なり、アプリケーション連携動作がおかしくなるというような不具合を回避することができる。 In this configuration, possible to avoid the application data that is available in the presenter-side application, it is different from the application data that is available in the other conference participants application, a problem such as that the application work together is funny Can do.
また、上記送信部は、受信側装置のアドレス情報と、上記受信側装置上で動作する上記第二のアプリケーションが利用するコンテンツと、当該コンテンツを上記受信側装置に送信すべき旨の送信指示とを所定のサーバに送信し、また、上記受信部は、上記サーバが上記送信指示を受けて送信している上記コンテンツを上記電子ファイルとして受信し、当該受信したコンテンツを上記受信側装置上で動作する上記第二のアプリケーションに引き渡す構成もある。 Further, the transmission unit, the address information of the receiving apparatus, and a content which the second application uses operating on the receiving side apparatus, transmission instruction and the content to the effect to be transmitted to the receiving device sends a predetermined server, also the reception unit, the content of the server is transmitting to receiving the transmission instruction received as the electronic file, the operation content that the received on the receiving device There is also a configuration for handing over to the second application.
さらに、上記送信部は、上記受信側装置上で動作する上記第二のアプリケーションが利用するコンテンツを所定のサーバに送信し、さらに当該サーバのアドレス情報を上記受信側装置の受信部に送信し、また、上記受信部は、受信した上記アドレス情報に基づく上記サーバから上記コンテンツを上記電子ファイルとして受信し、当該受信したコンテンツを上記受信側装置上で動作する上記第二のアプリケーションに引き渡す構成としてもよい。 Furthermore, the transmission unit may transmit the content to the second application running on the receiving side apparatus is utilized in a predetermined server, and further sends the address information of the server to the receiver of the receiving device, The receiving unit may receive the content as the electronic file from the server based on the received address information, and deliver the received content to the second application operating on the receiving-side device. Good.
このようにすれば、発信側装置は会議等でコンテンツが必要となる以前の適当な時にコンテンツをサーバに送信しておくことができ、あるいは使用するコンテンツがサーバに格納された後であれば、各地点の事情に応じて適当な時にコンテンツを受け取ることができる。 In this way, the transmission side device can transmit the content to the server at an appropriate time before the content is required at a meeting or the like, or after the content to be used is stored in the server, Content can be received at an appropriate time according to the circumstances of each point.
また、発信側装置は、映像入力部に入力された映像信号と音声入力部に入力された音声信号と上記第一のアプリケーション制御部から出力された上記画面切り替え指示とを同期させる第一の時間制御部をさらに備え、上記送信部は、上記画面切り替え指示のほか上記映像信号及び上記音声信号を上記受信側装置に送信し、また、上記受信部は、上記画面切り替え指示のほか上記発信側装置からの上記映像信号及び上記音声信号を受信するものであり、上記受信側装置は、上記受信部にて受信された上記映像信号、上記音声信号と指示とを受け取り当該映像と音声と指示とを同期させて出力する第二の時間制御部を備える構成がある。
Further, the originating device, the first synchronizing and the screen switching instruction output from the audio signal and the first application control unit which is input to the video signal and the audio input unit that is input to the image input unit further comprising a time control unit, the transmitting unit, the other the video signal and the audio signal of the screen switching instruction is transmitted to the receiving device, also, the receiving unit, in addition to the originating side of the screen switching instruction Receiving the video signal and the audio signal from the device, and the receiving-side device receives the video signal , the audio signal and the instruction received by the receiving unit , and receives the video, audio and instruction. There is a configuration including a second time control unit that outputs the signals in synchronization with each other.
この構成では、同期を行うことで音声データと画像データのズレや、トラフィック量の増大によるデータの伝達の遅延等の問題を緩和することが可能となる。 In this configuration, it is possible to alleviate problems such as a gap between audio data and image data and a delay in data transmission due to an increase in traffic volume by performing synchronization.
なお、映像入力部より入力される映像信号が、ハイビジョン品質の映像の信号である場合には、映像が占めるデータ量が多大になり、さらに受信側装置でも大量の処理が必要になるため本発明による効果が顕著に現れる。 Note that when the video signal input from the video input unit is a high-definition quality video signal, the amount of data occupied by the video becomes large, and a large amount of processing is also required in the receiving side apparatus. The effect by appears remarkably.
ここで、アプリケーション連携システム、ネットワーク端末装置は、コンピュータを用いて具体化することができる。その場合、上述した各部は、コンピュータ上でプログラムを動作させることにより具体化される。 Here, the application cooperation system and the network terminal device can be embodied using a computer. In that case, each unit described above is embodied by operating a program on a computer.
本発明のアプリケーション連携システム、アプリケーション連携方法、およびネットワーク端末装置によれば、発信装置側のユーザが発表している資料の複製データを受信装置側にも設定してアプリケーションを動作させておいて、発信側装置のユーザからのアプリケーション出力切り替え指示または予め設定された条件に基づいて各拠点のアプリケーションから出力される映像信号を切り替える。結果として、ネットワークのトラフィック量の軽減と受信側装置の演算処理の負担を軽減し、発表している地点から離れた多地点において、発表者の映像や音声及び発表資料のアプリケーション出力映像を途切れることがなく出力することができるという効果を有する。 According to the application cooperation system, the application cooperation method, and the network terminal device of the present invention, the copy data of the material announced by the user on the transmission device side is set on the reception device side and the application is operated. The video signal output from the application at each site is switched based on an application output switching instruction from the user of the transmission side device or a preset condition. As a result, the network traffic volume is reduced and the processing load on the receiving device is reduced, and the video output of the presenter and the application output video of the presentation material are interrupted at multiple points away from the point of presentation. It has the effect that it can output without.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(実施の形態1)
図1に、本発明のネットワーク端末装置を用いたマルチメディア会議システムにおけるアプリケーション連携システムの概要を説明するための概念図を示す。
(Embodiment 1)
FIG. 1 is a conceptual diagram for explaining an outline of an application cooperation system in a multimedia conference system using a network terminal device of the present invention.
ネットワーク端末装置100、200、300は、マルチメディア会議システムにおけるユーザ側端末として利用される。また、ネットワーク端末装置100は発表者が利用するものとして、発表者側に設置されており、ネットワーク端末装置200、300は各会議に参加する参加者の拠点に設置されているものとする。なお、以後、単に参加者と称した場合には発表者は含まないものとする。
The
各拠点のネットワーク端末装置100、200、300は各々プロジェクター400、500、600に接続されており、ネットワーク端末装置から出力される映像信号を受け取り、スクリーン800、900、1000に受け取った映像を投影する。
The
本発明では、発表者側のネットワーク端末装置100で発表資料のアプリケーションデータを映像信号としてプロジェクター400へ出力し、発表者の指示または予め設定された条件に基づいてプロジェクター400へ出力する映像信号を切り替えるようになっている。ここでいう発表者の指示とは、プロジェクター上に投影された映像を用いて実際に発表をしているユーザが、発表資料を出力しているアプリケーションに対して画面を切り替える指示をすることをいう。また、ここでいう予め設定された条件とは、発表資料を出力しているアプリケーションに対して、画面を切り替える指示のタイミングをユーザが予めアプリケーションに設定することで出力映像を自動的に切り替える場合のアプリケーションに設定する切り替えタイミングなどをいう。
In the present invention, the application data of the presentation material is output as a video signal to the
ここで、図2を用いてネットワーク端末装置について説明する。図2にアプリケーション連携システムの構成を示すブロック図を示す。 Here, the network terminal apparatus will be described with reference to FIG. FIG. 2 is a block diagram showing the configuration of the application cooperation system.
図2におけるネットワーク端末装置100は、以下に示す各部をバス112で接続することで具現化できる。
The
アプリケーション動作部101は、会議に利用する発表資料を読み込んで映像データに変換して出力するアプリケーションを動作させる。
The
入力指示部110は、アプリケーションが出力する映像の切り替えなどの指示を、当該装置に対してユーザが入力するためのものであり、マウスやキーボードなどが該当する。
The
アプリケーション制御部102は、入力指示部110から入力された発表者の指示または予め設定された条件に基づいて、上記アプリケーションに所定の動作をさせるための指示を出力する。
The
送信部103は、上記アプリケーション制御部102から出力される指示が該ネットワーク端末装置100から発信された場合に、他のユーザが使用しているネットワーク端末装置(例えば、ネットワーク端末装置200、300)に送信する。
When the instruction output from the
受信部104は、他のネットワーク端末装置(例えば、ネットワーク端末装置200、300)のユーザが、当該他のネットワーク端末装置で動作するアプリケーションに指示を行った場合に、その指示を受信する。
The receiving
I/F処理部105は、当該ネットワーク端末装置100の外部機器と通信を行うためのネットワークへの接続を行う。
The I /
IP音声変換部106は、インターネットなどのIPパケット網上で、双方向のリアルタイム音声通信を行うための、IPパケット信号と音声信号との変換を行う。
The IP
スピーカー107は、上記IP音声変換部106で変換された音声信号を出力する。また、マイク108は、音声を音声信号として上記IP音声変換部106に入力する。
The
映像出力部109は、上記アプリケーション動作部101で動作しているアプリケーションから出力される映像信号を、当該ネットワーク端末装置100に接続された表示部に出力する。
The
アドレス設定部111は当該装置のアドレス及び通信先装置のアドレスの入力を受け付け、入力されたアドレスを格納する。
The
アプリケーション・データ管理部115は、各装置間で動作するアプリケーションのバージョンや状態、読み込まれているアプリケーションデータの整合性(同一性)等をチェックする。
The application /
ネットワーク端末装置200、300は、上記ネットワーク端末装置100と同様の機能を有するネットワーク端末装置である。なお、ネットワーク端末装置200の201〜211またはネットワーク端末装置300の301〜311は、ネットワーク端末装置100の101〜109に対応した番号を付しており、同様に動作するものであるため、ここでは説明を省略する。
The
プロジェクター400、500、600は各々ネットワーク端末装置100、200、300に接続されており、上記映像信号出力部109、209、309からの映像信号を受けて(図2おいて図示省略の)スクリーンに映像を投射する。つまり上記表示部として機能する。
The
次に、アプリケーション連携システムの動作について図1、図2、図3を用いて説明する。図3はアプリケーション連携システムにおける処理の流れを示すフローチャートである。 Next, the operation of the application cooperation system will be described with reference to FIG. 1, FIG. 2, and FIG. FIG. 3 is a flowchart showing the flow of processing in the application cooperation system.
ここで、図1、図2に示すネットワーク端末装置100がA地点に設置されており、ネットワーク端末装置200がB地点に、ネットワーク端末装置300がC地点に設置されているとする。A地点のネットワーク端末装置100とB地点のネットワーク端末装置200、及びC地点のネットワーク端末装置300とはネットワーク700を介して通信可能に接続されている。また、いずれか一つのネットワーク端末装置から他を呼び出して、呼び出しを受けたネットワーク端末装置のユーザが呼び出しに応答すると、双方向の音声通話が可能になる。以下、説明を簡単にするため、A地点とB地点の2拠点間での会議を例に説明する。
Here, it is assumed that the
まず、ネットワーク端末装置100のアプリケーション動作部101上で動作するアプリケーションには、アプリケーションデータが発表で使用する発表資料として読み込まれている。そして、アプリケーション制御部102は、発表者の指示または予め設定された条件に基づいて上記アプリケーションに指示を送信し、結果として当該アプリケーションはプロジェクター400へ出力する映像信号を切り替える。
First, application data is read into the application running on the
また、発表者から会議参加者に対して事前に発表資料である電子ファイルを送付し、各地点(例えばB地点)の会議参加者は予め受け取った電子ファイルをネットワーク端末装置200のアプリケーションに読み込むことで、発表者と同一条件、即ちスタンバイ状態にする(図3:ステップS101)。なお、A地点とB地点で利用される上記アプリケーションは同一である。
In addition, the presenter sends an electronic file as presentation material to the conference participants in advance, and the conference participants at each point (for example, point B) read the received electronic file into the application of the
この際、各ネットワーク端末装置に備えられたアプリケーション・データ管理部115、215、315は、スタンバイ状態にする電子ファイルが当会議で使用するものに相違ないか否かをそれぞれ通信でチェックするようにしても良い。例えば、当会議で使用するファイル名やファイルの作成日時などの発表資料に関する情報を、アプリケーション・データ管理部213アプリケーション・データ管理部113に問合せて、発表資料に関する情報が同じであるか否かをチェックする。このようにすれば、発表者側のアプリケーションで起動した発表資料と、その他の会議参加者のアプリケーションで起動した発表資料が異なり、アプリケーション連携動作がおかしくなるというような不具合を回避することができる。また同時に、上記アプリケーション・データ管理部は、利用されているアプリケーションがバージョンも含めて同一か否か、あるいは当該アプリケーションの状態が同一か否かをチェックするようにしてもよい。ここで言う状態とは、当該アプリケーションが入力可能状態であるか(フォーカスを有するか)や、アプリケーションの表示サイズが所定の範囲内にあるかといった状態である。当該チェックにより、アプリケーションの連携動作を保障するのである。
At this time, the application /
次に、各地点で使用するネットワーク端末装置の制御モードの設定を行う。例えば、発表者側のA地点で使用するネットワーク端末装置100には、指示(アプリケーション制御信号)を入力指示部から受け取るモード(通常制御モード)とする。その他の会議参加者(例えばB地点)で使用するネットワーク端末装置200の場合には、指示を受信部を介して外部から受け取るモード(遠隔制御モード)に設定する。(図3:ステップS102)。なお、当該設定は、入力指示部より制御モード信号を用いて行われる。
Next, the control mode of the network terminal device used at each point is set. For example, the
ここで、図2、図4を用いて制御モードによるアプリケーション制御部102、202、302の動作の違いについて説明する。図4はアプリケーション制御部の内部構成の概要を示すブロック図である。
Here, differences in operation of the
第一のアプリケーション連携部102Aは、ネットワーク端末装置100の外部のアプリケーションを連携動作させるための指示を入力指示部110から受け取り、送信部103に送信する。
The first application cooperation unit 102A receives an instruction for cooperatively operating an application external to the
また、制御指示選択部102Cは、入力指示部110からの指示と受信部104にて受信した指示とを、上記予め設定された制御モードに基づいて選択的に出力する。つまり、制御モードが通常制御モードの場合、入力指示部より入力された指示をアプリケーション動作部、即ちアプリケーションに出力し、遠隔制御モードの場合、受信部にて受信した指示をアプリケーションに出力する。
The control instruction selection unit 102C selectively outputs the instruction from the
第二のアプリケーション連携部102Bは、アプリケーション動作部上で動作しているアプリケーションに、制御指示選択部102Cから受け取った指示を送信する。 The second application cooperation unit 102B transmits the instruction received from the control instruction selection unit 102C to the application operating on the application operation unit.
なお、ネットワーク端末装置200の202A、202B、202Cまたはネットワーク端末装置300の302A、302B、302Cは、ネットワーク端末装置100の102A、102B、102Cに対応した番号を付しており、同様に動作するものである。従って、ここでは202A、202B、202Cまたは302A、302B、302Cの説明を省略する。
Note that 202A, 202B, and 202C of the
上記各部による処理を一連の流れとして以下に記す。 The processing by each of the above parts is described below as a series of flows.
各ネットワーク端末装置100、200は、アドレス設定部111、211を備えており、本体側のアドレス設定をすれば、ネットワークへの接続を実行するだけで双方向の通信が可能になる。すなわち、A地点のネットワーク端末装置100側のユーザが通信相手先(ここではB地点のネットワーク端末装置200)を指定し、ネットワークを介して接続を実行する。これに対して、接続相手先が当該接続要求を受け入れると双方向通信が可能になる(図3:ステップS103→ステップS104)。
Each of the
双方向の通信が可能になった状態で、A地点のユーザとその他の地点(例えば、B地点)のユーザとの間で音声での通信が可能となる。また、この状態で、ネットワーク端末装置は、アプリケーションに対して制御指示があるか否かの待ち状態になる(図3:ステップS105)。 In a state where bidirectional communication is possible, voice communication is possible between the user at point A and the user at another point (for example, point B). In this state, the network terminal device waits for whether there is a control instruction for the application (FIG. 3: Step S105).
発表者は、入力指示部110からネットワーク端末装置100に対してアプリケーション出力映像を切り替えるように指示する(あるいは、予めアプリケーションに切り替えタイミングを設定し、切り替えタイミングの設定に基づいてアプリケーション出力映像の切り替え指示行う)(図3:ステップS106)。会議の場において主に必要とされるアプリケーションへの指示はアプリケーションの出力映像の変更であるが、ここで言う、「アプリケーション出力映像を切り替える」指示とは、アプリケーションに対する何らかの指示をすべて含む。つまり、出力映像の切り替え以外の指示がアプリケーションに送信されても同様である。言い換えると、上記指示にはアプリケーションからの出力映像は含まれない。
The presenter instructs the
ネットワーク端末装置100のアプリケーション制御部102は、発表者の指示を受け取ると、当該指示をアプリケーション動作部101に送信する。また、アプリケーション制御部102は、送信部103を介してその他の会議参加者(例えばB地点)側で使用するネットワーク端末装置200に対して上記指示を送信する(図3:ステップS107)。
Upon receiving the presenter's instruction, the
ネットワーク端末装置200は、発表者側のネットワーク端末装置100から送信された上記指示を受信部204で受け取り、ネットワーク端末装置200のアプリケーション制御部202に送信する(図3:ステップS108)。
The
アプリケーション制御部202は、受信したアプリケーションからの出力映像を切り替える制御指示をアプリケーションに送信する(図3:ステップS109)。これにより、ネットワーク端末装置200側のアプリケーションから出力される映像は、A地点のネットワーク端末装置100からの指示に基づいて切り替えられ、結果として、A地点のアプリケーション出力映像の切り替えに連動してB地点のアプリケーション出力映像を切り替えることが可能となる。
The
以上説明したように、本発明によれば、発表者側のネットワーク端末装置ユーザが発表している資料の複製データを受信側のネットワーク端末装置にも設定してアプリケーションを動作させておいて、発信元のネットワーク端末装置ユーザからのアプリケーション出力切り替え指示等に基づいて各拠点のアプリケーションから出力される映像信号を切り替えるようにしたので、大容量の画像データを受信側に送信する必要がない。結果として、発表している地点から離れた多地点において、発表内容の映像と同様の映像を途切れることなく、さらに遅延などを生じることなく再生することができる。また、映像に関して受信するデータはアプリケーションに対する指示のみであるため、装置内部の演算処理の負担を軽減することが可能となる。当然、各地点のアプリケーション、アプリケーションの状態、アプリケーションデータの整合性は、アプリケーション・データ管理部間の通信により保障される。 As described above, according to the present invention, the copy data of the material published by the present network user at the presenter side is also set in the network terminal device at the receiving side and the application is operated, Since the video signal output from the application at each site is switched based on the application output switching instruction from the original network terminal device user, it is not necessary to transmit a large amount of image data to the receiving side. As a result, it is possible to reproduce the same video as the video of the presentation content without interruption and without causing a delay or the like at many points away from the point where the announcement is made. Further, since the data received with respect to the video is only an instruction to the application, it is possible to reduce the burden of arithmetic processing inside the apparatus. Naturally, the consistency of the application at each point, the state of the application, and the application data is ensured by communication between the application and data management units.
なお、会議中の音声信号は、各拠点のネットワーク端末装置のマイク108(208、308)から装置内に取り込まれてIP音声変換部106(206、306)で音声信号から音声IPパケットデータに変換される。ここで、ネットワーク端末装置100のマイク108で取り込んだ音声信号を他地点のネットワーク端末装置200、300に送信する場合を例に音声の送信について説明する。ネットワーク端末装置100のIP音声変換部106で変換された音声IPパケットデータは、送信部103からネットワーク700を介して音声IPパケットデータを送信する装置(例えば、ネットワーク端末装置100)以外の会議に参加している他のネットワーク端末装置(例えば、ネットワーク端末装置200、300)へ送信される。音声パケットデータを受け取る側の装置(例えば、ネットワーク端末装置200、300)は受信部(例えば、204、304)で音声パケットデータを受信する。受信部で受信した音声パケットデータはIP音声変換部(例えば、206、306)で音声信号に変換されて、スピーカ(例えば、207、307)で再生される。また、一台のネットワーク端末装置200の受信部で複数の音声パケットデータを受け取った場合、音声パケットデータはIP音声変換部206で音声信号に変換された後、に合成処理がされるようにしても良い。このようにすれば、複数の会議参加者の音声をリアルタイムで再生することができる。これに加えて、アプリケーションデータの切り替えを、従来のように表示データを送信するのではなく、上述したように表示切り替えの指示の送受信のみにより可能としたので、従来のリアルタイム型電話会議に比べて効率的かつ経済的にマルチメディア会議を実現できる。
The audio signal during the conference is taken into the apparatus from the microphone 108 (208, 308) of the network terminal device at each site and converted from the audio signal to the audio IP packet data by the IP audio conversion unit 106 (206, 306). Is done. Here, audio transmission will be described by taking as an example a case where an audio signal captured by the
また、上記説明では、アプリケーション出力映像切り替えを例にネットワーク端末装置100側のアプリケーションとネットワーク端末装置200側のアプリケーションが連携して出力映像を切り替える動作を説明したが、本発明はこれに限定されるものではなく、各地点のネットワーク端末装置の動作を同様に制御するための指示を送受信することによりその他の動作の連携についても同様に実現できる。
In the above description, the application output video switching is taken as an example, and the operation on the
(実施の形態2)
本実施の形態2では、インターネット上のサーバにコンテンツを格納しておき、コンテンツが必要な時に、端末の一つからサーバに対してコンテンツの送信を要求する場合のアプリケーション連携システムについて説明する。
(Embodiment 2)
In the second embodiment, an application cooperation system will be described in which content is stored in a server on the Internet, and when content is required, the terminal requests transmission of the content from one of the terminals.
図5に本発明の実施の形態2に係るアプリケーション連携システムの概要を説明するための概念図を示す。 FIG. 5 is a conceptual diagram for explaining the outline of the application cooperation system according to the second embodiment of the present invention.
また、図6に本発明の実施の形態2に係るアプリケーション連携システムの構成を示すブロック図を示す。
FIG. 6 is a block diagram showing the configuration of the application cooperation system according to
ネットワーク端末装置A100、A200、A300はマルチメディア会議システムにおけるユーザ側のネットワーク端末装置である。また、ネットワーク端末装置A100は、発表者側に設置されており、ネットワーク端末装置A200、A300は各会議の拠点に設置されている。また、各ネットワーク端末装置A100、A200、A300は、実施の形態1のネットワーク端末装置100、200、300と同様に構成されており、同様の機能を有するものとし、ここでは重複した説明は省略する。
Network terminal apparatuses A100, A200, and A300 are network terminal apparatuses on the user side in the multimedia conference system. The network terminal device A100 is installed on the presenter side, and the network terminal devices A200 and A300 are installed at the bases of the conferences. Further, each of the network terminal devices A100, A200, A300 is configured in the same manner as the
サーバA800はネットワーク端末装置からコンテンツ送信要求を受けて、各ネットワーク端末装置にコンテンツを送信するが、以下に示す各部をバス806で接続することで具現化できる。なお、図6のサーバA800は、本実施の形態2で必要な構成要素のみを示すこととする。
The
コンテンツ格納部801は、外部からネットワーク700や可搬記録メディアなどを介して受け取ったコンテンツを格納する。
The
ユーザ情報管理部802は、サーバへ例えば会議資料等のコンテンツを送信またはサーバからコンテンツを受信するユーザを管理する。
The user
受信部804は、当該装置外部のネットワーク端末装置からコンテンツを受信または受信したコンテンツを当該装置外部の所定のネットワーク端末装置に配信する指示などを受信する。
The receiving
送信部803は、上記受信部804で受信したコンテンツ配信指示に基づいて当該装置外部の所定のネットワーク端末装置へコンテンツを送信する。
The
I/F処理部805は、当該サーバA800の外部機器と通信を行うために、ネットワークへの接続処理を行う。
The I /
次に、本実施の形態2のアプリケーション連携システムの動作について図5、図6、図7を用いて説明する。図7は本実施の形態2のアプリケーション連携システムにおける処理の流れを示すフローチャートである。ここでは主に実施の形態1と異なる処理について説明する。なお、実施の形態1と同様に図5、図6に示すネットワーク端末装置A100がA地点に設置されており、ネットワーク端末装置A200がB地点に、ネットワーク端末装置A300がC地点に設置されているとする。A地点のネットワーク端末装置A100とB地点のネットワーク端末装置A200、及びC地点のネットワーク端末装置A300とはネットワーク700を介して通信可能に接続されている。以下、説明を簡単にするため、A地点とB地点の2拠点間での会議を例に説明する。 Next, the operation of the application cooperation system according to the second embodiment will be described with reference to FIGS. FIG. 7 is a flowchart showing the flow of processing in the application cooperation system of the second embodiment. Here, processing different from that of the first embodiment will be mainly described. As in the first embodiment, network terminal device A100 shown in FIGS. 5 and 6 is installed at point A, network terminal device A200 is installed at point B, and network terminal device A300 is installed at point C. And The network terminal device A100 at the point A, the network terminal device A200 at the point B, and the network terminal device A300 at the point C are connected to be communicable via the network 700. Hereinafter, in order to simplify the description, a conference between two points of A point and B point will be described as an example.
ネットワーク端末装置A100のアプリケーション動作部101で動作するアプリケーションには、予め発表で使用する資料が読み込まれている。そして、アプリケーション制御部102は、発表者の指示または予め設定された条件に基づいて出力される指示を、上記アプリケーションに送信する。この結果、アプリケーションが(図示省略の)プロジェクターに出力する映像が切り替わる。また、ネットワーク端末装置A100の送信部103は、発表で使用するコンテンツをサーバA800へ送信する(図7:ステップS201)。
In the application running on the
続いてサーバA800は、ネットワーク端末装置A100からのコンテンツをネットワーク700、I/F処理部805、受信部804を介して受け取り、コンテンツ格納部801に格納する(図7:ステップS202)。
Subsequently, the
なお、コンテンツの受け取り方法はネットワーク端末装置からネットワーク経由で受け取ることに限定されず、例えば、可搬媒体などを経由で受け取ることも可能である。また、コンテンツは、ネットワーク端末装置A100側の発表者の資料に限定されず、例えば、A100、A200、A300の各ネットワーク端末装置以外により作成されたものでも良い。この場合、各ネットワーク端末装置以外で作成されたコンテンツに対して各端末での使用権限が必要であることはいうまでもない。 Note that the content receiving method is not limited to receiving from a network terminal device via a network, and may be received via a portable medium, for example. Further, the content is not limited to the presenter's material on the network terminal device A100 side, and may be created by other than the network terminal devices A100, A200, and A300, for example. In this case, it goes without saying that use authority at each terminal is required for content created by other than each network terminal device.
さて、ネットワーク端末装置A100は他の端末A200を呼び出して双方向の通信が可能になると、コンテンツを他の端末に送信する旨の送信指示を、他の端末のアドレス情報と共にサーバA800に対して送信する(図7:ステップS203)。 Now, when the network terminal apparatus A100 calls the other terminal A200 to enable two-way communication, the network terminal apparatus A100 transmits a transmission instruction for transmitting the content to the other terminal, together with the address information of the other terminal, to the server A800. (FIG. 7: Step S203).
サーバA800はネットワーク端末装置A100から受け取った他の端末のアドレス情報を基にコンテンツを他の端末に送信する(図7:ステップS204)。
各ネットワーク端末装置はサーバA800からコンテンツを受け取り、各ネットワーク端末装置のアプリケーションでコンテンツを読み込む(図7:ステップS205)。
Each network terminal device receives the content from the
各地点のネットワーク端末装置にコンテンツ、すなわち発表で用いるアプリケーションデータの読み込みが完了したら、各地点のネットワーク端末装置で動作するアプリケーションのモードを設定する(図3:ステップS102)。 When the content, that is, the application data used in the announcement, has been read into the network terminal device at each point, the mode of the application operating on the network terminal device at each point is set (FIG. 3: step S102).
以降は、実施の形態1と同様に順次処理を実行する(図3:ステップS103〜S109)。 Thereafter, the processing is executed sequentially as in the first embodiment (FIG. 3: steps S103 to S109).
以上に説明した本実施の形態2のアプリケーション連携システムおよびアプリケーション連携方法によれば、受信側装置でコンテンツを使用する前に発信側装置からサーバへコンテンツを送信し、受信側装置はサーバを介して発信側装置からコンテンツ受け取る。したがって、発信側装置は会議等でコンテンツが必要となる以前の適当な時にコンテンツをサーバに送信しておくことができる。 According to the application cooperation system and the application cooperation method of the second embodiment described above, the content is transmitted from the transmission side device to the server before the content is used on the reception side device, and the reception side device passes through the server. Receive content from the originating device. Therefore, the transmission side apparatus can transmit the content to the server at an appropriate time before the content is required at a meeting or the like.
なお、上記実施の形態2では、ネットワーク端末装置A100は他の端末A200を呼び出して双方向の通信が可能になった時点で、コンテンツを他の端末に送信するように他の端末のアドレスと共に送信指示をサーバA800に対して送る例を説明したが、各ネットワーク端末装置がサーバA800からコンテンツを受信するタイミングはこれに限定されず、ネットワーク端末装置A100側の発表者が実際にコンテンツを用いた発表を行う以前に各地点のアプリケーションが連携動作可能な状態に設定可能であれば良い。
In the second embodiment, when the network terminal device A100 calls the other terminal A200 to enable bidirectional communication, the content is transmitted together with the address of the other terminal so that the content is transmitted to the other terminal. Although an example in which an instruction is sent to the
例えば、コンテンツと配信先ネットワーク端末装置のアドレスとをネットワーク端末装置A100からサーバA800に対して事前に送信しておき、サーバA800はコンテンツをコンテンツ格納部801に格納すると共に、配信先ネットワーク端末装置のアドレスをユーザ管理部に登録しておく。また、ネットワーク端末装置A100は他の端末にコンテンツ取得先情報(ここではサーバA800のアドレス情報など)を送信しておく。他のネットワーク端末装置A200はネットワーク700に接続したら、サーバA800にコンテンツ送信要求を出す。サーバA800は他のネットワーク端末装置A200からコンテンツ送信要求を受けたら、ユーザ情報管理部のユーザアドレスとこれに対応したコンテンツを送信する。
For example, the content and the address of the distribution destination network terminal device are transmitted in advance from the network terminal device A100 to the server A800, and the server A800 stores the content in the
このようにすれば、各ネットワーク端末装置はネットワーク700に接続されて、通信可能な状態になったときにコンテンツ送信要求をサーバA800に送ることでコンテンツを受け取ることができるので、使用するコンテンツがサーバA800に格納された後であれば、各地点の事情に応じて適当な時にコンテンツを受け取ることができる。
In this way, each network terminal device is connected to the network 700 and can receive content by sending a content transmission request to the
また、上記実施の形態2では、ネットワーク端末装置A100、A200、A300は実施の形態1のネットワーク端末装置100、200、300と同様の構成・機能を有すると説明したが、端末装置はネットワーク端末装置のように会議用の装置に特化したものでなくても、ここで説明した機能を実現し得る構成を有するもの、例えば、パーソナルコンピュータなどであっても良い。
(実施の形態3)
本実施の形態3では、映像と音声とアプリケーションの制御とを同期するアプリケーション連携システムについて説明する。
In the second embodiment, the network terminal devices A100, A200, and A300 have been described as having the same configuration and function as the
(Embodiment 3)
In the third embodiment, an application cooperation system that synchronizes video, audio, and application control will be described.
図8に、本発明の実施の形態3に係るアプリケーション連携システムのブロック図を示す。また、図9に本発明の実施の形態3に係る時間制御部のブロック図を示す。 FIG. 8 shows a block diagram of an application cooperation system according to Embodiment 3 of the present invention. FIG. 9 shows a block diagram of a time control unit according to Embodiment 3 of the present invention.
ネットワーク端末装置B100は、発表者側に設置されており、ネットワーク端末装置B200、B300は各会議の拠点に設置されている。また、各ネットワーク端末装置B100、B200、B300は、実施の形態1のネットワーク端末装置100、200、300と同様の機能を有するものであり、時間制御部113、213、313が各端末に追加されている。ここでは、実施の形態1で既に説明した同様の機能についての重複した説明は省略する。
The network terminal device B100 is installed on the presenter side, and the network terminal devices B200 and B300 are installed at the bases of the conferences. Each network terminal device B100, B200, B300 has the same function as the
以下に、時間制御部の処理について図8、図9、図10を用いて説明する。 Hereinafter, the processing of the time control unit will be described with reference to FIG. 8, FIG. 9, and FIG.
図8、図9に示す時間制御部113、213、313は、多重データ生成部113A(213A、313A)と、再生タイミング制御部113B(213B、313B)とより構成されている。多重データ生成部113A(213A、313A)は、映像信号、音声信号、アプリケーション制御信号を、所定周期の同期信号と同期させて多重化されたパケットデータを生成する。なお、アプリケーション制御信号とは、アプリケーションに対する指示を伝達する信号である。また、再生タイミング制御部113B(213B、313B)は、送信側端末装置から受け取ったパケットデータから映像信号、音声信号、アプリケーション制御信号をそれぞれ分離して映像と音声とアプリケーション制御とが同期するように制御する。
The
なお、ここでは、同期信号も一つのチャネルとして扱っているが、ビット多重方式のように多重データ生成時にフレーム区切りを示すための同期信号を一定周期で埋め込み、受信側ではこの同期信号を検出して、同期信号と各ビットが映像信号と音声信号とアプリケーション制御信号のどのメディアに対応するかを識別して同期するようにしても良い。 In this example, the synchronization signal is also handled as one channel. However, as in the bit multiplexing method, a synchronization signal for indicating a frame delimiter is embedded at a fixed period when multiplexed data is generated, and this synchronization signal is detected on the receiving side. Thus, the synchronization signal and each bit may identify and synchronize the media corresponding to the video signal, the audio signal, and the application control signal.
図8に示す映像入力部114、214、314は、端末装置側に設置された(図示省略の)デジタルカメラまたはネットワークカメラからの映像を当該端末装置に取り込む。
The
図9の多重データ生成部113A、213A、313Aは、当該端末装置が送信側端末装置として動作するときに、映像入力部114からの映像信号とマイク108からの音声信号と、アプリケーション制御部102より出力されるアプリケーション制御信号と、同期信号とを多重化したパケットデータを生成して、送信部103、203、303に送信する。
The multiplexed data generation units 113A, 213A, and 313A shown in FIG. 9 receive the video signal from the
図9の再生タイミング制御部113B、213B、313Bは、当該端末装置が受信端末装置として動作するときに、受信部104、204、304で受信したパケットデータから映像信号と音声信号とアプリケーション制御信号と同期信号とを分離して、映像と音声とアプリケーションデータの再生との同期を取りながら出力する。
The reproduction timing control units 113B, 213B, and 313B in FIG. 9 receive video signals, audio signals, and application control signals from the packet data received by the
図10に本発明の実施の形態3に係るアプリケーション連携システムにおける映像信号と音声信号とアプリケーション制御信号と同期信号のタイミング図を示す。図10Aは、発表者側端末装置おけるタイミング図であり、図10Bは、発表者以外の端末装置におけるタイミング図である。 FIG. 10 shows a timing diagram of a video signal, an audio signal, an application control signal, and a synchronization signal in the application cooperation system according to Embodiment 3 of the present invention. FIG. 10A is a timing diagram in the terminal device on the presenter side, and FIG. 10B is a timing diagram in terminal devices other than the presenter.
図10Aに示す映像信号Aは、発表者側端末装置であるネットワーク端末装置B100の映像入力部114に接続された図示省略のデジタルカメラやネットワークカメラから入力された動画や静止画等より入力される。図10Aに示す音声信号Aは、ネットワーク端末装置B100のマイク108から入力される。図10Aに示すアプリケーション制御信号Aは、ネットワーク端末装置B100の内部のアプリケーションを制御するための信号であり、アプリケーション制御部102から出力される。図10Aに示す同期信号Aは、ネットワーク端末装置B100の内部の映像信号Aと音声信号Aとアプリケーション制御信号Aとを同期させる基準となる信号であり、ネットワーク端末装置B100内部で発生させる。
The video signal A shown in FIG. 10A is input from a video camera, a still image, or the like input from a digital camera (not shown) connected to the
図10Bの映像信号Bは、発表者以外の端末装置であるネットワーク端末装置B200、B300の映像入力部214、314に接続された図示省略のデジタルカメラまたはネットワークカメラから入力された動画や静止画等より入力される。図10Bに示す音声信号Bは、ネットワーク端末装置B200、B300のマイク208、308から入力される。図10Bに示す同期信号Bは、ネットワーク端末装置B200、B300の内部の映像信号Bと音声信号Bとを同期させる基準となる信号であり、ネットワーク端末装置B200、B300内部で発生させる。
The video signal B in FIG. 10B is a video or still image input from a digital camera or network camera (not shown) connected to the
まず最初に、発表者側端末装置としてのネットワーク端末装置B100は、時間制御部113の多重データ生成部で図10Aに示すような各信号を同期させて多重データ化したパケットデータを生成して、送信部103により当該端末装置の外部に送信する。
First, the network terminal device B100 as the presenter-side terminal device generates packet data obtained by multiplexing each signal as shown in FIG. The
発表者以外の端末装置であるネットワーク端末装置B200、B300は、上記パケットデータを受け取り、時間制御部213、313の再生タイミング制御部213B、313Bで同期させて出力(再生)する。すなわち、ネットワーク端末装置B200、B300は、受け取った映像信号Aを(図示省略の)表示部の一部に表示し、音声信号Aをスピーカー107で再生し、アプリケーション制御信号に基づいてアプリケーションに指示を送信する。結果として、指示を受信したアプリケーションは、アプリケーションデータを(図示省略の)表示部の一部に表示する。
The network terminal devices B200 and B300, which are terminal devices other than the presenter, receive the packet data and output (reproduce) it in synchronization with the reproduction timing control units 213B and 313B of the
一方、発表者以外の端末装置であるネットワーク端末装置B200、B300は、時間制御部213、313の多重データ生成部で図10Bに示すような各信号を同期させて多重データ化したパケットデータを生成して、送信部203、303により当該端末装置の外部に送信する。このときの送信端側末装置でネットワーク端末装置B200(またはB300)以外の端末装置であるネットワーク端末装置B100、B300(またはB200)は、パケットデータを受け取り、時間制御部113、313(または213)の再生タイミング制御部113B、313B(または213B)で同期させて出力する。すなわち、ネットワーク端末装置B100、B300(またはB200)は、受け取った映像信号Bを(図示省略の)表示部の一部に表示し、音声信号Bをスピーカー107、307(または207)で再生する。
On the other hand, the network terminal devices B200 and B300, which are terminal devices other than the presenter, generate packet data obtained by synchronizing the signals as shown in FIG. Then, the
このように、発表者以外の端末装置のいずれも、自端末装置の映像信号Bと音声信号Bを他端末装置に送信することができる。なお、受信側装置は、それぞれの端末装置から受け取った映像や音声の再生を切り替え可能な構成とするのが好ましい。すなわち、例えば発表者による発表が行われている場合に、(図示省略の)表示部で表示する映像やスピーカー107、307(または207)で再生する音声は、発表者側端末装置のものを再生し、他の端末装置側から意見や質問などがある場合は、再生タイミング制御部が他の端末装置側の映像や音声に切り替える。
Thus, any terminal device other than the presenter can transmit the video signal B and the audio signal B of the terminal device to the other terminal device. In addition, it is preferable that the receiving side device is configured to be able to switch the reproduction of video and audio received from each terminal device. That is, for example, when a presentation is made by a presenter, the video displayed on the display unit (not shown) and the sound reproduced on the
以上に説明したように、本発明の実施の形態3によれば映像信号と音声信号に加えアプリケーション制御信号と同期信号を多重データ化したパケットデータとして端末装置間で送受信している。従って、発表者側端末装置側に表示しているアプリケーションの画面データを他の端末装置に送る従来の方法に比べて送信するデータ量を軽減し、さらに他の端末装置におけるパケットデータ受信処理を軽減できるので、発表者側端末装置以外の端末装置においても発表者側端末装置と同様のタイミングで映像と音声を再生しながらアプリケーション(発表資料などの切り替え)を制御することができる。また、映像がハイビジョン品質である場合には、特に端末装置におけるパケットデータ送受信処理を軽減できるので、映像と音声のズレなどに対する効果が顕著に現れる。 As described above, according to the third embodiment of the present invention, in addition to the video signal and the audio signal, the application control signal and the synchronization signal are transmitted / received between the terminal devices as multiplexed data. Therefore, the amount of data to be transmitted is reduced compared to the conventional method of sending the screen data of the application displayed on the terminal device on the presenter side to other terminal devices, and further the packet data reception processing in other terminal devices is reduced. Therefore, it is possible to control the application (switching of presentation materials) while playing back video and audio at the same timing as the present terminal device even in the terminal device other than the present terminal device. In addition, when the video is of high-definition quality, packet data transmission / reception processing in the terminal device can be particularly reduced, so that the effect on the video / audio gap and the like appears remarkably.
また、再生タイミング制御部が、入力されたパケットに従って映像および/又は音声を切り替えるので、発表者側の状況に加えて、他の受信者の状況も把握可能である。 In addition, since the playback timing control unit switches the video and / or audio according to the input packet, it is possible to grasp the status of other recipients in addition to the status of the presenter.
本発明に係るネットワーク端末装置、アプリケーション連携システム、アプリケーション連携方法、およびそのプログラムは、送信側のディスプレイ等の映像を送ることなく、各場所にて映像の共有が可能である。従って、一般公衆電話網、インターネット網、DSL網、専用線網等のネットワークを介して複数ユーザが共通の会議に参加する多地点のマルチメディア会議システムの端末装置として有用である。 The network terminal device, the application cooperation system, the application cooperation method, and the program according to the present invention can share a video in each place without sending a video on a display on the transmission side. Therefore, the present invention is useful as a terminal device of a multi-point multimedia conference system in which a plurality of users participate in a common conference via a network such as a general public telephone network, the Internet network, a DSL network, and a leased line network.
100,200,300 ネットワーク端末装置
101 アプリケーション動作部
102 アプリケーション制御部
102A 第一のアプリケーション連携部
102B 第二のアプリケーション連携部
102C 制御指示選択部
103 送信部
104 受信部
105 I/F処理部
106 IP音声変換部
107 スピーカー
108 マイク
109 映像信号出力部
110 入力指示部
111 アドレス設定部
112 バス
113 時間制御部
114 映像入力部
115 アプリケーション・データ管理部
100, 200, 300 Network
Claims (7)
発信側装置に、
当該発信側装置上で動作して、映像が含まれていない指示を受けて出力映像を切り替える第一のアプリケーションを、その第一のアプリケーションにアプリケーションデータを読込ませて動作させる第一のアプリケーション動作部と、
上記第一のアプリケーション動作部上で動作している上記第一のアプリケーションに、上記第一のアプリケーション、及び第一のアプリケーションと機能が同一のアプリケーションであって上記受信側装置上で動作する第二のアプリケーションのいずれにも適用される上記指示であり、それぞれのアプリケーションでの出力映像の切り替えを指示する画面切り替え指示を、その第一のアプリケーションに対するユーザの操作又はその第一のアプリケーションに予め設定された条件に従って与えて、その第一のアプリケーションでの出力映像を切り替えさせる第一のアプリケーション制御部と、
上記画面切り替え指示が上記第一のアプリケーションに与えられたとき、その画面切り替え指示を上記受信側装置へ送信する送信部とを備え、
各受信側装置に、
上記第二のアプリケーションを、上記アプリケーションデータの内容を含んだ電子ファイルを予め受け取って上記アプリケーションデータと同じ内容のアプリケーションデータをその第二のアプリケーションに読込ませて動作させる第二のアプリケーション動作部と、
上記送信部から送信された上記画面切り替え指示を受信する受信部と、
上記第二のアプリケーション動作部上で動作している上記第二のアプリケーションに、上記受信部にて受信された、映像が含まれていない上記画面切り替え指示を与えて、その第二のアプリケーションでのそのアプリケーションデータに基づく出力映像を、上記第一のアプリケーションでの上記出力映像の切り替えと連動して同一の映像に切り替えさせる第二のアプリケーション制御部と、
を備え、
上記発信側装置または各受信側装置の少なくとも一方に、
相手側の装置にて動作しているアプリケーションが、そのアプリケーション種、そのアプリケーションの状態、及びそのアプリケーションで使用されているアプリケーションデータについて、自装置のアプリケーションと同一か否かの同一性をチェックして、同一性を有する場合には上記連携動作を許可するアプリケーション・データ管理部を備えた、アプリケーション連携システム。 An application cooperation system that cooperates two or more applications that have the same function and are operated in each of a transmission-side device connected via a network and one or more reception-side devices,
On the sending device,
A first application operation unit that operates on the transmission side device and operates the first application that receives an instruction that does not include a video and switches the output video by causing the first application to read the application data. When,
The first application operating on the first application operation unit is the same as the first application and the second application operating on the receiving-side device, and having the same function as the first application. The above-mentioned instructions that are applied to any of the above applications, and a screen switching instruction that instructs switching of the output video in each application is set in advance for a user operation on the first application or the first application. A first application control unit that changes the output video of the first application,
A transmission unit that transmits the screen switching instruction to the receiving device when the screen switching instruction is given to the first application;
For each receiving device,
A second application operating unit that receives the electronic file including the content of the application data in advance and causes the second application to read the application data having the same content as the application data, and to operate the second application;
A receiving unit that receives the screen switching instruction transmitted from the transmitting unit;
The second application running on the second application operating unit is given the screen switching instruction received by the receiving unit and not including the video, and the second application A second application control unit that switches the output video based on the application data to the same video in conjunction with the switching of the output video in the first application;
With
At least one of the transmitting device or each receiving device,
Applications running in the other party of the device, the application type, checking of the application state, and with the application data used by the application, the application and the same whether the identity of the device itself And an application cooperation system provided with the application data management part which permits the said cooperation operation | movement when it has identity .
上記受信部は、上記サーバが上記送信指示を受けて送信している上記コンテンツを上記電子ファイルとして受信し、当該受信したコンテンツを上記受信側装置上で動作する上記第二のアプリケーションに引き渡す請求項1に記載のアプリケーション連携システム。 The transmission unit includes address information of the receiving device, content used by the second application operating on the receiving device, and a transmission instruction indicating that the content should be transmitted to the receiving device. Send it to a given server,
The receiving unit receives the content transmitted by the server in response to the transmission instruction as the electronic file, and delivers the received content to the second application operating on the receiving device. 1. The application linkage system according to 1.
上記受信部は、受信した上記アドレス情報に基づく上記サーバから上記コンテンツを上記電子ファイルとして受信し、当該受信したコンテンツを上記受信側装置上で動作する上記第二のアプリケーションに引き渡す請求項1に記載のアプリケーション連携システム。 The transmission section transmits the content to the second application running on the receiving side apparatus is utilized in a predetermined server, and further sends the address information of the server to the receiver of the receiving device,
The said receiving part receives the said content as the said electronic file from the said server based on the received said address information , The said received content is delivered to said 2nd application which operate | moves on the said receiving side apparatus. Application linkage system.
上記受信部は、上記画面切り替え指示のほか上記発信側装置からの上記映像信号及び上記音声信号を受信するものであり、
上記受信側装置は、上記受信部にて受信された上記映像信号、上記音声信号及び上記画面切り替え指示を受け取り当該映像と音声と指示とを同期させて出力する第二の時間制御部をさらに備える請求項1記載のアプリケーション連携システム。 The originating side apparatus, first synchronizing and the image switching instruction output from the audio signal inputted to the video signal and the audio input unit that is input to the movies image input unit and the first application control unit of further comprising a time control unit,
The receiving unit receives the video signal and the audio signal from the transmission side device in addition to the screen switching instruction,
The receiving device further comprises a second time control unit which received the video signal, the audio signal and synchronizes the the instructions and receives the video and audio to the display switching instruction output by the receiving unit The application linkage system according to claim 1.
上記発信側装置上で動作して、映像が含まれていない指示を受けて出力映像を切り替える第一のアプリケーションを、その第一のアプリケーションにアプリケーションデータを読込ませて動作させる第一のアプリケーション動作ステップと、
上記第一のアプリケーションと機能が同一のアプリケーションであって上記受信側装置上で動作する第二のアプリケーションを、上記アプリケーションデータの内容を含んだ電子ファイルを予め受け取って上記アプリケーションデータと同じ内容のアプリケーションデータをその第二のアプリケーションに読込ませて動作させる第二のアプリケーション動作ステップと、
上記発信側装置または各受信側装置の少なくとも一方において、相手側の装置にて動作しているアプリケーションが、そのアプリケーション種、そのアプリケーションの状態、及びそのアプリケーションで使用されているアプリケーションデータについて、自装置のアプリケーションと同一か否かの同一性をチェックして、同一性を有する場合には上記連携動作を許可するアプリケーション・データ管理ステップと、
上記発信側装置上で動作している上記第一のアプリケーションに、上記第一のアプリケーション、及び第一のアプリケーションと機能が同一のアプリケーションであって上記受信側装置上で動作する第二のアプリケーションのいずれにも適用される上記指示であり、それぞれのアプリケーションでの出力映像の切り替えを指示する画面切り替え指示を、その第一のアプリケーションに対するユーザの操作又はその第一のアプリケーションに予め設定された条件に従って与えて、その第一のアプリケーションでの出力映像を切り替えさせる第一のアプリケーション制御ステップと
上記画面切り替え指示が上記第一のアプリケーションに与えられたとき、その画面切り替え指示を上記発信側装置が上記受信側装置へ送信する送信ステップと、
上記送信ステップにて送信された上記画面切り替え指示を上記受信側装置が受信する受信ステップと、
上記受信側装置上で動作している上記第二のアプリケーションに、上記受信ステップにて受信された、映像が含まれていない上記画面切り替え指示を与えて、その第二のアプリケーションでのそのアプリケーションデータに基づく出力映像を、上記第一のアプリケーションでの上記出力映像の切り替えと連動して同一の映像に切り替えさせる第二のアプリケーション制御ステップとを有する、アプリケーション連携方法。 An application cooperation method for operating two or more applications that have the same function and operate on each of a transmission side device and one or more reception side devices connected via a network,
A first application operation step that operates on the transmission-side apparatus and operates a first application that switches an output video in response to an instruction not including a video by causing the first application to read application data. When,
An application having the same contents as the application data by receiving an electronic file including the contents of the application data in advance as a second application operating on the receiving-side apparatus and having the same function as the first application. A second application operation step for causing the second application to read and operate the data;
In at least one of said originating unit or the receiving device, the application running at the other side of the device, the application type, the application state, and with the application data used by the application, An application / data management step that checks the identity of whether or not it is the same as the application of its own device, and permits the cooperative operation when there is identity ,
The first application running on the originating device is the same as the first application and the second application running on the receiving device and having the same function as the first application. These instructions apply to both, and a screen switching instruction for instructing switching of output video in each application is performed in accordance with a user operation on the first application or conditions preset in the first application. When the first application control step for switching the output video in the first application and the screen switching instruction is given to the first application, the transmitting side device receives the screen switching instruction. A transmission step of transmitting to the side device;
A receiving step in which the receiving side apparatus receives the screen switching instruction transmitted in the transmitting step;
The second application running on the receiving side device is given the screen switching instruction received in the receiving step and does not include video, and the application data in the second application And a second application control step for switching the output video based on the same video in conjunction with the switching of the output video in the first application.
上記映像信号と上記音声信号と上記第一のアプリケーション制御ステップにて出力された上記画面切り替え指示とを同期させる第一の時間制御ステップを上記送信ステップの前段に、
上記受信ステップにて受信された上記映像信号、上記音声信号及び上記画面切り替え指示を受け取り、当該映像と音声と画面切り替え指示とを同期させて出力する第二の時間制御ステップを上記アプリケーション制御ステップの前段に、
さらに有する請求項6に記載のアプリケーション連携方法。 Said transmission step, addition to the screen switching instruction, transmits a voice signal inputted to the video signal and the audio input unit is input to the image input unit to the receiving device, the receiving step, the screen switching instruction In addition to receiving the video signal and the audio signal transmitted in the transmission step,
A first time control step for synchronizing the video signal, the audio signal, and the screen switching instruction output in the first application control step is preceded by the transmission step .
A second time control step of receiving the video signal , the audio signal, and the screen switching instruction received in the receiving step and outputting the video, audio, and screen switching instruction in synchronization with each other is the application control step. Before the
Further application cooperation method according to claim 6 that Yusuke.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004021196A JP4406295B2 (en) | 2003-02-05 | 2004-01-29 | Application linkage system and application linkage method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003028034 | 2003-02-05 | ||
JP2004021196A JP4406295B2 (en) | 2003-02-05 | 2004-01-29 | Application linkage system and application linkage method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004259263A JP2004259263A (en) | 2004-09-16 |
JP4406295B2 true JP4406295B2 (en) | 2010-01-27 |
Family
ID=33133676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004021196A Expired - Fee Related JP4406295B2 (en) | 2003-02-05 | 2004-01-29 | Application linkage system and application linkage method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4406295B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006245822A (en) * | 2005-03-01 | 2006-09-14 | Konica Minolta Holdings Inc | Image distribution system |
US7720251B2 (en) | 2006-06-23 | 2010-05-18 | Echo 360, Inc. | Embedded appliance for multimedia capture |
JP4962857B2 (en) * | 2007-05-25 | 2012-06-27 | Necディスプレイソリューションズ株式会社 | Projector, transmission terminal, and audio output control method |
US9386054B2 (en) * | 2009-04-07 | 2016-07-05 | Qualcomm Incorporated | System and method for coordinated sharing of media among wireless communication devices |
WO2010122741A1 (en) | 2009-04-21 | 2010-10-28 | 株式会社デジタル | Server device, server-client system, server program, and recording medium with same recorded thereon |
EP3664076A3 (en) | 2011-06-30 | 2020-09-16 | Echo 360, Inc. | Methods and apparatus for an embedded appliance |
JP6357760B2 (en) | 2013-11-27 | 2018-07-18 | 株式会社リコー | Terminal device, program, screen sharing method, and screen sharing system |
JP7087779B2 (en) * | 2018-07-26 | 2022-06-21 | 株式会社リコー | Terminal devices, conference systems, terminal device control methods, and programs |
-
2004
- 2004-01-29 JP JP2004021196A patent/JP4406295B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004259263A (en) | 2004-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4372558B2 (en) | Telecommunications system | |
CA2591732C (en) | Intelligent audio limit method, system and node | |
JP5129989B2 (en) | Conference layout control and control protocol | |
US20070294263A1 (en) | Associating independent multimedia sources into a conference call | |
US20040183896A1 (en) | Cooperative application system, cooperative application method, and network terminal | |
US20120086769A1 (en) | Conference layout control and control protocol | |
US8643695B2 (en) | Videoconferencing endpoint extension | |
EP1868347A2 (en) | Associating independent multimedia sources into a conference call | |
US20070291667A1 (en) | Intelligent audio limit method, system and node | |
JP6172610B2 (en) | Video conferencing system | |
WO2007055206A1 (en) | Communication apparatus, communication method, communication system, program, and computer readable recording medium | |
JP6372156B2 (en) | Connection control system, communication terminal, communication system, program, and connection control method | |
US20070127463A1 (en) | Method, apparatus, and computer program product for gatekeeper streaming | |
JP4406295B2 (en) | Application linkage system and application linkage method | |
WO2016147538A1 (en) | Videoconference communication device | |
JP2016167676A (en) | Communication terminal device, communication management system, communication method, and program | |
JP6481937B2 (en) | Communication device for video conference | |
JP6349764B2 (en) | Transmission system and program | |
JP2006229902A (en) | Conference supporting system, method and computer program | |
MX2007006912A (en) | Conference layout control and control protocol. | |
MX2007006914A (en) | Intelligent audio limit method, system and node. | |
JP2010118715A (en) | Conference system and data processing method | |
MX2007006910A (en) | Associating independent multimedia sources into a conference call. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081112 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091014 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091106 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131113 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |