JP4406295B2 - Application linkage system and application linkage method - Google Patents
Application linkage system and application linkage method Download PDFInfo
- Publication number
- JP4406295B2 JP4406295B2 JP2004021196A JP2004021196A JP4406295B2 JP 4406295 B2 JP4406295 B2 JP 4406295B2 JP 2004021196 A JP2004021196 A JP 2004021196A JP 2004021196 A JP2004021196 A JP 2004021196A JP 4406295 B2 JP4406295 B2 JP 4406295B2
- Authority
- JP
- Japan
- Prior art keywords
- application
- video
- receiving
- unit
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、マルチメディア会議において、発表者が利用するアプリケーションの動作に連動して会議の参加者のアプリケーションを動作させるアプリケーション連携システム、ネットワーク端末装置等を提供するものである。 The present invention provides an application cooperation system, a network terminal device, and the like that operate an application of a participant of a conference in conjunction with an operation of an application used by a presenter in a multimedia conference.
現在、各種の通信事業者により、一般消費者あるいは企業ユーザを対象とした様々な通信サービスが提供されている。これら通信サービスの一つとして、多地点の一般電話、携帯電話、ＰＨＳ等を結んで同時に会話を実施する音声会議サービスが提供されている（例えば、コーラスラインサービス）。 Currently, various communication services for general consumers or corporate users are provided by various communication operators. As one of these communication services, a voice conference service is provided (for example, a chorus line service) in which a multi-point general telephone, a mobile phone, a PHS, etc. are connected to carry out a conversation at the same time.
一方で、インターネット市場の拡大に伴い、Ｗｅｂ上において文字データ、画像データ、音楽等のデータ系の情報を多数のユーザが共有するテキスト会議サービス、テキストチャット型サービスも提供されている（例えば、Ｗｅｂ会議室）。 On the other hand, along with the expansion of the Internet market, text conferencing services and text chat services are also provided in which many users share data-type information such as character data, image data, and music on the Web (for example, Web conference room).
上記のような音声会議サービスやテキスト会議サービスである、ネットワーク提供型会議サービスでは、ユーザニーズやビジネス形態の多様化を背景に、リアルタイムの音声会議サービスとデータ系サービスの相互連動の実現が望まれている。 In the network-provided conference service, which is the voice conference service and the text conference service as described above, real-time voice conference service and data system service should be interlinked with the background of the diversification of user needs and business forms. ing.
また、近年では、ＶｏＩＰ（Voice over IP）技術の進展により、インターネットなどのＩＰ（Internet protocol）パケット網上で、双方向のリアルタイム音声通信を行うインターネット電話というアプリケーションも普及し始めている。 In recent years, with the advancement of VoIP (Voice over IP) technology, an application called an Internet telephone that performs two-way real-time voice communication on an IP (Internet protocol) packet network such as the Internet has begun to spread.
そこで、従来のマルチメディア会議サービスを提供するシステムは、画像情報の共有部、ホワイトボード共有部、話者画面の表示部、任意情報の検索部、任意情報の掲示部、会議での議事録作成部の中の何れか１つ以上を装備したデータ系会議と、リアルタイム音声会議との連動を実現している。また、音声会議においては、電話端末のような回線交換用音声通信端末と、インターネット電話端末のようなＶｏＩＰ通信端末が混在したマルチメディア会議サービスを提供している（例えば、特許文献１参照。）。
一般的に、伝送媒体共有型のネットワークを用いて通信している場合は、ある端末がある時刻に伝送できる情報量は、その瞬間に他の端末が伝送している情報量によって左右される。このため、ある端末がデータを伝送しようとするとき、すべて遅延無く伝送できる保証はない。実際に、発表者の映像と音声に加えて発表者側の端末装置に表示しているアプリケーションの出力映像を同時に送信しようとする場合には、送信すべきデータ量が多大となるため、音声データと画像データのズレや、トラフィック量の増大によるデータの伝達の遅延等が起こるといった問題がある。つまり、受信側では音声に対して画像が遅れて表示され、あるいは途切れたり、発表者の音声（会話）がその発声から明らかに遅れて到着する場合には会話がギクシャクしてしまったりするのである。 In general, when communication is performed using a transmission medium sharing type network, the amount of information that can be transmitted at a certain time depends on the amount of information transmitted by another terminal at that moment. For this reason, when a certain terminal tries to transmit data, there is no guarantee that data can be transmitted without delay. Actually, in addition to the video and audio of the presenter, when trying to transmit the output video of the application displayed on the terminal device on the presenter side at the same time, the amount of data to be transmitted becomes enormous. There are problems such as a shift in image data and a delay in data transmission due to an increase in traffic volume. In other words, on the receiving side, the image is displayed with a delay with respect to the voice, or is interrupted, or the conversation is jerky if the presenter's voice (conversation) arrives clearly behind the utterance. .
特に従来の技術では、発信元の端末装置ユーザが発表している映像を、ネットワークで接続された複数の受信側の端末装置に送信することで、多地点に存在する複数のユーザが発表している資料の映像を共有していた。また、これと同時に例えば発表者の映像を動画として送信していた。このため、発表している資料の映像が切り替わる度に資料の映像を受信装置側に送信しなければならず、資料の映像の切り替え毎にトラフィックの増大により発表者および資料の映像が途切れるという問題があった。なお、このような問題に対して、次世代インターネットプロトコルであるＩＰｖ６（Internet Protocol Version 6）が実装されようとしている。現行のＩＰｖ４（Internet Protocol Version 4）をベースに、管理できるアドレス空間の増大、セキュリティ機能の追加、優先度に応じたデータの送信などの改良を施したＩＰｖ６によれば、ネットワークカメラ（またはデジタルカメラ）のＡＶパケット情報を優先して送受信するように制御することができる。 In particular, in the conventional technology, a plurality of users who are present at multiple points announce the video presented by the terminal device user of the transmission source to a plurality of terminal devices on the receiving side connected via the network. I was sharing the video of the material. At the same time, for example, the video of the presenter was transmitted as a moving image. For this reason, the video of the document must be transmitted to the receiving device every time the video of the material being presented is switched, and the video of the presenter and the material is interrupted due to an increase in traffic each time the video of the material is switched. was there. For such problems, IPv6 (Internet Protocol Version 6), which is a next-generation Internet protocol, is about to be implemented. Based on the current IPv4 (Internet Protocol Version 4), IPv6 is a network camera (or digital camera) that has been improved such as an increase in address space that can be managed, addition of security functions, and data transmission according to priority. ) Is preferentially transmitted / received.
しかし、特に、上述したマルチメディア会議サービスを提供する場合、文字が多用された画面に近接して使用するコンピュータと、動画をスクリーンから離れて見る家庭用ＴＶの双方で満足できる解像度を満たす必要があり、２Ｍ画素／フレームの解像度が必要とされている。これは、図１１に示すＨＤＴＶ１１００に該当し、即ちハイビジョン品質（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ：ＨＤ）レベルの解像度である。今後、このようなハイビジョン品質が通常となり、さらに複数のＡＶ情報が頻繁に送受信されるようになると、当然ネットワークのトラフィック量も増加する。このため、ＩＰｖ６の採用によりＡＶ情報を優先して送信するようにしてもネットワークトラフィック量に係る上記問題を完全に解決することはできないと考えられる。
However, in particular, when the above-described multimedia conference service is provided, it is necessary to satisfy a resolution that can be satisfied by both a computer that is used in the vicinity of a screen that uses a lot of characters and a home TV that displays moving images away from the screen. Yes, a resolution of 2M pixels / frame is required. This corresponds to the
さらに、受信側でのデータの処理においても問題が生じる。つまり発信元の端末装置における映像の切り替わりに伴い、受信端末装置では変化前の映像から変化後の映像に切り替える処理を行なうため、当該受信端末装置の内部処理が増大し、ＶｏＩＰによる音声を順次処理出来なくなるため音声が途絶えるという問題があった。この点においても、ハイビジョン化によるデータ量の増大により、さらに顕著な問題となることが予想される。 Furthermore, a problem occurs in data processing on the receiving side. In other words, as the video at the source terminal device is switched, the receiving terminal device performs processing to switch from the video before the change to the video after the change, so the internal processing of the receiving terminal device increases, and the VoIP audio is sequentially processed. There was a problem that the sound was interrupted because it was impossible. In this respect as well, it is expected that it will become a more prominent problem due to the increase in the amount of data due to the high definition.
本発明では、発表している地点から離れた多地点において、発表内容の映像や音声を途切れることがなく表示、再生可能であり、さらに装置内部の演算処理の負担を軽減できるアプリケーション連携システム、ネットワーク端末装置等を提供することを目的とする。 In the present invention, an application linkage system and a network that can display and play video and audio of the presentation contents without interruption at many points away from the point where the announcement is made, and further reduce the processing load inside the apparatus. An object is to provide a terminal device or the like.
本発明は、上記目的を達成するために以下の手段を採用している。すなわち、本発明は、機能が同一であり、ネットワークを介して接続された発信側装置と、１又は２以上の受信側装置とのそれぞれで動作している、２以上のアプリケーションを連携動作させるアプリケーション連携システムである。ここで、上記発信側装置には、当該発信側装置上で動作して、映像が含まれていない指示を受けて出力映像を切り替える第一のアプリケーションを、その第一のアプリケーションにアプリケーションデータを読込ませて動作させる第一のアプリケーション動作部と、上記第一のアプリケーション動作部上で動作している上記第一のアプリケーションに、上記第一のアプリケーション、及び第一のアプリケーションと機能が同一のアプリケーションであって上記受信側装置上で動作する第二のアプリケーションのいずれにも適用される上記指示であり、それぞれのアプリケーションでの出力映像の切り替えを指示する画面切り替え指示を、その第一のアプリケーションに対するユーザの操作又はその第一のアプリケーションに予め設定された条件に従って与えて、その第一のアプリケーションでの出力映像を切り替えさせる第一のアプリケーション制御部と、上記画面切り替え指示が上記第一のアプリケーションに与えられたとき、その画面切り替え指示を上記受信側装置へ送信する送信部とを備える。つまり、第一のアプリケーション制御部は、自装置上で動作しているアプリケーションに指示を送信すると共に、送信部が当該指示を受信側装置にも送信するのである。そして、各受信側装置には、上記第二のアプリケーションを、上記アプリケーションデータの内容を含んだ電子ファイルを予め受け取って上記アプリケーションデータと同じ内容のアプリケーションデータをその第二のアプリケーションに読込ませて動作させる第二のアプリケーション動作部と、上記送信部から送信された上記画面切り替え指示を受信する受信部と、上記第二のアプリケーション動作部上で動作している上記第二のアプリケーションに、上記受信部にて受信された、映像が含まれていない上記画面切り替え指示を与えて、その第二のアプリケーションでのそのアプリケーションデータに基づく出力映像を、上記第一のアプリケーションでの上記出力映像と同様のものに連動して切り替えさせる第二のアプリケーション制御部とを備える。 The present invention employs the following means in order to achieve the above object. That is, the present invention has the same function, and is an application that operates two or more applications in cooperation with each other, which is operated by each of a transmitting device connected via a network and one or more receiving devices. cooperation Ru system der. Here, the above-mentioned originating device, operating on the originating device, read application data to the first application to switch the output image in response to an instruction that does not contain video, its first application a first application operation unit to be operated Mase, to the first application running on the first application operation unit on, the first application, and in the first application and function the same application The instruction that is applied to any of the second applications that operate on the receiving-side apparatus, and the screen switching instruction that instructs switching of the output video in each application is sent to the user for the first application. Or pre-set conditions for the first application Given in accordance with, the a first first application controller that allowed switching the output image of the application, when the screen switching instruction is given to the first application, the receiving-side apparatus that screen switching instruction And a transmission unit for transmitting to. That is, the first application control unit transmits an instruction to an application operating on the own device, and the transmission unit transmits the instruction to the receiving side device. Then, each receiving side apparatus operates the second application by receiving an electronic file including the contents of the application data in advance and reading the application data having the same contents as the application data into the second application. A second application operating unit, a receiving unit that receives the screen switching instruction transmitted from the transmitting unit, and the second application that is operating on the second application operating unit. received by, giving the screen switching instruction does not include a video, an output image based on the application data at the second application, the same as the output image at the first application the second application control unit that allowed switching in conjunction with the Equipped with a.
以上によれば、発信側装置のアプリケーションにより出力されている発表資料の映像データを送信することなく、受信側装置でも発表資料を連動して表示させることが可能であるため、ネットワークのトラフィック量の軽減と受信側装置の演算処理の負担を軽減し、発表している地点から離れた多地点において、発表者の映像や音声及び発表資料のアプリケーション出力映像を途切れることがなく出力することができる。 According to the above, since the presentation material can be displayed in conjunction with the reception side device without transmitting the video data of the presentation material output by the application of the transmission side device, the traffic volume of the network It is possible to reduce the burden of the reduction and the calculation processing of the receiving side device, and to output the video and audio of the presenter and the application output video of the presentation material without interruption at multiple points away from the point where the announcement is made.
さらに、本発明は、発信側装置または各受信側装置の少なくとも一方に、相手側の装置にて動作しているアプリケーションが、そのファイル名若しくはファイルの作成日時のいずれかの情報又はそのいずれかと共にバージョンの情報を含むアプリケーション種、入力可能であるか、表示サイズが所定範囲内にあるかなどの情報を含むそのアプリケーションの状態、及び、そのアプリケーションで使用されているアプリケーションデータについて、自装置のアプリケーションと同一か否かの同一性をチェックして、同一性を有する場合には上記連携動作を許可するアプリケーション・データ管理部を備える。 Further, according to the present invention, at least one of the transmitting side device and each receiving side device has an application running on the other side device, together with either the file name or the file creation date / time information, or any one of them. applications species including version information, or can be input, the state of the application that the display size includes information such as it is within a predetermined range, and, with the application data used by the application, the self-device An application / data management unit that checks the identity of whether or not the application is the same and permits the cooperative operation when there is identity is provided.
この構成で、発表者側のアプリケーションで利用しているアプリケーションデータと、その他の会議参加者のアプリケーションで利用しているアプリケーションデータとが異なり、アプリケーション連携動作がおかしくなるというような不具合を回避することができる。 In this configuration, possible to avoid the application data that is available in the presenter-side application, it is different from the application data that is available in the other conference participants application, a problem such as that the application work together is funny Can do.
また、上記送信部は、受信側装置のアドレス情報と、上記受信側装置上で動作する上記第二のアプリケーションが利用するコンテンツと、当該コンテンツを上記受信側装置に送信すべき旨の送信指示とを所定のサーバに送信し、また、上記受信部は、上記サーバが上記送信指示を受けて送信している上記コンテンツを上記電子ファイルとして受信し、当該受信したコンテンツを上記受信側装置上で動作する上記第二のアプリケーションに引き渡す構成もある。 Further, the transmission unit, the address information of the receiving apparatus, and a content which the second application uses operating on the receiving side apparatus, transmission instruction and the content to the effect to be transmitted to the receiving device sends a predetermined server, also the reception unit, the content of the server is transmitting to receiving the transmission instruction received as the electronic file, the operation content that the received on the receiving device There is also a configuration for handing over to the second application.
さらに、上記送信部は、上記受信側装置上で動作する上記第二のアプリケーションが利用するコンテンツを所定のサーバに送信し、さらに当該サーバのアドレス情報を上記受信側装置の受信部に送信し、また、上記受信部は、受信した上記アドレス情報に基づく上記サーバから上記コンテンツを上記電子ファイルとして受信し、当該受信したコンテンツを上記受信側装置上で動作する上記第二のアプリケーションに引き渡す構成としてもよい。 Furthermore, the transmission unit may transmit the content to the second application running on the receiving side apparatus is utilized in a predetermined server, and further sends the address information of the server to the receiver of the receiving device, The receiving unit may receive the content as the electronic file from the server based on the received address information, and deliver the received content to the second application operating on the receiving-side device. Good.
このようにすれば、発信側装置は会議等でコンテンツが必要となる以前の適当な時にコンテンツをサーバに送信しておくことができ、あるいは使用するコンテンツがサーバに格納された後であれば、各地点の事情に応じて適当な時にコンテンツを受け取ることができる。 In this way, the transmission side device can transmit the content to the server at an appropriate time before the content is required at a meeting or the like, or after the content to be used is stored in the server, Content can be received at an appropriate time according to the circumstances of each point.
また、発信側装置は、映像入力部に入力された映像信号と音声入力部に入力された音声信号と上記第一のアプリケーション制御部から出力された上記画面切り替え指示とを同期させる第一の時間制御部をさらに備え、上記送信部は、上記画面切り替え指示のほか上記映像信号及び上記音声信号を上記受信側装置に送信し、また、上記受信部は、上記画面切り替え指示のほか上記発信側装置からの上記映像信号及び上記音声信号を受信するものであり、上記受信側装置は、上記受信部にて受信された上記映像信号、上記音声信号と指示とを受け取り当該映像と音声と指示とを同期させて出力する第二の時間制御部を備える構成がある。
Further, the originating device, the first synchronizing and the screen switching instruction output from the audio signal and the first application control unit which is input to the video signal and the audio input unit that is input to the image input unit further comprising a time control unit, the transmitting unit, the other the video signal and the audio signal of the screen switching instruction is transmitted to the receiving device, also, the receiving unit, in addition to the originating side of the screen switching instruction Receiving the video signal and the audio signal from the device, and the receiving-side device receives the video signal , the audio signal and the instruction received by the receiving unit , and receives the video, audio and instruction. There is a configuration including a second time control unit that outputs the signals in synchronization with each other.
この構成では、同期を行うことで音声データと画像データのズレや、トラフィック量の増大によるデータの伝達の遅延等の問題を緩和することが可能となる。 In this configuration, it is possible to alleviate problems such as a gap between audio data and image data and a delay in data transmission due to an increase in traffic volume by performing synchronization.
なお、映像入力部より入力される映像信号が、ハイビジョン品質の映像の信号である場合には、映像が占めるデータ量が多大になり、さらに受信側装置でも大量の処理が必要になるため本発明による効果が顕著に現れる。 Note that when the video signal input from the video input unit is a high-definition quality video signal, the amount of data occupied by the video becomes large, and a large amount of processing is also required in the receiving side apparatus. The effect by appears remarkably.
ここで、アプリケーション連携システム、ネットワーク端末装置は、コンピュータを用いて具体化することができる。その場合、上述した各部は、コンピュータ上でプログラムを動作させることにより具体化される。 Here, the application cooperation system and the network terminal device can be embodied using a computer. In that case, each unit described above is embodied by operating a program on a computer.
本発明のアプリケーション連携システム、アプリケーション連携方法、およびネットワーク端末装置によれば、発信装置側のユーザが発表している資料の複製データを受信装置側にも設定してアプリケーションを動作させておいて、発信側装置のユーザからのアプリケーション出力切り替え指示または予め設定された条件に基づいて各拠点のアプリケーションから出力される映像信号を切り替える。結果として、ネットワークのトラフィック量の軽減と受信側装置の演算処理の負担を軽減し、発表している地点から離れた多地点において、発表者の映像や音声及び発表資料のアプリケーション出力映像を途切れることがなく出力することができるという効果を有する。 According to the application cooperation system, the application cooperation method, and the network terminal device of the present invention, the copy data of the material announced by the user on the transmission device side is set on the reception device side and the application is operated. The video signal output from the application at each site is switched based on an application output switching instruction from the user of the transmission side device or a preset condition. As a result, the network traffic volume is reduced and the processing load on the receiving device is reduced, and the video output of the presenter and the application output video of the presentation material are interrupted at multiple points away from the point of presentation. It has the effect that it can output without.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（実施の形態１）
図１に、本発明のネットワーク端末装置を用いたマルチメディア会議システムにおけるアプリケーション連携システムの概要を説明するための概念図を示す。
(Embodiment 1)
FIG. 1 is a conceptual diagram for explaining an outline of an application cooperation system in a multimedia conference system using a network terminal device of the present invention.
ネットワーク端末装置１００、２００、３００は、マルチメディア会議システムにおけるユーザ側端末として利用される。また、ネットワーク端末装置１００は発表者が利用するものとして、発表者側に設置されており、ネットワーク端末装置２００、３００は各会議に参加する参加者の拠点に設置されているものとする。なお、以後、単に参加者と称した場合には発表者は含まないものとする。
The
各拠点のネットワーク端末装置１００、２００、３００は各々プロジェクター４００、５００、６００に接続されており、ネットワーク端末装置から出力される映像信号を受け取り、スクリーン８００、９００、１０００に受け取った映像を投影する。
The
本発明では、発表者側のネットワーク端末装置１００で発表資料のアプリケーションデータを映像信号としてプロジェクター４００へ出力し、発表者の指示または予め設定された条件に基づいてプロジェクター４００へ出力する映像信号を切り替えるようになっている。ここでいう発表者の指示とは、プロジェクター上に投影された映像を用いて実際に発表をしているユーザが、発表資料を出力しているアプリケーションに対して画面を切り替える指示をすることをいう。また、ここでいう予め設定された条件とは、発表資料を出力しているアプリケーションに対して、画面を切り替える指示のタイミングをユーザが予めアプリケーションに設定することで出力映像を自動的に切り替える場合のアプリケーションに設定する切り替えタイミングなどをいう。
In the present invention, the application data of the presentation material is output as a video signal to the
ここで、図２を用いてネットワーク端末装置について説明する。図２にアプリケーション連携システムの構成を示すブロック図を示す。 Here, the network terminal apparatus will be described with reference to FIG. FIG. 2 is a block diagram showing the configuration of the application cooperation system.
図２におけるネットワーク端末装置１００は、以下に示す各部をバス１１２で接続することで具現化できる。
The
アプリケーション動作部１０１は、会議に利用する発表資料を読み込んで映像データに変換して出力するアプリケーションを動作させる。
The
入力指示部１１０は、アプリケーションが出力する映像の切り替えなどの指示を、当該装置に対してユーザが入力するためのものであり、マウスやキーボードなどが該当する。
The
アプリケーション制御部１０２は、入力指示部１１０から入力された発表者の指示または予め設定された条件に基づいて、上記アプリケーションに所定の動作をさせるための指示を出力する。
The
送信部１０３は、上記アプリケーション制御部１０２から出力される指示が該ネットワーク端末装置１００から発信された場合に、他のユーザが使用しているネットワーク端末装置（例えば、ネットワーク端末装置２００、３００）に送信する。
When the instruction output from the
受信部１０４は、他のネットワーク端末装置（例えば、ネットワーク端末装置２００、３００）のユーザが、当該他のネットワーク端末装置で動作するアプリケーションに指示を行った場合に、その指示を受信する。
The receiving
Ｉ／Ｆ処理部１０５は、当該ネットワーク端末装置１００の外部機器と通信を行うためのネットワークへの接続を行う。
The I /
ＩＰ音声変換部１０６は、インターネットなどのＩＰパケット網上で、双方向のリアルタイム音声通信を行うための、ＩＰパケット信号と音声信号との変換を行う。
The IP
スピーカー１０７は、上記ＩＰ音声変換部１０６で変換された音声信号を出力する。また、マイク１０８は、音声を音声信号として上記ＩＰ音声変換部１０６に入力する。
The
映像出力部１０９は、上記アプリケーション動作部１０１で動作しているアプリケーションから出力される映像信号を、当該ネットワーク端末装置１００に接続された表示部に出力する。
The
アドレス設定部１１１は当該装置のアドレス及び通信先装置のアドレスの入力を受け付け、入力されたアドレスを格納する。
The
アプリケーション・データ管理部１１５は、各装置間で動作するアプリケーションのバージョンや状態、読み込まれているアプリケーションデータの整合性（同一性）等をチェックする。
The application /
ネットワーク端末装置２００、３００は、上記ネットワーク端末装置１００と同様の機能を有するネットワーク端末装置である。なお、ネットワーク端末装置２００の２０１〜２１１またはネットワーク端末装置３００の３０１〜３１１は、ネットワーク端末装置１００の１０１〜１０９に対応した番号を付しており、同様に動作するものであるため、ここでは説明を省略する。
The
プロジェクター４００、５００、６００は各々ネットワーク端末装置１００、２００、３００に接続されており、上記映像信号出力部１０９、２０９、３０９からの映像信号を受けて（図２おいて図示省略の）スクリーンに映像を投射する。つまり上記表示部として機能する。
The
次に、アプリケーション連携システムの動作について図１、図２、図３を用いて説明する。図３はアプリケーション連携システムにおける処理の流れを示すフローチャートである。 Next, the operation of the application cooperation system will be described with reference to FIG. 1, FIG. 2, and FIG. FIG. 3 is a flowchart showing the flow of processing in the application cooperation system.
ここで、図１、図２に示すネットワーク端末装置１００がＡ地点に設置されており、ネットワーク端末装置２００がＢ地点に、ネットワーク端末装置３００がＣ地点に設置されているとする。Ａ地点のネットワーク端末装置１００とＢ地点のネットワーク端末装置２００、及びＣ地点のネットワーク端末装置３００とはネットワーク７００を介して通信可能に接続されている。また、いずれか一つのネットワーク端末装置から他を呼び出して、呼び出しを受けたネットワーク端末装置のユーザが呼び出しに応答すると、双方向の音声通話が可能になる。以下、説明を簡単にするため、Ａ地点とＢ地点の２拠点間での会議を例に説明する。
Here, it is assumed that the
まず、ネットワーク端末装置１００のアプリケーション動作部１０１上で動作するアプリケーションには、アプリケーションデータが発表で使用する発表資料として読み込まれている。そして、アプリケーション制御部１０２は、発表者の指示または予め設定された条件に基づいて上記アプリケーションに指示を送信し、結果として当該アプリケーションはプロジェクター４００へ出力する映像信号を切り替える。
First, application data is read into the application running on the
また、発表者から会議参加者に対して事前に発表資料である電子ファイルを送付し、各地点（例えばＢ地点）の会議参加者は予め受け取った電子ファイルをネットワーク端末装置２００のアプリケーションに読み込むことで、発表者と同一条件、即ちスタンバイ状態にする（図３：ステップＳ１０１）。なお、Ａ地点とＢ地点で利用される上記アプリケーションは同一である。
In addition, the presenter sends an electronic file as presentation material to the conference participants in advance, and the conference participants at each point (for example, point B) read the received electronic file into the application of the
この際、各ネットワーク端末装置に備えられたアプリケーション・データ管理部１１５、２１５、３１５は、スタンバイ状態にする電子ファイルが当会議で使用するものに相違ないか否かをそれぞれ通信でチェックするようにしても良い。例えば、当会議で使用するファイル名やファイルの作成日時などの発表資料に関する情報を、アプリケーション・データ管理部２１３アプリケーション・データ管理部１１３に問合せて、発表資料に関する情報が同じであるか否かをチェックする。このようにすれば、発表者側のアプリケーションで起動した発表資料と、その他の会議参加者のアプリケーションで起動した発表資料が異なり、アプリケーション連携動作がおかしくなるというような不具合を回避することができる。また同時に、上記アプリケーション・データ管理部は、利用されているアプリケーションがバージョンも含めて同一か否か、あるいは当該アプリケーションの状態が同一か否かをチェックするようにしてもよい。ここで言う状態とは、当該アプリケーションが入力可能状態であるか（フォーカスを有するか）や、アプリケーションの表示サイズが所定の範囲内にあるかといった状態である。当該チェックにより、アプリケーションの連携動作を保障するのである。
At this time, the application /
次に、各地点で使用するネットワーク端末装置の制御モードの設定を行う。例えば、発表者側のＡ地点で使用するネットワーク端末装置１００には、指示（アプリケーション制御信号）を入力指示部から受け取るモード（通常制御モード）とする。その他の会議参加者（例えばＢ地点）で使用するネットワーク端末装置２００の場合には、指示を受信部を介して外部から受け取るモード（遠隔制御モード）に設定する。（図３：ステップＳ１０２）。なお、当該設定は、入力指示部より制御モード信号を用いて行われる。
Next, the control mode of the network terminal device used at each point is set. For example, the
ここで、図２、図４を用いて制御モードによるアプリケーション制御部１０２、２０２、３０２の動作の違いについて説明する。図４はアプリケーション制御部の内部構成の概要を示すブロック図である。
Here, differences in operation of the
第一のアプリケーション連携部１０２Ａは、ネットワーク端末装置１００の外部のアプリケーションを連携動作させるための指示を入力指示部１１０から受け取り、送信部１０３に送信する。
The first application cooperation unit 102A receives an instruction for cooperatively operating an application external to the
また、制御指示選択部１０２Ｃは、入力指示部１１０からの指示と受信部１０４にて受信した指示とを、上記予め設定された制御モードに基づいて選択的に出力する。つまり、制御モードが通常制御モードの場合、入力指示部より入力された指示をアプリケーション動作部、即ちアプリケーションに出力し、遠隔制御モードの場合、受信部にて受信した指示をアプリケーションに出力する。
The control instruction selection unit 102C selectively outputs the instruction from the
第二のアプリケーション連携部１０２Ｂは、アプリケーション動作部上で動作しているアプリケーションに、制御指示選択部１０２Ｃから受け取った指示を送信する。 The second application cooperation unit 102B transmits the instruction received from the control instruction selection unit 102C to the application operating on the application operation unit.
なお、ネットワーク端末装置２００の２０２Ａ、２０２Ｂ、２０２Ｃまたはネットワーク端末装置３００の３０２Ａ、３０２Ｂ、３０２Ｃは、ネットワーク端末装置１００の１０２Ａ、１０２Ｂ、１０２Ｃに対応した番号を付しており、同様に動作するものである。従って、ここでは２０２Ａ、２０２Ｂ、２０２Ｃまたは３０２Ａ、３０２Ｂ、３０２Ｃの説明を省略する。
Note that 202A, 202B, and 202C of the
上記各部による処理を一連の流れとして以下に記す。 The processing by each of the above parts is described below as a series of flows.
各ネットワーク端末装置１００、２００は、アドレス設定部１１１、２１１を備えており、本体側のアドレス設定をすれば、ネットワークへの接続を実行するだけで双方向の通信が可能になる。すなわち、Ａ地点のネットワーク端末装置１００側のユーザが通信相手先（ここではＢ地点のネットワーク端末装置２００）を指定し、ネットワークを介して接続を実行する。これに対して、接続相手先が当該接続要求を受け入れると双方向通信が可能になる（図３：ステップＳ１０３→ステップＳ１０４）。
Each of the
双方向の通信が可能になった状態で、Ａ地点のユーザとその他の地点（例えば、Ｂ地点）のユーザとの間で音声での通信が可能となる。また、この状態で、ネットワーク端末装置は、アプリケーションに対して制御指示があるか否かの待ち状態になる（図３：ステップＳ１０５）。 In a state where bidirectional communication is possible, voice communication is possible between the user at point A and the user at another point (for example, point B). In this state, the network terminal device waits for whether there is a control instruction for the application (FIG. 3: Step S105).
発表者は、入力指示部１１０からネットワーク端末装置１００に対してアプリケーション出力映像を切り替えるように指示する（あるいは、予めアプリケーションに切り替えタイミングを設定し、切り替えタイミングの設定に基づいてアプリケーション出力映像の切り替え指示行う）（図３：ステップＳ１０６）。会議の場において主に必要とされるアプリケーションへの指示はアプリケーションの出力映像の変更であるが、ここで言う、「アプリケーション出力映像を切り替える」指示とは、アプリケーションに対する何らかの指示をすべて含む。つまり、出力映像の切り替え以外の指示がアプリケーションに送信されても同様である。言い換えると、上記指示にはアプリケーションからの出力映像は含まれない。
The presenter instructs the
ネットワーク端末装置１００のアプリケーション制御部１０２は、発表者の指示を受け取ると、当該指示をアプリケーション動作部１０１に送信する。また、アプリケーション制御部１０２は、送信部１０３を介してその他の会議参加者（例えばＢ地点）側で使用するネットワーク端末装置２００に対して上記指示を送信する（図３：ステップＳ１０７）。
Upon receiving the presenter's instruction, the
ネットワーク端末装置２００は、発表者側のネットワーク端末装置１００から送信された上記指示を受信部２０４で受け取り、ネットワーク端末装置２００のアプリケーション制御部２０２に送信する（図３：ステップＳ１０８）。
The
アプリケーション制御部２０２は、受信したアプリケーションからの出力映像を切り替える制御指示をアプリケーションに送信する（図３：ステップＳ１０９）。これにより、ネットワーク端末装置２００側のアプリケーションから出力される映像は、Ａ地点のネットワーク端末装置１００からの指示に基づいて切り替えられ、結果として、Ａ地点のアプリケーション出力映像の切り替えに連動してＢ地点のアプリケーション出力映像を切り替えることが可能となる。
The
以上説明したように、本発明によれば、発表者側のネットワーク端末装置ユーザが発表している資料の複製データを受信側のネットワーク端末装置にも設定してアプリケーションを動作させておいて、発信元のネットワーク端末装置ユーザからのアプリケーション出力切り替え指示等に基づいて各拠点のアプリケーションから出力される映像信号を切り替えるようにしたので、大容量の画像データを受信側に送信する必要がない。結果として、発表している地点から離れた多地点において、発表内容の映像と同様の映像を途切れることなく、さらに遅延などを生じることなく再生することができる。また、映像に関して受信するデータはアプリケーションに対する指示のみであるため、装置内部の演算処理の負担を軽減することが可能となる。当然、各地点のアプリケーション、アプリケーションの状態、アプリケーションデータの整合性は、アプリケーション・データ管理部間の通信により保障される。 As described above, according to the present invention, the copy data of the material published by the present network user at the presenter side is also set in the network terminal device at the receiving side and the application is operated, Since the video signal output from the application at each site is switched based on the application output switching instruction from the original network terminal device user, it is not necessary to transmit a large amount of image data to the receiving side. As a result, it is possible to reproduce the same video as the video of the presentation content without interruption and without causing a delay or the like at many points away from the point where the announcement is made. Further, since the data received with respect to the video is only an instruction to the application, it is possible to reduce the burden of arithmetic processing inside the apparatus. Naturally, the consistency of the application at each point, the state of the application, and the application data is ensured by communication between the application and data management units.
なお、会議中の音声信号は、各拠点のネットワーク端末装置のマイク１０８（２０８、３０８）から装置内に取り込まれてＩＰ音声変換部１０６（２０６、３０６）で音声信号から音声ＩＰパケットデータに変換される。ここで、ネットワーク端末装置１００のマイク１０８で取り込んだ音声信号を他地点のネットワーク端末装置２００、３００に送信する場合を例に音声の送信について説明する。ネットワーク端末装置１００のＩＰ音声変換部１０６で変換された音声ＩＰパケットデータは、送信部１０３からネットワーク７００を介して音声ＩＰパケットデータを送信する装置（例えば、ネットワーク端末装置１００）以外の会議に参加している他のネットワーク端末装置（例えば、ネットワーク端末装置２００、３００）へ送信される。音声パケットデータを受け取る側の装置（例えば、ネットワーク端末装置２００、３００）は受信部（例えば、２０４、３０４）で音声パケットデータを受信する。受信部で受信した音声パケットデータはＩＰ音声変換部（例えば、２０６、３０６）で音声信号に変換されて、スピーカ（例えば、２０７、３０７）で再生される。また、一台のネットワーク端末装置２００の受信部で複数の音声パケットデータを受け取った場合、音声パケットデータはＩＰ音声変換部２０６で音声信号に変換された後、に合成処理がされるようにしても良い。このようにすれば、複数の会議参加者の音声をリアルタイムで再生することができる。これに加えて、アプリケーションデータの切り替えを、従来のように表示データを送信するのではなく、上述したように表示切り替えの指示の送受信のみにより可能としたので、従来のリアルタイム型電話会議に比べて効率的かつ経済的にマルチメディア会議を実現できる。
The audio signal during the conference is taken into the apparatus from the microphone 108 (208, 308) of the network terminal device at each site and converted from the audio signal to the audio IP packet data by the IP audio conversion unit 106 (206, 306). Is done. Here, audio transmission will be described by taking as an example a case where an audio signal captured by the
また、上記説明では、アプリケーション出力映像切り替えを例にネットワーク端末装置１００側のアプリケーションとネットワーク端末装置２００側のアプリケーションが連携して出力映像を切り替える動作を説明したが、本発明はこれに限定されるものではなく、各地点のネットワーク端末装置の動作を同様に制御するための指示を送受信することによりその他の動作の連携についても同様に実現できる。
In the above description, the application output video switching is taken as an example, and the operation on the
（実施の形態２）
本実施の形態２では、インターネット上のサーバにコンテンツを格納しておき、コンテンツが必要な時に、端末の一つからサーバに対してコンテンツの送信を要求する場合のアプリケーション連携システムについて説明する。
(Embodiment 2)
In the second embodiment, an application cooperation system will be described in which content is stored in a server on the Internet, and when content is required, the terminal requests transmission of the content from one of the terminals.
図５に本発明の実施の形態２に係るアプリケーション連携システムの概要を説明するための概念図を示す。 FIG. 5 is a conceptual diagram for explaining the outline of the application cooperation system according to the second embodiment of the present invention.
また、図６に本発明の実施の形態２に係るアプリケーション連携システムの構成を示すブロック図を示す。
FIG. 6 is a block diagram showing the configuration of the application cooperation system according to
ネットワーク端末装置Ａ１００、Ａ２００、Ａ３００はマルチメディア会議システムにおけるユーザ側のネットワーク端末装置である。また、ネットワーク端末装置Ａ１００は、発表者側に設置されており、ネットワーク端末装置Ａ２００、Ａ３００は各会議の拠点に設置されている。また、各ネットワーク端末装置Ａ１００、Ａ２００、Ａ３００は、実施の形態１のネットワーク端末装置１００、２００、３００と同様に構成されており、同様の機能を有するものとし、ここでは重複した説明は省略する。
Network terminal apparatuses A100, A200, and A300 are network terminal apparatuses on the user side in the multimedia conference system. The network terminal device A100 is installed on the presenter side, and the network terminal devices A200 and A300 are installed at the bases of the conferences. Further, each of the network terminal devices A100, A200, A300 is configured in the same manner as the
サーバＡ８００はネットワーク端末装置からコンテンツ送信要求を受けて、各ネットワーク端末装置にコンテンツを送信するが、以下に示す各部をバス８０６で接続することで具現化できる。なお、図６のサーバＡ８００は、本実施の形態２で必要な構成要素のみを示すこととする。
The
コンテンツ格納部８０１は、外部からネットワーク７００や可搬記録メディアなどを介して受け取ったコンテンツを格納する。
The
ユーザ情報管理部８０２は、サーバへ例えば会議資料等のコンテンツを送信またはサーバからコンテンツを受信するユーザを管理する。
The user
受信部８０４は、当該装置外部のネットワーク端末装置からコンテンツを受信または受信したコンテンツを当該装置外部の所定のネットワーク端末装置に配信する指示などを受信する。
The receiving
送信部８０３は、上記受信部８０４で受信したコンテンツ配信指示に基づいて当該装置外部の所定のネットワーク端末装置へコンテンツを送信する。
The
Ｉ／Ｆ処理部８０５は、当該サーバＡ８００の外部機器と通信を行うために、ネットワークへの接続処理を行う。
The I /
次に、本実施の形態２のアプリケーション連携システムの動作について図５、図６、図７を用いて説明する。図７は本実施の形態２のアプリケーション連携システムにおける処理の流れを示すフローチャートである。ここでは主に実施の形態１と異なる処理について説明する。なお、実施の形態１と同様に図５、図６に示すネットワーク端末装置Ａ１００がＡ地点に設置されており、ネットワーク端末装置Ａ２００がＢ地点に、ネットワーク端末装置Ａ３００がＣ地点に設置されているとする。Ａ地点のネットワーク端末装置Ａ１００とＢ地点のネットワーク端末装置Ａ２００、及びＣ地点のネットワーク端末装置Ａ３００とはネットワーク７００を介して通信可能に接続されている。以下、説明を簡単にするため、Ａ地点とＢ地点の２拠点間での会議を例に説明する。 Next, the operation of the application cooperation system according to the second embodiment will be described with reference to FIGS. FIG. 7 is a flowchart showing the flow of processing in the application cooperation system of the second embodiment. Here, processing different from that of the first embodiment will be mainly described. As in the first embodiment, network terminal device A100 shown in FIGS. 5 and 6 is installed at point A, network terminal device A200 is installed at point B, and network terminal device A300 is installed at point C. And The network terminal device A100 at the point A, the network terminal device A200 at the point B, and the network terminal device A300 at the point C are connected to be communicable via the network 700. Hereinafter, in order to simplify the description, a conference between two points of A point and B point will be described as an example.
ネットワーク端末装置Ａ１００のアプリケーション動作部１０１で動作するアプリケーションには、予め発表で使用する資料が読み込まれている。そして、アプリケーション制御部１０２は、発表者の指示または予め設定された条件に基づいて出力される指示を、上記アプリケーションに送信する。この結果、アプリケーションが（図示省略の）プロジェクターに出力する映像が切り替わる。また、ネットワーク端末装置Ａ１００の送信部１０３は、発表で使用するコンテンツをサーバＡ８００へ送信する（図７：ステップＳ２０１）。
In the application running on the
続いてサーバＡ８００は、ネットワーク端末装置Ａ１００からのコンテンツをネットワーク７００、Ｉ／Ｆ処理部８０５、受信部８０４を介して受け取り、コンテンツ格納部８０１に格納する（図７:ステップＳ２０２）。
Subsequently, the
なお、コンテンツの受け取り方法はネットワーク端末装置からネットワーク経由で受け取ることに限定されず、例えば、可搬媒体などを経由で受け取ることも可能である。また、コンテンツは、ネットワーク端末装置Ａ１００側の発表者の資料に限定されず、例えば、Ａ１００、Ａ２００、Ａ３００の各ネットワーク端末装置以外により作成されたものでも良い。この場合、各ネットワーク端末装置以外で作成されたコンテンツに対して各端末での使用権限が必要であることはいうまでもない。 Note that the content receiving method is not limited to receiving from a network terminal device via a network, and may be received via a portable medium, for example. Further, the content is not limited to the presenter's material on the network terminal device A100 side, and may be created by other than the network terminal devices A100, A200, and A300, for example. In this case, it goes without saying that use authority at each terminal is required for content created by other than each network terminal device.
さて、ネットワーク端末装置Ａ１００は他の端末Ａ２００を呼び出して双方向の通信が可能になると、コンテンツを他の端末に送信する旨の送信指示を、他の端末のアドレス情報と共にサーバＡ８００に対して送信する（図７：ステップＳ２０３）。 Now, when the network terminal apparatus A100 calls the other terminal A200 to enable two-way communication, the network terminal apparatus A100 transmits a transmission instruction for transmitting the content to the other terminal, together with the address information of the other terminal, to the server A800. (FIG. 7: Step S203).
サーバＡ８００はネットワーク端末装置Ａ１００から受け取った他の端末のアドレス情報を基にコンテンツを他の端末に送信する（図７：ステップＳ２０４）。
各ネットワーク端末装置はサーバＡ８００からコンテンツを受け取り、各ネットワーク端末装置のアプリケーションでコンテンツを読み込む（図７：ステップＳ２０５）。
Each network terminal device receives the content from the
各地点のネットワーク端末装置にコンテンツ、すなわち発表で用いるアプリケーションデータの読み込みが完了したら、各地点のネットワーク端末装置で動作するアプリケーションのモードを設定する（図３：ステップＳ１０２）。 When the content, that is, the application data used in the announcement, has been read into the network terminal device at each point, the mode of the application operating on the network terminal device at each point is set (FIG. 3: step S102).
以降は、実施の形態１と同様に順次処理を実行する（図３：ステップＳ１０３〜Ｓ１０９）。 Thereafter, the processing is executed sequentially as in the first embodiment (FIG. 3: steps S103 to S109).
以上に説明した本実施の形態２のアプリケーション連携システムおよびアプリケーション連携方法によれば、受信側装置でコンテンツを使用する前に発信側装置からサーバへコンテンツを送信し、受信側装置はサーバを介して発信側装置からコンテンツ受け取る。したがって、発信側装置は会議等でコンテンツが必要となる以前の適当な時にコンテンツをサーバに送信しておくことができる。 According to the application cooperation system and the application cooperation method of the second embodiment described above, the content is transmitted from the transmission side device to the server before the content is used on the reception side device, and the reception side device passes through the server. Receive content from the originating device. Therefore, the transmission side apparatus can transmit the content to the server at an appropriate time before the content is required at a meeting or the like.
なお、上記実施の形態２では、ネットワーク端末装置Ａ１００は他の端末Ａ２００を呼び出して双方向の通信が可能になった時点で、コンテンツを他の端末に送信するように他の端末のアドレスと共に送信指示をサーバＡ８００に対して送る例を説明したが、各ネットワーク端末装置がサーバＡ８００からコンテンツを受信するタイミングはこれに限定されず、ネットワーク端末装置Ａ１００側の発表者が実際にコンテンツを用いた発表を行う以前に各地点のアプリケーションが連携動作可能な状態に設定可能であれば良い。
In the second embodiment, when the network terminal device A100 calls the other terminal A200 to enable bidirectional communication, the content is transmitted together with the address of the other terminal so that the content is transmitted to the other terminal. Although an example in which an instruction is sent to the
例えば、コンテンツと配信先ネットワーク端末装置のアドレスとをネットワーク端末装置Ａ１００からサーバＡ８００に対して事前に送信しておき、サーバＡ８００はコンテンツをコンテンツ格納部８０１に格納すると共に、配信先ネットワーク端末装置のアドレスをユーザ管理部に登録しておく。また、ネットワーク端末装置Ａ１００は他の端末にコンテンツ取得先情報（ここではサーバＡ８００のアドレス情報など）を送信しておく。他のネットワーク端末装置Ａ２００はネットワーク７００に接続したら、サーバＡ８００にコンテンツ送信要求を出す。サーバＡ８００は他のネットワーク端末装置Ａ２００からコンテンツ送信要求を受けたら、ユーザ情報管理部のユーザアドレスとこれに対応したコンテンツを送信する。
For example, the content and the address of the distribution destination network terminal device are transmitted in advance from the network terminal device A100 to the server A800, and the server A800 stores the content in the
このようにすれば、各ネットワーク端末装置はネットワーク７００に接続されて、通信可能な状態になったときにコンテンツ送信要求をサーバＡ８００に送ることでコンテンツを受け取ることができるので、使用するコンテンツがサーバＡ８００に格納された後であれば、各地点の事情に応じて適当な時にコンテンツを受け取ることができる。
In this way, each network terminal device is connected to the network 700 and can receive content by sending a content transmission request to the
また、上記実施の形態２では、ネットワーク端末装置Ａ１００、Ａ２００、Ａ３００は実施の形態１のネットワーク端末装置１００、２００、３００と同様の構成・機能を有すると説明したが、端末装置はネットワーク端末装置のように会議用の装置に特化したものでなくても、ここで説明した機能を実現し得る構成を有するもの、例えば、パーソナルコンピュータなどであっても良い。
（実施の形態３）
本実施の形態３では、映像と音声とアプリケーションの制御とを同期するアプリケーション連携システムについて説明する。
In the second embodiment, the network terminal devices A100, A200, and A300 have been described as having the same configuration and function as the
(Embodiment 3)
In the third embodiment, an application cooperation system that synchronizes video, audio, and application control will be described.
図８に、本発明の実施の形態３に係るアプリケーション連携システムのブロック図を示す。また、図９に本発明の実施の形態３に係る時間制御部のブロック図を示す。 FIG. 8 shows a block diagram of an application cooperation system according to Embodiment 3 of the present invention. FIG. 9 shows a block diagram of a time control unit according to Embodiment 3 of the present invention.
ネットワーク端末装置Ｂ１００は、発表者側に設置されており、ネットワーク端末装置Ｂ２００、Ｂ３００は各会議の拠点に設置されている。また、各ネットワーク端末装置Ｂ１００、Ｂ２００、Ｂ３００は、実施の形態１のネットワーク端末装置１００、２００、３００と同様の機能を有するものであり、時間制御部１１３、２１３、３１３が各端末に追加されている。ここでは、実施の形態１で既に説明した同様の機能についての重複した説明は省略する。
The network terminal device B100 is installed on the presenter side, and the network terminal devices B200 and B300 are installed at the bases of the conferences. Each network terminal device B100, B200, B300 has the same function as the
以下に、時間制御部の処理について図８、図９、図１０を用いて説明する。 Hereinafter, the processing of the time control unit will be described with reference to FIG. 8, FIG. 9, and FIG.
図８、図９に示す時間制御部１１３、２１３、３１３は、多重データ生成部１１３Ａ（２１３Ａ、３１３Ａ）と、再生タイミング制御部１１３Ｂ（２１３Ｂ、３１３Ｂ）とより構成されている。多重データ生成部１１３Ａ（２１３Ａ、３１３Ａ）は、映像信号、音声信号、アプリケーション制御信号を、所定周期の同期信号と同期させて多重化されたパケットデータを生成する。なお、アプリケーション制御信号とは、アプリケーションに対する指示を伝達する信号である。また、再生タイミング制御部１１３Ｂ（２１３Ｂ、３１３Ｂ）は、送信側端末装置から受け取ったパケットデータから映像信号、音声信号、アプリケーション制御信号をそれぞれ分離して映像と音声とアプリケーション制御とが同期するように制御する。
The
なお、ここでは、同期信号も一つのチャネルとして扱っているが、ビット多重方式のように多重データ生成時にフレーム区切りを示すための同期信号を一定周期で埋め込み、受信側ではこの同期信号を検出して、同期信号と各ビットが映像信号と音声信号とアプリケーション制御信号のどのメディアに対応するかを識別して同期するようにしても良い。 In this example, the synchronization signal is also handled as one channel. However, as in the bit multiplexing method, a synchronization signal for indicating a frame delimiter is embedded at a fixed period when multiplexed data is generated, and this synchronization signal is detected on the receiving side. Thus, the synchronization signal and each bit may identify and synchronize the media corresponding to the video signal, the audio signal, and the application control signal.
図８に示す映像入力部１１４、２１４、３１４は、端末装置側に設置された（図示省略の）デジタルカメラまたはネットワークカメラからの映像を当該端末装置に取り込む。
The
図９の多重データ生成部１１３Ａ、２１３Ａ、３１３Ａは、当該端末装置が送信側端末装置として動作するときに、映像入力部１１４からの映像信号とマイク１０８からの音声信号と、アプリケーション制御部１０２より出力されるアプリケーション制御信号と、同期信号とを多重化したパケットデータを生成して、送信部１０３、２０３、３０３に送信する。
The multiplexed data generation units 113A, 213A, and 313A shown in FIG. 9 receive the video signal from the
図９の再生タイミング制御部１１３Ｂ、２１３Ｂ、３１３Ｂは、当該端末装置が受信端末装置として動作するときに、受信部１０４、２０４、３０４で受信したパケットデータから映像信号と音声信号とアプリケーション制御信号と同期信号とを分離して、映像と音声とアプリケーションデータの再生との同期を取りながら出力する。
The reproduction timing control units 113B, 213B, and 313B in FIG. 9 receive video signals, audio signals, and application control signals from the packet data received by the
図１０に本発明の実施の形態３に係るアプリケーション連携システムにおける映像信号と音声信号とアプリケーション制御信号と同期信号のタイミング図を示す。図１０Ａは、発表者側端末装置おけるタイミング図であり、図１０Ｂは、発表者以外の端末装置におけるタイミング図である。 FIG. 10 shows a timing diagram of a video signal, an audio signal, an application control signal, and a synchronization signal in the application cooperation system according to Embodiment 3 of the present invention. FIG. 10A is a timing diagram in the terminal device on the presenter side, and FIG. 10B is a timing diagram in terminal devices other than the presenter.
図１０Ａに示す映像信号Ａは、発表者側端末装置であるネットワーク端末装置Ｂ１００の映像入力部１１４に接続された図示省略のデジタルカメラやネットワークカメラから入力された動画や静止画等より入力される。図１０Ａに示す音声信号Ａは、ネットワーク端末装置Ｂ１００のマイク１０８から入力される。図１０Ａに示すアプリケーション制御信号Ａは、ネットワーク端末装置Ｂ１００の内部のアプリケーションを制御するための信号であり、アプリケーション制御部１０２から出力される。図１０Ａに示す同期信号Ａは、ネットワーク端末装置Ｂ１００の内部の映像信号Ａと音声信号Ａとアプリケーション制御信号Ａとを同期させる基準となる信号であり、ネットワーク端末装置Ｂ１００内部で発生させる。
The video signal A shown in FIG. 10A is input from a video camera, a still image, or the like input from a digital camera (not shown) connected to the
図１０Ｂの映像信号Ｂは、発表者以外の端末装置であるネットワーク端末装置Ｂ２００、Ｂ３００の映像入力部２１４、３１４に接続された図示省略のデジタルカメラまたはネットワークカメラから入力された動画や静止画等より入力される。図１０Ｂに示す音声信号Ｂは、ネットワーク端末装置Ｂ２００、Ｂ３００のマイク２０８、３０８から入力される。図１０Ｂに示す同期信号Ｂは、ネットワーク端末装置Ｂ２００、Ｂ３００の内部の映像信号Ｂと音声信号Ｂとを同期させる基準となる信号であり、ネットワーク端末装置Ｂ２００、Ｂ３００内部で発生させる。
The video signal B in FIG. 10B is a video or still image input from a digital camera or network camera (not shown) connected to the
まず最初に、発表者側端末装置としてのネットワーク端末装置Ｂ１００は、時間制御部１１３の多重データ生成部で図１０Ａに示すような各信号を同期させて多重データ化したパケットデータを生成して、送信部１０３により当該端末装置の外部に送信する。
First, the network terminal device B100 as the presenter-side terminal device generates packet data obtained by multiplexing each signal as shown in FIG. The
発表者以外の端末装置であるネットワーク端末装置Ｂ２００、Ｂ３００は、上記パケットデータを受け取り、時間制御部２１３、３１３の再生タイミング制御部２１３Ｂ、３１３Ｂで同期させて出力（再生）する。すなわち、ネットワーク端末装置Ｂ２００、Ｂ３００は、受け取った映像信号Ａを（図示省略の）表示部の一部に表示し、音声信号Ａをスピーカー１０７で再生し、アプリケーション制御信号に基づいてアプリケーションに指示を送信する。結果として、指示を受信したアプリケーションは、アプリケーションデータを（図示省略の）表示部の一部に表示する。
The network terminal devices B200 and B300, which are terminal devices other than the presenter, receive the packet data and output (reproduce) it in synchronization with the reproduction timing control units 213B and 313B of the
一方、発表者以外の端末装置であるネットワーク端末装置Ｂ２００、Ｂ３００は、時間制御部２１３、３１３の多重データ生成部で図１０Ｂに示すような各信号を同期させて多重データ化したパケットデータを生成して、送信部２０３、３０３により当該端末装置の外部に送信する。このときの送信端側末装置でネットワーク端末装置Ｂ２００（またはＢ３００）以外の端末装置であるネットワーク端末装置Ｂ１００、Ｂ３００（またはＢ２００）は、パケットデータを受け取り、時間制御部１１３、３１３（または２１３）の再生タイミング制御部１１３Ｂ、３１３Ｂ（または２１３Ｂ）で同期させて出力する。すなわち、ネットワーク端末装置Ｂ１００、Ｂ３００（またはＢ２００）は、受け取った映像信号Ｂを（図示省略の）表示部の一部に表示し、音声信号Ｂをスピーカー１０７、３０７（または２０７）で再生する。
On the other hand, the network terminal devices B200 and B300, which are terminal devices other than the presenter, generate packet data obtained by synchronizing the signals as shown in FIG. Then, the
このように、発表者以外の端末装置のいずれも、自端末装置の映像信号Ｂと音声信号Ｂを他端末装置に送信することができる。なお、受信側装置は、それぞれの端末装置から受け取った映像や音声の再生を切り替え可能な構成とするのが好ましい。すなわち、例えば発表者による発表が行われている場合に、（図示省略の）表示部で表示する映像やスピーカー１０７、３０７（または２０７）で再生する音声は、発表者側端末装置のものを再生し、他の端末装置側から意見や質問などがある場合は、再生タイミング制御部が他の端末装置側の映像や音声に切り替える。
Thus, any terminal device other than the presenter can transmit the video signal B and the audio signal B of the terminal device to the other terminal device. In addition, it is preferable that the receiving side device is configured to be able to switch the reproduction of video and audio received from each terminal device. That is, for example, when a presentation is made by a presenter, the video displayed on the display unit (not shown) and the sound reproduced on the
以上に説明したように、本発明の実施の形態３によれば映像信号と音声信号に加えアプリケーション制御信号と同期信号を多重データ化したパケットデータとして端末装置間で送受信している。従って、発表者側端末装置側に表示しているアプリケーションの画面データを他の端末装置に送る従来の方法に比べて送信するデータ量を軽減し、さらに他の端末装置におけるパケットデータ受信処理を軽減できるので、発表者側端末装置以外の端末装置においても発表者側端末装置と同様のタイミングで映像と音声を再生しながらアプリケーション（発表資料などの切り替え）を制御することができる。また、映像がハイビジョン品質である場合には、特に端末装置におけるパケットデータ送受信処理を軽減できるので、映像と音声のズレなどに対する効果が顕著に現れる。 As described above, according to the third embodiment of the present invention, in addition to the video signal and the audio signal, the application control signal and the synchronization signal are transmitted / received between the terminal devices as multiplexed data. Therefore, the amount of data to be transmitted is reduced compared to the conventional method of sending the screen data of the application displayed on the terminal device on the presenter side to other terminal devices, and further the packet data reception processing in other terminal devices is reduced. Therefore, it is possible to control the application (switching of presentation materials) while playing back video and audio at the same timing as the present terminal device even in the terminal device other than the present terminal device. In addition, when the video is of high-definition quality, packet data transmission / reception processing in the terminal device can be particularly reduced, so that the effect on the video / audio gap and the like appears remarkably.
また、再生タイミング制御部が、入力されたパケットに従って映像および／又は音声を切り替えるので、発表者側の状況に加えて、他の受信者の状況も把握可能である。 In addition, since the playback timing control unit switches the video and / or audio according to the input packet, it is possible to grasp the status of other recipients in addition to the status of the presenter.
本発明に係るネットワーク端末装置、アプリケーション連携システム、アプリケーション連携方法、およびそのプログラムは、送信側のディスプレイ等の映像を送ることなく、各場所にて映像の共有が可能である。従って、一般公衆電話網、インターネット網、ＤＳＬ網、専用線網等のネットワークを介して複数ユーザが共通の会議に参加する多地点のマルチメディア会議システムの端末装置として有用である。 The network terminal device, the application cooperation system, the application cooperation method, and the program according to the present invention can share a video in each place without sending a video on a display on the transmission side. Therefore, the present invention is useful as a terminal device of a multi-point multimedia conference system in which a plurality of users participate in a common conference via a network such as a general public telephone network, the Internet network, a DSL network, and a leased line network.
１００，２００，３００ ネットワーク端末装置
１０１ アプリケーション動作部
１０２ アプリケーション制御部
１０２Ａ 第一のアプリケーション連携部
１０２Ｂ 第二のアプリケーション連携部
１０２Ｃ 制御指示選択部
１０３ 送信部
１０４ 受信部
１０５ Ｉ／Ｆ処理部
１０６ ＩＰ音声変換部
１０７ スピーカー
１０８ マイク
１０９ 映像信号出力部
１１０ 入力指示部
１１１ アドレス設定部
１１２ バス
１１３ 時間制御部
１１４ 映像入力部
１１５ アプリケーション・データ管理部
100, 200, 300 Network
Claims (7)
発信側装置に、
当該発信側装置上で動作して、映像が含まれていない指示を受けて出力映像を切り替える第一のアプリケーションを、その第一のアプリケーションにアプリケーションデータを読込ませて動作させる第一のアプリケーション動作部と、
上記第一のアプリケーション動作部上で動作している上記第一のアプリケーションに、上記第一のアプリケーション、及び第一のアプリケーションと機能が同一のアプリケーションであって上記受信側装置上で動作する第二のアプリケーションのいずれにも適用される上記指示であり、それぞれのアプリケーションでの出力映像の切り替えを指示する画面切り替え指示を、その第一のアプリケーションに対するユーザの操作又はその第一のアプリケーションに予め設定された条件に従って与えて、その第一のアプリケーションでの出力映像を切り替えさせる第一のアプリケーション制御部と、
上記画面切り替え指示が上記第一のアプリケーションに与えられたとき、その画面切り替え指示を上記受信側装置へ送信する送信部とを備え、
各受信側装置に、
上記第二のアプリケーションを、上記アプリケーションデータの内容を含んだ電子ファイルを予め受け取って上記アプリケーションデータと同じ内容のアプリケーションデータをその第二のアプリケーションに読込ませて動作させる第二のアプリケーション動作部と、
上記送信部から送信された上記画面切り替え指示を受信する受信部と、
上記第二のアプリケーション動作部上で動作している上記第二のアプリケーションに、上記受信部にて受信された、映像が含まれていない上記画面切り替え指示を与えて、その第二のアプリケーションでのそのアプリケーションデータに基づく出力映像を、上記第一のアプリケーションでの上記出力映像の切り替えと連動して同一の映像に切り替えさせる第二のアプリケーション制御部と、
を備え、
上記発信側装置または各受信側装置の少なくとも一方に、
相手側の装置にて動作しているアプリケーションが、そのアプリケーション種、そのアプリケーションの状態、及びそのアプリケーションで使用されているアプリケーションデータについて、自装置のアプリケーションと同一か否かの同一性をチェックして、同一性を有する場合には上記連携動作を許可するアプリケーション・データ管理部を備えた、アプリケーション連携システム。 An application cooperation system that cooperates two or more applications that have the same function and are operated in each of a transmission-side device connected via a network and one or more reception-side devices,
On the sending device,
A first application operation unit that operates on the transmission side device and operates the first application that receives an instruction that does not include a video and switches the output video by causing the first application to read the application data. When,
The first application operating on the first application operation unit is the same as the first application and the second application operating on the receiving-side device, and having the same function as the first application. The above-mentioned instructions that are applied to any of the above applications, and a screen switching instruction that instructs switching of the output video in each application is set in advance for a user operation on the first application or the first application. A first application control unit that changes the output video of the first application,
A transmission unit that transmits the screen switching instruction to the receiving device when the screen switching instruction is given to the first application;
For each receiving device,
A second application operating unit that receives the electronic file including the content of the application data in advance and causes the second application to read the application data having the same content as the application data, and to operate the second application;
A receiving unit that receives the screen switching instruction transmitted from the transmitting unit;
The second application running on the second application operating unit is given the screen switching instruction received by the receiving unit and not including the video, and the second application A second application control unit that switches the output video based on the application data to the same video in conjunction with the switching of the output video in the first application;
With
At least one of the transmitting device or each receiving device,
Applications running in the other party of the device, the application type, checking of the application state, and with the application data used by the application, the application and the same whether the identity of the device itself And an application cooperation system provided with the application data management part which permits the said cooperation operation | movement when it has identity .
上記受信部は、上記サーバが上記送信指示を受けて送信している上記コンテンツを上記電子ファイルとして受信し、当該受信したコンテンツを上記受信側装置上で動作する上記第二のアプリケーションに引き渡す請求項１に記載のアプリケーション連携システム。 The transmission unit includes address information of the receiving device, content used by the second application operating on the receiving device, and a transmission instruction indicating that the content should be transmitted to the receiving device. Send it to a given server,
The receiving unit receives the content transmitted by the server in response to the transmission instruction as the electronic file, and delivers the received content to the second application operating on the receiving device. 1. The application linkage system according to 1.
上記受信部は、受信した上記アドレス情報に基づく上記サーバから上記コンテンツを上記電子ファイルとして受信し、当該受信したコンテンツを上記受信側装置上で動作する上記第二のアプリケーションに引き渡す請求項１に記載のアプリケーション連携システム。 The transmission section transmits the content to the second application running on the receiving side apparatus is utilized in a predetermined server, and further sends the address information of the server to the receiver of the receiving device,
The said receiving part receives the said content as the said electronic file from the said server based on the received said address information , The said received content is delivered to said 2nd application which operate | moves on the said receiving side apparatus. Application linkage system.
上記受信部は、上記画面切り替え指示のほか上記発信側装置からの上記映像信号及び上記音声信号を受信するものであり、
上記受信側装置は、上記受信部にて受信された上記映像信号、上記音声信号及び上記画面切り替え指示を受け取り当該映像と音声と指示とを同期させて出力する第二の時間制御部をさらに備える請求項１記載のアプリケーション連携システム。 The originating side apparatus, first synchronizing and the image switching instruction output from the audio signal inputted to the video signal and the audio input unit that is input to the movies image input unit and the first application control unit of further comprising a time control unit,
The receiving unit receives the video signal and the audio signal from the transmission side device in addition to the screen switching instruction,
The receiving device further comprises a second time control unit which received the video signal, the audio signal and synchronizes the the instructions and receives the video and audio to the display switching instruction output by the receiving unit The application linkage system according to claim 1.
上記発信側装置上で動作して、映像が含まれていない指示を受けて出力映像を切り替える第一のアプリケーションを、その第一のアプリケーションにアプリケーションデータを読込ませて動作させる第一のアプリケーション動作ステップと、
上記第一のアプリケーションと機能が同一のアプリケーションであって上記受信側装置上で動作する第二のアプリケーションを、上記アプリケーションデータの内容を含んだ電子ファイルを予め受け取って上記アプリケーションデータと同じ内容のアプリケーションデータをその第二のアプリケーションに読込ませて動作させる第二のアプリケーション動作ステップと、
上記発信側装置または各受信側装置の少なくとも一方において、相手側の装置にて動作しているアプリケーションが、そのアプリケーション種、そのアプリケーションの状態、及びそのアプリケーションで使用されているアプリケーションデータについて、自装置のアプリケーションと同一か否かの同一性をチェックして、同一性を有する場合には上記連携動作を許可するアプリケーション・データ管理ステップと、
上記発信側装置上で動作している上記第一のアプリケーションに、上記第一のアプリケーション、及び第一のアプリケーションと機能が同一のアプリケーションであって上記受信側装置上で動作する第二のアプリケーションのいずれにも適用される上記指示であり、それぞれのアプリケーションでの出力映像の切り替えを指示する画面切り替え指示を、その第一のアプリケーションに対するユーザの操作又はその第一のアプリケーションに予め設定された条件に従って与えて、その第一のアプリケーションでの出力映像を切り替えさせる第一のアプリケーション制御ステップと
上記画面切り替え指示が上記第一のアプリケーションに与えられたとき、その画面切り替え指示を上記発信側装置が上記受信側装置へ送信する送信ステップと、
上記送信ステップにて送信された上記画面切り替え指示を上記受信側装置が受信する受信ステップと、
上記受信側装置上で動作している上記第二のアプリケーションに、上記受信ステップにて受信された、映像が含まれていない上記画面切り替え指示を与えて、その第二のアプリケーションでのそのアプリケーションデータに基づく出力映像を、上記第一のアプリケーションでの上記出力映像の切り替えと連動して同一の映像に切り替えさせる第二のアプリケーション制御ステップとを有する、アプリケーション連携方法。 An application cooperation method for operating two or more applications that have the same function and operate on each of a transmission side device and one or more reception side devices connected via a network,
A first application operation step that operates on the transmission-side apparatus and operates a first application that switches an output video in response to an instruction not including a video by causing the first application to read application data. When,
An application having the same contents as the application data by receiving an electronic file including the contents of the application data in advance as a second application operating on the receiving-side apparatus and having the same function as the first application. A second application operation step for causing the second application to read and operate the data;
In at least one of said originating unit or the receiving device, the application running at the other side of the device, the application type, the application state, and with the application data used by the application, An application / data management step that checks the identity of whether or not it is the same as the application of its own device, and permits the cooperative operation when there is identity ,
The first application running on the originating device is the same as the first application and the second application running on the receiving device and having the same function as the first application. These instructions apply to both, and a screen switching instruction for instructing switching of output video in each application is performed in accordance with a user operation on the first application or conditions preset in the first application. When the first application control step for switching the output video in the first application and the screen switching instruction is given to the first application, the transmitting side device receives the screen switching instruction. A transmission step of transmitting to the side device;
A receiving step in which the receiving side apparatus receives the screen switching instruction transmitted in the transmitting step;
The second application running on the receiving side device is given the screen switching instruction received in the receiving step and does not include video, and the application data in the second application And a second application control step for switching the output video based on the same video in conjunction with the switching of the output video in the first application.
上記映像信号と上記音声信号と上記第一のアプリケーション制御ステップにて出力された上記画面切り替え指示とを同期させる第一の時間制御ステップを上記送信ステップの前段に、
上記受信ステップにて受信された上記映像信号、上記音声信号及び上記画面切り替え指示を受け取り、当該映像と音声と画面切り替え指示とを同期させて出力する第二の時間制御ステップを上記アプリケーション制御ステップの前段に、
さらに有する請求項６に記載のアプリケーション連携方法。 Said transmission step, addition to the screen switching instruction, transmits a voice signal inputted to the video signal and the audio input unit is input to the image input unit to the receiving device, the receiving step, the screen switching instruction In addition to receiving the video signal and the audio signal transmitted in the transmission step,
A first time control step for synchronizing the video signal, the audio signal, and the screen switching instruction output in the first application control step is preceded by the transmission step .
A second time control step of receiving the video signal , the audio signal, and the screen switching instruction received in the receiving step and outputting the video, audio, and screen switching instruction in synchronization with each other is the application control step. Before the
Further application cooperation method according to claim 6 that Yusuke.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004021196A JP4406295B2 (en) | 2003-02-05 | 2004-01-29 | Application linkage system and application linkage method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003028034 | 2003-02-05 | ||
| JP2004021196A JP4406295B2 (en) | 2003-02-05 | 2004-01-29 | Application linkage system and application linkage method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004259263A JP2004259263A (en) | 2004-09-16 |
| JP4406295B2 true JP4406295B2 (en) | 2010-01-27 |
Family
ID=33133676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004021196A Expired - Fee Related JP4406295B2 (en) | 2003-02-05 | 2004-01-29 | Application linkage system and application linkage method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4406295B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006245822A (en) * | 2005-03-01 | 2006-09-14 | Konica Minolta Holdings Inc | Image distribution system |
| US7720251B2 (en) | 2006-06-23 | 2010-05-18 | Echo 360, Inc. | Embedded appliance for multimedia capture |
| JP4962857B2 (en) * | 2007-05-25 | 2012-06-27 | Ｎｅｃディスプレイソリューションズ株式会社 | Projector, transmission terminal, and audio output control method |
| US9386054B2 (en) * | 2009-04-07 | 2016-07-05 | Qualcomm Incorporated | System and method for coordinated sharing of media among wireless communication devices |
| WO2010122741A1 (en) | 2009-04-21 | 2010-10-28 | 株式会社デジタル | Server device, server-client system, server program, and recording medium with same recorded thereon |
| EP3664076A3 (en) | 2011-06-30 | 2020-09-16 | Echo 360, Inc. | Methods and apparatus for an embedded appliance |
| JP6357760B2 (en) | 2013-11-27 | 2018-07-18 | 株式会社リコー | Terminal device, program, screen sharing method, and screen sharing system |
| JP7087779B2 (en) * | 2018-07-26 | 2022-06-21 | 株式会社リコー | Terminal devices, conference systems, terminal device control methods, and programs |
-
2004
- 2004-01-29 JP JP2004021196A patent/JP4406295B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004259263A (en) | 2004-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4372558B2 (en) | Telecommunications system | |
| CA2591732C (en) | Intelligent audio limit method, system and node | |
| JP5129989B2 (en) | Conference layout control and control protocol | |
| US20070294263A1 (en) | Associating independent multimedia sources into a conference call | |
| US20040183896A1 (en) | Cooperative application system, cooperative application method, and network terminal | |
| US20120086769A1 (en) | Conference layout control and control protocol | |
| US8643695B2 (en) | Videoconferencing endpoint extension | |
| EP1868347A2 (en) | Associating independent multimedia sources into a conference call | |
| US20070291667A1 (en) | Intelligent audio limit method, system and node | |
| JP6172610B2 (en) | Video conferencing system | |
| WO2007055206A1 (en) | Communication apparatus, communication method, communication system, program, and computer readable recording medium | |
| JP6372156B2 (en) | Connection control system, communication terminal, communication system, program, and connection control method | |
| US20070127463A1 (en) | Method, apparatus, and computer program product for gatekeeper streaming | |
| JP4406295B2 (en) | Application linkage system and application linkage method | |
| WO2016147538A1 (en) | Videoconference communication device | |
| JP2016167676A (en) | Communication terminal device, communication management system, communication method, and program | |
| JP6481937B2 (en) | Communication device for video conference | |
| JP6349764B2 (en) | Transmission system and program | |
| JP2006229902A (en) | Conference supporting system, method and computer program | |
| MX2007006912A (en) | Conference layout control and control protocol. | |
| MX2007006914A (en) | Intelligent audio limit method, system and node. | |
| JP2010118715A (en) | Conference system and data processing method | |
| MX2007006910A (en) | Associating independent multimedia sources into a conference call. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060801 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081112 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091106 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131113 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |