JP2009076952A - Tv conference apparatus and method - Google Patents

Tv conference apparatus and method Download PDF

Info

Publication number
JP2009076952A
JP2009076952A JP2006004520A JP2006004520A JP2009076952A JP 2009076952 A JP2009076952 A JP 2009076952A JP 2006004520 A JP2006004520 A JP 2006004520A JP 2006004520 A JP2006004520 A JP 2006004520A JP 2009076952 A JP2009076952 A JP 2009076952A
Authority
JP
Japan
Prior art keywords
delay
video
transmission
audio
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006004520A
Other languages
Japanese (ja)
Inventor
Yoshimasa Honda
義雅 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2006004520A priority Critical patent/JP2009076952A/en
Priority to PCT/JP2006/326033 priority patent/WO2007080788A1/en
Publication of JP2009076952A publication Critical patent/JP2009076952A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To eliminate uncomfortable feeling by reducing the delay of TV conference efficiently. <P>SOLUTION: A section 105 for determining low latency priority sets a higher low latency priority for higher frequency by using the transmission/reception frequency of voice data, a section 106 for determining a delay sets a lower delay for higher low latency priority, and a parameter control section 107 controls encoding parameters or transmission parameters to obtain a set delay so that the delay is reduced more for a state requiring a low delay, e.g. the state of TV conference where active argument is exchanged with high transmission/reception frequency of voice data, and the delay is increased in other cases, thereby achieving a relatively low latency performance for a TV conference having high necessity for low latency even in a best effort type network. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、ＴＶ会議装置に関し、音声データの送信受信頻度を用いて遅延量を決定し、符号化パラメタあるいは伝送パラメタを動的に変更することにより決定した遅延量以下での低遅延映像音声伝送を行い、違和感なく円滑な遠隔コミュニケーションが実現可能なＴＶ会議装置に関する。   The present invention relates to a video conference apparatus, and determines a delay amount using the frequency of audio data transmission and reception, and low-delay video and audio transmission within a delay amount determined by dynamically changing an encoding parameter or a transmission parameter. It is related with the TV conference apparatus which can implement | achieve smooth remote communication without discomfort.

近年、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）や光ファイバー網が急速に普及し、低価格で高速なインターネット接続が利用可能となってきている。また、こうした低価格の高速インターネットを利用して、遠隔の複数拠点間で映像音声データを双方向に伝送することにより簡易にＴＶ会議システムを構築することが可能となってきている。   In recent years, ADSL (Asymmetric Digital Subscriber Line) and optical fiber networks have rapidly spread, and low-speed and high-speed Internet connection has become available. In addition, it has become possible to easily construct a TV conference system by bi-directionally transmitting video and audio data between a plurality of remote sites using such a low-cost high-speed Internet.

しかしながら、現在のインターネットに代表されるＩＰネットワークは、データの欠落無くデータを伝送可能な有効帯域に関しては何も保証されないベストエフォート型のネットワークである。従って、例えば伝送可能な有効帯域を越えた帯域のデータを伝送すると、ネットワークにおいては、輻輳状態が発生し、映像・音声データの伝送遅延の発生し、さらにネットワーク機器におけるバッファを超えるような輻輳状態では、データの欠落が発生する。   However, the current IP network represented by the Internet is a best-effort network that guarantees nothing about the effective bandwidth in which data can be transmitted without data loss. Therefore, for example, when transmitting data in a band that exceeds the effective bandwidth that can be transmitted, a congestion state occurs in the network, a transmission delay of video / audio data occurs, and the congestion state exceeds the buffer in the network device. Then, data loss occurs.

また、一般にＴＶ会議では、円滑なコミュニケーションを図るために映像音声を途切れなく低遅延に伝送することが非常に重要とされている。しかしながら、先に述べたように低価格なベストエフォート型ネットワークでは、帯域が保証されないため、常に低遅延伝送を実現することは非常に困難である。一方、低遅延伝送を実現するため、ベストエフォート型のネットワークではなく、帯域保証型のネットワークである専用線サービスを利用することも可能であるが、月額約１千万円の使用料が必要となり、非常に高コストとなる。   In general, in video conferences, it is very important to transmit video and audio with a low delay without interruption in order to facilitate smooth communication. However, as described above, in a low-cost best-effort network, bandwidth is not guaranteed, so it is very difficult to always realize low-delay transmission. On the other hand, to realize low-latency transmission, it is possible to use a dedicated line service that is a bandwidth-guaranteed network instead of a best-effort network, but a monthly fee of about 10 million yen is required. It will be very expensive.

これを解決する従来方法として、例えば特許文献１では、ＴＶ会議において、通常は帯域の大きな映像の遅延に合わせて音声に遅延を挿入して映像音声の同期を行うが、両者の音声が入力された場合は、音声遅延の挿入を止めることにより音声の低遅延化を図り、応答性能を高めている。   As a conventional method for solving this problem, for example, in Patent Document 1, in a video conference, video audio is synchronized by inserting a delay in the audio in accordance with the delay of the video having a large bandwidth, but both audios are input. In this case, the voice delay is reduced by stopping the voice delay insertion, and the response performance is improved.

図９は従来方法のＴＶ会議装置を示した図面である。図９において、ＴＶ会議装置９１０は、映像の符号化／復号化を行う映像符号化／復号化部９０１と、音声の符号化／復号化を行う音声符号化／復号化部９０２と、音声入力を遅延させる送信遅延回路９０３と、遅延入力の切り替えを行う送信切り替え器９０４と、送信受信側の音声入力を監視し、双方が同時に入力される場合に遅延時間を短くする音声入力監視部９０５と、受信切り替えを行う受信切り替え部９０６と、受信音声に対して遅延入力を行う受信遅延回路９０７と、映像・音声の多重化／分離処理を行う多重／分離部９０８とから構成され、多地点接続制御装置９０９と接続し、ＴＶ会議装置間で双方向の映像・音声通信を行うものである。   FIG. 9 shows a conventional video conference apparatus. In FIG. 9, a video conference apparatus 910 includes a video encoding / decoding unit 901 that performs video encoding / decoding, an audio encoding / decoding unit 902 that performs audio encoding / decoding, and an audio input. A transmission delay circuit 903 that delays the transmission, a transmission switch 904 that switches the delay input, a voice input monitoring unit 905 that monitors the voice input on the transmission / reception side and shortens the delay time when both are input simultaneously, A reception switching unit 906 that performs reception switching, a reception delay circuit 907 that performs delay input on received audio, and a multiplexing / demultiplexing unit 908 that performs video / audio multiplexing / demultiplexing processing, It is connected to the control device 909 and performs bidirectional video / audio communication between the TV conference devices.

このように、特許文献１におけるＴＶ会議装置は、音声入力監視部９０５において、送信・受信側の音声入力を監視し、双方が同時に入力される場合に、遅延時間を短くすることにより、音声の低遅延伝送を可能とするものである。
特開平７−３１７３６２号公報 As described above, the TV conference apparatus in Patent Document 1 monitors the audio input on the transmission / reception side in the audio input monitoring unit 905, and shortens the delay time when both are input at the same time. Low delay transmission is possible.
JP 7-317362 A

しかしながら、特許文献１では、音声データのみを低遅延に伝送してしまうため、映像データは音声データと同期が取られずに表示されることとなる。例えば、発話者の音声が再生された後に、遅延して発話映像が再生されるといった、不自然な映像・音声再生となり、ＴＶ会議においては大きな違和感を生むこととなる。   However, in Patent Document 1, since only audio data is transmitted with low delay, video data is displayed without being synchronized with the audio data. For example, an unnatural video / audio reproduction in which an utterance image is reproduced with a delay after an utterer's audio is reproduced, which causes a great sense of incongruity in a TV conference.

このような点に鑑みて、本発明では、音声データの送受信頻度を用いて映像音声データの低遅延伝送が必要とされる度合いを低遅延優先度として判定し、低遅延優先度が高い状態ほど、低遅延伝送を実現できる様に映像音声符号化パラメタあるいは伝送パラメタを制御することにより、ベストエフォート型ネットワークにおいても、低遅延伝送が必要な状態ほど低遅延伝送を実現することを目的とする。   In view of such points, in the present invention, the degree to which low-delay transmission of video / audio data is required is determined as low-delay priority using the audio data transmission / reception frequency, and the higher the low-delay priority, The purpose of this invention is to realize low-delay transmission in a state where low-delay transmission is necessary even in a best-effort network by controlling video / audio encoding parameters or transmission parameters so that low-delay transmission can be realized.

本発明のＴＶ会議装置は、伝送路を通じて映像音声の通信を行うＴＶ会議装置であって、映像音声を入力する映像音声入力手段と、映像音声を符号化する映像音声符号化手段と、映像音声データを伝送路を通じてＴＶ会議装置に送信する送信手段と、低遅延の優先度を決定する低遅延優先度決定手段と、低遅延優先度を用いて遅延量を決定する遅延量決定手段と、遅延量に従い映像音声符号化あるいは伝送パラメタの変更を行うパラメタ変更手段と、映像音声データを受信する受信手段と、映像音声データを復号化する映像音声復号化手段と、映像音声を出力する映像音声出力手段を有している。   The video conference apparatus of the present invention is a video conference apparatus that performs video and audio communication through a transmission line, and includes video and audio input means for inputting video and audio, video and audio encoding means for encoding video and audio, and video and audio. A transmission means for transmitting data to the TV conference device through a transmission line; a low delay priority determination means for determining a low delay priority; a delay amount determination means for determining a delay amount using the low delay priority; and a delay Parameter changing means for changing video / audio encoding or transmission parameters according to the amount, receiving means for receiving video / audio data, video / audio decoding means for decoding video / audio data, and video / audio output for outputting video / audio Have means.

この構成によれば、低遅延優先度を決定して符号化・伝送パラメタの変更を動的に行うことができるため、画一的な遅延量ではなく、会議毎に必要な低遅延度合い応じた遅延量を設定可能なＴＶ会議を実現することが可能である。   According to this configuration, it is possible to dynamically change the encoding / transmission parameters by determining the low delay priority, so that not the uniform delay amount but the low delay level required for each conference It is possible to realize a TV conference in which the delay amount can be set.

また、本発明に係わるＴＶ会議装置における低遅延優先度決定手段は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定することを特徴とする。   In addition, the low delay priority determination means in the video conference apparatus according to the present invention uses the frequency of transmission and reception of voice data that is sound, and the lower the delay priority is, the higher the frequency of transmission / reception of voice data is. It is characterized by a high decision.

この構成によれば、音声データの送信・受信の頻度が高い時ほど、低遅延優先度を高く設定するため、活発な議論がなされている会議ほど、低遅延の優先度を高めることが可能である。   According to this configuration, since the low-delay priority is set higher as the frequency of audio data transmission / reception is higher, the lower-delay priority can be increased as the conference is actively discussed. is there.

また、本発明に係わるＴＶ会議装置における低遅延優先度決定手段は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定する際に、あらかじめ設定された閾値と比較して低遅延優先度を決定する特徴とする。   In addition, the low delay priority determination means in the video conference apparatus according to the present invention uses the frequency of transmission and reception of voice data that is sound, and the lower the delay priority is, the higher the frequency of transmission / reception of voice data is. When determining a high value, the low delay priority is determined in comparison with a preset threshold value.

この構成によれば、低遅延優先度を決定する際に、音声データの送信・受信頻度と予め設定した閾値を比較する単純な処理で低遅延優先度を決定することが可能である。   According to this configuration, when determining the low delay priority, it is possible to determine the low delay priority by a simple process of comparing the audio data transmission / reception frequency with a preset threshold value.

また、本発明に係わるＴＶ会議装置は、さらに音声データの送受信頻度を他のＴＶ会議装置との間で送受信する送受信部を有し、前記低遅延優先度決定手段は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定する際に、前記送受信部により受信した他のＴＶ会議装置の送受信頻度と比較して、頻度が高いほど遅延優先度を決定する特徴とする。   The TV conference apparatus according to the present invention further includes a transmission / reception unit that transmits and receives audio data transmission / reception frequency to / from another TV conference apparatus, and the low-delay priority determination means includes voice data that is sound. When the low-delay priority is determined to be higher as the frequency of transmission / reception of audio data increases using the frequency of transmission and reception of the video, compared with the transmission / reception frequency of other TV conference devices received by the transmission / reception unit The higher the frequency, the more the delay priority is determined.

この構成によれば、他のＴＶ会議と比較して低遅延優先度を決定するため、複数のＴＶ会議の中で低遅延の要求が高いものほど低遅延とすることが可能である。   According to this configuration, since the low delay priority is determined as compared with other TV conferences, it is possible to reduce the delay as the demand for low delay among the plurality of TV conferences increases.

また、本発明に係わるＴＶ会議装置における低遅延優先度決定手段は、有音である音声データの送信時刻および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差が小さいほど低遅延優先度を高く決定することを特徴とする。   Further, the low delay priority determining means in the video conference apparatus according to the present invention uses the transmission time of the voice data that is sound and the reception time of the sound data of the sound, and the difference between the transmission time and the reception time is smaller. The low delay priority is determined to be high.

この構成によれば、送信・受信時刻の差が小さいほど低遅延優先度を高めるため、遅延によって双方の発話タイミングが重なる状態を回避することが可能である。   According to this configuration, since the low delay priority is increased as the difference between the transmission time and the reception time is smaller, it is possible to avoid a state in which both speech timings overlap due to delay.

また、本発明に係わるＴＶ会議装置における低遅延優先度決定手段は、有音である音声データの送信時刻および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差と予め設定された閾値と比較して、差が小さいほど低遅延優先度を高く決定することを特徴とする。   Further, the low-delay priority determination means in the video conference apparatus according to the present invention uses the transmission time of the voice data that is sound and the reception time of the sound data of the sound, and sets the difference between the transmission time and the reception time in advance. The low delay priority is determined to be higher as the difference is smaller than the threshold value.

この構成によれば、低遅延優先度の決定に際して、単純な閾値処理により低遅延優先度を決定することが可能である。   According to this configuration, when determining the low delay priority, it is possible to determine the low delay priority by simple threshold processing.

また、本発明に係わるＴＶ会議装置は、さらに音声データの送受信時刻の差を他のＴＶ会議装置との間で送受信する送受信部を有し、前記低遅延優先度決定手段は、有音である音声データの送信および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差が小さいほど低遅延優先度を高く決定する際に、前記送受信部により受信した他のＴＶ会議装置の送受信時刻の差と比較して、差が小さいほど低遅延優先度を決定する特徴とする。   The TV conference apparatus according to the present invention further includes a transmission / reception unit that transmits / receives a difference in the transmission / reception time of audio data to / from another TV conference apparatus, and the low-delay priority determination unit is sounded. When the low delay priority is determined to be higher as the difference between the transmission time and the reception time is smaller using the transmission time of the voice data and the reception time of the voiced voice data, other TV conference devices received by the transmission / reception unit Compared with the difference in transmission and reception time, the smaller the difference, the lower the delay priority is determined.

この構成によれば、低遅延優先度決定に際して、送信時刻・受信時刻の差を他のＴＶ会議と比較して決定するため、より低遅延要求が高いＴＶ会議ほど低遅延とする事が可能である。   According to this configuration, when determining the low delay priority, the difference between the transmission time and the reception time is determined in comparison with other TV conferences. Therefore, a TV conference with a higher request for lower delay can have a lower delay. is there.

また、本発明に係わるＴＶ会議装置における遅延量決定手段は、前記決定された低遅延優先度を用いて、予め決められた閾値処理を行い、優先度が高いほど遅延量を小さい値に決定することを特徴とする。   The delay amount determining means in the video conference apparatus according to the present invention performs a predetermined threshold process using the determined low delay priority, and determines the delay amount to be a smaller value as the priority is higher. It is characterized by that.

この構成によれば、低遅延優先度を用い閾値処理により遅延量を決定するため、単純な処理によって遅延量を決定することが可能である。   According to this configuration, since the delay amount is determined by threshold processing using the low delay priority, the delay amount can be determined by simple processing.

また、本発明に係わるＴＶ会議装置において、さらに低遅延優先度を他のＴＶ会議装置と送受信する送受信部を有し、前記遅延量決定手段は、前記決定された第１の低遅延優先度と、前記送受信手段により受信した別のＴＶ会議装置の第２の低遅延優先度とを比較し、低遅延優先度が高いＴＶ会議ほど遅延量を小さい値に決定することを特徴とする。   The TV conference apparatus according to the present invention further includes a transmission / reception unit for transmitting and receiving a low delay priority to and from another TV conference apparatus, and the delay amount determination means includes the determined first low delay priority and The second low delay priority of another TV conference apparatus received by the transmission / reception means is compared, and the delay amount is determined to be a smaller value for a TV conference with a higher low delay priority.

この構成によれば、遅延量の決定に際して、他のＴＶ会議装置と低遅延優先度を比較するため、より低遅延が要求されるＴＶ会議の遅延量を減らすことが可能である。   According to this configuration, when determining the delay amount, since the low delay priority is compared with other TV conference devices, it is possible to reduce the delay amount of the TV conference that requires a lower delay.

また、本発明に係わるＴＶ会議装置において、パラメタ変更手段は、前記決定された遅延量以下となるように、映像音声復号化の受信バッファ容量を変更することを特徴とする。   In the video conference apparatus according to the present invention, the parameter changing means changes the reception buffer capacity of the video / audio decoding so as to be equal to or less than the determined delay amount.

この構成によれば、映像音声復号化のバッファ量を動的に変更することにより、受信バッファ容量が小さいほど受信待ち時間が小さくて済むため、要求された遅延値以下に遅延量を制御することが可能である。   According to this configuration, by dynamically changing the video / audio decoding buffer amount, the reception waiting time becomes smaller as the reception buffer capacity is smaller. Therefore, the delay amount is controlled to be equal to or less than the requested delay value. Is possible.

また、本発明に係わるＴＶ会議装置において、パラメタ変更手段は、前記決定された遅延量以下となるように、映像音声符号化の最大発生符号量を小さく変更することを特徴とする。   In the video conference apparatus according to the present invention, the parameter changing means changes the maximum generated code amount of the video / audio encoding so as to be smaller than the determined delay amount.

この構成によれば、映像音声符号化の最大発生符号量が小さいほど、伝送遅延が小さくなり低遅延伝送を行うことなるため、要求された遅延量以下に制御することが可能である。   According to this configuration, the smaller the maximum generated code amount of the video / audio encoding is, the smaller the transmission delay is, and the lower delay transmission is performed.

また、本発明に係わるＴＶ会議装置において、前記決定された遅延量に従い、遅延量が小さいほど送信データのパケット優先度を高く変更することを特徴とする。   In the video conference apparatus according to the present invention, according to the determined delay amount, the packet priority of transmission data is changed higher as the delay amount is smaller.

この構成によれば、パケット優先度が高いデータほど、伝送路では先に転送されるため、遅延量を小さく設定した場合ほど低遅延伝送を実現する事が可能である。   According to this configuration, data with a higher packet priority is transferred earlier in the transmission path, so that the lower delay transmission can be realized as the delay amount is set smaller.

また、本発明に係わるＴＶ会議装置において、さらに低遅延優先度の送信処理および遅延量の受信処理を遅延制御サーバ間と行うデータ送受信手段を有し、前記パラメタ変更手段は、前記遅延制御サーバにより複数のＴＶ会議装置より受信された低遅延優先度が高いＴＶ会議装置ほど遅延量を小さくなるように決定され、ＴＶ会議装置へ送信された遅延量を用いて、映像音声符号化あるいは伝送パラメタを変更することを特徴とする。   The video conference apparatus according to the present invention further includes data transmission / reception means for performing transmission processing with a low delay priority and reception processing for a delay amount between delay control servers, and the parameter changing means is controlled by the delay control server. A video conference device having a higher low delay priority received from a plurality of video conference devices is determined to reduce the delay amount, and using the delay amount transmitted to the TV conference device, a video / audio encoding or transmission parameter is set. It is characterized by changing.

この構成によれば、遅延制御サーバが遅延量を一元管理するため、複数のＴＶ会議の低遅延優先度の把握が容易であり、低遅延要求が高いＴＶ会議ほど低遅延な符号化あるいは伝送を行うことが可能である。   According to this configuration, since the delay control server centrally manages the delay amount, it is easy to grasp the low delay priority of a plurality of TV conferences. Is possible.

本発明のＴＶ会議方法は伝送路を通じて映像音声の通信を行うＴＶ会議方法であって、映像音声を入力する映像音声入力ステップと、映像音声を符号化する映像音声符号化ステップと、映像音声データを伝送路を通じてＴＶ会議装置に送信する送信ステップと、低遅延の優先度を決定する低遅延優先度決定ステップと、低遅延優先度を用いて遅延量を決定する遅延量決定ステップと、遅延量に従い映像音声符号化あるいは伝送パラメタの変更を行うパラメタ変更ステップと、映像音声データを受信する受信ステップと、映像音声データを復号化する映像音声復号化ステップと、映像音声を出力する映像音声出力ステップを有する。   The video conference method of the present invention is a video conference method in which video and audio are communicated through a transmission line, and includes a video and audio input step for inputting video and audio, a video and audio encoding step for encoding video and audio, and video and audio data. Transmitting to the video conference apparatus through the transmission path, a low delay priority determining step for determining a low delay priority, a delay amount determining step for determining a delay amount using the low delay priority, and a delay amount The parameter changing step for changing the video / audio encoding or transmission parameter according to the above, the receiving step for receiving the video / audio data, the video / audio decoding step for decoding the video / audio data, and the video / audio output step for outputting the video / audio Have

この構成によれば、低遅延優先度を決定して符号化・伝送パラメタの変更を行うことができるため、会議毎に必要とされる低遅延要求に応じて遅延量を設定したＴＶ会議を実現することが可能である。   According to this configuration, since it is possible to determine the low delay priority and change the encoding / transmission parameters, it is possible to realize a TV conference in which a delay amount is set according to a low delay request required for each conference. Is possible.

また、本発明のＴＶ会議方法は、さらに低遅延優先度の送信処理および遅延量の受信処理を遅延管理サーバ間と行うデータ送受信ステップを有し、前記パラメタ変更ステップは、前記遅延管理サーバにおいて複数のＴＶ会議方法より受信された低遅延優先度を用いて優先度が高いＴＶ会議方法ほど遅延量を小さく決定され、ＴＶ会議装置へ送信された遅延量を用いて、映像音声符号化あるいは伝送パラメタを変更することを特徴とする。   The TV conference method according to the present invention further includes a data transmission / reception step of performing transmission processing of low delay priority and reception processing of delay amount between the delay management servers, and the parameter changing step includes a plurality of parameter changing steps in the delay management server. The video conference encoding method or the transmission parameter is determined by using the delay amount that is determined to be smaller for the TV conference method having a higher priority using the low delay priority received from the TV conference method and using the delay amount transmitted to the TV conference device. It is characterized by changing.

この構成によれば、遅延管理サーバが遅延量を一元管理するため、複数のＴＶ会議の低遅延優先度の把握が容易であり、低遅延要求が高いＴＶ会議ほど低遅延な符号化あるいは伝送を行うことが可能である。   According to this configuration, since the delay management server centrally manages the delay amount, it is easy to grasp the low delay priority of a plurality of TV conferences, and a TV conference with a high low delay requirement performs encoding or transmission with a low delay. Is possible.

本発明によれば、音声データの送信受信頻度に従って低遅延優先度を算出し、算出した低遅延優先度に基づき遅延量を決定することにより、活発な議論が行われているＴＶ会議など、低遅延の必要性が高い場合ほど低遅延となるように符号化パラメタ・伝送パラメタの制御を実現することが可能である。   According to the present invention, a low delay priority is calculated according to the transmission / reception frequency of audio data, and a delay amount is determined based on the calculated low delay priority. It is possible to realize control of encoding parameters and transmission parameters so that the delay becomes higher as the necessity for delay is higher.

以下、本発明の実施の形態について、図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

（実施の形態１）
図１は、本発明の実施の形態１に係るＴＶ会議装置の構成を示すブロック図である。図１に示すＴＶ会議装置１０１は、カメラ、マイクと接続し映像音声を入力処理する映像音声入力部１０２と、映像音声の符号化を行う映像音声符号化部１０３と、伝送路１１１と接続し符号化後の映像音声データを伝送する送信部１０４と、映像音声入力を用いて低遅延優先度を決定する低遅延優先度決定部１０５と、低遅延優先度を用いて遅延量を決定する遅延量決定部１０６と、遅延量を用いて符号化・伝送パラメタを変更するパラメタ制御部１０７と、伝送路１１１と接続し通信相手であるＴＶ会議端末から送信された符号化後の映像音声データを受信する受信部１１０と、符号化された映像音声データを復号化する映像音声復号化部１０９と、モニタ、スピーカと接続し、復号化した映像音声データをモニタ、スピーカに出力する映像音声出力部１０８とで構成となっている。 (Embodiment 1)
FIG. 1 is a block diagram showing the configuration of the TV conference device according to Embodiment 1 of the present invention. A video conference apparatus 101 shown in FIG. 1 is connected to a camera and a microphone and connected to a video / audio input unit 102 that performs video / audio input processing, a video / audio encoding unit 103 that encodes video / audio, and a transmission path 111. Transmitter 104 for transmitting encoded video / audio data, low delay priority determination unit 105 for determining low delay priority using video / audio input, and delay for determining delay amount using low delay priority The amount determination unit 106, the parameter control unit 107 that changes the encoding / transmission parameter using the delay amount, and the encoded video and audio data transmitted from the TV conference terminal that is connected to the transmission path 111 and is a communication partner. The receiving unit 110 for receiving, the video / audio decoding unit 109 for decoding the encoded video / audio data, the monitor and the speaker are connected, and the decoded video / audio data is output to the monitor and the speaker. It has a structure in the image audio output unit 108.

映像音声入力部１０２は、カメラ、マイクから、非圧縮の映像データと音声データをフレーム単位で入力し、映像音声符号化部１０３と低遅延優先度決定部１０５に出力する。   The video / audio input unit 102 inputs uncompressed video data and audio data in units of frames from a camera and a microphone, and outputs them to the video / audio encoding unit 103 and the low delay priority determination unit 105.

映像音声符号化部１０３は、映像音声入力部１０２より入力された映像音声データに対して、パラメタ制御部１０７より入力された符号化パラメタを用いてＭＰＥＧ−２等の圧縮符号化を行い、符号化後の映像音声データを送信部１０４に出力する。   The video / audio encoding unit 103 performs compression encoding such as MPEG-2 on the video / audio data input from the video / audio input unit 102 using the encoding parameter input from the parameter control unit 107, The converted video / audio data is output to the transmission unit 104.

送信部１０４は、映像音声符号化部１０３より入力された符号化後の映像音声データに対して、パラメタ制御部１０７より入力された伝送パラメタを用いて通信相手である別のＴＶ会議装置へデータ送信を行う。   The transmission unit 104 uses the transmission parameter input from the parameter control unit 107 to the encoded video / audio data input from the video / audio encoding unit 103 to transfer data to another TV conference device that is a communication partner. Send.

低遅延優先度決定部１０５は、映像音声入力部１０２より入力された映像音声データを用いて、低遅延優先度を決定し、低遅延優先度を遅延量決定部１０６に出力する。低遅延優先度の決定方法は後述する。   The low delay priority determination unit 105 determines the low delay priority using the video / audio data input from the video / audio input unit 102, and outputs the low delay priority to the delay amount determination unit 106. A method for determining the low delay priority will be described later.

遅延量決定部１０６は、低遅延優先度決定部１０５より入力された低遅延優先度を用いて遅延量を決定し、遅延量をパラメタ制御部１０７へ出力する。   The delay amount determination unit 106 determines the delay amount using the low delay priority input from the low delay priority determination unit 105, and outputs the delay amount to the parameter control unit 107.

パラメタ制御部１０７は、遅延量決定部１０６から入力された遅延量を用いて符号化・伝送パラメタ変更し、符号化パラメタを映像音声符号化部１０３に出力し、伝送パラメタを送信部１０４に出力する。   The parameter control unit 107 changes the encoding / transmission parameter using the delay amount input from the delay amount determination unit 106, outputs the encoding parameter to the video / audio encoding unit 103, and outputs the transmission parameter to the transmission unit 104. To do.

受信部１１０は、伝送路１１１を通じて通信相手であるＴＶ会議端末から送信された符号化後の映像音声データを受信し、受信データを映像音声復号化部１０９へ出力する。   The receiving unit 110 receives the encoded video / audio data transmitted from the TV conference terminal which is the communication partner through the transmission path 111, and outputs the received data to the video / audio decoding unit 109.

映像音声復号化部１０９は、受信部１１０より入力された符号化後の映像音声データに対して、符号化された符号化方式に従い復号化処理を行い、復号化後の映像音声データを映像音声出力部１０８へ出力するとともに、音声データを低遅延優先度決定部１０５に出力する。   The video / audio decoding unit 109 performs a decoding process on the encoded video / audio data input from the reception unit 110 in accordance with the encoded encoding method, and the decoded video / audio data is converted into the video / audio data. In addition to outputting to the output unit 108, the audio data is output to the low delay priority determination unit 105.

映像音声出力部１０８は、映像音声復号化部１０９より入力された映像音声データを、接続されたモニタ、スピーカに出力する。   The video / audio output unit 108 outputs the video / audio data input from the video / audio decoding unit 109 to a connected monitor or speaker.

次いで、上記構成を有するＴＶ会議装置１０１の動作について、図２、図３に示すフロー図を用いて説明する。   Next, the operation of the TV conference apparatus 101 having the above configuration will be described with reference to the flowcharts shown in FIGS.

なお、図２示すフロー図の動作は、ＴＶ会議装置１０１の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。   2 is stored as a control program in a storage device (not shown) such as a ROM or flash memory of the TV conference apparatus 101, and is controlled by a CPU (not shown).

＜ステップ ２０１：映像・音声入力処理＞
まず、映像音声入力部１０２は、接続されたカメラ、マイクから、非圧縮の映像データと音声データをフレーム単位で入力し、映像データと音声データを映像音声符号化部１０３に出力し、音声データを低遅延優先度決定部１０５に出力する。 <Step 201: Video / Audio Input Processing>
First, the video / audio input unit 102 inputs uncompressed video data and audio data in units of frames from the connected camera and microphone, outputs the video data and audio data to the video / audio encoding unit 103, and outputs the audio data. Is output to the low delay priority determination unit 105.

＜ステップ ２０２：データ受信処理＞
受信部１１０は、伝送路１１１を通じて通信相手であるＴＶ会議端末から送信された符号化後の映像音声データを受信し、受信した符号化データを映像音声復号化部１０９へ出力する。 <Step 202: Data reception processing>
The receiving unit 110 receives the encoded video / audio data transmitted from the TV conference terminal as the communication partner through the transmission path 111, and outputs the received encoded data to the video / audio decoding unit 109.

＜ステップ ２０３：映像・音声復号化、表示出力処理＞
映像音声復号化部１０９は、受信部１１０より入力された符号化後の映像音声データに対して、符号化された符号化方式に従い復号化処理を行い、復号化後の映像音声データを映像音声出力部１０８へ出力し、音声データを低遅延優先度決定部１０５に出力する。 <Step 203: Video / Audio Decoding, Display Output Processing>
The video / audio decoding unit 109 performs a decoding process on the encoded video / audio data input from the reception unit 110 in accordance with the encoded encoding method, and the decoded video / audio data is converted into the video / audio data. The data is output to the output unit 108, and the audio data is output to the low delay priority determination unit 105.

映像音声出力部１０８は、映像音声復号化部１０９より入力された映像音声データを、接続されたモニタ、スピーカに出力する。   The video / audio output unit 108 outputs the video / audio data input from the video / audio decoding unit 109 to a connected monitor or speaker.

＜ステップ ２０４：遅延制御処理＞
ここでは、低遅延優先度決定部１０５は、低遅延優先度を決定し、遅延量決定部１０６は決定された低遅延優先度に従い遅延量を決定し、パラメタ制御部１０７は、遅延量を用いて符号化・伝送パラメタを変更する。 <Step 204: Delay control processing>
Here, the low delay priority determination unit 105 determines the low delay priority, the delay amount determination unit 106 determines the delay amount according to the determined low delay priority, and the parameter control unit 107 uses the delay amount. Change the encoding and transmission parameters.

図３は、遅延制御処理の動作について示したものである。   FIG. 3 shows the operation of the delay control process.

＜ステップ ３０１：音声パケット間隔算出処理＞
まず、遅延優先度決定部１０５は、映像音声入力部１０２より入力された送信音声データと、映像音声復号化部１０９より入力された受信音声ストリームを用いて、音声データの送信および受信の頻度を算出する。ここで、音声データの送信および受信の頻度とは、会話の活発度をあらわすものであり、頻度が高いほど活発な議論がなされており、遅延の影響が大きく低遅延伝送を必要とする状態であることになる。 <Step 301: Voice packet interval calculation processing>
First, the delay priority determination unit 105 uses the transmission audio data input from the video / audio input unit 102 and the reception audio stream input from the video / audio decoding unit 109 to determine the frequency of audio data transmission and reception. calculate. Here, the frequency of transmission and reception of voice data represents the degree of conversational activity. The higher the frequency, the more active discussions are made, and the influence of delay is large and low-delay transmission is required. There will be.

Figure 2009076952
Figure 2009076952

（数１）は音声データの送信および受信の頻度の算出式を示したものである。（数１）において、Ｎ（ｔ）は時刻ｔにおける音声データの送受信頻度を示し、Ｎｓ（ｔ）は時刻ｔよりも過去Ｔ時間の間に送信した音声データの送信回数を示し、Ｎｒ（ｔ）は時刻ｔよりも過去Ｔ時間の間に受信した音声データの受信回数を示す。なお、送信回数および受信回数は有音である音声データを対象とし、遅延優先度決定部１０５が有音判定を行うものとする。なお、（数１）は音声データの送受信頻度の決定方式の一例であり、音声データの送受信頻度を表す算出方法であればいかなる方法も利用可能である。なお、厳密には送信データと受信データには伝送遅延の影響で、時刻ｔのタイミングがずれる場合があるため、伝送遅延量を考慮し、送信データの時刻ｔに伝送遅延を加えて算出する事も可能である。   (Expression 1) shows a calculation formula for the frequency of transmission and reception of audio data. In (Expression 1), N (t) indicates the frequency of audio data transmission / reception at time t, Ns (t) indicates the number of transmissions of audio data transmitted during the past T hours from time t, and Nr (t ) Indicates the number of times voice data is received during the past T hours from time t. It is assumed that the number of transmissions and the number of receptions are sound data with sound, and the delay priority determination unit 105 performs sound determination. (Equation 1) is an example of a method for determining the transmission / reception frequency of audio data, and any method can be used as long as it is a calculation method representing the transmission / reception frequency of audio data. Strictly speaking, the transmission data and the reception data may be out of timing at the time t due to the influence of the transmission delay. Therefore, the transmission delay amount is taken into consideration and the transmission data is calculated by adding the transmission delay to the time t. Is also possible.

図４は、２つのＴＶ会議装置間での、音声データの送受信頻度の算出方法を示す概念図を示したものである。図４において、Ｓと書いた灰色の区間４０１は音声データの送信状態で、Ｒと書いた白色の区間４０２は音声データの受信状態を示す。ただし、送信、受信ともに入力がある場合は、音量の大きな方を優先するものとする。（数１）に従って音声データの送受信頻度を算出すると、例えば時刻ｔ１ではＮ（ｔ１）＝４＋４＝８、時刻ｔ２ではＮ（ｔ２）＝２＋２＝４となり、時刻ｔ２の方が音声データの送受信頻度が高いこととなる。   FIG. 4 is a conceptual diagram showing a method for calculating the frequency of audio data transmission / reception between two video conference apparatuses. In FIG. 4, a gray section 401 written as S indicates a voice data transmission state, and a white section 402 written as R represents a voice data reception state. However, when there is an input for both transmission and reception, the higher volume is given priority. When the audio data transmission / reception frequency is calculated according to (Equation 1), for example, N (t1) = 4 + 4 = 8 at time t1, N (t2) = 2 + 2 = 4 at time t2, and the audio data transmission / reception frequency at time t2. Will be expensive.

すなわち、時刻ｔ２である図４（１）の状態の方が高い頻度で音声データの送受信を行っていることとなり、ＴＶ会議としては活発な議論が行われている状態といえる。従って、図４（１）の方が図４（２）と比較して遅延の影響を大きく受け、低遅延伝送の必要性が高い状態であり、低遅延優先度を高くする必要がある。   That is, in the state of FIG. 4A at time t2, voice data is transmitted and received at a higher frequency, and it can be said that a live discussion is being conducted as a TV conference. Therefore, FIG. 4 (1) is more affected by delay than FIG. 4 (2), and the necessity for low delay transmission is high, and it is necessary to increase the low delay priority.

＜ステップ ３０２：低遅延優先度算出処理＞
次に、低遅延優先度決定部１０５は、音声データの送受信頻度を算出後、送受信頻度が高いほど低遅延優先度を高く設定する。例えば、低遅延優先度Ｐ（ｔ）は（数２）のように決定する。 <Step 302: Low Delay Priority Calculation Process>
Next, the low-delay priority determination unit 105 calculates the audio data transmission / reception frequency, and then sets the low-delay priority higher as the transmission / reception frequency increases. For example, the low delay priority P (t) is determined as shown in (Expression 2).

Figure 2009076952
Figure 2009076952

（数２）において、Ｐ（ｔ）は時刻ｔにおける低遅延優先度であり、Ｎ（ｔ）は時刻ｔにおける音声データの送受信頻度であり、ＴＨ１とＴＨ２は予め決められた閾値（ただし、ＴＨ１＜ＴＨ２）であり、ＰＭＡＸは予め決められた優先度の最大値である。Ｍは予め決められた正規化パラメタである。なお、（数２）は低遅延優先度の決定方式の一例であり、音声データの送受信頻度が大きいほど遅延優先度が大きくなる算出方法であればいかなる方法も利用可能である。   In (Expression 2), P (t) is the low delay priority at time t, N (t) is the frequency of audio data transmission / reception at time t, and TH1 and TH2 are predetermined threshold values (however, TH1 <TH2), and PMAX is a predetermined maximum priority value. M is a predetermined normalization parameter. Note that (Equation 2) is an example of a low delay priority determination method, and any method can be used as long as the delay priority increases as the frequency of audio data transmission / reception increases.

＜ステップ ３０３：遅延量算出処理＞
次に、低遅延優先度決定部１０５は、前記のように算出した低遅延優先度を用いて遅延量を算出する。（数３）は、遅延量の算出方法を示した一例である。（数３）において、Ｄｅｌａｙ（ｔ）は時刻ｔにおける遅延量であり、ＤＭＡＸは予め決められた最大遅延量であり、Ｐ（ｔ）は時刻ｔにおける低遅延優先度である。 <Step 303: Delay amount calculation processing>
Next, the low delay priority determination unit 105 calculates a delay amount using the low delay priority calculated as described above. (Equation 3) is an example showing a method of calculating the delay amount. In (Expression 3), Delay (t) is a delay amount at time t, DMAX is a predetermined maximum delay amount, and P (t) is a low delay priority at time t.

Figure 2009076952
Figure 2009076952

低遅延優先度決定部１０５は、（数３）に従い、低遅延優先度が高いほど、値が小さくなるように遅延量を決定する。   The low delay priority determination unit 105 determines the delay amount according to (Equation 3) such that the higher the low delay priority, the smaller the value.

＜ステップ ３０４：パラメタ算出・更新処理＞
さらに、低遅延優先度決定部１０５は、前記のように算出した遅延量を用いて、符号化パラメタあるいは伝送パラメタを算出し、算出した符号化パラメタを映像音声符号化部１０３へ出力し、算出した伝送パラメタを送信部１０４へ出力する。 <Step 304: Parameter calculation / update process>
Further, the low delay priority determination unit 105 calculates an encoding parameter or a transmission parameter using the delay amount calculated as described above, and outputs the calculated encoding parameter to the video / audio encoding unit 103 for calculation. The transmitted transmission parameters are output to the transmission unit 104.

ここでは、算出するパラメタとして、例えば符号化パラメタの１つであるビットレート（単位時間当たりに発生する符号量）の揺らぎ幅を対象とする場合について述べる。低遅延伝送を行う上では、映像符号化における固定ビットレート制御を行うことが重要である。すなわち、映像符号化においてビットレートとフレームレート（画面の更新頻度）から一意に決まる１フレームあたりの平均符号量を目標として、１フレームあたりの発生符号量を前記目標以下に抑えることである。ここで、最大発生符号量を、１フレームあたりの最大発生符号量と定義することにする。例えば、１フレームあたりの発生符号量が平均符号量のＮ倍となった場合、当該フレームの符号化データを送信するためには、データ量がＮ倍のため通常のＮ倍時間がかかることになる。従って、フレームレートを３０ｆｐｓとすると、遅延量はＮ／３０（秒）となる。   Here, a case where a fluctuation width of a bit rate (a code amount generated per unit time), which is one of encoding parameters, is considered as a parameter to be calculated will be described. In order to perform low-delay transmission, it is important to perform fixed bit rate control in video encoding. That is, in video coding, the average code amount per frame uniquely determined from the bit rate and frame rate (screen update frequency) is set as a target, and the generated code amount per frame is suppressed to the target or less. Here, the maximum generated code amount is defined as the maximum generated code amount per frame. For example, when the generated code amount per frame is N times the average code amount, it takes N times as long to transmit the encoded data of the frame because the data amount is N times. Become. Therefore, if the frame rate is 30 fps, the delay amount is N / 30 (seconds).

Figure 2009076952
Figure 2009076952

（数４）は、最大発生符号量の算出方法を示した数式である。（数４）において、ＢＩＴＳＭＡＸは１フレーム当たりの最大発生符号量（ｂｉｔｓ）であり、Ｄｅｌａｙ（ｔ）は時刻ｔにおける遅延量（ｍｓ）であり、ＢＩＴＲＡＴＥは、映像符号化における１秒あたりの発生符号量であるビットレート（ｂｉｔｓ／秒）である。   (Equation 4) is a mathematical formula showing a calculation method of the maximum generated code amount. In (Equation 4), BITSMAX is the maximum generated code amount (bits) per frame, Delay (t) is the delay amount (ms) at time t, and BITRATE is generated per second in video encoding. It is a bit rate (bits / second) which is a code amount.

本実施の形態では、遅延量から最大発生符号量を算出する例を示したが、パラメタとしては、ＴＣＰ／ＩＰ通信におけるパケット優先度であるＴＯＳ（ＴＹＰＥ ＯＦ ＳＥＲＶＩＣＥ）値を変更する等、相対的に遅延量が制御可能なパラメタであれば如何なるパラメタも利用可能である。   In this embodiment, an example in which the maximum generated code amount is calculated from the delay amount has been shown. However, as a parameter, a relative value such as changing a TOS (TYPE OF SERVICE) value that is a packet priority in TCP / IP communication is used. Any parameter can be used as long as the delay amount is controllable.

なお、上記の遅延制御処理は、フレーム毎に行っていたが、予め定めた一定間隔毎に行ない処理量を削減することも可能である。   The delay control process is performed for each frame. However, the delay control process can be performed at predetermined intervals to reduce the processing amount.

＜ステップ ２０５：映像・音声符号化、伝送処理＞
映像音声符号化部１０３は、映像音声入力部１０２より入力された映像音声データに対して、パラメタ制御部１０７より入力された符号化パラメタを用いてＭＰＥＧ−２等の圧縮符号化を行い、符号化後の映像音声データを送信部１０４に出力する。例えば、映像音声符号化部１０３では、パラメタ制御部１０７より最大発生符号量が入力された場合には、１フレームあたりの発生符号量が入力された値以下としつつ、単位時間当たりの発生符号量を一定値以下とするビットレートの制御を行うものとする。 <Step 205: Video / Audio Coding and Transmission Processing>
The video / audio encoding unit 103 performs compression encoding such as MPEG-2 on the video / audio data input from the video / audio input unit 102 using the encoding parameter input from the parameter control unit 107, The converted video / audio data is output to the transmission unit 104. For example, in the video / audio encoding unit 103, when the maximum generated code amount is input from the parameter control unit 107, the generated code amount per unit time is kept below the input code amount per frame. It is assumed that the bit rate is controlled so that is equal to or less than a certain value.

ただし、映像音声符号化部１０３における符号化方法はＭＰＥＧに限定されず、いかなる符号化方法も利用可能である。   However, the encoding method in the video / audio encoding unit 103 is not limited to MPEG, and any encoding method can be used.

さらに、送信部１０４は、映像音声符号化部１０３より入力された符号化後の映像音声データに対して、パラメタ制御部１０７より入力された伝送パラメタを用いて通信相手である別のＴＶ会議装置へデータ送信を行う。例えば、ここで伝送方式はＩＰ／ＵＤＰ／ＲＴＰを用いるものとするが、伝送路を通じて映像音声データ伝送を行うことが可能な方式であれば如何なる方式も利用可能である。   Further, the transmission unit 104 uses the transmission parameter input from the parameter control unit 107 for the encoded video / audio data input from the video / audio encoding unit 103, to another TV conference device that is a communication partner. Send data to. For example, IP / UDP / RTP is used as the transmission method here, but any method can be used as long as the video / audio data can be transmitted through the transmission path.

＜ステップ ２０６：終了判定＞
映像音声入力部１０２は、映像音声データの入力が終了した場合、もしくは予め設定された時間が経過した場合を処理終了と判定し、処理を終了する。それ以外の場合は、処理をステップ２０１へ移動する。 <Step 206: End determination>
The video / audio input unit 102 determines that the process has ended when the input of the video / audio data has ended, or when a preset time has elapsed, and ends the process. Otherwise, the process moves to step 201.

以上が、本実施形態のＴＶ会議装置の動作説明である。   The above is the description of the operation of the TV conference apparatus of the present embodiment.

以上のように、本実施の形態では、低遅延優先度決定部１０５は低遅延の優先度を決定し、遅延量決定部１０６は低遅延優先度を用いて遅延量を決定し、パラメタ制御部１０７は遅延量に従い映像音声符号化あるいは伝送パラメタの変更を行う。   As described above, in the present embodiment, the low delay priority determination unit 105 determines the low delay priority, the delay amount determination unit 106 determines the delay amount using the low delay priority, and the parameter control unit. Reference numeral 107 performs video / audio encoding or transmission parameter change according to the delay amount.

これにより、ＴＶ会議中に動的に低遅延優先度を決定し、符号化・伝送パラメタの変更し遅延量を制御することが可能である。   As a result, it is possible to dynamically determine the low delay priority during the video conference, change the encoding / transmission parameters, and control the delay amount.

また、本実施の形態では、低遅延優先度決定部１０５は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定する。   Further, in the present embodiment, the low delay priority determination unit 105 increases the low delay priority as the frequency of audio data transmission / reception increases using the frequency of audio data transmission / reception that is voiced. decide.

これにより、ＴＶ会議において音声データの送信・受信の頻度が高く、低遅延性が重要である活発な議論がなされている状態ほど、低遅延の優先度を高めることが可能である。   As a result, the priority of low delay can be increased as the frequency of transmission / reception of audio data in a TV conference is high and active discussion in which low delay is important is performed.

また、本実施の形態では、低遅延優先度決定部１０５は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定する際に、あらかじめ設定された閾値と比較して低遅延優先度を決定する。   Further, in the present embodiment, the low delay priority determination unit 105 increases the low delay priority as the frequency of audio data transmission / reception increases using the frequency of audio data transmission / reception that is voiced. At the time of determination, the low delay priority is determined by comparison with a preset threshold value.

この構成によれば、低遅延優先度を決定する際に、音声データの送信・受信頻度と予め設定した閾値を比較する単純な処理で低遅延優先度を決定することが可能である。   According to this configuration, when determining the low delay priority, it is possible to determine the low delay priority by a simple process of comparing the audio data transmission / reception frequency with a preset threshold value.

なお、本実施の形態では、低遅延優先度決定部１０５は、音声データの送信受信頻度を用いて低遅延優先度を決定したが、音声データの送信時刻および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差が小さいほど低遅延優先度を高く決定することも可能である。   In this embodiment, the low-delay priority determination unit 105 determines the low-delay priority using the audio data transmission / reception frequency. However, the low-delay priority determination unit 105 determines the audio data transmission time and the voiced audio data reception time. It is also possible to determine a low delay priority higher as the difference between the transmission time and the reception time is smaller.

これによれば、送信・受信時刻の差が小さい状態、すなわち、ＴＶ会議においてお互いの発話タイミングが重なるような状態で、遅延量を減らすことが可能である。   According to this, it is possible to reduce the delay amount in a state where the difference between the transmission and reception times is small, that is, in a state where the utterance timings overlap each other in the TV conference.

なお、本実施の形態では、低遅延優先度決定部１０５は、有音である音声データの送信および受信の頻度と、あらかじめ設定された閾値と比較して低遅延優先度を決定するが、音声データの送信時刻および受信時刻の差を予め設定された閾値と比較して、差が小さいほど低遅延優先度を高く決定することも可能である。   In this embodiment, the low-delay priority determination unit 105 determines the low-delay priority by comparing the frequency of transmission and reception of voice data that is voiced with a preset threshold. It is also possible to compare the difference between the data transmission time and the reception time with a preset threshold value, and to determine the low delay priority higher as the difference is smaller.

これによれば、低遅延優先度の決定に際して、単純な閾値処理により低遅延優先度を決定することが可能である。   According to this, when determining the low delay priority, it is possible to determine the low delay priority by simple threshold processing.

また、本実施の形態では、遅延量決定部１０６は、前記決定された低遅延優先度を用いて、予め決められた閾値処理を行い、優先度が高いほど遅延量を小さい値に決定する。   Further, in the present embodiment, the delay amount determination unit 106 performs a predetermined threshold process using the determined low delay priority, and determines the delay amount to be a smaller value as the priority is higher.

この構成によれば、低遅延優先度を用い閾値処理により遅延量を決定するため、単純な処理によって遅延量を決定することが可能である。   According to this configuration, since the delay amount is determined by threshold processing using the low delay priority, the delay amount can be determined by simple processing.

また、本実施の形態では、パラメタ制御部１０７は、前記決定された遅延量以下となるように、映像音声符号化の最大発生符号量を小さく変更する。   Further, in the present embodiment, the parameter control unit 107 changes the maximum generated code amount of the video / audio encoding to be small so that it is equal to or less than the determined delay amount.

これによれば、映像音声符号化の最大発生符号量が小さいほど、伝送遅延の最大値を遅延量以下とすることができ、指定された遅延量以下での低遅延伝送を行うことが可能である。   According to this, as the maximum generated code amount of video / audio encoding is smaller, the maximum value of the transmission delay can be made equal to or less than the delay amount, and low-delay transmission can be performed with the designated delay amount or less. is there.

なお、本実施の形態では、パラメタ制御部１０７は、前記決定された遅延量以下となるように、映像音声復号化のバッファ容量を変更することも可能である。   In the present embodiment, the parameter control unit 107 can also change the video / audio decoding buffer capacity so as to be equal to or less than the determined delay amount.

これによれば、受信側で設定しているバッファ容量を動的に小さくすることにより、受信待ち最大遅延量を小さくすることができるため、指定された遅延値以下に制御することが可能である。   According to this, since the maximum waiting delay amount can be reduced by dynamically reducing the buffer capacity set on the receiving side, it is possible to control to a specified delay value or less. .

また、本実施の形態では、パラメタ制御部１０７は、前記決定された遅延量に従い、遅延量が小さいほど送信データのパケット優先度を高く設定することも可能である。   Further, in the present embodiment, the parameter control unit 107 can set the packet priority of the transmission data higher as the delay amount is smaller according to the determined delay amount.

これによれば、パケット優先度が高いデータほど、伝送路では先に転送されるため、遅延量を小さく設定したものほど低遅延伝送を実現する事が可能である。   According to this, since data with higher packet priority is transferred earlier in the transmission path, it is possible to realize low delay transmission as the delay amount is set smaller.

（実施の形態２）
本実施の形態では、複数のＴＶ会議装置の遅延量を伝送路で接続された遅延制御サーバが一元的に決定する例について述べる。図５は、本発明の実施の形態２に係るＴＶ会議装置の構成を示すブロック図である。図５に示すＴＶ会議装置５０１は、カメラ、マイクと接続し映像音声を入力処理する映像音声入力部１０２と、映像音声の符号化を行う映像音声符号化部１０３と、伝送路１１１と接続し符号化後の映像音声データを伝送する送信部１０４と、映像音声入力を用いて低遅延優先度を決定する低遅延優先度決定部１０５と、低遅延優先度を伝送路経由で遅延制御サーバ５０４に送信し、遅延量を受信する送受信部５０２と、遅延量を用いて符号化・伝送パラメタを変更するパラメタ制御部５０３と、伝送路１１１と接続し通信相手であるＴＶ会議端末から送信された符号化後の映像音声データを受信する受信部１１０と、符号化された映像音声データを復号化する映像音声復号化部１０９と、モニタ、スピーカと接続し、復号化した映像音声データをモニタ、スピーカに出力する映像音声出力部１０８からなる構成となっている。 (Embodiment 2)
In the present embodiment, an example will be described in which the delay control servers connected by transmission lines determine the delay amounts of a plurality of video conference apparatuses in an integrated manner. FIG. 5 is a block diagram showing the configuration of the TV conference device according to Embodiment 2 of the present invention. A video conference apparatus 501 shown in FIG. 5 is connected to a camera and a microphone and connected to a video / audio input unit 102 that performs video / audio input processing, a video / audio encoding unit 103 that encodes video / audio, and a transmission path 111. A transmission unit 104 that transmits encoded audio / video data, a low delay priority determination unit 105 that determines a low delay priority using an audio / video input, and a delay control server 504 that transmits the low delay priority via a transmission line. The transmission / reception unit 502 that receives the delay amount, the parameter control unit 503 that changes the encoding / transmission parameters using the delay amount, and the TV conference terminal that is connected to the transmission line 111 and is a communication partner A receiving unit 110 that receives the encoded video / audio data, a video / audio decoding unit 109 that decodes the encoded video / audio data, a monitor and a speaker, and is connected to the decoded video / audio data. Monitoring the data has a structure consisting of video and audio output unit 108 to output to the speaker.

さらに遅延制御サーバ５０４は、伝送路を通じて低遅延優先度を受信する低遅延優先度受信部５０５と、低遅延優先度を用いて遅延量を決定する遅延量決定部５０６と、遅延量を送信する遅延量送信部５０７からなる構成となっている。   Further, the delay control server 504 transmits the delay amount, a low delay priority receiving unit 505 that receives the low delay priority through the transmission path, a delay amount determining unit 506 that determines the delay amount using the low delay priority, and the delay amount. The delay amount transmission unit 507 is configured.

なお、図５において、実施の形態１と動作内容が同一である処理部に関しては、図１と同一の番号を付与するものとし、動作の説明は省略する。したがって、実施の形態１と動作内容が異なる処理部は、ＴＶ会議装置５０１においては、送受信部５０２、パラメタ制御部５０３、および遅延制御サーバ５０４である。   In FIG. 5, processing units having the same operation contents as those of the first embodiment are given the same numbers as those in FIG. 1, and description of the operations is omitted. Therefore, the processing units having different operation contents from those of the first embodiment are the transmission / reception unit 502, the parameter control unit 503, and the delay control server 504 in the TV conference apparatus 501.

送受信部５０２は、低遅延優先度決定部１０５より入力された低遅延優先度を、伝送路１１１を通じて遅延制御サーバ５０４へ送信する。   The transmission / reception unit 502 transmits the low delay priority input from the low delay priority determination unit 105 to the delay control server 504 through the transmission path 111.

低遅延優先度受信部５０５は、送受信部５０２より伝送路１１１を通じて送信された低遅延優先度を受信し、遅延量決定部１０６に出力する。遅延量決定部１０６は、低遅延優先度受信部５０５より入力された低遅延優先度を用いて遅延量を決定し、遅延量を遅延量送信部５０７に出力する。遅延量送信部５０７は、遅延量決定部５０６より入力された遅延量を、伝送路１１１を通じてＴＶ会議装置５０１へ送信する。   The low delay priority reception unit 505 receives the low delay priority transmitted from the transmission / reception unit 502 through the transmission path 111 and outputs the low delay priority to the delay amount determination unit 106. The delay amount determining unit 106 determines a delay amount using the low delay priority input from the low delay priority receiving unit 505, and outputs the delay amount to the delay amount transmitting unit 507. The delay amount transmission unit 507 transmits the delay amount input from the delay amount determination unit 506 to the TV conference device 501 through the transmission path 111.

図６は、６台のＴＶ会議装置がそれぞれ２台どうしで３つの会議を別々に行っており、それらのＴＶ会議装置の遅延量を遅延制御サーバ６０７が制御している構成を示すブロック図である。図６において、ＴＶ会議装置６０１〜６０６は図５のＴＶ会議装置５０１と同一の動作を行い、遅延制御サーバ６０７は図５の遅延制御サーバ５０４と同一の動作を行うものである。   FIG. 6 is a block diagram showing a configuration in which six TV conference devices each hold two conferences separately from each other and the delay control server 607 controls the delay amount of these TV conference devices. is there. 6, the TV conference apparatuses 601 to 606 perform the same operation as the TV conference apparatus 501 in FIG. 5, and the delay control server 607 performs the same operation as the delay control server 504 in FIG. 5.

次いで、上記構成を有するＴＶ会議装置５０１および遅延制御サーバ５０４の動作について、図７および図８に示すフロー図を用いて説明する。   Next, operations of the TV conference apparatus 501 and the delay control server 504 having the above-described configurations will be described with reference to flowcharts shown in FIGS.

なお、図７および図８示すフロー図の動作は、ＴＶ会議装置５０１および遅延制御サーバ５０４の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。   7 and 8 is stored as a control program in a storage device (for example, ROM or flash memory) (not shown) of the TV conference device 501 and the delay control server 504, and is controlled by a CPU (not shown). Is done.

なお、図７において実施の形態１と処理内容が同一であるステップに関しては、図２と同一の番号を付与するものとし、説明は行わないものとする。   In FIG. 7, steps having the same processing contents as those in the first embodiment are given the same numbers as in FIG. 2 and will not be described.

すなわち本実施の形態では、実施の形態１のステップ２０１、２０２、２０３の処理を行い、続いて以下の処理を行う。   That is, in the present embodiment, the processing of steps 201, 202, and 203 of the first embodiment is performed, and then the following processing is performed.

＜ステップ ７０１：低遅延優先度算出処理＞
ここでは、実施の形態１のステップ３０１、３０２と同様の処理を経て低遅延優先度を算出する。すなわち、低遅延優先度決定部１０５は、音声データの送受信頻度を用いて低遅延優先度を算出し、送受信部５０２に低遅延優先度を出力する。 <Step 701: Low Delay Priority Calculation Processing>
Here, the low delay priority is calculated through the same processing as steps 301 and 302 in the first embodiment. That is, the low delay priority determination unit 105 calculates the low delay priority using the audio data transmission / reception frequency, and outputs the low delay priority to the transmission / reception unit 502.

＜ステップ ７０２：低遅延優先度送信処理＞
次に、低遅延優先度を遅延制御サーバに送信する。すなわち、送受信部５０２は低遅延優先度決定部１０５より入力された低遅延優先度を、伝送路１１１を通じて遅延制御サーバ５０４に送信する。 <Step 702: Low Delay Priority Transmission Process>
Next, the low delay priority is transmitted to the delay control server. That is, the transmission / reception unit 502 transmits the low delay priority input from the low delay priority determination unit 105 to the delay control server 504 through the transmission path 111.

＜ステップ ７０３：遅延量受信、パラメタ更新処理＞
次に、送受信部５０２は、伝送路１１１を通じて遅延制御サーバ５０４から送信された遅延量を受信する。さらに、パラメタ制御部５０３は、実施の形態１のステップ３０３および３０４と同様な処理を経て遅延量を算出し、符号化パラメタあるいは伝送パラメタを決定し、符号化パラメタを映像音声符号化部１０３に出力し、伝送パラメタを送信部１０４に出力する。 <Step 703: Reception of delay amount, parameter update processing>
Next, the transmission / reception unit 502 receives the delay amount transmitted from the delay control server 504 through the transmission path 111. Further, the parameter control unit 503 calculates the delay amount through the same processing as steps 303 and 304 in the first embodiment, determines the encoding parameter or the transmission parameter, and sends the encoding parameter to the video / audio encoding unit 103. The transmission parameter is output to the transmission unit 104.

さらに、実施の形態１のステップ２０５、２０６の処理を経て処理を終了する。   Further, the processing is terminated through the processing of steps 205 and 206 in the first embodiment.

次に遅延制御サーバ５０４の動作について説明する。   Next, the operation of the delay control server 504 will be described.

＜ステップ ８０１：低遅延優先度受信処理＞
まず、低遅延優先度受信部５０５は、伝送路１１１を経てＴＶ会議装置５０１の送受信部５０２より送信された低遅延優先度を受信し、遅延量決定部５０６に出力する。 <Step 801: Low Delay Priority Reception Processing>
First, the low delay priority receiving unit 505 receives the low delay priority transmitted from the transmission / reception unit 502 of the TV conference apparatus 501 through the transmission path 111 and outputs the low delay priority to the delay amount determination unit 506.

本実施の形態では、図６に示すように３つのＴＶ会議セッションが張られている場合を想定し、全てのＴＶ会議装置から低遅延優先度が遅延制御サーバに送信される場合について説明する。すなわち、図６において、ＴＶ会議装置６０１と６０２、ＴＶ会議装置６０３と６０４、ＴＶ会議装置６０５と６０６がそれぞれ別のＴＶ会議を行っており。それぞれのＴＶ会議装置が遅延制御サーバ６０７に低遅延優先度を送信する場合を説明する。   In the present embodiment, a case where three TV conference sessions are established as shown in FIG. 6 and a case where low delay priority is transmitted from all TV conference apparatuses to the delay control server will be described. That is, in FIG. 6, the TV conference apparatuses 601 and 602, the TV conference apparatuses 603 and 604, and the TV conference apparatuses 605 and 606 hold separate TV conferences. A case where each TV conference apparatus transmits a low delay priority to the delay control server 607 will be described.

＜ステップ ８０２：遅延量算出処理＞
次に、遅延量決定部５０６は、図６のＴＶ会議端末６０１〜６０６から６つの低遅延優先度を受信し、それぞれ６つのＴＶ会議装置に対して個別の遅延量を決定し、遅延量を遅延量送信部５０７に出力する。 <Step 802: Delay amount calculation process>
Next, the delay amount determination unit 506 receives six low delay priorities from the TV conference terminals 601 to 606 in FIG. 6, determines individual delay amounts for each of the six TV conference devices, and sets the delay amount. The data is output to the delay amount transmission unit 507.

Figure 2009076952
Figure 2009076952

（数５）に遅延量の算出式の一例を示す。（数５）において、Ｄｅｌａｙ（ｔ，ｘ）およびＰ（ｔ，ｘ）は、時刻ｔにおけるＴＶ会議装置ｘの遅延量および低遅延優先度であり、ＤＡＶＥは予め定められた遅延量の平均値であり、ＰＡＶＥ（ｔ）は時刻ｔにおける全てのＴＶ会議装置における低遅延優先度の平均値であり、Ｋは予め定められた遅延調整パラメタである。なお、時刻ｔは全ての端末で同期されているものとし、遅延量算出においては同一の時刻ｔの低遅延優先度から遅延量を算出するものとする。   (Equation 5) shows an example of a delay amount calculation formula. In (Expression 5), Delay (t, x) and P (t, x) are the delay amount and the low delay priority of the video conference apparatus x at time t, and DAVE is an average value of the predetermined delay amount. PAVE (t) is an average value of low delay priorities in all video conference apparatuses at time t, and K is a predetermined delay adjustment parameter. Note that time t is assumed to be synchronized in all terminals, and in calculating the delay amount, the delay amount is calculated from the low delay priority at the same time t.

このように、複数のＴＶ会議装置において、他のＴＶ会議装置に比べて相対的に低遅延優先度が高いものほど、遅延量を小さくすることが出来る。   As described above, in a plurality of TV conference apparatuses, as the delay priority is relatively higher than that of other TV conference apparatuses, the delay amount can be reduced.

なお、（数５）は遅延量の算出方法の一例であり、低遅延優先度が高いものほど遅延量が小さく算出可能な方法であれば如何なる方法も利用可能である。   Note that (Equation 5) is an example of a method of calculating the delay amount, and any method can be used as long as the lower delay priority is higher and the delay amount can be calculated smaller.

＜ステップ ８０３：遅延量送信処理＞
次に、遅延量送信部５０７は、遅延量決定部５０６より入力された複数のＴＶ端末毎の遅延量を、伝送路１１１を通じて、それぞれのＴＶ会議装置６０１〜６０６へ送信する。 <Step 803: Delay amount transmission processing>
Next, the delay amount transmission unit 507 transmits the delay amount for each of the plurality of TV terminals input from the delay amount determination unit 506 to the respective TV conference apparatuses 601 to 606 through the transmission path 111.

以上のように、本実施の形態では、送受信部５０２は低遅延優先度の送信処理および遅延量の受信処理を遅延制御サーバ間と行い、遅延制御サーバは、複数のＴＶ会議装置の低遅延優先度を用いて、相対的に低遅延優先度が高いＴＶ会議装置ほど値が小さくなるように遅延量を決定する。   As described above, in the present embodiment, the transmission / reception unit 502 performs low-delay priority transmission processing and delay amount reception processing between delay control servers, and the delay control server performs low-delay priority of a plurality of TV conference devices. The degree of delay is determined using the degree so that the value becomes smaller as the video conference apparatus has a relatively low delay priority.

これにより、遅延制御サーバが遅延量を一元管理するため、複数のＴＶ会議の低遅延優先度の把握が容易であり、低遅延要求が高いＴＶ会議ほど低遅延な符号化あるいは伝送を行うことが可能である。   Thereby, since the delay control server centrally manages the delay amount, it is easy to grasp the low delay priority of a plurality of video conferences, and a video conference with a high low delay requirement can perform encoding or transmission with a low delay. Is possible.

また、本実施の形態では、送受信部５０２は、低遅延優先度を遅延制御サーバに送信したが、他のＴＶ会議装置に送信する事も可能で有り、遅延量の決定を遅延制御サーバではなく、ＴＶ会議装置内で行うことも可能である。   In this embodiment, the transmission / reception unit 502 transmits the low delay priority to the delay control server. However, the transmission / reception unit 502 can transmit the low delay priority to another TV conference apparatus, and the delay amount is not determined by the delay control server. It can also be performed in the TV conference apparatus.

これにより、遅延制御サーバが不要で、遅延量の決定を他のＴＶ会議装置の比較により行い、より低遅延を必要とするＴＶ会議ほど、遅延量を小さく設定することが可能である。   Thereby, the delay control server is unnecessary, the delay amount is determined by comparing with other TV conference apparatuses, and the delay amount can be set smaller for a TV conference that requires a lower delay.

また、本実施の形態では、送受信部５０２は低遅延優先度を遅延制御サーバに送信したが、低遅延優先度の代わりに音声データの送受信頻度を他のＴＶ会議装置との間で送受信することも可能であり、低遅延優先度決定部１０５は、送受信部５０２により受信した他のＴＶ会議装置の送受信頻度と比較して、頻度が高いほど遅延優先度を決定することも可能である。   In this embodiment, the transmission / reception unit 502 transmits the low-delay priority to the delay control server. However, instead of the low-delay priority, the transmission / reception frequency of audio data is transmitted / received to / from other TV conference apparatuses. The low delay priority determination unit 105 can also determine the delay priority as the frequency is higher than the transmission / reception frequency of other TV conference apparatuses received by the transmission / reception unit 502.

これによれば、他のＴＶ会議と比較して低遅延優先度を決定するため、複数のＴＶ会議の中で低遅延の必要性が高いものほど低遅延とすることが可能である。   According to this, since the low delay priority is determined in comparison with other TV conferences, it is possible to reduce the delay as the necessity of low delay is higher among the plurality of TV conferences.

また、本実施の形態では、送受信部５０２は低遅延優先度を遅延制御サーバに送信したが、低遅延優先度の変わりに、音声データの送受信時刻の差を他のＴＶ会議装置との間で送受信することも可能であり、低遅延優先度決定部１０５は、送受信部５０２により受信した他のＴＶ会議装置の送受信時刻の差と比較して、差が小さいほど遅延量を小さく決定することも可能である。   In this embodiment, the transmission / reception unit 502 transmits the low delay priority to the delay control server. However, instead of the low delay priority, the transmission / reception time difference of the audio data is exchanged with other TV conference devices. The low-delay priority determination unit 105 can also determine a delay amount smaller as the difference is smaller than the difference in transmission / reception time of other TV conference devices received by the transmission / reception unit 502. Is possible.

これにより、低遅延優先度決定に際して、送信時刻・受信時刻の差を他のＴＶ会議と比較して決定するため、より低遅延要求が高いＴＶ会議ほど低遅延とする事が可能である。   Thereby, when determining the low-delay priority, the difference between the transmission time and the reception time is determined by comparison with other TV conferences, so that a TV conference with a higher request for lower delay can have a lower delay.

本発明に係るＴＶ会議装置は、音声データの送信および受信頻度を利用し、頻度が高いほど遅延量が小さくなるように遅延量を決定し、決定した遅延量に従い符号化あるいは伝送パラメタを動的に制御することにより、音声データの送受信頻度が高く、低遅延をより必要としているＴＶ会議状態ほど遅延量を小さくし、音声データの送受信頻度が低く、低遅延を必要としていないＴＶ会議状態ほど遅延量を大きくすることにより、帯域限られた伝送路において、最適な遅延量を設定することが可能であり、特に、ベストエフォート型のインターネットにおいて映像音声の低遅延伝送を必要とするＴＶ会議システムにおいては、特に有用である。   The video conference apparatus according to the present invention uses the audio data transmission and reception frequencies, determines the delay amount so that the delay amount decreases as the frequency increases, and dynamically changes the encoding or transmission parameters according to the determined delay amount. Therefore, the amount of delay is reduced in a TV conference state where the frequency of audio data transmission / reception is high and a low delay is required, and the amount of delay is reduced in a TV conference state where the frequency of audio data transmission / reception is low and a low delay is not required. By increasing the amount, it is possible to set an optimum delay amount in a transmission path with a limited bandwidth, particularly in a video conference system that requires low-delay transmission of video and audio in the best effort type Internet. Is particularly useful.

実施の形態１に係るＴＶ会議装置の構成を示す図The figure which shows the structure of the TV conference apparatus which concerns on Embodiment 1. FIG. 実施の形態１に係るＴＶ会議装置に処理のフローを示す図The figure which shows the flow of a process to the TV conference apparatus which concerns on Embodiment 1. 実施の形態１に係る遅延制御処理のフローを示す図The figure which shows the flow of the delay control processing which concerns on Embodiment 1. 実施の形態１に係る音声データの送信・受信頻度の概念図Conceptual diagram of audio data transmission / reception frequency according to the first embodiment 実施の形態２に係るＴＶ会議装置の構成を示す図The figure which shows the structure of the video conference apparatus which concerns on Embodiment 2. FIG. 実施の形態２に係る複数のＴＶ会議装置と遅延制御サーバの関係を示す図The figure which shows the relationship between the some video conference apparatus which concerns on Embodiment 2, and a delay control server. 実施の形態１に係るＴＶ会議装置に処理のフローを示す図The figure which shows the flow of a process to the TV conference apparatus which concerns on Embodiment 1. 実施の形態２に係る遅延制御サーバの処理のフローを示す図The figure which shows the flow of a process of the delay control server which concerns on Embodiment 2. 従来技術のＴＶ会議端末装置の構成を示す図The figure which shows the structure of the video conference terminal device of a prior art

符号の説明Explanation of symbols

１０１，５０１，６０１，６０２，６０３，６０４ ＴＶ会議装置
１０２ 映像音声入力部
１０３ 映像音声符号化部
１０４ 送信部
１０５ 低遅延優先度決定部
１０６ 遅延量決定部
１０７，５０３ パラメタ制御部
１０８ 映像音声出力部
１０９ 映像音声復号化部
１１０ 受信部
１１１ 伝送路
２０１ 映像・音声入力処理
２０２ データ受信処理
２０３ 映像・音声復号化出力処理
２０４ 遅延制御処理
２０５ 映像・音声符号化、伝送処理
２０６ 終了判定処理
３０１ 音声データ送受信頻度算出処理
３０２ 低遅延優先度算出処理
３０３ 遅延量算出処理
３０４ パラメタ算出・更新処理
４０１ 音声データ送信
４０２ 音声データ受信
５０２ 送受信部
５０４，６０７ 遅延制御サーバ
５０５ 低遅延優先度受信部
５０６ 遅延量決定部
５０７ 遅延量送信部
７０１ 低遅延優先度算出処理
７０２ 低遅延優先度送信処理
７０３ 遅延量受信、パラメタ更新処理
８０１ 低遅延優先度受信処理
８０２ 遅延量算出処理
８０３ 遅延量送信処理
９０１ 映像符号化／復号化部
９０２ 音声符号化／復号化部
９０３ 送信遅延回路
９０４ 送信切り替え器
９０５ 音声入力監視部
９０６ 受信切り替え部
９０７ 受信遅延回路
９０８ 多重／分離部
９０９ 多地点接続制御装置 101, 501, 601, 602, 603, 604 Video conferencing apparatus 102 Video / audio input unit 103 Video / audio encoding unit 104 Transmission unit 105 Low delay priority determination unit 106 Delay amount determination unit 107, 503 Parameter control unit 108 Video / audio output Unit 109 video / audio decoding unit 110 receiving unit 111 transmission path 201 video / audio input process 202 data reception process 203 video / audio decoding output process 204 delay control process 205 video / audio encoding / transmission process 206 end determination process 301 audio Data transmission / reception frequency calculation processing 302 Low delay priority calculation processing 303 Delay amount calculation processing 304 Parameter calculation / update processing 401 Audio data transmission 402 Audio data reception 502 Transmission / reception unit 504, 607 Delay control server 505 Low delay priority reception unit 506 Delay amount Decision part 507 Slow Extended amount transmission unit 701 Low delay priority calculation processing 702 Low delay priority transmission processing 703 Delay amount reception and parameter update processing 801 Low delay priority reception processing 802 Delay amount calculation processing 803 Delay amount transmission processing 901 Video encoding / decoding Unit 902 voice encoding / decoding unit 903 transmission delay circuit 904 transmission switching unit 905 voice input monitoring unit 906 reception switching unit 907 reception delay circuit 908 multiplexing / separating unit 909 multipoint connection control device

Claims (16)

伝送路を通じて互いに映像音声の通信を行うＴＶ会議装置であって、映像音声を入力する映像音声入力手段と、映像音声を符号化する映像音声符号化手段と、映像音声データを伝送路を通じてＴＶ会議装置に送信する送信手段と、低遅延の優先度を決定する低遅延優先度決定手段と、低遅延優先度を用いて遅延量を決定する遅延量決定手段と、遅延量に従い映像音声符号化あるいは伝送パラメタの変更を行うパラメタ変更手段と、映像音声データを受信する受信手段と、映像音声データを復号化する映像音声復号化手段と、映像音声を出力する映像音声出力手段を有するＴＶ会議装置。 A video conference apparatus for performing video and audio communication with each other through a transmission line, a video and audio input unit for inputting video and audio, a video and audio encoding unit for encoding video and audio, and a video conference through a transmission line for video and audio data A transmission means for transmitting to the apparatus; a low delay priority determination means for determining a low delay priority; a delay amount determination means for determining a delay amount using the low delay priority; A video conference apparatus comprising parameter changing means for changing transmission parameters, receiving means for receiving video / audio data, video / audio decoding means for decoding video / audio data, and video / audio output means for outputting video / audio. 前記低遅延優先度決定手段は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高い場合ほど低遅延優先度を高く決定することを特徴とする請求項１に記載のＴＶ会議装置。 The low-delay priority determination means determines a lower low-delay priority as the frequency of transmission / reception of voice data is higher using the frequency of transmission / reception of voice data that is voiced. The video conference apparatus according to claim 1. 前記低遅延優先度決定手段は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定する際に、あらかじめ設定された閾値と比較して低遅延優先度を決定する特徴とする請求項２に記載のＴＶ会議装置。 The low-delay priority determination means is set in advance when determining the low-delay priority as the frequency of transmission / reception of voice data increases using the frequency of transmission / reception of voice data that is sound. The video conference apparatus according to claim 2, wherein the low-latency priority is determined in comparison with the threshold value. さらに、音声データの送受信頻度を他のＴＶ会議装置との間で送受信する送受信部を有し、前記低遅延優先度決定手段は、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高くなるほど低遅延優先度を高く決定する際に、前記送受信部により受信した他のＴＶ会議装置の送受信頻度と比較して、頻度が高いほど低遅延優先度を決定する特徴とする請求項２に記載のＴＶ会議装置。 Furthermore, it has a transmission / reception part which transmits / receives the transmission / reception frequency of audio | voice data between other video conference apparatuses, The said low delay priority determination means utilizes the frequency of transmission / reception of audio | voice data which are sound When determining the low delay priority as the frequency of audio data transmission / reception increases, the higher the frequency, the lower the delay priority compared to the transmission / reception frequency of other TV conference devices received by the transmission / reception unit. The video conference device according to claim 2, wherein the video conference device is determined. 前記低遅延優先度決定手段は、有音である音声データの送信時刻および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差が小さいほど低遅延優先度を高く決定することを特徴とする請求項１に記載のＴＶ会議装置。 The low-delay priority determining means determines a low-delay priority higher as the difference between the transmission time and the reception time is smaller, using the transmission time of voiced sound data and the reception time of voiced voice data. The video conference apparatus according to claim 1. 前記低遅延優先度決定手段は、有音である音声データの送信時刻および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差と予め設定された閾値と比較して、差が小さいほど低遅延優先度を高く決定することを特徴とする請求項５に記載のＴＶ会議装置。 The low delay priority determining means uses the transmission time of voice data that is sound and the reception time of sound data of the sound, and compares the difference between the transmission time and the reception time with a preset threshold value. The video conferencing apparatus according to claim 5, wherein the lower the priority is, the lower the delay priority is determined. さらに、音声データの送受信時刻の差を他のＴＶ会議装置との間で送受信する送受信部を有し、前記低遅延優先度決定手段は、有音である音声データの送信および有音の音声データの受信時刻を用いて、送信時刻と受信時刻の差が小さいほど低遅延優先度を高く決定する際に、前記送受信部により受信した他のＴＶ会議装置の送受信時刻の差と比較して、差が小さいほど低遅延優先度を決定する特徴とする請求項５に記載のＴＶ会議装置。 Furthermore, it has a transmission / reception part which transmits / receives the difference of the transmission / reception time of audio | voice data between other video conference apparatuses, The said low-delay priority determination means is transmission of audio | voice data with sound, and audio | voice data with sound When the lower delay priority is determined to be higher as the difference between the transmission time and the reception time is smaller, the difference between the transmission time and the reception time of other TV conference devices received by the transmission / reception unit is used. The video conference apparatus according to claim 5, wherein the lower delay priority is determined as the value of the video conference is smaller. 前記遅延量決定手段は、前記決定された低遅延優先度を用いて、予め決められた閾値処理を行い、優先度が高いほど遅延量を小さい値に決定することを特徴とする請求項１に記載のＴＶ会議装置。 The delay amount determining means performs a predetermined threshold process using the determined low delay priority, and determines the delay amount to be a smaller value as the priority is higher. The video conference apparatus described. さらに低遅延優先度を他のＴＶ会議装置と送受信するデータ送受信手段を有し、前記遅延量決定手段は、前記決定された第１の低遅延優先度と、前記データ送受信手段により受信した前記他のＴＶ会議装置の第２の低遅延優先度とを比較し、低遅延優先度が高いＴＶ会議ほど遅延量を小さい値に決定することを特徴とする請求項１に記載のＴＶ会議装置。 Furthermore, it has a data transmission / reception means for transmitting / receiving a low delay priority to / from another TV conference apparatus, and the delay amount determination means includes the determined first low delay priority and the other received by the data transmission / reception means. 2. The video conference apparatus according to claim 1, wherein the second low delay priority of the video conference apparatus is compared, and a delay amount is determined to be a smaller value for a TV conference having a higher low delay priority. 前記パラメタ変更手段は、前記決定された遅延量以下となるように、映像音声復号化の受信バッファ容量を変更することを特徴とする請求項１に記載のＴＶ会議装置。 2. The video conference apparatus according to claim 1, wherein the parameter changing unit changes a reception buffer capacity of the video / audio decoding so as to be equal to or less than the determined delay amount. 前記パラメタ変更手段は、前記決定された遅延量以下となるように、映像音声符号化の最大発生符号量を小さく変更することを特徴とする請求項１に記載のＴＶ会議装置。 2. The video conference apparatus according to claim 1, wherein the parameter changing unit changes the maximum generated code amount of the video / audio encoding so as to be equal to or less than the determined delay amount. 前記パラメタ変更手段は、前記決定された遅延量に従い、遅延量が小さいほど送信データのパケット優先度を高く変更することを特徴とする請求項１に記載のＴＶ会議装置。 2. The video conference apparatus according to claim 1, wherein the parameter changing unit changes the packet priority of transmission data to be higher as the delay amount is smaller according to the determined delay amount. さらに前記ＴＶ会議装置は、低遅延優先度の送信処理および遅延量の受信処理を遅延制御サーバ間と行うデータ送受信手段を有し、前記パラメタ変更手段は、前記遅延管理サーバによって複数のＴＶ会議装置から受信された低遅延優先度が高いＴＶ会議装置ほど遅延量を小さくなるように決定され、ＴＶ会議装置に送信された遅延量を用いて、映像音声符号化あるいは伝送パラメタを変更することを特徴とする請求項１に記載のＴＶ会議装置。 The TV conference device further includes data transmission / reception means for performing low delay priority transmission processing and delay amount reception processing between the delay control servers, and the parameter changing means includes a plurality of TV conference devices by the delay management server. The video conference device having a higher low delay priority received from the video conference device is determined to reduce the delay amount, and the video / audio encoding or transmission parameter is changed using the delay amount transmitted to the TV conference device. The video conference apparatus according to claim 1. 伝送路を通じて映像音声の通信を行うＴＶ会議方法であって、映像音声を入力する映像音声入力ステップと、映像音声を符号化する映像音声符号化ステップと、映像音声データを伝送路を通じてＴＶ会議装置に送信する送信ステップと、低遅延の優先度を決定する低遅延優先度決定ステップと、低遅延優先度を用いて遅延量を決定する遅延量決定ステップと、遅延量に従い映像音声符号化あるいは伝送パラメタの変更を行うパラメタ変更ステップと、映像音声データを受信する受信ステップと、映像音声データを復号化する映像音声復号化ステップと、映像音声を出力する映像音声出力ステップを有するＴＶ会議方法。 A video conference method for performing video / audio communication through a transmission line, a video / audio input step for inputting video / audio, a video / audio encoding step for encoding video / audio, and a video conference apparatus for transmitting video / audio data through a transmission line A transmission step for transmitting to the network, a low delay priority determination step for determining a low delay priority, a delay amount determination step for determining a delay amount using the low delay priority, and video / audio encoding or transmission according to the delay amount A video conference method comprising: a parameter changing step for changing a parameter; a receiving step for receiving video / audio data; a video / audio decoding step for decoding video / audio data; and a video / audio output step for outputting video / audio. 前記低遅延優先度決定ステップは、有音である音声データの送信および受信の頻度を利用して音声データの送信・受信の頻度が高い場合ほど低遅延優先度を高く決定することを特徴とする請求項１４に記載のＴＶ会議方法。 The low-delay priority determination step is characterized in that the low-delay priority is determined to be higher as the frequency of transmission / reception of voice data is higher using the frequency of transmission / reception of voice data that is sound. The video conference method according to claim 14. さらに前記ＴＶ会議方法は、低遅延優先度の送信処理および遅延量の受信処理を遅延制御サーバ間と行うデータ送受信ステップを有し、前記パラメタ変更ステップは、前記遅延制御サーバにおいて複数のＴＶ会議方法より受信された低遅延優先度を用いて優先度が高いＴＶ会議方法ほど遅延量を小さく決定され、ＴＶ会議装置へ送信された遅延量を用いて、映像音声符号化あるいは伝送パラメタを変更することを特徴とする請求項１４に記載のＴＶ会議方法。 The TV conference method further includes a data transmission / reception step of performing transmission processing of low delay priority and reception processing of the delay amount with the delay control server, and the parameter changing step includes a plurality of TV conference methods in the delay control server. A higher-priority TV conference method using lower received delay priority is determined to have a smaller delay amount, and a video / audio encoding or transmission parameter is changed using the delay amount transmitted to the TV conference device. The video conference method according to claim 14.
JP2006004520A 2006-01-12 2006-01-12 Tv conference apparatus and method Pending JP2009076952A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006004520A JP2009076952A (en) 2006-01-12 2006-01-12 Tv conference apparatus and method
PCT/JP2006/326033 WO2007080788A1 (en) 2006-01-12 2006-12-27 Teleconference control device and teleconference control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006004520A JP2009076952A (en) 2006-01-12 2006-01-12 Tv conference apparatus and method

Publications (1)

Publication Number Publication Date
JP2009076952A true JP2009076952A (en) 2009-04-09

Family

ID=38256199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006004520A Pending JP2009076952A (en) 2006-01-12 2006-01-12 Tv conference apparatus and method

Country Status (2)

Country Link
JP (1) JP2009076952A (en)
WO (1) WO2007080788A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055234A (en) * 2009-09-01 2011-03-17 Ricoh Co Ltd Electronic conference system, multi-point connection device, data communication method, program, and recording medium
JP2014212407A (en) * 2013-04-18 2014-11-13 富士通株式会社 Transmission device and path switching method
WO2015107909A1 (en) * 2014-01-20 2015-07-23 パナソニックＩｐマネジメント株式会社 Reproduction device and data reproduction method
JPWO2014073211A1 (en) * 2012-11-12 2016-09-08 日本電気株式会社 Communication relay device, communication relay system, communication relay method, and communication relay program
WO2020095728A1 (en) 2018-11-06 2020-05-14 ソニー株式会社 Information processing device and information processing method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089156A (en) * 2007-10-01 2009-04-23 Yamaha Corp Distribution system and method
JP5369418B2 (en) * 2007-10-01 2013-12-18 ヤマハ株式会社 Distribution system, distribution method, and communication terminal
JP2012253823A (en) * 2012-09-24 2012-12-20 Yamaha Corp Distribution system, distribution method, distribution server and communication terminal

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09163333A (en) * 1995-12-06 1997-06-20 Nec Corp Voice delay controller
JP3960646B2 (en) * 1996-12-24 2007-08-15 富士ゼロックス株式会社 Information storage device and information storage method
US7773581B2 (en) * 2004-03-19 2010-08-10 Ericsson Ab Method and apparatus for conferencing with bandwidth control

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055234A (en) * 2009-09-01 2011-03-17 Ricoh Co Ltd Electronic conference system, multi-point connection device, data communication method, program, and recording medium
JPWO2014073211A1 (en) * 2012-11-12 2016-09-08 日本電気株式会社 Communication relay device, communication relay system, communication relay method, and communication relay program
JP2014212407A (en) * 2013-04-18 2014-11-13 富士通株式会社 Transmission device and path switching method
WO2015107909A1 (en) * 2014-01-20 2015-07-23 パナソニックＩｐマネジメント株式会社 Reproduction device and data reproduction method
WO2020095728A1 (en) 2018-11-06 2020-05-14 ソニー株式会社 Information processing device and information processing method
JPWO2020095728A1 (en) * 2018-11-06 2021-09-24 ソニーグループ株式会社 Information processing device and information processing method
US11641448B2 (en) 2018-11-06 2023-05-02 Sony Corporation Information processing apparatus and information processing method
JP7420078B2 (en) 2018-11-06 2024-01-23 ソニーグループ株式会社 Information processing device and information processing method

Also Published As

Publication number Publication date
WO2007080788A1 (en) 2007-07-19

Similar Documents

Publication Publication Date Title
US10930262B2 (en) Artificially generated speech for a communication session
JP5442771B2 (en) Data transmission method in communication system
US7680099B2 (en) Jitter buffer adjustment
JP4367657B2 (en) Voice communication method and apparatus
US7817557B2 (en) Method and system for buffering audio/video data
CN107408395B (en) Conference audio management
JP5356360B2 (en) Audio and video data synchronization in wireless communication systems
CN104735470B (en) A kind of streaming media data transmission method and device
JP2009076952A (en) Tv conference apparatus and method
JP4753204B2 (en) Encoding processing apparatus and encoding processing method
US10177899B2 (en) Adapting a jitter buffer
US8760490B2 (en) Techniques for a rate-adaptive video conference bridge
WO2006054442A1 (en) Transmitting apparatus, receiving apparatus and communication system
JP4903435B2 (en) Media signal transmission method and reception method, and transmission / reception method and apparatus
JP2018529261A (en) Sender video phone downgrade
JP2006140984A (en) Transmitting device with discard control of specific media data, and transmission program
US8438016B2 (en) Silence-based adaptive real-time voice and video transmission methods and system
JP2012151555A (en) Television conference system, television conference relay device, television conference relay method and relay program
JP4050961B2 (en) Packet-type voice communication terminal
JP2005340922A (en) Real time remote communication system and communication quality controller
CN108353035B (en) Method and apparatus for multiplexing data
JP4861964B2 (en) Communication terminal device and computer program
JP2005101873A (en) Stream control method, communication equipment capable of using the same and terminal
WO2012014275A1 (en) Audio transmitting/receiving device, audio transmitting/receiving system and server device
JP2008148255A (en) Network box