JPH06261017A - マルチメディア通信装置 - Google Patents

マルチメディア通信装置

Info

Publication number
JPH06261017A
JPH06261017A JP5047005A JP4700593A JPH06261017A JP H06261017 A JPH06261017 A JP H06261017A JP 5047005 A JP5047005 A JP 5047005A JP 4700593 A JP4700593 A JP 4700593A JP H06261017 A JPH06261017 A JP H06261017A
Authority
JP
Japan
Prior art keywords
data
video data
unit
audio
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5047005A
Other languages
English (en)
Inventor
Toshiyuki Fujii
井 利 行 藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP5047005A priority Critical patent/JPH06261017A/ja
Priority to US08/204,606 priority patent/US5500672A/en
Publication of JPH06261017A publication Critical patent/JPH06261017A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • H04N21/2335Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385Channel allocation; Bandwidth allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【目的】 動きの激しい画像を圧縮して送信した場合の
こま落としやブロック歪みの発生を抑える。 【構成】 バッファ制御部13によりビデオデータバッ
ファに蓄積している送信用のビデオデータのデータ量に
対応して、動画データ符号復号化部11へこま落としや
量子化ステップの変更の指示を行なうに先立って、ビデ
オデータの増大をフレーム制御部16に通知し、その通
知に従ってフレーム制御部16はオーディオ符号方式、
フレーム構成の変更を音声コーデック部10、多重/分
離部9に指示することによりビデオデータの通信レート
を増減させる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ディジタル回線を用い
てビデオ、オーディオ、その他のデータを多重化してマ
ルチメディアの通信を行なうマルチメディア通信装置に
関する。
【0002】
【従来の技術】以下、図面を参照しながら従来のマルチ
メディア通信装置について説明する。図4は従来のマル
チメディア通信装置の機能ブロック図である。図4にお
いて、1は音声を入力するマイク、2は音声を出力する
スピーカ、3は動画像を入力するカメラ、4は動画像を
出力するモニタ、5はユーザの指示を入力するキー操作
部、6は回線との接続を行なう回線インタフェース、7
は発着呼、切断等の呼の管理を行なう呼制御処理部、8
はキー操作部からの設定をもとに端末全体を制御する端
末制御部、9はオーディオ、ビデオデータ、その他のデ
ータを多重化し、回線インタフェース6を通して回線に
送出し、また回線インタフェース6を通して受け取った
データをそれぞれのデータに分離する多重/分離部、1
0はマイク1から入力される音声信号をある符号化方式
に従って指示された転送レートのデータに圧縮符号化
し、また符号化されたオーディオデータを音声信号に伸
張復号化する音声コーデック部である。11はカメラ3
から入力される映像信号をある符号化方式に従って指示
された転送レートのデータに圧縮符号化し、また符号化
されたビデオデータを映像信号に伸張復号化する動画デ
ータ符号復号化部、12は動画データ符号復号化部11
で圧縮したビデオデータと、多重/分離部9で分離され
て受け取ったビデオデータを一時的に蓄積するビデオデ
ータバッファ、13はビデオデータバッファ12の送信
用メモリに蓄積している自側の圧縮ビデオデータのデー
タ量を検出し、そのデータ量に従って動画データ符号復
号化部11に圧縮方式の変更を指示するバッファ制御部
であり、これらによって動画コーデック部15が構成さ
れている。また、図3は多重/分離部9でのフレーム構
成の一例を示す図(オーディオデータ通信レート56k
bps)である。
【0003】以上のように構成された従来のマルチメデ
ィア通信装置について、以下その動作について説明す
る。キー操作部5から相手端末の電話番号が設定され、
発信キーが押されると、端末制御部8は呼制御処理部7
に通知し、呼制御処理部7は、通知に基づき回線インタ
フェース6を通して相手端末との間で回線の接続を行な
う。次に、例えば多重/分離部9がCCITT勧告H.
221に従うとすると、キー操作部5からのオーディオ
データの通信レートの入力に従い、端末制御部8は、多
重/分離部9にそれに従ったチャネル割りを指示する。
多重/分離部9は、指示に従ったチャネル割りでフレー
ムを構成し、それぞれ定まったサブチャネルにオーディ
オ、ビデオおよびその他のデータを割り当てる。例え
ば、ISDN回線を使用してBチャネル×2本で通信を
行ない、オーディオ通信レートに48kbpsを指示し
た場合、図3のようなチャネル割りでフレームを構成
し、それぞれのデータを割り振ることになる。つまり、
第1チャネルの第1サブチャネルから第6サブチャネル
までがオーディオデータ、第1チャネルの第8サブチャ
ネルの16bit(FAS、BAS)と追加チャネル
(第2チャネル)の第8サブチャネルの16ビット(F
AS、BAS)を除いた残りがビデオデータとなり、図
3のようにそれぞれのデータを割り振る。ここで、オー
ディオデータの通信レートの変更およびLSD、HSD
の使用が指示されない限り、このフレーム構成は変更さ
れないし、よってビデオフレームの通信レートも変化し
ない。
【0004】また、端末制御部8は、多重/分離部9に
指示したオーディオデータの転送レートに対応するオー
ディオ符号化方式を用いてデータ変換するように音声コ
ーデック部10に指示する。例えば、このときCCIT
T勧告G.722(56kbps)を指示する。音声コ
ーデック部10は、指示されたオーディオ符号化方式で
マイク1から入力された音声信号を圧縮符号化し、多重
/分離部9に送出するとともに、多重/分離部9で分離
した相手端末から受信したオーディオデータを伸張復号
化し、音声信号をスピーカ2に送出する。このとき多重
/分離部9に指示されたオーディオデータの通信レート
と音声コーデック部10に指示されたオーディオ符号化
方式がきちんと対応しているものになっていない場合、
音声は両端末間でうまく通信されない。ビデオデータバ
ッファ12は、多重/分離部9で分離されたビデオデー
タを一時蓄積し、動画データ符号復号化部11に送出す
るとともに、動画データ符号復号化部11で圧縮された
データを一時蓄積し、多重/分離部9に割り当てられて
いるビデオデータ通信レートに従って多重/分離部9に
送出する。動画データ符号復号化部11は、ビデオデー
タバッファ12から受け取ったビデオデータを伸張復号
化し、ビデオ信号をモニタ4に出力するとともに、カメ
ラ3から入力されたビデオ信号をある決まったこま数、
ステップサイズ等のパラメータに従って圧縮符号化し、
ビデオデータバッファ12に送出する。但し、シーンチ
ェンジや動きの激しい映像は、一定の符号化則に従って
圧縮符号化すると、動画データ符号復号化部11で圧縮
符号化したビデオデータの量が多くなるため、ビデオデ
ータバッファ12が多重/分離部9に吐き出すデータ量
を超えて、遂にはビデオデータバッファ12の記憶量を
超えてビデオデータを失うことになる。よって、バッフ
ァ制御部13は、ビデオデータバッファ12を監視し、
データ量があるしきい値を超えたことを検知したなら
ば、画像のこま数、量子化ステップ等のパラメータの変
更(粗く量子化する。)等を動画データ符号復号化部1
1に通知し、動画データ符号復号化部11が、ビデオデ
ータバッファ12に出力するビデオデータの量がビデオ
データバッファ12の容量を超えないように制御する。
よって、一定のビデオレートで通信してもビデオデータ
が失われることはない。
【0005】このようにして、オーディオ、ビデオ、そ
の他のデータを多重化して通信し、マルチメディア通信
を可能にしている。
【0006】
【発明が解決しようとする課題】しかしながら、上記従
来のマルチメディア通信装置の構成では、入力される画
像信号がシーンチェンジや動きの激しいものである場合
には、画像のこま落としや量子化ステップの変更等で圧
縮後のデータ量を抑える制御をしているため、画像が顕
著にこま落としされたり、極端にブロック歪みが増大す
る等が起こり、非常に見にくい画像になるという問題点
があった。
【0007】本発明は、このような従来の問題点を解決
するものであり、こま落としやブロック歪みの発生を抑
制することのできるマルチメディア通信装置を提供する
ことを目的とする。
【0008】
【課題を解決するための手段】本発明は、上記目的を達
成するために、上記従来の構成に、バッファ制御部の情
報から圧縮後のビデオデータのデータ量を検知し、デー
タ量に従って音声コーデック部での圧縮方式と多重/分
離部でのチャネル割りの切り替え制御を行なうフレーム
制御部を設けたものである。
【0009】
【作用】本発明は、上記構成により、バッファ制御部か
ら圧縮後のビデオデータ量が多いことを通知された場合
は、多重/分離部のチャネル割りにおいてオーディオ用
のチャネルを減少させるように指示し、かつ音声コーデ
ック部にそれに対応した音声符号化方式の使用を通知す
ることにより、動きの激しい画像を圧縮して送信した場
合のこま落としやブロック歪みの発生を抑制することが
できる。
【0010】
【実施例】以下、本発明の一実施例について図面を参照
しながら説明する。図1は本発明の一実施例におけるマ
ルチメディア通信装置の機能ブロック図、図2は多重/
分離部でのフレーム構成の一例を示す図(オーディオデ
ータ通信レート16kbps)である。図1において、
符号1から15までは図3の示した従来例の構成と同じ
ものである。すなわち、1は音声を入力するマイク、2
は音声を出力するスピーカ、3は動画像を入力するカメ
ラ、4は動画像を出力するモニタ、5はユーザの指示を
入力するキー操作部、6は回線との接続を行なう回線イ
ンタフェース、7は発着呼、切断等の呼の管理を行なう
呼制御処理部、8はキー操作部からの設定をもとに端末
全体を制御する端末制御部、9はオーディオ、ビデオデ
ータ、その他のデータを多重化し、回線インタフェース
6を通して回線に送出し、また回線インタフェース6を
通して受け取ったデータをそれぞれのデータに分離する
多重/分離部、10はマイク1から入力される音声信号
をある符号化方式に従って指示された転送レートのデー
タに圧縮符号化し、また符号化されたオーディオデータ
を音声信号に伸張復号化する音声コーデック部である。
11はカメラ3から入力される映像信号をある符号化方
式に従って指示された転送レートのデータに圧縮符号化
し、また符号化されたビデオデータを映像信号に伸張復
号化する動画データ符号復号化部、12は動画データ符
号復号化部11で圧縮したビデオデータと、多重/分離
部9で分離されて受け取ったビデオデータを一時的に蓄
積するビデオデータバッファ、13はビデオデータバッ
ファ12の送信用メモリに蓄積している自側の圧縮ビデ
オデータのデータ量を検出し、そのデータ量に従って動
画データ符号復号化部11に圧縮方式の変更を指示する
バッファ制御部であり、これらによって動画コーデック
部15が構成されている。16はバッファ制御部13に
通知されるビデオデータバッファ12の状況により多重
/分離部9、音声コーデック部10にフレーム構成およ
び音声符号化方式の変更を通知するフレーム制御部であ
る。
【0011】以上のように構成されたマルチメディア通
信装置の動作について説明する。以下の説明では、本実
施例のマルチメディア通信装置がISDNに接続され、
Bチャネル×2で通信を行なっている場合で、音声コー
デック部10は、複数の符号化方式、例えば16kbp
sの符号化方式としてCCITT勧告G.728、48
kbps、56kbpsの符号化方式としてはG.72
2を使用して圧縮伸張する能力を持っているものとして
説明する。
【0012】キー操作部5からのオーディオデータの通
信レートの入力に従い、端末制御部8は、多重/分離部
9にそれに従ったチャネル割りを指示する。例えば、こ
れが56kbpsとすると、音声コーデック部10は、
端末制御部8の通知に基づき56kbpsで圧縮伸張を
行ない、多重/分離部9も図3のようなフレーム構成を
とる。このとき、送信、受信について別々の通信レート
を設定しても問題は無い。
【0013】バッファ制御部13は、ビデオデータバッ
ファ12に蓄積している送信用の圧縮したビデオデータ
のデータ量を監視しつつ、もしデータ量があるしきい値
を超えたならば、動画データ符号復号化部11に圧縮パ
ラメータの変更を通知するに先立って、まずフレーム制
御部16にデータ量の増加およびその度合を通知する。
フレーム制御部16は、前記通知に従い、オーディオデ
ータ通信レートを減らしてビデオデータ通信レートに付
加するようにフレーム構成を変更することを多重/分離
部9に指示する。ただし、この変更は、音声コーデック
部10がもっていない符号化方式の通信レートを指示す
ることはない。またオーディオデータの通信レートをい
くらにするかは、フレーム制御部16がバッファ制御部
13から受けた通知の度合により決定する。例えば、こ
の場合カメラ3から入力された画像が非常に激しい動き
を含むものであってビデオデータバッファ11のデータ
蓄積量がしきい値を大きく超えたとしてその旨の通知を
バッファ制御部13から通知を受け、フレーム制御部1
6がオーディオ通信レートを16kbpsにすると決定
すると、音声コーデック部10に送信オーディオデータ
の圧縮方式をG.728(16kbps)とするように
指示し、合わせて多重/分離部9にオーディオデータの
通信レートを16kbpsとしたフレーム構成をとるよ
うに指示する。音声コーデック部10および多重/分離
部9は、指示に従ってそれぞれ音声符号化方式およびフ
レーム構成を変更する。このとき多重/分離部9での送
信用のフレーム構成は図2のようになる。図2と図3を
比較すると分かるように、オーディオデータ用サブチャ
ネルの一部をビデオデータ用のサブチャネルに変えるこ
とにより、ビデオデータ通信レートを拡大している。こ
の処理を行なってもなおビデオデータバッファ11がし
きい値を超える場合は、バッファ制御部16は、従来と
同様にビデオデータ符号復号化部11に圧縮パラメータ
の変更を指示し、ビデオデータの発生を抑える。
【0014】また、入力される映像信号が動きの緩やか
なものになり、ビデオデータバッファ12に蓄積してい
るビデオデータ量がしきい値を下回った場合には、バッ
ファ制御部13は、その旨をフレーム制御部16に通知
する。フレーム制御部16は、音声コーデック部10に
当初端末制御部8から指示された圧縮方式に戻すように
指示するとともに、多重/分離部9にも同様に当初端末
制御部8から指示されたフレーム構成に戻すように指示
する。つまり、この場合音声コーデック部10は、G.
711の56kbpsの符号化方式に再び圧縮方式を変
更し、また多重/分離部9も図3のフレーム構成にフレ
ーム形式を変更する。
【0015】このようにして、ビデオデータの量が大き
くなった場合のみ音声通信レートを下げて通信すること
により、音声の通信を中断することなく、画像のこま落
とし、ブロック歪みの増大を防ぐことができる。
【0016】また、ビデオデータバッファ12に蓄積さ
れているビデオデータ量に対するしきい値を段階的に複
数設け、その各段階に応じてフレーム制御部16に通知
し、オーディオデータの通信レートをより段階的に変更
させる制御を行なっても何ら問題はない。例えば、56
kbps→48kbps→16kbps→48kbps
→56kbpsというようにオーディオデータ通信レー
トをビデオデータ蓄積量に従って段階的に変化させる。
【0017】
【発明の効果】以上のように、本発明は、圧縮後のデー
タ量の多い画像を入力された場合には、オーディオデー
タについて低通信レートの音声符号化方式に切り替えて
ビデオデータの通信レートを増やすことによって、こま
落としや量子化ステップの変更等でビデオデータのデー
タ量を抑えるという作業が緩和されるため、画像のこま
落としおよびブロック歪みの増大を減少させることがで
きる。
【図面の簡単な説明】
【図1】本発明の一実施例におけるマルチメディア通信
装置の機能ブロック図。
【図2】多重/分離部でのフレーム構成の一例を示す模
式図。
【図3】多重/分離部でのフレーム構成の別の例を示す
模式図。
【図4】従来のマルチメディア通信装置の機能ブロック
図。
【符号の説明】
1 マイク 2 スピーカ 3 カメラ 4 モニタ 5 キー操作部 6 回線インタフェース 7 呼制御処理部 8 端末制御部 9 多重/分離部 10 音声コーデック部 11 動画データ符号復号化部 12 ビデオデータバッファ 13 バッファ制御部 15 動画コーデック部 16 フレーム制御部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/08 Z 6942−5C

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 回線を通じての通信を制御する回線イン
    タフェースと、前記回線インタフェースを通して相手端
    末との呼の制御を行なう呼制御処理部と、自端末のビデ
    オデータ、オーディオデータおよびその他のデータを多
    重化して前記回線インタフェースを通じて相手端末に送
    信し、また相手端末から前記回線インタフェースを通し
    て受信するデータをそれぞれのデータに分離する多重/
    分離部と、ユーザの入力する指示に従い前記呼制御部お
    よび多重/分離部を管理制御する端末制御部と、音声信
    号を符号化して前記多重/分離部に送出し、また前記多
    重/分離部から受け取ったオーディオデータを復号化し
    て音声信号を生成する音声コーデック部と、ビデオ信号
    の符号化および復号化を行なう動画データ符号復号化部
    と、前記動画データ符号復号化部で圧縮したビデオデー
    タおよび前記多重/分離部で分離した相手端末からのビ
    デオデータを一時的に蓄積し、それぞれ前記多重/分離
    部および動画データ符号復号化部に送出するビデオデー
    タバッファと、前記ビデオデータバッファに蓄積してい
    る送信用のビデオデータのデータ量と前記多重/分離部
    にてビデオデータ用に割り当てられている通信レートに
    従い、ビデオデータが前記ビデオデータバッファから溢
    れないように前記動画データ符号復号化部での圧縮方式
    を切り替えるバッファ制御部と、前記バッファ制御部の
    情報から圧縮後のビデオデータのデータ量を検知し、前
    記データ量に従い、前記音声コーデック部での圧縮方式
    と前記多重/分離部でのチャネル割りの切り替え制御を
    行なうフレーム制御部とを備えたマルチメディア通信装
    置。
JP5047005A 1993-03-08 1993-03-08 マルチメディア通信装置 Pending JPH06261017A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP5047005A JPH06261017A (ja) 1993-03-08 1993-03-08 マルチメディア通信装置
US08/204,606 US5500672A (en) 1993-03-08 1994-03-02 Multi-media communication apparatus for transmitting audio information, video information and character information simultaneously

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5047005A JPH06261017A (ja) 1993-03-08 1993-03-08 マルチメディア通信装置

Publications (1)

Publication Number Publication Date
JPH06261017A true JPH06261017A (ja) 1994-09-16

Family

ID=12763064

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5047005A Pending JPH06261017A (ja) 1993-03-08 1993-03-08 マルチメディア通信装置

Country Status (2)

Country Link
US (1) US5500672A (ja)
JP (1) JPH06261017A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6928060B1 (en) 1998-03-27 2005-08-09 Yamaha Corporation Audio data communication

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100289854B1 (ko) * 1993-06-08 2001-05-15 이데이 노부유끼 인코딩 장치 및 방법
US5561466A (en) * 1993-06-23 1996-10-01 Nec Corporation Video and audio data multiplexing into ATM cells with no dummy cell used and ATM cell demultiplexing
JPH07336462A (ja) * 1994-06-03 1995-12-22 Canon Inc 通信端末および通信システム
US5926483A (en) * 1996-11-06 1999-07-20 At&T Corp Method for dynamic allocation of voice and image compression
WO1998033281A1 (en) * 1997-01-23 1998-07-30 Sony Corporation Device and method for generating compressed data
JPH11150711A (ja) * 1997-11-17 1999-06-02 Nec Corp ビデオ会議データ転送装置
JPH11202900A (ja) * 1998-01-13 1999-07-30 Nec Corp 音声データ圧縮方法及びそれを適用した音声データ圧縮システム
JP3558522B2 (ja) * 1998-06-12 2004-08-25 三菱電機株式会社 レート制御通信装置及びレート制御通信方法
US7035473B1 (en) 2000-03-01 2006-04-25 Sharp Laboratories Of America, Inc. Distortion-adaptive visual frequency weighting
JP2001274923A (ja) * 2000-03-28 2001-10-05 Nec Eng Ltd 携帯電話伝送システム
JP2001308811A (ja) * 2000-04-18 2001-11-02 Mitsubishi Electric Corp メディアデータ符号化多重化装置、メディアデータ符号化多重化システムおよびメディアデータ符号化多重化方法
US8692695B2 (en) 2000-10-03 2014-04-08 Realtime Data, Llc Methods for encoding and decoding data
US7386046B2 (en) 2001-02-13 2008-06-10 Realtime Data Llc Bandwidth sensitive data compression and decompression
US20050207501A1 (en) * 2004-03-18 2005-09-22 Sony Corporation Method of and system for video bit allocation for scene cuts and scene changes
US20070140116A1 (en) * 2005-12-16 2007-06-21 Microsoft Corporation Interactive Codec Selection
US10250510B2 (en) * 2013-09-20 2019-04-02 Oracle International Corporation Intelligent network resource manager
WO2016138502A1 (en) * 2015-02-27 2016-09-01 Arris Enterprises, Inc. Adaptive joint bitrate allocation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69032361T2 (de) * 1989-03-16 1998-10-29 Fujitsu Ltd Video/audiomultiplexübertragungssystem
JP3061405B2 (ja) * 1990-09-20 2000-07-10 キヤノン株式会社 マルチメディア通信装置及び方法
JPH04266255A (ja) * 1991-02-21 1992-09-22 Sharp Corp テレビ電話装置
JP3320086B2 (ja) * 1991-12-11 2002-09-03 キヤノン株式会社 マルチメディア通信方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6928060B1 (en) 1998-03-27 2005-08-09 Yamaha Corporation Audio data communication

Also Published As

Publication number Publication date
US5500672A (en) 1996-03-19

Similar Documents

Publication Publication Date Title
JPH06261017A (ja) マルチメディア通信装置
JP2002534936A (ja) マルチメディア装置におけるビットレート制御
JP2002374559A (ja) 移動通信システムのシグナリング通信方法
KR100238133B1 (ko) 영상전화기의 화상 복구 장치 및 방법
EP0917365A2 (en) Improved video conference data transfer system
US7522665B2 (en) Mobile terminal with camera
US5900906A (en) Image communication apparatus having automatic answering and recording function
JP3927606B2 (ja) 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法
JP3730332B2 (ja) マルチメディア多重化通信システム
JPH05300510A (ja) 画像通信端末装置
JPH10285588A (ja) 画像通信端末装置および画像通信方法
JPH06224877A (ja) 画像通信端末装置
KR100203271B1 (ko) 화상전화기의 오디오코덱 비트레이트 자동조절장치
JPH09247643A (ja) 多地点テレビ会議システム
JP3728812B2 (ja) 画像通信端末装置
JP3266369B2 (ja) テレビ会議システム
JPH05300505A (ja) 画像通信端末装置
JPH05300504A (ja) 画像通信端末装置
JPH08130514A (ja) 画像通信端末装置
JPH07336461A (ja) 画像通信装置
JPH0918846A (ja) 多地点間通信装置
JPH06284106A (ja) マルチメディア通信装置
JPH06216779A (ja) 通信装置
JPH0690218A (ja) 情報伝送システム
JPH0795551A (ja) テレビ会議端末