JP2002058002A - テレビ電話装置 - Google Patents

Abstract

(57)【要約】 【課題】 ネットワークにジッタが発生した後に連続し
てパケットデータが到達した場合であっても受信バッフ
ァがオーバーフローしにくく、このように通常のタイミ
ングよりも遅れて到達したパケットデータを表示するこ
とで生じる表示画像の遅延を防止し、またジッタにより
受信バッファが空となった後に受信した動画像データを
破棄することなく正常に表示可能なテレビ電話装置を提
供する。 【解決手段】 ネットワークにジッタが発生しているか
判定するジッタ判定手段と、ネットワークにジッタが発
生している場合、符号化ビットレートを所定のレートに
下げるビットレート制御手段と、を有する。また、ネッ
トワークにジッタが発生している場合、入力されたパケ
ットデータから作製した動画像データの出力を行わない
動画像データ出力制御手段と、をさらに有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＩＰ（internet p
rotocol ）ネットワークを利用したテレビ電話装置に関
し、特に、ネットワークにジッタが発生した後に連続し
てパケットデータが到達した場合であっても受信バッフ
ァがオーバーフローしにくく、このように通常のタイミ
ングよりも遅れて到達したパケットデータを表示するこ
とで生じる表示画像の遅延を防止し、またジッタにより
受信バッファが空となった後に受信した動画像データを
破棄することなく正常に表示可能なテレビ電話装置に関
する。

【０００２】

【従来の技術】近年、ＩＰネットワークを利用するテレ
ビ電話装置（システム）が普及してきている。しかし、
ＩＰネットワークにジッタが発生し、パケットデータが
ネットワークに滞留すると、ジッタ解消後、ネットワー
クにたまっていたパケットデータは、受信側テレビ電話
装置の受信バッファに通常のタイミングよりも遅れて入
力される。すなわち、ネットワークにジッタ（ゆらぎ）
が発生したことで、ジッタが発生していた期間中に正常
（通常）のタイミングで到達するはずであったパケット
データがジッタ解消後にまとめて、通常の受信タイミン
グよりも短い間隔で到達してしまう。

【０００３】このようにジッタ解消後にパケットが連続
して到達するため、従来のテレビ電話装置では、受信バ
ッファがオーバーフローをおこしてしまうということが
指摘されている。

【０００４】また、受信側テレビ電話装置の動画像デー
タの表示間隔時間と送信側テレビ電話装置の動画像デー
タの取込時間とが同じである場合、ジッタ発生により一
旦受信バッファの容量が空となり、正常なタイミングで
画像表示装置での動画像（表示）データの更新がされな
い期間があると、ジッタが解消してパケットデータが到
達して動画像データの表示を再開しても、この表示がさ
れなかった期間分の表示遅延、すなわちジッタ遅延によ
る動画像データの表示遅延が解消されなくなってしま
う。これについて、図６、図２（ａ）〜（ｃ）を参照し
ながら説明する。

【０００５】以下の説明においては、テレビ電話装置６
００は、ネットワークに接続された他のテレビ電話装置
と呼接続が正常に行われ、音声データ、および動画像デ
ータの通信を開始したものとする。上記他のテレビ電話
装置の構成は、テレビ電話装置６００と同様のものとす
る。

【０００６】ここでは、フロー制御装置１１４は、呼接
続の際に、各端末が使用する音声データおよび動画像デ
ータの符号化方式、および復号化方式の情報を取得した
ものとする。また、送信側テレビ電話装置６００の動画
像データを取り込む間隔と、受信側テレビ電話装置６０
０の動画像データを表示する間隔とが同じであり、か
つ、動画データ１フレームを１パケットデータとして送
信しているものとする。例えば、送信側の動画像入力装
置１０３が３０フレーム毎秒の動画像取り込み能力を有
し、１パケットに１フレームのデータをパケット化して
送信し、受信側の動画像表示装置も３０フレーム毎秒の
動画像表示能力を有している場合等である。

【０００７】図６は、従来のテレビ電話装置の内部構成
図である。図６によれば、テレビ電話装置６００は、音
声入力装置１０２と、動画像入力装置１０３と、符号化
装置１０６と、パケット化装置１０８と、送信バッファ
１１１と、通信制御装置１１３と、受信バッファ１１２
と、ストリーム化装置１０９と、復号化装置１０７と、
音声出力装置１０４と、動画像バッファ１０５と、を有
し、通信回線１１６を介して上記他のテレビ電話装置と
接続する。

【０００８】送信側テレビ電話装置１０１の送信バッフ
ァ１１１には、動画像入力装置１０２から入力され符号
が装置１０６で符号化されパケット化装置１０８でパケ
ット化された動画像データが格納される。このパケット
データは、通信制御装置１１３を介して通信回線１１６
に送出され、受信側テレビ電話装置１０１に入力され
る。受信側テレビ電話装置１０１の通信制御装置１１３
を介して受信バッファ１１２に格納されたパケットデー
タは、ストリーム化装置１０９で上記パケット化の際に
付加されたデータが削除され動画像データとなり、復号
化装置１０７で復号化され、動画像バッファ１０５に出
力される。この動画像データは、画像表示装置に送出さ
れ、画像が表示される。

【０００９】図２（ａ）は、送信側のテレビ電話装置６
００の送信バッファ１１１が通信制御装置１１３を介し
て通信回線１１６へパケットデータを送出するタイミン
グの一例を示す図である。図２（ａ）に示すように、送
信バッファ１１１は、一定のタイミングでパケットデー
タを送出する。図２（ｂ）は、受信側のテレビ電話装置
６００の受信バッファ１１２が通信制御装置１１３を介
して受信したパケットデータを示す。なお、図２は、左
側から右側へ時間軸がとられている。

【００１０】図２（ａ）、および（ｂ）に示すパケット
に付された数字が同じ数である場合、これらのパケット
は、同一のものであることを示す。すなわち、図２
（ａ）に「１」と付されたパケットは、図２（ｂ）に
「１」と付されたパケットと同一である。つまり、図２
（ａ）、および（ｂ）は、送信側のテレビ電話装置６０
０の送信バッファ１１１から通信制御装置１１３を介し
て通信回線１１６へ送出されたパケット「１」が受信側
のテレビ電話装置６００の通信制御装置１１３を介して
受信バッファ１１２に格納されたことを示している。こ
の際、送信バッファ１１１から送信されてから受信バッ
ファ１１２に受信されるまでには時間を要するため、図
２（ｂ）における「１」と付されたパケットデータは、
図２（ａ）に「１」と付されたパケットデータよりも右
側に記されている。

【００１１】図２に示す例では、（ｂ）に「Ｊ１」と示
す期間中、通信回線１１６上でジッタが発生していたも
のとする。すなわち、ＩＰネットワーク上でジッタが発
生していたものとする。そのため、パケットデータ
「２」以降のパケットデータは、送信側のテレビ電話装
置６００の送信バッファ１１１から出力されているにも
関わらず、この「Ｊ１」期間中には、受信側のテレビ電
話装置６００の受信バッファ１１２には入力されない。
このようにジッタが発生すると、受信側テレビ電話装置
の受信バッファ１１２には送信側テレビ電話装置の送信
バッファ１１１から出力されたパケットが到達しない期
間が生じてしまう。

【００１２】そして、このジッタが解消すると、図２
（ｂ）に「Ｊ２」と示す期間にあるように、パケットが
連続して到達する。すなわち、ネットワークにたまって
いたパケットデータは、送信バッファ１１１による送信
間隔、すなわち正常なパケット受信間隔よりもよりも短
い間隔で連続して受信バッファ１１２に到達する。図２
（ｂ）に示すように、パケットデータ「８」の到達以
降、上記ジッタによるパケットデータ到達の遅れは解消
し、通常のタイミングによりパケットデータが到達する
ものとする。

【００１３】図２（ｃ）には、画像バッファ１０５の動
画像データの更新状況の一例を示す。なお、受信側のテ
レビ電話装置６００の画像バッファ１０５が画像表示装
置に表示する表示データ（動画像データ）を更新する間
隔は、前記したように、送信側のテレビ電話装置６００
が動画像入力装置１０３から動画像データを取り込む間
隔と同じとしている。図２（ｃ）は、（ｂ）に示す受信
バッファ１１２で受信したパケットデータが復号された
動画像データの更新を示す。また、図２（ｃ）も、図２
（ａ）、（ｂ）と同様に時間軸が左側から右側にとら
れ、「１」と付された動画像データは、「１」と付され
たパケットデータと同じデータ（動画像データ）を含む
ものとする。すなわち、受信バッファ１１２に入力され
たパケットデータ「１」は、ストリーム化装置１でスト
リーム化され復号化装置１０７で復号された動画像デー
タ「１」となり動画像バッファ１０５に入力されたもの
とする。

【００１４】図２（ｂ）の「Ｊ１」期間では、ネットワ
ークにおいてジッタが発生しているため、画像バッファ
１０５は、データが更新されない。すなわち、受信バッ
ファ１１２には、パケットデータ「２」以降のパケット
データがないため、画像バッファ１０５を更新すること
ができない。従って、この間、画像表示装置にはジッタ
が発生する前の動画像データ、すなわちパケット番号
「１」の動画像データが表示される。

【００１５】図２（ｂ）の「Ｊ２」期間では、受信バッ
ファ１１２は、連続してパケットデータを受信する。従
って、画像バッファ１０５は、動画像データが順次更新
される。すなわち、パケット番号「２」の動画像データ
は、ジッタ解消後の正常ではないタイミングで画像表示
装置に表示される。

【００１６】前記したように、受信側テレビ電話装置６
００は、画像表示装置に表示する表示データ（動画像デ
ータ）を更新する間隔が、送信側テレビ電話装置６００
が動画像入力装置１０３から動画像データを取り込む間
隔が同じである。そのため、「Ｊ１」期間において一度
ジッタが生じると、画像表示装置に表示される表示デー
タが更新される間隔は、正常なタイミングに戻ることが
なくなってしまう。すなわち、連続して到達したパケッ
トデータを復号し画像バッファ２０５を更新しても、受
信バッファ２１２が一度空になってしまった場合、図２
（ｃ）に示す「２」と付した表示データ以降の表示デー
タのように、表示画像に遅延が発生してしまう。

【００１７】言い換えれば、前記したように送信側テレ
ビ電話装置６００の動画像入力装置の動画像取り込み能
力と受信側テレビ電話装置６００の動画像表示能力とが
同じである場合、受信側テレビ電話装置の画像表示が１
コマでも遅れると、この後の画像表示もすべて遅延して
しまうのである。この表示画像の遅延は、ネットワーク
でパケットロスが発生し送信された動画像データがなく
なるか、または受信バッファ１１２が正常なタイミング
に戻るように動画像データを破棄しない限り、解消され
ずに蓄積されてしまう。このように、ネットワークにジ
ッタが発生した場合、表示遅延が蓄積してしまうという
ことが指摘されている。

【００１８】さらに、受信側テレビ電話装置６００は、
動画像データの表示間隔時間が送信側テレビ電話装置の
動画像データの取込時間よりも短い場合には、ジッタ発
生により一旦受信バッファ１１２の容量が空になると、
ジッタが解消してパケットが到達し始めてから動画像デ
ータが正常（通常）のタイミングで表示されるようにな
るまでに長い時間を必要としてしまうということが指摘
されている。以下、これについて、図１、図２（ａ）、
（ｂ）、（ｄ）を参照しながら説明する。なお、図２
（ｄ）も、図２（ａ）、（ｂ）と同様に時間軸が左側か
ら右側にとられ、図２（ｃ）と同様に「１」と付された
動画像データは、「１」と付されたパケットデータと同
じデータを含むものとする。

【００１９】図２（ｄ）は、受信側テレビ電話装置６０
０が画像表示装置に表示データを表示する更新間隔が送
信側テレビ電話装置６００が動画像入力装置１０３から
動画像データを取り込む間隔よりも短い場合であること
を除き、図２（ｃ）と同じ条件である。例えば、送信側
の動画像入力装置１０３が１０フレーム毎秒の動画像取
込能力を有し、１パケットに１フレームのデータをパケ
ット化し送信するのに対し、受信側の動画像表示装置
は、３０フレーム毎秒の動画像表示能力を有し、受信す
るパケット間隔より短い間隔で表示することができる場
合である。

【００２０】図２（ｄ）に示すように、ジッタが発生し
ている期間「Ｊ１」に対応する期間においては、表示画
像が「１」と付された表示データのまま更新されない。
「Ｊ２」に対応する期間においては受信バッファ１１２
に連続して入力されたパケットデータが、送信側の動画
像入力装置１０３の動画像取込能力よりも短い間隔で動
画像を表示している。「８」と付された動画像データ
は、通常のタイミングで画像バッファ２０５に格納され
るようになる。このように、正常のタイミングで動画像
データが表示されるようになるまで、すなわち画像バッ
ファ１０５の更新間隔が送信側のテレビ電話装置の送出
間隔と同じになるまで、ある程度の時間（図２の場合、
動画像データ「８」が表示されるまでの期間）を要して
しまうということが指摘されている。

【００２１】これに対し、特許第２９４７３０２号に
は、入力信号の符号化データを階層化して、画質に与え
る影響の大きい成分から先にパケットに伝送するか、ま
たは、入力信号を帯域分割し、帯域に応じた符号化を行
い、低域成分の符号化データから先にパケット伝送する
第１の従来技術が開示されている。

【００２２】また、特開平１１−１７７６２３号公報に
は、受信側装置がジッタを監視し、このジッタと受信デ
ータのバッファリング量とを制御して、再生データを再
生するための調整を行う第２の従来技術が開示されてい
る。より詳しくは、この第２の従来技術は、送信パケッ
トを受信するためのバッファリング量をできる限り小さ
くして頭出しを早くすることと、再生の途切れをなくす
ためにバッファリング量を増やすという両課題を解決す
べく、会話における無音部分をカットしたり、捨ててい
いデータを捨てる等、ネットワーク状態の長期的な変化
を示す伝送ジッタ算出部からの出力に対しては受信側の
バッファリング量を緩やかに変化させ、短期的な変化に
対しては受信側のバッファリング量を急激に変化させ、
短期的な劣化状態が解消されたら元のバッファリング量
に戻し、遅延量の時間的推移に対してバッファリング量
を最適に設定するよう制御する。

【００２３】

【発明が解決しようとする課題】しかしながら、上記第
１の従来技術によれば、高速パケット網にジッタ遅延が
生じた場合に、受信局がもつ映像フレーム同期内に受信
したパケットから得られるデータを用いて画像の復号を
行っても、画像形成に影響の大きいデータの欠落がな
く、リアルタイム性を損なうことなく、乱れのない画像
を復号することを可能とするが、ジッタ発生後に連続し
て到達するパケットにより受信バッファがオーバーフロ
ーすることや、表示遅延が蓄積されてしまうこと、正常
な表示タイミングに戻るまで時間を要してしまうという
こと等については何ら対応策を示しているとはいえな
い。

【００２４】また、上記第２の従来技術によれば、通常
の大きさのパケットデータが送られてくるため、ジッタ
解消後パケットデータを通常のタイミングで受信するま
でには非常に多くの時間を要してしまう。従って、表示
遅延が蓄積されてしまうことや、正常な表示タイミング
に戻るまで時間を要してしまうということ等について、
有効な対応策を示しているとはいえない。

【００２５】本発明は、上記問題点に鑑みなされたもの
であり、ネットワークにジッタが発生した場合、送信側
テレビ電話装置が動画像データの符号化ビットレートを
下げることにより、受信側テレビ電話装置の受信バッフ
ァの見かけ上の容量を増やし、ジッタ発生後に連続して
到達するパケットによる受信バッファのオーバーフロー
を防止するテレビ電話装置を提供することを目的とす
る。

【００２６】本発明の他の目的は、受信側テレビ電話装
置の動画像データの表示間隔時間と送信側テレビ電話装
置の動画像データの取込時間とが同じで、ネットワーク
上にバッファ発生が発生した場合に、受信側テレビ電話
装置がパケットを正常のタイミングで受信するまで動画
像データの表示を更新せず、正常なタイミングで受信し
た後に表示を更新することにより、動画像データの表示
遅延が蓄積してしまうことを防止するテレビ電話装置を
提供することである。

【００２７】本発明の他の目的は、受信側テレビ電話装
置の動画像データの表示間隔時間よりも送信側テレビ電
話装置の動画像データの取込時間の方が長く、ネットワ
ーク上にバッファ発生した場合に、送信側テレビ電話装
置が動画像データの符号化ビットレートを下げること
で、受信側テレビ電話装置がパケットを正常のタイミン
グで表示し始めるまでに要する時間を短くするテレビ電
話装置を提供することである。

【００２８】本発明の他の目的は、ジッタが発生した
後、動画像データを正常なタイミングで表示可能となる
までの間に、フレームデータである符号化データを表示
することにより、表示を再開するまでの時間を短縮し、
かつ高品質な画像を表示することが可能となるテレビ電
話装置を提供することである。

【００２９】本発明の他の目的は、ジッタが発生した
後、動画像データを正常なタイミングで表示可能となる
までの間に、特にジッタが発生している最中に到達した
動画像データの表示を更新することを可能とするテレビ
電話装置を提供することである。

【００３０】

【課題を解決するための手段】かかる目的を達成するた
めに、請求項１記載のテレビ電話装置の発明によれば、
ネットワークにジッタが発生しているか判定するジッタ
判定手段と、ネットワークにジッタが発生している場
合、符号化ビットレートを所定のレートに下げるビット
レート制御手段と、を有することを特徴としている。

【００３１】請求項２記載の発明によれば、請求項１の
テレビ電話装置において、ジッタ判定手段は、パケット
データが呼接続時に決定したタイミングで入力されなか
った場合にネットワークにジッタが発生していると判定
することを特徴としている。

【００３２】請求項３記載の発明によれば、請求項２の
テレビ電話装置において、ジッタ判定手段は、入力され
たパケットデータに順次インクリメントされ付加された
シーケンス番号からタイミングでパケットデータが入力
されたか否かを判定することを特徴としている。

【００３３】請求項４記載の発明によれば、請求項２の
テレビ電話装置において、ジッタ判定手段は、入力され
た動画像データに付加されたタイムスタンプ情報からタ
イミングでパケットデータが入力されたか否かを判定す
ることを特徴としている。

【００３４】請求項５記載の発明によれば、請求項２の
テレビ電話装置において、ジッタ判定手段は、入力され
た音声データに付加されたタイムスタンプ情報からタイ
ミングでパケットデータが入力されたか否かを判定する
ことを特徴としている。

【００３５】請求項６記載の発明によれば、請求項１の
テレビ電話装置において、ジッタ判定手段は、受信バッ
ファに入力されたパケットデータの容量がしきい値以下
である場合にネットワークにジッタが発生していると判
定することを特徴としている。

【００３６】請求項７記載の発明によれば、請求項１か
ら６のいずれか１のテレビ電話装置において、ビットレ
ート制御手段は、動画像データの符号化ビットレートを
下げることを特徴としている。

【００３７】請求項８記載の発明によれば、請求項１か
ら７のいずれか１のテレビ電話装置において、ネットワ
ークにジッタが発生している場合、入力されたパケット
データから作製した動画像データの出力を行わない動画
像データ出力制御手段と、をさらに有することを特徴と
している。

【００３８】請求項９記載の発明によれば、請求項８の
テレビ電話装置において、動画像データ出力制御手段
は、動画像データを画像表示装置へ出力する間隔が送信
側テレビ電話装置の動画像取り込み間隔よりも短い間隔
である場合にはネットワークにジッタが発生しても動画
像データの出力を行うことを特徴としている。

【００３９】請求項１０記載の発明によれば、請求項８
のテレビ電話装置において、動画像データ出力制御手段
は、動画像データがフレーム内符号化されたデータであ
る場合にはネットワークにジッタが発生しても動画像デ
ータの出力を行うことを特徴としている。

【００４０】請求項１１記載の発明によれば、請求項８
または１０のテレビ電話装置において、ネットワークが
ジッタに発生している場合、入力されたパケットデータ
から作製した動画像データを記憶する動画像復号データ
バッファと、をさらに有し、動画像データ出力制御手段
は、動画像符号データバッファに記憶された動画像デー
タよりも最新の動画像データが作製されていない場合、
動画像符号データバッファに記憶された動画像データを
出力することを特徴としている。

【００４１】請求項１２記載のテレビ電話装置の発明に
よれば、ネットワークにジッタが発生しているか判定す
るジッタ判定手段と、ネットワークにジッタが発生して
いる場合、送信側テレビ電話装置に符号化ビットレート
を所定のレートに下げさせるビットレート変更手段と、
を有することを特徴としている。

【００４２】請求項１３記載の発明によれば、請求項１
２のテレビ電話装置において、動画像データ出力制御手
段は、動画像データを画像表示装置へ出力する間隔が送
信側テレビ電話装置の動画像取り込み間隔よりも短い間
隔である場合にはネットワークにジッタが発生しても動
画像データの出力を行うことを特徴としている。

【００４３】請求項１４記載の発明によれば、請求項１
２のテレビ電話装置において、動画像データ出力制御手
段は、動画像データがフレーム内符号化されたデータで
ある場合にはネットワークにジッタが発生しても動画像
データの出力を行うことを特徴としている。

【００４４】請求項１５記載の発明によれば、請求項１
２または１４のテレビ電話装置において、ネットワーク
がジッタに発生している場合、入力されたパケットデー
タから作製した動画像データを記憶する動画像復号デー
タバッファと、をさらに有し、動画像データ出力制御手
段は、動画像符号データバッファに記憶された動画像デ
ータよりも最新の動画像データが作製されていない場
合、動画像符号データバッファに記憶された動画像デー
タを出力することを特徴としている。

【００４５】

【発明の実施の形態】以下、本発明の実施の形態を添付
図面を参照しながら詳細に説明する。

【００４６】以下には、本発明によるテレビ電話装置に
ついて説明する。また、本発明によるテレビ電話装置を
複数有するテレビ電話システムは、このテレビ電話装置
が複数、ＩＰネットワークに接続されたものである。こ
のテレビ電話装置は、ネットワークにジッタが発生して
いるか判定し、ネットワークにジッタが発生している場
合、符号化ビットレートを所定のレートに下げる。ま
た、ネットワークにジッタが発生している場合、入力さ
れたパケットデータから作製した動画像データの出力を
行わない。なお、動画像データを画像表示装置へ出力す
る間隔が送信側テレビ電話装置の動画像取り込み間隔よ
りも短い間隔である場合にはネットワークにジッタが発
生しても動画像データの出力を行うようにしてもよい。
また、動画像データがフレーム内符号化されたデータで
ある場合にはネットワークにジッタが発生しても動画像
データの出力を行うようにしてもよい。また、ネットワ
ークがジッタに発生している場合、入力されたパケット
データから作製した動画像データを記憶する動画像復号
データバッファをさらに有し、動画像符号データバッフ
ァに記憶された動画像データよりも最新の動画像データ
が作製されていない場合、動画像符号データバッファに
記憶された動画像データを出力するようにしてもよい。
以下に詳述する。

【００４７】＜第１のテレビ電話装置の構成＞図１は、
本発明による第１のテレビ電話装置の構成を示す構成図
である。テレビ電話装置１０１は、通信回線１１６を介
してネットワークに接続された図示しないテレビ電話装
置と接続し、このテレビ電話装置と音声データ、および
動画像データ等の通信を行う回路装置である。

【００４８】音声入力装置１０２は、音声の入力、すな
わち音声を音声信号（データ）に変換し装置に入力する
もので、例えばマイクロフォン等を用いることができ
る。動画像入力装置１０３は、テレビ電話装置に取り込
む動画像キャプチャ装置等の動画像を動画像データに変
換し装置に入力するもので、例えばＣＣＤ（chargecoup
led device ）カメラやＮＴＳＣ（national television
system committee）カメラ等を用いることができる。

【００４９】符号化装置１０６は、音声入力装置１０
２、および動画像入力装置１０３と接続し、入力された
音声データ、および動画像データの符号化を行い符号化
データを作製し、この符号化データをパケット化装置１
０８へ出力する。パケット化装置１０８は、上記符号化
データを通信制御装置１１３を介して通信回線１１６で
通信を行うためのデータ形式である所定のパケットに変
換し、パケットデータを作製する。

【００５０】送信バッファ１１１は、パケット化装置１
０８から入力されたパケットデータを格納するバッファ
メモリである。このパケットデータは、通信制御装置１
１３からの指示により通信制御装置１１３、通信回線１
１６を介して相手方のテレビ電話装置へ送出される。通
信制御装置１１３は、通信回線１１６を介し、送信バッ
ファ１１１に蓄えられたパケットデータを相手方のテレ
ビ電話装置へ送信する。また、相手方のテレビ電話装置
から通信回線１１６を介し送信されてきた（音声デー
タ、動画像データが符号化され、パケット化された）パ
ケットデータを受信し、これを受信バッファ１１２に入
力する。受信バッファ１１２は、通信制御装置１１３を
介して通信回線１１６から受信したパケットデータを一
時的に格納するバッファメモリである。

【００５１】ストリーム化装置１０９は、パケット化時
に付加されたパケットヘッダ情報等を削除し、受信バッ
ファ１１２に蓄えられたパケットデータを音声データ、
および動画像データに分割し、ストリーム形式のデータ
とする。復号化装置１０７は、ストリーム化装置１０９
から入力されたデータを復号し、音声データ、および動
画像データを作製する。この音声データは、音声出力装
置１０４へ出力され、動画像データは、動画像バッファ
１０５へ出力される。

【００５２】音声出力装置１０４は、音声の出力、すな
わち音声信号を音声に変換し出力するもので、例えばス
ピーカやヘッドフォン等を用いることができる。動画像
バッファ１０５は、図示しない画像表示装置（ＬＣＤ
（liquid crystaldisplay）装置、ディスプレイ等）で
再生される動画像データを格納するバッファであり、こ
の動画像データを上記画像表示装置へ送出する。なお、
画像表示装置は、テレビ電話装置１０１の内部にあって
もよく、また外部にあってもよい。

【００５３】データ制御装置１１０は、相手方のテレビ
電話装置との呼接続や、ストリーム通信中における符号
化装置１０６、復号化装置１０７等の制御等の各種制御
を行う。フロー制御装置１１４は、通信制御装置１１３
を介して通信相手から送られてくるネットワークのジッ
タ情報、パケットロス情報、ラウンドトリップタイム情
報等のネットワーク状況の情報、自端末のＣＰＵ性能、
および通信開始時の相手端末の音声・動画像の符号化・
復号化能力等に基づき、符号化装置１０６、および通信
制御装置１１３の制御を行う（符号化制御、送出制
御）。

【００５４】データ入出力装置１１５は、ユーザからテ
レビ電話装置１０１への指示が入力され、この指示をデ
ータ制御装置１１０へ通知する。また、ユーザへ相手端
末からの着信を示す情報、自端末の情報、データ制御装
置１１０から入力された情報等の所定の情報が報知す
る。例えば、テンキーやキーボタン等の入力手段を有
し、通信先番号が入力され、またＬＥＤ（light emitti
ng diode）ランプやＬＣＤ等の報知手段を有し、自端末
の状態をユーザに報知したり、データ制御装置１１０か
ら入力された情報を表示する。

【００５５】＜第１の動作＞以下、本発明による送信側
テレビ電話装置の動画像取り込み間隔と同じ間隔で動画
像データを画像表示装置へ出力するテレビ電話装置のネ
ットワークにジッタが発生した場合の動作（第１の動
作）を、図１、および図３を参照しながら説明する。な
お、この説明では、送信側テレビ電話装置１０１の動画
像データの取込間隔と、受信側テレビ電話装置１０１の
動画像データの表示間隔とが同じものとする。すなわ
ち、図２（ｃ）に示す従来技術の説明と同様の条件であ
る。また、この送信側と受信側テレビ電話装置１０１の
それぞれのパケットデータ送信間隔は同じものとする。

【００５６】テレビ電話装置１０１は、受信バッファ１
１２に入力されるパケットデータのタイミングに基づ
き、ネットワークにジッタが発生しているか判断し、ネ
ットワークにジッタが発生している場合、動画像データ
の符号化のビットレートを下げ、小さな符号化データを
作製するようにする。以下に詳述する。

【００５７】図３は、図２と同様に左側から右側へ時間
軸をとる。また、図３（ａ）には、送信側テレビ電話装
置１０１の受信バッファ１１２に入力されたパケットデ
ータを示す。図３（ｂ）には、送信側テレビ電話装置１
０１の送信バッファ１１１から送信されたパケットデー
タを示し、（ｃ）には、受信側テレビ電話装置１０１の
受信バッファ１１２に入力されたパケットデータ、
（ｄ）には、このパケットデータから受信側テレビ電話
装置１０１の動画像バッファ１０５に展開された動画像
データを示す。図３（ｂ）〜（ｄ）に付された番号は、
すべて同一の動画像データを有していることを示す。す
なわち、図３（ａ）におけるパケットデータと、図３
（ｂ）〜（ｄ）のパケットデータ・動画像データとは、
同一の番号が付されていても異なるものである。

【００５８】テレビ電話装置１０１は、通信相手先のテ
レビ電話装置１０１への呼接続時に、パケットデータを
受信するタイミングを取得する。これは、例えば、各端
末が使用する音声データ・動画像データの符号化・復号
化方式の情報を交換しあった後に決定した動画像データ
の符号化・復号化方式から計算することができる。この
計算により得られた（パケット）データの受信間隔は、
データ制御装置１１０に登録されるようにしてもよい。

【００５９】図３（ａ）は、送信側テレビ電話装置１０
１における受信バッファ１１２に入力されるパケットデ
ータの説明のための一例を示す。図３（ａ）に示すよう
に、パケットデータ「１」が入力された後、ネットワー
クにジッタが発生し、パケットデータ「２」は、所定
（正常、通常）のタイミングに入力されていない。ま
た、ジッタ解消後、パケットデータ「２」からパケット
データ「７」までのパケットデータは、受信バッファ１
１２に連続して入力される。パケットデータ「８」以降
のパケットデータは、所定（正常、通常）のタイミング
で入力される。

【００６０】受信バッファ１１２は、常時、受信バッフ
ァ１１２におけるパケットデータの受信タイミングを監
視する。この受信タイミングの監視は、前記したような
あらかじめ決定されている（パケット）データの受信間
隔通りにパケットデータが受信されているか監視するこ
とにより行うようにしてもよい。すなわち、パケットデ
ータには、送信時、順次インクリメントされたシーケン
ス番号が付加されているため、上記呼接続時に決定した
パケットデータの受信タイミングとロスした（到達して
いない）パケットデータとを比較することで、ロスした
パケットデータ（通常のタイミングに入力されなかった
パケットデータ）を把握することが可能となる。すなわ
ち、受信バッファ１１２は、呼接続時に決定した受信タ
イミングから計算した判断時点で到達しているはずのパ
ケット数と入力されたパケットデータに付加されたシー
ケンス番号との一致を見ることでパケットロスの発生状
況を監視する。なお、動画像データに付加されているタ
イムスタンプ情報等を用いて、上記受信間隔通りにパケ
ットデータが受信されているか判断するようにしてもよ
い。また、音声パケット（音声データ）に付加されたタ
イムスタンプ情報等を用いて、正常なタイミングにパケ
ットデータが入力されているか把握するようにしてもよ
い。

【００６１】このようにパケットデータが所定のタイミ
ングに到達しなかった場合、受信バッファ１１２は、ネ
ットワークにジッタが発生したと判断し、これをフロー
制御装置１１４へ通知する。この通知を受けたフロー制
御装置１１４は、動画像データの符号化における（符号
化）ビットレートを下げるようにデータ制御装置１１０
を介して符号化装置１１６に指示する。

【００６２】図３（ａ）に示すように、送信側テレビ電
話装置１０１の受信バッファ１１２は、パケットデータ
「２」が所定のタイミングで入力されていない。従っ
て、受信バッファ１１２は、ネットワーク（通信回線１
１６）にジッタが発生したものと判断し、これをフロー
制御装置１１４へ通知する。フロー制御装置１１４は、
前記したように、符号化装置１０６に符号化ビットレー
トを下げるように通知する。

【００６３】上記通知をうけた送信側テレビ電話装置１
０１の符号化装置１０６は、（符号化）ビットレートを
下げる。これにより、符号化装置１０６は、符号化する
際に符号量制御を行い、通常の符号化データに比べ、小
さいデータ量の符号化データを作製し、パケット化装置
１０８を介して送信バッファ１１１に格納する。従っ
て、ビットレートが下げられた後に送信バッファ１１１
に格納されるパケットデータは、通常のパケットデータ
（図３（ｂ）に示すパケットデータ「１」〜「３」）の
データ量と比べ、小さなデータ量（図３（ｂ）に示すパ
ケットデータ「４」以降）となる。なお、このビットレ
ートは、所定のレートとしてもよく、ジッタの状況によ
り任意のレートとしてもよい。

【００６４】通信制御装置１１３は、ネットワークにジ
ッタが発生しているか否かに関わらず、送信バッファ１
１１に格納されているパケットデータを、通常のタイミ
ングで通信回線１１６へ送信する。すなわち、ビットレ
ートが下がる前の（「１」〜「３」と付された）パケッ
トデータも、ビットレートが下がった後の（「４」と付
されたもの以降の）パケットデータも、順番通り、所定
のタイミングで通信回線１１６に送出される。

【００６５】図３（ｃ）は、受信側テレビ電話装置１０
１の受信バッファ１１２に入力されたパケットデータの
受信タイミングを示す。図３（ｃ）に示すように、「Ｊ
１」と示す期間には、前記したようにジッタが発生して
いるため、パケットデータは到達しない。次いで、「Ｊ
２」と示す期間には、ジッタが解消し、ネットワークに
たまっていたパケットデータが連続して到達する。
「７」と記すパケットデータ以降は、通常のタイミング
にパケットデータが到達している。なお、「４」と付さ
れたパケットデータ以降のパケットデータは、前記した
ようにビットレートが下げられて符号化されているた
め、図３（ｃ）には、小さく描かれている。

【００６６】受信側テレビ電話装置１０１の受信バッフ
ァ１１２は、前記した送信側テレビ電話装置１０１と同
様に、パケットデータの受信タイミングを監視し、ジッ
タが発生したか、ジッタにより生じたパケットデータの
受信タイミングの遅延が解消され、正常のタイミングに
パケットを受信しているか監視する。この監視方法とし
ては、どのような方法を用いてもよいが、前記したよう
にパケットデータに付加されたシーケンス番号と呼接続
時に決定された情報に基づき計算したパケットデータの
受信タイミングとを比較することで行うようにしてもよ
い。また、動画像データに含まれるタイムスタンプ情報
に基づき正常な受信タイミングであるか判断するように
してもよく、音声パケットに含まれるタイムスタンプ情
報に基づき正常な受信タイミングであるか判断するよう
にしてもよい。

【００６７】受信バッファ１１２は、ネットワーク（通
信回線１１６）にジッタが発生したことを検知した場
合、これをフロー制御装置１１４に通知する。この通知
をうけたフロー制御装置１１４は、動画像データを動画
像バッファ１０５へ出力しないよう、データ制御装置を
介して復号化装置１０７に指示する。この指示を受けた
符号化装置１０７は、作製した動画像データを動画像バ
ッファ１０５へ出力しない。すなわち、図３（ｃ）の
「Ｊ２」期間に示すように、パケットデータ（「２」〜
「６」のパケットデータ）が受信バッファ１１２に到達
していても、動画像バッファ１０５には、この指示が出
されている間、動画像データが入力されない。従って、
この間の（「２」〜「６」の）動画像データは、画像表
示部に表示されない。

【００６８】受信バッファ１１２にパケットデータが到
達するタイミングが正常に戻ると、受信バッファ１１２
は、フロー制御装置１１４にこれを通知する。フロー制
御装置１１４は、符号化装置１０７に、符号化した動画
像データを動画像バッファ１０５へ出力するようにデー
タ制御装置１１０を介して通知する。この通知を受けた
符号化装置１０７は、符号化を行った動画像データを動
画像バッファ１０５へ出力する。すなわち、動画像バッ
ファ１０５は、図３（ｄ）に示すように（「７」と示
す）動画像データが入力され、これを画像表示部に出力
する。なお、パケットデータが受信バッファ１１２に入
力されるタイミングが正常なタイミングであるか判断す
る方法としては、例えば、前記したようにパケットデー
タに付加されたシーケンス番号に基づき判断するように
してもよく、動画像データに含まれるタイムスタンプ情
報に基づき判断するようにしてもよく、音声データに含
まれるタイムスタンプ情報に基づき判断するようにして
もよい。

【００６９】すなわち、画像バッファ１０５は、ネット
ワーク（通信回線１１６）にジッタが発生した後、ジッ
タによる（パケットデータの）到達遅延が発生している
間、到達遅延発生前のデータを画像表示装置に表示し続
ける。図３（ｄ）に示す場合、ジッタによる到達遅延が
発生している間、到達遅延発生前のデータである「１」
と付された動画像データが表示され続ける。画像表示装
置の表示が更新されるのは、受信バッファ１１２にパケ
ットデータが通常のタイミングで到達し始めてからとな
る。従って、図３（ｄ）に示す場合、「７」と示す動画
像データが復号化装置１０７で復号化され、動画像バッ
ファ１０５に格納された後、画像表示装置の表示が更新
される。このように、ネットワークにジッタが発生した
場合であっても、画像表示装置の表示遅延を防止するこ
とを可能としている。

【００７０】通信側テレビ電話装置１０１は、符号化装
置１０６において下げた符号化のビットレートを所定の
タイミングにもとのビットレートに戻す。例えば、この
所定のタイミングは、受信バッファ１１２にパケットデ
ータが連続して到着したパケット数と到着しなかったパ
ケット数とを比較して、両者が一致していると判断した
場合としてもよい。すなわち、通信側テレビ電話装置１
０１の受信バッファ１１２に入力されるパケットデータ
のタイミングが正常に戻った後に符号化ビットレートを
もとに戻すようにする。また、ジッタ発生後、受信バッ
ファにパケットデータが到達した後としてもよく、受信
バッファに入力されるパケットデータのタイミングと上
記通常時のタイミングとのずれが所定の差以下になった
場合、もとに戻すようにしてもよい。

【００７１】なお、パケットデータが入力されるタイミ
ングが上記所定のタイミングであるか否かは、上述のご
とくタイムスタンプ情報等に基づき行うようにしてもよ
く、また音声パケットを用いて行うようにしてもよい。
このように、この所定のタイミングは、受信側テレビ電
話装置１０１の受信バッファ１１２にパケットデータが
格納されるタイミングとは無関係のタイミングとしても
よい。

【００７２】上記実施の形態によれば、ネットワークに
ジッタが発生した場合に、送信側のテレビ電話装置が符
号化ビットレートを下げることで、受信側テレビ電話装
置におけるパケット遅延の蓄積を防止することが可能と
なる。また、ジッタ解消後に連続してパケットデータが
到達した場合であっても、受信側テレビ電話装置の受信
バッファのオーバーフローを符号化ビットレートが下げ
られていない場合に比して遅らせることが可能となる。
すなわち、ビットレートを下げたことにより、この受信
バッファの見かけ上の容量、つまり格納可能なパケット
数が多くなる。そのため、ネットワークのジッタ解消後
に連続してパケットデータが到達しても、多くのパケッ
トデータを格納することが可能となる。

【００７３】なお、前記したように復号化装置１０７
は、復号化した動画像データを動画像バッファ１０５へ
出力するのを中止してから再開するまでの間、所定のデ
ータのみ動画像バッファ１０５に出力するようにしても
よい。これにより、ジッタ遅延解消まで、動画像（表
示）データの更新が一切行われないということはなくな
る。例えば、上記所定のデータは、フレーム内符号化さ
れたデータとすると、フレーム間で差分がとられ符号化
されたデータ（Intra Frame/Intra Block ）は、動画像
バッファ１０５に出力されず、画像表示装置に表示され
なくなる。これにより、表示遅延を防止しながらも、表
示データの更新が一切行われないということがなくな
る。

【００７４】また、上記ビットレートの変更は、受信バ
ッファ１１２の容量に基づき変更するようにしてもよ
い。すなわち、受信バッファ１１２の容量が第１のしき
い値以下になった場合にビットレートを下げ、受信バッ
ファ１１２の容量が第２のしきい値（第１のしきい値と
同じ値としてもよい）を超えた場合にビットレートをも
とに戻すようにしてもよい。すなわち、パケットロスや
ジッタが発生した場合、受信バッファ１１２に入力され
るパケットデータが少なくなるため、受信バッファ１１
２に格納されたデータの量（容量）が上記しきい値以下
になった場合、ネットワークにジッタが発生したものと
判断するようにしてもよい。

【００７５】＜第２の動作＞以下、図４を参照しなが
ら、受信側テレビ電話装置１０１が画像表示装置に動画
像（表示）データを表示する間隔が、送信側テレビ電話
装置１０１の動画像入力装置１０３が動画像データを取
り込む間隔よりも短い場合におけるテレビ電話装置の動
作（第２の動作）を説明する。図４（ａ）〜（ｄ）は、
図３（ａ）〜（ｄ）と上記条件のみ異なる場合を示す。
すなわち、受信側テレビ電話装置１０１の画像表示装置
に動画像（表示）データを表示する間隔が図３の条件よ
りも短い点のみ異なることから、図３（ａ）〜（ｃ）と
図４（ａ）〜（ｃ）は同一であり、図３（ｄ）と図４
（ｄ）のみが異なっている。

【００７６】前記したように送信側テレビ電話装置１０
１の符号化装置１０６のビットレートが下げられたた場
合、受信側テレビ電話装置１０１の受信バッファ１１２
には、図４（ｃ）に示すように、ネットワークにジッタ
が発生した「Ｊ１」期間後、ジッタが解消した「Ｊ２」
期間において通常のビットレートで符号化されたパケッ
トデータ「２」「３」が到着し、次いでビットレートが
下げられ符号化されたパケットデータ「４」以降のパケ
ットデータが到達する。

【００７７】ここで、ビットレートの設定は、上記第１
の動作と同様に行うものとする。すなわち、送信側テレ
ビ電話装置１０１の受信バッファ１１２の受信タイミン
グ、または格納されているデータ量を監視することでジ
ッタの発生、および解消を確認し、符号化ビットレート
を変更するものとする。

【００７８】この場合、前記した第１の動作とは異な
り、フロー制御装置１１４は、復号化装置１０７に復号
化した動画像データを動画像バッファ１０５に出力す
る。すなわち、図４（ｄ）に示すように、動画像データ
「２」以降の動画像データは、動画像バッファ１０５に
出力され、画像表示装置に表示されるそして、「７」と
付された動画像データからは、通常のタイミングで画像
バッファ１０５に格納され、画像表示装置に表示され
る。

【００７９】このように、ネットワークにジッタが発生
した場合、ビットレートを下げることにより、動画像
（表示）データが画像表示装置に表示されるタイミング
が、より早く正常に戻ることとなる。また、前記したよ
うに、符号化ビットレートが下げられていることによ
り、受信バッファのオーバーフローを防止することが可
能となる。

【００８０】なお、テレビ電話装置１０１は、上記第１
の動作を行うか上記第２の動作を行うかの判断を、画像
表示装置の表示能力と、呼接続時に決定した使用する符
号化方式をもとに計算した受信バッファ１１２のパケッ
トデータ受信間隔と、を比較することで行うようにして
もよい。すなわち、この比較の結果が前記した第１の動
作における条件を満たす場合、動画像データを画像バッ
ファ１０５へ出力しない上記第１の動作を行い、上記第
２の動作における条件を満たす場合、動画像データを画
像バッファ１０５へ出力するよう制御可能なようにして
よい。

【００８１】＜第２のテレビ電話装置の構成＞以下、本
発明による第２のテレビ電話装置について説明する。図
５は、本発明による第２のテレビ電話装置の内部構成を
示す構成図である。図５に示すテレビ電話装置５０１
は、動画像復号データバッファ５１７をさらに有する点
が、図１に示すテレビ電話装置１０１と異なる。

【００８２】復号化装置５０７から出力された動画像デ
ータは、ネットワークにおいてジッタが発生する前に
は、上記第１のテレビ電話装置と同様に動画像バッファ
５０５に格納される。この第２のテレビ電話装置は、ネ
ットワークにおいてジッタが発生し、受信バッファ５１
２の容量が空になった場合、またはあらかじめ設定され
たしきい値以下の容量になった場合、復号化装置５０７
で作製した動画像データを動画像復号データバッファ５
１７に格納する。この動作を受信バッファ５１２が正常
（通常）のタイミングでパケットデータを受信するまで
行う。パケットデータが通常のタイミングで入力された
か否かは、前記したように判断することができる。

【００８３】動画像復号データバッファ５１７は、例え
ば１フレーム等の表示単位毎に動画像データを格納する
ことができるものとする。このように表示単位毎に動画
像データが格納されると、動画像復号データバッファ５
１７は、受信バッファ１１２にこのデータの次の表示単
位分の動画像データが格納されていない場合、この動画
像データを動画像バッファ５０５に出力する。

【００８４】このように、ネットワークにおけるジッタ
が大きく、受信バッファ５１２に正常なタイミングでパ
ケットデータが到達するまでに長い時間を要した場合で
あっても、動画像データの表示を更新することが可能と
なる。

【００８５】なお、受信バッファ１１２は、前記したよ
うな方法によりネットワークにジッタが発生したことを
検知した場合、通信制御装置１１３を介して相手方（送
信側）テレビ電話装置に符号化ビットレートを下げるよ
うに通知し、この通知を受信した送信側テレビ電話装置
が符号化ビットレートを下げるようにしてもよい。

【００８６】

【発明の効果】以上の説明から明らかなように、本発明
によれば、ＩＰネットワークを使ったテレビ電話装置に
おいて、パケットの到着時間が変化するネットワークの
ジッタ（ゆらぎ）が発生した場合に、送信側装置の受信
したパケットデータを格納する受信バッファの受信タイ
ミングを監視し、受信するタイミングにパケットを受信
しなかった場合や、あらかじめ定めたしきい値より受信
バッファの容量が下がった場合をトリガにして送信する
動画像データのビットレートを下げて符号化したパケッ
トデータを送信することで、受信側装置でジッタが発生
した後に連続してデータが到着しても受信バッファのオ
ーバーフローを防ぐことが可能となる。

【００８７】また、受信側装置で動画像データの受信中
にジッタが発生し動画像データを格納している受信バッ
ファが空になった後に受信した動画像データを破棄する
ことなく正常に表示を再開することが可能となる。

【００８８】また、速度優先・画質優先等の通常の制御
パラメータの他にジッタ情報を制御パラメータとして有
し、これにより符号量制御を行う動画像符号化装置を有
することで、ネットワークにジッタが発生したことをト
リガとして送信側の符号化ビットレートを下げることが
可能となり、その結果、受信側テレビ電話装置の受信バ
ッファにより多くのパケットを格納することが可能とな
り、オーバーフローがおこりにくくなる。

【００８９】また、動画像データの受信バッファの受信
タイミングを監視し、受信するタイミングにパケットデ
ータを受信できなかった場合にビットレートを下げて動
画像データの符号化を行うことで、パケットデータの到
達タイミングをチェックするという単純な動作を行い、
正常なタイミングで到着しなかったことを検知した場
合、これをトリガとして送信側テレビ電話装置は、符号
化ビットレートを下げることが可能となる。従って、受
信側テレビ電話装置は、見かけ上の容量が大きくなるた
め、ジッタ解消後に連続してパケットデータが入力され
ても、オーバーフローしにくくなる。

【００９０】また、あらかじめ動画像データの受信バッ
ファにしきい値を設定し、この値以下のバッファ容量と
なった場合にビットレートを下げて動画像データの復号
化を行うことで、受信バッファに格納されたパケットデ
ータの量をチェックするという単純な動作でネットワー
クにジッタが発生したか判断することが可能となり、パ
ケットデータが所定値以下の格納量となったことをトリ
ガにして符号化ビットレートを下げることが可能とな
る。従って、受信側テレビ電話装置は、より多くのパケ
ットデータを格納可能となり、ジッタ解消後に連続して
パケットデータが入力されてもオーバーフローしにくく
なる。

【００９１】また、音声パケットの受信バッファの受信
タイミングを監視し、受信するタイミングにパケットを
受信できなかった場合にビットレートを下げて動画像デ
ータの符号化を行うことで、受信側のテレビ電話装置
は、ネットワークのジッタ解消後に連続してパケットデ
ータが入力されてもオーバーフローをおこしにくくな
る。

【００９２】また、あらかじめ音声データを受信する受
信バッファにしきい値を設定し、設定したバッファ容量
以下になった場合にビットレートを下げて動画像データ
の符号化を行うことで、受信側のテレビ電話装置は、ネ
ットワークのジッタ解消後に連続してパケットデータが
入力されてもオーバーフローをおこしにくくなる。

【００９３】また、ジッタが発生しパケット受信が遅れ
た場合にビットレートを下げて符号化した動画像データ
を送信することで、受信側テレビ電話装置の受信バッフ
ァの見かけ上の容量を増やし、ジッタ解消後のオーバー
フローを防止することが可能となる。

【００９４】また、ジッタが発生しパケット受信が遅れ
た場合に相手端末に対し動画像データの符号化ビットレ
ートを下げるように要求することで、ジッタ解消後に通
常のビットレートで作製されたパケットが入力される場
合に比し、受信バッファのオーバーフローをおこしにく
くすることを可能とする。

【００９５】また、ジッタが発生した際にビットレート
を下げて動画像データの符号化を行い、動画像データの
受信バッファにデータが到着するとビットレートをもと
に戻して動画像データの符号化を行うことで、ジッタ解
消後に連続して到達する動画像データをすべて再生する
場合に生じる動画像データの表示遅延を防止する。

【００９６】また、ジッタが発生した際にビットレート
を下げて動画像データの符号化を行っている最中に、音
声データの受信バッファにデータが到着するとビットレ
ートをもとに戻すことで、ネットワークにジッタが発生
した場合のみ符号化ビットレートを下げることが可能と
なる。

【００９７】ジッタが発生した際にビットレートを下げ
て符号化を行っている最中に、ジッタが発生した後に受
け取る動画像データのジッタの影響がなくなり正常なタ
イミングで受信し始めるとビットレートをもとに戻すこ
とで、ネットワーク上にジッタが発生した場合のみ符号
化ビットレートを下げることが可能となる。

【００９８】ジッタが発生した際にビットレートを下げ
て動画像データの符号化を行っている最中に、ジッタが
発生した後に受け取る音声データがジッタの影響がなく
なり正常なタイミングで受信し始めるとビットレートを
元に戻すことで、ネットワーク上にジッタが発生した場
合のみ符号化ビットレートを下げることを可能とする。

【００９９】ジッタが発生し動画像データの受信バッフ
ァが空になった後は、受信した動画像データを復号して
も表示を行うための画像バッファに出力しないことで、
ジッタ発生後に生じる表示遅延を防止することが可能と
なる。

【０１００】ジッタが発生し動画像データの受信バッフ
ァが空になった後、受信した動画像データを復号し、フ
レーム復号化で復号化されたデータを復号したデータだ
けを画像バッファに出力し表示を行うことで、ジッタ発
生後に生じる表示遅延を防止するとともに、この表示遅
延防止のために動画像データの表示が一切行われなくな
ってしまうということを防止することが可能となる。

【０１０１】ジッタが発生し動画像データの受信バッフ
ァが空になった後に、受信した動画像データを復号しバ
ッファに蓄え、受信データを格納する受信バッファの受
信状態を判定し、バッファに蓄えられた復号データを画
像バッファに出力し表示を行うことで、ジッタ発生後に
生じる表示遅延を防止するとともに、この表示遅延防止
のために動画像データの表示が一切行われなくなってし
まうということを防止することが可能となる。

【図面の簡単な説明】

【図１】本発明によるテレビ電話装置の内部構成を示す
第１の内部構成図である。

【図２】従来技術によるテレビ電話装置のパケットデー
タ送受信、および動画像データ表示タイミングを説明す
るタイミング図である。

【図３】本発明によるテレビ電話装置のパケットデータ
送受信、および動画像データ表示タイミングを説明する
ための第１のタイミング図である。

【図４】本発明によるテレビ電話装置のパケットデータ
送受信、および動画像データ表示タイミングを説明する
ための第２のタイミング図である。

【図５】本発明によるテレビ電話装置の内部構成を示す
第２の内部構成図である。

【図６】従来技術によるテレビ電話装置の内部構成図で
ある。

【符号の説明】

１０１ テレビ電話装置 １０２ 音声入力装置 １０３ 動画像入力装置 １０４ 音声出力装置 １０５ 動画像バッファ １０６ 符号化装置 １０７ 復号化装置 １０８ パケット化装置 １０９ ストリーム化装置 １１０ データ制御装置 １１１ 送信バッファ １１２ 受信バッファ １１３ 通信制御装置 １１４ フロー制御装置 １１５ データ入出力装置 １１６ 通信装置 ５０１ テレビ電話装置 ５０２ 音声入力装置 ５０３ 動画像入力装置 ５０４ 音声出力装置 ５０５ 動画像バッファ ５０６ 符号化装置 ５０７ 復号化装置 ５０８ パケット化装置 ５０９ ストリーム化装置 ５１０ データ制御装置 ５１１ 送信バッファ ５１２ 受信バッファ ５１３ 通信制御装置 ５１４ フロー制御装置 ５１５ データ入出力装置 ５１６ 通信回線 ５１７ 動画像復号データバッファ ６００ テレビ電話装置

フロントページの続き Ｆターム(参考） 5C059 KK34 KK35 PP04 RB02 RC04 SS07 SS08 SS30 TA60 TC20 TC21 TD12 UA02 UA05 UA38 5C061 BB03 CC03 5C064 AA01 AB04 AC01 AD06 AD14 BA07 BB05 BC16 BD02 BD05 BD08 BD13 5K034 AA02 CC02 CC05 EE11 MM08 5K101 KK04 NN22 SS07

Claims (15)

【特許請求の範囲】
1. 【請求項１】 ネットワークにジッタが発生しているか
   判定するジッタ判定手段と、 ネットワークにジッタが発生している場合、符号化ビッ
   トレートを下げるビットレート制御手段と、 を有することを特徴とするテレビ電話装置。
2. 【請求項２】 前記ジッタ判定手段は、 パケットデータが呼接続時に決定したタイミングで入力
   されなかった場合にネットワークにジッタが発生してい
   ると判定することを特徴とする請求項１記載のテレビ電
   話装置。
3. 【請求項３】 前記ジッタ判定手段は、 入力されたパケットデータに順次インクリメントされ付
   加されたシーケンス番号から前記タイミングでパケット
   データが入力されたか否かを判定することを特徴とする
   請求項２記載のテレビ電話装置。
4. 【請求項４】 前記ジッタ判定手段は、 入力された動画像データに付加されたタイムスタンプ情
   報から前記タイミングでパケットデータが入力されたか
   否かを判定することを特徴とする請求項２記載のテレビ
   電話装置。
5. 【請求項５】 前記ジッタ判定手段は、 入力された音声データに付加されたタイムスタンプ情報
   から前記タイミングでパケットデータが入力されたか否
   かを判定することを特徴とする請求項２記載のテレビ電
   話装置。
6. 【請求項６】 前記ジッタ判定手段は、 受信バッファに入力されたパケットデータの容量がしき
   い値以下である場合にネットワークにジッタが発生して
   いると判定することを特徴とする請求項１記載のテレビ
   電話装置。
7. 【請求項７】 前記ビットレート制御手段は、 動画像データの符号化ビットレートを下げることを特徴
   とする請求項１から６のいずれか１項に記載のテレビ電
   話装置。
8. 【請求項８】 ネットワークにジッタが発生している場
   合、入力されたパケットデータから作製した動画像デー
   タの出力を行わない動画像データ出力制御手段と、 をさらに有することを特徴とする請求項１から７のいず
   れか１項に記載のテレビ電話装置。
9. 【請求項９】 前記動画像データ出力制御手段は、 動画像データを画像表示装置へ出力する間隔が送信側テ
   レビ電話装置の動画像取り込み間隔よりも短い間隔であ
   る場合にはネットワークにジッタが発生しても動画像デ
   ータの出力を行うことを特徴とする請求項８記載のテレ
   ビ電話装置。
10. 【請求項１０】 前記動画像データ出力制御手段は、 動画像データがフレーム内符号化されたデータである場
    合にはネットワークにジッタが発生しても動画像データ
    の出力を行うことを特徴とする請求項８記載のテレビ電
    話装置。
11. 【請求項１１】 ネットワークがジッタに発生している
    場合、入力されたパケットデータから作製した動画像デ
    ータを記憶する動画像復号データバッファと、 をさらに有し、 前記動画像データ出力制御手段は、 前記動画像符号データバッファに記憶された動画像デー
    タよりも最新の動画像データが作製されていない場合、
    該動画像符号データバッファに記憶された動画像データ
    を出力することを特徴とする請求項８または１０に記載
    のテレビ電話装置。
12. 【請求項１２】 ネットワークにジッタが発生している
    か判定するジッタ判定手段と、 ネットワークにジッタが発生している場合、送信側テレ
    ビ電話装置に符号化ビットレートを所定のレートに下げ
    させるビットレート変更手段と、 を有することを特徴とするテレビ電話装置。
13. 【請求項１３】 前記動画像データ出力制御手段は、 動画像データを画像表示装置へ出力する間隔が送信側テ
    レビ電話装置の動画像取り込み間隔よりも短い間隔であ
    る場合にはネットワークにジッタが発生しても動画像デ
    ータの出力を行うことを特徴とする請求項１２記載のテ
    レビ電話装置。
14. 【請求項１４】 前記動画像データ出力制御手段は、 動画像データがフレーム内符号化されたデータである場
    合にはネットワークにジッタが発生しても動画像データ
    の出力を行うことを特徴とする請求項１２記載のテレビ
    電話装置。
15. 【請求項１５】 ネットワークがジッタに発生している
    場合、入力されたパケットデータから作製した動画像デ
    ータを記憶する動画像復号データバッファと、 をさらに有し、 前記動画像データ出力制御手段は、 前記動画像符号データバッファに記憶された動画像デー
    タよりも最新の動画像データが作製されていない場合、
    該動画像符号データバッファに記憶された動画像データ
    を出力することを特徴とする請求項１２または１４に記
    載のテレビ電話装置。