JP2002027470A - 画像データ復号装置および画像データ復号方法 - Google Patents

画像データ復号装置および画像データ復号方法

Info

Publication number
JP2002027470A
JP2002027470A JP2000205414A JP2000205414A JP2002027470A JP 2002027470 A JP2002027470 A JP 2002027470A JP 2000205414 A JP2000205414 A JP 2000205414A JP 2000205414 A JP2000205414 A JP 2000205414A JP 2002027470 A JP2002027470 A JP 2002027470A
Authority
JP
Japan
Prior art keywords
image
display timing
image data
reproduced
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000205414A
Other languages
English (en)
Inventor
Koji Imura
康治 井村
Taiji Ido
大治 井戸
Akihiro Miyazaki
秋弘 宮崎
Koichi Hata
幸一 畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000205414A priority Critical patent/JP2002027470A/ja
Priority to EP01945778A priority patent/EP1298936A4/en
Priority to US10/070,306 priority patent/US20020136309A1/en
Priority to AU2001267907A priority patent/AU2001267907A1/en
Priority to PCT/JP2001/005738 priority patent/WO2002005565A1/ja
Priority to CNB018019277A priority patent/CN1173578C/zh
Publication of JP2002027470A publication Critical patent/JP2002027470A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 タイムスタンプで指定された再生・表示
タイミングまでにパケットが到着しない場合でも、画質
の劣化が伝播してしまうことを防止し、かつ、滑らかな
動きを再現すること。 【解決手段】 出力制御部１０４が、タイムスタンプで
指定された再生・表示タイミングより遅れて到着したパ
ケットに含まれる符号化データを、そのタイムスタンプ
の次のタイムスタンプが指定されているパケットに含ま
れる符号化データとともに復号部１０５へ出力し、復号
部１０５が、その遅れて到着したパケットに含まれる符
号化データをまず復号して、その復号した再生画像によ
り１つ前に復号した再生画像を更新してから、タイムス
タンプで指定された再生・表示タイミングまでに到着し
たパケットに含まれる符号化データを復号する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像データ復号装
置および画像データ復号方法に関し、特に、符号化され
た画像データを受信しながら復号および再生を行う画像
配信システムで利用される画像データ復号装置および画
像データ復号方法に関する。
【０００２】
【従来の技術】画像信号を符号化する技術としては、国
際標準化委員会（ISO/IEC）で勧告化されたISO/IEC 144
96 part 2(Visual)（通称MPEG-4）がある。MPEG-4 Visu
alは、マルチメディア符号化方式であり、様々な映像素
材を符号化できる技術である。
【０００３】画像符号化技術は、動き補償予測符号化方
式、離散コサイン変換、および可変長符号の３つの技術
で実現されている。この画像符号化技術では、符号化対
象のピクチャと、符号化対象のビクチャの１つ前に符号
化対象となったピクチャとの間の動き量を評価し、その
動き量で補正した予測画像信号と符号化対象のピクチャ
との差分を算出し、その差分情報を周波数領域へ変換し
たのち、その周波数成分の発生頻度の偏りを利用してハ
フマン符号と呼ばれる可変長符号に変換する。
【０００４】上記３つの要素技術（すなわち、動き補償
予測符号化方式、離散コサイン変換、および可変長符
号）は、符号化ピクチャ全体に適用されるのではなく、
ピクチャを16×16画素の符号化ブロック（マクロブロッ
ク）に分割した単位毎に適用される。
【０００５】また、MPEG-4では、伝送誤りによる画質劣
化を抑制するための技術として、ビデオパケットと呼ば
れる技術が採用されている。これは、複数のマクロブロ
ックの符号化データを、１つの伝送単位（ビデオパケッ
ト）として伝送する方式である。
【０００６】ビデオパケットの構成方法としては、 特
開平08-205155号公報に記載されているように、マクロ
ブロック単位の発生符号量を累積し、この累積した符号
量が所定の符号量に達した時点ででビデオパケットを構
成する方法がある。このようにしてビデオパケットを構
成することにより、動きが大きくて符号量が多い部分は
少ないマクロブロックでビデオパケットが構成されるた
め、伝送エラーによりビデオパケットにエラーが発生し
た場合でも、動きの大きい部分では劣化の範囲を小さく
抑えることができる。また、背景などの符号量が少ない
部分は多くのマクロブロックでビデオパケットが構成さ
れるが、動きがないため劣化が目立たない。このように
してビデオパケットを構成することにより、各ビデオパ
ケットに効率よくビットを割り振ることが可能となる。
【０００７】また、符号化データを受信しながら復号お
よび再生するための送受信手順として、IETF（Internet
Engineering Task Force）で規定されたRTP（Real-tim
e Transport Protocol）がある。RTPでは、ヘッダ部分
に再生タイミング（タイムスタンプ）やシーケンス番号
といった符号化データに関する情報が格納され、ペイロ
ード部分に符号化データが格納される。図６は、RTPパ
ケットの構成を示す模式図である。
【０００８】図６において、「V」はRTPのバージョン、
「CC」は貢献者数、「PT」はペイロードタイプ（ビデオ
やオーディオなどの種類）、「SSRC」は送信者ID、「CS
RC」はこのパケットに含まれている貢献者のIDをそれぞ
れ示す。また、シーケンス番号は、RTPパケット毎に１
つずつシーケンシャルに割当てられる番号であり、タイ
ムスタンプは、符号化データの再生タイミング（すなわ
ち、画像の表示タイミング）を示す。
【０００９】具体的には例えば、１ピクチャが５つのRT
Pパケットに分割して伝送される場合、それぞれのRTPパ
ケットのタイムスタンプには同じ時刻情報（当該ピクチ
ャの再生・表示タイミング）が格納され、シーケンス番
号には、１から５が順に割り振られる。受信側では、シ
ーケンス番号を用いて伝送途中における符号化データの
欠落を検出し、タイムスタンプに従ってペイロードに格
納されている符号化データの復号および再生を行う。
【００１０】
【発明が解決しようとする課題】しかしながら、RTPに
より符号化データの伝送を行った場合、伝送路の状態に
状態によっては、RTPパケットがタイムスタンプで指定
されたタイミングまでに受信側に到着しないことがあ
る。
【００１１】この場合、指定されたタイミングより遅れ
て受信側に到着したRTPパケットを使用せずに、指定さ
れたタイミングまでに到着したRTPパケットのみを使用
して符号化データを再生する方法を採ることが考えられ
る。しかし、この方法では、欠落した情報により再生画
像の画質が劣化してしまうという問題がある。
【００１２】さらに、画像符号化方式では、１つ前のピ
クチャとの差分情報を用いて順次ビクチャの再生を行う
ため、一度あるビクチャに画質の劣化が生じると、それ
以降に再生されるピクチャのすべてにその画質の劣化が
伝播してしまうという問題がある。
【００１３】また、RTPパケットがタイムスタンプで指
定されたタイミングまでに受信側に到着しない場合に、
再生タイミングを多少遅らせて、同一のタイムスタンプ
が格納されているすべてのRTPパケットが到着してから
符号化データを再生する方法を採ることも考えられる。
しかし、この方法により再生された画像では、滑らかな
動きを再現できなくなるという問題がある。
【００１４】本発明は係る点に鑑みてなされたものであ
り、タイムスタンプで指定されたタイミングまでにパケ
ットが到着しない場合でも、画質の劣化が伝播してしま
うことを防止でき、かつ、滑らかな動きを再現すること
ができる画像データ復号装置および画像データ復号方法
を提供することを目的とする。
【００１５】
【課題を解決するための手段】本発明の画像データ復号
装置は、画像間の差分情報を用いて画像を順次再生する
画像データ復号装置において、第１の表示タイミングで
再生される第１画像に含まれる第１画像データと前記第
１の表示タイミングよりも遅い第２の表示タイミングで
再生される第２画像に含まれる第２画像データとを受信
する受信手段と、前記第１の表示タイミングよりも遅れ
て受信された第１画像データを用いて前記第２の表示タ
イミングまでに前記第１画像を再生した後、前記第１画
像との差分情報に従って前記第２の表示タイミングで前
記第２画像を再生する復号制御手段と、を具備する構成
を採る。
【００１６】この構成によれば、第１の表示タイミング
よりも遅れて受信された第１画像データを用いて第２の
表示タイミングまでに第１画像を再生した後、第１画像
との差分情報に従って第２の表示タイミングで第２画像
を再生するため、第２の画像以降の再生画像に画質の劣
化が伝播してしまうことを防止することができる。
【００１７】本発明の画像データ復号装置は、復号制御
手段が、第１の表示タイミングまでに受信された第１画
像データのみを用いて前記第１の表示タイミングで再生
した第１画像を、前記第１の表示タイミングよりも遅れ
て受信された第１画像データを用いて第２の表示タイミ
ングまでに再生した第１画像によって更新する構成を採
る。
【００１８】この構成によれば、第２画像データの再生
前に、第１の表示タイミングよりも遅れて受信された第
１画像データを用いて既に再生済みの第１画像を更新す
るため、第２の画像以降の再生画像に画質の劣化が伝播
してしまうことを防止することができる。
【００１９】本発明の通信端末装置は、前記いずれかの
画像データ復号装置を搭載する構成を採る。
【００２０】この構成によれば、通信端末装置で順次再
生される画像において画質の劣化が伝播してしまうこと
を防止することができる。
【００２１】本発明の画像データ復号方法は、画像間の
差分情報を用いて画像を順次再生する画像データ復号方
法において、第１の表示タイミングで再生される第１画
像に含まれる第１画像データと前記第１の表示タイミン
グよりも遅い第２の表示タイミングで再生される第２画
像に含まれる第２画像データとを受信する受信工程と、
前記第１の表示タイミングよりも遅れて受信された第１
画像データを用いて前記第２の表示タイミングまでに前
記第１画像を再生した後、前記第１画像との差分情報に
従って前記第２の表示タイミングで前記第２画像を再生
する復号制御工程と、を具備するようにした。
【００２２】この方法によれば、第１の表示タイミング
よりも遅れて受信された第１画像データを用いて第２の
表示タイミングまでに第１画像を再生した後、第１画像
との差分情報に従って第２の表示タイミングで第２画像
を再生するため、第２の画像以降の再生画像に画質の劣
化が伝播してしまうことを防止することができる。
【００２３】本発明の画像データ復号方法は、復号制御
工程において、第１の表示タイミングまでに受信された
第１画像データのみを用いて前記第１の表示タイミング
で再生した第１画像を、前記第１の表示タイミングより
も遅れて受信された第１画像データを用いて第２の表示
タイミングまでに再生した第１画像によって更新するよ
うにした。
【００２４】この方法によれば、第２画像データの再生
前に、第１の表示タイミングよりも遅れて受信された第
１画像データを用いて既に再生済みの第１画像を更新す
るため、第２の画像以降の再生画像に画質の劣化が伝播
してしまうことを防止することができる。
【００２５】本発明の記録媒体は、画像間の差分情報を
用いて画像を順次再生する画像データ復号プログラムを
格納し、コンピュータにより読み取り可能な記録媒体で
あって、前記画像データ復号プログラムは、第１の表示
タイミングで再生される第１画像に含まれる第１画像デ
ータと前記第１の表示タイミングよりも遅い第２の表示
タイミングで再生される第２画像に含まれる第２画像デ
ータとを受信する受信手順と、前記第１の表示タイミン
グよりも遅れて受信された第１画像データを用いて前記
第２の表示タイミングまでに前記第１画像を再生した
後、前記第１画像との差分情報に従って前記第２の表示
タイミングで前記第２画像を再生する復号制御手順と、
を含むようにした。
【００２６】この画像データ復号プログラムを格納する
記録媒体によれば、第１の表示タイミングよりも遅れて
受信された第１画像データを用いて第２の表示タイミン
グまでに第１画像を再生した後、第１画像との差分情報
に従って第２の表示タイミングで第２画像を再生するた
め、第２の画像以降の再生画像に画質の劣化が伝播して
しまうことを防止することができる。
【００２７】本発明の記録媒体は、復号制御手順におい
て、第１の表示タイミングまでに受信された第１画像デ
ータのみを用いて前記第１の表示タイミングで再生した
第１画像を、前記第１の表示タイミングよりも遅れて受
信された第１画像データを用いて第２の表示タイミング
までに再生した第１画像によって更新する画像データ復
号プログラムを格納するようにした。
【００２８】この画像データ復号プログラムを格納する
記録媒体によれば、第２画像データの再生前に、第１の
表示タイミングよりも遅れて受信された第１画像データ
を用いて既に再生済みの第１画像を更新するため、第２
の画像以降の再生画像に画質の劣化が伝播してしまうこ
とを防止することができる。
【００２９】
【発明の実施の形態】本発明の骨子は、時刻情報で示さ
れた再生・表示タイミングより遅れて到着した画像デー
タをその次の画像データの再生・表示タイミングまでに
復号して、時刻情報で示されたタイミングで再生した画
像において画像データが欠落していた部分をその復号し
た画像で補うことにより、次の再生画像以降に画質の劣
化が伝播してしまうことを防止することである。
【００３０】（実施の形態）以下、本発明の一実施の形
態について、図面を参照して詳細に説明する。図１は、
本発明の一実施の形態に係る画像データ復号装置を備え
る無線通信端末装置の概略構成を示す要部ブロック図で
ある。図１に示す無線通信端末装置において出力制御部
１０４と復号部１０５とで構成される部分が、本実施の
形態に係る画像データ復号装置に該当する。
【００３１】図１において、無線部１０２は、アンテナ
１０１を介して受信されたパケットに含まれる符号化デ
ータに対して所定の無線処理を施し、復調部１０３は、
無線処理後の符号化データに対して所定の復調処理を施
す。
【００３２】出力制御部１０４は、復調部１０３から出
力された符号化データのタイムスタンプに従って、復号
部１０５へ出力する符号化データを制御する。具体的に
は、出力制御部１０４は、タイムスタンプで指定された
再生・表示タイミングより遅れて到着したパケットに含
まれる符号化データを、そのタイムスタンプの次のタイ
ムスタンプが指定されているパケットに含まれる符号化
データとともに、復号部１０５へ出力するように制御す
る。出力制御部１０４の構成については、後述する。
【００３３】復号部１０５は、出力制御部１０４から出
力された符号化データを復号する。復号部１０５は、出
力制御部１０４から出力された符号化データに、第ｎピ
クチャの再生・表示タイミングより遅れて到着した第ｎ
ピクチャの符号化データがある場合には、その遅れて到
着した第ｎピクチャの符号化データをまず復号して、そ
の復号した再生画像により第ｎピクチャの再生・表示タ
イミングで既に復号済みの再生画像を更新してから、第
ｎ＋１ピクチャの再生・表示タイミングまでに到着した
第ｎ＋１ピクチャの符号化データを第ｎ＋１ピクチャの
再生・表示タイミングで復号する。
【００３４】次いで、出力制御部１０４の構成について
説明する。図２は、本発明の一実施の形態に係る画像デ
ータ復号装置の出力制御部の概略構成を示す要部ブロッ
ク図である。図２において、復調部１０３より出力され
た符号化データは、一旦受信バッファ２０１に蓄えら
れ、タイムスタンプ抽出部２０２によりタイムスタンプ
が抽出される。抽出されたタイムスタンプは順次、検出
更新部２０３へ出力され、検出更新部２０３によって、
今回出力されたタイムスタンプと前回出力されたタイム
スタンプとが比較されて、タイムスタンプの切り替わり
が検出される。
【００３５】タイムスタンプの切り替わりが検出された
ときには、検出更新部２０３は、検出された旨をバッフ
ァ入力制御部２０６に通知するとともに、基準時刻記憶
部２０４に記憶されている基準時刻ＴcおよびＴpを更新
する。ここで、基準時刻Ｔcとは最新のタイムスタンプ
で示されている再生・表示タイミングであり、基準時刻
Ｔpとは最新のタイムスタンプの１つ前のタイムスタン
プで示されていた再生・表示タイミングである。
【００３６】バッファ入力制御部２０６は、基準時刻記
憶部２０４に記憶されている基準時刻ＴcおよびＴpとタ
イマ２０５で示される現在の時刻Ｔdとに従ってスイッ
チ２０７の切り替え制御を行うことにより、受信バッフ
ァ２０１に蓄えられている符号化データをバッファＡ２
０８とバッファＢ２０９とに適宜振り分けて蓄積する。
具体的な振り分け方法については、後述する。
【００３７】バッファ出力制御部２１０は、基準時刻記
憶部２０４に記憶されている基準時刻ＴcおよびＴpとタ
イマ２０５で示される現在の時刻Ｔdとに従ってスイッ
チ２１１の切り替え制御を行うことにより、バッファＡ
２０８またはバッファＢ２０９に蓄積されている符号化
データを復号部１０５へ出力する。
【００３８】次いで、復号部１０５の構成について説明
する。図３は、本発明の一実施の形態に係る画像データ
復号装置の復号部の概略構成を示す要部ブロック図であ
る。図３において、出力制御部１０４より出力された符
号化データは、可変長復号部３０１で復号される。符号
化データは可変長符号化方式により符号化されているた
め、可変長復号部３０１での復号の結果、差分情報およ
び動き量が再生される。可変長復号部３０１は、差分情
報を差分値演算部３０２へ出力し、フレームメモリ３０
３に蓄えられている画像を動き量で補正する。動き量で
補正された画像は、加算器３０４へ出力される。
【００３９】差分値演算部３０２は、可変長復号部３０
１より出力された差分情報に対して逆離散コサイン変換
処理および逆量子化処理を施すことにより差分値を算出
し、加算器３０４へ出力する。加算器３０４では、動き
量に応じて補正された画像と差分値とが加算され、再生
画像が得られる。この再生画像は、次のピクチャの予測
のためにフレームメモリ３０３へ記録される。
【００４０】次いで、上記構成を有する画像データ復号
装置の動作について説明する。まず、基準時刻記憶部２
０４に記憶されている基準時刻Ｔc，Ｔpおよびタイマ２
０５で計時される現在の時刻Ｔdと、検出更新部２０
３、バッファ入力制御部２０６およびバッファ出力制御
部２１０の動作の関係について説明する。
【００４１】現在の時刻Ｔdが基準時刻Ｔpになった時に
は（すなわち、Ｔd＝Ｔpの時には）、バッファ出力制御
部２１０は、現在符号化データが入力されているバッフ
ァとは異なるバッファから符号化データが復号部１０５
へ出力されるようにスイッチ２１１を制御する。具体的
には、例えば図２において、受信バッファ２０１より現
在符号化データが入力されているバッファがバッファＡ
２０８である場合には、バッファ出力制御部２１０は、
Ｔd＝Ｔpの時には、スイッチ２１１を○側へ接続して、
バッファＢ２０９と復号部１０５とを接続する。
【００４２】また、現在の時刻Ｔdが基準時刻Ｔcになっ
た時には（すなわち、Ｔd＝Ｔcの時には）、バッファ出
力制御部２１０は、現在符号化データが入力されている
バッファから符号化データが復号部１０５へ出力される
ようにスイッチ２１１を制御する。具体的には、例えば
図２において、受信バッファ２０１より現在符号化デー
タが入力されているバッファがバッファＡ２０８である
場合には、バッファ出力制御部２１０は、Ｔd＝Ｔcの時
には、スイッチ２１１を●側へ接続して、バッファＡ２
０８と復号部１０５とを接続する。
【００４３】さらに、Ｔd＝Ｔcとなる度に、バッファ入
力制御部２０６は、符号化データが入力されるバッファ
を切り替える。具体的には、例えば図２において、受信
バッファ２０１より現在符号化データが入力されている
バッファがバッファＡ２０８である場合には、バッファ
入力制御部２０６は、Ｔd＝Ｔcとなった以降、スイッチ
２０７を○側へ接続して、受信バッファ２０１とバッフ
ァＢ２０９とを接続する。
【００４４】また、検出更新部２０３でタイムスタンプ
の切り替わりが検出される度に、バッファ入力制御部２
０６は、Ｔp＜Ｔd＜Ｔcであれば、符号化データが入力
されるバッファを切り替える。
【００４５】また、検出更新部２０３でタイムスタンプ
の切り替わりが検出される度に、基準時刻記憶部２０４
に記憶されているＴpがＴcで更新され、Ｔcが最新のタ
イムスタンプで更新される。
【００４６】以下、本実施の形態に係る画像データ復号
装置の動作を各時刻およびタイムスタンプで示されてい
る再生・表示タイミングと関連づけて具体的に説明す
る。図４および図５は、本発明の一実施の形態に係る画
像データ復号装置の動作を説明するための図である。な
お、図４および図５において、ｔ１〜ｔ３は各タイムス
タンプを示しており、Ｐ１−１〜Ｐ３−３は各パケット
に格納されている符号化データを示している。したがっ
て例えば、Ｐ１−１〜Ｐ１−４は、ｔ１のタイミングで
再生されるべき画像データが４つに分割されたときの個
々の符号化データを示す。
【００４７】また、図４（Ｃ）および図５（Ｃ）では、
２つのバッファの内容を時刻の経過に沿って示したもの
であり、斜線をかけて示したバッファが現在符号化デー
タが入力される対象となっているバッファである。
【００４８】まず、図４を用いて説明する。図４では、
すべてのパケットがタイムスタンプで示される再生・表
示タイミングよりも前に受信側（すなわち、本実施の形
態に係る画像データ復号装置）に到着した場合を示して
いる。
【００４９】図４（ａ）に示すようにして送信側から送
信されたパケットは、ある送信時間経過後のタイミング
で、図４（ｂ）に示すように受信側である本実施の形態
に係る画像データ復号装置に到着する。
【００５０】最初の符号化データＰ１−１が受信バッフ
ァ２０１に入力されると、タイムスタンプ抽出部２０２
は、タイムスタンプｔ１を抽出して検出更新部２０３へ
出力する。そして検出更新部２０３は、基準時刻記憶部
２０４に記憶されているＴpとＴcをそれぞれ、図４
（ｄ）および（ｅ）に示すように、Ｔp＝０，Ｔc＝ｔ１
に設定する。
【００５１】また、バッファ入力制御部２０６は、スイ
ッチ２０７を●側へ接続して、受信バッファ２０１内に
ある符号化データＰ１−１をバッファＡ２０８へ出力す
る。これにより、図４（ｃ）に示すように符号化データ
Ｐ１−１がバッファＡ２０８に蓄積される。以降、検出
更新部２０３でタイムスタンプの切り替わりが検出され
るまで、バッファ入力制御部２０６は、スイッチ２０７
を●側へ接続して、受信バッファ２０１内にある符号化
データをバッファＡ２０８へ出力する。よって、図４
（ｃ）に示すように、符号化データＰ１−１〜Ｐ１−４
が、バッファＡ２０８に順次蓄積される。
【００５２】次いで、符号化データＰ２−１が受信バッ
ファ２０１に入力されると、タイムスタンプ抽出部２０
２は、タイムスタンプｔ２を抽出して検出更新部２０３
へ出力する。そして検出更新部２０３では、今回出力さ
れたタイムスタンプｔ２と前回出力されたタイムスタン
プｔ１とが比較されて、時刻ｔd1において、タイムスタ
ンプがｔ１からｔ２に切り替わったことが検出される。
【００５３】時刻ｔd1では、Ｔp＜ｔd1＜Ｔcであるの
で、バッファ入力制御部２０６は、符号化データが入力
されるバッファをバッファＡ２０８からバッファＢ２０
９へ切り替える。つまり、検出更新部２０３でタイムス
タンプの次の切り替わりが検出されるｔd2まで、バッフ
ァ入力制御部２０６は、スイッチ２０７を○側へ接続し
て、受信バッファ２０１内にある符号化データをバッフ
ァＢ２０９へ出力する。よって、図４（ｃ）に示すよう
に、符号化データＰ２−１〜Ｐ２−３が、バッファＢ２
０９に順次蓄積される。
【００５４】また、時刻ｔd1においてタイムスタンプが
ｔ１からｔ２に切り替わったことが検出されると、検出
更新部２０３は、図４（ｄ）および（ｅ）に示すよう
に、Ｔpをｔ１に更新し、Ｔcをｔ２に更新する。
【００５５】そして、現在の時刻ＴdがＴpになった時
（つまり、タイムスタンプｔ１の符号化データを再生す
る時刻ｔ１になった時）に、バッファ出力制御部２１０
は、現在符号化データが入力されているバッファＢ２０
９とは異なるバッファＡ２０８に蓄積されている符号化
データが復号部１０５へ出力されるようにスイッチ２１
１を制御する。すなわち、バッファ出力制御部２１０
は、時刻ｔ１おいてスイッチ２１１を●側へ接続して、
図４（ｃ）に示すように、符号化データＰ１−１〜Ｐ１
−４をまとめてバッファＡ２０８から復号部１０５へ出
力する。
【００５６】以降同様の処理が繰り返されて、次に現在
の時刻ＴdがＴpになった時（つまり、タイムスタンプｔ
２の符号化データを再生する時刻ｔ２になった時）に、
バッファ出力制御部２１０は、時刻ｔ２おいてスイッチ
２１１を○側へ接続して、図４（ｃ）に示すように、符
号化データＰ２−１〜Ｐ２−３をまとめてバッファＢ２
０９から復号部１０５へ出力する。
【００５７】このように、すべてのパケットがタイムス
タンプで示される再生・表示タイミングよりも前に到着
した場合には、本実施の形態に係る画像データ復号装置
では、欠落した情報がない画像を各タイムスタンプで示
される再生・表示タイミングに再生することができる。
【００５８】次いで、図５を用いて説明する。図５で
は、タイムスタンプで示される再生・表示タイミングよ
りも遅れて受信側（すなわち、本実施の形態に係る画像
データ復号装置）に到着するパケットがある場合を示し
ている。
【００５９】図５（ａ）に示すようにして送信側から送
信されたパケットは、ある送信時間経過後のタイミング
で、図５（ｂ）に示すように受信側である本実施の形態
に係る画像データ復号装置に到着する。
【００６０】最初の符号化データＰ１−１が受信バッフ
ァ２０１に入力されると、図４で説明した場合と同様
に、図５（ｄ）および（ｅ）に示すように、Ｔp＝０，
Ｔc＝ｔ１に設定される。
【００６１】また、バッファ入力制御部２０６は、スイ
ッチ２０７を●側へ接続して、受信バッファ２０１内に
ある符号化データＰ１−１をバッファＡ２０８へ出力す
る。これにより、図５（ｃ）に示すように符号化データ
Ｐ１−１がバッファＡ２０８に蓄積される。以降、Ｔd
＝Ｔcになるまで、バッファ入力制御部２０６は、スイ
ッチ２０７を●側へ接続して、受信バッファ２０１内に
ある符号化データをバッファＡ２０８へ出力する。よっ
て、図５（ｃ）に示すように、符号化データＰ１−１お
よびＰ１−２が、バッファＡ２０８に順次蓄積される。
【００６２】そして、現在の時刻ＴdがＴcになった時
（つまり、タイムスタンプｔ１の符号化データを再生す
る時刻ｔ１になった時）に、バッファ出力制御部２１０
は、現在符号化データが入力されているバッファＡ２０
８に蓄積されている符号化データが復号部１０５へ出力
されるようにスイッチ２１１を制御する。すなわち、バ
ッファ出力制御部２１０は、時刻ｔ１おいてスイッチ２
１１を●側へ接続して、図５（ｃ）に示すように、符号
化データＰ１−１およびＰ１−２をまとめてバッファＡ
２０８から復号部１０５へ出力する。
【００６３】また、現在の時刻ＴdがＴcになった時に、
バッファ入力制御部２０６は、符号化データが入力され
るバッファをバッファＡ２０８からバッファＢ２０９へ
切り替える。よって、符号化データＰ１−３およびＰ１
−４は、図５（ｃ）に示すように、バッファＢ２０９に
蓄積される。
【００６４】次いで、符号化データＰ２−１が受信バッ
ファ２０１に入力されると、図３で説明した場合と同様
に、検出更新部２０３で、今回出力されたタイムスタン
プｔ２と前回出力されたタイムスタンプｔ１とが比較さ
れて、時刻ｔd1において、タイムスタンプがｔ１からｔ
２に切り替わったことが検出される。
【００６５】しかし、図５に示す場合では、時刻ｔd1で
は、Ｔc＜ｔd1であるので（すなわち、Ｔp＜ｔd1＜Ｔc
ではないので）、バッファ入力制御部２０６は、符号化
データが入力されるバッファを切り替えず、Ｔpおよび
Ｔcの更新のみが、図４で説明した場合と同様にして検
出更新部２０３よって行われる。
【００６６】よって、次に現在の時刻ＴdがＴcになるま
で、受信バッファ２０１から出力される符号化データが
順次バッファＢ２０９に蓄積される。すなわち、図５
（ｃ）に示すように、符号化データＰ１−３，Ｐ１−４
およびＰ２−１がバッファＢ２０９に蓄積される。
【００６７】そして、次に現在の時刻ＴdがＴcになった
時（つまり、タイムスタンプｔ２の符号化データを再生
する時刻ｔ２になった時）に、バッファ出力制御部２１
０は、現在符号化データが入力されているバッファＡ２
０８とは異なるバッファＢ２０９に蓄積されている符号
化データが復号部１０５へ出力されるようにスイッチ２
１１を制御する。
【００６８】すなわち、バッファ出力制御部２１０は、
時刻ｔ２おいてスイッチ２１１を○側へ接続して、図５
（ｃ）に示すように、符号化データＰ１−３，Ｐ１−４
およびＰ２−１をまとめてバッファＢ２０９から復号部
１０５へ出力する。つまり、時刻ｔ２おいては、タイム
スタンプで示された再生・表示タイミングよりも遅れて
到着した符号化データＰ１−３およびＰ１−４が、タイ
ムスタンプで示された再生・表示タイミング以前に到着
した符号化データＰ２−１の前に追加されて復号部１０
５へ出力される。
【００６９】そして、復号部１０５では、タイムスタン
プで示された再生・表示タイミングよりも遅れて到着し
た符号化データＰ１−３およびＰ１−４の復号が、タイ
ムスタンプで示された再生・表示タイミング以前に到着
した符号化データＰ２−１の復号の前に行われる。よっ
て、復号部１０５では、既にｔ１の時点で符号化データ
Ｐ−１およびＰ−２から再生済みでフレームメモリ３０
３に記録されているタイムスタンプｔ１のピクチャが、
復号されたＰ１−３およびＰ１−４から算出される差分
値により更新された後に、符号化データＰ２−１の復号
が行われる。
【００７０】これにより、タイムスタンプｔ１のピクチ
ャ上においてｔ１の時点では欠落していた符号化データ
Ｐ１−３およびＰ１−４に該当する部分がｔ２の時点で
補われるため、ｔ２以降に再生されるピクチャに画質の
劣化が伝播してしまうことを防止することができる。
【００７１】以降同様の処理が繰り返されて、時刻ｔ３
おいては、図５（ｃ）に示すように、タイムスタンプで
示された再生・表示タイミングよりも遅れて到着した符
号化データＰ２−２およびＰ２−３が、タイムスタンプ
で示された再生・表示タイミング以前に到着した符号化
データＰ３−１の前に追加されて復号部１０５へ出力さ
れる。
【００７２】なお、検出更新部２０３でタイムスタンプ
の切り替わりが検出されたときに、Ｔd＜Ｔpであるる場
合（すなわち、バッファＡ２０８およびバッファＢ２０
９の両者に、未だ復号されていない符号化データが残留
している場合）には、バッファ入力制御部２０６は、こ
れ以上の符号化データが各バッファに入力されないよう
に、データ入力を停止する旨を示す停止信号を、受信バ
ッファ２０１対して送る。これにより、バッファＡ２０
８およびバッファＢ２０９において、バッファオーバー
フローが発生してしまうことを防止することいができ
る。
【００７３】このように、本実施の形態によれば、タイ
ムスタンプで示された再生・表示タイミングよりも遅れ
て到着した符号化データは、タイムスタンプで示された
再生・表示タイミング以前に到着した符号化データの前
に追加されて復号部へ出力される。よって、復号部で
は、タイムスタンプで示された再生・表示タイミング以
前に到着した符号化データの復号前に、タイムスタンプ
で示された再生・表示タイミングよりも遅れて到着した
符号化データの復号を行って既に再生済みでフレームメ
モリに記録されているピクチャを、タイムスタンプで示
された再生・表示タイミングよりも遅れて到着した符号
化データから算出される差分値により更新することがで
きるので、以降再生されるピクチャに画質の劣化が伝播
してしまうことを防止することができ、見やすい画像を
再生することができる。
【００７４】なお、上記一実施の形態では、画像データ
復号装置が無線通信端末装置に備えられる場合を一例に
挙げて説明したが、これに限られるものではなく、画像
データ復号装置を有線の通信システムで使用される通信
端末装置に備えることも可能である。
【００７５】また、上記一実施の形態に係る画像データ
の復号は、画像データ復号装置として説明しているが、
この画像データの復号をソフトウェアにより実現するこ
とも可能である。すなわち、上記画像データ復号を行う
プログラムを予めＲＯＭに格納しておき、そのプログラ
ムをＣＰＵによって動作せるようにしてもよい。また、
上記画像データ復号を行うプログラムをコンピュータで
読み取り可能な記憶媒体に格納し、記憶媒体に格納され
たプログラムをコンピュータのＲＡＭに記録して、コン
ピュータをそのプログラムに従って動作させるようにし
てもよい。このような場合においても、上記一実施の形
態と同様の作用および効果を呈する。
【００７６】
【発明の効果】以上説明したように、本発明によれば、
タイムスタンプで指定された再生・表示タイミングまで
にパケットが到着しない場合でも、画質の劣化が伝播し
てしまうことを防止でき、かつ、滑らかな動きを再現す
ることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像データ復号装
置を備える無線通信端末装置の概略構成を示す要部ブロ
ック図
【図２】本発明の一実施の形態に係る画像データ復号装
置の出力制御部の概略構成を示す要部ブロック図
【図３】本発明の一実施の形態に係る画像データ復号装
置の復号部の概略構成を示す要部ブロック図
【図４】本発明の一実施の形態に係る画像データ復号装
置の動作を説明するための図
【図５】本発明の一実施の形態に係る画像データ復号装
置の動作を説明するための図
【図６】RTPパケットの構成を示す模式図
【符号の説明】
１０４ 出力制御部 １０５ 復号部 ２０２ タイムスタンプ抽出部 ２０３ 検出更新部 ２０４ 基準時刻記憶部 ２０６ バッファ入力制御部 ２０７ スイッチ ２０８ バッファＡ ２０９ バッファＢ ２１０ バッファ出力制御部 ２１１ スイッチ ３０１ 可変長復号部 ３０２ 差分値演算部 ３０３ フレームメモリ ３０４ 加算器
───────────────────────────────────────────────────── フロントページの続き (72)発明者 宮崎 秋弘 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 畑 幸一 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5C059 KK34 MA00 MA01 ME01 RB12 RC04 RF11 SS06 UA05 UA33 UA34 UA39 5J064 AA01 BA09 BB05 BC01 BC08 BC24 BD03

Claims (7)

    【特許請求の範囲】
  1. 【請求項１】 画像間の差分情報を用いて画像を順次再
    生する画像データ復号装置において、第１の表示タイミ
    ングで再生される第１画像に含まれる第１画像データと
    前記第１の表示タイミングよりも遅い第２の表示タイミ
    ングで再生される第２画像に含まれる第２画像データと
    を受信する受信手段と、前記第１の表示タイミングより
    も遅れて受信された第１画像データを用いて前記第２の
    表示タイミングまでに前記第１画像を再生した後、前記
    第１画像との差分情報に従って前記第２の表示タイミン
    グで前記第２画像を再生する復号制御手段と、を具備す
    ることを特徴とする画像データ復号装置。
  2. 【請求項２】 復号制御手段は、第１の表示タイミング
    までに受信された第１画像データのみを用いて前記第１
    の表示タイミングで再生した第１画像を、前記第１の表
    示タイミングよりも遅れて受信された第１画像データを
    用いて第２の表示タイミングまでに再生した第１画像に
    よって更新することを特徴とする請求項１記載の画像デ
    ータ復号装置。
  3. 【請求項３】 請求項１または請求項２記載の画像デー
    タ復号装置を搭載することを特徴とする通信端末装置。
  4. 【請求項４】 画像間の差分情報を用いて画像を順次再
    生する画像データ復号方法において、第１の表示タイミ
    ングで再生される第１画像に含まれる第１画像データと
    前記第１の表示タイミングよりも遅い第２の表示タイミ
    ングで再生される第２画像に含まれる第２画像データと
    を受信する受信工程と、前記第１の表示タイミングより
    も遅れて受信された第１画像データを用いて前記第２の
    表示タイミングまでに前記第１画像を再生した後、前記
    第１画像との差分情報に従って前記第２の表示タイミン
    グで前記第２画像を再生する復号制御工程と、を具備す
    ることを特徴とする画像データ復号方法。
  5. 【請求項５】 復号制御工程において、第１の表示タイ
    ミングまでに受信された第１画像データのみを用いて前
    記第１の表示タイミングで再生した第１画像を、前記第
    １の表示タイミングよりも遅れて受信された第１画像デ
    ータを用いて第２の表示タイミングまでに再生した第１
    画像によって更新することを特徴とする請求項４記載の
    画像データ復号方法。
  6. 【請求項６】 画像間の差分情報を用いて画像を順次再
    生する画像データ復号プログラムを格納し、コンピュー
    タにより読み取り可能な記録媒体であって、前記画像デ
    ータ復号プログラムは、第１の表示タイミングで再生さ
    れる第１画像に含まれる第１画像データと前記第１の表
    示タイミングよりも遅い第２の表示タイミングで再生さ
    れる第２画像に含まれる第２画像データとを受信する受
    信手順と、前記第１の表示タイミングよりも遅れて受信
    された第１画像データを用いて前記第２の表示タイミン
    グまでに前記第１画像を再生した後、前記第１画像との
    差分情報に従って前記第２の表示タイミングで前記第２
    画像を再生する復号制御手順と、を含むことを特徴とす
    る記録媒体。
  7. 【請求項７】 復号制御手順において、第１の表示タイ
    ミングまでに受信された第１画像データのみを用いて前
    記第１の表示タイミングで再生した第１画像を、前記第
    １の表示タイミングよりも遅れて受信された第１画像デ
    ータを用いて第２の表示タイミングまでに再生した第１
    画像によって更新することを特徴とする画像データ復号
    プログラムを格納する請求項６記載の記録媒体。
JP2000205414A 2000-07-06 2000-07-06 画像データ復号装置および画像データ復号方法 Pending JP2002027470A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2000205414A JP2002027470A (ja) 2000-07-06 2000-07-06 画像データ復号装置および画像データ復号方法
EP01945778A EP1298936A4 (en) 2000-07-06 2001-07-03 IMAGE DATA DECODER AND METHOD FOR ENCODING IMAGE DATA
US10/070,306 US20020136309A1 (en) 2000-07-06 2001-07-03 Image data decoder and image data decoding method
AU2001267907A AU2001267907A1 (en) 2000-07-06 2001-07-03 Image data decoder and image data decoding method
PCT/JP2001/005738 WO2002005565A1 (fr) 2000-07-06 2001-07-03 Decodeur de donnee image et technique de decodage de donnee image
CNB018019277A CN1173578C (zh) 2000-07-06 2001-07-03 图像数据解码装置和图像数据解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000205414A JP2002027470A (ja) 2000-07-06 2000-07-06 画像データ復号装置および画像データ復号方法

Publications (1)

Publication Number Publication Date
JP2002027470A true JP2002027470A (ja) 2002-01-25

Family

ID=18702503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000205414A Pending JP2002027470A (ja) 2000-07-06 2000-07-06 画像データ復号装置および画像データ復号方法

Country Status (6)

Country Link
US (1) US20020136309A1 (ja)
EP (1) EP1298936A4 (ja)
JP (1) JP2002027470A (ja)
CN (1) CN1173578C (ja)
AU (1) AU2001267907A1 (ja)
WO (1) WO2002005565A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007208418A (ja) * 2006-01-31 2007-08-16 Nhk Engineering Services Inc 検査情報生成装置、送信装置及び中継装置
WO2022091213A1 (ja) * 2020-10-27 2022-05-05 株式会社Njs 動画像通信のためのシステム、受信装置、送信装置、方法、プログラム、及びプログラムを記録した記録媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070100473A1 (en) * 2003-07-01 2007-05-03 Freescale Semiconductor Inc. System and method for synchronization of isochronous data streams over a wireless communication link
KR20060099687A (ko) * 2005-03-14 2006-09-20 삼성전자주식회사 타임스탬프를 이용한 비디오 동기화 장치 및 방법
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
CN106162182B (zh) 2015-03-25 2019-08-30 杭州海康威视数字技术股份有限公司 一种视频编码码流的播放控制方法及***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812735A (en) * 1993-07-09 1998-09-22 Sony Corporaiton Picture signal decoding method and picture signal decoding apparatus
JPH08307863A (ja) * 1995-05-11 1996-11-22 Nippon Telegr & Teleph Corp <Ntt> 映像符号化情報の送受同期方法
JPH09191314A (ja) * 1996-01-10 1997-07-22 Mitsubishi Electric Corp 連続データ伝送方法および連続データ伝送装置
JP2001237814A (ja) * 2000-02-23 2001-08-31 Oki Electric Ind Co Ltd 再生制御装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007208418A (ja) * 2006-01-31 2007-08-16 Nhk Engineering Services Inc 検査情報生成装置、送信装置及び中継装置
WO2022091213A1 (ja) * 2020-10-27 2022-05-05 株式会社Njs 動画像通信のためのシステム、受信装置、送信装置、方法、プログラム、及びプログラムを記録した記録媒体

Also Published As

Publication number Publication date
WO2002005565A1 (fr) 2002-01-17
CN1383687A (zh) 2002-12-04
US20020136309A1 (en) 2002-09-26
CN1173578C (zh) 2004-10-27
AU2001267907A1 (en) 2002-01-21
EP1298936A4 (en) 2003-12-10
EP1298936A1 (en) 2003-04-02

Similar Documents

Publication Publication Date Title
JP3931595B2 (ja) データ修正装置及びデータ修正方法
KR100495820B1 (ko) 비디오 코딩
US7116714B2 (en) Video coding
EP1677547B1 (en) Use of frame caching to improve packet loss recovery
JP5341629B2 (ja) ピクチャ復号化方法
US6357028B1 (en) Error correction and concealment during data transmission
KR101833605B1 (ko) 향상된 rtp 페이로드 포맷 설계들
ZA200208713B (en) Video error resilience.
US20110069756A1 (en) Predictive encoding/decoding method and apparatus
JP2002027470A (ja) 画像データ復号装置および画像データ復号方法
JP2002027483A (ja) 画像符号化装置、画像復号化装置および記憶媒体
JP2001309375A (ja) メディア分離方法と画像復号方法及び装置
US20040261111A1 (en) Interactive mulitmedia communications at low bit rates
Van Leeuwen et al. Preserving streaming video quality in mobile wireless LAN networks
JP2002314583A (ja) 中継方法および中継装置
JP2004056234A (ja) 画像符号化装置および画像符号化方法
WO2003036988A1 (en) Media separating method, image decoding method and image decoding device
JP2001197493A (ja) 動画像復号化方法，動画像復号化装置及びプログラム記録媒体