JP2000175189A - 動画符号化方法およびそれに用いる動画符号化装置 - Google Patents

動画符号化方法およびそれに用いる動画符号化装置

Info

Publication number
JP2000175189A
JP2000175189A JP34636898A JP34636898A JP2000175189A JP 2000175189 A JP2000175189 A JP 2000175189A JP 34636898 A JP34636898 A JP 34636898A JP 34636898 A JP34636898 A JP 34636898A JP 2000175189 A JP2000175189 A JP 2000175189A
Authority
JP
Japan
Prior art keywords
encoding
moving picture
layer
network
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP34636898A
Other languages
English (en)
Inventor
Tadao Saito
忠夫 斎藤
Hitoshi Aida
仁 相田
Terumasa Aoki
輝勝 青木
Takayuki Onishi
隆之 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Priority to JP34636898A priority Critical patent/JP2000175189A/ja
Priority to US09/390,702 priority patent/US6535557B1/en
Publication of JP2000175189A publication Critical patent/JP2000175189A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

(57)【要約】 【課題】 ネットワーク上でパケットないしタイムスロ
ットの廃棄が起こった場合でも、受信側において同期を
保つことができる、あるいは、受信側において同期を速
やかに回復することができる動画像符号化方法およびそ
れに用いる動画像符号化装置を提供する。 【解決手段】 ネットワークを通じて動画像を伝送する
際、動画像を符号化してディジタル動画像ストリームと
する動画像符号化方法において、同期信号を含むデータ
単位とネットワークのデータ伝送単位とを対応させるか
一致させて符号化を行う、あるいは、ネットワークのデ
ータ伝送単位それぞれの先頭に近い位置に同期信号が含
まれるよう符号化を行う。従って、本発明で生成される
ディジタル動画像ストリームは、ネットワークのデータ
伝送単位、例えば、可変長パケット交換方式ではＩＰパ
ケットの最大長、または、可変速度ＴＤＭではタイムス
ロットのサイズ毎に同期層のヘッダが挿入されている。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動画像を符号化す
る動画像符号化方法およびそれに用いる動画像符号化装
置に関し、特に、可変パケット交換方式や可変速度ＴＤ
Ｍ方式を利用してネットワークを通じて動画像を伝送す
るのに好適な動画像符号化方法およびそれに用いる符号
化装置に関するものである。
【０００２】
【従来の技術】従来から、動画像をネットワークを通じ
て伝送する場合、例えばＭＰＥＧ（Moving Picture Exp
erts Group）符号化方式で動画像を圧縮符号化し、符号
化したディジタル動画像ストリームデータを、可変長パ
ケット交換方式（ＩＰネットワーク）や可変速度ＴＤＭ
（Time Division Multiplex ）方式を利用してネットワ
ークを通じて伝送している。
【０００３】ここで、ＭＰＥＧ符号化方式は動画像符号
化方式として標準の地位を確立した規格である。ＭＰＥ
Ｇでは、ＤＣＴによる各ピクチャごとの画像圧縮に加
え、ピクチャの前後方向に動きベクトル予測を行い、動
画像の時間間隔を利用した符号化を行うことで高い圧縮
効率を実現している。図６に従来から知られているＭＰ
ＥＧピクチャの階層構成を示す。１枚のピクチャは複数
のスライスより構成される。スライスは同期コードを持
つデータ列の最小単位であり、１６×１６ピクセルのマ
クロブロックの帯（ＭＰＥＧ１では任意、ＭＰＥＧ２で
は画像の両端をまたがらない任意の長さ）から構成され
る。図６に示す例において、スライスヘッダでは同期コ
ードに垂直位置情報を含み、続くマクロブロックのヘッ
ダと合わせて画像中の座標が確定できる。また、差分符
号化に伴う各種予測もゼロにクリアされる。
【０００４】また、ＩＰネットワークは、インターネッ
トの普及によって事実上標準となっている可変長パケッ
ト交換方式である。パケットのヘッダに記載された宛先
（ＩＰアドレス）に基づいて、交換機（ルータ）が経路
を決定する。パケット長の最大値はネットワークによっ
て決定される。
【０００５】さらに、可変速度ＴＤＭ交換方式は、図７
に示すように、ＴＤＭフレーム内にある固定長のタイム
スロットにデータを格納して交換を行う。既存のＴＤＭ
交換機とは異なり、各トラヒックに割り当てられるスロ
ット数はその時点で必要なビットレートに対応して時変
であるため、マルチレートかつ可変速度のトラヒックを
扱うことが可能である。さらにまた、画像専用のネット
ワークに合わせてスロットサイズを大きくとることによ
って、ＡＴＭ交換機で問題であったオーバーヘッドやス
イッチング速度の問題を解決し、ＴＤＭ方式であること
より同期の確保・遅延揺らぎの低減が容易である。ま
た、タイムスロットに格納されたデータの内容をスイッ
チ側が把握（ビデオフレームとの対応付け）することに
より、ビデオ品質を最適化するための制御を交換機で行
うことができる。
【０００６】
【発明が解決しようとする課題】上述したように、現状
の符号化器を用いて動画像をＭＰＥＧ形式で符号化し、
ＩＰネットワークないし可変速度ＴＤＭ交換方式で伝送
する場合、以下に示す問題があった。
【０００７】（１）ネットワークでのデータ損失に基づ
く受信側での問題： ＭＰＥＧストリームをネットワークで伝送する際に、現
在のエンコーダはネットワークのデータ伝送単位とは無
関係に符号化を行い、伝送時にはストリームの構成に関
わらずデータを無条件に分割してネットワークに送出す
る。そのため、ネットワークにおいてパケットないしタ
イムスロットの損失が生じた場合には、受信側において
データが欠落した部分以降にストリームの不整合が起こ
る。このようなパケットないしタイムスロットの損失
は、ネットワークの混雑によってパケット等が送出でき
ないとき、また、伝送誤りのためにパケット等が正しく
受信できないときにも生じ得る。このとき、マクロブロ
ックレベルでは同期コードのない可変長符号化を採用し
ているため、受信側で復号同期をとることができず、同
期ポイントが含まれるスライスヘッダが現れるまで復号
同期が崩れたままとなる。このため、復号アルゴリズム
が破綻を来たし、その結果、復号画像には大きなひずみ
が生じることとなる。
【０００８】（２）受信側の復号器における問題： 受信側の復号器では、到着したデータの損失があった場
合には、その周囲の画素、または、前フレームのピクチ
ャから損失部分を補間する処理が可能と考えられる。し
かし、データ損失に伴って同期が崩れた場合には、損失
の検出・損失範囲の検出等が困難であり、補間処理が難
しくなる。
【０００９】本発明の目的は上述した課題を解消して、
ネットワーク上でパケットないしタイムスロットの廃棄
が起こった場合でも、受信側において同期を保つことが
できる、あるいは、受信側において同期を速やかに回復
することができる動画像符号化方法およびそれに用いる
動画像符号化装置を提供しようとするものである。
【００１０】
【課題を解決するための手段】本発明の動画像符号化方
法は、ネットワークを通じて動画像を伝送する際、動画
像を符号化してディジタル動画像ストリームとする動画
像符号化方法において、同期信号を含むデータ単位とネ
ットワークのデータ伝送単位とを対応させるか一致させ
て符号化を行う、あるいは、ネットワークのデータ伝送
単位それぞれの先頭に近い位置に同期信号が含まれるよ
う符号化を行うことを特徴とするものである。
【００１１】また、本発明の動画像符号化方法の好まし
い態様として、データ単位とデータ伝送単位との対応
が、データ単位とデータ伝送単位との一致であること、
ネットワークがＩＰネットワーク等の可変長パケット交
換方式または可変速度ＴＤＭ（Time Division Multiple
x ）方式を利用したものであること、動画像の符号化を
ＭＰＥＧ（Moving Picture Experts Group）形式の符号
化に基づいて行うことがあげられる。
【００１２】本発明の動画像符号化装置は、動画像圧縮
方式の階層構成において、同期が存在しない最上層まで
を符号化する非同期層符号化器と；非同期層符号化器よ
り出力された符号データを順に格納するバッファと；バ
ッファに格納された符号データを取り出し、同期信号を
挿入して同期が存在する層ないしそれ以上の層までの符
号化を行いディジタル動画像ストリームを得る同期層符
号化器と；バッファに格納された符号データのデータ量
を監視し、そのデータ量が、ネットワークのデータ伝送
単位に達したとき、同期層符号器へ符号化命令を発する
同期層生成制御器と；を備えることを特徴とするもので
ある。
【００１３】また、本発明の動画像符号化装置の好まし
い態様として、同期層生成制御装置での符号化命令を、
（１）非同期層符号化器の出力の発生ビット量を毎回監
視し、次の非同期層符号化器の出力で目標ビット量を超
過すると予測することで行うこと、（２）符号データの
ビット量が目標ビット量となることの監視を、バッファ
が目標ビット量を超過した時点で、直前の非同期層符号
化器の出力を削除して同期層を生成し、新たな同期層と
して削除した非同期層を再び符号化しなおすことで行う
こと、（３）符号データのビット量が目標ビット量とな
ることの監視を、バッファが目標ビット量を超過した時
点で同期層を生成し、超過分は次の同期層を格納するパ
ケットないしタイムスロットに持ち越して格納すること
があげられる。
【００１４】本発明では、符号化の際、同期信号を含む
データ単位をネットワークのデータ伝送単位に対応ある
いは一致させ、または、ネットワークのデータ伝送単位
それぞれの先頭に近い位置に同期信号が含まれるよう構
成している。従って、本発明で生成されるディジタル動
画像ストリームは、ネットワークのデータ伝送単位、例
えば、可変長パケット交換方式ではＩＰパケットの最大
長、または、可変速度ＴＤＭではタイムスロットのサイ
ズ毎に同期層のヘッダが挿入されている。そのため、本
発明から得られる符号化したディジタル動画像ストリー
ムを、パケット化器によりデータ伝送単位、例えば、Ｉ
Ｐパケットまたはタイムスロットとして出力すること
で、出力されるＩＰパケットまたはタイムスロットの先
頭には必ず同期信号が含まれる。これにより、ネットワ
ーク上でパケットないしタイムスロットの廃棄が起こっ
た場合でも受信側において同期を保つことができ、可変
長符号復号同期の破綻が起こり得ない。
【００１５】
【発明の実施の形態】図１は本発明方式の概要を説明す
るための図であり、図１（ａ）は本発明の動画像符号化
装置の一例の構成を示し、図１（ｂ）は本発明の動画像
符号化装置で符号化されたディジタル動画像ストリーム
をネットワーク上へ送出する例を示している。図１
（ａ）に示す本発明の動画像符号化装置は、非同期層符
号化器１、バッファ２、同期層符号化器３、同期層生成
制御器４から構成される。また、図１（ｂ）に示すよう
に、本発明の動画像符号化装置で符号化されたディジタ
ル動画像ストリームをネットワークへ送出する際には、
ストリームパケット化器５を使用する。
【００１６】図１（ａ）に示す例において、非同期層符
号化器１は、動画像圧縮方式の階層構成において、同期
が存在しない最上層までを符号化する機能を持つ。ＭＰ
ＥＧ方式であれば、マクロブロック層までの符号化を行
う。バッファ２は、非同期層符号化器１より出力された
符号データを順に格納する。同期層符号化器３は、バッ
ファ２に格納された符号データを取り出し、同期信号を
挿入して同期が存在する層（ないしそれ以上の層まで）
の符号化を行う機能を持つ。ＭＰＥＧ方式であれば、同
期信号であるスライスヘッダを挿入し、スライス層（な
いしそれ以上の層まで）の符号化を行う。同期層生成制
御器４は、バッファ２に格納された符号データのビット
量を監視し、同期層符号化器３へ符号化を指令する機能
を持つ。図１（ｂ）に示す例において、ストリームパケ
ット化器５は、符号化されたストリームをネットワーク
上に送出するために、パケットないしタイムスロットの
ビットサイズに合わせてストリームを切断し、パケット
化する機能を持つ。
【００１７】次に、本発明の動画像符号化方法を図１を
参照して説明する。非同期層符号化器１において非同期
層（ＭＰＥＧ方式では、マクロブロック層にあたる）ま
で符号化されたデータは順にバッファ２に格納される。
同期層生成制御器４はバッファ２に溜まったデータ量を
監視し、データ量がＩＰパケットの最大長またはタイム
スロットサイズに達すると、同期層符号化器３に符号化
の指示を出す。符号化規格の都合上、バッファ２が目的
のビット量に達しない状態で同期層を生成する必要があ
る（ＭＰＥＧ２において、画像の横端に達した時など）
場合には、同期層を生成し、目標ビット量への不足分を
新たな目標ビット量として次の同期層を生成する。すな
わち、ＩＰパケットないしタイムスロットには複数の同
期層が併せて格納される。また、ストリームに音声等を
多重化する際には、多重化するビット量、多重化のため
のヘッダなどに必要なビット量を加えた上で計算する。
【００１８】同期層符号化器１は指示を受けてバッファ
２内のデータをすべて取り出して先頭に同期信号を入
れ、同期層（ＭＰＥＧ方式では、スライス層にあたる）
ないしそれ以上の符号化を行って出力する。ストリーム
パケット化器５では、同期層生成制御器４によって最大
パケット長ないしタイムスロットサイズに合わせて生成
された同期層に沿ってストリームを切断し、パケット化
する。可変速度ＴＤＭ交換方式においては、タイムスロ
ットの余り部分にはスタッフィングビットが挿入されて
出力される。
【００１９】上述した本発明の動画像符号化装置におい
て、目標ビット量（すなわち、ＩＰパケット最大長ない
しタイムスロットサイズ）に合わせた同期層を生成する
には、図２〜図４に示すような３方式がある。本発明で
は好ましい態様として３方式のうちいずれの方式をも利
用することができる。以下、３方式のそれぞれ例につい
て説明する。
【００２０】図２（ａ）、（ｂ）に示すビット量予測方
式では、図２（ａ）に示すように、非同期層符号化器１
からの出力の発生ビット量を毎回監視し、次の非同期層
符号化器１からの出力で目標ビット量を超過すると予測
された時点で同期層を生成する。もし予測がはずれ、バ
ッファが目標ビット量を超えてしまった場合には、図２
（ｂ）に示すように、超過分を次のパケットないしタイ
ムスロットに持ち越して格納する。
【００２１】図３に示すロールバック方式では、バッフ
ァ２が目標ビット量を超過した時点で、直前の非同期層
符号化器１からの出力を削除して同期層を生成し、新た
な同期層として削除した非同期層を再び符号化しなお
す。本方式では同期層のサイズを確実に目標ビット量以
下とすることができるが、同一の非同期層を再び符号化
するロールバック機能が非同期層符号化器１に要求され
る。
【００２２】図４（ａ）、（ｂ）に示す超過持ち越し方
式では、バッファ２が目標ビット量を超過した時点で同
期層を生成し、超過分は次のパケットないしタイムスロ
ットに持ち越し格納する。本方式では、図４（ｂ）に示
すように、パケットないしタイムスロットの先頭には一
つ前のパケットないしタイムスロットからの超過分が常
に含まれ、それに続いて同期層のヘッダが格納される。
【００２３】本発明では、上述したビット量予測方式、
ロールバック方式、超過持ち越し方式を利用して、ネッ
トワークのデータ伝送単位である目標ビット量（すなわ
ち、ＩＰパケット最大長ないしタイムスロットサイズ）
に合わせて同期層を生成しているため、本発明に従って
生成されるディジタル動画像ストリームでは、データ伝
送単位、例えば、可変長パケット交換方式ではＩＰパケ
ットの最大長、または、可変速度ＴＤＭではタイムスロ
ットのサイズ毎に同期層のヘッダが挿入されることとな
る。また、ビット量予測方式において予測が外れた場合
や、超過持ち越し方式においても、直前のネットワーク
のデータ伝送単位である直前のＩＰパケットないしタイ
ムスロットからの超過分の直後には必ず同期信号が含ま
れる。
【００２４】本発明を、可変速度ＴＤＭ交換方式でのＭ
ＰＥＧビデオストリームに適用し、スライス層生成方式
に上述したロールバック方式を用いた場合を図５
（ａ）、（ｂ）に示す。図５（ａ）において、まず、マ
クロブロック符号化器１１の出力はバッファ１２に格納
される。そして、スライス生成制御器１３の監視によ
り、タイムスロットに入り得る上限のビット量に達する
と、バッファ１２に格納されたデータは取り出され、ス
ライス生成器１４でスライス同期を付加され出力され
る。こうしてディジタル動画像ストリームを得る。得ら
れたストリームをネットワークに送出する際には、スロ
ットサイズを考慮して生成されたスライスに従ってスト
リームが切断され、タイムスロットに格納される。その
結果、図５（ｂ）に示すように、タイムスロットの先頭
には必ずスライスヘッダが存在する。
【００２５】上述したように本発明を可変速度ＴＤＭ交
換方式に利用した場合は、既存のＭＰＥＧ符号化器の出
力を同期層ごとに区切ってタイムスロットに格納する場
合と比較して、同期層のデータ単位が必ずタイムスロッ
トサイズに合致しているため、スロットの使用効率が高
まる。特に、上述した超過持ち越し方式を利用した場合
については、スロット使用効率を１００％とすることが
できる。
【００２６】
【発明の効果】以上の説明から明らかなように、本発明
によれば、符号化の際、同期信号を含むデータ単位をネ
ットワークのデータ伝送単位に対応あるいは一致させ、
または、ネットワークのデータ伝送単位それぞれの先頭
に近い位置に同期信号が含まれるよう構成しているた
め、本発明で生成されるディジタル動画像ストリーム
は、ネットワークのデータ伝送単位、例えば、可変長パ
ケット交換方式ではＩＰパケットの最大長、または、可
変速度ＴＤＭではタイムスロットのサイズ毎に同期層の
ヘッダが挿入されている。そのため、本発明から得られ
る符号化したディジタル動画像ストリームを、パケット
化器によりデータ伝送単位、例えば、ＩＰパケットまた
はタイムスロットとして出力することで、出力されるＩ
Ｐパケットまたはタイムスロットの先頭には必ず同期信
号が含まれる。これにより、ネットワーク上でパケット
ないしタイムスロットの廃棄が起こった場合でも受信側
において同期を保つことができ、可変長符号復号同期の
破綻が起こり得ない。
【図面の簡単な説明】
【図１】本発明の概要を説明するための図である。
【図２】本発明における同期層生成の一例としてビット
量予測方式を説明するための図である。
【図３】本発明における同期層生成の一例としてロール
バック方式を説明するための図である。
【図４】本発明の同期層生成の一例として超過持ち越し
方式を説明するための図である。
【図５】本発明を可変速度ＴＤＭ交換方式でのＭＰＥＧ
ビデオストリームに適用した例を示す図である。
【図６】ＭＰＥＧピクチャの階層構成を示す図である。
【図７】可変速度ＴＤＭ交換方式の例を説明するための
図である。
【符号の説明】
１ 非同期層符号化器 ２ バッファ ３ 同期層符号化器 ４ 同期層生成制御器 ５ ストリームパケット化器 １１ マクロブロック符号化器 １２ バッファ １３ スライス生成制御器 １４ スライス生成器
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） ９Ａ００１ (72)発明者 大西 隆之 東京都文京区目白台１−21−２ 財団法人 和敬塾東寮 Ｆターム(参考） 5C059 KK34 KK35 MA00 PP04 RA01 RB03 RC02 RC24 RE20 SS08 TA57 TA73 TC20 TC38 TD11 TD14 UA02 UA05 UA32 5C064 BA02 BB05 BC10 BC20 BD02 BD08 BD09 BD14 5K028 EE03 KK32 MM16 SS05 SS24 5K030 HA08 HB02 HB15 HB28 KA03 KA19 LA15 MA13 5K047 AA01 DD02 MM03 MM12 MM24 9A001 CC02 EE04 HH30 JJ12 JJ25 KK56

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】 ネットワークを通じて動画像を伝送する
    際、動画像を符号化してディジタル動画像ストリームと
    する動画像符号化方法において、同期信号を含むデータ
    単位とネットワークのデータ伝送単位とを対応させて符
    号化を行うことを特徴とする動画像符号化方法。
  2. 【請求項２】 ネットワークを通じて動画像を伝送する
    際、動画像を符号化してディジタル動画像ストリームと
    する動画像符号化方法において、同期信号を含むデータ
    単位とネットワークのデータ伝送単位とを一致させて符
    号化を行うことを特徴とする動画像符号化方法。
  3. 【請求項３】 ネットワークを通じて動画像を伝送する
    際、動画像を符号化してディジタル動画像ストリームと
    する動画像符号化方法において、ネットワークのデータ
    伝送単位それぞれの先頭に近い位置に同期信号が含まれ
    るよう符号化を行うことを特徴とする動画像符号化方
    法。
  4. 【請求項４】 前記ネットワークがＩＰネットワーク等
    の可変長パケット交換方式または可変速度ＴＤＭ（Time
    Division Multiplex ）方式を利用したものである請求
    項１〜３のいずれか１項に記載の動画像符号化方法。
  5. 【請求項５】 前記動画像の符号化を、ＭＰＥＧ（Movi
    ng Picture Experts Group）形式の符号化に基づいて行
    う請求項１〜４のいずれか１項に記載の動画像符号化方
    法。
  6. 【請求項６】 請求項１〜５のいずれか１項に記載の動
    画像符号化方法を実施する動画像符号化装置であって、
    動画像圧縮方式の階層構成において、同期が存在しない
    最上層までを符号化する非同期層符号化器と；非同期層
    符号化器より出力された符号データを順に格納するバッ
    ファと；バッファに格納された符号データを取り出し、
    同期信号を挿入して同期が存在する層ないしそれ以上の
    層までの符号化を行いディジタル動画像ストリームを得
    る同期層符号化器と；バッファに格納された符号データ
    のデータ量を監視し、そのデータ量が、ネットワークの
    データ伝送単位に達したとき、同期層符号器へ符号化命
    令を発する同期層生成制御器と；を備えることを特徴と
    する動画像符号化装置。
  7. 【請求項７】 前記同期層生成制御器での符号化命令の
    発生を、非同期層符号化器の出力の発生ビット量を毎回
    監視し、次の非同期層符号化器の出力で目標ビット量を
    超過すると予測することで行う請求項６記載の動画像符
    号化装置。
  8. 【請求項８】 前記同期層生成制御器での符号化命令の
    発生を、バッファが目標ビット量を超過した時点で、直
    前の非同期層符号化器の出力を削除して同期層を生成
    し、新たな同期層として削除した非同期層を再び符号化
    しなおすことで行う請求項６記載の動画像符号化装置。
  9. 【請求項９】 前記同期層生成制御器での符号化命令の
    発生を、バッファが目標ビット量を超過した時点で同期
    層を生成し、超過分は次の同期層を格納するパケットな
    いしタイムスロットに持ち越して格納する請求項６記載
    の動画像符号化装置。
JP34636898A 1998-12-07 1998-12-07 動画符号化方法およびそれに用いる動画符号化装置 Pending JP2000175189A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP34636898A JP2000175189A (ja) 1998-12-07 1998-12-07 動画符号化方法およびそれに用いる動画符号化装置
US09/390,702 US6535557B1 (en) 1998-12-07 1999-09-07 Method and apparatus for coding moving picture image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34636898A JP2000175189A (ja) 1998-12-07 1998-12-07 動画符号化方法およびそれに用いる動画符号化装置

Publications (1)

Publication Number Publication Date
JP2000175189A true JP2000175189A (ja) 2000-06-23

Family

ID=18382950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34636898A Pending JP2000175189A (ja) 1998-12-07 1998-12-07 動画符号化方法およびそれに用いる動画符号化装置

Country Status (2)

Country Link
US (1) US6535557B1 (ja)
JP (1) JP2000175189A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344451A (ja) * 2001-05-16 2002-11-29 Yaskawa Electric Corp データ通信装置
JP2004506291A (ja) * 2000-08-03 2004-02-26 トムソン　ライセンシング　ソシエテ　アノニム 低ビットレートでデータストリームを記録する方法
JP2008507922A (ja) * 2004-07-23 2008-03-13 ビーチ・アンリミテッド・エルエルシー トリックモードおよび速度移行
JP2008511261A (ja) * 2004-08-23 2008-04-10 クゥアルコム・インコーポレイテッド 効率的なビデオスライシング
US7613117B2 (en) 2004-03-09 2009-11-03 Nec Corporation Motion picture data transmission method and system
US8379733B2 (en) 2006-09-26 2013-02-19 Qualcomm Incorporated Efficient video packetization methods for packet-switched video telephony applications
US9357233B2 (en) 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899924B2 (en) * 2002-04-19 2011-03-01 Oesterreicher Richard T Flexible streaming hardware
US20040006635A1 (en) * 2002-04-19 2004-01-08 Oesterreicher Richard T. Hybrid streaming platform
US20040006636A1 (en) * 2002-04-19 2004-01-08 Oesterreicher Richard T. Optimized digital media delivery engine
US20050259623A1 (en) * 2004-05-13 2005-11-24 Harinath Garudadri Delivery of information over a communication channel
US7640274B2 (en) * 2004-07-21 2009-12-29 Tinker Jeffrey L Distributed storage architecture based on block map caching and VFS stackable file system modules
JP5339697B2 (ja) * 2007-08-14 2013-11-13 キヤノン株式会社 送信装置、送信方法、及びコンピュータプログラム
EP2264954B1 (en) * 2009-06-18 2012-02-01 Alcatel Lucent Method and apparatus for congestion control
FR2957743B1 (fr) * 2010-03-19 2012-11-02 Canon Kk Procede de gestion d'une transmission de donnees par un dispositif emetteur, avec gestion de codage source, produit programme d'ordinateur, moyen de stockage et dispositif emetteur correspondants

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331559A (ja) * 1995-06-02 1996-12-13 Matsushita Electric Ind Co Ltd 画像符号化復号方法および装置
JPH09187007A (ja) * 1995-07-07 1997-07-15 Deutsche Thomson Brandt Gmbh 誤りを含むデータストリームへの再同期の方法と、符号化器及び復号化器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226327B1 (en) * 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
US5561466A (en) * 1993-06-23 1996-10-01 Nec Corporation Video and audio data multiplexing into ATM cells with no dummy cell used and ATM cell demultiplexing
DE4323471C2 (de) * 1993-07-14 1996-10-17 Atecom Advanced Telecommunicat Anordnung und Verfahren zum Bearbeiten von Datenstrukturen bei deren Durchlauf durch einen Netzwerkknoten
US5608446A (en) * 1994-03-31 1997-03-04 Lucent Technologies Inc. Apparatus and method for combining high bandwidth and low bandwidth data transfer
US5751702A (en) * 1995-12-05 1998-05-12 Stanford Telecommunications, Inc. Network protocol for wireless broadband ISDN using ATM

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331559A (ja) * 1995-06-02 1996-12-13 Matsushita Electric Ind Co Ltd 画像符号化復号方法および装置
JPH09187007A (ja) * 1995-07-07 1997-07-15 Deutsche Thomson Brandt Gmbh 誤りを含むデータストリームへの再同期の方法と、符号化器及び復号化器

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004506291A (ja) * 2000-08-03 2004-02-26 トムソン　ライセンシング　ソシエテ　アノニム 低ビットレートでデータストリームを記録する方法
JP4829466B2 (ja) * 2000-08-03 2011-12-07 トムソン ライセンシング 低ビットレートでデータストリームを記録する方法
JP2002344451A (ja) * 2001-05-16 2002-11-29 Yaskawa Electric Corp データ通信装置
US7613117B2 (en) 2004-03-09 2009-11-03 Nec Corporation Motion picture data transmission method and system
JP2008507922A (ja) * 2004-07-23 2008-03-13 ビーチ・アンリミテッド・エルエルシー トリックモードおよび速度移行
JP2011050117A (ja) * 2004-07-23 2011-03-10 Beach Unlimited Llc トリックモードおよび速度移行
JP4729570B2 (ja) * 2004-07-23 2011-07-20 ビーチ・アンリミテッド・エルエルシー トリックモードおよび速度移行
JP2008511261A (ja) * 2004-08-23 2008-04-10 クゥアルコム・インコーポレイテッド 効率的なビデオスライシング
US8379733B2 (en) 2006-09-26 2013-02-19 Qualcomm Incorporated Efficient video packetization methods for packet-switched video telephony applications
US9357233B2 (en) 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling

Also Published As

Publication number Publication date
US6535557B1 (en) 2003-03-18

Similar Documents

Publication Publication Date Title
US7551672B1 (en) Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
JP4661373B2 (ja) 特定メディアデータの破棄を制御する送信装置及び送信プログラム
JP2000175189A (ja) 動画符号化方法およびそれに用いる動画符号化装置
US6233251B1 (en) Multiplex transmission method and system, and audio jitter absorbing method used therein
US7227899B2 (en) Method and system for re-multiplexing of content-modified MPEG-2 transport streams using interpolation of packet arrival times
JP2002141945A (ja) データ送信装置、およびデータ送信方法、並びにプログラム記憶媒体
US7342961B2 (en) Encoded data outputting apparatus and method
US6584120B1 (en) Data multiplexing apparatus and method
EP1300024A2 (en) Video error resilience
US20050063473A1 (en) Method and apparatus for transmitting and receiving coded packet and program therefor
US7693222B2 (en) Method and system for re-multiplexing of content-modified MPEG-2 transport streams using PCR interpolation
JP4659179B2 (ja) Ｍｐｅｇストリーム切替方法
JP2007028241A (ja) 映像符号化・送信装置，映像符号化・送信方法，映像符号化・送信プログラムおよびその記録媒体
WO2001039505A2 (en) Method and apparatus of transmitting and receiving variable bit rate streams
US20020015577A1 (en) Data distribution apparatus and method, and data distribution system
JP2000350197A (ja) 映像伝送方法とそれを用いた監視システム
JP3617177B2 (ja) 映像素材供給装置及び方法
JP3207709B2 (ja) 多重化データ相互通信方法、多重化データ相互通信システム、ゲートウエイおよび非同期網上の端末
JP2002152181A (ja) マルチメディアデータ通信方法およびマルチメディアデータ通信装置
JP3177825B2 (ja) メディア符号化装置
JP2002077827A (ja) データ配信装置及び方法、データ配信システム
JP2003116133A (ja) 動画像圧縮符号化伝送品質制御方式および方法
JPH09298748A (ja) Ｍｐｅｇビットストリームにおいてスタッフィングビットの代わりにプライベートデータを送る方法および装置
JP2002141944A (ja) データ送信装置、およびデータ送信方法、並びにプログラム記憶媒体
JP2002112194A (ja) データ処理方法及び装置、データ伝送システム、伝送媒体

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20010417