JPH11196411A - 画像符号化装置、画像符号化方法、画像復号化装置、及び画像復号化方法 - Google Patents
画像符号化装置、画像符号化方法、画像復号化装置、及び画像復号化方法Info
- Publication number
- JPH11196411A JPH11196411A JP5469498A JP5469498A JPH11196411A JP H11196411 A JPH11196411 A JP H11196411A JP 5469498 A JP5469498 A JP 5469498A JP 5469498 A JP5469498 A JP 5469498A JP H11196411 A JPH11196411 A JP H11196411A
- Authority
- JP
- Japan
- Prior art keywords
- vop
- intra
- image
- information
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 56
- 238000004458 analytical method Methods 0.000 claims description 222
- 238000010586 diagram Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 28
- 230000007246 mechanism Effects 0.000 description 18
- BNPSSFBOAGDEEL-UHFFFAOYSA-N albuterol sulfate Chemical compound OS(O)(=O)=O.CC(C)(C)NCC(O)C1=CC=C(O)C(CO)=C1.CC(C)(C)NCC(O)C1=CC=C(O)C(CO)=C1 BNPSSFBOAGDEEL-UHFFFAOYSA-N 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 230000009471 action Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
- G06F9/45516—Runtime code conversion or optimisation
- G06F9/45525—Optimisation or modification within the same instruction set architecture, e.g. HP Dynamo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/633—Control signals issued by server directed to the network components or client
- H04N21/6332—Control signals issued by server directed to the network components or client directed to client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
- H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
どに含まれる全てのVOPをイントラのみで符号化した
場合には、復号処理を容易かつ簡単に行なう。 【解決手段】 符号化側で作成される符号化ビットスト
リーム30は、VOヘッダ30a、VOLヘッダ30
b、GOVヘッダ30c、VOPヘッダ30d、VOP
データ30eから構成されているが、VOLヘッダ30
bに、VOLまたはGOVに含まれる全てのVOPデー
タ30eがイントラ符号化されていることを示すオブジ
ェクトイントラ符号化表示指示信号7’が多重化されて
いる。このため、復号側では、VOLヘッダ30bのこ
のオブジェクトイントラ符号化表示指示信号7’を解析
するだけで、符号化ビットストリーム30中のVOLま
たはGOVに含まれるVOPデータ30e全てがイント
ラ符号化されているか否かが分かり、VOPの駒落し制
御やランダムアクセス等の処理が容易に行なえる。
Description
符号化ビットストリームを作成する画像符号化装置およ
び画像符号化方法、符号化ビットストリームを入力して
その符号化ビットストリームに含まれている画像信号を
復号する画像復号化装置および画像復号化方法に関し、
特に、オブジェクト単位に画像を符号化するMPEG−
4対応の画像符号化装置および画像符号化方法、オブジ
ェクト単位に画像を符号化した符号化ビットストリーム
を復号するMPEG−4対応の画像復号化装置および画
像復号化方法に関するものである。
方式として、例えば、ISO/IEC JTC11/SC29/WG11にて標
準化作業が進められているMPEG−4(Moving Pictur
e Experts Group Phase-4)がある。MPEG−4は、動
画像シーケンスを時間/空間的に任意の形状をとる動画
像オブジェクトの集合体としてとらえ、各動画像オブジ
ェクトを単位として符号化・復号化を行う方式である。
ータ構造を示す。MPEG−4では時間軸を含めた動画
像オブジェクトをVideo Object(VO)と呼び、VOの構
成要素をVideo Object Layer(VOL)と呼び、VOLの
構成要素をGroup of Video Object Plane(GOV)と呼
び、GOVの各時刻の状態を表し符号化の単位となる画
像データをVideo Object Plane(VOP)と呼ぶ。VOは
例えば、テレビ会議のシーンの中のそれぞれの話者や背
景などに相当し、VOLはそれら話者や背景などの固有
の時間・空間解像度をもつ単位であり、VOPはそれら
VOLの各時刻(=フレームに相当)における画像デー
タである。GOVはVOPを複数集めた編集やランダム
アクセスなどの単位として設けられているデータ構造
で、必ずしも符号化に用いられなくてもよい。
は、2つのVOP(VOP1は人物、VOP2は壁にかけ
られた絵画)を示している。各VOPはカラー濃淡レベ
ルを表すテクスチャデータと、VOPの形状を表す形状
データとからなる。テクスチャデータは画素あたり8ビ
ットの輝度信号、色差信号(輝度信号に対して水平・垂
直方向に1/2にサブサンプルされたサイズ)からな
り、形状データはVOP内部を1、VOP外部を0とす
る輝度信号の画像サイズと同じ2値のマトリクスデータ
である(実際には、形状データは画素あたり8ビット幅
を持ち、VOP内部を255、VOP外部を0とする
が、以下では便宜上、二値、すなわち0および1で表記
するものとする)。VOPによる動画像表現において
は、従来のフレーム画像は複数のVOPを画面中に配置
することによって得られる。ただし、VOPの形状が矩
形で、かつVOL内で時刻によらず変化しない場合、V
OPはフレームと同義となる。この場合は形状データは
存在せず、テクスチャデータだけが符号化される。
の例を示す。VO、VOL、GOV、VOPそれぞれの
ヘッダ及びVOPデータの先頭部分には、スタートコー
ドと呼ばれるビット列を含む。スタートコードは、ユニ
ークワード(1通りの解釈しかできないビット列)であ
り、各ヘッダ情報およびVOPデータ情報の始まりを示
す役割がある。各ヘッダ情報には、そのレイヤ以下のデ
ータを復号するのに必要な情報やレイヤの属性を表現す
る情報などが含まれる。例えばVOLヘッダ情報には、
VOLを構成する各VOPを復号する際に必要となる情
報が含まれる。VOPデータは、被符号化領域の単位で
あるマクロブロック毎に分けられた画像データで構成さ
れる。通常、図44におけるVOPデータの中にはスタ
ートコードを含まないが、場合によっては、マクロブロ
ックを複数個集めた単位でスタートコードを付加するこ
とも許される。VOPヘッダ情報には、当該VOPがイ
ントラ符号化されているか、インター符号化されている
かを示す符号化タイプの情報が含まれている。ここで、
イントラ符号化とは、他のVOPの情報を使用せず符号
化対象のVOP自身の情報のみで符号化する符号化モー
ドのことをいい、インター符号化とは、時間的に前後す
る他のVOPの情報を使用して符号化対象のVOPの情
報を符号化する符号化モードのことをいう。
したように、符号化ビットストリーム中のVOPヘッダ
情報に含まれている符号化タイプ情報を逐一解析しなけ
れば、VOPデータがいずれの符号化モードで符号化さ
れたかが分からなかったため、符号化側でオブジェクト
のVOL、GOVなどの単位の中に含まれる全てのVO
Pデータがイントラのみで符号化した場合でも、復号化
側では個々のVOPがいずれのモードで符号化されてい
るかは、ヘッダ情報の解析を行なわなければわからなか
った。このため、符号化側でオブジェクトのVOL、G
OVなどの単位の中に含まれる全てのVOPデータがイ
ントラのみで符号化された場合でも、復号化側で所望の
時刻のVOP瞬時にへアクセスしたり、復号時の装置の
負荷などに応じて符号化の画像信号を間引くいわゆる駒
落し制御を行うためには、個々のVOPの符号化データ
の解析を行なって、符号化ビットストリームの予測構造
やまたは時間情報を認識した上で、アクセスすべき所望
のVOP、あるいは駒落し制御において復号すべきVO
Pを特定する必要があり、復号処理が面倒となると共
に、復号処理時間が増大する、という問題があった。
してなされたもので、動画像シーケンス中に含まれる全
ての画像をイントラのみで符号化した場合には、画像復
号化装置側において、所望の時刻の画像へのアクセスや
駒落し制御などの復号処理を容易かつスムーズに行える
と共に、復号処理時間を短縮化することのできる画像符
号化装置、画像符号化方法、画像復号化装置、及び画像
復号化方法を提供することを目的とする。また、特に、
本発明では、複数のオブジェクトからなる画像をオブジ
ェクト単位で符号化または復号化するMPEG−4規格
の下、符号化側でオブジェクトのVOL、GOVなどの
単位の中に含まれる全てのVOPをイントラのみで符号
化した場合には、画像復号化装置側において、所望の時
刻のVOPへのアクセスや駒落し制御などの復号処理を
容易かつスムーズに行えると共に、復号処理時間を短縮
化することのできる画像符号化装置、画像符号化方法、
画像復号化装置、及び画像復号化方法を提供することを
目的とする。
め、本発明では、符号化ビットストリームから動画像シ
ーケンスに含まれる画像すべてがイントラ符号化されて
いるか否かを示すイントラ符号化表示情報を解析する解
析手段と、前記解析手段によって解析された前記イント
ラ符号化表示情報に基づいて前記動画像シーケンスに含
まれる画像を復号する復号手段と、を備えたものであ
る。
は、任意の形状を有する動画像オブジェクトのビデオオ
ブジェクトレイヤである。
は、任意の形状を有する動画像オブジェクトのビデオオ
ブジェクトレイヤを構成するビデオオブジェクトプレー
ンのグループである。
記イントラ符号化表示情報と、画像復号化装置側におい
て指定された表示速度情報とに基づいて、前記動画像シ
ーケンス内の画像を間引いて復号するものである。
らに、符号化ビットストリームから符号化側の表示速度
情報を解析すると共に、解析した符号化側の表示速度情
報と、画像復号化装置側において指定された表示速度情
報とに基づいて、復号対象画像を特定し、前記復号手段
は、前記イントラ符号化表示情報と、前記復号対象画像
の表示時刻情報とに基づいて、前記動画像シーケンスに
含まれる画像を間引いて復号するものである。
記イントラ符号化表示情報と、画像復号化装置側におい
て指定される表示時刻情報とに基づいて、前記画像復号
化装置側において指定される表示時刻情報が示す画像を
復号するものである。
に、符号化ビットストリームから符号化側の表示速度情
報と、前記動画像シーケンスに含まれる画像の表示時刻
情報とを解析すると共に、その解析した前記表示速度情
報と、前記表示時刻情報とに基づいて、復号対象画像を
特定し、前記復号手段は、前記イントラ符号化表示情報
と、前記復号対象画像の表示時刻情報と、画像復号化装
置側において指定される表示時刻情報とに基づいて、前
記画像復号化装置側において指定される表示時刻情報が
示す画像を復号するものである。
記イントラ符号化表示情報を解析した結果、動画像シー
ケンスに含まれる画像すべてがイントラ符号化されてい
ることを指示している場合、さらに、符号化ビットスト
リームから前記動画像シーケンスに含まれる画像すべて
の表示時刻情報を多重化するか否かを示す表示時刻多重
化識別情報を解析し、該表示時刻多重化識別情報が前記
動画像シーケンスに含まれる画像すべての表示時刻情報
を多重化することを示している場合には、前記動画像シ
ーケンスに含まれる画像すべての表示時刻情報を動画像
シーケンスの単位で解析し、前記多重化手段は、前記イ
ントラ符号化表示情報と、前記表示時刻情報とに基づい
て、前記動画像シーケンス内に含まれる画像を復号する
ものである。
記イントラ符号化表示情報と、前記表示時刻情報と、画
像復号化装置側において指定される表示時刻情報とに基
づいて、前記動画像シーケンス内に含まれる画像のうち
前記画像復号化装置側において指定される表示時刻情報
が示す画像を復号するものである。
ームから動画像シーケンスに含まれる画像すべてがイン
トラ符号化されているか否かを示すイントラ符号化表示
情報を解析すると共に、前記イントラ符号化表示情報に
基づいて前記動画像シーケンスに含まれる画像を復号す
るものである。
含まれる画像すべてをイントラ符号化するか否かを指示
するイントラ符号化指示情報に基づき前記動画像シーケ
ンスに含まれる画像を符号化する符号化手段と、前記符
号化手段によって符号化された画像符号化信号と、前記
動画像シーケンスに含まれる画像すべてがイントラ符号
化されているか否かを示すイントラ符号化表示情報とを
多重化する多重化手段と、を備えたものである。
前記イントラ符号化表示情報が動画像シーケンスに含ま
れる画像すべてをイントラ符号化することを指示してい
る場合、さらに、前記動画像シーケンスに含まれる画像
すべての表示時刻情報を多重化するか否かを示す表示時
刻多重化識別情報を動画像シーケンス毎に多重化し、該
表示時刻多重化識別情報が前記動画像シーケンスに含ま
れる画像すべての表示時刻情報を多重化することを示し
ている場合には、さらに、前記動画像シーケンスに含ま
れる画像すべての表示時刻情報を動画像シーケンス毎に
多重化するものである。
含まれる画像すべてをイントラ符号化するか否かを指示
するイントラ符号化指示情報に基づき前記動画像シーケ
ンスに含まれる画像を符号化すると共に、符号化された
画像符号化信号と、前記動画像シーケンスに含まれる画
像すべてがイントラ符号化されているか否かを示すイン
トラ符号化表示情報とを多重化するものである。
は、ISO/IEC JTC1/SC29/WG11/N1796で開示されるMPE
G−4ビデオ符号化方式に、本実施の形態1の要素であ
るオブジェクトのVOL、GOVなどの単位の中に含ま
れる全てのVOPをイントラのみで符号化するか否かを
示す情報に基づいて符号化を行う手段と、VOL、GO
Vなどの単位の中に含まれる全てのVOPがイントラの
みで符号化されたか否かを示す情報をオブジェクトごと
に付加して符号化ビットストリームに多重化する手段を
備えたVOPエンコーダについて説明する。なお、イン
トラ符号化とは、他のVOPを使用せず、符号化対象の
VOP自身の情報のみで符号化する符号化モードのこと
をいう。つまりイントラ符号化されたVOPはそれ自身
単独で復号することが可能である。
は、MPEG−4ビデオエンコーダをベースとしてお
り、MPEG−4ビデオデコーダは前記VOPを単位と
して符号化を実施するので、以下、VOPエンコーダと
呼ぶことにする。尚、既存のVOPエンコーダの動作は
ISO/IEC JTC1/SC29/WG11/N1796などに開示されるので、
ここではエンコーダ自体の動作説明は一般的な範囲にと
どめ、本実施の形態1の要素について詳細な説明を行
う。
ンコーダの構成例を示す。図において、1は形状符号化
部、2は形状符号化データ、3は局所復号形状データ、
4は動き補償予測部、5は動き情報、6はGOV多重化
情報、7はオブジェクトイントラ符号化指示信号、8は
ヘッダ多重化部、9はヘッダ情報多重化後のビットスト
リーム、10はビデオ信号多重化部、11は予測画像、
12は減算器、13は予測誤差信号、14はINTRA/INTE
R判定部、15は被符号化テクスチャデータ、16はマ
クロブロック単位の符号化モード情報、17はテクスチ
ャ符号化部、18はテクスチャ符号化データ、19は局
所復号予測誤差信号、20は加算器、21は局所復号テ
クスチャデータ、22はメモリ、23は参照テクスチャ
データ、24は符号化ビットストリームである。
VOPエンコーダの動作について簡単に説明する。図2
は、図1に示す本実施の形態1におけるVOPエンコー
ダの動作を示すフローチャートである。入力オブジェク
ト画像は、形状符号化部1と動き補償予測部4とINTRA/
INTER判定部14と減算器12に入力する。その際、入
力オブジェクト画像は、形状データをアルファブロック
とよばれる16画素×16画素の領域ごとに、また、テ
クスチャデータをマクロブロックとよばれる16画素×
16画素の領域ごとに入力する。
ファブロックの符号化を行い、形状符号化データ2と局
所復号形状データ3とを出力する(ステップS1)。形
状符号化部1における符号化処理については本発明の対
象外であるため、説明を省略する。形状符号化データ2
はビデオ信号多重化部10に送られ、局所復号形状デー
タ3は動き補償予測部4とテクスチャ符号化部17に入
力される。
中の参照テクスチャデータ23を入力し、マクロブロッ
ク単位にてブロックマッチングを行い、動き情報5を得
る(ステップS2)。この際、動き補償予測部4は、局
所復号形状データ3に基づきマクロブロック中に含まれ
るオブジェクトのみを対象としたブロックマッチングに
より動き情報5を得る。次に、動き補償予測部4は、動
き情報5に対応した位置の参照テクスチャデータ23を
メモリ22から入力し、局所復号形状データ3に基づき
予測画像11を作成する。動き補償予測部4において作
成された動き情報5はビデオ信号多重化部10へ、予測
画像11は減算器12と加算器20に入力される。
より設定されるオブジェクトイントラ符号化指示信号7
に基づき、符号化対象VOPの各マクロブロックの符号
化モードの決定を行い、決定した符号化モードに基づき
入力される画像を選択し、選択した画像(インター符号
化の場合は予測誤差画像13)をテクスチャ符号化部1
7へ、決定したマクロブロック単位の符号化モード16
をビデオ信号多重化部10へ出力する(ステップS
3)。ここで、オブジェクトイントラ符号化指示信号と
は、ユーザ等によるスイッチの設定や、コマンドの入力
等によって設定や入力する、VOL、GOVなどの単位
の中に含まれる全てのVOPをイントラのみで符号化す
るか否かを示す情報である。すべてのVOPがイントラ
のみで符号化される場合は、この信号をON
(“1”)、さもなくばOFF(“0”)に設定するも
のとする。
説明するフローチャートである。以下、図3に基づい
て、INTRA/INTER判定部14の動作について説明する。
まず、入力されるオブジェクトイントラ符号化指示信号
7の値に基づいて動作を切り替える(ステップS3−
1)。ここで、オブジェクトイントラ符号化指示信号7
の値がONの場合、入力オブジェクト画像を入力画像1
5として選択し、マクロブロック単位の符号化モード情
報16を常にイントラ符号化モードに設定し、選択した
入力画像15をテクスチャ符号化部17へ出力する(ス
テップS3−2)。
号化指示信号7がOFFの場合、たとえばISO/IEC JTC1
/SC29/WG11/N1796で定められる所定の方法でマクロブロ
ック単位において符号化モードを選択し、選択されたマ
クロブロック単位の符号化モードがイントラ符号化モー
ドの場合は入力オブジェクト画像を、選択されたマクロ
ブロック単位の符号化モードがインター符号化モードの
場合は予測誤差画像13を入力画像15として選択し、
テクスチャ符号化部17へ出力する(ステップS3−
3)。また、選択したマクロブロック単位の符号化モー
ドをマクロブロック単位の符号化モード情報16として
ビデオ信号多重化部10へ出力する。
クスチャ符号化部17では、入力された画像15を、た
とえばISO/IEC JTC1/SC29/WG11/N1796で定められる所定
の方法で符号化し、テクスチャ符号化データ18および
局所復号予測誤差画像19を得る(ステップS4)。こ
の際、テクスチャ符号化部17では、局所復号形状デー
タ3に基づきブロック中に含まれるオブジェクトのみを
対象とした符号化を行う。テクスチャ符号化データ18
はビデオ信号多重化部10へ送られ、局所復号予測誤差
画像19を加算器20へ出力する。
測誤差画像19の加算を行い局所復号テクスチャデータ
21を作成し(ステップS5)、メモリ22へ書き込む
(ステップS6)。以上の処理をマクロブロック単位に
行い、1つのVOPに含まれるすべてのマクロブロック
について処理が終了したら1つのVOPの符号化処理を
終了する。さもなくば、マクロブロックの符号化処理を
継続する(ステップS7)。
化され、各ヘッダ情報が多重化されたビットストリーム
9はビデオ信号多重化部10に入力される(ステップS
8)。ビデオ信号多重化部10は、各ヘッダ情報が多重
化されたビットストリーム9に形状符号化データ2と動
き情報5とテクスチャ符号化データ18とマクロブロッ
ク単位の符号化モード情報16の多重化を行い、符号化
ビットストリーム24を出力する(ステップS9)。
多重化部8の動作について詳しく説明する。図4は、図
1に示すヘッダ多重化部8の構成例を示している。図に
おいて、25はVOヘッダ多重化部、26はVOLヘッ
ダ多重化部、27はGOVヘッダ多重化選択部、28は
GOVヘッダ多重化部、29はVOPヘッダ多重化部で
ある。
を多重化したビットストリームを作成し、作成したビッ
トストリームをVOLヘッダ多重化部26に出力する。
VOLヘッダ多重化部26は、VOヘッダ多重化部25
から入力されたビットストリームに各種のVOLヘッダ
と、その一つとしてオブジェクトイントラ符号化表示信
号7’の多重化を行う。ここで、オブジェクトイントラ
符号化表示信号7’とは、VOL、GOVなどの単位の
中に含まれる全てのVOPがイントラのみで符号化され
るか否かを示す情報である。オブジェクトイントラ符号
化表示信号7’の多重化は、例えば、オブジェクトイン
トラ符号化指示信号7がONの場合はオブジェクトイン
トラ符号化表示信号7’を“1”とする一方、オブジェ
クトイントラ符号化指示信号7がOFFの場合はオブジ
ェクトイントラ符号化表示信号7’を“0”等として、
VOLヘッダ情報中の1ビットの情報として多重化する
ことができる。多重化後のビットストリームはGOVヘ
ッダ多重化選択部27へ出力される。
Lヘッダ多重化部26より出力されたビットストリーム
の出力先を、GOVヘッダの多重化を行うか否かを示す
GOV多重化情報6に基づき判断する。MPEG−4で
は、GOVヘッダは符号化ビットストリーム中に含まれ
ていなくてもよいので、本実施の形態1のエンコーダで
はGOV多重化選択部27によって選択的にGOVヘッ
ダを多重化する構成としている。もちろん、あらかじめ
GOVを多重化するか否かを決めてしまう構成、すなわ
ちGOV多重化選択部27を設けずに、VOLヘッダ多
重化部26の出力をGOVヘッダ多重化部28を介さず
に直接VOPヘッダ多重化部29へ送る構成、あるいは
VOLヘッダ多重化部26の出力をGOVヘッダ多重化
部28を介してVOPヘッダ多重化部29へ送るような
構成のエンコーダもありうる。ここで、GOV多重化情
報6がGOVヘッダの多重化を行わないことを示す場合
は、GOVヘッダ多重化部28を介さずにVOPヘッダ
多重化部29へビットストリームを出力する。これに対
し、GOV多重化情報6がGOVヘッダの多重化を行う
ことを示す場合はGOVヘッダ多重化部28へビットス
トリームを出力する。すると、GOVヘッダ多重化部2
8は、GOVヘッダ多重化選択部27から入力されたビ
ットストリームにGOVヘッダを多重化し、多重化後の
ビットストリームをVOPヘッダ多重化部29に出力す
る。
OVヘッダ多重化選択部27から直接、あるいはGOV
ヘッダ多重化選択部27からGOVヘッダ多重化部28
を介して入力されたビットストリームにVOPヘッダを
多重化して、その多重化後のビットストリーム9をビデ
オ信号多重化部10へ出力する。
ーダから出力される符号化ビットストリーム30の例を
示している。これは図1における符号化ビットストリー
ム24の一つの例を示すものである。この符号化ビット
ストリーム30は、図44に示す従来の符号化ビットス
トリームと同様に、それぞれのスタートコード(start
code)とヘッダ情報あるいはデータ情報とからなるVO
ヘッダ30a、VOLヘッダ30b、GOVヘッダ30
c、VOPヘッダ30d、VOPデータ30eから構成
されているが、この実施の形態1では、VOLヘッダ3
0bにオブジェクトイントラ符号化表示信号7’が多重
化されている。このため、このオブジェクトイントラ符
号化表示信号7’は、VOLヘッダ30bのVOPを構
成するVOPデータ30eが全てイントラ符号化されて
いることを示すことになる。
領域の単位であるマクロブロック毎に符号化されたテク
スチャデータ(図示せず)と形状データ(図示せず)と
からなり、各マクロブロック毎に、オーバヘッド情報と
して当該マクロブロックのイントラ符号化やインター符
号化の別を示す符号化モード情報16が多重化されてい
るが、オブジェクトイントラ符号化表示信号7’のO
N、すなわちVOLまたはGOVの全てのVOPデータ
30eがイントラ符号化されたことを示している場合に
は、各VOPデータを構成するマクロブロック毎の符号
化モード情報16を多重化しないようにして、符号化ビ
ットストリームの情報量を削減するようにしても良い。
このことは、以下の実施の形態でも同様である。
(Video Object Layer)を単位として設定されるもの
で、図42に示すように、VOが複数のVOL0,1か
ら構成される場合には、各VOL毎に設定され、オブジ
ェクトイントラ符号化指示信号7も、各VOL毎に設定
されることになる。また、GOVヘッダ多重化選択部2
7の選択によりGOVヘッダ多重化部28がGOVヘッ
ダの多重化を行なわない場合には、図5に示す符号化ビ
ットストリーム30からGOVヘッダ30cが取れた形
になる。
ば、VOLヘッダにVOLより下位のGOVを構成する
VOPデータ、あるいはGOVという概念を使用せずに
VOLを構成するVOPデータが全てイントラ符号化さ
れることを示すオブジェクトイントラ符号化表示信号
7’を多重化するように構成したため、画像復号化装置
においては、オブジェクトイントラ符号化表示信号7’
を復号・解析することによって、個々のVOPヘッダを
復号することなくオブジェクト内に含まれるVOPがす
べてイントラ符号化されているか否かを判断することが
でき、復号化装置側で簡単に表示速度や復号速度を変化
させて復号を行ったり、所望の時刻のVOPへ簡単にア
クセスすることを可能にしたりする符号化ビットストリ
ームを生成することができる。
ストリーム30に示すように、VOLヘッダ30bにオ
ブジェクトイントラ符号化表示信号7’を多重化して説
明したが、本発明では、これに限らず、例えば、図6の
符号化ビットストリーム31に示すように、GOVヘッ
ダ31cにオブジェクトイントラ符号化表示信号7’を
多重化して、VOLより下位のGOVを単位としてオブ
ジェクトイントラ符号化表示信号を規定し、符号化およ
びオブジェクトイントラ符号化表示信号の多重化をGO
Vの単位で行うようにしてもよい。この場合、ヘッダ多
重化部8は、図7に示すように構成して、VOLヘッダ
多重化部32はオブジェクトイントラ符号化表示信号
7’の多重化をせず、GOVヘッダ多重化部33がオブ
ジェクトイントラ符号化表示信号7’の多重化を行なう
ように構成すればよい。このようにすれば、オブジェク
トイントラ符号化表示信号7’は、GOVの中に含まれ
る全てのVOPデータ31eをイントラのみで符号化す
るか否かを示す情報となり、図6に示すようにGOVヘ
ッダ多重化部33においてGOVヘッダ情報とともにG
OVヘッダ31cに多重化されることになる。
部8が、オブジェクトイントラ符号化指示信号7に基づ
いて、1ビットのオブジェクトイントラ符号化表示信号
7’を作成して出力するように構成したが、本発明で
は、これに限らず、1ビット以外のオブジェクトイント
ラ符号化表示信号7’でもよく、また、VOLやGOV
を構成するVOPデータが全てイントラ符号化すること
を示すオブジェクトイントラ符号化指示信号7がビット
情報として表現されている場合には、オブジェクトイン
トラ符号化指示信号7をそのままオブジェクトイントラ
符号化表示信号7’として多重化するように構成しても
勿論よい。
ように、符号化装置をハード的に構成して示したが、本
発明では、これに限らず、符号化装置をソフトウェア的
に構成、すなわち図2や図3に示す処理のプログラムを
実行するCPUやMPUにより本実施の形態1の機能を
実現するようにしても勿論良い。なお、このことは、以
下に説明する他の実施の形態についても同様である。
IEC JTC1/SC29/WG11/N1796で開示されるMPEG−4ビ
デオ符号化方式に、VOL、GOVなどの単位の中に含
まれる全てのVOPをイントラのみで符号化するか否か
を示す情報であるオブジェクトイントラ符号化指示信号
7に基づいて符号化を行う手段と、VOL、GOVなど
の単位の中に含まれる全てのVOPがイントラのみで符
号化されているか否かを示す情報であるオブジェクトイ
ントラ符号化表示信号7’と、VOL、GOVなどの単
位の中に含まれる全てのVOPの絶対表示時刻情報をま
とめて多重化するか否かを示す表示時刻多重化識別情報
34とをVOLやGOVの単位で符号化ビットストリー
ムに多重化する手段を備えたVOPエンコーダについて
説明する。
ンコーダの構成例を示す。図8は実施の形態1のVOP
エンコーダ図1とほぼ同じ構成であり、エンコーダとし
ての基本動作も実施の形態1で述べた動作と同じであ
る。実施の形態1とは、ヘッダ多重化部8の構成のみが
異なる。図において、34は表示時刻多重化識別情報、
35は各VOPの絶対表示時刻であるタイムコードであ
る。それ以外の図1と同じ番号を付した部材は図1と全
く同じ部材であることを示す。以下では、実施の形態1
と異なる構成であるヘッダ多重化部8についてのみ説明
する。
成例を示している。図において、36はVOLヘッダ多
重化部である。
多重化部36において、VOLヘッダ情報の一部として
オブジェクトイントラ符号化表示信号7’を1ビットの
情報として多重化するともに、オブジェクトイントラ符
号化表示信号7’がON、すなわちVOL、GOVなど
の単位の中に含まれる全てのVOPをイントラのみで符
号化することを示している場合には、VOLヘッダ情報
の一部として表示時刻多重化識別情報34を1ビットの
情報として多重化し、さらに表示時刻多重化識別情報3
4の値に基づいてVOLを構成するすべてのVOPの絶
対表示時刻を示すタイムコード35をVOLヘッダ情報
の一部としてまとめて多重化するものである。ここで、
タイムコード35は、IEC standard publication 461 f
or “time and control codes for video tape recoder
s”で開示される時間情報であって、動画像を構成する
各時刻の画像(MPEG-2で言えばフレーム、MPEG−4
で言えばVOPなど)の表示時刻を、時間・分・秒の精
度で規定する情報である。これは、例えば、業務用映像
編集機器などでフレーム単位で編集を行う場合に、各フ
レームにこの情報を付加することにより、タイムコード
35の値を指定するだけで所望のフレームにアクセスで
きるなどの効果を持つことができる。尚、その他の構成
は、図4に示すヘッダ多重化部8と同じであるので、以
下、図8のうち、実施の形態1と異なるVOLヘッダ多
重化部36の動作についてのみ説明する。
多重化部25から入力されたビットストリームに対し
て、以下のルール1)〜5)に従って必要な情報を多重
化する。 1) 各VOPの復号伸長処理に必要な各種のデータな
ど各種のVOLヘッダを多重化する。 2) オブジェクトイントラ符号化表示信号7’を多重
化する。 3) オブジェクトイントラ符号化表示信号7’がO
N、すなわちVOL、GOVなどの単位の中に含まれる
全てのVOPをイントラのみで符号化することを示して
いる時、表示時刻多重化識別情報34を多重化する。表
示時刻多重化識別情報34は、VOL内のすべてのVO
Pのタイムコード35を、VOLヘッダ情報の領域に多
重化するか否かを示す1ビットの情報であり、VOL内
のすべてのVOPのタイムコード35をVOLヘッダ情
報の一部として多重化する場合はONとして‘1’を、
さもなくばOFFとして‘0’を設定する。オブジェク
トイントラ符号化表示信号7’がOFFを示している時
は表示時刻多重化識別情報34は多重化しない。 4) オブジェクトイントラ符号化表示信号7’がON
を示し、かつ表示時刻多重化識別情報34がONを示し
ている場合は、後述する図12に示すように、VOL内
のすべてのVOPのタイムコード35をVOLヘッダ情
報の領域に多重化する。たとえば、あるVOL内に30
枚のVOPを含む場合、そのVOLヘッダ情報の領域に
30個のタイムコード35をまとめて多重化する。 5) 以上の多重化処理を経たビットストリームをGO
Vヘッダ多重化選択部27へ出力する。
態2のVOPエンコーダから出力される符号化ビットス
トリームの例を示している。図10の符号化ビットスト
リーム37は、オブジェクトイントラ符号化表示信号
7’がOFFの場合を示しており、この場合は、VOL
ヘッダ情報37bの領域には表示時刻多重化識別情報3
4、タイムコード35は多重化されない。この時、各V
OPのVOPヘッダ情報37bの領域には、GOVヘッ
ダ37cに多重化される絶対表示時刻である基準のタイ
ムコード35から当該VOPが表示される時刻までの相
対時間を示す相対時間情報(この相対時間情報は、モジ
ュロ・タイム・ベースやVOPタイムインクリメントで
あるが、ここでは図示せず。)が多重化され、復号側で
はこの相対時間情報に基づいてVOPの表示時刻が定ま
る。
オブジェクトイントラ符号化表示信号7’がONで、か
つ、表示時刻多重化識別情報34がOFFの場合を示し
ており、この場合は、VOLヘッダ情報38bの領域に
はタイムコード35は多重化されない。また、図10と
同様、各VOPのVOPヘッダ情報38dの領域には、
GOVヘッダ38cに多重化される絶対表示時刻である
基準のタイムコード35から当該VOPが表示される時
刻までの相対時間を示す上記相対時間情報が多重化され
る。
オブジェクトイントラ符号化表示信号7’がONで、か
つ、表示時刻多重化識別情報34がONの場合を示して
おり、この場合は、VOLヘッダ情報39bの領域にV
OL内のすべてのVOP分のタイムコード35が多重化
される。この場合は、各VOPヘッダ情報39dの領域
中の相対時間情報はそのまま多重化してもよいし、VO
Lヘッダ情報39b中のタイムコードと重複するため、
VOPヘッダ情報としては上記相対時間情報を多重化し
ないようにしてもよい。
ば、VOLヘッダにVOLを構成するVOPデータが全
てイントラ符号化されることを示すオブジェクトイント
ラ符号化表示信号7’と、表示時刻多重化識別情報3
4、VOL内のすべてのVOPの絶対表示時刻であるタ
イムコードとを多重化するように構成したため、本符号
化装置によって生成されたビットストリームを受信して
VOPを復号する画像復号化装置において、個々のVO
Pヘッダを復号・解析することなく、VOL内に含まれ
るVOPがすべてイントラ符号化されているか否か、ま
た、すべてのVOPのタイムコードがまとめて多重化さ
れているか否かを判断することができる。これにより、
復号化装置でVOPの復号を開始する前に、簡単に復号
対象のVOPを特定することができ、表示速度や復号速
度を変化させて復号を行ったり、所望の時刻のVOPへ
簡単にアクセスすることが可能になる。
の符号化ビットストリーム37〜39に示すように、V
OLヘッダにオブジェクトイントラ符号化表示信号
7’、表示時刻多重化識別情報34、タイムコード35
を多重化する例を説明したが、本発明では、これに限ら
ず、例えば、以下の例1,2のように符号化ビットスト
リームを構成することも考えられる。 (例1)図13の符号化ビットストリーム40に示すよ
うに、VOLヘッダ40bにオブジェクトイントラ符号
化表示信号7’を多重化し、GOVヘッダ40cには、
このGOVに所属するVOLのオブジェクトイントラ符
号化表示信号7’がONの場合に表示時刻多重化識別情
報34を多重化するとともに、表示時刻多重化識別情報
34がONの場合にGOVレイヤに含まれるすべてのV
OPのタイムコード35を多重化する。この場合、表示
時刻多重化識別情報34は、GOVの中に含まれるすべ
てのVOPのタイムコード35をGOVヘッダにまとめ
て多重化するか否かを示す情報となる。 (例2)図14の符号化ビットストリーム41に示すよ
うに、GOVヘッダ41cに、オブジェクトイントラ符
号化表示信号7’、表示時刻多重化識別情報34、タイ
ムコード35を多重化する。この場合、オブジェクトイ
ントラ符号化表示信号7’は、GOVの中に含まれる全
てのVOPがイントラ符号化されるか否かを示す情報と
なり、また、表示時刻多重化識別情報34は、GOVの
中に含まれるすべてのVOPのタイムコード35をGO
Vヘッダにまとめて多重化するか否かを示す情報とな
る。これらのように符号化ビットストリームを生成する
ことで、復号側ではGOVを単位として簡単に復号対象
のVOPを特定することができ、表示速度や復号速度を
変化させて復号を行ったり、所望の時刻のVOPへ簡単
にアクセスすることが可能になる。
の形態1で述べたVOPエンコーダによって生成される
符号化ビットストリームを復号し、VOP画像を再生す
るVOPデコーダを説明する。具体的には、符号化ビッ
トストリーム中から実施の形態1で述べたオブジェクト
イントラ符号化表示信号7’を復号し、この値に基づい
て復号VOPの表示を制御する画像復号化装置について
説明する。
装置(VOPデコーダ)の構成と動作について説明す
る。既存のVOPデコーダの動作はISO/IEC JTC1/SC29/
WG11/N1796などに開示されるので、ここではVOPデコ
ーダそのものの動作説明は一般的な範囲にとどめる。以
下の説明においては、本実施の形態3におけるVOPデ
コーダの特徴である、オブジェクトイントラ符号化表示
信号を復号してその値に基づいてVOP画像を選択的に
復号する機能を中心に説明する。また、以下の説明にお
いては本VOPデコーダへの入力は、図5に示す符号化
ビットストリーム30とする。
デコーダの内部構成例を示したものである。なお、VO
Pデータは、実施の形態1と同様に、テクスチャデータ
と形状データとからなるものとし、本デコーダはこれら
を圧縮符号化したデータを入力としてそれぞれのデータ
を復元する機能を持つものとする。同図において、42
はヘッダ解析部、43はヘッダ情報が解析されたビット
ストリーム、44はビデオ信号解析部、45は形状符号
化データ、46は形状復号部、47は復号形状データ、
48はテクスチャ符号化データ、49はテクスチャ復号
部、50は復号テクスチャデータ、51は動き情報、5
2は動き補償部、53は復号予測テクスチャデータ、5
4はINTRA/INTER判定部、55は出力テクスチャデー
タ、56はメモリ、57は復号予測テクスチャデータで
ある。
動作を説明するフローチャートである。以下、図15お
よび図16をもとに動作について詳述する。まず、符号
化ビットストリーム30はヘッダ解析部42に入力さ
れ、所定のシンタックスにしたがって後述するようにV
Oヘッダ、VOLヘッダ、GOVヘッダ、VOPヘッダ
の各ヘッダが解析される(ステップS10)。なお、こ
の時、VOLヘッダ30bに多重化されたオブジェクト
イントラ符号化表示信号7’が解析されて、INTRA/INTE
R判定部54へ直接出力される。次に、ヘッダ解析部4
2においてヘッダ情報が解析されたビットストリーム4
3は、ビデオ信号解析部44に入力され、ビデオ信号解
析部44によりVOPデータが解析されて、形状符号化
データ45と、テクスチャ符号化データ48と、動き情
報51とに分けられ、各々、形状復号部46、動き補償
部52、テクスチャ復号部49に出力される(ステップ
S11)。
データ45の復号を行い、復号形状データ47を出力す
る(ステップS12)。
クスチャデータ57とビデオ信号解析部44から入力さ
れる動き情報51から復号予測テクスチャデータ53を
出力する(ステップS13)。
化データ48に基づいて、MPEG−4で定められる所
定の方法、例えばISO/IEC JTC1/SC29/WG11/N1796等で画
像データに復元し、復号テクスチャデータ50を生成す
る(ステップS14)。この復号テクスチャデータ50
はINTRA/INTER判定部54に出力される。
ジェクトイントラ符号化表示信号7’に基づき、最終的
な出力テクスチャデータ55の決定を行う(ステップS
15)。
判定部54によるステップS15のINTRA/INTER判定動
作を示すフローチャートである。まず、入力されるオブ
ジェクトイントラ符号化表示信号7’の値に基づいて動
作を切り替える(ステップS15−1)。
信号7’がONの場合(ステップS15−1“YE
S”)、INTRA/INTER判定部54は、復号テクスチャデ
ータ50をそのまま出力テクスチャデータ55として出
力する(ステップS15−2)。
表示信号7’がOFFの場合は(ステップS15−1
“NO”)、ビデオ信号解析部44で復号したマクロブ
ロック単位の符号化モード情報16に基づいて処理を選
択する(ステップS15−3)。つまり、マクロブロッ
ク単位の符号化モードがイントラ符号化モードの場合は
(ステップS15−3“YES”)、INTRA/INTER判定
部54は、復号テクスチャデータ50をそのまま出力テ
クスチャデータ55として出力し(ステップS15−
2)、その一方、インター符号化モードの場合は(ステ
ップS15−3“NO”)、INTRA/INTER判定部54
は、動き補償部52からの復号予測テクスチャデータ5
3と、復号テクスチャデータ50との加算を行って、そ
の加算データを出力テクスチャデータ55として出力す
る(ステップS15−4)。
出力テクスチャデータ55は、以降のVOPの復号に用
いられるので、メモリ56に書き込まれる(ステップS
16)。以上の処理を符号化側および復号側で予め定め
られた被符号化(被復号化)領域であるマクロブロック
単位で行い、次のVOPのスタートコードが検出された
場合には、現在のVOPの復号を終了する一方、次のV
OPのスタートコードが検出されない場合には、ステッ
プS11に戻ってビデオ信号解析処理以降の処理を行
い、現在のVOPにおけるマクロブロックの復号処理を
継続するようにする(ステップS17)。
ーダでは、図17のINTRA/INTER処理に示す
ように、まず、オブジェクトイントラ符号化表示信号
7’がONであるか否かを判断し、オブジェクトイント
ラ符号化表示信号7’がON、すなわちそのVOLを構
成する全てのVOPデータ30eがイントラ符号化され
たものである場合には、ステップS15−3のマクロブ
ロック単位に符号化モードがイントラ符号化モードであ
るか否かを判断せずに、復号テクスチャデータ50をそ
のまま出力テクスチャデータ55として出力するように
したので、ステップS15−3の処理の分だけ、INT
RA/INTER処理を短縮化することができる。
ヘッダ解析部42の内部構成を、VOPヘッダ解析部5
5の構成を特に詳細にして示したものである。同図にお
いて、58はスタートコード解析部、59はVOヘッダ
解析部、60はVOLヘッダ解析部、61はGOVヘッ
ダ解析部、62はVOPヘッダ解析部、63はタイムコ
ード、64はモジュロ・タイム・ベース解析部、65は
モジュロ・タイム・ベース、66は復号VOP絶対表示
時刻作成部、67はVOPタイムインクリメント解析
部、68はVOPタイムインクリメント、69は駒落し
制御部、70は復号VOP絶対表示時刻、71はデコー
ダ側にて設定される表示速度情報としてのVOPレート
情報、72は映像情報ヘッダ解析部である。
の内部構成を示した図である。図において、73はオブ
ジェクトイントラ符号化判定部、74は駒落しVOP判
定部である。
明する。図20は、図18に示すヘッダ解析部42の動
作を説明するフローチャートで、図16に示すステップ
S10のヘッダ解析処理を詳細に示すものである。本実
施の形態3におけるヘッダ解析部42は、オブジェクト
イントラ符号化表示信号7’をビットストリーム中から
復号して、この情報に基づいて駒落とし制御を行うもの
である。ここで「駒落とし制御」とは、例えばPC、W
Sのように使用可能なCPUやメモリ資源が限定された
環境でソフトウエアデコーダを用いて画像復号化処理を
行う際、前記資源の制約によって符号化されたすべての
VOPを復号できないような場合に、復号を行うVOP
を限定してその他のVOPを復号せずに読み飛ばす操作
を言う。オブジェクトイントラ符号化表示信号7’の使
用方法は後述する。
では、まず、スタートコード解析部58が入力される符
号化ビットストリーム30に含まれるスタートコードの
解析を行う(ステップS18)。ここで、解析したスタ
ートコードがVOを示すものであればVOヘッダ解析部
59へ(ステップS19)、解析したスタートコードが
VOLを示すものであればVOLヘッダ解析部60へ
(ステップS20)、解析したスタートコードがGOV
を示すものであればGOVヘッダ解析部61へ(ステッ
プS21)、解析したスタートコードがVOPを示すも
のであればVOPヘッダ解析部62へ(ステップS2
2)、ビットストリームを出力する。なお、VOPヘッ
ダ解析部62の解析処理を終了した後、ビットストリー
ムはビデオ信号解析部44に出力される。
トコード解析部58から入力されるビットストリームよ
りVOヘッダ情報の解析を行い、解析を終えたビットス
トリームをスタートコード解析部58へ出力する(ステ
ップS23)。
トコード解析部58から入力されるビットストリームよ
りVOLヘッダ情報と、オブジェクトイントラ符号化指
示信号7との解析を行い、解析を終えたビットストリー
ムはスタートコード解析部58へ出力する一方、解析さ
れたオブジェクトイントラ符号化表示信号7’はVOP
ヘッダ解析部62とINTRA/INTER判定部54へ出力する
(ステップS24)。
トコード解析部58から入力されるビットストリームよ
りGOVヘッダ情報の解析を行い、解析を終えたビット
ストリームをスタートコード解析部58へ出力する(ス
テップS25)。この際、解析されたGOVヘッダ情報
中に含まれるタイムコード63はVOPヘッダ解析部6
2へ出力される。タイムコード63の定義は、実施の形
態2で説明した通りである。
ッダ解析部62の動作について説明する。図21は、V
OPヘッダ解析部62の動作を説明するフローチャート
である。まず、VOPヘッダ解析部62に入力されたビ
ットストリームは、モジュロ・タイム・ベース解析部6
4に入力して、モジュロ・タイム・ベースを解析して
(ステップS26−1)、解析したモジュロ・タイム・
ベース65を復号VOP絶対表示時刻作成部66へ出力
する一方、解析後のビットストリームをVOPタイムイ
ンクリメント解析部67へ出力する。
は、入力されたビットストリームよりVOPタイムイン
クリメントの解析を行い(ステップS26−2)、解析
されたVOPタイムインクリメント68を復号VOP絶
対表示時刻作成部66へ出力する一方、解析後のビット
ストリームを駒落し制御部69へ出力する。
は、入力されるモジュロ・タイム・ベース65と、VO
Pタイムインクリメント68と、タイムコード63に基
づいて復号VOP絶対時刻70を作成し、これを駒落し
制御部69へ出力する(ステップS26−3)。
は、図22に示すように、タイムコード63が示すある
基準時刻から当該VOPが何秒経過した後に表示される
かを示す情報であり、その秒数を値“1”のビットの個
数で表現するとともに、値“0”を付加することによっ
てデータの終端を明示する。
は、同じく図22に示すように、モジュロ・タイム・ベ
ース65で定められる時刻からの1秒間を1000分の
1秒の精度で表示時刻を微調整する情報である。すなわ
ち、MPEG−4ではVOPの表示時刻を1000分の
1秒の精度で規定することができる。従って、復号VO
P絶対表示時刻(タイムコード)の作成の一例を説明する
と、復号対象VOPのモジュロ・タイム・ベース65が
『10』、VOPタイムインクリメント68が『000
000』(但し、VOPタイムインクリメントを6ビッ
ト精度にて表現した場合)、タイムコード63が示す基
準時刻を『00時間12分34秒』とした場合、復号VOPの
絶対表示時刻は『00時間12分35秒』となる。
すように、まず、オブジェクトイントラ符号化判定部7
3が、オブジェクトイントラ符号化表示信号7’に基づ
いて、入力するビットストリームの出力先を決定する
(ステップS26−4)。具体的には、オブジェクトイ
ントラ符号化表示信号7’がONであるか否かを判断し
て、ON、すなわちVOL内のすべてのVOPがイント
ラ符号化されていると判断された場合には(ステップS
26−4“YES”)、入力ビットストリームの出力先
を駒落しVOP判定部74へ切替える一方、オブジェク
トイントラ符号化表示信号がOFFの場合は(ステップ
S26−4“NO”)、入力ビットストリームの出力先
を映像情報ヘッダ解析部72とする。
号VOP絶対表示時刻作成部66から入力される復号V
OP絶対表示時刻70と、駒落しのためエンコーダ側よ
りレートを落としてデコーダ側にて設定されたVOPレ
ート情報71とに基づいて、解析対象VOPが復号すべ
きVOPであるかないかの判定を行い(ステップS26
−5)、復号の必要があると判定した場合は(ステップ
S26−5“YES”)、オブジェクトイントラ符号化
指示判定部73からの入力ビットストリームを映像情報
ヘッダ解析部72へ出力する一方、解析が不必要である
と判定した場合は(ステップS26−5“NO”)、ス
タートコード解析部58へ出力する。
GOVなどの所定単位に含まれるVOPを秒あたり何枚
表示させるかを表す表示速度情報のことを言う。例え
ば、VOPレート情報が2枚/秒の場合、1秒あたり2
枚のVOPを表示させる。なお、これは、1枚のVOP
を1/2秒ずつ表示させると考えることもできる。従っ
て、1枚目のVOPの復号VOP絶対時刻65が『00時
間01分00秒』、VOPレート情報が1枚/秒であったと
した場合、『00時間01分00秒』に1秒ずつ加えた『00時
間01分01秒』、『00時間01分02秒』・・・などを絶対表
示時刻として持つVOPが復号が必要なVOPと判断さ
れる。このため、デコーダ側にて設定されるVOPレー
ト情報62と、エンコーダ側にて設定されるVOPレー
ト情報とを、例えば、10枚/秒から2枚/秒等のよう
に変えることにより、復号側でVOPの駒落しが可能に
なる。
部73によりオブジェクトイントラ符号化表示信号7’
がOFFと判断された場合(ステップS26−4“N
O”)、および、オブジェクトイントラ符号化表示信号
7’がONと判断され(ステップS26−4“YE
S”)、かつ、駒落しVOP判定部74により解析対象
VOPの復号が必要であると判定された場合には(ステ
ップS26−5“YES”)、映像情報ヘッダ解析部7
2は、駒落し制御部69から入力されるビットストリー
ムより映像情報ヘッダの解析を行った後、ビットストリ
ームをスタートコード解析部58へ出力する(ステップ
S26−6)。スタートコード解析部58は、以上のよ
うにして各ヘッダを解析した符号化ビットストリーム4
3をビデオ信号解析部44へ出力する。
トイントラ符号化判定部73によりオブジェクトイント
ラ符号化表示信号7’がOFFと判断された場合には、
VOPヘッダ解析部62への入力ビットストリームを駒
落しVOP判定部74を介さずに映像情報ヘッダ解析部
72へ出力するので、VOPの駒落しは行われない。こ
れはVOL内のVOPがすべてイントラ符号化されてい
ると保証されない場合であり、この時はVOP間で予測
符号化を行っている可能性があるため、正しい復号画像
を得るにはすべてのVOPを一通り解析しなければなら
ないからである。
イントラ符号化判定部73によりオブジェクトイントラ
符号化表示信号7’がONと判断された場合には、続く
ステップ26−5で駒落しVOP判定部74によりVO
Pレート情報62等に基づき現在解析対象となっている
VOPの復号が必要であるかないかの判定を行って、復
号が必要であると判定した入力ビットストリームのみ映
像情報ヘッダ解析部72へ出力するので、VOPの駒落
しが行われることになる。これは、オブジェクトイント
ラ符号化表示信号7’がONの場合は、VOL内のすべ
てのVOPがイントラ符号化されていることが保証され
るので、デコーダでは任意の個所のVOPを直接選択し
て復号を行うことができるからである。これにより、自
由に駒落とし制御を行うことができる。
ば、VOLヘッダにオブジェクトイントラ符号化表示信
号7’が多重化された符号化ビットストリームを復号す
る際、そのオブジェクトイントラ符号化表示信号7’を
解析するように構成したため、オブジェクトイントラ符
号化表示信号7’がONである場合に、デコーダ側で設
定するVOPレート情報71に応じて任意のVOPを駒
落としして表示等することが可能となる。
ットストリームとして、図5に示すVOLを単位として
VOLヘッダ30bにオブジェクトイントラ符号化表示
信号7’が多重化された符号化ビットストリーム30を
例に説明したが、本発明では、これに限らず、例えば、
図6に示すようなオブジェクトイントラ符号化表示信号
7’がGOVヘッダ31cに多重化されている符号化ビ
ットストリーム31を復号するようにしても良い。この
ようにする場合には、ヘッダ解析部42を、図23に示
すように構成し、VOLヘッダ解析部75ではオブジェ
クトイントラ符号化表示信号7’を解析せず、GOVヘ
ッダ解析部76がGOVヘッダ31cに多重化されてい
るオブジェクトイントラ符号化表示信号7’を解析、復
号するようにすれば、GOVを単位とする駒落し表示制
御を行うことが可能となる。
のオブジェクト77a〜77cに対応させて、本実施の
形態3の復号化装置をVOPデコーダ部78a〜78c
として複数備え、コンポジション部79にて複数のオブ
ジェクト77a〜77cの復号画像信号を合成して1つ
の画像80を再生するシステムを構成することも可能で
ある。このようなシステムを構成した場合、VOPデコ
ーダ部78a〜78cにより、ある特定のオブジェクト
のみの表示速度を落としたりするなどの表示制御が可能
となる。これにより、例えば複数のオブジェクトが画面
に合成されていて、表示されているオブジェクトに重要
度がある場合、重要度の低いオブジェクトから表示速度
を落とすなどの制御を行うことができる。
ーダでは、前述の実施の形態1で述べたVOPエンコー
ダで生成される符号化ビットストリームを復号可能なデ
コーダで、図5や図6に示す符号化VOPビットストリ
ーム30,31を入力して復号するものとして説明した
が、本発明では、符号化装置から直接ビットストリーム
を受信して復号する場合だけを意味するのではなく、符
号化装置によって符号化されたビットストリームをいっ
たん記憶させたDVD等の記録媒体から復号する場合も
当然に意味している。このことは、他の実施の形態の復
号化装置でも同じである。
の形態3で述べたVOPデコーダの別の実施の形態を説
明する。つまり、本実施の形態4におけるVOPデコー
ダは、エンコーダ側で設定したVOPレート情報がVO
Lヘッダ情報とともにVOLヘッダに多重化されたビッ
トストリームを復号して、これに基づいて表示制御を行
う機能を持つものである。なお、本実施の形態4のVO
Pデコーダは、実施の形態3で述べたVOPデコーダの
ヘッダ解析部42の構成のみが異なるので、この部材に
ついてのみ説明する。
ダが復号する符号化ビットストリーム81の例を示す。
図25の符号化ビットストリーム81は、図5の符号化
ビットストリーム30におけるVOLヘッダ30bの中
に、エンコーダ側で設定したVOPレート情報87が多
重化されたビットストリームで、図25ではVOPヘッ
ダ81bにVOPレート情報87が多重化されることに
なる。このVOPレート情報は、例えば、エンコーダ側
で秒あたり30枚のVOPを符号化した場合、30VO
P/秒という情報となる。
ッダ解析部42の内部構成を示したものである。同図に
おいて、83はスタートコード解析部、84はVOLヘ
ッダ解析部、85はスタートコードを解析したVOPの
数をカウントしたカウント数、86は駒落しVOP制御
部、87はエンコーダで設定したVOPレート情報、8
8はデコードVOP選択部、89はVOP選択情報、9
0はVOPヘッダ解析部である。
駒落しVOP制御部86の構成を示したものである。同
図において、73はオブジェクトイントラ符号化判定
部、91は駒落しVOP判定部である。
の動作を説明する。図28は、本実施の形態4のヘッダ
解析部42の動作を説明するフローチャートである。本
実施の形態4のヘッダ解析部42では、まず、スタート
コード解析部83において、入力される符号化ビットス
トリーム81に含まれるスタートコードの解析を行う
(ステップS27)。その結果、解析したスタートコー
ドがVOを示すものであればVOヘッダ解析部59へ
(ステップS28)、解析したスタートコードがVOL
を示すものであればVOLヘッダ解析部84へ(ステッ
プS29)、解析したスタートコードがGOVを示すも
のであればGOVヘッダ解析部61へ(ステップS3
0)、解析したスタートコードがVOPを示すものであ
れば駒落しVOP制御部86へビットストリームを出力
するとともに、VOPスタートコードを検出する度にカ
ウントをインクリメントし、このカウント数85も駒落
しVOP制御部86へ出力する(ステップS31)。な
お、カウント数85は、VOLスタートコードが検出さ
れるたびにリセットされるものとする。
れるビットストリームよりVOヘッダ情報の解析を行
い、解析を終えたビットストリームをスタートコード解
析部83へ出力する(ステップS32)。
れるビットストリームよりVOLヘッダ情報と、オブジ
ェクトイントラ符号化表示信号7’と、VOPレート情
報87の解析を行い、解析を終えたビットストリームは
スタートコード解析部83へ出力し、解析されたオブジ
ェクトイントラ符号化表示信号7’は駒落しVOP制御
部86へ出力し、解析されたVOPレート情報87はデ
コードVOP選択部88へ出力する(ステップS3
3)。
れるビットストリームよりGOVヘッダ情報の解析を行
い、解析を終えたビットストリームをスタートコード解
析部83へ出力する(ステップS34)。
VOLヘッダ解析部84から入力する符号化側のVOP
レート情報87と、ユーザ等によりデコーダ側にて設定
されるVOPレート情報71とを比較して、その比較結
果に基づき復号化を行うVOPの情報を示すVOP選択
情報89を駒落しVOP制御部86に出力する(ステッ
プS35)。
と、例えば、VOLヘッダ解析部84から入力されるV
OPレート情報87が30枚/秒、デコーダ側にて設定
されるVOPレート情報71が15枚/秒の場合、VO
P選択情報89は1VOPおきに解析を行うVOPがあ
ることを示す情報となる。これは、エンコーダ側で1秒
あたり30枚のVOPを符号化したビットストリームを
復号する際に、デコーダ側で1枚おきにVOPの復号を
行うという状況に相当する。
ようにステップS36、S37に示す処理を行なう。以
下、ステップS38に示すVOPヘッダ解析の処理とと
もに、駒落とし制御の処理について説明する。まず、図
27に示すように、駒落しVOP制御部86のオブジェ
クトイントラ符号化判定部73では、VOLヘッダ解析
部84から入力されるオブジェクトイントラ符号化表示
信号7’に基づき、ビットストリームの出力先を決定す
る(ステップS36)。具体的には、オブジェクトイン
トラ符号化表示信号7’がONの場合には、入力ビット
ストリームの出力先を駒落しVOP判定部91とする一
方、オブジェクトイントラ符号化表示信号がOFFの場
合には、入力ビットストリームの出力先をVOPヘッダ
解析部90とする。
信号7’がONの場合、駒落しVOP制御部86の駒落
しVOP判定部91では、ステップS37に相当する判
定処理を行う。つまり、VOP選択情報89と、カウン
ト数85とに基づいて、解析対象VOPの復号すべきV
OPであるか否かの判定を行い、復号すべきVOPであ
ると判定した場合は(ステップS37“YES”)、入
力ビットストリームをVOPヘッダ解析部90へ出力す
る一方、解析が不必要であると判定した場合は(ステッ
プS37“NO”)、入力ビットストリームをスタート
コード解析部83へ出力する。例えば、VOP選択情報
89が1VOPおきに解析を行うVOPがあることを示
している場合、入力されるカウント数86が偶数に場合
には復号が必要であると判定し、入力されるカウント数
が奇数の場合には復号が不必要であると判定することに
なる。
ビットストリームよりVOPヘッダの解析を行い、解析
後のビットストリームをスタートコード解析部83へ出
力する(ステップS38)。なお、VOPヘッダ解析部
90の解析処理が終了した後、スタートコード解析部8
3は、その解析後のビットストリーム43をビデオ信号
解析部44(図15参照)に出力する。
御部86のオブジェクトイントラ符号化判定部73によ
りオブジェクトイントラ符号化表示信号7’がOFFと
判断された場合には、VOPヘッダ解析部90への入力
ビットストリームを駒落しVOP判定部91を介さずに
出力するので、VOPの駒落しは行われない。この原理
は実施の形態3に述べたことと同じである。一方、ステ
ップS36でオブジェクトイントラ符号化判定部73に
よりオブジェクトイントラ符号化表示信号7’がONと
判断され、かつ、続くステップ37で駒落しVOP判定
部91によりVOP選択情報89やカウント数85に基
づいて、現在解析対象となっているVOPの復号が必要
であるかないかの判定を行う。ここで復号が必要である
と判定された入力ビットストリームのみVOPヘッダ解
析部90へ出力されるので、VOPの駒落しが行われる
ことになる。
コーダ側で設定したエンコーダ側におけるVOPレート
情報87がVOLヘッダ情報とともに多重化されたビッ
トストリームを復号して、これに基づいて表示制御を行
う機能を持つようにした以外は、実施の形態3と同様に
機能する。そして、実施の形態3の場合と同様に、VO
Lヘッダにオブジェクトイントラ符号化表示信号7’が
多重化された符号化ビットストリームを復号する際、そ
のオブジェクトイントラ符号化表示信号7’を解析する
ように構成したため、オブジェクトイントラ符号化表示
信号7’がONである場合、すべてのVOPデータがイ
ントラ符号化されていると判断されるオブジェクトにつ
いては、エンコーダ側で設定されたVOPレート情報8
7と、デコーダ側で設定されたVOPレート情報71と
に応じて任意のVOPを駒落としして表示等することが
可能となる。
にオブジェクトイントラ符号化表示信号7’とVOPレ
ート情報87が含まれる符号化ビットストリーム81を
復号するよう構成したため、任意のVOPを駒落としし
て表示できる前記実施の形態3の効果に加えて、個々の
VOPヘッダを解析して、個々に設定されている表示時
刻に関する相対時間情報(モジュロ・タイム・ベース、
VOPタイムインクリメント)を復号する必要がなくな
り、より簡易に駒落とし制御が可能となる。
符号化ビットストリームとして、エンコーダ側における
VOPレート情報がVOLヘッダに多重化されている符
号化ビットストリームを復号するように説明したが、本
発明では、これに限らず、例えば、エンコーダ側におけ
るVOPレート情報がGOVヘッダに多重化されている
符号化ビットストリームを復号するようにしても良い。
このようにする場合には、図29に示すように、ヘッダ
解析部42のGOVヘッダ解析部92にエンコーダ側に
おけるVOPレート情報93の復号機能を持たせるよう
にすれば良い。このVOPレート情報93は、GOV内
でのVOPの表示速度を示す情報となる。
ジェクトイントラ符号化表示信号7’がGOVを単位に
符号化されているビットストリームでも対応する構成と
することにより、同様の効果を得ることができる。この
場合には、例えば、図26では、VOLヘッダ解析部8
4ではなく、GOVヘッダ解析部61がオブジェクトイ
ントラ符号化表示信号7’の解析機能を持つことになる
一方、図29では、VOLヘッダ解析部75ではなく、
GOVヘッダ解析部92がオブジェクトイントラ符号化
表示信号7’の解析機能を持つことになる。
のところで説明したように、実施の形態3のVOPデコ
ーダにより図24に示すような複数オブジェクトを復号
して合成するシステムに使用しても、実施の形態3で述
べた効果と同様の効果を得ることができる。このこと
は、後述する他の実施の形態のVOPデコーダでも同様
で、図24に示すような複数オブジェクトを復号して合
成するシステムを構成できる。
ジェクトイントラ符号化表示信号をVOLのレイヤに含
み、かつ、GOVのレイヤに当該GOV先頭のVOPの
絶対表示時刻を表すタイムコード情報を含む符号化ビッ
トストリームを入力して、任意の時刻のVOPをランダ
ムに指定して復号・表示することを可能とする画像復号
化装置について説明する。なお、本実施の形態5では、
実施の形態3の構成の復号化装置のヘッダ解析部42の
構成のみが異なるので、以下、ヘッダ解析部42の構成
および動作についてのみ説明する。また、本実施の形態
5では、図5に示す符号化ビットストリーム30を入力
して復号するデコーダを説明する。
解析部42の構成を示したものである。同図において、
94はスタートコード解析部、95は例えばDRAM,
SDRAMなどのメモリや、PCなどに接続されるハー
ドディスクドライブ等の記録媒体で、符号化側から送信
されてきた符号化ビットストリーム30を記憶する記憶
媒体、96はVOPヘッダ解析部、97は外部設定タイ
ムコード、98は駒落し制御部、99はサーチ指示信号
である。
8の構成を示す。図において、73はオブジェクトイン
トラ符号化判定部、100は比較部、101は記憶媒体
である。
の動作を説明する。図32は、本実施の形態5のヘッダ
解析部42の動作を説明するフローチャートである。本
実施の形態5のヘッダ解析部42では、まず、スタート
コード解析部94が、入力される符号化ビットストリー
ム30に含まれるスタートコードの解析を行う(ステッ
プS39)。解析したスタートコードがVOを示すもの
であればVOヘッダ解析部59へ(ステップS40)、
解析したスタートコードがVOLを示すものであればV
OLヘッダ解析部60へ(ステップS41)、解析した
スタートコードがGOVを示すものであればGOVヘッ
ダ解析部61へ(ステップS42)、解析したスタート
コードがVOPを示すものであればVOPヘッダ解析部
96へ(ステップS43)、ビットストリームを出力す
る。なお、VOPヘッダ解析部96の解析処理を終了し
た後、ビットストリームはビデオ信号解析部44に出力
され、ビデオ信号解析部にて当該VOPのビデオ信号が
解析・復号された後、処理は再びスタートコード解析へ
移行する。
れるビットストリームよりVOヘッダ情報の解析を行
い、解析を終えたビットストリームをスタートコード解
析部94へ出力する(ステップS44)。また、VOL
ヘッダ解析部60は、入力されるビットストリームより
VOLヘッダ情報の解析を行い、解析を終えたビットス
トリームをスタートコード解析部94へ出力する(ステ
ップS45)。この際、VOLヘッダ解析部60は、V
OLヘッダに含まれるオブジェクトイントラ符号化表示
信号7’を復号し、VOPヘッダ解析部96へ出力す
る。
れるビットストリームよりGOVヘッダ情報の解析を行
い、解析を終えたビットストリームをスタートコード解
析部94へ出力する(ステップS46)。この際、GO
Vヘッダ情報中に含まれるGOVタイムコード63を復
号し、VOPヘッダ解析部96へ出力する。そして、ス
テップS47では、VOPヘッダ解析処理を実施するV
OPヘッダ解析部96が、本実施の形態5で開示される
VOPの高速かつ簡易なランダムアクセスを実現する機
構を備える。この機構は具体的には駒落し制御部98に
て実現される。
プS47のVOPヘッダ解析動作を示すフローチャート
である。以下、図30のVOPヘッダ解析部の詳細図、
図31、図33をもとに、VOPランダムアクセス処理
の動作について説明する。まず、動作状況として、以下
の状況(1)〜(4)を想定する。
などの蓄積メディア、DRAM,SDRAMなどのメモリ、PCなど
に接続されるハードディスクドライブなど)に記憶され
た符号化ビットストリームを読み出して入力し、オブジ
ェクトの復号・表示を実施する。この際、各VOPの絶
対表示時刻をユーザが認知できるよう、VOPの表示に
合わせて表示画面にタイムコードを出力するものとす
る。符号化ビットストリームはネットワークや放送網を
通じて、デコーダから読み出し可能な記憶媒体95に送
り込まれることもある。
プする。同時に該当するタイムコードも当該VOPの位
置で停止する。表示は、復号をストップする前に最後に
復号されるVOP画像をそのまま表示させる。ユーザ
は、このストップした時刻から時間的に前や後の方向へ
離れた位置のVOPの画像を静止画像としてビットスト
リーム中から取り出したいと考えている、とする。
るVOP画像のタイムコードを、例えば、取り出したい
と考えているタイムコードを指定するコマンドによる
等、何らかの手段で入力する。このようにして入力した
タイムコードが、外部設定タイムコード97となる。
タイムコード610と、現在停止している状態のVOP
画像のタイムコードとを比較し、異なればユーザの指定
した外部設定タイムコード610と一致するタイムコー
ドのVOP画像をサーチして復号・表示する。
Pの画像を用いて予測符号化されることが多いので、前
記の動作を行うためには、所望のタイムコードを持つV
OPにたどり着くまでに予測関係を持つVOPをすべて
復号しなければならない。しかし、本実施の形態5で
は、オブジェクトイントラ符号化表示信号7’と、駒落
し制御部98の機構を用いることにより、すべてをイン
トラ符号化、すなわち予測を行わずに符号化しているV
OLを直ちに察知して、そのようなVOLヘッダについ
てはダイレクトに所望のVOP画像をサーチして復号・
再生できるようになる。
は通常復号動作を行う。ここでは、復号化装置が前記
(1)から(2)の状態に移行する瞬間を仮定する。ま
ず、この時、復号を停止するVOP画像のタイムコード
を計算する。これは3つのステップ(ステップS47−
1〜S47−3)からなる。第1のステップは、モジュ
ロ・タイム・ベースをビットストリーム中から解析する
ステップ(ステップS47−1)で、これはモジュロ・
タイム・ベース解析部64にて行われる。第2のステッ
プは、VOPタイムインクリメントをビットストリーム
中から解析するステップ(ステップS47−2)で、こ
れはVOPタイムインクリメント解析部67で行われ
る。次いで第3のステップで、前記モジュロ・タイム・
ベース、VOPタイムインクリメントに加え、GOVヘ
ッダ解析部61から出力されるGOVタイムコード63
とに基づいて、当該VOPの絶対表示時刻であるVOP
タイムコード70を計算する(ステップS47−3)。
これは復号VOP絶対表示時刻作成部66で行われ、計
算方法は実施の形態3に示した通りである。これによっ
て得られた(2)の停止状態のVOPのタイムコードが
ユーザに提示される。
ものとする。これにより、外部設定タイムコード97が
与えられ、駒落し制御部98によるランダムアクセス機
構が作動する。つまり、まず、現在のVOPがユーザが
希望する表示対象のVOPか否かを判断する(ステップ
S47−4)。これは比較部100で行われる。具体的
には、ユーザの希望する表示対象VOPのタイムコード
である外部設定タイムコード97と、現在表示されてい
るVOPのVOPタイムコード70とを比較する。
VOP」と判断して(ステップS47−4“YE
S”)、映像情報ヘッダ解析処理を行なうようにする
(ステップS47−11)。さもなくば(ステップS4
7-4“NO”)、外部設定タイムコード97と、現在
のVOPのVOPタイムコード70との比較により、表
示対象VOPが現在のVOPより時間的に先のVOPか
否かを判断して(ステップS47−5)、以下のケース
1,2のいずれに相当するかを判定する。なお、その
際、記憶媒体101は、比較部100が外部設定タイム
コード97に近いVOPタイムコード70を選択できる
ように、比較部100における比較の際、前に使用した
VOPタイムコード70を一時記憶等するように動作す
る。
(2)の状態のVOPタイムコード70よりも時間的に
後を示している場合、例えば、外部設定タイムコード9
7が01:00:30、(2)の状態のVOPタイムコード70
が01:00:10であるような場合である(ステップS47−
5“YES”)。アクションは、オブジェクトイントラ
符号化表示信号7’の値によって切替える(ステップS
47−6)。つまり、オブジェクトイントラ符号化表示
信号7’がONの場合(ステップS47−6“N
O”)、すなわち「VOL内のVOPが全てイントラ符
号化されている」ことを示す場合は、比較部100は、
サーチ指示信号99を「順方向サーチ」に設定し、ビッ
トストリームとともにスタートコード解析部94へ送る
(ステップS47−7)。これにより、スタートコード
解析部94は(2)の状態のVOPタイムコード70よ
りも先、すなわち時間的に後のVOPスタートコードを
サーチすることになる。
表示信号7’がOFFの場合(ステップS47−6“Y
ES”)、すなわち「VOL内のVOPが予測符号化さ
れている」ことを示す場合は、VOL内のVOPは予測
を用いて符号化されているため、個々のVOPをダイレ
クトに復号することができない。この場合は、上記ステ
ップS47−1〜47−3,S47−11の処理により
個々のVOPのモジュロ・タイム・ベース65とVOP
タイムインクリメント68を復号してVOPタイムコー
ド70を計算するとともに、逐一VOP画像を復号して
いく必要がある。このケースでは、このようにして逐
次、次のVOPを復号していく。
(2)の状態のVOPタイムコード70よりも時間的に
前を示している場合、例えば、外部設定タイムコード9
7が01:00:00、(2)の状態のVOPタイムコードが0
1:00:10であるような場合である(ステップS47−5
“NO”)。アクションは、オブジェクトイントラ符号
化表示信号7’の値によって切替える(ステップS47
−8)。つまり、オブジェクトイントラ符号化表示信号
7’がONの場合(ステップS47−8“NO”)、す
なわち「VOL内のVOPが全てイントラ符号化されて
いる」ことを示す場合は、比較部100はサーチ指示信
号99を「逆方向サーチ」に設定し、ビットストリーム
とともにスタートコード解析部94へ送る(ステップS
47−9)。これにより、スタートコード解析部94は
ビットストリームを逆方向に解析し、(2)の状態より
も時間的に前のVOPのスタートコードをサーチするこ
とができる。
表示信号7’がOFFの場合(ステップS47−8“Y
ES”)、すなわち「VOL内のVOPが予測符号化さ
れている」ことを示す場合、VOL内のVOPは予測を
用いて符号化されているため、個々のVOPをダイレク
トに復号することができない。この場合は、個々のVO
Pのモジュロ・タイム・ベース65とVOPタイムイン
クリメント68を復号してVOPタイムコード70を計
算するとともに、画像データまで復号を実行する必要が
ある。このケースでは、予測を実施していないVOP画
像、すなわち時間的に前のI-VOP(イントラ符号化さ
れたVOP)までさかのぼって復号し、そこから復号を
再開しなければならない。これはサーチ指示信号99に
よって時間的に前のI-VOPまでさかのぼって逆サーチ
を行うよう指示することで対処する(ステップS47−
10)。
1およびケース2の場合において、オブジェクトイント
ラ符号化表示信号7’がONのときには、サーチ指示信
号99によりVOPのスタートコード検出を進め、ステ
ップS47−11の映像情報ヘッダ解析処理を行なわず
に、VOPの画像データは読み飛ばすようにしている。
つまり、VOPスタートコードが検出されるたびに、個
々のVOPのモジュロ・タイム・ベースやVOPタイム
インクリメントの解析、復号による現在のVOPの絶対
表示時刻であるVOPタイムコード70の算出(ステッ
プS47−1〜S47−3)、現在のVOPタイムコー
ド70と、外部設定タイムコード97とのタイムコード
比較による表示対象のVOPか否かの判断(ステップS
47−4)を行い、外部設定タイムコード97と、サー
チした結果のVOPのタイムコード70が一致するまで
処理を繰り返す。そして、外部設定タイムコード97
と、サーチした結果のVOPタイムコード70が一致し
たら、表示対象のVOPのところで復号が停止したこと
になるので、ランダムアクセスの動作を終了する。
VOL内のVOPがすべてイントラ符号化されているか
どうかを示すオブジェクトイントラ符号化表示信号7’
に基づいて、もしオブジェクトイントラ符号化表示信号
7’がONの場合、すなわちVOL内のVOPがすべて
イントラ符号化されている場合には、S47−11の映
像情報ヘッダ解析処理によるVOPの復号をVOP毎に
順次行うことなく、VOPの画像データは読み飛ばし
て、ダイレクトに所望のVOPの画像データをサーチし
て復号することができる。このため、例えば、MPEG
−4準拠の圧縮規格を採用した家庭用ビデオなどですべ
てのVOPをイントラで符号化して記憶媒体95等に記
録しておき、これをインターネットや、CD-ROM/DVD-ROM
などで供給される他のオブジェクト映像と合成するなど
して所望のシーンを編集するようなケースを考えた場
合、本実施の形態5で述べた構成をとる復号化装置によ
って編集すれば、ビデオ撮影した映像の所望の時刻の画
像へ高速にアクセスすることができ、ストレスなく映像
編集を行うことが可能となる。
縮規格によりすべてのVOPをイントラで符号化してDV
D-RAMなどの大容量記録メディアに蓄積しておき、テレ
ビプログラムなどの制作の際に、高速にアクセスしなが
ら所望の編集操作を行うことも可能となる。
号化ビットストリーム30を例として、オブジェクトイ
ントラ符号化表示信号がVOLヘッダに多重化され、タ
イムコードを含むGOVのレイヤを含んだビットストリ
ームを復号する例について述べたが、本発明では、これ
に限らず、図6に示す符号化ビットストリーム31のよ
うにGOVヘッダ31cにオブジェクトイントラ符号化
表示信号7’を含む場合についても、GOVヘッダ解析
部61でオブジェクトイントラ符号化表示信号7’の解
析を行う構成にすることによって、GOV内のすべての
VOPがイントラ符号化されている場合に、任意のVO
Pへのランダムアクセスをスムーズに行うことが可能で
ある。
ジェクトイントラ符号化表示信号7’と、VOL内のV
OPの表示速度を示す表示速度情報としてのVOPレー
ト情報とをVOLのレイヤに含み、かつ、GOVのレイ
ヤに当該GOV先頭のVOPの絶対表示時刻を表すタイ
ムコード情報とを含む符号化ビットストリームを入力し
て、任意の時刻のVOPをランダムに指定して復号・表
示することを可能とする画像復号化装置について説明す
る。なお、本実施の形態6では、実施の形態4の構成の
復号化装置のヘッダ解析部の構成のみが異なるので、以
下、ヘッダ解析部の動作についてのみ説明する。また、
本実施の形態6では、図25に示す符号化ビットストリ
ーム81を入力して復号するものとして説明する。
解析部42の構成を示したものである。同図において、
102はスタートコード解析部、103は復号VOP選
択部、104はVOPヘッダ解析部である。尚、その他
の構成は、図26に示す実施の形態4等のヘッダ解析部
の構成と同じなので、同一番号を付してその説明は省略
する。
103の内部構成を示している。図において、73はオ
ブジェクトイントラ符号化判定部、100は比較部、1
05はVOPタイムコード算出部である。
の動作を説明する。図36は、本実施の形態6のヘッダ
解析部42の動作を示すフローチャートである。本実施
の形態6のヘッダ解析部42では、まず、スタートコー
ド解析部102が入力される符号化ビットストリーム8
1に含まれるスタートコードの解析を行う(ステップS
48)。解析したスタートコードがVOを示すものであ
ればVOヘッダ解析部59へ(ステップS49)、解析
したスタートコードがVOLを示すものであればVOL
ヘッダ解析部84へ(ステップS50)、解析したスタ
ートコードがGOVを示すものであればGOVヘッダ解
析部61へ(ステップS51)、解析したスタートコー
ドがVOPを示すものであれば復号VOP選択部103
へ(ステップS52)、ビットストリームを出力する。
なお、VOPヘッダ解析部104の解析処理を終了した
後、ヘッダ解析を終了したビットストリーム43はビデ
オ信号解析部44に出力され、ビデオ信号解析部にて当
該VOPのビデオ信号が解析・復号された後、処理は再
びスタートコード解析へ移行する。スタートコード解析
部102は、内部にVOPカウンタを持ち、VOPスタ
ートコードを検出するたびにVOPカウントをインクリ
メントしてVOPカウンタ値85を出力する。また、同
カウント値85は復号VOP選択部103へ出力する。
VOPカウント値85はGOVスタートコードまたはV
OLスタートコードが検出されるたびにリセットされる
ものとする。
れるビットストリームよりVOヘッダ情報の解析を行
い、解析を終えたビットストリームをスタートコード解
析部102へ出力する(ステップS53)。また、VO
Lヘッダ解析部84は、入力されるビットストリームよ
りVOLヘッダ情報の解析を行い、解析を終えたビット
ストリームをスタートコード解析部102へ出力する
(ステップS54)。この際、VOLヘッダ解析部84
は、VOLヘッダ情報中に含まれるオブジェクトイント
ラ符号化表示信号7’と、VOPレート情報87とを復
号し、復号VOP選択部103へ出力する。
れるビットストリームよりGOVヘッダ情報の解析を行
い、解析を終えたビットストリームをスタートコード解
析部102へ出力する(ステップS55)。この際、G
OVヘッダ解析部620は、GOVヘッダ情報中に含ま
れるGOVタイムコード63を復号し、復号VOP選択
部103へ出力する。
施の形態6で開示されるVOPの高速かつ簡易なランダ
ムアクセス機構を実現する(ステップS56)。
ジェクトイントラ符号化表示信号7’と、復号VOP選
択部103の機構を用いることにより、すべてをイント
ラ符号化、すなわち予測を行わずに符号化しているVO
Lを直ちに察知して、そのようなVOLについてはダイ
レクトに所望のVOP画像をサーチして復号・再生でき
るようになる。特に、本実施の形態6では、VOLのレ
イヤにVOPレート情報も含まれており、各VOPのタ
イムコード70を個々のモジュロ・タイム・ベースや、
VOPタイムインクリメントを復号することなく特定す
ることができる。
ステップS56のVOPランダムアクセス機構の詳細処
理のフローチャートを示す。以下、主に、図35、図3
7をもとに、VOPランダムアクセス処理の動作につい
て説明する。動作状況として、実施の形態5で述べた
(1)〜(4)の状況をここでも想定する。
は、状態(1)では、復号化装置は通常復号動作を行
う。ここでは、復号化装置が状態(1)から状態(2)
に移行する瞬間を仮定する。この時、まず、ユーザによ
る(2)の行為により、復号を停止するVOP画像のタ
イムコード70をVOPタイムコード算出部105にて
計算する(ステップS56−1)。これは以下の計算式
によって求められる。 VOPタイムコード70=GOVタイムコード63+
(VOPカウンタ値85)÷(VOPレート情報87) つまり、VOPタイムコード算出部105は、VOPカ
ウンタ値85を、符号化側のVOPレート情報87によ
り除算し、その商と、GOVタイムコード63とを加算
して、復号を停止しようとするVOP画像のタイムコー
ド70を算出するのである。
00分00秒、VOPカウンタ値85が60枚、符号化側のV
OPレート情報87が30枚/秒とした場合、GOVタイ
ムコード63に、60/30(=2)秒を加算した01時間00分0
2秒がVOPタイムコードとして算出される。
の形態5のように3つのステップ(ステップS47−1
〜S47−3)から復号を停止するVOP画像のタイム
コード70を求める必要はなく、スタートコード解析部
102で個々のVOPのスタートコードが検出され、V
OPカウンタがインクリメントされ、そのVOPカウン
タ値85と、符号化側のVOPレート情報87と、GO
Vタイムコード63とを利用することにより、実施の形
態4の場合よりも迅速に、復号を停止するVOPタイム
コード70が決定できる。これによって得られた(2)
の停止状態のVOPのタイムコードがユーザに提示され
る。
ものとする。これにより、ユーザが取り出したいと考え
ている外部設定タイムコード97が与えられ、復号VO
P選択部103によるランダムアクセス機構が作動す
る。つまり、まず、現在復号を停止しているVOPがユ
ーザが希望する表示対象のVOPか否かを判断する(ス
テップS56-2)。これは比較部100で行われる。
具体的には、外部設定タイムコード97と、VOPタイ
ムコード算出部105からのVOPタイムコード70と
を比較する。
6-2“YES”)、「表示対象のVOP」と判断し
て、表示対象VOPのVOPヘッダ解析処理を行なう
(ステップS67)。さもなくば(ステップS56-2
“NO”)、外部設定タイムコード97と、現在のVO
PのVOPタイムコード70との比較により、表示対象
VOPが現在のVOPより時間的に先のVOPか否かを
判断して(ステップS56−3)、以下のケース1,2
のいずれに相当するかを判定する。
(2)の状態のVOPタイムコード70よりも時間的に
後を示している場合、例えば、外部設定タイムコード9
7が01:00:30、(2)の状態のVOPタイムコード70
が01:00:10であるような場合である(ステップS56−
3“YES”)。アクションは、オブジェクトイントラ
符号化表示信号7’の値によって切替える(ステップS
56−4)。つまり、オブジェクトイントラ符号化表示
信号7’がONの場合は(ステップS56−4“N
O”)、すなわち「VOL内のVOPが全てイントラ符
号化されている」ことを示す場合は、比較部100はサ
ーチ指示信号99を「順方向サーチ」に設定し、ビット
ストリームとともにスタートコード解析部102へ送る
(ステップS56−5)。これにより、スタートコード
解析部102は、(2)の状態である復号を停止した状
態のVOPタイムコード70よりも先、すなわち時間的
に後のVOPスタートコードをサーチすることができ
る。
表示信号7’がOFFの場合(ステップS56−4“Y
ES”)、すなわち「VOL内のVOPが予測符号化さ
れている」ことを示す場合は、VOL内のVOPは予測
を用いて符号化されているため、個々のVOPをダイレ
クトに復号することができない。このため、この場合
は、VOPヘッダ解析部104が、次のステップS57
の通常のVOPヘッダ解析処理の中で、図33に示すス
テップS47−1〜S47−3,S47−11と同等の
処理を行なって、個々のVOPのモジュロ・タイム・ベ
ースと、VOPタイムインクリメントとを解析、復号し
て、復号を停止した現在のVOPのVOPタイムコード
611を計算して、逐一VOP画像を復号していく必要
がある。このケースでは、このようにして逐次、次のV
OPを復号していく。
(2)の状態のVOPタイムコード70よりも時間的に
前を示している場合、例えば、外部設定タイムコード9
7が01:00:00、(2)の状態のVOPタイムコード70
が01:00:10であるような場合である(ステップS56−
3“NO”)。アクションは、オブジェクトイントラ符
号化表示信号7’の値によって切替える(ステップS5
6−6)。つまり、オブジェクトイントラ符号化表示信
号7’がONの場合(ステップS56−6“NO”)、
比較部100はサーチ指示信号99を「逆方向サーチ」
に設定し、ビットストリームとともにスタートコード解
析部102へ送る(ステップS56−7)。これによ
り、スタートコード解析部102はビットストリームを
逆方向に解析し、(2)の状態よりも時間的に前のVO
Pのスタートコードをサーチする。
表示信号7’がOFFの場合(ステップS56−6“Y
ES”)、すなわち「VOL内のVOPが予測符号化さ
れている」ことを示す場合、VOL内のVOPは予測を
用いて符号化されているため、個々のVOPをダイレク
トに復号することができない。この場合は、個々のVO
Pの画像データの復号を実行する必要がある。このケー
スでは、予測を実施していないVOP画像、すなわち時
間的に前のI-VOPまでさかのぼって復号し、そこから
復号を再開しなければならない。これはサーチ指示信号
99によって時間的に前のI-VOPまでさかのぼって逆
サーチを行うよう指示することで対処する(ステップS
56−8)。
1およびケース2の場合において、オブジェクトイント
ラ符号化表示信号7’がONのときには、サーチ指示信
号99によりVOPのスタートコード検出を進め、ステ
ップS57のVOPヘッダ解析処理は行なわずに、VO
Pの画像データは読み飛ばすようにしている。つまり、
VOPスタートコードが検出されるたびに、現在のVO
Pの絶対表示時刻であるVOPタイムコード70の算出
(ステップS56−1)、VOPタイムコード70と外
部設定タイムコード97との比較による表示対象のVO
Pか否かの判断(ステップS56−2)を行い、外部設
定タイムコード97と、サーチした結果のVOPのタイ
ムコード70が一致するまで処理を繰り返す。そして、
外部設定タイムコード97と、サーチした結果のVOP
タイムコード70が一致したら、表示対象のVOPのと
ころで復号が停止したことになるので、ランダムアクセ
スの動作を終了する。
L内のVOPがすべてイントラ符号化されているかどう
かを示すオブジェクトイントラ符号化表示信号7’に基
づいて、例えばオブジェクトイントラ符号化表示信号
7’がONで、VOL内のVOPがすべてイントラ符号
化されている場合には、ステップS57のVOPヘッダ
解析処理をVOP毎に順次行わず、順次VOPの復号を
行なわないので、ダイレクトに所望のVOPの画像デー
タをサーチして復号することができる。
イムコード70を、GOV先頭のVOPのタイムコード
であるGOVタイムコード63と、スタートコード解析
部102からのVOPカウンタ値85と、符号化側のV
OPレート情報87とに基づいて決定するので、各VO
Pについてモジュロ・タイム・ベースやVOPタイムイ
ンクリメントの情報を復号しなくて済む。このことは、
外部設定タイムコード97からあらかじめ読み飛ばすV
OPの数を計算してランダムアクセスができることを示
しており、実施の形態5のように逐一各VOPの表示時
刻を図33のステップS47−1〜S47−3の処理に
より算出して判断するという手間を踏まずに済ませるこ
とができ、実施の形態5の場合よりも高速にランダムア
クセスができることになる。つまり、各VOPの表示時
刻を逐一VOPヘッダ解析に基づいて算出することな
く、VOPレート情報に基づいて個々のVOPのタイム
コードを特定できるので、高速なランダムアクセスが可
能となる。
用した家庭用ビデオなどですべてのVOPをイントラで
符号化して記憶媒体95等に記録しておき、これをイン
ターネットやCD-ROM/DVD-ROMなどで供給される他のオブ
ジェクト映像と合成するなどして所望のシーンを編集す
るようなケースを考えた場合、本実施の形態で述べた構
成をとる復号化装置によって編集すれば、ビデオ撮影し
た映像の所望の時刻の画像へ高速にアクセスすることが
でき、ストレスなく映像編集を行うことが可能となる。
また、映像素材を、MPEG−4準拠の圧縮規格により
すべてのVOPをイントラで符号化してDVD-RAMなどの
大容量記録メディアに蓄積しておき、テレビプログラム
などの制作の際に、高速にアクセスしながら所望の編集
操作を行うことも可能となる。
符号化ビットストリーム81を例として、オブジェクト
イントラ符号化表示信号7’と、VOPレート情報87
とをVOLヘッダ81bに含み、かつ、GOVヘッダ8
1cに当該GOV先頭のVOPの絶対表示時刻を表すG
OVタイムコード63を含む符号化ビットストリームを
復号する例について述べたが、本発明では、これに限ら
ず、例えば、GOVヘッダにGOVタイムコード63だ
けでなく、オブジェクトイントラ符号化表示信号7’、
VOPレート情報87を設けた符号化ビットストリーム
(図示せず)を復号するようにしても良い。この場合
は、図34におけるGOVヘッダ解析部61に、GOV
タイムコード63の復号機能だけでなく、オブジェクト
イントラ符号化表示信号7’と、VOPレート情報87
との復号機能を持たせるようにすればよい。
の形態2で説明したVOPエンコーダによって生成され
る符号化ビットストリームを復号するVOPデコーダに
ついて説明する。つまり、本実施の形態7のVOPデコ
ーダは、図12に示す符号化ビットストリーム39を入
力とし、符号化ビットストリーム39中から実施の形態
2で述べたオブジェクトイントラ符号化表示信号7’、
表示時刻多重化識別情報34、各VOPのタイムコード
35を復号し、これらの値に基づいてVOPの復号およ
び表示を制御することを特徴とするものである。尚、本
実施の形態7におけるVOPデコーダは、実施の形態6
記載のVOPデコーダと基本的な構成は同じであり、ヘ
ッダ解析部42のみが異なるので、以下では本実施の形
態におけるヘッダ解析部42の説明のみを行う。
析部42の内部構成を示したものである。図において、
106はVOLヘッダ解析部、107は復号VOP選択
部である。尚、その他の構成は、図34に示す実施の形
態6のヘッダ解析部42の構成と同じなので、同一番号
を付してその説明は省略する。
号VOP選択部107の内部構成を示している。図にお
いて、73はオブジェクトイントラ符号化判定部、10
0は比較部、108はVOPタイムコード保持部であ
る。
の動作を説明する。図40は、本実施の形態のヘッダ解
析部42の動作を示すフローチャートである。本実施の
形態7のヘッダ解析部42では、まず、スタートコード
解析部102において、入力される符号化ビットストリ
ーム39に含まれるスタートコードの解析を行う(ステ
ップS58)。解析したスタートコードがVOを示すも
のであればVOヘッダ解析部59へ(ステップS5
9)、解析したスタートコードがVOLを示すものであ
ればVOLヘッダ解析部106へ(ステップS60)、
解析したスタートコードがGOVを示すものであればG
OVヘッダ解析部61へ(ステップS61)、解析した
スタートコードがVOPを示すものであれば復号VOP
選択部107へ(ステップS62)、ビットストリーム
を出力する。
理を終了した後、ビットストリーム43は、スタートコ
ード解析部102からビデオ信号解析部44に出力さ
れ、ビデオ信号解析部44にて当該VOPのビデオ信号
が解析・復号された後、処理は再びスタートコード解析
へ移行する。スタートコード解析部102は、内部にV
OPカウンタを持ち、VOPスタートコードを検出する
たびにVOPカウントをインクリメントしてVOPカウ
ンタ値85を復号VOP選択部107へ出力する。VO
PカウンタはVOLスタートコードが検出されるたびに
リセットされるものとする。
れるビットストリームよりVOヘッダ情報の解析を行
い、解析を終えたビットストリームをスタートコード解
析部102へ出力する(ステップS63)。
されるビットストリームよりVOLヘッダ情報の解析を
行い、解析を終えたビットストリームをスタートコード
解析部102へ出力する(ステップS64)。
12に示すように、VOLヘッダ情報中に含まれるオブ
ジェクトイントラ符号化表示信号7’、表示時刻多重化
識別情報34、タイムコード35とを復号し、復号VO
P選択部106へ出力する。
示時刻多重化識別情報34は、オブジェクトイントラ符
号化表示信号7’がON、すなわちVOLの単位の中に
含まれる全てのVOPをイントラのみで符号化すること
を示している場合のみ復号され、タイムコード35は、
さらに表示時刻多重化識別情報34がONを示している
場合のみ復号される。以下の説明においては、オブジェ
クトイントラ符号化表示信号7’、表示時刻多重化識別
情報34ともにONであり、VOL内のすべてのVOP
のタイムコード35がVOLヘッダ解析部106で復号
されるものとする。
れるビットストリームよりGOVヘッダ情報の解析を行
い、解析を終えたビットストリームをスタートコード解
析部102へ出力する(ステップS65)。この際、G
OVヘッダ解析部61は、GOVヘッダ情報中に含まれ
るGOVタイムコード63を復号するが、本実施の形態
7ではこのGOVタイムコード情報は使用しない。
施の形態7で開示されるVOPの高速かつ簡易なランダ
ムアクセス機構を実現して、復号しようとするVOPを
選択する(ステップS66)。本実施の形態7のランダ
ムアクセス機構の特長は、比較部100において外部設
定タイムコード97と比較するVOPタイムコードを、
全く演算を行うことなく得ることができるという点にあ
る。
ステップS66の復号VOP選択処理によるVOPラン
ダムアクセス機構の詳細処理のフローチャートを示す。
以下、主に、図39、図41をもとに、VOPランダム
アクセス処理の動作について説明する。動作状況とし
て、実施の形態5で述べた(1)〜(4)の状況をここ
でも想定する。
復号されたVOL内のすべてのVOPのタイムコード3
5は、復号VOP選択部107のVOPタイムコード保
持部108に蓄積され、当該VOLの復号終了まで保持
される(ステップS66−1)。この時、状態(1)で
は、復号化装置は通常復号動作を行う。
(2)に移行する瞬間を仮定する。この時、ユーザによ
る状態(1)から状態(2)へ移行する動作によって、
復号VOP選択部107のVOPタイムコード保持部1
08には、その移行時のVOPカウンタ値85が示すV
OP画像のタイムコード35を読出すための読出し指令
等(図示せず)が入力したり、生成等される。
からは、状態(1)から状態(2)へ移行する瞬間にス
タートコード解析部102から入力したVOPカウンタ
値85が示すVOP、すなわち(2)により復号を停止
するVOP画像のタイムコード35がタイムコード70
として読み出され、比較部100へ出力される(ステッ
プS66−2)。このような仕組みによって、(2)に
より復号を停止するVOPのタイムコード70が、VO
Pヘッダの解析も、何らの演算も行わずに、スタートコ
ード解析部102からのVOPカウンタ値85のみに基
づいて特定することができる。これによって得られた
(2)の停止状態のVOPのタイムコード70がユーザ
に提示される。
ものとする。これにより、外部設定タイムコード97が
比較部100に与えられ、復号VOP選択部107によ
るランダムアクセス機構が作動する。なお、この例で
は、上述のように、VOPタイムコード保持部108
は、状態(2)へ移行する時に入力したVOPカウンタ
値85が示すVOP画像のタイムコード35を、タイム
コード70として比較部100へ出力するように説明し
たが、これに限らず、VOPタイムコード保持部108
は、スタートコード解析部102から常時入力するVO
Pカウンタ値85が示すVOP画像のタイムコード35
を、タイムコード70として比較部100へ常時出力す
るようにしてもよい。ただし、この場合でも、比較部1
00は、状態(2)へ移行する瞬間に入力したタイムコ
ード70と、(3)の動作により与えられる外部設定タ
イムコード97とにを用いて、ランダムアクセス機構を
行なうように構成されることになる。要は、VOPタイ
ムコード保持部108に保持されたタイムコード35の
うち、状態(2)へ移行する時のタイムコード70と、
外部設定タイムコード97とを用いたランダムアクセス
機構が作動するように構成すれば良いのである。
希望する表示対象のVOPか否かを判断する(ステップ
S66-3)。これは比較部100で行われる。具体的
には、外部設定タイムコード97と、VOPタイムコー
ド保持部108からの(2)により復号を停止した現在
のVOPのVOPタイムコード70とを比較することに
より行なう。
在のVOPのVOPタイムコード70とが一致していれ
ば(ステップS66−3“YES”)、「表示対象のV
OP」と判断して、表示対象VOPのVOPヘッダ解析
処理を行なう(ステップS67)。さもなくば(ステッ
プS66−3“NO”)、外部設定タイムコード97
と、現在のVOPのVOPタイムコード70との比較に
より、表示対象VOPが現在のVOPより時間的に先の
VOPか否かを判断して(ステップS66−4)、以下
のケース1,2のいずれに相当するかを判定する。
(2)の状態のVOPタイムコード70よりも時間的に
後を示している場合、例えば、外部設定タイムコード9
7が01:00:30、(2)の状態のVOPタイムコード70
が01:00:10であるような場合である(ステップS66−
4“YES”)。アクションは、オブジェクトイントラ
符号化表示信号7’の値によって切替える(ステップS
66−5)。つまり、オブジェクトイントラ符号化表示
信号7’がONの場合は(ステップS66−5“N
O”)、すなわち「VOL内のVOPが全てイントラ符
号化されている」ことを示す場合は、比較部100はサ
ーチ指示信号99を「順方向サーチ」に設定し、ビット
ストリームとともにスタートコード解析部102へ送る
(ステップS66−6)。これにより、スタートコード
解析部102は、(2)の状態のVOPタイムコード7
0よりも先、すなわち時間的に後ののVOPスタートコ
ードをサーチする。
表示信号7’がOFFの場合(ステップS56−5“Y
ES”)、すなわち「VOL内のVOPが予測符号され
ている」ことを示す場合は、個々のVOPをダイレクト
に復号することができない。このため、この場合は、実
施の形態6の場合と同様に、VOPヘッダ解析部104
が、次のステップS67の通常のVOPヘッダ解析処理
の中で、図33に示すステップS47−1〜S47−
3,S47−11と同等の処理を行なって、個々のVO
Pのモジュロ・タイム・ベースと、VOPタイムインク
リメントとを解析、復号して、復号を停止した現在のV
OPのVOPタイムコード611を計算して、逐一VO
P画像を復号していく必要がある。このケースでは、こ
のようにして逐次、次のVOPを復号していく。
(2)の状態のVOPタイムコード70よりも時間的に
前を示している場合、例えば、外部設定タイムコード9
7が01:00:00、(2)の状態のVOPタイムコードが0
1:00:10であるような場合である(ステップS66−4
“NO”)。アクションは、オブジェクトイントラ符号
化表示信号7’の値によって切替える(ステップS66
−7)。つまり、オブジェクトイントラ符号化表示信号
7’がONの場合(ステップS66−7“NO”)、比
較部100はサーチ指示信号99を「逆方向サーチ」に
設定し、ビットストリームとともにスタートコード解析
部102へ送る(ステップS66−8)。これにより、
スタートコード解析部102は、ビットストリームを逆
方向に解析し、(2)の状態よりも時間的に前のVOP
のスタートコードをサーチすることができる。
表示信号7’がOFFの場合(ステップS66−7“Y
ES”)、すなわち「VOL内のVOPが予測符号化さ
れている」ことを示す場合は、個々のVOPをダイレク
トに復号することができない。この場合は、逐一画像デ
ータまで復号を実行する必要がある。このケースでは、
予測を実施していないVOP画像、すなわち時間的に前
のI-VOPまでさかのぼって復号し、そこから復号を再
開しなければならない。これはサーチ指示信号99によ
って時間的に前のI-VOPまでさかのぼって逆サーチを
行うよう指示することで対処する(ステップS66−
9)。
形態6の場合と同様に、ケース1およびケース2の場合
において、オブジェクトイントラ符号化表示信号7’が
ONのときには、サーチ指示信号99によりVOPのス
タートコード検出を進め、ステップS57のVOPヘッ
ダ解析処理は行なわずに、VOPの画像データは読み飛
ばすようにしている。つまり、本実施の形態7では、ス
テップS66−1の処理により、VOLヘッダ解析部1
06において復号されたVOL内のすべてのVOPのタ
イムコード35が、当該VOLの復号終了までVOPタ
イムコード保持部108に保持されているので、ユーザ
による(2)の動作により復号が停止されるたびに、V
OPタイムコード保持部108からは、その時のスVO
Pカウンタ値85が示すVOPのタイムコード35がタ
イムコード70として読み出されて(ステップS66−
2)、VOPタイムコード70と、外部設定タイムコー
ド97との比較による表示対象のVOPか否かの判断が
行われ(ステップS66−3)、外部設定タイムコード
97と、サーチした結果のVOPのタイムコード70が
一致するまでこれらの処理が繰り返されることになる。
そして、外部設定タイムコード97と、サーチした結果
のVOPタイムコード70が一致したら、表示対象のV
OPのところで復号が停止したことになるので、ランダ
ムアクセスの動作を終了する。
L内のVOPがすべてイントラ符号化されているかどう
かを示すオブジェクトイントラ符号化表示信号7’に基
づいて、例えばオブジェクトイントラ符号化表示信号
7’がONで、VOL内のVOPがすべてイントラ符号
化されている場合には、ステップS67のVOPヘッダ
解析処理をVOP毎に順次行わず、順次VOPの復号を
行なわないので、ダイレクトに所望のVOPの画像デー
タをサーチして復号することができる。
イムコード35を、VOLヘッダから直接復号してVO
Pタイムコード保持部108に保持し、スタートコード
解析部102からのVOPカウンタ値85に基づいて読
み出すように構成したため、各VOPについてモジュロ
・タイム・ベースや、VOPタイムインクリメントの情
報を復号しなくて済むばかりでなく、デコーダでは何ら
の演算機構も必要としない。これにより、外部設定タイ
ムコード97と、保持した各VOPのタイムコード35
との比較のみで復号すべきVOPを特定できるため、実
施の形態5,6よりも高速な、非常に高速なランダムア
クセスが可能となる。
用した家庭用ビデオなどですべてのVOPをイントラで
符号化して記憶媒体95等に記録しておき、これをイン
ターネットやCD-ROM/DVD-ROMなどで供給される他のオブ
ジェクト映像と合成するなどして所望のシーンを編集す
るようなケースを考えた場合、本実施の形態で述べた構
成をとる復号化装置によって編集すれば、ビデオ撮影し
た映像の所望の時刻の画像へ高速にアクセスすることが
でき、ストレスなく映像編集を行うことが可能となる。
また、映像素材を、MPEG−4準拠の圧縮規格により
すべてのVOPをイントラで符号化してDVD-RAMなどの
大容量記録メディアに蓄積しておき、テレビプログラム
などの制作の際に、高速にアクセスしながら所望の編集
操作を行うことも可能となる。
符号化ビットストリーム39を例として、VOLヘッダ
にオブジェクトイントラ符号化表示信号7’、表示時刻
多重化識別情報34、タイムコード35が含まれるビッ
トストリームを復号する例について述べたが、これに限
らず、図13や、図14に示す符号化ビットストリーム
40、41を復号するVOPデコーダにも同様の考え方
を適用することができる。
40を復号するVOPデコーダでは、GOVごとにその
内部に含まれるVOPのタイムコードを多重化している
ので、VOLヘッダ解析部106ではオブジェクトイン
トラ符号化表示信号7’のみを復号し、GOVヘッダ解
析部61ではオブジェクトイントラ符号化表示信号7’
に基づいて表示時刻多重化識別情報34、タイムコード
35を復号するように構成すればよい。この場合は、表
示時刻多重化識別情報34がONであるGOVについて
は、その内部のすべてのVOPについて高速ランダムア
クセスが可能である。
0を復号するVOPデコーダでは、GOVヘッダ解析部
61で、オブジェクトイントラ符号化表示信号7’、表
示時刻多重化識別情報34、タイムコード35を復号す
るように構成し、GOVごとに独立にランダムアクセス
の機能性を規定することができる。
号(復号)化画像をオブジェクト単位のVOPとして規
定してオブジェクト単位に画像を符号化するMPEG−
4対応の画像符号化装置または画像復号化装置を例に説
明したが、本発明では、これに限らず、オブジェクトや
VOP等の概念のないMPEG−1やMPEG−2等の
画像符号化装置、画像符号化方法、画像復号化装置およ
び画像復号化方法にも適用できる。この場合、動画像シ
ーケンスを構成する各時刻の画像である被符号化画像
や、テレビ信号等における画像フレーム等が、以上説明
した実施の形態1〜5におけるVOPに該当することに
なり、VOPを被符号化画像や画像フレーム等に置き換
えることにより実施の形態1〜7と同様に考えることが
できる。例えば、MPEG−1やMPEG−2などでは
ユーザが自由にデータの定義を行うことができるユーザ
データ領域や、将来の機能拡張のためのビットフィール
ドが設けられており、これらのデータ領域において本発
明に示したようなシンタックスを取り決めておけば、ラ
ンダムアクセスや駒落し制御などの機能性を向上するこ
とが可能となる。また、以上説明した実施の形態1〜7
では、オブジェクトイントラ符号化表示信号7’は、M
PEG4で規定されているVOLまたはGOV単位の動
画像シーケンス中に含まれる全てのVOPがイントラの
みで符号化されるか否かを示す情報として説明したが、
本発明では、これらVOL、GOV単位の動画像シーケ
ンスに限らないものである。つまり、これら以外のVO
Pの集まりの単位が動画像シーケンスとして存在してい
たり、動画像シーケンスとして定義できるのであれば、
オブジェクトイントラ符号化表示信号7’は、そのよう
なVOL、GOV単位以外を単位とする動画像シーケン
スに含まれる全てのVOPがイントラのみで符号化され
るか否かを示す情報となる。これは、VOPを被符号化
画像や、画像フレーム等に置き換えた場合も同様であ
る。
復号化装置および画像復号化方法では、符号化ビットス
トリームから動画像シーケンスに含まれる画像すべてが
イントラ符号化されているか否かを示すイントラ符号化
表示情報を解析すると共に、そのイントラ符号化表示情
報に基づいて動画像シーケンスに含まれる画像を復号す
るようにしたため、復号側においては、動画像シーケン
スを構成する個々の画像データのヘッダやオーバヘッド
を復号することなく動画像シーケンス内に含まれる画像
データがすべてイントラ符号化されているか否かを判断
することができる。その結果、復号側で簡単に表示速度
や、復号速度を変化させて復号を行ったり、所望の時刻
の画像へ簡単にランダムアクセスすることが可能にな
る。
画像符号化号方法では、動画像シーケンスに含まれる画
像すべてをイントラ符号化するか否かを指示するイント
ラ符号化指示情報に基づき動画像シーケンスに含まれる
画像を符号化すると共に、符号化された画像符号化信号
と、前記動画像シーケンスに含まれる画像すべてがイン
トラ符号化されているか否かを示すイントラ符号化表示
情報とを多重化するようにしたため、復号側において
は、動画像シーケンスを構成する個々の画像データのヘ
ッダやオーバヘッドを復号することなく動画像シーケン
ス内に含まれる画像データがすべてイントラ符号化され
ているか否かを判断することができ、復号側で簡単に表
示速度や復号速度を変化させて復号を行ったり、所望の
時刻の画像へ簡単にランダムアクセスすることを可能に
する符号化ビットストリームを生成することができる。
成例を示す図である。
チャートである。
ローチャートである。
図である。
れる符号化ビットストリーム30の例を示す図である。
れる符号化ビットストリーム31の例を示す図である。
生成する場合における実施の形態1のヘッダ多重化部8
の構成例を示す図である。
成例を示す図である。
す図である。
される符号化ビットストリーム37の例を示す図であ
る。
される符号化ビットストリーム38の例を示す図であ
る。
される符号化ビットストリーム39の例を示す図であ
る。
される符号化ビットストリーム40の例を示す図であ
る。
される符号化ビットストリーム41の例を示す図であ
る。
部構成例を示した図である。
するフローチャートである。
示すフローチャートである。
42の内部構成を詳細にして示した図である。
を示した図である。
明するフローチャートである。
フローチャートである。
Pタイムインクリメント68を説明するための図であ
る。
成の他の例を示した図である。
ブジェクトの復号画像信号を合成して1つの画像を再生
するシステムに適用する例を示す図である。
号化ビットストリームを示す図である。
内部構成を示す図である。
制御部86の構成を示した図である。
説明するフローチャートである。
他の構成例を示す図である。
成を示す図である。
成を示す図である。
示すフローチャートである。
示すフローチャートである。
内部構成を示す図である。
部構成を示す図である。
示すフローチャートである。
よるステップS56のVOPランダムアクセス機構の詳
細処理を示すフローチャートである。
内部構成を示す図である。
部構成を示す図である。
示すフローチャートである。
よるステップS66のVOPランダムアクセス機構の詳
細処理を示すフローチャートである。
示す図である。
図である。
号形状データ、4 動き補償予測部、5 動き情報、6
GOV多重化情報、7 オブジェクトイントラ符号化
指示信号、7’ オブジェクトイントラ符号化表示信
号、8 ヘッダ多重化部、9 ヘッダ情報多重化後のビ
ットストリーム、10 ビデオ信号多重化部、11 予
測画像、12 減算器、13 予測誤差画像、14 IN
TRA/INTER判定部、15 被符号化テクスチャデータ、
16 マクロブロック単位の符号化モード情報、17
テクスチャ符号化部、18 テクスチャ符号化データ、
19局所復号予測誤差画像、20 加算器、21 局所
復号テクスチャデータ、22 メモリ、23 参照テク
スチャデータ、24 符号化ビットストリーム、25
VOヘッダ多重化部、26 VOLヘッダ多重化部、2
7 GOVヘッダ多重化選択部、28 GOVヘッダ多
重化部、29 VOPヘッダ多重化部、30符号化ビッ
トストリーム、31 符号化ビットストリーム、32
VOLヘッダ多重化部、33 GOVヘッダ多重化部、
34 表示時刻多重化識別情報、35 タイムコード、
36 VOLヘッダ多重化部、37 符号化ビットスト
リーム、38 符号化ビットストリーム、39 符号化
ビットストリーム、40 符号化ビットストリーム、4
1 符号化ビットストリーム、42 ヘッダ解析部、4
3 ヘッダ情報が解析されたビットストリーム、44
ビデオ信号解析部、45 形状符号化データ、46 形
状復号部、47 復号形状データ、48 テクスチャ符
号化データ、49 テクスチャ復号部、50 復号テク
スチャデータ、51 動き情報、52 動き補償部、5
3 復号予測テクスチャデータ、54INTRA/INTER判定
部、55 出力テクスチャデータ、56 メモリ、57
参照テクスチャデータ、58 スタートコード解析
部、59 VOヘッダ解析部、60 VOLヘッダ解析
部、61 GOVヘッダ解析部、62 VOPヘッダ解
析部、63 タイムコード、64 モジュロ・タイム・
ベース解析部、65 モジュロ・タイム・ベース、66
復号VOP絶対時刻作成部、67 VOPタイムイン
クリメント解析部、68 VOPタイムインクリメン
ト、69 駒落し制御部、70 復号VOP絶対表示時
刻、71 デコーダ側で設定されるVOPレート情報、
72 映像情報ヘッダ解析部、73 オブジェクトイン
トラ符号化判定部、74 駒落しVOP判定部、75
VOLヘッダ解析部、76 GOVヘッダ解析部、77
オブジェクト符号化ビットストリーム、78 VOP
デコーダ、79 コンポジション部、80 再生画像、
83 スタートコード解析部、84 VOLヘッダ解析
部、85 カウント数、86 駒落しVOP制御部、8
7エンコーダで設定したVOPレート情報、88 デコ
ードVOP選択部、89VOP選択情報、90 VOP
ヘッダ解析部、91 駒落しVOP判定部、92 GO
Vヘッダ解析部、93 GOV単位のVOPレート情
報、94 スタートコード解析部、95 記憶媒体、9
6 VOPヘッダ解析部、97 外部設定タイムコー
ド、98 駒落し制御部、99 サーチ指示信号、10
0 比較部、101 記憶媒体、102 スタートコー
ド解析部、103 復号VOP選択部、104 VOP
ヘッダ解析部、105 VOPタイムコード算出部、1
06VOLヘッダ解析部、107 復号VOP選択部、
108 VOPタイムコード保持部。
Claims (19)
- 【請求項1】 符号化ビットストリームから動画像シー
ケンスに含まれる画像すべてがイントラ符号化されてい
るか否かを示すイントラ符号化表示情報を解析する解析
手段と、 前記解析手段によって解析された前記イントラ符号化表
示情報に基づいて前記動画像シーケンスに含まれる画像
を復号する復号手段と、 を備えたことを特徴とする画像復号化装置。 - 【請求項2】 動画像シーケンスは、任意の形状を有す
る動画像オブジェクトのビデオオブジェクトレイヤであ
ることを特徴とする請求項1記載の画像復号化装置。 - 【請求項3】 動画像シーケンスは、任意の形状を有す
る動画像オブジェクトのビデオオブジェクトレイヤを構
成するビデオオブジェクトプレーンのグループであるこ
とを特徴とする請求項1記載の画像復号化装置。 - 【請求項4】 前記復号手段は、前記イントラ符号化表
示情報と、画像復号化装置側において指定された表示速
度情報とに基づいて、前記動画像シーケンス内の画像を
間引いて復号することを特徴とする請求項1記載の画像
復号化装置。 - 【請求項5】 前記解析手段は、さらに、符号化ビット
ストリームから符号化側の表示速度情報を解析すると共
に、解析した符号化側の表示速度情報と、画像復号化装
置側において指定された表示速度情報とに基づいて、復
号対象画像を特定し、 前記復号手段は、前記イントラ符号化表示情報と、前記
復号対象画像の表示時刻情報とに基づいて、前記動画像
シーケンスに含まれる画像を間引いて復号することを特
徴とする請求項1記載の画像復号化装置。 - 【請求項6】 前記復号手段は、前記イントラ符号化表
示情報と、画像復号化装置側において指定される表示時
刻情報とに基づいて、前記画像復号化装置側において指
定される表示時刻情報が示す画像を復号することを特徴
とする請求項1記載の画像復号化装置。 - 【請求項7】 解析手段は、さらに、符号化ビットスト
リームから符号化側の表示速度情報と、前記動画像シー
ケンスに含まれる画像の表示時刻情報とを解析すると共
に、その解析した前記表示速度情報と、前記表示時刻情
報とに基づいて、復号対象画像を特定し、 前記復号手段は、前記イントラ符号化表示情報と、前記
復号対象画像の表示時刻情報と、画像復号化装置側にお
いて指定される表示時刻情報とに基づいて、前記画像復
号化装置側において指定される表示時刻情報が示す画像
を復号することを特徴とする請求項1記載の画像復号化
装置。 - 【請求項8】 前記解析手段は、前記イントラ符号化表
示情報を解析した結果、動画像シーケンスに含まれる画
像すべてがイントラ符号化されていることを指示してい
る場合、さらに、符号化ビットストリームから前記動画
像シーケンスに含まれる画像すべての表示時刻情報を多
重化するか否かを示す表示時刻多重化識別情報を解析
し、該表示時刻多重化識別情報が前記動画像シーケンス
に含まれる画像すべての表示時刻情報を多重化すること
を示している場合には、前記動画像シーケンスに含まれ
る画像すべての表示時刻情報を動画像シーケンスの単位
で解析し、 前記多重化手段は、前記イントラ符号化表示情報と、前
記表示時刻情報とに基づいて、前記動画像シーケンス内
に含まれる画像を復号することを特徴とする請求項1記
載の画像復号化装置。 - 【請求項9】 前記復号手段は、前記イントラ符号化表
示情報と、前記表示時刻情報と、画像復号化装置側にお
いて指定される表示時刻情報とに基づいて、前記動画像
シーケンス内に含まれる画像のうち前記画像復号化装置
側において指定される表示時刻情報が示す画像を復号す
ることを特徴とする請求項8記載の画像復号化装置。 - 【請求項10】 符号化ビットストリームから動画像シ
ーケンスに含まれる画像すべてがイントラ符号化されて
いるか否かを示すイントラ符号化表示情報を解析すると
共に、前記イントラ符号化表示情報に基づいて前記動画
像シーケンスに含まれる画像を復号することを特徴とす
る画像復号化方法。 - 【請求項11】 前記イントラ符号化表示情報と、復号
化側において指定された表示速度情報とに基づいて、前
記動画像シーケンス内の画像を間引いて復号することを
特徴とする請求項10記載の画像復号化方法。 - 【請求項12】 符号化ビットストリームから符号化側
の表示速度情報の解析を行い、解析した符号化側の表示
速度情報と、復号化側において指定された表示速度情報
とに基づいて、復号対象画像の表示時刻を特定すると共
に、前記イントラ符号化表示情報と、前記復号対象画像
の表示時刻情報とに基づいて、前記動画像シーケンスに
含まれる画像を間引いて復号することを特徴とする請求
項10記載の画像復号化方法。 - 【請求項13】 前記イントラ符号化表示情報と、復号
化側において指定される表示時刻情報とに基づいて、前
記復号化側において指定される表示時刻情報が示す画像
を復号することを特徴とする請求項10記載の画像復号
化方法。 - 【請求項14】 さらに、符号化ビットストリームから
符号化側の表示速度情報と、前記動画像シーケンス内に
含まれる画像の表示時刻情報とを解析すると共に、その
解析した前記表示速度情報と、前記表示時刻情報とに基
づいて、復号対象画像を特定し、前記イントラ符号化表
示情報と、前記復号対象画像の表示時刻情報と、復号化
側において指定される表示時刻情報とに基づいて、前記
復号化側において指定される表示時刻情報が示す画像を
復号することを特徴とする請求項10記載の画像復号化
方法。 - 【請求項15】 前記イントラ符号化表示情報を解析し
た結果、動画像シーケンスに含まれる画像すべてがイン
トラ符号化されていることを指示している場合、さら
に、符号化ビットストリームから前記動画像シーケンス
に含まれる画像すべての表示時刻情報を多重化するか否
かを示す表示時刻多重化識別情報を解析し、該表示時刻
多重化識別情報が前記動画像シーケンスに含まれる画像
すべての表示時刻情報を多重化することを示している場
合には、前記動画像シーケンスに含まれる画像すべての
表示時刻情報を動画像シーケンスの単位で解析し、前記
イントラ符号化表示情報と、前記表示時刻情報とに基づ
いて、前記動画像シーケンス内に含まれる画像を復号す
ることを特徴とする請求項10記載の画像復号化方法。 - 【請求項16】 前記イントラ符号化表示情報と、前記
表示時刻情報と、画像復号化装置側において指定される
表示時刻情報とに基づいて、前記動画像シーケンス内に
含まれる画像のうち前記画像復号化装置側において指定
される表示時刻情報が示す画像を復号することを特徴と
する請求項15記載の画像復号化方法。 - 【請求項17】 動画像シーケンスに含まれる画像すべ
てをイントラ符号化するか否かを指示するイントラ符号
化指示情報に基づき前記動画像シーケンスに含まれる画
像を符号化する符号化手段と、 前記符号化手段によって符号化された画像符号化信号
と、前記動画像シーケンスに含まれる画像すべてがイン
トラ符号化されているか否かを示すイントラ符号化表示
情報とを多重化する多重化手段と、 を備えたことを特徴とする画像符号化装置。 - 【請求項18】 前記多重化手段は、前記イントラ符号
化表示情報が動画像シーケンスに含まれる画像すべてを
イントラ符号化することを指示している場合、さらに、
前記動画像シーケンスに含まれる画像すべての表示時刻
情報を多重化するか否かを示す表示時刻多重化識別情報
を動画像シーケンス毎に多重化し、該表示時刻多重化識
別情報が前記動画像シーケンスに含まれる画像すべての
表示時刻情報を多重化することを示している場合には、
さらに、前記動画像シーケンスに含まれる画像すべての
表示時刻情報を動画像シーケンス毎に多重化することを
特徴とする請求項17記載の画像符号化装置。 - 【請求項19】 動画像シーケンスに含まれる画像すべ
てをイントラ符号化するか否かを指示するイントラ符号
化指示情報に基づき前記動画像シーケンスに含まれる画
像を符号化すると共に、符号化された画像符号化信号
と、前記動画像シーケンスに含まれる画像すべてがイン
トラ符号化されているか否かを示すイントラ符号化表示
情報とを多重化することを特徴とする画像符号化方法。
Priority Applications (27)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05469498A JP3860323B2 (ja) | 1997-10-27 | 1998-03-06 | 画像復号化装置、画像復号化方法 |
US09/530,136 US7127110B1 (en) | 1997-10-27 | 1998-10-03 | Image encoding device, image encoding method, image decoding device and image decoding method |
TW87117418A TW407431B (en) | 1997-10-27 | 1998-10-21 | Image encoding/decoding device and method therefor |
DE69841698T DE69841698D1 (de) | 1997-10-27 | 1998-10-23 | Vorrichtung zum Kodieren von Bildern |
EP20100011902 EP2306721B1 (en) | 1997-10-27 | 1998-10-23 | Image decoding method |
EP98950368A EP1026899B1 (en) | 1997-10-27 | 1998-10-23 | Image encoding device, image encoding method, image decoding device and image decoding method |
EP20100000894 EP2187641B1 (en) | 1997-10-27 | 1998-10-23 | Image encoding method |
CA 2308460 CA2308460C (en) | 1997-10-27 | 1998-10-23 | Image coding apparatus, image coding method, image decoding apparatus and image decoding method |
DE1998633443 DE69833443T2 (de) | 1997-10-27 | 1998-10-23 | Vorrichtungen und verfahren zum kodieren und dekodieren von bildern |
PCT/JP1998/004815 WO1999022517A1 (en) | 1997-10-27 | 1998-10-23 | Image encoding device, image encoding method, image decoding device and image decoding method |
EP20100011904 EP2306723B1 (en) | 1997-10-27 | 1998-10-23 | Image coding apparatus |
AU96474/98A AU9647498A (en) | 1997-10-27 | 1998-10-23 | Image encoding device, image encoding method, image decoding device and image decoding method |
EP20100011903 EP2306722B1 (en) | 1997-10-27 | 1998-10-23 | Image coding method |
CNB988127067A CN1201586C (zh) | 1997-10-27 | 1998-10-23 | 图像解码装置 |
KR10-2000-7004504A KR100377286B1 (ko) | 1997-10-27 | 1998-10-23 | 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치및 화상 복호화 방법 |
EP20050008083 EP1558038B1 (en) | 1997-10-27 | 1998-10-23 | Image coding apparatus |
EP20100000893 EP2200314B1 (en) | 1997-10-27 | 1998-10-23 | Image coding apparatus |
HK01100809A HK1030121A1 (en) | 1997-10-27 | 2001-02-05 | Image encodeing device, image encoding method, image decoding device and image decoding method |
HK05110863A HK1079022A1 (en) | 1997-10-27 | 2001-02-05 | Image coding apparatus |
US11/231,835 US7197188B2 (en) | 1997-10-27 | 2005-09-22 | Image coding apparatus, image coding method, image decoding apparatus and image decoding method |
US11/707,922 US7362907B2 (en) | 1997-10-27 | 2007-02-20 | Image coding apparatus, image coding method, image decoding apparatus and image decoding method |
US12/068,200 US7970217B2 (en) | 1997-10-27 | 2008-02-04 | Image coding apparatus, image coding method, image decoding apparatus and image decoding method |
HK10106604.3A HK1140347A1 (en) | 1997-10-27 | 2010-07-07 | Image encoding method |
HK10107855A HK1141653A1 (en) | 1997-10-27 | 2010-08-17 | Image coding apparatus |
HK11105762A HK1151912A1 (en) | 1997-10-27 | 2011-06-08 | Image decoding method |
HK11105829A HK1152177A1 (en) | 1997-10-27 | 2011-06-09 | Image coding method |
HK11105905.0A HK1151915A1 (en) | 1997-10-27 | 2011-06-10 | Image coding apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29394097 | 1997-10-27 | ||
JP9-293940 | 1997-10-27 | ||
JP05469498A JP3860323B2 (ja) | 1997-10-27 | 1998-03-06 | 画像復号化装置、画像復号化方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004180423A Division JP3894206B2 (ja) | 1997-10-27 | 2004-06-18 | 画像符号化装置、画像符号化方法、画像復号化装置、及び画像復号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11196411A true JPH11196411A (ja) | 1999-07-21 |
JP3860323B2 JP3860323B2 (ja) | 2006-12-20 |
Family
ID=26395494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05469498A Expired - Lifetime JP3860323B2 (ja) | 1997-10-27 | 1998-03-06 | 画像復号化装置、画像復号化方法 |
Country Status (11)
Country | Link |
---|---|
US (4) | US7127110B1 (ja) |
EP (7) | EP1558038B1 (ja) |
JP (1) | JP3860323B2 (ja) |
KR (1) | KR100377286B1 (ja) |
CN (1) | CN1201586C (ja) |
AU (1) | AU9647498A (ja) |
CA (1) | CA2308460C (ja) |
DE (2) | DE69841698D1 (ja) |
HK (7) | HK1079022A1 (ja) |
TW (1) | TW407431B (ja) |
WO (1) | WO1999022517A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001091467A1 (en) * | 2000-05-26 | 2001-11-29 | Mitsubishi Denki Kabushiki Kaisha | Method and device for encoding image |
US6400889B1 (en) | 1998-01-23 | 2002-06-04 | Matsushita Electric Industrial Co., Ltd. | Image processing method for decoding compressed image data |
JP2003517797A (ja) * | 1999-12-14 | 2003-05-27 | サイエンティフィック−アトランタ, インコーポレイテッド | 調和されたリソースの割当てを有するビデオ信号を適応的に復号化するシステムおよび方法 |
KR100424762B1 (ko) * | 2001-09-06 | 2004-03-30 | 삼성전자주식회사 | 영상 데이터 제공 시스템 및 방법 |
JP2007524309A (ja) * | 2004-02-20 | 2007-08-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ復号の方法 |
JP2010045853A (ja) * | 2009-11-20 | 2010-02-25 | Mitsubishi Electric Corp | 動画像符号化装置および動画像符号化方法 |
JP2013164660A (ja) * | 2012-02-09 | 2013-08-22 | Nec Corp | ストレージ装置 |
US9998750B2 (en) | 2013-03-15 | 2018-06-12 | Cisco Technology, Inc. | Systems and methods for guided conversion of video from a first to a second compression format |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100282147B1 (ko) * | 1998-11-13 | 2001-02-15 | 구자홍 | 압축 영상 복원 방법 |
US20190141111A1 (en) * | 2010-02-01 | 2019-05-09 | Oliver Wendel Gamble | Method and System for Controlling Future Behavior of Devices |
JP2005503736A (ja) * | 2001-09-18 | 2005-02-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ符号化及び復号化方法並びに対応する信号 |
US7274857B2 (en) | 2001-12-31 | 2007-09-25 | Scientific-Atlanta, Inc. | Trick modes for compressed video streams |
US7966642B2 (en) | 2003-09-15 | 2011-06-21 | Nair Ajith N | Resource-adaptive management of video storage |
JP2005184626A (ja) * | 2003-12-22 | 2005-07-07 | Canon Inc | 画像処理装置 |
US8600217B2 (en) | 2004-07-14 | 2013-12-03 | Arturo A. Rodriguez | System and method for improving quality of displayed picture during trick modes |
KR100885443B1 (ko) * | 2005-04-06 | 2009-02-24 | 엘지전자 주식회사 | 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법 |
KR100853143B1 (ko) * | 2007-02-15 | 2008-08-20 | 충북대학교 산학협력단 | I 프레임 태그를 이용한 동영상 압축 및 복원방법 |
JP4317995B2 (ja) * | 2007-05-11 | 2009-08-19 | テクトロニクス・インコーポレイテッド | ストリーム解析装置とストリーム解析表示方法 |
US8462855B2 (en) * | 2007-09-26 | 2013-06-11 | Intel Corporation | Method and apparatus for stream parsing and picture location |
US8300696B2 (en) | 2008-07-25 | 2012-10-30 | Cisco Technology, Inc. | Transcoding for systems operating under plural video coding specifications |
EP2728861B1 (en) * | 2011-07-02 | 2017-10-04 | Samsung Electronics Co., Ltd. | Method and apparatus for multiplexing and demultiplexing video data to identify reproducing state of video data. |
EP3843396B1 (en) | 2011-09-28 | 2023-01-25 | Sun Patent Trust | Image decoding method and image coding and decoding method |
JP5485969B2 (ja) * | 2011-11-07 | 2014-05-07 | 株式会社Nttドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム |
US10389994B2 (en) * | 2016-11-28 | 2019-08-20 | Sony Corporation | Decoder-centric UV codec for free-viewpoint video streaming |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3084811B2 (ja) | 1991-07-24 | 2000-09-04 | ソニー株式会社 | 記録媒体サーチ方法および装置 |
US5778143A (en) * | 1993-01-13 | 1998-07-07 | Hitachi America, Ltd. | Method and apparatus for the selection of data for use in VTR trick playback operation in a system using progressive picture refresh |
US5786858A (en) * | 1993-01-19 | 1998-07-28 | Sony Corporation | Method of encoding image signal, apparatus for encoding image signal, method of decoding image signal, apparatus for decoding image signal, and image signal recording medium |
AU677281B2 (en) | 1993-01-19 | 1997-04-17 | Sony Corporation | Image signal encoding method, image signal encoder, image signal decoding method, image signal decoder, and image signal recording medium |
JP3019659B2 (ja) | 1993-03-16 | 2000-03-13 | 日本ビクター株式会社 | 動画像の飛越し再生方法及び再生装置 |
DE69331606T2 (de) | 1993-11-30 | 2002-10-31 | General Electric Co., Schenectady | Datenwortindikator in einem system zur zusammenstellung von transportdatenpaketen. |
DE69524896T2 (de) | 1994-03-25 | 2002-11-14 | Nec Corp., Tokio/Tokyo | Wiedergabe von Videobildern mit erhöhter Geschwindigkeit |
JP3274563B2 (ja) | 1994-03-25 | 2002-04-15 | 日本電気株式会社 | 画像再生装置 |
JP3034172B2 (ja) | 1994-10-25 | 2000-04-17 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 画像データ記録再生装置 |
US5629736A (en) * | 1994-11-01 | 1997-05-13 | Lucent Technologies Inc. | Coded domain picture composition for multimedia communications systems |
US5687095A (en) * | 1994-11-01 | 1997-11-11 | Lucent Technologies Inc. | Video transmission rate matching for multimedia communication systems |
US5623312A (en) * | 1994-12-22 | 1997-04-22 | Lucent Technologies Inc. | Compressed-domain bit rate reduction system |
US5887110A (en) | 1995-03-28 | 1999-03-23 | Nippon Telegraph & Telephone Corp. | Video data playback system using effective scheme for producing coded video data for fast playback mode |
JPH08288965A (ja) * | 1995-04-18 | 1996-11-01 | Hitachi Ltd | スイッチングシステム |
JP4018166B2 (ja) | 1995-07-06 | 2007-12-05 | パイオニア株式会社 | 媒体記録方法、装置及び媒体再生方法、装置 |
JPH0927944A (ja) | 1995-07-12 | 1997-01-28 | Hitachi Ltd | 動画像情報再生方法 |
JP3068002B2 (ja) * | 1995-09-18 | 2000-07-24 | 沖電気工業株式会社 | 画像符号化装置、画像復号化装置及び画像伝送システム |
JP2848326B2 (ja) * | 1996-03-28 | 1999-01-20 | 日本電気株式会社 | Mpeg符号化画像復号装置 |
JP3053576B2 (ja) * | 1996-08-07 | 2000-06-19 | オリンパス光学工業株式会社 | コードイメージデータ出力装置及び出力方法 |
JPH1079949A (ja) * | 1996-09-04 | 1998-03-24 | Oki Electric Ind Co Ltd | 画像符号化装置、画像復号化装置及び画像伝送システム |
JP3791720B2 (ja) * | 1997-06-11 | 2006-06-28 | ソニー株式会社 | 伝送装置及び伝送方法 |
KR100531566B1 (ko) * | 1997-10-23 | 2005-11-29 | 미쓰비시덴키 가부시키가이샤 | 화상 복호화 장치 |
-
1998
- 1998-03-06 JP JP05469498A patent/JP3860323B2/ja not_active Expired - Lifetime
- 1998-10-03 US US09/530,136 patent/US7127110B1/en not_active Expired - Lifetime
- 1998-10-21 TW TW87117418A patent/TW407431B/zh not_active IP Right Cessation
- 1998-10-23 EP EP20050008083 patent/EP1558038B1/en not_active Expired - Lifetime
- 1998-10-23 CN CNB988127067A patent/CN1201586C/zh not_active Expired - Lifetime
- 1998-10-23 WO PCT/JP1998/004815 patent/WO1999022517A1/ja active IP Right Grant
- 1998-10-23 KR KR10-2000-7004504A patent/KR100377286B1/ko not_active IP Right Cessation
- 1998-10-23 DE DE69841698T patent/DE69841698D1/de not_active Expired - Lifetime
- 1998-10-23 CA CA 2308460 patent/CA2308460C/en not_active Expired - Lifetime
- 1998-10-23 EP EP20100000894 patent/EP2187641B1/en not_active Expired - Lifetime
- 1998-10-23 DE DE1998633443 patent/DE69833443T2/de not_active Expired - Lifetime
- 1998-10-23 EP EP20100011902 patent/EP2306721B1/en not_active Expired - Lifetime
- 1998-10-23 EP EP98950368A patent/EP1026899B1/en not_active Expired - Lifetime
- 1998-10-23 EP EP20100000893 patent/EP2200314B1/en not_active Expired - Lifetime
- 1998-10-23 AU AU96474/98A patent/AU9647498A/en not_active Abandoned
- 1998-10-23 EP EP20100011904 patent/EP2306723B1/en not_active Expired - Lifetime
- 1998-10-23 EP EP20100011903 patent/EP2306722B1/en not_active Expired - Lifetime
-
2001
- 2001-02-05 HK HK05110863A patent/HK1079022A1/xx not_active IP Right Cessation
- 2001-02-05 HK HK01100809A patent/HK1030121A1/xx not_active IP Right Cessation
-
2005
- 2005-09-22 US US11/231,835 patent/US7197188B2/en not_active Expired - Lifetime
-
2007
- 2007-02-20 US US11/707,922 patent/US7362907B2/en not_active Expired - Fee Related
-
2008
- 2008-02-04 US US12/068,200 patent/US7970217B2/en not_active Expired - Fee Related
-
2010
- 2010-07-07 HK HK10106604.3A patent/HK1140347A1/xx not_active IP Right Cessation
- 2010-08-17 HK HK10107855A patent/HK1141653A1/xx not_active IP Right Cessation
-
2011
- 2011-06-08 HK HK11105762A patent/HK1151912A1/xx not_active IP Right Cessation
- 2011-06-09 HK HK11105829A patent/HK1152177A1/xx not_active IP Right Cessation
- 2011-06-10 HK HK11105905.0A patent/HK1151915A1/xx not_active IP Right Cessation
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6400889B1 (en) | 1998-01-23 | 2002-06-04 | Matsushita Electric Industrial Co., Ltd. | Image processing method for decoding compressed image data |
US6418268B1 (en) | 1998-01-23 | 2002-07-09 | Matsushita Electric Industrial Co., Ltd. | Image processing method for decoding compressed image data |
US6449424B1 (en) | 1998-01-23 | 2002-09-10 | Matsushita Electric Industrial Co., Ltd. | Image transmission method and computer readable image data structure |
US7155110B2 (en) | 1998-01-23 | 2006-12-26 | Matsushita Electric Industrial Co., Ltd. | Image transmission method |
JP2003517797A (ja) * | 1999-12-14 | 2003-05-27 | サイエンティフィック−アトランタ, インコーポレイテッド | 調和されたリソースの割当てを有するビデオ信号を適応的に復号化するシステムおよび方法 |
US8429699B2 (en) | 1999-12-14 | 2013-04-23 | Arturo A. Rodriguez | Systems and methods for resource-adaptive processing of scaled video and graphics |
WO2001091467A1 (en) * | 2000-05-26 | 2001-11-29 | Mitsubishi Denki Kabushiki Kaisha | Method and device for encoding image |
KR100424762B1 (ko) * | 2001-09-06 | 2004-03-30 | 삼성전자주식회사 | 영상 데이터 제공 시스템 및 방법 |
JP2007524309A (ja) * | 2004-02-20 | 2007-08-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ復号の方法 |
JP2010045853A (ja) * | 2009-11-20 | 2010-02-25 | Mitsubishi Electric Corp | 動画像符号化装置および動画像符号化方法 |
JP2013164660A (ja) * | 2012-02-09 | 2013-08-22 | Nec Corp | ストレージ装置 |
US9998750B2 (en) | 2013-03-15 | 2018-06-12 | Cisco Technology, Inc. | Systems and methods for guided conversion of video from a first to a second compression format |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH11196411A (ja) | 画像符号化装置、画像符号化方法、画像復号化装置、及び画像復号化方法 | |
KR101215615B1 (ko) | 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치 | |
CN1950907B (zh) | 运动画面流产生装置,运动画面编码装置,运动画面多路复用装置和运动画面解码装置 | |
US8275247B2 (en) | Method and apparatus for normal reverse playback | |
JP4838251B2 (ja) | 画像復号化装置、画像復号化方法および画像復号化システム | |
US8050328B2 (en) | Image decoding method | |
JP4838253B2 (ja) | 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法、および記録方法 | |
WO2006027880A1 (ja) | 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム | |
EP1161097A1 (en) | MPEG decoder | |
JP2002359848A (ja) | 画像処理装置 | |
JP2008167061A (ja) | 符号化装置及び符号化方法 | |
US6999090B2 (en) | Data processing apparatus, data processing method, information storing medium, and computer program | |
KR20040065170A (ko) | 화상 정보 복호 장치 및 방법 | |
JP4906197B2 (ja) | 復号装置および方法、並びに記録媒体 | |
JP2003244641A (ja) | 画像再生装置、及び画像再生方法 | |
JP3894206B2 (ja) | 画像符号化装置、画像符号化方法、画像復号化装置、及び画像復号化方法 | |
JP2003179867A (ja) | データ処理装置、データ処理方法、および情報記憶媒体、並びにコンピュータ・プログラム | |
JP2003052020A (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
JP2006187037A (ja) | 画像再生方法 | |
JP2010206463A (ja) | 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム | |
JP2008005520A (ja) | Mpegデータ記録再生装置 | |
Eerenberg et al. | System requirements and considerations for visual table of contents in PVR | |
JP2003052013A (ja) | 画像処理装置 | |
JP2007336574A (ja) | Mpegデータ記録再生装置 | |
JP2007074467A (ja) | 情報処理装置および方法、送信装置および方法、記録装置および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040420 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040618 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040628 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060921 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090929 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130929 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |