WO1999021367A1 - Codeur et decodeur d'image - Google Patents
Codeur et decodeur d'image Download PDFInfo
- Publication number
- WO1999021367A1 WO1999021367A1 PCT/JP1997/003785 JP9703785W WO9921367A1 WO 1999021367 A1 WO1999021367 A1 WO 1999021367A1 JP 9703785 W JP9703785 W JP 9703785W WO 9921367 A1 WO9921367 A1 WO 9921367A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- time
- image
- information
- decoding
- unit
- Prior art date
Links
- 230000002194 synthesizing effect Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 18
- 230000003252 repetitive effect Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 26
- 238000006243 chemical reaction Methods 0.000 description 10
- 239000000203 mixture Substances 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
- H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
- H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
Definitions
- the present invention relates to an image encoding device and an image decoding device that perform image processing.
- V ⁇ P that does not need to be analyzed in the case of dropped frames in the image signal, information that is dropped
- VOP that needs analysis In the case of dropped frames in the image signal, information that is not dropped
- bit length of the modulo time base is determined by the following G ⁇ V header However, if the optional G0V header is not multiplexed, the bit length of the modulo time base continues to increase.
- the present invention has been made to solve the above-described problems, and provides an image encoding device and an image decoding device in which processing accuracy is improved by simple processing.
- Still another object is to prevent the generation of unnecessary information. Disclosure of the invention
- the present invention relates to an image encoding device that encodes an image in object units, encoding means for encoding an image based on predetermined display speed information, and an image code encoded by the encoding means. And multiplexing means for multiplexing the predetermined display speed information with the multiplexed signal and outputting the multiplexed signal. This allows display speed information to be multiplexed and sent.
- the present invention multiplexes the display speed information for each object.
- display speed information can be multiplexed for each object.
- the present invention provides an image decoding apparatus for decoding an encoded bit stream obtained by encoding an image in an object unit
- Display speed information decoding means for decoding display speed information from the coded bit stream, and control of reproduction of an image processed on an object basis based on the display speed information decoded by the display speed information decoding means. It is equipped with a control means to perform the control. This enables image restoration with a simple configuration Processing can be performed smoothly and accurately.
- the present invention decodes the display speed information for each object. As a result, the image restoration processing can be performed more smoothly and accurately with a simple configuration.
- the decoding apparatus includes decoding time specifying means for specifying a time to be decoded in the object, and decoding means for decoding the object based on the decoding target time obtained by the decoding time specifying means. This makes it possible to smoothly and accurately perform image restoration processing with a simple configuration.
- the present invention provides an image encoding apparatus for encoding an image in an object unit, wherein an absolute time for multiplexing information representing an absolute time for the object for each object with the encoded image signal is provided. It has multiplexing means. This makes it possible to transmit the information expressing the absolute time in a multiplexed manner.
- the present invention provides an image decoding apparatus for decoding an encoded bit stream obtained by encoding an image in an object unit, wherein the absolute time analyzing information representing the absolute time for the object for each object is provided.
- the analyzing means performs reproduction processing of an image processed on an object basis based on information representing the absolute time analyzed by the absolute time analyzing means. This makes it possible to easily and accurately combine images.
- the present invention provides an image encoding apparatus that encodes an image in an object unit, wherein the information from the reference time to the display time is defined as information defining the display time of the image at each time for each object.
- time information encoding means for encoding the image corresponding to each time and the second time information defining the display time with a finer precision from the time defined by the first time information.
- the converting means expresses the first time information by converting it into a bit length, and when the bit length of the first time information is longer than a predetermined set value, the conversion means converts the first time information into a bit length.
- the present invention provides an image encoding apparatus for encoding an image in an object unit, wherein information defining a display time of an image at each time for each object includes a time from a reference time to a display time.
- Time information encoding means for encoding the first time information to be defined and the second time information to define the display time with a finer accuracy from the time defined by the first time information and the image corresponding to each time.
- the time information encoding means comprises: first time information holding means for holding the first time information encoded in the image at the immediately preceding time; and first time information of the encoded image.
- the present invention provides an image decoding apparatus for decoding a bitstream obtained by encoding an image in an object unit, as information defining a display time of an image at an image display time at each time for each object.
- First time information that specifies the time from the reference time to the display time
- second time information that specifies the display time with a higher degree of precision from the time specified by the first time information
- the decoding / combining means decodes the first time information by performing the decoding based on the first time information and the second time information decoded by the time information decoding means. This is for synthesizing an image signal. As a result, it is possible to receive an image with a small amount of encoded transmission.
- the information defining a display time of an image at each time in an image sequence is provided as:
- the first time information that defines the time from the reference time to the display time and the second time information that defines the display time with greater precision from the time defined by the first time information are stored in the image corresponding to each time.
- a decoding / synthesizing unit for decoding the input coded image signal in units of X-blocks and synthesizing these decoded image signals, wherein the time information decoding unit decodes immediately before decoding.
- the first time information of the decoded image is decoded by adding the information, and the decoding / synthesizing unit decodes the first time information based on the first time information and the second time information decoded by the time information decoding unit. It synthesizes the image signal. This makes it possible to receive an image with a small amount of encoded transmission.
- FIG. 3 is a block diagram showing a VOP encoder section according to the first embodiment of the present invention
- FIG. 4 is a block diagram showing a VOP encoder section according to the first embodiment of the present invention
- FIG. 5 is a diagram illustrating a modulo time base and VOP time increment
- FIG. 6 is a block diagram of a VOP encoder unit according to the first embodiment of the present invention
- FIG. 7 is a block diagram showing an example of the configuration of a header multiplexing unit
- FIG. 7 is a block diagram showing an internal configuration of a VOP decoder unit according to Embodiment 2 of the present invention
- FIG. 9 is a block diagram showing an example of a configuration of a header analysis unit of a V0P decoder unit according to the second embodiment.
- FIG. 9 shows a system for synthesizing a plurality of objects according to the second embodiment of the present invention.
- FIG. 10 is a block diagram of the VOP decoder according to the third embodiment of the present invention.
- FIG. 11 is a block diagram showing an example of the configuration of the header analysis unit.
- FIG. 11 is a block diagram showing an example of the configuration of the header analysis unit of the V0P decoder unit according to the third embodiment of the present invention.
- FIG. 13 is a block diagram showing an example of a configuration of a header multiplexing unit of a V0P encoder unit according to a fourth embodiment of the present invention.
- FIG. 10 is a block diagram of the VOP decoder according to the third embodiment of the present invention.
- FIG. 11 is a block diagram showing an example of the configuration of the header analysis unit.
- FIG. 13 is a V0P encoder unit according to a fourth embodiment of the present invention.
- FIG. 14 is a block diagram showing an example of the configuration of a header multiplexing unit, and FIG. 14 is a block diagram showing an example of the internal configuration of a VOP decoder unit according to the fifth embodiment of the present invention.
- FIG. 16 is a block diagram showing an example of the configuration of a header analysis unit of a VOP decoder unit according to Embodiment 5 of the present invention.
- FIG. 16 is a block diagram showing a system for synthesizing a plurality of objects according to Embodiment 5 of the present invention.
- FIG. 17 is a block diagram showing a header analyzing unit of the VOP decoder unit according to the fifth embodiment of the present invention.
- FIG. 18 is a block diagram showing an example of the internal configuration of the V ⁇ P decoder section according to the fifth embodiment of the present invention.
- FIG. 19 is a block diagram showing an example of the internal configuration of the V ⁇ P decoder section according to the fifth embodiment of the present invention.
- FIG. 20 is a block diagram showing an example of the configuration of a header multiplexing unit of a VOP encoder unit according to the present invention.
- FIG. Diagram, Figure 2 1 is a block diagram showing an example of the configuration of a header multiplexing unit of a VOP encoder unit according to Embodiment 8 of the present invention.
- FIG. 22 is a block diagram of a VOP decoder unit according to Embodiment 9 of the present invention.
- FIG. 3 is a block diagram illustrating an example of the configuration of a header analysis unit. BEST MODE FOR CARRYING OUT THE INVENTION
- a means for performing encoding based on the display speed information of an object which is an element of the present embodiment, in the MPEG-4 video encoding system disclosed in ISO / IEC JTC11 SC29 / WG11 / N1796.
- V • P encoder including means for adding the display speed information used for each object and multiplexing the encoded bitstream into an encoded bitstream.
- MPEG-4 is a method in which a moving image sequence is regarded as a set of moving image objects having an arbitrary shape in time and space, and each moving image object is encoded and decoded.
- Figure 1 shows the video data structure in MPEG-4.
- a moving image object including the time axis is called a video object (Video Object (V ⁇ )), and the components of V0 are called a video object layer (Video Object Layer (VOL)).
- V ⁇ L are called the Group of Video Object Plane (GOP), and represent the state of each time of G0V, and the image data that is the unit of encoding
- the video object plane! Video Object Plane (V0P)].
- V0 can be, for example, a speaker or background in a video conferencing scene.
- VOL is a unit that has a unique temporal and spatial resolution, such as the speaker and background, and V0P is the time of each V0L (equivalent to a frame) Is the image data.
- G0V is a data structure that is a unit of editing or random access in which a plurality of V ⁇ Ps are collected, and is not necessarily used for encoding.
- FIG. 2 shows a specific example of V 0 P.
- V 0 P This is a binary matrix that is the same as the image size of the luminance signal with 0 outside.
- a conventional frame image is obtained by arranging a plurality of VOPs on a screen.
- each V ⁇ P is equivalent to a frame.
- the image encoding device will be described.
- This is based on the MPEG-4 video encoder, and since the MPEG-4 video decoder performs encoding in units of the above VOP, it is hereinafter referred to as a VOP encoder. Since the operation of the existing V ⁇ P encoder is disclosed in ISO / IE C JTC1 / SC29 / WG11 / M796, etc., the description of the existing VOP encoder itself is avoided here. An encoder will be described.
- FIG. 3 shows a configuration example of a VOP encoder according to the present embodiment, where 110 is an encoding V 0 P determination unit, 111 is a shape encoding unit, and 113 is a motion Estimation unit, 1 15 is motion compensation unit, 1 18 is texture coding unit, 1 2 2 is memory, 1 2 4 is header multiplexing unit, 1 2 6 is video signal multiplexing unit, 1 2 8 is subtraction 129 is an adder.
- the coding V0P determination unit 110 determines the VOP to be coded in the input object-processed image based on the VOP rate information 7 set according to the external setting and the coding status. And outputs the VOP to be encoded to the shape encoding unit 111, the motion estimating unit 113, and the subtractor 128.
- the VOP rate information 7 corresponds to the display speed information in the present invention, and indicates how many VOPs included in units such as VOL and GOV are displayed per second. Say information.
- a specific example of the operation of the coding V0P determination unit 110 will be described.
- the coded VOP determination unit 110 will return the V0 included in the input object image. It is determined that V0P to be coded among Ps is every other card, and outputs V0P to be coded every other card.
- the VOP identified as the encoding target by the encoding VOP determination unit 110 is configured such that the shape data is referred to as alpha blocks for each 16-pixel ⁇ 16-pixel area, and the texture data is macro-blocked.
- the coding is performed for each area of 16 pixels X 16 pixels called a block.
- the shape encoding unit 111 encodes an input alpha block, and outputs shape encoded information 112 and locally decoded shape information 109.
- the shape coded information 1 1 2 is sent to the video signal multiplexing unit 1 2 6, and the locally decoded shape information 1 9 9 is sent to the motion estimating unit 1 13, texture coding unit 1 15 and texture coding unit 1 1 Entered in 8.
- the motion estimation unit 113 inputs the reference data 123a in the memory 122, performs block matching in units of macroblocks, and obtains motion information 114. At this time, the local decryption shape information Based on information 109, motion information is obtained by block matching for only the objects included in the macroblock.
- the motion compensating unit 115 inputs the reference data 123 b at the position indicated by the motion information 114 in the memory 122 and creates a predicted image based on the local decoding shape information 109.
- the predicted image 1 16 created by the motion estimator 1 15 is input to a subtractor 1 28 and an adder 1 2 9.
- the subtractor 128 calculates the difference between the predicted image 116 and the input MAC block to generate a predicted error image 117.
- the texture encoding unit 118 encodes the input prediction error image 117 by a predetermined method defined by MPEG-4, and obtains texture encoding information 119 and a local decoding prediction error image 120. . At this time, based on the local decoding shape information 109, encoding is performed only for the objects included in the block.
- the texture coded information 1 19 is sent to the video signal multiplexing unit 1 26, and outputs the locally decoded prediction error image 1 20 to the adder 1 2 9
- the adder 1 2 9 The addition of the locally decoded prediction error image 122 is performed to create a decoded image 121, which is written to the memory 122.
- Each header information is multiplexed in the header multiplexing section 124, and the bit stream 125 in which each header information is multiplexed is input to the video signal multiplexing section 126. .
- the video signal multiplexing section 126 forms the bit stream 125 into which the header information is multiplexed into the shape coding information 112, the motion information 114, and the texture coding information 119. Performs multiplexing and outputs an encoded VOP bitstream.
- FIG. 4 is a block diagram showing the configuration of the header multiplexing unit in FIG.
- 1 is a VO header multiplexing unit
- 2 is a V 0 L header multiplexing unit
- 3 is a G
- 4 is a G0V header multiplexing section
- 5 is a VOP header multiplexing section
- 6 is GOV multiplexing information
- 7 is V0P rate information.
- the V0 header multiplexing section 1 creates a bitstream in which V0 header information is multiplexed, and outputs the created bitstream to the V0L header multiplexing section 2.
- the VOL header multiplexing unit 2 multiplexes the input bitstream with the VOL header information, and outputs the multiplexed bitstream to the G0V header multiplexing selection unit 3.
- the G ⁇ V header multiplexing selection unit 3 determines whether the bit stream output from the V0L header multiplexing unit 2 is to be multiplexed with the G0V header. Judgment is made based on the G ⁇ V multiplexing information 6 shown. If the G0V multiplex information 6 indicates that the G0V header is not multiplexed, the G0V multiplex information 6 is multiplexed into the G0V header to the V0P header multiplexing unit 5. If it is indicated that the encoding is to be performed, the bit stream is output to the G • V header multiplexing unit 4.
- the G0V header multiplexing section 4 multiplexes the V0P list information 7 into the input bitstream, and outputs the bitstream to the V0P header multiplexing section 5.
- Table 1 shows an example of the V0P rate information 7 and shows an example of expressing four types of V0P rates. If the V0P rate is 30 pages / sec, multiplex “01”. If the VOP encoded immediately before and the VOP to be encoded are the same, V ⁇ P rate information “0 0” is multiplexed, and the following V0P header information and V ⁇ P data are multiplexed. Do not multiplex evening information. If the V0P rate is variable, V0P rate information "1 1" is multiplexed.
- the VOP start code multiplexing unit 8 in the V 0 P header multiplexing unit 5 multiplexes the VOP start code into the input bitstream.
- the bit stream is output to a modulo_time-base multiplexing unit 9 and a VOP-time-increment multiplexing unit 10.
- the modulo 'dime' base 13 is, as shown in FIG. 5, information indicating how many seconds after the V0P is displayed from a certain reference time, and the VOP time increment As shown in FIG. 5, the information 14 is information for finely adjusting the display time with an accuracy of 1/100 second from the time determined by the modulo time base. In other words, with MP EG-4, the display time of VO P can be specified with an accuracy of 1/100 second.
- the management time creation unit 12 in the V0P header multiplexing unit 5 creates a modulo time base 13 and a VOP time increment 14 based on the V0P rate information 7. Then, the modulo-time base 13 is output to the modulo-time-base multiplexing section 9 and the VOP time increment 14 is output to the VOP time-increment multiplexing section 10. However, if the VOP rate information 7 indicates that it is variable, the modulo time base 13 and the V0P time increment 14 are set irrespective of the VOP rate information 7. .
- the modulo time base multiplexing unit 9 multiplexes the bitstream output from the VOP start code multiplexing unit 8 with a modulo time base of 13 and performs the multiplexing after the multiplexing.
- the bit stream is output to the VOP time increment multiplexing unit 10.
- the VOP time-increment multiplexing section 10 adds the V0P time-increment output from the management time creation section 12 to the bitstream output from the modulo time base multiplexing section 9. 14 is multiplexed, and the multiplexed bitstream is output to the video information header multiplexing unit 11.
- This video information header multiplexing unit 1 1 Multiplexes video information headers into the bit stream output from the VOP time increment multiplexing unit 10, and multiplexes the multiplexed bit stream into a video signal. Output to section 1 2 6
- the decoder side analyzes only the VOP start code of the header to each VOP.
- a bitstream that can determine whether or not the VOP to be decrypted needs to be decrypted and that can easily combine a plurality of objects can be created.
- VOP rate information may be defined in units of VOL, and coding and multiplexing of VOP rate information may be performed.
- the VOP rate information 7 is determined in V ⁇ L units, and is multiplexed by the VOL header multiplexing unit 2. Based on this, the modulo time-base 13 and the VOP time increment 14 are determined.
- an encoding unit that encodes an image based on predetermined display speed information
- the multiplexing means multiplexes the display speed information for each object.
- an image decoding apparatus for decoding and outputting the VOP rate information described in Embodiment 1 from an encoded bit stream, that is, an MPEG-4 video decoder (hereinafter, referred to as an VOP decoder)
- an MPEG-4 video decoder hereinafter, referred to as an VOP decoder
- VOP decoder image decoding device
- the VP decoder is a decoder that can decode the coded bitstream generated by the VP encoder described in the first embodiment.
- FIG. 7 shows an example of the internal configuration of the V0P decoder according to the present embodiment.
- the V0P decoder is composed of texture data and shape data, and this decoder receives compression-encoded data as input, and It shall have the function of restoring.
- 150 is an encoded VOP bitstream
- 151 is a header analyzer
- 152 is a bitstream in which header information is analyzed
- 1503 is a video signal analyzer
- 1 54 is shape coding data
- 155 is shape decoding unit
- 156 is decoding shape data
- 157 is texture coding data
- 158 is motion information
- 160 is predicted texture data
- 161 is a texture decoding unit
- 162 is decoding texture data
- 164 is memory
- 165 is reference data.
- the encoded VOP bitstream 150 is input to the header analyzer 151, and the header information is analyzed according to a predetermined syntax.
- the bit stream 1502 whose header information has been analyzed in the header analysis unit 151 is input to the video signal analysis unit 153, and the encoded shape data 154 and the texture encoded data 157 are input to the video signal analysis unit 153.
- the motion information is analyzed as 158.
- the shape decoding unit 1 5 5 is the input shape Decode the encoded data 154 and output decoded shape data 156.
- the motion compensator 159 outputs the predicted texture data 160 from the reference data 165 in the memory 164 and the motion information 158 input from the video signal analyzer 153.
- the texture decoding unit 161 restores the image data in a predetermined manner based on the texture coded data 157 and the predicted texture data 160 by a predetermined method defined by MPEG-4, and decodes the decoded texture data. Produces 1 6 2 overnight. Since the decoded texture data 162 is used for decoding the subsequent VOP, it is written into the memory 1664.
- FIG. 8 shows the internal configuration of the header analysis unit 151 which is a feature of the present embodiment.
- 51 is a start code analysis section
- 52 is a VO header analysis section
- 53 is a V0L header analysis section
- 54 is a GOV header analysis section
- 58 is ⁇ 0?
- Reference numeral 55 denotes a V0P header analysis unit.
- the header analysis unit 151 in the present embodiment decodes the VOP rate information 58 of the VOP included in the GOV from the bit stream in the G0V header analysis unit 54. This is output to the outside. How to use the VOP rate information 58 will be described later.
- the start code analysis unit 51 analyzes a start code included in the input encoded VoIP bit stream 150. If the analyzed code indicates V 0, go to the V 0 header analyzer 52. If the analyzed code indicates V 0 L, the V 0 L header analyzer 5 Go to step 3 if the start code that prayed indicates G-V, go to the G0V header analysis section 54. If the analyzed start code indicates the VOP, go to the VOP header analysis section 5 5 Outputs a bit stream to the receiver. It should be noted that the bitstream is output to the video signal analyzing section 1553 after the analysis processing of the V0P header analyzing section 55 is completed.
- V ⁇ Header analysis unit 52 detects V0 from the input bitstream.
- the stream information is analyzed, and the bitstream that has been analyzed is output to the start code analyzer 51.
- the V0L header analysis section 53 analyzes the V0L header information from the input bitstream and outputs the bitstream that has been analyzed to the start code analysis section 5. Output to 1.
- the GOV header analysis unit 54 analyzes the GOV header information from the input bitstream, and outputs the analyzed bitstream to the start code analysis unit 51. At this time, it decodes and outputs the V0P rate information 58 included in the G0V header information.
- the V0P header analysis unit 55 analyzes the V0P header information from the input bitstream, and outputs the bitstream that has been analyzed through the start code analysis unit 51. Output to video signal analysis section 15 3.
- FIG. 9 shows a system that synthesizes multiple objects using this information.
- 200 is an encoded VOP bitstream a
- 210 is an encoded VOP bitstream 13
- 202 is an encoded VOP bitstream ⁇
- 203 a decodes the encoded VOP bitstream a 200
- V0P decoder unit 203b decodes encoded VOP bitstream b201 V0P decoder unit, 203c encodes V0P bitstream c20 2 is a VOP decoder unit, 204 is a decoded object image a, 205 is a decoded object image b, 206 is a decoded object image c207 is VOP rate information a, 2 08 is VOP rate information b, 209 is V ⁇ P rate information c, 210 is a composition part, and 211 is a decoded image.
- the decoded object image is composed of the decoded shape data 1556 of each V ⁇ P and the corresponding decoded texture data 162.
- V 0 P (for example, G 0 V, V 0 L, etc.) Shall point to.
- the encoded VOP bitstream a 200-c 202 is decoded by the corresponding VOP decoder 203-a 203c, and the decoded V 0 P image a 204-c 2 0 6 is generated.
- each V0P decoder section decodes the corresponding VOP rate information a207-c209 and outputs it to the composition section 210.
- the composition unit 210 combines the decoded VOP image with the image frame at which time of the decoded image 211 based on the VOP rate information a207 to c209. Is determined and mapped to the image frame at the corresponding time. For example, it is assumed that the decoded image 2 11 is displayed at 30 frames per second (this corresponds to the display speed of a normal TV signal). Further assume the following situation.
- V0P image a204 is displayed at 5 images per second (that is, V0P rate information a207 represents 5 images / second).
- ⁇ Decoded VOP image b205 is displayed at 10 frames per second (that is, V ⁇ P rate information b208 indicates 10 frames / second).
- VOP image c206 is displayed at 15 frames per second (that is, VP rate information c209 indicates 15 frames / second).
- all of the decoded V ⁇ P images a204 to c206 are mapped to the first image frame of each second of the decoded image 211, and every fifth image frame from the beginning of each second is mapped.
- the decoded V0P image a204 is mapped to the frame
- the decoded VOP image b205 is mapped to the image frame every 10th frame from the beginning of each second, and the 15th frame from the beginning of each second.
- the operation that the decoded V ⁇ P image c 206 is mapped to this image frame can be performed.
- the code that encodes VOP rate information in the GOV layer By using a VOP decoder that decodes an encoded bitstream, it is possible to realize a system that combines a plurality of objects with a simple configuration and obtains a reproduced image.
- the V0P rate information may be encoded on the image encoding device side in units of V0L.
- the image decoding device can decode the V0P rate information encoded in VOL as a unit, and can synthesize a plurality of simple objects as described above using V0L as a unit. It is.
- a configuration using a VOP decoder and a system for decoding and reproducing only one object uses only one VOP decoder. It is possible.
- an image decoding apparatus that decodes an encoded bit stream obtained by encoding an image in an object unit
- display speed information is decoded from the encoded bit stream.
- An embodiment comprising a display speed information decoding means for controlling the reproduction speed of an image processed on an object basis based on the display speed information decoded by the display speed information decoding means, is disclosed. did.
- Embodiment 3 an example of the display speed information decoding means for decoding the display speed information for each object has been disclosed. Embodiment 3.
- Embodiment 2 another embodiment of the V0P decoder described in Embodiment 2 will be described. It is assumed that the VOP decoder according to the present embodiment has a function of specifying a VOP to be decoded and decoding based on the value of the VOP rate assumed by the decoder.
- the V 0 P decoder uses the V 0 P decoder described in the second embodiment. Since only the configuration operation of the header analysis section 15 1 of the header is different, only this member will be described.
- FIG. 10 is a block diagram showing a configuration of a header analysis unit of a V0P decoder unit according to a third embodiment of the present invention, wherein a V0P rate on the encoder side and a V0P rate on the decode side are shown. This is the case when the values do not match.
- reference numeral 59 denotes a decode V0P selector, which compares the V0P rate 58 output from the G ⁇ V header analyzer 54 with the V0P rate 61 assumed on the decoder side.
- VOP selection information 62 is output.
- the VP header analysis unit 55 has a power management unit 60 in addition to the time management information header analysis unit 56 and the video information header analysis unit 57.
- the decoded V0P selection unit 59 decodes based on a comparison between the VOP rate 58 analyzed by the GOV header analysis unit 54 and the VOP rate 61 assumed by the decoder side.
- the VOP selection information 62 indicating the information of the VOP is output to the counter part 60 of the VOP header analysis unit 55.
- the counter part 60 determines whether or not to decode the VOP header information following the VOP start code included in the input bitstream based on the VOP selection information 62.
- VOP rate 58 analyzed by the G0V header analysis unit 55 is 30 sheets / sec
- the VOP rate assumed by the decoder side is 15 sheets / sec.
- the count part 60 the count is first performed at the count 60a every time the V0P header is input.
- the decision unit 6 Ob obtains the V 0 P input based on the number of counts input from the counter 60 a and the VOP rate selection information 62 input from the V O P selection unit 59. To determine if it is necessary to analyze . If it is determined that it is necessary to analyze the input V 0 P, the input bit stream is output to the time management information header analysis unit 56. If it is determined that it is not necessary to analyze the input V 0 P, the input bit stream is output to start code analysis section 51.
- VOP rate selection information 6 2 is information that one VOP needs to be analyzed for three V 0 Ps, it is input from the counter 6 O a in the decision unit 6 O b
- V0P necessary for analysis
- the case where the remainder after dividing the number of counts input from counter 60 a by 3 is 1 or 2 is 1 Judge as V ⁇ P that does not require analysis.
- the V0P decoder corresponding to the case where the V0P header contains V ⁇ P rate information
- the VOP rate The information may be included in the VOL header.
- the V0L header analyzer 300 may have a function of decoding the V0P rate information 58.
- VOP decoder in the present embodiment can be used in a system that combines a plurality of objects or in a system that decodes and reproduces only one object.
- the control means compares the display speed information of the object decoded by the display speed information decoding means with the display speed information of the object preset in the decoding device.
- a decoding time specifying means for specifying a time to be decoded in the object based on the decoding time, and a decoding means for decoding the object based on the decoding time obtained by the decoding time specifying means. Examples have been disclosed. Embodiment 4.
- V0P encoder In the present embodiment, another embodiment of the V 0 P encoder described in the first embodiment will be described. It is assumed that the V0P encoder according to the present embodiment has a function of adding a time code specifying the absolute display time of each VOP included in the VOL in units of V0L.
- the time code is time information indicated by Ifl in the IEC standard publication 461 for "t lme and control codes for video tape recoders", and is an image of each time constituting a moving image (MP EG-2
- MP EG-2 This is information that specifies the display time of a frame (eg, V0P in the case of MPEG-4) with an accuracy of hour-minute • second.
- V0P in the case of MPEG-4
- the desired frame can be specified simply by specifying the value of the time code. It has the effect of being able to access
- the V 0 P encoder of the present embodiment differs from the V 0 P encoder in only the configuration operation of the header multiplexing section 124 of the V 0 P encoder described in the first embodiment. Therefore, only this component will be described.
- FIG. 12 is a block diagram showing a configuration of a header multiplexing unit of a V ⁇ P encoder unit according to Embodiment 4 of the present invention.
- the same reference numerals are used for the same parts as in Embodiment 1 shown in FIG. And duplicate explanations are omitted.
- the bitstream in which the V0 header information is multiplexed in the V0 header multiplexing section 1 is input to the VOL header multiplexing section 2.
- the VOL header multiplexing unit 2 transmits a bit stream obtained by multiplexing the input bit stream with VOL header information and a time code 18 as a basis for time management to G 0 V. Output to the multiplexing selector 3.
- the G0V header multiplexing selection unit 3 determines whether or not to multiplex the GOV header with the output destination of the bitstream output from the V0L header multiplexing unit 2. Judgment is made based on GOV multiplexing information 6 indicating When the GOV multiplexing information 6 indicates that the G0V header is not multiplexed, the GOV multiplexing information 6 indicates to the V0P header multiplexing unit 5 that the GOV multiplexing information 6 performs the multiplexing of the GOV header. Outputs a bit stream to the GOV header multiplexing unit 4.
- the G0V header multiplexing unit 4 multiplexes the G0V header information into the bitstream output from the G0V header multiplexing selection unit 3 and transmits the multiplexed data to the V0P. Output to the decoder multiplexing unit 5.
- the V0P header multiplexing unit 5 converts the bit stream obtained by multiplexing the V0P start code, the time management information header, and the video information header into the input bitstream into a video signal multiplexing unit. Output to 1 2 6 (see Fig. 3). Note that the operation of the video signal multiplexing unit 126 and thereafter is the same as that described above.
- the time code is multiplexed into the VOL header which is always encoded by MPEG-4
- the screen created by a plurality of objects based on the time code is created. It is possible to construct a bit stream that can be used. Also, in the case where an editing operation is performed while decoding the encoded bit stream according to the present embodiment on an editing device or the like for each business-use video object, V 0 P at an arbitrary time of the object may be used. Has the effect that random access is always possible. From such an effect, the degree of freedom in video composition can be increased.
- the configuration may be such that the force time code information described for the encoder that adds the time code in units of V 0 L is added in units of V OP.
- a time code 18 that defines the absolute display time of each V0P is input to the VOP header multiplexing section 301 so that the multiplexing is performed. What is necessary is just to comprise.
- VOP rate information is encoded.
- time code multiplexing is independent of VOP rate information, and the same effect can be obtained even when VOP rate information is not encoded.
- Embodiment 5 in an image encoding apparatus that encodes an image on an object basis, information representing an absolute time for the object for each object is represented by the encoded image signal.
- One embodiment having an absolute time multiplexing means has been disclosed. Embodiment 5
- FIG. 14 shows the internal configuration of the V 0 P decoder according to the present embodiment.
- the present decoder differs from the VOP decoder described in the second embodiment only in the configuration operation of the VOP decoder, and only the header analysis section 302 is different.
- the header analysis unit 302 has a function of decoding and outputting the time code in the VOL header.
- FIG. 15 shows the internal configuration of the header analysis unit 302.
- reference numeral 303 denotes a V0L header analysis unit.
- the start code analysis unit 51 analyzes the start code included in the input coded VOP bitstream 150. If the analyzed start code indicates VO, the analysis proceeds to the V0 header analysis section 52. If the analyzed start code indicates V0L, the analysis proceeds to the VOL header analysis section 303. If the code indicates G0V, the analysis result is sent to the G ⁇ V header analysis unit 54. If the evening code indicates VOP, the bit stream is output to the VOP header analysis unit 55. After the VOP header analysis section 55 completes the analysis processing, the bitstream is output to the video signal analysis section 1553.
- the V0 header analysis unit 52 analyzes the VO header information from the input bitstream, and outputs the analyzed bitstream to the start code analysis unit 51.
- the VOL header analyzer 303 analyzes the V0L header information from the input bitstream, and outputs the analyzed bitstream to the start code analyzer 51. .
- the time code 64 included in the VOL header information is decoded and output.
- the GOV header analysis unit 54 analyzes the G0V header information from the input bitstream, and outputs the analyzed bitstream to the start code analysis unit 51.
- the VOP header analysis section 55 analyzes the VOP header information from the input bit stream, and outputs the bit stream that has been analyzed through the stream code analysis section 51. And outputs it to the video signal analyzer 153.
- FIG. 16 shows a system for synthesizing multiple objects using this information.
- 400 is an encoded VOP bitstream a
- 4001 is an encoded VOP bitstream ⁇
- 402 is an encoded VOP bitstream 0
- 4003a Is a VOP decoder for decoding the coded VOP bitstream a400
- 403b is a VOP decoder for decoding the coded VOP bitstream b401
- 403c is a code VOP bit stream c
- Decodes V402 P4 decoder section 404 is a decoded object image a
- 405 is a decoded object image b
- 406 is a decoded object image Image c
- 407 is time code a
- 408 is time code b
- 409 is time code c
- 410 is a composition part
- 411 is a
- a decoded object image is composed of the decoded shape data 156 of each VOP and the corresponding decoded texture data 162, and the parentheses are used to group the VOPs (eg, G0V, V ⁇ L, etc.).
- Coded VOP bitstream a 400 encoded VOP bitstream c 402 is the corresponding VOP decoder section 40
- Decoding is performed by 3a-4003c, and a decoded object image a404-C406 is generated. At this time, each VOP decoder section decodes the corresponding time code a407-c409 and outputs this to the composition section 410.
- the composition unit 410 calculates the V 0 P of each time of each decoded object image and the time of any of the decoded images 4 11 1 Decide whether to combine with the image frame and map it to the image frame at the corresponding time. For example, assume the following situation.
- composition section has a time code generation function, and determines the absolute display time of each image frame to be combined.
- the time code of the first image frame of the decoded image 411 defined by the composition section 410 is 01: 00: 00: 00
- the decoded object image a404 is mapped from the first frame of the decoded image 411
- the decoded object image b405 is mapped 10 seconds after the first frame of the decoded image 411 and decoded.
- the object image c406 can be mapped one minute after the first frame of the decoded image 4111 and displayed on the screen.
- the time code may be encoded on the image encoding device side in units of V0P.
- the image coding apparatus side can decode the time code coded in units of V OL, and synthesize a plurality of simple objects as described above for each V OP.
- a VOP decoder that receives an encoded bit stream obtained by multiplexing VOP rate information together with a time code in a VOL header can be considered.
- the absolute display time of the first VOP of the VOL is determined by the time code, and then the absolute display time of each VOP can be easily known from the VOP rate information.
- a composition system can be configured.
- a VOP decoder is used as a system for synthesizing a plurality of objects, but a system that decodes and reproduces only one object uses only one VOP decoder. A configuration is also possible.
- an image is displayed for each object.
- an absolute time analyzing means for analyzing information representing an absolute time for each object for each object
- an absolute time analyzing means for analyzing the information.
- the modulo-evening base (corresponding to the first time information) and the VOP time increment (corresponding to the second time information) currently used in MPEG-4 are used.
- a description will be given of an expression method that improves the modulo-time-based coding method, and a VOP encoder that realizes it.
- the value of the modulo time base is information indicating how many seconds after the V0P is displayed from a certain reference time as shown in FIG.
- the number is represented by the number of bits with the value "1".
- the end of the data is specified by adding the value "0". That is, after 5 seconds, it becomes "1 1 1 1 1 0".
- the power G ⁇ V that defines this reference time by the time code multiplexed in the G0V header is an option, so the GOV header is not necessarily specified as MPEG-4. Need not be encoded.
- the value of the modulo time 'base is at risk of becoming infinitely long.
- the encoding of a modulo-time-based data is performed. An encoder that avoids such a problem is realized.
- FIG. 19 shows an internal configuration of header multiplexing section 124 in the present embodiment.
- 500 is the V 0 P header multiplexing section
- 19 is the bit length arithmetic section
- 20 is the modulo 'time' base
- 21 is the shifted modulo-evening 'base
- 2 2 is the repetition
- 501 is a module unit time base.
- the bitstream in which the V ⁇ header information is multiplexed in the V0 header multiplexing section 1 is input to the V ⁇ L header multiplexing section 2.
- the VOL heg multiplexing unit 2 multiplexes the VOL header information into the input bitstream, and outputs the multiplexed bitstream to the GOL header multiplexing selection unit 3.
- the G 0 V header multiplexing selection unit 3 determines whether to output the bitstream output from the V ⁇ L header multiplexing unit 2 and whether to multiplex the GOV header. Judgment is made based on the G0V multiplexing information 6 shown. If the G ⁇ V multiplexing information 6 indicates that the G0V header is not multiplexed, the GOV multiplexing information 6 indicates to the V0P header multiplexing section 5 that the GOV header is multiplexed. If this is indicated, a bit stream is output to GOV multiplexing unit 4.
- the GOV header multiplexing unit 4 multiplexes the G0V header information into the bit stream output from the GOV header multiplexing selection unit 3 and outputs the multiplexed G0V header information to the V0P header multiplexing unit 5. I do.
- the VOP start code multiplexing unit 8 in the V ⁇ P header multiplexing unit 500 multiplexes the VOP start code into the input bitstream and outputs the multiplexed bitstream. Ream the modulo time base multiplexer Output to 5 0 1
- the bit length calculation unit 19 in the V0P header multiplexing unit 500 compares the bit length of the modulo time base 20 with a predetermined positive threshold value. If the bit length of the modulo-time base 20 is longer, the modulo-time base 20 is divided by the threshold length until the bit length of the base 20 falls below the above threshold. The left shift is repeatedly performed, and a bit sequence obtained as a result, a shifted modulo / imim / base 21 and an information bit 22 indicating the number of repeated shifts are output.
- the information bit 22 indicating the number of repetition shifts may be expressed in binary notation in which the number of repetition shifts is represented by a predetermined fixed number of bits, or the number of repetition shifts is represented by a variable length code.
- a variable bit length notation may be used.
- a specific example of the operation in the bit length calculation unit will be described below.
- the modulo time base multiplexing section 501 in the VOP header multiplexing section 500 shifts the bit stream output from the VOP start code multiplexing section 8 into a modulo time base multiplexing section.
- the bit stream obtained by multiplexing the base 21 and the information bit 22 indicating the number of repetition shifts is output to the V0P instant-increment multiplexing unit 10.
- the VOP time increment multiplexing section 10 is a bit stream obtained by multiplexing the VOP time increment into the bit stream output from the modulo time base multiplexing section 501.
- the frame is output to the video information header multiplexing unit 11.
- the video information header multiplexing unit 11 The bit stream obtained by multiplexing the video information header with the bit stream output from the segment multiplexing unit 10 is output to the video signal multiplexing unit 26.
- the modulo 'time' base is represented by two types of information bits (shifted modulo time 'base and information bits indicating the number of repetitive shifts), Since the above two types of information bits are configured to be multiplexed instead of being encoded with the modulo time base representation currently specified in MPEG-4, information is generated more than in the representation method in MPEG-4.
- the display time of the image at each time is set for each object.
- the first time information that defines the time from the reference time to the display time, and the display time with a finer precision from the time specified by the first time information
- Time information encoding means for encoding second time information defining the time and an image corresponding to each time, and the time information encoding means converts the first time information into a bit length. In other words, if the bit length of the first time information is longer than a predetermined set value, the bit shift for the set value is repeated and the bit shift is performed until the first time information becomes shorter than the set value.
- An embodiment has been disclosed in which the number of times of execution of the bit shift is counted, and the number of times of execution of the bit shift and the bit string obtained from the result of the repeated bit shift are encoded.
- the module multiplexed into the coded bitstream by the module 'time' base multiplexing section 501 described in the sixth embodiment.
- a description will be given of a V0P decoder that restores the mouth, time, and base information and defines the display time of each V0P based on the information and the VOP time increment.
- FIG. 20 shows the internal configuration of the header analysis unit 151 in the present embodiment.
- 502 is a V0P header analysis section
- 65 is a modulo 'time' base analysis section
- 66 is a V0P time increment analysis section
- 67 is a modulo time 'base calculation section
- 69 Is a shifted modulo time base
- 70 is an information bit indicating the number of repetitive shifts.
- the start code analysis unit 51 analyzes the start code from a code VOP bit stream in which an input shift-modulated time base and an information bit indicating the number of repetitive shifts are multiplexed. If the analyzed start code is included in the V ⁇ header, go to the V0 header analysis section 52. If the analyzed start code is included in the V0L header, analyze the V0L header. To section 53, if the analyzed start code is included in the G0V header, go to G0V header analysis section 54.
- the bit stream 1532 is output to the P header analysis section 55 if the analyzed start code is included in the V0P data information (see Fig. 7). .
- the operation of the video signal analysis unit 153 and thereafter is the same as the content described above.
- the modulo time base analysis section 65 in the V ⁇ P header analysis section 502 is a modulo time base that is shifted from the bitstream output from the start code analysis section 51. 6 9 and information indicating the number of repetitive shifts Analysis of the report bit 70 is performed, and the bit stream is output to the modulo time base calculation section 67, and the information bit 70 indicating the number of repetitive shifts is converted to the modulo time base 69. Output to VOP time increment analysis unit 6 6.
- the modulo time base calculation unit 67 calculates the modulo time base from the input shift module input ⁇ time base 69 and the information bit 70 indicating the number of repetitive shifts. Output to section 210. Specifically, the value of the modulo time base is restored by the reverse operation of the procedure described in the sixth embodiment.
- a threshold value that takes a preset positive value (this must be set on the decoder side exactly the same as the similar threshold value shown in the encoder example of Embodiment 6) is set to 4, If the shift modulo 'time' base 69 is “10” and the information bit 70 indicating the number of repetitions is “10”, the upper bit of “10” is “111”. 1 1 1 1 "1 1 1 1 1 1 1 1 0,,” is the modulo time 'base restored value. The obtained modulo time
- the base restoration value is used together with the VOP time increment information to specify the display time of the VOP.
- the VOP time increment analysis unit 66 analyzes the VOP time increment on the bit stream output from the modulo 'time base analysis unit 65, and analyzes the bit stream after the analysis.
- the stream is output to the video information header analysis unit 57.
- the video information header analysis unit 57 analyzes the video information header in the bitstream output from the V ⁇ P time increment analysis unit 66, and outputs the bitstream after analysis. Output to video signal analyzer 1 5 3.
- two types of information bits (shifted modulo time base and information bits indicating the number of repetitions) are used. Since the modulo time base can be calculated by using the bit stream, it is possible to analyze the bit stream described in the ninth embodiment in which the amount of generated information is reduced as compared with the encoded expression defined in MPEG-14. effective.
- the display time of the image at each time is defined for each object.
- first time information that specifies the time from the reference time to the display time
- second time information that specifies the display time with more fine precision from the time specified by the first time information
- Time information decoding means for decoding an image corresponding to each time
- decoding / synthesizing means for decoding an input coded image signal in units of objects and synthesizing these decoded image signals
- the first time information is decoded by adding a code having a fixed value length by the number of times of the bit shift, and the decoding / synthesizing unit outputs the first time information decoded by the time information decoding unit.
- An embodiment has been disclosed in which the decoded image signal is synthesized based on the information and the second time information.
- FIG. 21 shows the internal configuration of header multiplexing section 124 in the present embodiment.
- 5 0 3 is a V 0 P header multiplexing section
- 2 3 is a modulo 'time' base holding section
- 2 4 is a differential modulo time 'base creating section
- 2 5 is a differential modulo time' base multiplexing section
- 2 6 is the difference modulo time base.
- the VOP start code multiplexing section 8 in the VOP header multiplexing section 503 multiplexes the V0P start code into the input bit stream, and outputs the multiplexed bit stream. Output to difference modulo time base multiplexing section 25.
- the modulo time base holding unit 23 in the VOP header multiplexing unit 503 holds the modulo time base value of the VOP encoded immediately before, and modulo the modulo time base of the VOP encoded immediately before. ⁇ After outputting the time base, the modulo time base of the VOP to be encoded is written.
- the difference modulo-time-base creating unit 24 in the VOP header multiplexing unit 503 includes a modulo-time base-modulating unit 23 that receives the modulo-time A difference bit sequence between the base and the modulo time base of the encoding target VOP is calculated, and the difference modulo time base 26 is calculated based on the number of “1” bits included in the calculated difference bit sequence. And outputs it to the differential modulo time base multiplexing unit 25.
- Another way of expressing the difference modulo time 'base is to simply compare only the bit length.
- the bit length of the modulo time base of the VOP coded immediately before is 5, and the bit length of the modulo time base of the VOP to be coded is 6, so that The value of 1 is obtained as the difference.
- This can be used instead of “the number of“ 1 ”bits included in the difference bit string” in the conversion table shown in Table 2 to express the difference modulo time base.
- the differential modulo time base multiplexing section 25 in the V ⁇ P header multiplexing section 503 multiplexes the differential bit stream, time, and base 26 into the input bitstream.
- the multiplexed bit stream is output to the VOP time increment multiplexing unit 10.
- the VOP time-increment multiplexing section 10 in the VOP header multiplexing section 503 has a VOP time-increment in the bit stream output from the differential modulo time base multiplexing section 25. And outputs the multiplexed bitstream to the video information header multiplexing unit 11.
- the modulo time base is expressed by the differential modulo time base, and instead of encoding the modulo time base currently specified in MPEG-4, the encoding is performed as it is. Since the difference modulo time base is configured to be multiplexed, the amount of generated information can be reduced as compared with the expression method in MPEG-4.
- the information defining the display time of the image at each time from the reference time to the display time is defined as information for each object.
- Time information encoding means for encoding comprising: first time information holding means for holding first time information encoded in an image at the immediately preceding time; A difference bit sequence between the first time information of the coded image and the first time information of the image at the immediately preceding time obtained from the first time information holding means is obtained, and the difference bit sequence is converted to the encoded image.
- the difference modulo time-base multiplexing section 25 described in Embodiment 8 multiplexes the difference modulo into the coded bit stream.
- ⁇ Time base information The VOP decoder that restores the value of the modulo time 'base of the VOP from the above and defines the display time of each VOP based on this will be described.
- FIG. 22 shows the internal configuration of the header analysis unit 151 in the present embodiment.
- 504 is a V0P header analysis section
- 71 is a differential modulo 'time' base analysis section
- 72 is a modulo 'time' base creation section
- 73 is a VOP time increment analysis section
- 74 is a modulo The 'time.base' hold
- 75 is the differential modulo 'time' base.
- Time 'base analysis section 71 is a differential modulo time base based on the bit stream output from start code analysis section 51. And outputs the analyzed difference modulo time 'base 75 to the modulo time' base creation unit 72 and the analyzed bitstream to the VOP time increment analysis unit 73 .
- modulo 'time' base creation section ⁇ 2 in the V 0 P header analysis section 504 first, based on the conversion table shown in Table 2, The number of “1” bits contained in the difference bit string between the modulo-time base of the VOP analyzed in advance and the modulo-time base of the analysis target VOP is determined, and the number of “1” bits determined and the module Mouth ⁇ Time ⁇ Base holder 7 Modulo time base based on the modulo time base of the VOP analyzed immediately before obtained from 4 ⁇ Modulo time base created and created modulo ⁇ Time 'base modulo ⁇ Time' base holder 7 Output to 4.
- one,, 1,, bit is added to the most significant bit of the modulo time base "111 1 1 0" of the VOP analyzed immediately before, and the modulo 'time' base,, 1 1 1 1 1 0 "is obtained.
- the conversion table in Table 2 is an example, and other conversion tables are defined. May be used.
- the obtained modulo time base restoration value is used together with the V0P time increment information to specify the display time of the VOP.
- Embodiment 8 also describes “the number of“ 1 ”bits included in the difference bit sequence between the modulo time base of the VOP analyzed immediately before and the modulo time base of the VOP to be analyzed” in the eighth embodiment.
- the modulo time base holding unit 74 in the VOP header analysis unit 504 holds the modulo time base of the VOP analyzed immediately before, and the modulo time base of the VOP analyzed immediately before. After output, the modulo time base of the VOP to be analyzed is input.
- the VOP time increment analysis section 73 in the VOP header analysis section 504 uses the VOP time increment from the bit stream output from the differential modulo time base analysis section 71. The analysis is performed, and the analyzed bitstream is output to the video information header analysis unit 57.
- the configuration is such that the modulo time base can be calculated using the difference modulo time base expressed with a small amount of information. There is an effect that it is possible to analyze the bitstream described in the eighth embodiment in which the amount of generated information is suppressed as compared with the encoded representation to be performed.
- the display time of the image at each time in the image sequence is defined.
- information is the reference time
- the first time information that defines the time from the first time information to the display time
- the second time information that specifies the display time with a finer precision from the time defined by the first time information correspond to each time.
- a time information decoding means for decoding an input coded image signal in units of objects, and a decoding / synthesis means for synthesizing the decoded image signals;
- the first time information of the decoded image is held, and the bit sequence decoded as the first time information of the decoded image is decoded immediately before being obtained from the first time information holding unit.
- the first time information of the image to be decoded is added by adding the first time information of the image, and the decoding / synthesizing means decodes the first time information and the second time decoded by the time information decoding means. Synthesizes the decoded image signal based on the information And discloses an embodiment of a.
- the image encoding device multiplexes the display speed information into the image encoded signal, and the image encoding device multiplexes the encoded information representing the absolute time into the image encoded signal.
- one image encoding device may multiplex display speed information and information representing an absolute time into an image encoded signal.
- the respective image encoding devices described in the above embodiment may be arranged in parallel or in series.
- the image decoding device decodes display speed information, and performs reproduction processing of an image processed on an object basis based on the decoded display speed information.
- the image decoding apparatus decodes the information representing the absolute time, and performs the reproduction processing of the image processed on an object basis based on the decoded information representing the absolute time.
- one image decoding device may perform a reproduction process of an image processed on an object basis, based on display speed information and information representing an absolute time.
- the display speed information decoding unit and the information decoding unit expressing the absolute time which are described in the above embodiments, are arranged in parallel or in series. Based on the information decoded by the decoding unit, the reproduction processing of the image processed for each object may be performed.
- Embodiment 11 1.
- the image encoding device multiplexes the display speed information into the image encoded signal, and the image encoding device encodes the first time information, the second time information, and the image. And multiplexing are disclosed, but one image encoding apparatus may encode and multiplex display speed information, first time information, second time information, and an image.
- the respective image encoding devices described in the above embodiment may be arranged in parallel or in series.
- the image decoding device decodes display speed information, and performs a reproduction process of an image processed on an object basis based on the decoded display speed information.
- the point and image decoding device decodes the first time information, the second time information, and the image, and obtains an image based on the decoded first time information, the second time information, and the image.
- a single image decoding apparatus performs display speed information and a first time when decoding is performed. Image reproduction processing may be performed based on the information and the second time information.
- the display speed information decoding unit and the time information decoding unit of the respective image decoding devices described in the above embodiments are arranged in parallel or in series, and the respective decoding units (means) Based on the information decoded in step), the reproduction processing of the image processed in object units may be performed.
- image restoration processing can be performed more smoothly and accurately with a small amount of encoded transmission.
- the image encoding device has information representing the absolute time, multiplexes the information into the image encoded signal, and the image encoding device has the first time information, the second time information, and the image.
- one image encoding apparatus encodes and multiplexes the information representing the absolute time, and the first time information, the second time information, and the image. Is also good.
- the respective image encoding devices described in the above embodiment may be arranged in parallel or in series.
- the image decoding device the image decoding device
- An image decoding apparatus may perform an image reproduction process based on the information representing the absolute time, the decoded first time information, and the decoded second time information.
- the configuration and operation are the same as those described in the above embodiment.
- the information decoding unit expressing the absolute time and the time information decoding means of the image decoding apparatus of the present invention are arranged in parallel or in series, and based on the information decoded by each decoding unit (means), on an object-by-object basis. Playback processing of the processed image may be performed.
- the image encoding device and the image decoding device analyze the display speed information multiplexed by the image encoding device with the image decoding device, and, based on the analyzed display speed information, By performing the decoding process, the image can be smoothly reproduced with a simple configuration.
- the information representing the absolute time multiplexed by the image encoding device is analyzed by the image decoding device, and the decoding process is performed based on the analyzed information representing the absolute time. Reproduction processing can be performed easily and accurately.
- the first time information and the second time information encoded by the image encoding device are decoded by the image decoding device, and the decoded first time information and second time information are decoded by the image decoding device.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Time-Division Multiplex Systems (AREA)
Description
明 細 書 画像符号化装置および画像復号化装置 技術分野
この発明は、 画像処理を行う画像符号化装置および画像復号化装置 に関するものである。 背景技術
従来のデコー ド側においては、 V 0 Pへッダ情報を解析する以前に、 解析が不必要な V〇 P (画信号のコマ落しの場合、 コマ落しされる情報 ) と解析が必要な V O P (画信号のコマ落しの場合、 コマ落しされない 情報) との区別がつかないため、 各 V 0 Pヘッグに含まれる V 0 Pス夕 — ト 一コー ドとモジュロ · タイム ' ベースと V O Pタイム一イ ンク リメ ン 卜 とを必ず解析しなければならないため、 処理が面倒で処理精度の低 下を招く恐れがあるという課題があった。
また、 画像を構成する被写体、 背景、 ロゴ等のオブジェク トを単位と し、 符号化された信号を復号化及び合成する場合、 それそれのオブジェ ク トには、 復号、 合成する際に必要な合成タイ ミ ング信号 (絶対時刻を 表現する情報) を付加されなければならない。 画像復号化装置は、 絶対 時刻を表現する情報を得なければ、 各オブジェク 卜の合成を行えないの で、 画像再生成が不可能である。 要するに、 この絶対時間を示す情報を 持たないオブジェク トを含む複数オブジェク 卜から 1つの画像を作成し よう とする場合、 絶対時間を示す情報を持たないォブジェク ト とのコン ポジショ ンが不可能となる課題があった。
さらに、 モジュロ · タイム · ベースのビッ ト長は、 次の G〇 Vヘッダ
が多重化されるまで増加するもので、 ォプショ ンである G 0 Vヘッダが 多重化されていないと、 モジュロ · タイム · ベースのビッ ト長が増加し 続けるという課題があつた。
この発明は上記のような課題を解決するためになされたもので、 簡単 な処理で処理精度が向上する画像符号化装置および画像復号化装置を提 供する。
また、 タイムコー ドに基づいて複数のオブジェク トによ り構成される 画面の作成を可能とする画像符号化装置および画像復号化装置を提供す ることを目的とする。
さらにまた、 不必要な情報量の発生を防止することを目的とする。 発明の開示
この発明は、 オブジェク ト単位に画像を符号化する画像符号化装置に おいて、 所定の表示速度情報に基づいて画像を符号化する符号化手段と 、 該符号化手段で符号化された画像符号化信号に上記所定の表示速度情 報を多重化して出力する多重化手段を備えたものである。 このことによ つて、 表示速度情報を多重化して送ることができる。
また、 この発明は、 上記表示速度情報をオブジェク トごとに多重化す るものである。 このこ とによって、 オブジェク ト ごとに表示速度情報を 多重化することができる。
また、 この発明は、 オブジェク ト単位に画像を符号化した符号化ビッ トス ト リ一ムを復号化する画像復号化装置において、
上記符号化ビッ トス ト リームから表示速度情報を復号する表示速度情報 復号手段と、 該表示速度情報復号手段によって復号された表示速度情報 に基づいてォブジヱク ト単位で処理された画像の再生処理を制御する制 御手段を備えたものである。 このことによって、 簡単な構成で画像復元
処理を円滑にかつ精度よ く行う ことができる。
また、 この発明は、 上記表示速度情報をオブジェク トごとに復号する ものである。 このことによって、 簡単な構成で画像復元処理をさらに円 滑にかつ精度よ く行う ことができる。
また、 この発明の前記制御手段は、 上記表示速度情報復号手段によつ て復号されたオブジェク 卜の表示速度情報と、 復号化装置において予め 設定されたォブジヱク 卜の表示速度情報とに基づいて、 該ォブジェク ト において復号対象となる時刻を特定する復号時刻特定手段と、 該復号時 刻特定手段によって得られる復号対象時刻に基づいてオブジェク トの復 号を行う復号手段とを備えたものである。 このことによって、 簡単な構 成で画像復元処理を円滑にかつ精度よ く行うことができる。
また、 この発明は、 オブジェク ト単位に画像を符号化する画像符号化 装置において、 ォブジェク ト毎に該ォブジヱク トに対する絶対時刻を表 現する情報を該符号化された画像信号に多重化する絶対時刻多重化手段 を備えたものである。 このことによって、 絶対時刻を表現する情報を多 重化して送ることができる。
また、 この発明は、 オブジェク ト単位に画像を符号化した符号化ビッ トス ト リームを復号化する画像復号化装置において、 オブジェク ト毎に 該ォブジェク 卜に対する絶対時刻を表現する情報を解析する絶対時刻解 析手段と、 該絶対時刻解析手段によつて解析された絶対時刻を表現する 情報に基づいて、 オブジェク ト単位で処理された画像の再生処理を行う ものである。 このことによって、 画像の合成処理を簡単かつ精度よく行 うことができる。
また、 この発明は、 オブジェク ト単位に画像を符号化する画像符号化 装置において、 オブジェク ト毎に各時刻の画像の表示時刻を規定する情 報として、 基準時刻から表示時刻までの時間を規定する第 1の時間情報
と該第 1の時間情報で定められる時刻からさらに細かい精度で表示時刻 を規定する第 2の時間情報と各時刻に対応する画像とを符号化する時間 情報符号化手段を備え、 該時間情報符号化手段は、 前記第 1の時間情報 をビッ ト長に換算することによ り表現して、 該第 1の時間情報のビッ ト 長が所定の設定値よ り も長い場合、 該設定値よ り短く なるまで該設定値 分のビッ トシフ トを繰り返すとともにビッ トシフ 卜実施回数をカウン ト し、 該ビッ トシフ ト実施回数と繰り返しビッ トシフ 卜の結果から得られ るビッ ト列を符号化するものである。 このことによって、 符号化伝送量 を少なくすることができる。
また、 この発明は、 オブジェク ト単位に画像を符号化する画像符号化 装置において、 オブジェク ト毎に各時刻の画像の表示時刻を規定する情 報と して、 基準時刻から表示時刻までの時間を規定する第 1の時間情報 と該第 1の時間情報で定められる時刻からさらに細かい精度で表示時刻 を規定する第 2の時間情報と各時刻に対応する画像とを符号化する時間 情報符号化手段を備え、 該時間情報符号化手段は、 直前の時刻の画像に おいて符号化された第 1の時間情報を保持する第 1の時間情報保持手段 と、 被符号化画像の第 1 の時間情報と前記第 1の時間情報保持手段から 得られる直前の時刻の画像の第 1の時間情報との差分ビッ ト列を求め、 該差分ビッ ト列を被符号化画像の第 1の時間情報と して符号化するもの である。 このことによって、 符号化伝送量を少なくすることができる。 また、 この発明は、 オブジェク ト単位に画像を符号化したビッ トス ト リームを復号化する画像復号化装置において、 オブジェク ト毎の各時刻 の画像の表示時刻の画像の表示時刻を規定する情報として、 基準時刻か ら表示時刻までの時間を規定する第 1の時間情報と、 該第 1の時間情報 で定められる時刻からさらに細かい精度で表示時刻を規定する第 2の時 間情報とを各時刻に対応する画像とを復号する時間情報復号手段と、 入
力符号化画像信号をオブジェク ト単位に復号化し、 これらの復号化画像 信号を合成する復号合成手段とを備え、 該時間情報復号手段は、 前記第 1の時間情報の符号化デ一夕と して、 ビッ トシフ 卜実施回数と繰り返し ビッ トシフ 卜の結果から得られたビッ ト列とを復号し、 該ビッ ト列に所 定の設定値の長さの符号をビッ トシフ 卜実施回数分だけ付加することに よって前記第 1の時間情報を復号することを特徴とする該復号合成手段 は、 該時間情報復号手段で復号化された第 1 の時間情報及び第 2の時間 情報に基づいて、 復号化画像信号を合成するものである。 これによつて 、 少ない符号化伝送量での画像の受信が可能となる。
さらにまた、 この発明は、 オブジェク ト単位に画像を符号化したビッ トス ト リームを復号化する画像復号化装置において、 画像系列中の各時 刻の画像の表示時刻を規定する情報と して、 基準時刻から表示時刻まで の時間を規定する第 1 の時間情報と該第 1の時間情報で定められる時刻 からさらに細かい精度で表示時刻を規定する第 2の時間情報とを各時刻 に対応する画像とを復号する時間情報復号手段と入力符号化画像信号を ォブジ Xク ト単位に復号化し、 これらの復号化画像信号を合成する復号 合成手段とを備え、 該時間情報復号手段は、 直前に復号された画像の第 1の時間情報を保持し、 被復号画像の第 1の時間情報として復号された ビッ ト列に、 前記第 1 の時間情報保持手段から得られる直前に復号され た画像の第 1の時間情報を加算して被復号画像の第 1の時間情報を復号 し、 該復号合成手段は、 該時間情報復号手段で復号された第 1の時間情 報及び第 2の時間情報に基づいて、 復号化画像信号を合成するものであ る。 これによつて、 少ない符号化伝送量での画像の受信が可能となる。 図面の簡単な説明
図 1 は M P E G— 4におけるビデオデータ構造を示す図、 図 2は V O
pの具体例を示す図、 図 3はこの発明の実施の形態 1 による V O Pェン コーダ部を示すブロ ック図、 図 4はこの発明の実施の形態 1 による V 0 Pエンコーダ部のへッダ多重化部の構成の一例を示すプロ ック図、 図 5 はモジュロ · タイム ' ベースと V O Pタイムイ ンク リメ ン トを説明する 図、 図 6はこの発明の実施の形態 1 による V O Pェンコーダ部のへッダ 多重化部の構成の一例を示すプロ ック図、 図 7はこの発明の実施の形態 2による V O Pデコ一ダ部の内部構成を示すプロ ック図、 図 8はこの発 明の実施の形態 2 による V 0 Pデコーダ部のへッダ解析部の構成の一例 を示すプロ ック図、 図 9はこの発明の実施の形態 2 による複数のォブジ ェク トを合成するシステムを示すブロ ック図、 図 1 0はこの発明の実施 の形態 3による V 0 Pデコーダ部のへッダ解析部の構成の一例を示すブ ロック図、 図 1 1 はこの発明の実施の形態 3による V 0 Pデコーダ部の へッダ解析部の構成の一例を示すプロ ック図、 図 1 2はこの発明の実施 の形態 4による V 0 Pエンコーダ部のヘッダ多重化部の構成の一例を示 すブロ ック図、 図 1 3はこの発明の実施の形態 4による V 0 Pェンコ一 ダ部のへッダ多重化部の構成の一例を示すプロ ック図、 図 1 4はこの発 明の実施の形態 5 による V 0 Pデコーダ部の内部構成の一例を示すプロ ヅク図、 図 1 5はこの発明の実施の形態 5 による V O Pデコーダ部のへ ッダ解析部の構成の一例を示すプロ ック図、 図 1 6はこの発明の実施の 形態 5による複数のオブジェク トを合成するシステムを示すブロ ック図 、 図 1 7はこの発明の実施の形態 5 による V 0 Pデコーダ部のへヅダ解 析部の構成の一例を示すプロ ック図、 図 1 8はこの発明の実施の形態 5 による V〇 Pデコーダ部の内部構成の一例を示すブロ ック図、 図 1 9は この発明の実施の形態 6 による V O Pェンコーダ部のへッダ多重化部の 構成の一例を示すブロ ック図、 図 2 0はこの発明の実施の形態 7による V 0 Pデコーダ部のヘッダ解析部の構成の一例を示すブロ ック図、 図 2
1はこの発明の実施の形態 8による V O Pエンコーダ部のへヅダ多重化 部の構成の一例を示すプロ ック図、 図 2 2はこの発明の実施の形態 9に よる V 0 Pデコーダ部のへッダ解析部の構成の一例を示すプロ ック図で ある。 発明を実施するための最良の形態
以下、 この発明をよ り詳細に説明するために、 この発明を実施するた めの最良の形態について、 添付の図面に従ってこれを説明する。 実施の形態 1.
本実施の形態では、 ISO/IEC JTC11 SC29/WG11/N1796で開示される M P E G - 4 ビデオ符号化方式に、 本実施の形態の要素であるオブジェク 卜の表示速度情報に基づいて符号化を行う手段と、 用いた表示速度情報 をオブジェク トごとに付加して符号化ビッ トス ト リームに多重化する手 段を備えた V◦ Pエンコーダについて説明する。
M P E G— 4は動画像シーケンスを時間/空間的に任意の形状をとる 動画像ォブジェク 卜の集合体としてとらえ、 各動画像オブジェク トを単 位として符号化 ' 復号を行う方式である。 M P E G— 4におけるビデオ データ構造を図 1に示す。 M P E G— 4では時間軸を含めた動画像ォブ ジェク トをビデオ オブジェク ト 〔Video Object ( V〇) 〕 と呼び、 V 0の構成要素をビデオ オブジェク ト レイァ 〔Video Object Layer ( V O L ) 〕 と呼び、 V〇 Lの構成要素をグループ ォブ ビデオ ォブ ジェク ト プレーン 〔Group of Video Object Plane ( G O P ) 〕 と呼 び、 G 0 Vの各時刻の状態を表し、 符号化の単位となる画像データをビ デォ オブジェク ト プレーン !: Video Object Plane ( V 0 P ) 〕 と呼 ぶ。 V 0は例えば、 テレビ会議のシーンの中のそれそれの話者や背景な
どに相当し、 VO Lはそれらの話者や背景などの固有の時間 · 空間解像 度をもつ単位であ り、 V 0 Pはそれら V 0 Lの各時刻 ( =フ レームに相 当) における画像データである。 G 0 Vは V〇 Pを複数集めた編集ゃラ ンダムアクセスなどの単位となるデ一夕構造で、 必ずしも符号化に用い られなくてもよい。
V 0 Pの具体例を図 2に示す。 同図では、 2つの V O P (V O P 1は 人物、 V〇 P 2は壁にかけられた絵画) を示している。 各 V O Pはカラ 一濃淡レベルを表わすテクスチャデータと、 V O Pの形状を表わす形状 データとからなる。 テク スチャデータは画素あたり 8 ビッ 卜の輝度信号 、 色差信号 (輝度信号に対して水平 · 垂直方向に 1 / 2にサブサンプル されたサイズ) からな り、 形状データは V 0 P内部を 1、 V 0 P外部を 0とする輝度信号の画像サイズと同じ 2値のマ ト リ クスデ一夕である。
V O Pによる動画像表現において、 従来のフ レーム画像は複数の V O Pを画面中に配置することによって得られる。 ただし、 動画像シーケン ス中で V Oが 1つの場合、 各 V〇 Pはフ レーム と同義となる。
この場合は形状データは存在せず、 テクスチャデ一夕だけが符号化さ れる。
以下、 本実施の形態における画像符号化装置について説明にする。 こ れは MP E G— 4ビデオエンコーダをベースとしており、 M P E G— 4 ビデオデコーダは、 上記 V O Pを単位と して符号化を実施するので、 以 下、 V O Pエンコーダと呼ぶ。 既存の V〇 Pエンコーダの動作は ISO/IE C JTC1/SC29/WG11/M796などに開示されるので、 ここでは既存の V O P エンコーダそのものの説明は避け、 本実施の形態の要素を含む V 0 P ンコーダの説明を行う。
図 3は本実施の形態における V O Pエンコーダの構成例を示すもので 、 1 1 0は符号化 V 0 P決定部、 1 1 1は形状符号化部、 1 1 3は動き
推定部、 1 1 5は動き補償部、 1 1 8はテクスチャ符号化部、 1 2 2は メモリ、 1 2 4はヘッダ多重化部、 1 2 6はビデオ信号多重化部、 1 2 8は減算器、 1 2 9は加算器である。
次に動作について説明する。 符号化 V 0 P決定部 1 1 0は、 外部設定 や符号化状況に応じて設定される V O Pレー ト情報 7に基づき入力ォブ ジ工ク ト画像のうちの符号化対象となる V O Pの决定を行い、 符号化対 象である V O Pを形状符号化部 1 1 1 と動き推定部 1 1 3 と減算器 1 2 8に出力する。 こ こで、 V O Pレー ト情報 7 とは、 本発明でいう ところ の表示速度情報に相当するものであり、 V O L、 G O Vなどの単位の中 に含まれる V O Pを秒あたり何枚表示させるかを表わす情報を言う。 符号化 V 0 P決定部 1 1 0の動作について具体例を示す。 入力ォブジ ェク ト画像が 3 0枚/秒、 V 0 Pレー ト情報 7が 1 5枚/秒であった場 合、 符号化 V O P決定部 1 1 0は入力オブジェク ト画像に含まれる V 0 Pのうち符号化対象となる V 0 Pは 1枚おきであると判断し、 1枚おき に符号化対象となる V 0 Pを出力する。
符号化 V O P決定部 1 1 0によって符号化対象と特定された VO Pは 、 形状デ一夕をアルフ ァブロ ックとよばれる 1 6画素 X 1 6画素の領域 ごとに、 また、 テクスチャデータをマクロブロ ックとよばれる 1 6画素 X 1 6画素の領域ごとに符号化する。
形状符号化部 1 1 1は、 入力されるアルフ ァブロ ックの符号化を行い 、 形状符号化情報 1 1 2 と局所復号形状情報 1 0 9 とを出力する。 形状 符号化情報 1 1 2はビデオ信号多重化部 1 2 6に送られ、 局所復号形状 情報 1 0 9は動き推定部 1 1 3 とテクスチャ符号化部 1 1 5およびテク スチヤ符号化部 1 1 8に入力される。 動き推定部 1 1 3では、 メモ リ 1 2 2中の参照デ一夕 1 2 3 aを入力し、 マクロブロ ック単位にてブロッ クマッチングを行い、 動き情報 1 1 4を得る。 この際、 局所復号形状情
報 1 0 9に基づきマクロブロック中に含まれるオブジェク トのみを対象 としたブロックマッチングによ り動き情報を得る。
動き補償部 1 1 5では、 メモリ 1 2 2 中の動き情報 1 1 4が示す位置 の参照データ 1 2 3 bを入力し局所復号形状情報 1 0 9 に基づき予測画 像を作成する。 動き推定部 1 1 5において作成された予測画像 1 1 6は 減算器 1 2 8 と加算器 1 2 9 に入力される。
減算器 1 2 8では、 予測画像 1 1 6 と入力マク口プロ ックの差分を計 算し、 予測誤差画像 1 1 7 を作成する。
テクスチヤ符号化部 1 1 8では、 入力された予測誤差画像 1 1 7 を M P E G— 4で定められる所定の方法で符号化し、 テクスチャ符号化情報 1 1 9及び局所復号予測誤差画像 1 2 0 を得る。 この際、 局所復号形状 情報 1 0 9 に基づきブロ ック中に含まれるオブジェク トのみを対象とし た符号化を行う。 テクスチャ符号化情報 1 1 9はビデオ信号多重化部 1 2 6へ送られ、 局所復号予測誤差画像 1 2 0 を加算器 1 2 9へ出力する 加算器 1 2 9は、 予測画像 1 1 6 と局所復号予測誤差画像 1 2 0の加 算を行い復号画像 1 2 1 を作成し、 メモ リ 1 2 2へ書き込む。
へッダ多重化部 1 2 4では各へッダ情報が多重化され、 各へッダ情報 が多重化されたビッ トス ト リーム 1 2 5はビデオ信号多重化部 1 2 6 に 入力される。
ビデオ信号多重化部 1 2 6は、 各ヘッダ情報が多重化されたビッ トス ト リ一ム 1 2 5 に形状符号化情報 1 1 2 と動き情報 1 1 4 とテクスチャ 符号化情報 1 1 9 の多重化を行い、 符号化 V O P ビッ トス ト リ ームを出 力する。
図 4は図 3のヘッダ多重化部の構成を示すブロ ック図である。 同図に おいて、 1 は V Oヘッダ多重化部、 2は V 0 Lヘッダ多重化部、 3は G
OVヘッダ多重化選択部、 4は G 0 Vヘッダ多重化部、 5は V O Pへッ ダ多重化部、 6は G O V多重化情報、 7は V 0 Pレー ト情報である。 次に動作について説明する。 V 0ヘッダ多重化部 1では、 V 0ヘッダ 情報を多重化したビッ トス ト リームを作成し、 作成したビッ トス ト リ一 ムを V 0 Lへッダ多重化部 2に出力する。
V O Lヘッダ多重化部 2は、 入力されたビッ トス ト リームに V O Lへ ヅダ情報の多重化を行い、 多重化後のビッ トス ト リームを G 0 Vヘッダ 多重化選択部 3へ出力する。
G〇 Vへッダ多重化選択部 3では、 V 0 Lへッダ多重化部 2よ り出力 されたビッ トス ト リームの出力先を、 G 0 Vヘッダの多重化を行うか否 かを示す G〇 V多重化情報 6に基づき判断する。 G 0 V多重化情報 6が G 0 Vへッダの多重化を行わないことを示す場合は、 V 0 Pヘッダ多重 化部 5へ、 G 0 V多重化情報 6が G 0 Vヘッダの多重化を行う ことを示 す場合は G◦ Vへッダ多重化部 4へ ビ ヅ トス 卜 リームを出力する。
G 0 Vヘッダ多重化部 4は、 入力されたビッ トス ト リームに V 0 Pレ 一卜情報 7を多重化し、 V 0 Pへッダ多重化部 5にビッ トス ト リームを 出力する。
表 1は上記 V 0 Pレー ト情報 7の一例を示すもので、 4種類の V 0 P レー トを表現する例を示している。 V 0 Pレー トが 3 0枚/秒の場合は 「 0 1」 を多重化する。 また直前に符号化した V 0 Pと符号化対象の V O Pが同じであれば、 V〇 Pレー ト情報 「 0 0」 を多重化するとともに 、 後に続く V 0 Pヘッダ情報と V〇 Pデ一夕情報の多重化を行わない。 また、 V 0 Pレー トが可変である場合には、 V 0 Pレー ト情報 「 1 1」 を多重化する。
V 0 Pへッダ多重化部 5にある V O Pスター トコ一 ド多重化部 8は、 入力されたビッ トス 卜 リームに V O Pスター トコー ドの多重化を行った
ビッ トス ト リームをモジュロ ' タイム . ベース(modulo_time— base)多 重化部 9および V O Pタイムィ ンク リメ ン ト(VOP— time— increment)多 重化部 1 0に出力する。
ここで、 モジュロ ' ダイム ' ベース 1 3 とは、 図 5に示すように、 当 該 V 0 Pがある基準時刻から何秒経過した後に表示されるかを示す情報 であり、 V O Pタイムイ ンク リメ ン ト 1 4 とは、 同じく図 5に示すよう に、 モジュロ · タイム · ベースで定められる時刻から 1 0 0 0分の 1秒 の精度で表示時刻を微調整する情報である。 すなわち、 MP E G— 4で は V O Pの表示時刻を 1 0 0 0分の 1秒の精度で規定することができる
V 0 Pへッダ多重化部 5にある管理時間作成部 1 2は、 V 0 Pレー ト 情報 7に基づきモジュロ · タイム ' ベース 1 3 と V O Pタイムイ ンク リ メ ン 卜 1 4 とを作成し、 モジュロ · タイム ' ベース 1 3をモジュロ · 夕 ィム · ベース多重化部 9に、 V O Pタイムイ ンク リメ ン ト 1 4を V O P タイムイ ンク リメ ン ト多重化部 1 0に出力する。 ただし、 V O Pレー ト 情報 7が可変であるこ とを示す場合は、 モジュロ · タイム . ベース 1 3 および V 0 Pタイムイ ンク リメ ン ト 1 4は V 0 Pレー 卜情報 7に関係な く設定される。
上記モジュロ · タイ ム ' ベース多重化部 9は、 V O Pスター トコー ド 多重化部 8よ り出力されたビッ トス ト リームにモジュロ · タイム · ベ一 ス 1 3の多重化を行い、 多重化後のビッ トス ト リームを V O Pタイムィ ンク リメ ン ト多重化部 1 0へ出力する。 この V O Pタイムイ ンク リメ ン 卜多重化部 1 0はモジュロ · タイム · ベース多重化部 9よ り出力された ビッ トス ト リームに管理時間作成部 1 2から出力された V 0 Pタイムィ ンク リメ ン 卜 1 4の多重化を行い、 多重化後のビッ トス ト リームを映像 情報ヘッダ多重化部 1 1へ出力する。 この映像情報ヘッダ多重化部 1 1
は、 VO Pタイムイ ンク リメ ン ト多重化部 1 0よ り出力されたビッ トス ト リームに映像情報へッダの多重化を行い、 多重化後のビッ トス ト リ一 ムをビデオ信号多重化部 1 2 6へ出力する。
以上のように、 この実施の形態によれば G 0 Vヘッダに V 0 Pレー ト 情報を多重化するよう構成したため、 デコーダ側において、 各 V O Pへ ヅダの V O Pスター トコ一ドのみを解析すれば、 復号化対象の V O Pの 復号が必要であるか否かを判断した り、 複数のオブジェク トを簡単に合 成したりすることを可能とする ビッ トス ト リームを作成できる効果があ る。.
なお、 図 6に示すよう に、 V O Lを単位と して V O Pレー ト情報を規 定し、 符号化および V O Pレー ト情報の多重化を行うようにしてもよい 。 この場合は、 V 0 Pレー ト情報 7は V〇 L単位で決定され、 V O Lへ ッダ多重化部 2で多重化される。 これに基づいて、 モジュロ · タイム - べ一ス 1 3や V O Pタイ ムイ ンク リメ ン ト 1 4が決定される。
以上のように本実施の形態においては、 オブジェク ト単位に画像を符 号化する画像符号化装置において、 所定の表示速度情報に基づいて画像 を符号化する符号化手段と、 該符号化手段で符号化された画像符号化信 号に上記所定の表示速度情報を多重化して出力する多重化手段を備えた ものの一実施例を開示した。
また、 本実施の形態においては、 多重化手段は、 上記表示速度情報を オブジェク トごとに多重化するものの一実施例を開示した。
実施の形態 2.
本実施の形態では、 符号化ビッ トス ト リーム中から実施の形態 1で述 ベた V O Pレー ト情報を復号し出力するための画像復号化装置、 すなわ ち MP E G— 4 ビデオデコーダ (以下、 V O Pデコーダと呼ぶ) を各ォ
ブジェク トに対応して複数備え、 複数の復号されたオブジェク トを合成 して画像を再生するシステムについて説明する。
まず、 本実施の形態における画像復号化装置 (V O Pデコーダ) の構 成と動作について説明する。 既存の V 0 Pデコーダの動作は ISO/IEC JT C1/SC29/WG11/N1796などに開示されるので、 ここでは既存の V 0 Pデコ —ダそのものの説明は避け、 本実施の形態の要素を含む V 0 Pデコーダ の説明を行う。 本実施の形態における V 0 Pデコーダは、 実施の形態 1 に述べた V O Pエンコーダで生成される符号化ビッ トス ト リームを復号 可能なデコーダである。
図 7は、 本実施の形態における V 0 Pデコーダの内部構成例を示した ものである。 V 0 Pのデコーダは実施の形態 1および図 2に示したよう に、 テクスチャデータと形状データとからなるものとし、 本デコーダは これらを圧縮符号化したデータを入力と してそれそれのデータを復元す る機能を持つものとする。 同図において、 1 5 0は符号化 V O Pビッ ト ス ト リーム、 1 5 1はヘッダ解析部、 1 5 2はヘッダ情報が解析された ビッ トス ト リーム、 1 5 3はビデオ信号解析部、 1 5 4は形状符号化デ 一夕、 1 5 5は形状復号部、 1 5 6は復号形状デ一夕、 1 5 7はテクス チヤ符号化デ一夕、 1 5 8は動き情報、 1 5 9は動き補償部、 1 6 0は 予測テクスチャデータ、 1 6 1はテクスチャ復号部、 1 6 2は復号テク スチヤデータ、 1 6 4はメモリ、 1 6 5は参照データである。
以下、 同図をも とに動作について詳述する。 符号化 V O Pビッ トス ト リーム 1 5 0はへッダ解析部 1 5 1 に入力され、 所定のシンタ ックスに したがってヘッダ情報が解析される。 ヘッダ解析部 1 5 1においてへヅ ダ情報が解析されたビッ トス ト リーム 1 5 2はビデオ信号解析部 1 5 3 に入力され、 形状符号化データ 1 5 4とテクスチャ符号化データ 1 5 7 と動き情報 1 5 8 とに解析される。 形状復号部 1 5 5は入力される形状
符号化デ一夕 1 5 4の復号を行い、 復号形状データ 1 5 6を出力する。 動き補償部 1 5 9はメモリ 1 6 4中の参照デ一夕 1 6 5 とビデオ信号 解析部 1 5 3から入力される動き情報 1 5 8から予測テクスチャデータ 1 6 0を出力する。 テクスチャ復号部 1 6 1は、 テクスチャ符号化デー 夕 1 5 7 と予測テクスチャデータ 1 6 0とに基づいて MP E G— 4で定 められる所定の方法で画像デ一夕に復元し、 復号テクスチャデ一夕 1 6 2を生成する。 この復号テクスチャデータ 1 6 2は以降の V O Pの復号 に用いられるので、 メモリ 1 6 4に書き込まれる。
図 8は本実施の形態の特徴であるへッダ解析部 1 5 1の内部構成を示 したものである。 同図において、 5 1はスター トコー ド解析部、 5 2は V Oヘッダ解析部、 5 3は V 0 Lヘッダ解析部、 5 4は G O Vヘッダ解 析部、 5 8は¥ 0 ?レ一 ト情報、 5 5は V 0 Pヘッダ解析部である。 本 実施の形態におけるへッダ解析部 1 5 1は、 G 0 Vへッダ解析部 5 4に おいて当該 G O Vに含まれる V O Pの V O Pレー ト情報 5 8をビッ トス ト リーム中から復号してこれを外部へ出力することを特徴とする。 この V 0 Pレー ト情報 5 8の使用方法は後述する。
スター トコー ド解析部 5 1は、 入力される符号化 V O Pビッ トス ト一 ム 1 5 0に含まれるスター トコー ドの解析を行う。 解析したス夕一 トコ ードが V 0を示すものであれば V 0ヘッダ解析部 5 2へ、 解析したス夕 —トコー ドが V 0 Lを示すものであれば V 0 Lヘッダ解析部 5 3へ、 解 祈したスター トコー ドが Gひ Vを示すものであれば G 0 Vヘッダ解析部 5 4へ、 解析したスター トコー ドが V O Pを示すものであれば V O Pへ ッダ解析部 5 5へビッ トス ト リームを出力する。 なお、 V 0 Pヘッダ解 析部 5 5の解析処理を終了した後、 ビッ トス ト リームはビデオ信号解析 部 1 5 3に出力される。
V〇ヘッダ解析部 5 2は、 入力されるビッ トス ト リームよ り V 0へッ
ダ情報の解析を行い、 解析を終えたビッ トス ト リームをスター トコー ド 解析部 5 1へ出力する。 V 0 Lへッダ解析部 5 3は、 入力されるビッ ト ス ト リームよ り V 0 Lヘッダ情報の解析を行い、 解析を終えたビッ トス ト リ一ムをスター トコ一 ド解析部 5 1へ出力する。 G O Vへッダ解析部 5 4は、 入力されるビッ トス ト リームよ り G O Vヘッダ情報の解析を行 い、 解析を終えたビッ トス ト リ ームをスター トコー ド解析部 5 1へ出力 する。 この際、 G 0 Vヘッダ情報中に含まれる V 0 P レー ト情報 5 8を 復号して出力する。 V 0 Pヘッダ解析部 5 5は、 入力されるビッ トス ト リームよ り V 0 Pヘッダ情報の解析を行い、 解析を終えたビッ トス ト リ —ムをスター トコー ド解析部 5 1 を介してビデオ信号解析部 1 5 3へ出 力する。
以上の構成と動作による V 0 Pデコーダによれば、 G 0 Vの単位でそ れに含まれる V O Pの V O P レー ト情報を出力させることができる。 こ の情報を用いて複数のォブジェク トを合成するシステムを図 9 に示す。 同図において、 2 0 0は符号化 V O Pビッ トス ト リーム a、 2 0 1は 符号化 V O P ビッ トス ト リ一ム 13、 2 0 2は符号化 V O P ビッ トス ト リ 一ム 〇、 2 0 3 aは符号化 V O P ビッ トス ト リ一ム a 2 0 0を復号する
V 0 Pデコーダ部、 2 0 3 bは符号化 V O P ビッ トス ト リーム b 2 0 1 を復号する V 0 Pデコーダ部、 2 0 3 cは符号化 V 0 P ビッ トス ト リ一 ム c 2 0 2 を復号する V O Pデコーダ部、 2 0 4は復号ォブジェク ト画 像 a、 2 0 5は復号オブジェク ト画像 b、 2 0 6は復号オブジェク ト画 像 c 2 0 7は V O P レー ト情報 a , 2 0 8は V O Pレート情報 b、 2 0 9は V〇 Pレー ト情報 c、 2 1 0はコンポジショ ン部、 2 1 1は復号 画像である。 復号オブジェク ト画像とは、 各 V〇 Pの復号形状データ 1 5 6 と対応する復号テクスチャデータ 1 6 2 とをまとめ、 かつ、 これを
V 0 Pをまとめる単位 (例えば G 0 V, V 0 Lなど) でまとめたものを
指すものとする。
符号化 V O Pビッ トス ト リーム a 2 0 0〜 c 2 0 2はそれそれ対応す る V O Pデコーダ部 2 0 3 a~ 2 0 3 cで復号され、 復号 V 0 P画像 a 2 0 4〜c 2 0 6が生成される。 この際、 各 V 0 Pデコーダ部は対応す る V O Pレート情報 a 2 0 7〜 c 2 0 9を復号してこれをコンポジショ ン部 2 1 0に出力する。 コンポジション部 2 1 0は、 同 V O Pレー ト情 報 a 2 0 7〜c 2 0 9に基づいて、 各復号 V O P画像を、 復号画像 2 1 1のいずれの時刻の画像フ レームに合成するかを決定して、 対応する時 刻の画像フ レームにマッ ピングする。 例えば、 復号画像 2 1 1が 1秒あ たり 3 0枚 (これは通常のテ レ ビ信号の表示速度に相当する) で表示さ れるものとする。 更に以下の状況を想定する。
〇復号 V 0 P画像 a 2 0 4が 1秒あたり 5枚で表示 (即ち、 V 0 Pレ一 ト情報 a 2 0 7が 5枚/秒を表わす) 。
〇復号 V O P画像 b 2 0 5が 1秒あた り 1 0枚で表示 (即ち、 V〇 Pレ — ト情報 b 2 0 8が 1 0枚/秒を表わす) 。
〇復号 V O P画像 c 2 0 6が 1秒あた り 1 5枚で表示 (即ち、 V O Pレ 一ト情報 c 2 0 9が 1 5枚/秒を表わす) 。
この場合、 復号画像 2 1 1の各秒の先頭の画像フ レームには復号 V〇 P画像 a 2 0 4〜c 2 0 6のすべてがマッピングされ、 各秒の先頭から 5枚おきの画像フ レームに復号 V 0 P画像 a 2 0 4がマッピングされ、 各秒の先頭から 1 0枚おきの画像フ レームに復号 V O P画像 b 2 0 5が マッ ピングされ、 各秒の先頭から 1 5枚おきの画像フ レームに復号 V〇 P画像 c 2 0 6がマッ ピングされる、 という動作を行う ことができる。 これによつて、 複数の映像ォブジェク トを各々の表示速度に合わせて画 像フ レームに合成した映像を表示することができる。
以上のように、 G O Vのレイヤに V O Pレー ト情報を符号化した符号
化ビッ トス ト リームを復号する V O Pデコーダを用いることにより、 簡 易な構成で複数のォブジェク トを合成して再生画像を得るシステムを実 現することが可能である。
なお、 V 0 Pレー ト情報は V 0 Lを単位として画像符号化装置側で符 号化されていてもよい。 この場合、 画像復号化装置側では、 V O Lを単 位として符号化された V 0 Pレー ト情報を復号化し、 V 0 Lを単位とし て上述したような簡易な複数のオブジェク 卜の合成が可能である。
また、 本実施の形態では複数のオブジェク トを合成するシステムとし て V 0 Pデコーダを用いた力 1つのオブジェク トだけを復号し再生す るシステムにおいて 1 つの V O Pデコーダだけを使用するような構成も 可能である。
以上のように本実施の形態においては、 オブジェク ト単位に画像を符 号化した符号化ビッ トス ト リームを復号化する画像復号化装置において 、 上記符号化ビッ トス ト リームから表示速度情報を復号する表示速度情 報復号手段と、 該表示速度情報復号手段によって復号された表示速度情 報に基づいてオブジェク ト単位で処理された画像の再生処理を制御する 制御手段を備えるものの一実施例を開示した。
また、 本実施の形態においては、 表示速度情報復号手段は、 上記表示 速度情報をォブジェク ト ごとに復号するものの一実施例を開示した。 実施の形態 3 .
本実施の形態では、 実施の形態 2で述べた V 0 Pデコーダの別の実施 の形態を説明する。 本実施の形態における V O Pデコーダは、 デコーダ が想定する V O Pレー トの値に基づいて、 復号対象となる V O Pを特定 して復号する機能を持つものとする。
本実施の形態の V 0 Pデコーダは、 実施の形態 2で述べた V 0 Pデコ
ーダのへッダ解析部 1 5 1の構成動作のみが異なるので、 この部材につ いてのみ説明する。
図 1 0はこの発明による実施の形態 3による V 0 Pデコーダ部のへッ ダ解析部の構成を示すブロック図であ り、 エンコーダ側の V 0 Pレー ト とデコー ド側の V 0 Pレー トが不一致の場合である。 図において、 5 9 はデコー ド V 0 P選択部であり、 G〇 Vヘッダ解析部 5 4から出力され た V 0 Pレート 5 8 とデコー ド側で想定した V 0 Pレー ト 6 1 とを対比 して V O P選択情報 6 2を出力する。 また、 V O Pヘッダ解析部 5 5は 時間管理情報へッダ解析部 5 6、 映像情報へッダ解析部 5 7の他に力ゥ ン夕部 6 0を有する。
次に動作について説明する。 デコー ド V 0 P選択部 5 9は、 G O Vへ ッダ解析部 5 4において解析された V 0 Pレー ト 5 8 とデコ一ダ側が想 定する V O Pレー ト 6 1 との比較に基づき復号化を行う V O Pの情報を 示す V O P選択情報 6 2を V O Pヘッダ解析部 5 5のカウンタ一部 6 0 へ出力する。 このカウン夕一部 6 0は入力されたビッ トス ト リームに含 まれる V O Pスター トコー ドに続く V O Pヘッダ情報の復号を行うか否 かを V O P選択情報 6 2に基づき判断する。
具体的には、 G 0 Vへッダ解析部 5 5において解析された V O Pレー ト 5 8が 3 0枚/秒、 デコ一ダ側が想定する V 0 Pレー トが 1 5枚/秒 の場合は、 1 V 0 Pおきに解析を行う V O Pがあることを示す VO P選 択情報 6 2を V O Pへッダ解析部 5 5にあるカウン夕一部 6 0に出力す る。 カウン夕一部 6 0では、 まず、 V 0 Pヘッダが入力される毎にカウ ン夕ー 6 0 aでカウン 卜する。
次いで判定器 6 O bは、 カウンター 6 0 aから入力されるカウン ト数 とデコ一夕 V 0 P選択部 5 9から入力される V O Pレー ト選択情報 6 2 に基づき、 入力される V 0 Pの解析を行う必要があるか否かを判定する
。 入力される V 0 Pの解析を行う必要があると判定した場合は、 入力さ れるビッ トス 卜 リームを時間管理情報へッダ解析部 5 6へ出力する。 ま た、 入力される V 0 Pの解析を行う必要がないと判定した場合は、 入力 される ビッ トス ト リームをスター トコー ド解析部 5 1 に出力する。
以下に具体例を示す。 V O Pレー ト選択情報 6 2が 3枚の V 0 Pに対 して 1枚の V O Pを解析する必要があるという情報である場合、 判定器 6 O bでは、 カウンター 6 O aよ り入力されるカウン ト数を 3で割った 余りが 0 となる場合を解析必要な V 0 Pと判断し、 カウンター 6 0 aよ り入力されるカウン ト数を 3で割った余りが 1 または 2の場合を解析不 必要な V◦ Pと判断する。
なお、 本実施の形態では、 G 0 Vヘッダに V〇 Pレー ト情報が含まれ る場合に対応する V 0 Pデコーダについて述べたが、 実施の形態 2で述 ベたように、 V O Pレー 卜情報が V O Lヘッダ中に含まれていてもよい 。 その場合は、 図 1 1 に示すように、 V 0 Lヘッダ解析部 3 0 0に V 0 Pレー ト情報 5 8の復号機能を持たせればよい。
また、 本実施の形態における、 V O Pデコーダは、 複数のオブジェク 卜を合成するシステムでも、 1つのオブジェク 卜だけを復号し再生する システムでも使用することが可能である。
以上のように、 本実施の形態においては、 制御手段は、 上記表示速度 情報復号手段によって復号されたオブジェク 卜の表示速度情報と、 復号 化装置において予め設定されたオブジェク トの表示速度情報とに基づい て、 該オブジェク トにおいて復号対象となる時刻を特定する復号時刻特 定手段と、 該復号時刻特定手段によって得られる復号対象時刻に基づい てォブジェク トの復号を行う復号化手段とを備えるものの一実施例を開 示した。
実施の形態 4.
本実施の形態では、 実施の形態 1で述べた V 0 Pェンコーダの別の実 施の形態を説明する。 本実施の形態における V 0 Pエンコーダは、 V0 Lの単位で、 当該 V O Lに含まれる各 V O Pの絶対表示時刻を規定する タイムコー ドを付加する機能を持つものとする。
ここで、 タイムコー ドとは、 IEC standard publication 461 for "t lme and control codes for video tape recoders " で Ifl示される時間 情報であって、 動画像を構成する各時刻の画像 (MP E G— 2で言えば フ レーム、 M P E G— 4で言えば V 0 Pなど) の表示時刻を、 時間 - 分 • 秒の精度で規定する情報である。 これは例えば、 業務用映像編集機器 などでフ レーム単位で編集を行う場合に、 各フ レームにこの情報を付加 することによ り、 タイ ムコ一 ドの値を指定するだけで所望のフ レームに アクセスできるなどの効果を持つ。
本実施の形態の V 0 Pェンコーダは、 実施の形態 1で述べた V 0 Pェ ンコーダのヘッダ多重化部 1 2 4の構成動作のみが異なるので、 この部 材についてのみ説明する。
図 1 2はこの発明の実施の形態 4による V〇 Pエンコーダ部のヘッダ 多重化部の構成を示すブロ ック図であり、 前記図 4に示す実施の形態 1 と同一部分には同一符号を付して重複説明を省略する。
'次に動作について説明する。 V 0ヘッダ多重化部 1 において V 0へッ ダ情報が多重化されたビッ トス ト リームは、 V O Lへッダ多重化部 2に 入力される。 この V O Lヘッダ多重化部 2は、 入力されたビッ トス ト リ —ムに V O Lヘッダ情報と時間管理の基本となるタイムコー ド 1 8を多 重化したビッ トス ト リ一ムを G 0 Vへッダ多重化選択部 3に出力する。
G 0 Vへッダ多重化選択部 3では、 V 0 Lへッダ多重化部 2 よ り出力 されたビッ トス ト リームの出力先を、 G OVヘッダの多重化を行うか否
かを示す G O V多重化情報 6に基づき判断する。 G O V多重化情報 6が G 0 Vヘッダの多重化を行わないことを示す場合は、 V 0 Pヘッダ多重 化部 5へ、 G O V多重化情報 6が G O Vヘッダの多重化を行う ことを示 す場合は G O Vヘッダ多重化部 4へビッ トス ト リームを出力する。 この 場合、 G 0 Vヘッダ多重化部 4は、 G 0 Vヘッダ多重化選択部 3 よ り出 力されたビッ トス ト リームに G 0 Vへッダ情報の多重化を行い、 V 0 P へヅダ多重化部 5へ出力する。
V 0 Pヘッダ多重化部 5は、 入力されたビッ トス ト リームに V 0 Pス ター トコー ド、 時間管理情報ヘッダ、 映像情報ヘッダの多重化を行った ビッ トス 卜 リームをビデオ信号多重化部 1 2 6 (図 3参照) へ出力する 。 なお、 ビデオ信号多重化部 1 2 6以降の動作については、 上述で説明 した内容と同一である。
以上のように、 この実施の形態によれば、 M P E G— 4で必ず符号化 される V O Lヘッダにタイムコー ドを多重化したため、 タイムコー ドを 基準として複数のォブジェク トによ り構成される画面の作成が可能なビ ッ 卜ス ト リームを構成できる。 また、 本実施の形態による符号化ビッ ト ス 卜 リームを業務用の映像オブジェク ト単位の編集機器などにおいて復 号しながら編集操作を行う ような場合に、 オブジェク トの任意の時刻の V 0 Pに常に自由にランダムアクセスが可能であるという効果がある。 このような効果から、 映像合成の自由度を高めることができる。
なお、 本実施の形態では V 0 Lの単位でタイムコ一 ドを付加するェン コーダについて述べた力 タイムコ一 ド情報を V O Pの単位で付加する ように構成してもよい。 この場合は、 図 1 3 に示すように、 V O Pへッ ダ多重化部 3 0 1 に各 V 0 Pの絶対表示時刻を規定するタイムコー ド 1 8を入力して、 これを多重化するように構成すればよい。
また、 本実施の形態では V O Pレー ト情報の符号化を伴う例を示した
が、 もちろんタイムコー ドの多重化は V 0 Pレー ト情報とは独立であり 、 V O Pレー ト情報を符号化しない場合であっても同じような効果が得 られる。
以上のように本実施の形態においては、 オブジェク ト単位に画像を符 号化する画像符号化装置において、 オブジェク ト毎に該オブジェク トに 対する絶対時刻を表現する情報を該符号化された画像信号に多重化する 絶対時刻多重化手段を備えたものの一実施例を開示した。 実施の形態 5 .
本実施の形態では、 符号化ビッ トス ト リーム中の V 0 Lヘッダから夕 ィムコー ドを復号し出力する V O Pデコーダを複数備え、 複数の復号さ れたオブジェク トを合成して画像を再生するシステムについて説明する まず、 本実施の形態における V 0 Pデコーダの構成と動作について説 明する。 本実施の形態における V 0 Pデコーダの内部構成を図 1 4に示 す。 本デコーダは、 実施の形態 2 に述べた V 0 Pデコーダの構成動作に 対してヘッダ解析部 3 0 2のみが異なるので、 以下、 この部材について のみ説明する。 ヘッダ解析部 3 0 2は、 V O Lヘッダ中のタイ ムコー ド を復号し出力する機能を持つ。
図 1 5は、 ヘッダ解析部 3 0 2の内部構成を示したものである。 同図 において、 3 0 3は V 0 Lヘッダ解析部である。 スター トコー ド解析部 5 1は、 入力される符号化 V O P ビヅ トス 卜 リーム 1 5 0に含まれるス 夕一 卜コー ドの解析を行う。 解析したスター トコー ドが V Oを示すもの であれば V 0ヘッダ解析部 5 2へ、 解析したスター トコー ドが V 0 Lを 示すものであれば V O Lヘッダ解析部 3 0 3へ、 解析したス夕一トコ一 ドが G 0 Vを示すものであれば G〇 Vヘッダ解析部 5 4へ、 解析したス
夕—トコー ドが VO Pを示すものであれば V O Pヘッダ解析部 5 5へビ ッ トス ト リームを出力する。 なお、 V 0 Pヘッダ解析部 5 5の解析処理 を終了した後、 ビッ トス ト リームはビデオ信号解析部 1 5 3に出力され る。
V 0ヘッダ解析部 5 2は、 入力されるビッ トス ト リームよ り VOへヅ ダ情報の解析を行い、 解析を終えたビッ トス ト リームをスター トコー ド 解析部 5 1へ出力する。 V O Lヘッダ解析部 3 0 3は、 入力されるビッ トス ト リームよ り V 0 Lヘッ ダ情報の解析を行い、 解析を終えたビッ ト ス ト リームをスター ト コー ド解析部 5 1へ出力する。 この際、 V O Lへ ッダ情報中に含まれるタイムコー ド 6 4を復号して出力する。 G O Vへ ッダ解析部 5 4は、 入力される ビッ トス ト リームよ り G 0 Vヘッダ情報 の解析を行い、 解析を終えたビッ 卜ス ト リームをスター トコー ド解析部 5 1へ出力する。 V O Pヘッダ解析部 5 5は、 入力されるビッ トス 卜 リ ームよ り V O Pヘッダ情報の解析を行い、 解析を終えたビッ トス ト リー ムをス夕一 ト コ一 ド解析部 5 1 を介してビデオ信号解析部 1 5 3へ出力 する。
以上の構成と動作による V 0 Pデコーダによれば、 V 0 Lの単位でそ れに含まれる V O Pの絶対表示時刻を出力させることができる。 この情 報を用いて複数のオブジェク トを合成するシステムを図 1 6に示す。 同図において、 4 0 0は符号化 V O Pビッ トス ト リーム a、 4 0 1は 符号化 V O Pビッ トス ト リームゎ、 4 0 2は符号化 V O Pビヅ トス ト リ 一ム 0、 4 0 3 aは符号化 V O Pビヅ トス ト リーム a 4 0 0を復号する V O Pデコーダ部、 4 0 3 bは符号化 V O Pビッ 卜ス ト リーム b 4 0 1 を復号する V O Pデコーダ部、 4 0 3 cは符号化 V O Pビッ ト ス ト リー ム c 4 0 2を復号する V 0 Pデコーダ部、 4 0 4は復号ォブジェク ト画 像 a、 4 0 5は復号オブジェク ト画像 b、 4 0 6は復号オブジェク ト画
像 c、 4 0 7はタイムコー ド a、 4 0 8はタイムコー ド b、 4 0 9は夕 ィムコー ド c、 4 1 0はコンポジション部、 4 1 1は復号画像である。 復号ォブジェク ト画像とは、 各 V O Pの復号形状データ 1 5 6 と対応す る復号テクスチャデ一夕 1 6 2 とをまとめ、 かっこれを V O Pをまとめ る単位 (例えば G 0 V、 V〇 Lなど) でまとめたものを指すものとする 符号化 V O Pビヅ ト ス ト リ ーム a 4 0 0—符号化 V O Pビヅ トス ト リ ーム c 4 0 2はそれそれ対応する V O Pデコーダ部 4 0 3 a - 4 0 3 c で復号され、 復号ォブジヱク ト画像 a 4 0 4 - C 4 0 6が生成される。 この際、 各 V O Pデコーダ部は対応するタイ ムコー ド a 4 0 7 - c 4 0 9を復号してこれをコンポジショ ン部 4 1 0に出力する。 コンポジショ ン部 4 1 0は、 同タイムコー ド a 4 0 7 _ c 4 0 9に基づいて、 各復号 オブジェク ト画像の各時刻の V 0 Pを、 復号画像 4 1 1の、 いずれの時 刻の画像フ レームに合成するかを決定して、 対応する時刻の画像フ レー ムにマッピングする。 例えば、 以下の状況を想定する。
- コンポジショ ン部は、 タイムコー ド発生機能を持ち、 合成する各画 像フ レームの絶対表示時刻を決定する。
' 復号オブジェク ト画像 a 4 0 4の先頭 V O Pのタイムコー ドとして 0 1 : 0 0 : 0 0が復号されたとする。 こ こで、 0 1 : 0 0 : 0 0は、 (時間) : (分) : (秒) を表す。
' 復号オブジェク ト画像 b 4 0 5の先頭 V O Pのタイムコー ドと して 0 1 : 0 0 : 1 0が復号されたとする。
' 復号オブジェク ト画像 c 4 0 6の先頭 V O Pのタイムコー ドと して 0 1 : 0 1 : 0 0が復号されたとする。
ここで、 コンポジション部 4 1 0で規定される復号画像 4 1 1の先頭 画像フ レームのタイ ムコー ドが 0 1 : 0 0 : 0 0であったとすると、 復
号ォブジェク ト画像 a 4 0 4は復号画像 4 1 1の先頭フレームからマツ ビングされ、 復号ォブジェク ト画像 b 4 0 5は復号画像 4 1 1の先頭フ レームから 1 0秒後からマッピングされ、 復号ォブジェク ト画像 c 4 0 6は復号画像 4 1 1の先頭フ レームから 1分後からマッピングされ、 画 面に表示されるという動作を行うことができる。 これによつて、 複数の 映像オブジェク 卜を基準となる絶対時刻に合わせて画像フレームに合成 した映像を表示することができる。
以上のように、 V O Lのレイヤにタイムコー ドを符号化した符号化ビ ッ トス ト リームを復号する V O Pデコーダを用いることによ り、 簡易な 構成で複数オブジェク トを合成して再生画像を得るシステムを実現する ことが可能である。
なお、 図 1 7に示すように、 タイムコー ドは V 0 Pを単位と して画像 符号化装置側で符号化されていてもよい。 この場合、 画像符号化装置側 では、 V O Lを単位と して符号化されたタイムコー ドを復号化し、 V O Pごとに上述したような簡易な複数ォブジェク 卜の合成が可能である。 また、 図 1 8に示すように、 ' V O Lヘッダにタイムコードと共に、 V O Pレー ト情報を多重化した符号化ビッ ト ス 卜 リ ームを入力とする V O Pデコーダを考えるこ ともできる。 この場合は、 タイムコー ドによって V O Lの先頭の V O Pの絶対表示時刻を決定し、 次いで V O Pレー ト情 報によって簡単に各 V O Pの絶対表示時刻を知ることができるので、 よ り簡易に複数オブジェク 卜の合成システムを構成することができる。 また、 本実施の形態では、 複数のオブジェク トを合成するシステムと して V 0 Pデコーダを用いたが、 1つのオブジェク トだけを復号し再生 するシステムにおいて 1つの V O Pデコーダだけを使用するような構成 も可能である。
以上のような、 本実施の形態においては、 オブジェク ト単位に画像を
符号化した符号化ビッ トス ト リームを復号化する画像復号化装置におい て、 オブジェク ト毎に該オブジェク トに対する絶対時刻を表現する情報 を解析する絶対時刻解析手段と、 該絶対時刻解析手段によって解析され た絶対時刻を表現する情報に基づいて、 オブジェク ト単位で処理された 画像の再生処理を行う ものの一実施例を開示した。 実施の形態 6.
本実施の形態では、 現在 M P E G— 4で用いられているモジュロ - 夕 ィム ' ベース (第 1の時間情報に相当) と V O Pタイムイ ンク リメ ン ト (第 2の時間情報に相当) の表現において、 モジュロ · タイム ' ベース の符号化方法を改善した表現手法と、 それを実現する V O Pエンコーダ について説明する。
それに先立ち、 まず M P E G— 4におけるモジュロ · タイム ' ベース 2 0の表現方法を説明する。
実施の形態 1でも述べたように、 モジュロ · タイム · ベースの値は、 図 5に示すように当該 V 0 Pがある基準となる時刻から何秒後に表示さ れるかを示す情報で、 その秒数を値" 1 " のビッ トの個数で表現する。 値" 0 " を付加するこ とによってデータの終端を明示する。 即ち、 5秒 後であれば" 1 1 1 1 1 0 " となる。 この表現方法では、 基準時刻が全 く変化しない場合、 モジュロ · タイム · ベースの情報量は限りなく大き くなつていく。 現在 M P E G— 4では、 この基準時刻を G 0 Vヘッダ中 に多重化されるタイムコー ドによつて規定している力 G〇 Vはォプシ ヨンであるため、 MP E G— 4の規定として必ずしも G O Vヘッダが符 号化されている必要はない。 つま り、 G〇 Vヘッダが現われない限り、 モジュロ · タイム ' ベースの値は限りなく長くなる危険性がある。 本実 施の形態は、 モジュロ ' タイム . ベースのデ一夕を符号化するに当たつ
てこのような問題を回避するエンコーダを実現する。
本実施の形態では、 これまでに述べた V 0 Pエンコーダのへッダ多重 化部 1 2 4の構成動作のみを変更するだけなので、 この部材についての み説明する。
図 1 9は、 本実施の形態におけるヘッダ多重化部 1 2 4の内部構成を 示したものである。 5 0 0は V 0 Pへヅダ多重化部、 1 9はビッ ト長演 算部、 2 0はモジュロ ' タイム ' ベース、 2 1はシフ ト化モジュロ - 夕 ィム ' ベース、 2 2は繰り返し回数を示す情報ビッ ト、 5 0 1はモジュ 口 . タイム . ベ一スである。 次に動作について説明する。 V 0ヘッダ多重化部 1において V◦へッ ダ情報が多重化されたビッ トス ト リームは、 V〇 Lへッダ多重化部 2に 入力される。 この V O Lヘッグ多重化部 2は、 入力されたビッ トス ト リ —ムに V 0 Lヘッダ情報の多重化を行い、 多重化後のビッ トス ト リーム を G O Vヘッダ多重化選択部 3へ出力する。
G 0 Vへッダ多重化選択部 3では、 V〇 Lへッダ多重化部 2よ り出力 されたビッ トス ト リームの出力先を、 G O Vへッダの多重化を行うか否 かを示す G 0 V多重化情報 6に基づき判断する。 G◦ V多重化情報 6が G 0 Vへッダの多重化を行わないことを示す場合は、 V 0 Pへッダ多重 化部 5へ、 G O V多重化情報 6が G O Vヘッダの多重化を行う ことを示 す場合は G O V多重化部 4へビッ トス ト リームを出力する。 この場合、 G O Vヘッダ多重化部 4は、 G O Vヘッダ多重化選択部 3よ り出力され たビヅ トス ト リームに G 0 Vヘッダ情報の多重化を行い V 0 Pヘッダ多 重化部 5へ出力する。
V〇 Pへッダ多重化部 5 0 0にある V O Pスター トコー ド多重化部 8 は、 入力されたビッ トス ト リームに V O Pスター トコー ドの多重化を行 い、 多重化後のビッ トス ト リームをモジュロ · タイム · ベース多重化部
5 0 1 に出力する。 V 0 Pへヅダ多重化部 5 0 0にあるビッ ト長算出部 1 9は、 モジュロ · タイ ム · ベース 2 0のビッ ト長とあらかじめ設定し た正の値をとる しきい値との比較を行い、 モジュロ · タイム · ベース 2 0のビッ ト長の方が長い場合には、 モジュロ · タイム ' ベース 2 0のビ ッ ト長が上記のしきい値を下回るまでしきい値の長さ分ずつ繰り返し左 シフ トを行い、 この結果得られたビッ ト列であるシフ ト化モジュロ · 夕 ィム · ベース 2 1 と繰り返しシフ ト回数を示す情報ビッ ト 2 2 を出力す る。 繰り返しシフ ト回数を示す情報ビッ ト 2 2は、 繰り返しシフ ト回数 を所定の固定ビッ ト数で表現した 2進数表記であってもよいし、 繰り返 しシフ ト回数を可変長符号で表現した可変ビッ 卜長表記であってもよい 以下に、 ビッ ト長算出部における動作の具体例を示す。 上記しきい値 を 4 と設定した場合、 モジュロ · タイム ' ベース 2 0が" 1 1 1 1 1 1 1 1 1 0 " であれば、 繰り返しシフ ト回数は 2回であり、 シフ トイ匕モジ ュロ ' タイム ' ベース 2 1 は" 1 0 " となる。 繰り返しシフ ト回数を示 す情報ビッ ト 2 2は、 固定長 2 ビッ トで表現するならば" 1 0 " となる
V O Pヘッダ多重化部 5 0 0にあるモジュロ · タイム · ベース多重化 部 5 0 1は、 V O Pスター トコー ド多重化部 8 よ り出力されたビッ トス ト リ一ムにシフ ト化モジュロ · タイム · ベース 2 1 と繰り返しシフ ト回 数を示す情報ビッ ト 2 2 の多重化を行つたビッ トス ト リームを V 0 P夕 ィムイ ンク リメ ン ト多重化部 1 0へ出力する。
V O Pタイムイ ンク リメ ン ト多重化部 1 0は、 モジュロ · タイム · ベ —ス多重化部 5 0 1 よ り出力されたビッ トス ト リームに V O Pタイムィ ンク リメン 卜の多重化を行ったビッ トス ト リームを映像情報ヘッダ多重 化部 1 1へ出力する。 映像情報ヘッダ多重化部 1 1は、 V O Pタイムィ
ンク リメン ト多重化部 1 0 よ り出力されたビッ トス ト リ一ムに映像情報 へッダの多重化を行つたビッ トス ト リームをビデオ信号多重化部 2 6へ 出力する。
以上のように、 この実施の形態によれば、 モジュロ ' タイム ' ベース を 2種類の情報ビヅ ト (シフ ト化モジュロ · タイム ' ベースと繰り返し シフ ト回数を示す情報ビッ ト) で表現し、 M P E G— 4で現在規定され るモジュロ · タイム · ベースの表現そのままで符号化する代わりに前記 2種類の情報ビッ 卜を多重化するように構成したため、 M P E G— 4に おける表現方法よ り も情報発生量を抑えることが可能となる効果がある 以上のように本実施の形態においては、 ォブジェク ト単位に画像を符 号化する画像符号化装置において、 オブジェク ト毎に各時刻の画像の表 示時刻を規定する情報と して、 基準時刻から表示時刻までの時間を規定 する第 1の時間情報と、 該第 1の時間情報で定められる時刻からさらに 細かい精度で表示時刻を規定する第 2 の時間情報と、 各時刻に対応する 画像とを符号化する時間情報符号化手段を備え、 該時間情報符号化手段 は、 前記第 1の時間情報をビッ ト長に換算することによ り表現して、 該 第 1の時間情報のビッ ト長が所定の設定値よ り も長い場合、 該設定値よ り短くなるまで該設定値分のビッ トシフ トを繰り返すと共にビッ トシフ ト実施回数をカウン ト し、 該ビッ トシフ ト実施回数と繰り返しビッ トシ フ 卜の結果から得られるビッ ト列とを符号化するものの一実施例を開示 した。 実施の形態 7 .
本実施の形態では、 実施の形態 6で述べたモジュ口 ' タイム ' ベース 多重化部 5 0 1 によつて符号化ビッ トス ト リームに多重化されたモジュ
口 · タイム · ベースの情報を復元し、 これと V O Pタイムイ ンク リメ ン トとに基づいて各 V 0 Pの表示時刻を規定する V 0 Pデコーダについて 説明する。
本実施の形態では、 これまでに述べた V 0 Pデコーダのヘッダ解析部 1 5 1の構成動作のみを変更するだけなので、 この部材についてのみ説 明する。
図 2 0は、 本実施の形態におけるへッダ解析部 1 5 1の内部構成を示 したものである。 5 0 2は V 0 Pヘッダ解析部、 6 5はモジュロ ' タイ ム ' ベース解析部、 6 6は V 0 Pタイムイ ンク リメ ン ト解析部、 6 7は モジュロ · タイム ' ベース算出部、 6 9はシフ ト化モジュロ · タイム · ベース、 7 0は繰り返しシフ ト回数を示す情報ビッ トである。
次に動作について説明する。 スター トコー ド解析部 5 1は、 入力され るシフ ト化モジュロ · タイム · ベースと繰り返しシフ ト回数を示す情報 ビッ 卜が多重化された符号 V O Pビッ トス 卜 リームよ りスター トコー ド の解析を行い、 解析したスター トコー ドが V◦ヘッダに含まれるもので あれば V 0ヘッダ解析部 5 2へ、 解析したスター トコー ドが V 0 Lへヅ ダに含まれるものであれば V 0 Lヘッダ解析部 5 3へ、 解析したスター トコ一 ドが G 0 Vヘッダに含まれるものであれば G 0 Vヘッダ解析部 5 4へ、 解析したスター トコー ドが V O Pヘッダに含まれるものであれば V〇 Pヘッダ解析部 5 5へ、 解析したスター トコー ドが V 0 Pデータ情 報に含まれるものであればビデオ信号解析部 1 5 3 (図 7参照) へビッ トス ト リーム 1 5 2を出力する。 ビデオ信号解析部 1 5 3以降の動作に ついては上述で説明した内容と同一である。
V〇 Pへッダ解析部 5 0 2 にあるモジュロ · タイム ' ベース解析部 6 5は、 スタートコー ド解析部 5 1 よ り出力されたビッ トス ト リームよ り シフ 卜化モジュロ · タイム · ベース 6 9 と繰り返しシフ ト回数を示す情
報ビッ ト 7 0の解析を行い、 シフ ト化モジュロ · タイム ' ベース 6 9 と 繰り返しシフ ト回数を示す情報ビッ ト 7 0をモジュロ · タイム ' ベース 算出部 6 7へ、 ビヅ トス ト リームを V O Pタイムイ ンク リメ ン ト解析部 6 6へ出力する。
モジュロ · タイム ·ベース算出部 6 7は、 入力されるシフ ト化モジュ 口 ■ タイム · ベース 6 9 と繰り返しシフ ト回数を示す情報ビッ ト 7 0よ りモジュロ · タイム ' ベースを算出してコンポジション部 2 1 0に出力 する。 具体的には、 実施の形態 6で示した手順の逆の操作によってモジ ュロ · タイム · ベースの値を復元する。 あらかじめ設定した正の値をと る しきい値 (これは実施の形態 6のエンコーダの例で示した同様のしき い値とまったく同じ値をデコーダ側でも設定しておかなければならない ) を 4、 シフ ト化モジュロ ' タイム ' ベース 6 9が" 1 0 " 、 繰り返し シフ ト回数を示す情報ビッ ト 7 0が" 1 0 " の場合、 " 1 0 " の上位ビ ッ トに" 1 1 1 1 1 1 1 1 " をつけ加えた" 1 1 1 1 1 1 1 1 1 0,, が モジュロ · タイム ' ベースの復元値となる。 得られたモジュロ · タイム
• ベースの復元値は、 V O Pタイムィ ンク リメ ン 卜情報と共に当該 V O Pの表示時刻を規定する目的で使用される。
V O Pタイムイ ンク リメ ン ト解析部 6 6は、 モジュロ ' タイム · ベー ス解析部 6 5よ り出力されたビッ トス ト リームに VO Pタイムイ ンク リ メ ン トの解析を行い、 解析後のビッ トス ト リームを映像情報へッダ解析 部 5 7へ出力する。 映像情報ヘッダ解析部 5 7は、 V〇 Pタイ ムイ ンク リメ ン ト解析部 6 6よ り出力されたビッ トス ト リ一ムに映像情報ヘッダ の解析を行い、 解析後のビッ トス ト リームをビデオ信号解析部 1 5 3へ 出力する。
以上のように、 この実施の形態によれば 2種類の情報ビッ ト (シフ ト 化モジュロ · タイム · ベースと繰り返し回数を示す情報ビッ ト) を用い
てモジュロ · タイム · ベースを算出できるよう構成したため、 M P E G 一 4に規定される符号化表現よ り も情報発生量を抑えた実施の形態 9に 記すビッ トス ト リームを解析することが可能となる効果がある。
以上のように、 本実施の形態においては、 オブジェク ト単位に画像を 符号化したビッ トス ト リームを復号化する画像表示装置において、 ォブ ジェク ト毎の各時刻の画像の表示時刻を規定する情報として、 基準時刻 から表示時刻までの時間を規定する第 1の時間情報と、 該第 1の時間情 報で定められる時刻からさらに細かい精度で表示時刻を規定する第 2の 時間情報とを、 各時刻に対応する画像とを復号する時間情報復号手段と 、 入力符号化画像信号をオブジェク ト単位に復号化し、 これらの復号化 画像信号を合成する復号合成手段とを備え、 該時間情報復号手段は、 前 記第 1の時間情報の符号化データとして、 ビッ トシフ ト実施回数と繰り 返しビッ トシフ 卜の結果から得られたビッ 卜列とを復号し、 該ビッ ト列 に所定の設定値の長さの符号をビッ トシフ ト実施回数分だけ付加するこ とによって前記第 1の時間情報を復号し、 該復号合成手段は、 該時間情 報復号手段で復号化された第 1の時間情報及び第 2の時間情報に基づい て、 復号化画像信号を合成するものの一実施例を開示した。 実施の形態 8 .
本実施の形態では、 現在 M P E G— 4で用いられているモジュロ · 夕 ィム · ベースと V O Pタイムィ ンク リメ ン 卜の表現において、 モジュロ - タイム · ベースの符号化方法を改善した別の表現手法と、 それを実現 する V O Pエンコーダについて説明する。
本実施の形態では、 これまでに述べた V O Pエンコーダのヘッダ多重 化部 1 2 4の構成動作のみを変更するだけなので、 この部材についての み説明する。
図 2 1は、 本実施の形態におけるヘッダ多重化部 1 2 4の内部構成を 示したものである。 5 0 3は V 0 Pヘッダ多重化部、 2 3はモジュロ ' タイム ' ベース保持部、 2 4は差分モジュロ · タイム ' ベース作成部、 2 5は、 差分モジュロ · タイム ' ベース多重化部、 2 6は差分モジュロ • タイム · ベースである。
V O Pヘッダ多重化部 5 0 3にある V O Pスタートコー ド多重化部 8 は、 入力されたビッ トス ト リームに V 0 Pスター トコー ドの多重化を行 い、 多重化後のビッ トス ト リームを差分モジュロ · タイム · ベース多重 化部 2 5に出力する。
V O Pヘッダ多重化部 5 0 3にあるモジュロ · タイム · ベース保持部 2 3は、 直前に符号化した V O Pのモジュロ · タイム · ベースの値を保 持しており、 直前に符号化した V O Pのモジュロ · タイム ' ベースを出 力後、 符号化対象 V O Pのモジュロ · タイム · ベースが書き込まれる。
V O Pヘッダ多重化部 5 0 3にある差分モジュロ · タイム · ベース作 成部 2 4は、 モジュロ · タイム · ベース保持部 2 3よ り入力される、 直 前に符号化した V O Pのモジュロ · タイム · ベースと符号化対象 V O P のモジュロ · タイム · ベースとの差分ビッ 卜列を計算し、 計算された差 分ビッ ト列に含まれる " 1 " ビッ 卜の数に基づき差分モジュロ · タイム • ベース 2 6を求め、 差分モジュロ · タイム · ベース多重化部 2 5に出 力する。
ここで、 差分モジュロ · タイム · ベース生成の具体例を示す。
直前に符号化した V O Pのモジュロ · タイム · ベースを" 1 1 1 1 0 " ( 1 0進数表示 : 3 0 ) 、 符号化対象 V O Pのモジュロ ' タイム ' ベ —スを" 1 1 1 1 1 0 " ( 1 0進数表示 : 6 2 ) とした場合、 差分ビッ ト列は" 1 0 0 0 0 0 " ( 1 0進数表示 : 3 2 ) となる。 次に、 先に計 算して得た差分ビッ ト列" 1 0 0 0 0 0 " に含まれる" 1 " ビッ トの数
を数えると 1個である。 表 2に示すような変換表を用いて差分モジュ口 ' タイム · ベースを求めた場合、 " 1 " ビッ トの数が 1個に対応する差 分モジュロ · タイム · ベースは" 1 0 " であるため、 " 1 0 " を差分モ ジュロ · タイム · ベースとして出力する。 表 2の変換表は一例であって 、 他の変換表を定義して使用してもよい。
また、 別の差分モジュロ · タイム ' ベースの表現として、 単純にビッ ト長だけの比較を行う方法も考えられる。 例えば、 上記の例で直前に符 号化した V O Pのモジュロ · タイム · ベースのビッ ト長は 5であり、 符 号化対象 V O Pのモジュロ · タイム · ベースのビッ ト長は 6であるので 、 その差分として 1 という値が得られる。 これを表 2に示す変換表の 「 差分ビッ ト列に含まれる " 1 " ビッ トの数」 の代わりに代用して差分モ ジュロ · タイム · ベースを表現することもできる。
V〇 Pヘッダ多重化部 5 0 3にある差分モジュロ · タイム · ベ一ス多 重化部 2 5は、 入力されるビッ トス ト リームに差分モジュ口 · タイム , ベース 2 6の多重化を行い、 多重化後のビッ トス ト リームを V O Pタイ ムイ ンク リメ ン ト多重化部 1 0へ出力する。
V O Pヘッダ多重化部 5 0 3にある V O Pタイムイ ンク リメ ン ト多重 化部 1 0は、 差分モジュロ · タイム · ベース多重化部 2 5よ り出力され たビッ トス ト リームに V O Pタイムイ ンク リメ ン 卜の多重化を行い、 多 重化後のビッ トス ト リームを映像情報へッダ多重化部 1 1へ出力する。 以上のように、 この実施の形態によればモジュロ · タイム · ベースを 差分モジュロ · タイム ■ ベースで表現し、 M P E G— 4で現在規定され るモジュロ , タイム ' ベースの表現そのままで符号化する代わりに差分 モジュロ · タイム · ベースを多重化するように構成したため、 MP E G — 4における表現方法よ り も情報発生量を抑えることが可能となる効果 がある。
以上のように、 本実施の形態においては、 オブジェク ト単位に画像を 符号化する画像符号化装置において、 オブジェク ト毎に各時刻の画像の 表示時刻を規定する情報として、 基準時刻から表示時刻までの時間を規 定する第 1の時間情報と、 該第 1の時間情報で定められる時刻からさら に細かい精度で表示時刻を規定する第 2の時間情報と、 各時刻に対応す る画像とを符号化する時間情報符号化手段を備え、 該時間情報符号化手 段は、 直前の時刻の画像において符号化された第 1の時間情報を保持す る第 1の時間情報保持手段と、 被符号化画像の第 1の時間情報と前記第 1の時間情報保持手段から得られる直前の時刻の画像の第 1の時間情報 との差分ビッ ト列を求め、 該差分ビッ ト列を被符号化画像の第 1の時間 情報として符号化するものの一実施例を開示した。 実施の形態 9 .
本実施の形態では、 実施の形態 8で述べた差分モジュロ · タイム - · ベース多重化部 2 5 によつて符号化ビッ トス ト リ一ムに多重化された差 分モジュロ ■ タイム · ベースの情報から当該 V O Pのモジュロ · タイム ' ベースの値を復元し、 これに基づいて各 V O Pの表示時刻を規定する V O Pデコーダについて説明する。
本実施の形態では、 これまでに述べた V〇 Pデコーダのへッダ解析部 1 5 1の構成動作のみを変更するだけなので、 この部材についてのみ説 明する。
図 2 2は、 本実施の形態におけるへッダ解析部 1 5 1の内部構成を示 したものである。 5 0 4は V 0 Pヘッダ解析部、 7 1は差分モジュロ ' タイム ' ベース解析部、 7 2はモジュロ ' タイム ' ベース作成部、 7 3 は V O Pタイムイ ンク リメ ン ト解析部、 7 4はモジュロ ' タイム . ベ一 ス保持部、 7 5は差分モジュロ ' タイム ' ベースである。
V 0 Pへッダ解析部 5 0 4にある差分モジュロ ■ タイム ' ベース解析 部 7 1は、 スター トコー ド解析部 5 1 より出力されたビッ トス ト リーム よ り差分モジュロ · タイム · ベース 7 5の解析を行い、 解析された差分 モジュロ · タイム ' ベース 7 5 をモジュロ · タイム ' ベース作成部 7 2 へ、 解析後のビッ トス ト リ一ムを V O Pタイムイ ンク リメン ト解析部 7 3へ出力する。
V 0 Pへッダ解析部 5 0 4にあるモジュロ ' タイム ' ベース作成部 Ί 2では、 まず解析された差分モジュロ ' タイム ' ベース 7 5 よ り、 表 2 に示す変換表に基づいて、 直前に解析した V O Pのモジュロ · タイム · ベースと解析対象 V O Pのモジュロ · タイム ' ベースとの差分ビッ ト列 に含まれる" 1 " ビッ トの数を求め、 求めた" 1 " ビッ トの数とモジュ 口 · タイム · ベース保持部 7 4から得られる直前に解析した V O Pのモ ジュロ · タイム · ベースに基づきモジュロ · タイム · ベースを作成し、 作成したモジュロ · タイム ' ベースをモジュロ · タイム ' ベース保持部 7 4へ出力する。
モジュロ · タイム · ベースの作成に関する具体例を示す。 解析された 差分モジュロ . タイム . ベースは" 1 0 " 、 直前に解析されてモジュロ • タイム · ベース保持部に保持されているモジュロ · タイム · ベースを " 1 1 1 1 0 " と仮定する。 表 2 に示す変換表を用いて直前に解析した V O Pのモジュロ · タイム · ベースと解析対象 V O Pのモジュロ · タイ ム · ベースとの差分ビッ ト列に含まれる" 1 " ビッ トの数を求めた場合 、 差分モジュロ · タイ ム ' ベース" 1 0 " に対応する差分ビッ ト列に含 まれる" 1 " ビッ トの数は 1個であることがわかる。 次に、 直前に解析 した V O Pのモジュロ . タイム · ベース" 1 1 1 1 0 " の最上位ビヅ ト に 1個の,, 1,, ビッ トをつけ加え、 モジュロ ' タイム ' ベース,, 1 1 1 1 1 0 " を求める。 表 2の変換表は一例であって、 他の変換表を定義し
て使用してもよい。 得られたモジュロ · タイム · ベースの復元値は、 V 0 Pタイムイ ンク リメ ン ト情報と共に当該 V O Pの表示時刻を規定する 目的で使用される。
また、 「直前に解析した V O Pのモジュロ · タイム · ベーと解析対象 VO Pのモジュロ · タイム · ベースとの差分ビヅ ト列に含まれる" 1 " ビッ トの数」 を、 実施の形態 8に述べたように 「直前に解析した V 0 P のモジュロ · タイム ' ベースのビッ ト長と解析対象 V 0 Pのモジュロ · タイム . ベースのビッ ト長との差分値」 として符号化されているビッ ト ス 卜 リームであっても、 表 2のような変換表の解釈を変更することによ つて対応可能である。
VO Pヘッダ解析部 5 0 4にあるモジュロ · タイム · ベース保持部 7 4は、 直前に解析した V O Pのモジュロ · タイム · ベースを保持してお り、 直前に解析した V O Pのモジュロ · タイム · ベースを出力後、 解析 対象 V O Pのモジュロ · タイム · ベースが入力される。
V O Pヘッダ解析部 5 0 4にある V O Pタイムイ ンク リメ ン ト解析部 7 3は、 差分モジュロ · タイム · ベース解析部 7 1 よ り出力されたビッ トス 卜 リームよ り V O Pタイムイ ンク リ メ ン トの解析を行い、 解析後の ビッ トス ト リームを映像情報ヘッダ解析部 5 7へ出力する。
以上のように、 この実施の形態によれば、 少ない情報量で表現された 差分モジュロ · タイム ' ベースを用いてモジュロ · タイム ' ベ一スを算 出できるよう構成したため、 MP E G— 4に規定される符号化表現より も情報発生量を抑えた実施の形態 8に記載するビッ トス ト リームを解析 することが可能となる効果がある。
以上のように、 本実施の形態においては、 オブジェク ト単位に画像を 符号化したビッ トス ト リームを復号化する画像復号化装置において、 画 像系列中の各時刻の画像の表示時刻を規定する情報として、 基準時刻か
ら表示時刻までの時間を規定する第 1の時間情報と、 該第 1の時間情報 で定められる時刻からさらに細かい精度で表示時刻を規定する第 2の時 間情報とを、 各時刻に対応する画像とを復号する時間情報復号手段と、 入力符号化画像信号をオブジェク ト単位に復号化しし、 これらの復号化 画像信号を合成する復号合成手段とを備え、 該時間情報復号手段は、 直 前に復号された画像の第 1の時間情報を保持し、 被復号画像の第 1の時 間情報として復号されたビッ ト列に、 前記第 1の時間情報保持手段から 得られる直前に復号された画像の第 1の時間情報を加算して被復号画像 の第 1の時間情報を復号し、 該復号合成手段は、 該時間情報復号手段で 復号化された第 1の時間情報及び第 2の時間情報に基づいて、 復号化画 像信号を合成するものの一実施例を開示した。 実施の形態 1 0 .
上述の実施の形態において、 画像符号化装置は表示速度情報を画像符 号化信号に多重化する点、 及び画像符号化装置は絶対時刻を表現する倩 報を画像符号化信号に多重化する点を開示したが、 一台の画像符号化装 置が表示速度情報及び絶対時刻を表現する情報を画像符号化信号に多重 化してもよい。
なお、 構成及び動作については、 上述の実施の形態で述べたそれそれ の画像符号化装置を並列または直列に配置すれば良い。
一方、 画像復号化装置側においても同様である。 簡単に説明すると、 上述の実施の形態において、 画像復号化装置は表示速度情報を復号化し 、 この復号化された表示速度情報に基づいて、 オブジェク ト単位で処理 された画像の再生処理を行う点、 及び画像復号化装置は絶対時刻を表現 する情報を復号化し、 この復号化された絶対時刻を表現する情報に基づ いてォブジェク ト単位で処理された画像の再生処理を行う点を開示した
が、 一台の画像復号化装置が表示速度情報及び絶対時刻を表現する情報 に基づいて、 ォブジヱク ト単位で処理された画像の再生処理を行っても よい。
なお、 構成及び動作については、 上述の実施の形態で述べたそれそれ の画像復号化装置の表示速度情報復号部と絶対時刻を表現する情報復号 部とを並列又は直列に配置して、 それそれの復号部で復号化された情報 に基づき、 オブジェク ト単位で処理された画像の再生処理を行ってもよ い。
以上の構成によ り、 画像の復元処理及び合成処理を、 一層円滑かつ精 度よ く行う ことができる。 実施の形態 1 1 .
上述の実施の形態において、 画像符号化装置は表示速度情報を画像符 号化信号に多重化する点、 及び画像符号化装置は第 1の時間情報と第 2 の時間情報と画像とを符号化及び多重化する点を開示したが、 一台の画 像符号化装置が表示速度情報及び第 1の時間情報と第 2の時間情報と画 像とを符号化多重してもよい。
なお、 構成及び動作については上述の実施の形態で述べたそれそれの 画像符号化装置を並列又は直列に配置すれば良い。
一方、 画像復号化装置側においても同様である。 簡単に説明すると、 上述の実施の形態で画像復号化装置は表示速度情報を復号化し、 この復 号化された表示速度情報に基づいて、 オブジェク ト単位で処理された画 像の再生処理を行う点、 及び画像復号化装置は第 1の時間情報と第 2の 時間情報と画像とを復号化し、 復号化された第 1の時間情報、 第 2の時 間情報、 画像とに基づいて、 画像の再生処理を行う点について開示した が、 一台の画像復号化装置が表示速度情報及び復号化された第 1の時間
情報、 第 2の時間情報とに基づいて画像の再生処理を行っても良い。 なお、 構成及び動作については上述の実施の形態で述べたそれそれの 画像復号化装置の表示速度情報復号部と時間情報復号手段とを並列又は 直列に配置して、 それそれの復号部 (手段) で復号化された情報に基づ き、 オブジェク ト単位で処理された画像の再生処理を行っても良い。 以上の構成によ り、 少ない符号化伝送量で、 画像の復元処理を一層円 滑かつ精度よく行うこ とができる。 実施の形態 1 2 .
上述の実施の形態において、 画像符号化装置は絶対時刻を表現する情 報、 画像符号化信号に多重化する点、 及び画像符号化装置は第 1の時間 情報と第 2の時間情報と画像とを符号化及び多重化する点を開示したが 、 一台の画像符号化装置が絶対時刻を表現する情報、 及び第 1の時間情 報と第 2の時間情報と画像とを符号化多重してもよい。
なお、 構成及び動作については、 上述の実施の形態で述べたそれそれ の画像符号化装置を並列又は直列に配置すれば良い。
一方、 画像復号化装置側においても同様である。 簡単に説明すると、 上述の実施の形態で画像復号化装置は、
絶対時刻を表現する情報を復号化し、 この復号化された絶対時刻を表 現する情報に基づいて、 オブジェク ト単位で処理された画像の再生処理 を行う点、 及び画像復号化装置は第 1の時間情報と第 2の時間情報と画 像とを復号化し、 復号化された第 1の時間情報、 第 2の時間情報、 画像 とに基づいて画像の再生処理を行う点について開示したが、 一台の画像 復号化装置が絶対時刻を表現する情報、 及び復号化された第 1の時間情 報、 第 2の時間情報とに基づいて画像の再生処理を行っても良い。 なお、 構成及び動作については、 上述の実施の形態で述べたそれそれ
の画像復号化装置の絶対時刻を表現する情報復号部と時間情報復号手段 とを並列又は直列に配置して、 それそれの復号部 (手段) で復号化され た情報に基づき、 オブジェク ト単位で処理された画像の再生処理を行つ ても良い。
以上の構成によ り、 少ない符号化伝送量で、 画像の合成処理を円滑か つ精度よ く行う ことができる。 産業上の利用可能性
以上のように、 この発明に係る画像符号化装置及び画像復号化装置は 、 画像符号化装置で多重化された表示速度情報を画像復号化装置で解析 しこの解析した表示速度情報に基づいて、 復号化処理を行う ことによ り 簡単な構成によって、 画像再生を円滑に行う ことができる。 また、 画像 符号化装置で多重化された絶対時刻を表現する情報を画像復号化装置で 解析し、 この解析した絶対時刻を表現する情報に基づいて、 復号化処理 を行うことによ り画像の再生処理を簡単かつ精度よ く行うことができる 。 また、 画像符号化装置で符号化された第 1の時間情報と第 2の時間情 報とを画像復号化装置で復号化し、 これら復号化した第 1の時間情報及 び第 2の時間情報とに基づいて、 入力画像信号を復号化することによ り 、 少ない伝送情報で画像信号の受信が可能となる。
VOFレート v〇pレート情報
30枚/秒 01
15枚/秒 10 静止画像 00 可変 11
Ί" が nビット続く
Claims
1 . オブジェク 卜単位に画像を符号化する画像符号化装置において、 所定の表示速度情報に基づいて画像を符号化する符号化手段と、 該符号化手段で符号化された画像符号化信号に上記所定の表示速度情報 を多重化して出力する多重化手段を備えたことを特徴とする画像符号化 装置。
2 . 多重化手段は、 表示速度情報をオブジェク トごとに多重化すること を特徴とする請求項 1記載の画像符号化装置。
3 . オブジェク ト単位に画像を符号化した符号化ビッ トス ト リ ームを復 号化する画像復号化装置において、
前記符号化ビッ トス ト リームから表示速度情報を復号する表示速度情報 復号手段と、 該表示速度情報復号化手段によつて復号された表示速度情 報に基づいてオブジェク ト単位で処理された画像の再生処理を制御する 制御手段を備えることを特徴とする画像復号化装置。
4 . 表示速度情報復号手段は、 表示速度情報をオブジェク トごとに復号 することを特徴とする請求項 3記載の画像復号化装置。
5 . 制御手段は、 表示速度情報復号手段によって復号されたオブジェク 卜の表示速度情報と、 復号化装置において予め設定されたォブジェク ト の表示速度情報とに基づいて、 該ォブジェク 卜において復号対象となる 時刻を特定する復号時刻特定手段と、 該復号時刻特定手段によって得ら れる復号対象時刻に基づいてォブジェク トの復号を行う復号化手段とを
備えることを特徴とする請求項 3または請求項 4記載の画像復号化装置
6 . ォブジェク 卜単位に画像を符号化する画像符号化装置において、 オブジェク ト毎に該ォブジェク 卜に対する絶対時刻を表現する情報を該 符号化された画像信号に多重化する絶対時刻多重化手段を備えたことを 特徴とする画像符号化装置。
7 . オブジェク ト単位に画像を符号化した符号化ビッ トス ト リ ームを復 号化する画像復号化装置において、
オブジェク ト毎に該オブジェク 卜に対する絶対時刻を表現する情報を解 析する絶対時刻解析手段と、 該絶対時刻解析手段によつて解析された絶 対時刻を表現する情報に基づいて、 ォブジェク 卜単位で処理された画像 の再生処理を行う制御手段とを備えたことを特徴とする画像復号化装置
8 . オブジェク 卜単位に画像を符号化する画像符号化装置において、 ォブジェク 卜毎に各時刻の画像の表示時刻を規定する情報と して、 基準 時刻から表示時刻までの時間を規定する第 1 の時間情報と、 該第 1 の時 間情報で定められる時刻からさらに細かい精度で表示時刻を規定する第 2の時間情報と、 各時刻に対応する画像とを符号化する時間情報符号化 手段を備え、 該時間情報符号化手段は、 前記第 1 の時間情報をビッ 卜長 に換算することにより表現して、 該第 1 の時間情報のビッ ト長が所定の 設定値より も長い場合、 該設定値より短く なるまで該設定値分のビッ ト シフ トを繰り返すとともにビッ トシフ ト実施回数をカウン ト し、 該ビッ トシフ 卜実施回数と繰り返しビッ トシフ トの結果から得られるビッ ト列
と符号化することを特徴とする画像符号化装置。
9 . オブジェク 卜単位に画像を符号化する画像符号化装置において、 オブジェク ト毎に各時刻の画像の表示時刻を規定する情報として、 基準 時刻から表示時刻までの時間を規定する第 1 の時間情報と該第 1 の時間 情報で定められる時刻からさ らに細かい精度で表示時刻を規定する第 2 の時間情報と、 各時刻に対応する画像とを符号化する時間情報符号化手 段を備え、 該時間情報符号化手段は、 直前の時刻の画像において符号化 された第 1 の時間情報を保持する第 1 の時間情報保持手段と、 被符号化 画像の第 1 の時間情報と前記第 1 の時間情報保持手段から得られる直前 の時刻の画像の第 1 の時間情報との差分ビッ ト列を求め、 該差分ビッ ト 列を被符号化画像の第 1 の時間情報と して符号化することを特徴とする 画像符号化装置。
1 0 . ォブジヱク ト単位に画像を符号化したビッ トス ト リ一ムを復号化 する画像復号化装置において、 オブジェク ト毎の各時刻の画像の表示時 刻を規定する情報として、 基準時刻から表示時刻までの時間を規定する 第 1 の時間情報と、 該第 1 の時間情報で定められる時刻からさ らに細か い精度で表示時刻を規定する第 2の時間情報とを各時刻に対応する画像 とを復号する時間情報復号化手段と、 入力符号化画像信号をォブジ二ク ト単位に復号化し、 これらの復号化画像信号を合成する復号合成手段と を備え、 該時間情報復号手段は、 前記第 1 の時間情報の符号化データと して、 ビッ トシフ ト実施回数と繰り返しビッ トシフ 卜の結果から得られ たビッ ト列とを復号し、 該ビッ 卜列に所定の設定値の長さの符号をビッ トシフ ト実施回数分だけ付加することによって前記第 1 の時間情報を復 号し、 該復号合成手段は、 該時間情報復号手段で復号化された第 1 の時
間情報及び第 2の時間情報に基づいて、 復号化画像信号を合成すること を特徴とする画像復号化装置。
1 1 . オブジェク ト単位に画像を符号化したビッ トス ト リ一ムを復号化 する画像復号化装置において、 画像系列中の各時刻の画像の表示時刻を 規定する情報として、 基準時刻から表示時刻までの時間を規定する第 1 の時間情報と、 該第 1 の時間情報で定められる時刻からさらに細かい精 度で表示時刻を規定する第 2の時間情報とを、 各時刻に対応する画像と を復号する時間情報復号手段と、 入力符号化画像信号をォブジェク ト単 位に復号化し、 これらの復号化画像信号を合成する復号合成手段とを備 え、 該時間情報復号手段は、 直前に復号された画像の第 1 の時間情報を 保持し、 被復号画像の第 1 の時間情報として復号されたビッ 卜列に、 前 記第 1 の時間情報保持手段から得られる直前に復号された画像の第 1 の 時間情報を加算して被復号画像の第 1 の時間情報を復号し、 該復号合成 手段は、 該時間情報復号手段で復号化された第 1 の時間情報及び第 2の 時間情報に基づいて、 復号化画像信号を合成することを特徴とする画像 復号化装置。
Priority Applications (35)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP1997/003785 WO1999021367A1 (fr) | 1997-10-20 | 1997-10-20 | Codeur et decodeur d'image |
CN2008100866032A CN101304523B (zh) | 1997-10-20 | 1998-03-06 | 图象编码装置及图象译码装置 |
CNB2005100068912A CN100377596C (zh) | 1997-10-20 | 1998-03-06 | 图象编码装置及图象译码装置 |
EP20050013383 EP1585341A3 (en) | 1997-10-20 | 1998-03-06 | decoding device and method for images encoded with VOP fixed rate flags |
EP20050013384 EP1585342B1 (en) | 1997-10-20 | 1998-03-06 | decoding device and method for images encoded with VOP fixed rate flags |
EP20100011632 EP2278810A3 (en) | 1997-10-20 | 1998-03-06 | Image coding device and image coding method coding a VOP rate flag |
EP10011633.4A EP2278811B1 (en) | 1997-10-20 | 1998-03-06 | Image coding device and image coding method coding a VOP rate flag |
EP98905800A EP1032220A4 (en) | 1997-10-20 | 1998-03-06 | IMAGE CODING DEVICE AND IMAGE DECODING DEVICE |
DE69842007T DE69842007D1 (de) | 1997-10-20 | 1998-03-06 | Dekodiergerät und -verfahren für kodierte Bilder mit VOP-Festratemarkierungen |
EP20100011634 EP2278812A3 (en) | 1997-10-20 | 1998-03-06 | Image coding device and image coding method coding a VOP rate flag |
EP08075002.9A EP1909502B9 (en) | 1997-10-20 | 1998-03-06 | Image decoding device and image decoding method with decoding of VOP rate information from a syntax layer above the video layer |
PCT/JP1998/000941 WO1999021370A1 (en) | 1997-10-20 | 1998-03-06 | Picture coding device and picture decoding device |
EP20080075003 EP1909503A3 (en) | 1997-10-20 | 1998-03-06 | Image decoding device and image decoding method with determination of the absolute VOP time |
TW087103320A TW376661B (en) | 1997-10-20 | 1998-03-06 | Image encoding device and image decoding device |
KR10-2000-7004266A KR100413935B1 (ko) | 1997-10-20 | 1998-03-06 | 화상 부호화 장치 및 화상 복호화 장치 |
EP20100075285 EP2242277A1 (en) | 1997-10-20 | 1998-03-06 | Decoding device and method for images encoded with VOP fixed rate flags |
CNB988124548A CN100388794C (zh) | 1997-10-20 | 1998-03-06 | 图象编码装置及图象译码装置 |
CNA2008100862737A CN101267570A (zh) | 1997-10-20 | 1998-03-06 | 图象编码装置及图象译码装置 |
CNB2005100078416A CN100350803C (zh) | 1997-10-20 | 1998-03-06 | 图象编码装置及图象译码装置 |
EP20080075001 EP1909501A3 (en) | 1997-10-20 | 1998-03-06 | Image coding device and image coding method coding a VOP rate flag |
EP10011631.8A EP2278809B1 (en) | 1997-10-20 | 1998-03-06 | Image coding device and image coding method coding a VOP rate flag |
US09/545,172 US6983014B1 (en) | 1997-10-20 | 2000-04-06 | Image encoding device and image decoding device |
HK06101390A HK1081773A1 (en) | 1997-10-20 | 2001-02-27 | Decoding device and method for images encoded with vop fixed rate flags |
JP2004045076A JP3803348B2 (ja) | 1997-10-20 | 2004-02-20 | 画像復号化装置および画像復号化方法 |
JP2004045105A JP2004194352A (ja) | 1997-10-20 | 2004-02-20 | 画像復号化装置および画像復号化方法 |
JP2004045089A JP3803349B2 (ja) | 1997-10-20 | 2004-02-20 | 画像復号化装置および画像復号化方法 |
US11/155,483 US8737463B2 (en) | 1997-10-20 | 2005-06-20 | Image encoding device and image decoding device |
US11/155,611 US7356078B2 (en) | 1997-10-20 | 2005-06-20 | Image encoding device and image decoding device |
JP2006153761A JP4708263B2 (ja) | 1997-10-20 | 2006-06-01 | 画像復号化装置および画像復号化方法 |
US11/835,771 US7876818B2 (en) | 1997-10-20 | 2007-08-08 | Image encoding device and image decoding device |
US11/835,711 US8824561B2 (en) | 1997-10-20 | 2007-08-08 | Image encoding device and image decoding device |
HK09103157A HK1125523A1 (en) | 1997-10-20 | 2009-04-02 | Picture coding device and picture decoding device |
JP2009185663A JP4588795B2 (ja) | 1997-10-20 | 2009-08-10 | 画像符号化装置および画像符号化方法 |
JP2010257031A JP2011061852A (ja) | 1997-10-20 | 2010-11-17 | 画像復号化装置および画像復号化方法 |
JP2011281596A JP5409762B2 (ja) | 1997-10-20 | 2011-12-22 | 画像復号化装置および画像復号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP1997/003785 WO1999021367A1 (fr) | 1997-10-20 | 1997-10-20 | Codeur et decodeur d'image |
Publications (1)
Publication Number | Publication Date |
---|---|
WO1999021367A1 true WO1999021367A1 (fr) | 1999-04-29 |
Family
ID=14181344
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP1997/003785 WO1999021367A1 (fr) | 1997-10-20 | 1997-10-20 | Codeur et decodeur d'image |
PCT/JP1998/000941 WO1999021370A1 (en) | 1997-10-20 | 1998-03-06 | Picture coding device and picture decoding device |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP1998/000941 WO1999021370A1 (en) | 1997-10-20 | 1998-03-06 | Picture coding device and picture decoding device |
Country Status (9)
Country | Link |
---|---|
US (5) | US6983014B1 (ja) |
EP (11) | EP2278811B1 (ja) |
JP (7) | JP3803349B2 (ja) |
KR (1) | KR100413935B1 (ja) |
CN (5) | CN100377596C (ja) |
DE (1) | DE69842007D1 (ja) |
HK (2) | HK1081773A1 (ja) |
TW (1) | TW376661B (ja) |
WO (2) | WO1999021367A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0914007A1 (en) * | 1997-04-01 | 1999-05-06 | Sony Corporation | Picture coding device, picture coding method, picture decoding device, picture decoding method, and providing medium |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999021367A1 (fr) * | 1997-10-20 | 1999-04-29 | Mitsubishi Denki Kabushiki Kaisha | Codeur et decodeur d'image |
JP4208398B2 (ja) * | 2000-10-05 | 2009-01-14 | 株式会社東芝 | 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置 |
US20040179610A1 (en) * | 2003-02-21 | 2004-09-16 | Jiuhuai Lu | Apparatus and method employing a configurable reference and loop filter for efficient video coding |
US7283591B2 (en) * | 2003-03-28 | 2007-10-16 | Tarari, Inc. | Parallelized dynamic Huffman decoder |
US7660352B2 (en) * | 2003-04-04 | 2010-02-09 | Sony Corporation | Apparatus and method of parallel processing an MPEG-4 data stream |
US20040223547A1 (en) * | 2003-05-07 | 2004-11-11 | Sharp Laboratories Of America, Inc. | System and method for MPEG-4 random access broadcast capability |
EP1998510B1 (en) | 2006-03-17 | 2011-10-26 | NEC Corporation | Encoded stream sending device |
US7839835B2 (en) | 2006-08-22 | 2010-11-23 | Nec Laboratories America, Inc. | Quantized precoding over a set of parallel channels |
CN102148961B (zh) * | 2010-08-30 | 2013-01-09 | 华为软件技术有限公司 | 监控处理方法、装置和网络视频监控*** |
US10699721B2 (en) * | 2017-04-25 | 2020-06-30 | Dts, Inc. | Encoding and decoding of digital audio signals using difference data |
CN113902785B (zh) * | 2021-09-15 | 2022-04-15 | 珠海视熙科技有限公司 | 一种深度图像的处理方法、***、装置及计算机存储介质 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2776401B2 (ja) | 1993-08-13 | 1998-07-16 | 日本電気株式会社 | 画像・音声の圧縮装置及び再生装置 |
US5515377A (en) * | 1993-09-02 | 1996-05-07 | At&T Corp. | Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks |
US5539663A (en) * | 1993-11-24 | 1996-07-23 | Intel Corporation | Process, apparatus and system for encoding and decoding video signals using temporal filtering |
KR100205503B1 (ko) * | 1993-12-29 | 1999-07-01 | 니시무로 타이죠 | 비디오데이타 부호화장치 및 복호장치 |
JP3274563B2 (ja) * | 1994-03-25 | 2002-04-15 | 日本電気株式会社 | 画像再生装置 |
JPH08294127A (ja) * | 1995-04-24 | 1996-11-05 | Matsushita Electric Ind Co Ltd | 画像圧縮装置 |
JPH09116897A (ja) * | 1995-10-16 | 1997-05-02 | Mitsubishi Electric Corp | 画像伝送装置 |
US5899575A (en) | 1996-09-04 | 1999-05-04 | Hitachi, Ltd. | Video capture device, video recording/playing apparatus having the video capture device attached thereto, and video input device |
JP3261993B2 (ja) | 1995-12-15 | 2002-03-04 | 株式会社日立製作所 | 動画像記録方法及び動画像記憶再生方法 |
US6031575A (en) * | 1996-03-22 | 2000-02-29 | Sony Corporation | Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium |
USRE39115E1 (en) * | 1996-07-05 | 2006-06-06 | Matsushita Electric Industrial Co., Ltd. | Method for display time stamping and synchronization of multiple video object planes |
US6266370B1 (en) * | 1996-09-03 | 2001-07-24 | Nippon Telegraph And Telephone Corporation | Brightness-variation compensation method and coding/decoding apparatus for moving pictures |
KR100297830B1 (ko) * | 1996-11-09 | 2001-08-07 | 윤종용 | 영상단위별 비트발생량 조절 장치 및 방법 |
US5748789A (en) * | 1996-10-31 | 1998-05-05 | Microsoft Corporation | Transparent block skipping in object-based video coding systems |
US6173013B1 (en) * | 1996-11-08 | 2001-01-09 | Sony Corporation | Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal |
US6028539A (en) * | 1997-02-07 | 2000-02-22 | Matsushita Electric Industrial Co., Ltd. | Buffer control method, and decoding apparatus performing buffer control |
US5790196A (en) * | 1997-02-14 | 1998-08-04 | Mitsubishi Electric Information Technology Center America, Inc. | Adaptive video coding method |
US5969764A (en) * | 1997-02-14 | 1999-10-19 | Mitsubishi Electric Information Technology Center America, Inc. | Adaptive video coding method |
US6011868A (en) * | 1997-04-04 | 2000-01-04 | Hewlett-Packard Company | Bitstream quality analyzer |
US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
US6233356B1 (en) * | 1997-07-08 | 2001-05-15 | At&T Corp. | Generalized scalability for video coder based on video objects |
WO1999021367A1 (fr) * | 1997-10-20 | 1999-04-29 | Mitsubishi Denki Kabushiki Kaisha | Codeur et decodeur d'image |
-
1997
- 1997-10-20 WO PCT/JP1997/003785 patent/WO1999021367A1/ja active Application Filing
-
1998
- 1998-03-06 EP EP10011633.4A patent/EP2278811B1/en not_active Expired - Lifetime
- 1998-03-06 TW TW087103320A patent/TW376661B/zh not_active IP Right Cessation
- 1998-03-06 EP EP20100011634 patent/EP2278812A3/en not_active Withdrawn
- 1998-03-06 KR KR10-2000-7004266A patent/KR100413935B1/ko not_active IP Right Cessation
- 1998-03-06 CN CNB2005100068912A patent/CN100377596C/zh not_active Expired - Lifetime
- 1998-03-06 EP EP20080075001 patent/EP1909501A3/en not_active Withdrawn
- 1998-03-06 CN CNB2005100078416A patent/CN100350803C/zh not_active Expired - Lifetime
- 1998-03-06 EP EP20100011632 patent/EP2278810A3/en not_active Withdrawn
- 1998-03-06 DE DE69842007T patent/DE69842007D1/de not_active Expired - Lifetime
- 1998-03-06 EP EP10011631.8A patent/EP2278809B1/en not_active Expired - Lifetime
- 1998-03-06 CN CNA2008100862737A patent/CN101267570A/zh active Pending
- 1998-03-06 EP EP20100075285 patent/EP2242277A1/en not_active Withdrawn
- 1998-03-06 EP EP20050013383 patent/EP1585341A3/en not_active Withdrawn
- 1998-03-06 WO PCT/JP1998/000941 patent/WO1999021370A1/ja not_active Application Discontinuation
- 1998-03-06 EP EP08075002.9A patent/EP1909502B9/en not_active Expired - Lifetime
- 1998-03-06 EP EP98905800A patent/EP1032220A4/en not_active Withdrawn
- 1998-03-06 EP EP20080075003 patent/EP1909503A3/en not_active Withdrawn
- 1998-03-06 EP EP20050013384 patent/EP1585342B1/en not_active Expired - Lifetime
- 1998-03-06 CN CN2008100866032A patent/CN101304523B/zh not_active Expired - Lifetime
- 1998-03-06 CN CNB988124548A patent/CN100388794C/zh not_active Expired - Lifetime
-
2000
- 2000-04-06 US US09/545,172 patent/US6983014B1/en not_active Expired - Lifetime
-
2001
- 2001-02-27 HK HK06101390A patent/HK1081773A1/xx not_active IP Right Cessation
-
2004
- 2004-02-20 JP JP2004045089A patent/JP3803349B2/ja not_active Expired - Lifetime
- 2004-02-20 JP JP2004045105A patent/JP2004194352A/ja active Pending
- 2004-02-20 JP JP2004045076A patent/JP3803348B2/ja not_active Expired - Lifetime
-
2005
- 2005-06-20 US US11/155,483 patent/US8737463B2/en not_active Expired - Fee Related
- 2005-06-20 US US11/155,611 patent/US7356078B2/en not_active Expired - Fee Related
-
2006
- 2006-06-01 JP JP2006153761A patent/JP4708263B2/ja not_active Expired - Lifetime
-
2007
- 2007-08-08 US US11/835,711 patent/US8824561B2/en not_active Expired - Fee Related
- 2007-08-08 US US11/835,771 patent/US7876818B2/en not_active Expired - Fee Related
-
2009
- 2009-04-02 HK HK09103157A patent/HK1125523A1/xx not_active IP Right Cessation
- 2009-08-10 JP JP2009185663A patent/JP4588795B2/ja not_active Expired - Lifetime
-
2010
- 2010-11-17 JP JP2010257031A patent/JP2011061852A/ja active Pending
-
2011
- 2011-12-22 JP JP2011281596A patent/JP5409762B2/ja not_active Expired - Lifetime
Non-Patent Citations (2)
Title |
---|
EIJI KASUYA, WATARU MIYAMORI, HIDEYOSHI TOMINAGA, "Coding of Image Contents and Application to Editing Function (in Japanese)", REPORT OF INFORMATION PROCESSING SOCIETY OF JAPAN, Vol. 96, No. 17, 16 February 1996, (Tokyo) pages 29-36. * |
HIROSHI YASUDA, "International Standards for MPEG/Multimedia Encoding (in Japanese)", MARUZEN CO., LTD., 30 September 1994, pages 150-153. * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0914007A1 (en) * | 1997-04-01 | 1999-05-06 | Sony Corporation | Picture coding device, picture coding method, picture decoding device, picture decoding method, and providing medium |
EP1152622A1 (en) * | 1997-04-01 | 2001-11-07 | Sony Corporation | Image encoder, image encoding method, image decoder, image decoding method, and distribution media |
EP0914007A4 (en) * | 1997-04-01 | 2001-11-07 | Sony Corp | IMAGE CODING DEVICE, IMAGE CODING METHOD, IMAGE DECODING DEVICE, IMAGE DECODING METHOD, AND ASSOCIATED MEDIUM |
US6535559B2 (en) * | 1997-04-01 | 2003-03-18 | Sony Corporation | Image encoder, image encoding method, image decoder, image decoding method, and distribution media |
US6643328B2 (en) | 1997-04-01 | 2003-11-04 | Sony Corporation | Image encoder, image encoding method, image decoder, image decoding method, and distribution media |
US7302002B2 (en) | 1997-04-01 | 2007-11-27 | Sony Corporation | Image encoder, image encoding method, image decoder, image decoding method, and distribution media |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4708263B2 (ja) | 画像復号化装置および画像復号化方法 | |
KR100574705B1 (ko) | Mpeg-2 비트스트림을 smpte-259 호환비트스트림으로 변환하기 위한 방법 및 장치 | |
KR950035446A (ko) | 비디오 데이타를 가지는 비트 스트림의 트랜스코딩 방법 및 장치 | |
JP2010148089A (ja) | 映像分割基盤超高解像度ビデオ符号化および復号化装置、およびその制御方法 | |
EP1443776B1 (en) | Video signal processing system | |
EP1531628A2 (en) | Scalable video coding | |
KR20000022500A (ko) | 복수의 화상 정보의 부호화 방법, 부호화 장치, 복호화 및 합성방법, 복호화 및 합성 장치, 및 상기 방법을 기록한 기록 매체 | |
JP2001148853A (ja) | 動画像符号化装置および復号化装置 | |
JP6197708B2 (ja) | 動画像伝送システム、動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム | |
WO2005096636A1 (ja) | 符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システム | |
JP2006339787A (ja) | 符号化装置及び復号装置 | |
JP2006512832A (ja) | 映像符号化及び復号化方法 | |
JPH07107441A (ja) | 映像信号送受信装置 | |
JPH10243403A (ja) | 動画像符号化装置及び動画像復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AK | Designated states |
Kind code of ref document: A1 Designated state(s): CN JP KR SG US |
|
AL | Designated countries for regional patents |
Kind code of ref document: A1 Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
122 | Ep: pct application non-entry in european phase | ||
NENP | Non-entry into the national phase |
Ref country code: JP Ref document number: 2000517555 Format of ref document f/p: F |