KR100413935B1 - 화상 부호화 장치 및 화상 복호화 장치 - Google Patents

화상 부호화 장치 및 화상 복호화 장치 Download PDF

Info

Publication number
KR100413935B1
KR100413935B1 KR10-2000-7004266A KR20007004266A KR100413935B1 KR 100413935 B1 KR100413935 B1 KR 100413935B1 KR 20007004266 A KR20007004266 A KR 20007004266A KR 100413935 B1 KR100413935 B1 KR 100413935B1
Authority
KR
South Korea
Prior art keywords
time
information
vop
image
display
Prior art date
Application number
KR10-2000-7004266A
Other languages
English (en)
Other versions
KR20010031279A (ko
Inventor
쿠로다시니치
세키구치스니치
아사이코타로
니시카와히로후미
이스요시미
하세가와유리
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20010031279A publication Critical patent/KR20010031279A/ko
Application granted granted Critical
Publication of KR100413935B1 publication Critical patent/KR100413935B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

화상 부호화 장치측의 다중화 수단에 있어서, 표시 속도 정보 또는 절대 시각을 표현하는 정보를 다중화하여, 이 다중화된 표시 속도 정보 또는 절대 시각을 표현하는 정보에 근거하여 화상 복호화 장치가 처리를 행함으로써, 화상의 복호화 처리를 원활하게 또한 양호한 정밀도로 행할 수 있다.

Description

화상 부호화 장치 및 화상 복호화 장치{Picture coding device and picture decoding device}
종래의 디코드측에서는 VOP 헤더 정보를 해석하기 이전에, 해석이 불필요한 VOP(화상 신호의 저속 쇼트(shot)의 경우, 제거되는 정보)와 해석이 필요한 VOP(화상 신호의 저속 쇼트의 경우, 제거되지 않는 정보)의 구별이 가지 않기 때문에, 각 VOP 헤더에 포함되는 VOP 스타트 코드와 모듈로·타임·베이스와 VOP 타임 인클리먼트를 반드시 해석하지 않으면 안되기 때문에, 처리가 번거롭고 처리 정밀도의 저하를 초래할 우려가 있다고 하는 과제가 있었다.
또한, 화상을 구성하는 피사체, 배경, 로고 등의 오브젝트를 단위로 하여, 부호화된 신호를 복호화 및 합성하는 경우, 각각의 오브젝트에는 복호, 합성할 때에 필요한 합성 타이밍 신호(절대 시각을 표현하는 정보)가 부가되지 않으면 안된다. 화상 복호화 장치는 절대 시각을 표현하는 정보를 얻지 않으면, 각 오브젝트의 합성을 행할 수 없으므로, 화상 재생성이 불가능하다. 요컨대, 이 절대 시간을 나타내는 정보를 가지지 않은 오브젝트를 포함하는 복수 오브젝트로부터 1개의 화상을 작성하고자 하는 경우, 절대 시간을 나타내는 정보를 가지지 않은 오브젝트의 컴포지션이 불가능하게 되는 과제가 있었다.
또, 모듈로·타임·베이스의 비트 길이는 다음의 GOV 헤더가 다중화될 때까지 증가하는 것으로, 옵션인 GOV 헤더가 다중화되어 있지 않으면, 모듈로·타임·베이스의 비트 길이가 계속 증가한다고 하는 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해 이루어진 것으로, 간단한 처리로 처리 정밀도가 향상하는 화상 부호화 장치 및 화상 복호화 장치를 제공한다.
또한, 타임 코드에 근거하여 복수의 오브젝트로 구성되는 화면의 작성을 가능하게 하는 화상 부호화 장치 및 화상 복호화 장치를 제공하는 것을 목적으로 한다.
더욱이, 불필요한 정보량의 발생을 방지하는 것을 목적으로 한다.
본 발명은 화상 처리를 행하는 화상 부호화 장치 및 화상 복호화 장치에 관한 것이다.
도 1은 MPEG-4에 있어서의 비디오 데이터 구조를 도시한 도면.
도 2는 VOP의 구체적인 예를 도시한 도면.
도 3은 본 발명의 실시예 1에 의한 VOP 인코더부를 도시한 블록도.
도 4는 본 발명의 실시예 1에 의한 VOP 인코더부의 헤더 다중화부의 구성의 일례를 도시한 블록도.
도 5는 모듈로·타임·베이스와 VOP 타임 인클리먼트를 설명하는 도면.
도 6은 본 발명의 실시예 1에 의한 VOP 인코더부의 헤더 다중화부의 구성의 일례를 도시한 블록도.
도 7은 본 발명의 실시예 2에 의한 VOP 인코더부를 도시한 블록도.
도 8은 본 발명의 실시예 2에 의한 VOP 인코더부의 헤더 다중화부의 구성의 일례를 도시한 블록도.
도 9는 비트 스트림의 일례를 도시한 도면.
도 10은 본 발명의 실시예 2에 의한 헤더 다중화부의 VOP 헤더 다중화부의 구성의 일례를 도시한 블록도.
도 11은 본 발명의 실시예 3에 의한 VOP 디코더부의 내부 구성을 도시한 블록도.
도 12는 본 발명의 실시예 3에 의한 VOP 디코더부의 헤더 해석부의 구성의 일례를 도시한 블록도.
도 13은 본 발명의 실시예 3에 의한 복수의 오브젝트를 합성하는 시스템을 도시한 블록도.
도 14는 본 발명의 실시예 4에 의한 VOP 디코더부의 헤더 해석부의 구성의 일례를 도시한 블록도.
도 15는 본 발명의 실시예 4에 의한 VOP 디코더부의 헤더 해석부의 구성의일례를 도시한 블록도.
도 16은 본 발명의 실시예 5에 의한 VOP 디코더부의 내부 구성을 도시한 블록도.
도 17은 본 발명의 실시예 5에 의한 VOP 디코더부의 헤더 해석부의 구성의 일례를 도시한 블록도.
도 18은 본 발명의 실시예 5에 의한 VOP 디코더부의 VOP 헤더 해석부의 구성의 일례를 도시한 블록도.
도 19는 본 발명의 실시예 6에 의한 VOP 디코더부의 헤더 해석부의 구성의 일례를 도시한 블록도.
도 20은 본 발명의 실시예 6에 의한 VOP 디코더부의 VOP 헤더 해석부의 구성의 일례를 도시한 블록도.
도 21은 본 발명의 실시예 7에 의한 VOP 인코더부의 헤더 다중화부의 구성의 일례를 도시한 블록도.
도 22는 본 발명의 실시예 7에 의한 VOP 인코더부의 헤더 다중화부의 구성의 일례를 도시한 블록도.
도 23은 본 발명의 실시예 8에 의한 VOP 디코더부의 내부 구성의 일례를 도시한 블록도.
도 24는 본 발명의 실시예 8에 의한 VOP 디코더부의 헤더 해석부의 구성의 일례를 도시한 블록도.
도 25는 본 발명의 실시예 8에 의한 복수의 오브젝트를 합성하는 시스템을도시한 블록도.
도 26은 본 발명의 실시예 8에 의한 VOP 디코더부의 헤더 해석부의 구성의 일례를 도시한 블록도.
도 27은 본 발명의 실시예 8에 의한 VOP 디코더부의 내부 구성의 일례를 도시한 블록도.
도 28은 본 발명의 실시예 9에 의한 VOP 인코더부의 헤더 다중화부의 구성의 일례를 도시한 블록도.
도 29는 본 발명의 실시예 10에 의한 VOP 디코더부의 헤더 해석부의 구성의 일례를 도시한 블록도.
도 30은 본 발명의 실시예 11에 의한 VOP 인코더부의 헤더 다중화부의 구성의 일례를 도시한 블록도.
도 31은 본 발명의 실시예 12에 의한 VOP 디코더부의 헤더 해석부의 구성의 일례를 도시한 블록도이다.
본 발명은 오브젝트 단위로 화상을 부호화하는 화상 부호화 장치에 있어서, 단위 시간당의 오브젝트의 표시수를 나타내는 소정의 표시 속도 정보에 근거하여 화상을 부호화하는 부호화 수단과, 상기 부호화 수단에서 부호화된 화상 부호화 신호에 상기 소정의 표시 속도 정보를 복수의 VOP 데이터로 구성되는 레이어의 헤더 정보 부분에 다중화하여 출력하는 다중화 수단을 구비한 것이다. 이것에 의해, 표시 속도 정보를 다중화하여 보낼 수 있다.
또한, 본 발명은 상기 표시 속도 정보를 오브젝트마다에 다중화하는 것이다. 이것에 따라, 오브젝트마다 표시 속도 정보를 다중화할 수 있다.
또한, 본 발명은 오브젝트의 표시 속도가 고정 속도인지 가변 속도인지를 나타내는 정보나, 표시 속도의 값을 나타내는 정보를 오브젝트마다에 다중화하는 것이다. 이것에 따라, 표시 속도를 나타내는 정보나, 표시 속도의 값을 나타내는 정보를 다중화할 수 있다.
또한, 본 발명은 표시 속도 정보가 고유의 고정 표시 속도를 나타내는 값과 임의의 고정 표시 속도를 나타내는 값을 포함하는 것이다. 이것에 따라, 이 표시 속도 정보를 복호하는 측에서는 대응하는 VOP를 순간에 특정할 수 있다.
또한, 본 발명은 오브젝트 단위로 화상을 부호화한 부호화 비트 스트림을 복호화하는 화상 복호화 장치에 있어서,
상기 부호화 비트 스트림은 복수의 VOP 데이터로 구성되는 레이어의 헤더 정보 부분에, 단위 시간당의 오브젝트의 표시수를 나타내는 표시 속도 정보를 포함하며, 상기 부호화 비트 스트림의 헤더 부분에 포함되는 상기 표시 속도 정보를 복호하는 표시 속도 정보 복호 수단과, 상기 표시 속도 정보 복호 수단에 의해 복호된 표시 속도 정보에 근거하여 오브젝트 단위로 처리된 화상의 재생 처리를 제어하는 제어 수단을 구비한 것이다. 이것에 따라, 간단한 구성으로 화상 복원 처리를 원활하게 동시에 양호한 정밀도로 행할 수 있다.
또한, 본 발명은 상기 표시 속도 정보를 오브젝트 마다에 복호하는 것이다. 이것에 따라, 간단한 구성으로 화상 복원 처리를 더욱 원활하게 동시에 양호한 정밀도로 행할 수 있다.
또한, 본 발명의 표시 속도 정보 복호 수단은 부호화 비트 스트림으로부터표시 속도 정보를 오브젝트마다에 복호하고, 제어 수단은 이 복호된 표시 속도 정보의 나타내는 오브젝트의 표시 속도가 고정 속도인지 가변 속도인지에 따라 화상의 재생 처리를 제어하는 것이다. 이것에 따라, 간단한 구성으로 화상 복원 처리를 더욱 원활하게 동시에 정밀도 양호하게 행할 수 있다.
또한, 본 발명의 표시 속도 정보 복호 수단은 부호화 비트 스트림으로부터 표시 속도 정보를 오브젝트마다에 복호하고, 제어 수단은 상기 표시 속도 정보 복호 수단에 의해 복호된 표시 속도 정보가 고정 속도를 나타내는 경우는 오브젝트의 표시 속도를 나타내는 정보에 근거하여, 가변 속도를 나타내는 경우는 각 시각의 화상마다에 다중화되는 표시 시각 정보에 근거하여 각 시각의 화상의 표시 시각을 특정하여 재생을 제어하는 것이다. 이것에 따라 간단한 구성으로 화상 복원 처리를더욱 원활하게 또한 정밀도 양호하게 행할 수 있다.
또한, 본 발명의 표시 속도 정보 복호 수단은 부호화 비트 스트림으로부터 표시 속도 정보를 오브젝트마다에 복호하고, 제어 수단은 상기 표시 속도 정보 복호 수단에 의해 복호된 표시 속도 정보가 고정 속도를 나타내며 동시에 상기 고정 속도가 상기 표시 속도 정보로 표현되는 값인 경우는 표시 속도 정보에 근거하여, 표시 속도 정보가 고정 속도를 나타내며 동시에 상기 고정 속도의 값이 특정한 값으로서 표현되어 있지 않은 경우는 각 시각의 화상마다에 다중화되는 표시 시각 정보에 근거하여, 표시 속도 식별 정보가 가변 속도를 나타내는 경우는 각 시각의 화상마다에 다중화되는 표시 시각 정보에 근거하여 각 시각의 화상의 표시 시각을 특정하여 재생을 제어하는 것이다. 이것에 따라, 간단한 구성으로 화상 복원 처리를더욱 원활하게 또한 정밀도 양호하게 행할 수 있다.
또, 본 발명의 상기 제어 수단은 상기 표시 속도 정보 복호 수단에 의해 복호된 오브젝트의 표시 속도 정보와, 복호화 장치에 있어서 미리 설정된 오브젝트의 표시 속도 정보에 근거하여, 상기 오브젝트에 있어서 복호 대상이 되는 시각을 특정하는 복호 시각 특정 수단과, 상기 복호 시각 특정 수단에 의해 얻어지는 복호 대상 시각에 근거하여 오브젝트의 복호를 행하는 복호 수단을 구비한 것이다. 이것에 따라, 간단한 구성으로 화상 복원 처리를 원활하게 동시에 양호한 정밀도로 행할 수 있다.
또한, 본 발명은 오브젝트 단위로 화상을 부호화하는 화상 부호화 장치에 있어서, 오브젝트 마다에 상기 오브젝트에 대한 절대 시각을 표현하는 정보를 상기 부호화된 화상 신호로 다중화하는 절대 시각 다중화 수단을 구비한 것이다. 이것에 따라, 절대 시각을 표현하는 정보를 다중화하여 이송할 수 있다.
또한, 본 발명은 오브젝트 단위로 화상을 부호화한 부호화 비트 스트림을 복호화하는 화상 복호화 장치에 있어서, 오브젝트 마다에 상기 오브젝트에 대한 절대 시각을 표현하는 정보를 해석하는 절대 시각 해석 수단과, 상기 절대 시각 해석 수단에 의해 해석된 절대 시각을 표현하는 정보에 근거하여, 오브젝트 단위로 처리된 화상의 재생 처리를 행하는 것이다. 이것에 따라, 화상의 합성 처리를 간단하며 또한 정밀도 양호하게 행할 수 있다.
또한, 본 발명은 오브젝트 단위로 화상을 부호화한 화상 부호화 장치에 있어서, 오브젝트마다에 각 시각의 화상의 표시 시각을 규정하는 정보로서 이 기준 시각으로부터 표시 시각까지의 시간을 규정하는 제 1 시간 정보와 상기 제 1 시간 정보로 정해지는 시각으로부터 더욱 세밀한 정밀도로 표시 시각을 규정하는 제 2 시간 정보와 각 시각에 대응하는 화상을 부호화하는 시간 정보 부호화 수단을 구비하며, 상기 시간 정보 부호화 수단은 상기 제 1 시간 정보를 비트 길이로 환산함으로써 표현하여, 상기 제 1 시간 정보의 비트 길이가 소정의 설정값보다도 긴 경우, 상기 설정값보다 짧게 되기까지 상기 설정값 만큼의 비트 시프트를 반복함과 동시에 비트 시프트 실시 회수를 카운트하여, 상기 비트 시프트 실시 회수와 반복 비트 시프트의 결과로부터 얻어지는 비트열을 부호화하는 것이다. 이것에 따라, 부호화 전송량을 적게 할 수 있다.
또한, 본 발명은 오브젝트 단위로 화상을 부호화하는 화상 부호화 장치에 있어서, 오브젝트마다에 각 시각의 화상의 표시 시각을 규정하는 정보로서, 기준 시각으로부터 표시 시각까지의 시간을 규정하는 제 1 시간 정보와 상기 제 1 시간 정보로 정해지는 시각으로부터 더욱 세밀한 정밀도로 표시 시각을 규정하는 제 2 시간 정보와 각 시각에 대응하는 화상을 부호화하는 시간 정보 부호화 수단을 구비하며, 상기 시간 정보 부호화 수단은 직전의 시각의 화상에 있어서 부호화된 제 1 시간 정보를 유지하는 제 1 시간 정보 유지 수단과, 피부호화 화상의 제 1 시간 정보와 상기 제 1 시간 정보 유지 수단으로부터 얻어지기 직전의 시각의 화상의 제 1 시간 정보와의 차분 비트열을 구하고, 상기 차분 비트열을 피부호화 화상의 제 1 시간 정보로서 부호화하는 것이다. 이것에 따라, 부호화 전송량을 적게 할 수 있다.
또한, 본 발명은 오브젝트 단위로 화상을 부호화한 비트 스트림을 복호화하는 화상 복호화 장치에 있어서, 오브젝트 마다의 각 시각의 화상의 표시 시각의 화상의 표시 시각을 규정하는 정보로서, 기준 시각으로부터 표시 시각까지의 시간을 규정하는 제 1 시간 정보와, 상기 제 1 시간 정보로 정해지는 시각으로부터 더욱 세밀한 정밀도로 표시 시각을 규정하는 제 2 시간 정보를 각 시각에 대응하는 화상을 복호하는 시간 정보 복호 수단과, 입력 부호화 화상 신호를 오브젝트 단위로 복호화하여, 이들의 복호화 화상 신호를 합성하는 복호 합성 수단을 구비하며, 상기 시간 정보 복호 수단은 상기 제 1 시간 정보의 부호화 데이터로서, 비트 시프트 실시 회수와 반복 비트 시프트의 결과로부터 얻어진 비트열을 복호하고, 상기 비트열에 소정의 설정값의 길이의 부호를 비트 시프트 실시 회수분만큼 부가함으로써 상기 제 1 시간 정보를 복호하는 것을 특징으로 하는 상기 복호 합성 수단은 상기 시간 정보 복호 수단으로 복호화된 제 1 시간 정보 및 제 2 시간 정보에 근거하여, 복호화 화상 신호를 합성하는 것이다. 이것에 의해, 적은 부호화 전송량으로 화상의 수신이 가능해진다.
더욱이, 본 발명은 오브젝트 단위로 화상을 부호화한 비트 스트림을 복호화하는 화상 복호화 장치에 있어서, 화상 계열 중의 각 시각의 화상의 표시 시각을 규정하는 정보로서, 기준 시각으로부터 표시 시각까지의 시간을 규정하는 제 1 시간 정보와 상기 제 1 시간 정보로 정해지는 시각으로부터 더욱 세밀한 정밀도로 표시 시각을 규정하는 제 2 시간 정보를 각 시각에 대응하는 화상과를 복호하는 시간 정보 복호 수단과 입력 부호화 화상 신호를 오브젝트 단위로 복호화하여, 이들의 복호화 화상 신호를 합성하는 복호 합성 수단을 구비하며, 상기 시간 정보 복호 수단은 직전에 복호된 화상의 제 1 시간 정보를 유지하고, 피복호 화상의 제 1 시간 정보로서 복호된 비트열에, 상기 제 1 시간 정보 유지 수단으로부터 얻어지기 직전에 복호된 화상의 제 1 시간 정보를 가산하여 피복호 화상의 제 1 시간 정보를 복호하며, 상기 복호 합성 수단은 상기 시간 정보 복호 수단으로 복호된 제 1 시간 정보 및 제 2 시간 정보에 근거하여, 복호화 화상 신호를 합성하는 것이다. 이것에 의해, 적은 부호화 전송량으로 화상의 수신이 가능해진다.
또한, 본 발명은 단위 시간당의 오브젝트의 표시수를 나타내는 소정의 표시 속도 정보에 근거하여 오브젝트 단위로 화상을 부호화하여 화상 부호화 신호를 생성하고, 이 화상 부호화 신호와 상기 표시 속도 정보를 복수의 VOP 데이터로 구성되는 레이어의 헤더 정보 부분에 다중화하여 출력하는 것이다. 이것에 의해, 부호화 전송량을 적게 할 수 있다.
또한, 본 발명은 오브젝트 단위로 화상을 부호화한 부호화 비트 스트림으로서, 복수의 VOP 데이터로 구성되는 레이어의 헤더 정보 부분에, 단위 시간당의 오브젝트의 표시수를 나타내는 표시 속도 정보를 포함하고 있는 부호화 비트 스트림으로부터 표시 속도 정보를 복호하고, 이 표시 속도 정보에 근거하여 오브젝트 단위로 부호화된 화상의 재생 처리를 제어하여 화상을 복호화하는 것이다. 이것에 의해, 적은 부호화 전송량으로 화상의 수신이 가능해진다.
이하, 본 발명을 보다 상세히 설명하기 위해, 본 발명을 실시하기 위한 최선의 형태에 대해, 첨부 도면을 참조하여 설명한다.
(실시예 1)
본 실시예 1에서는 IS0/IEC JTC11 SC29/WG11/N1796에 개시되는 MPEG-4 비디오 부호화 방식에, 본 실시예의 요소인 오브젝트의 표시 속도 정보에 근거하여 부호화를 행하는 수단과, 사용한 표시 속도 정보를 오브젝트마다 부가하여 부호화 비트 스트림에 다중화하는 수단을 구비한 VOP 인코더에 대해 설명한다.
MPEG-4는 동화상 시퀀스를 시간/공간적으로 임의의형상을 갖는 동화상 오브젝트의 집합체로서 파악하여, 각 동화상 오브젝트를 단위로 하여 부호화·복호를 행하는 방식이다. MPEG-4에 있어서의 비디오 데이터 구조를 도 1에 도시한다. MPEG-4에서는 시간축을 포함시킨 동화상 오브젝트를 비디오 오브젝트〔Video Object(V0)〕라 하고, V0의 구성 요소를 비디오 오브젝트 레이어〔Video Object Layer(VOL)〕라 하며, VOL의 구성 요소를 그룹 오브 비디오 오브젝트 플랜〔Group of Video Object Plane(GOP)〕이라 하며, GOV의 각 시각의 상태를 나타내며, 부호화의 단위가 되는 화상 데이터를 비디오 오브젝트 플랜〔Video Object Plane(VOP)〕이라 한다. VO는 예를 들면, 텔레비젼 회의의 장면 중의 각각의 말하는 사람이나 배경 등에 상당하고, VOL은 그들의 말하는 사람이나 배경 등의 고유의 시간·공간 해상도를 갖는 단위이며, VOP는 그들 VOL의 각 시각(=프레임에 상당)에 있어서의 화상 데이터이다. GOV는 VOP를 복수 모은 편집이나 랜덤 액세스 등의 단위가 되는 데이터 구조로, 반드시 부호화에 사용되지 않아도 된다.
VOP의 구체적인 예를 도 2에 도시한다. 도면에 있어서, 2개의 VOP(V0P1은 인물, VOP2는 벽에 걸린 회화)를 도시하고 있다. 각 VOP은 컬러 농담 레벨을 나타내는 텍스쳐 데이터와, VOP의 형상을 나타내는 형상 데이터로 이루어진다. 텍스쳐 데이터는 화소당 8 비트의 휘도 신호, 색차 신호(휘도 신호에 대하여 수평·수직방향으로 1/2에 서브샘플된 사이즈)로 이루어지고, 형상 데이터는 VOP 내부를 1, VOP 외부를 0으로 하는 휘도 신호의 화상 사이즈와 같은 2진의 매트릭스 데이터이다.
VOP에 의한 동화상 표현에 있어서, 종래의 프레임 화상은 복수의 VOP를 화면 중에 배치함으로써 얻어진다. 단지, 동화상 시퀀스 중에서 VO가 1개인 경우, 각 VOP는 프레임과 같은 의미가 된다.
이 경우는 형상 데이터는 존재하지 않고, 텍스쳐 데이터만이 부호화된다.
이하, 본 실시예 1에 있어서의 화상 부호화 장치에 대해 설명한다. 이것은 MPEG-4 비디오 인코더를 베이스로 하고 있고, MPEG-4 비디오 디코더는 상기 VOP를 단위로 하여 부호화를 실시하므로, 이하, VOP 인코더라고 한다. 기존의 VOP 인코더의 동작은 IS0/IEC JTC1/SC29/WG11/N1796 등에 개시되므로, 여기서는 기존의 VOP 인코더 그 자체의 설명은 피하고, 본 실시예 1의 요소를 포함하는 VOP 인코더의 설명을 행한다.
도 3은 본 실시예 1에 있어서의 VOP 인코더의 구성예를 도시하는 것으로, 110은 부호화 VOP 결정부, 111은 형상 부호화부, 113은 이동 추정부, 115는 이동 보상부, 118은 텍스쳐 부호화부, 122는 메모리, 124는 헤더 다중화부, 126은 비디오 신호 다중화부, 128은 감산기, 129는 가산기이다.
다음에 동작에 대해 설명한다. 부호화 VOP 결정부(110)는 외부 설정이나 부호화 상황에 따라 설정되는 VOP 비율(7)에 근거하여 입력 오브젝트 화상 중의 부호화 대상이 되는 VOP의 결정을 행하여, 부호화 대상인 VOP를 형상 부호화부(111)와 이동 추정부(113)와 감산기(128)에 출력한다. 여기서, VOP 비율(7)이란, VOL, GOV 등의 단위 내에 포함되는 VOP를 초당 몇매를 표시시킬 것인가를 나타내는 값으로 한다. 또한, VOP 비율 정보는 VOP 비율(7)에 대응하는 부호어이며, 본 발명에서 말하는 점의 표시속도 정보에 상당하는 것이다.
부호화 VOP 결정부(110)의 동작에 대해 구체적인 예를 예시한다. 입력 오브젝트 화상이 30매/초, VOP 비율 정보(7)가 15매/초이던 경우, 부호화 VOP 결정부(110)는 입력 오브젝트 화상에 포함되는 VOP 중 부호화 대상이 되는 VOP는 1매 걸러 있다고 판단하여, 1매 걸러서 부호화 대상이 되는 VOP를 출력한다.
부호화 VOP 결정부(110)에 의해 부호화 대상으로 특정된 VOP는 형상 데이터를 알파 블록이라고 불리는 16 화소×16 화소의 영역마다에, 또한, 텍스쳐 데이터를 매크로 블록이라고 불리는 16 화소× 16 화소의 영역마다에 부호화한다.
형상 부호화부(111)는 입력되는 알파 블록의 부호화를 행하여, 형상 부호화 정보(112)와 국소 복호 형상 정보(109)를 출력한다. 형상 부호화 정보(112)는 비디오 신호 다중화부(126)에 이송되고, 국소 복호 형상 정보(109)는 이동 추정부(113)와 텍스쳐 부호화부(115) 및 텍스쳐 부호화부(118)에 입력된다. 이동 추정부(113)에서는 메모리(122) 중의 참조 데이터(123a)를 입력하고, 매크로 블록단위로써 블록 매칭을 행하여, 이동 정보(114)를 얻는다. 이 때, 국소 복호 형상 정보(109)에 근거하여 매크로 블록 중에 포함되는 오브젝트만을 대상으로 한 블록 매칭에 의해 이동 정보를 얻는다.
이동 보상부(115)에서는 메모리(122) 중의 이동 정보(114)가 나타내는 위치의 참조 데이터(123b)를 입력하여 국소 복호 형상 정보(109)에 근거하여 예측 화상을 작성한다. 이동 추정부(115)에 있어서 작성된 예측 화상(116)은 감산기(128)와 가산기(129)에 입력된다.
감산기(128)에서는 예측 화상(116)과 입력 매크로 블록의 차분을 계산하여, 예측 오차 화상(117)을 작성한다.
텍스쳐 부호화부(118)에서는 입력된 예측 오차 화상(117)을 MPEG-4로 정해지는 소정의 방법으로 부호화하여, 텍스쳐 부호화 정보(119) 및 국소 복호 예측 오차 화상(120)을 얻는다. 이 때, 국소 복호 형상 정보(109)에 근거하여 블록 중에 포함되는 오브젝트만을 대상으로 한 부호화를 행한다. 텍스쳐 부호화 정보(119)는 비디오 신호 다중화부(126)로 이송되고, 국소 복호 예측 오차 화상(120)을 가산기(129)에 출력한다.
가산기(129)는 예측 화상(116)과 국소 복호 예측 오차 화상(120)의 가산을 행하여 복호 화상(121)을 작성하고, 메모리(122)에 기록한다.
헤더 다중화부(124)에서는 각 헤더 정보가 다중화되어, 각 헤더 정보가 다중화된 비트 스트림(125)은 비디오 신호 다중화부(126)에 입력된다.
비디오 신호 다중화부(126)는 각 헤더 정보가 다중화된 비트 스트림(125)에 형상 부호화 정보(112)와 이동 정보(114)와 텍스쳐 부호화 정보(119)의 다중화를 행하여, 부호화 VOP 비트 스트림을 출력한다.
도 4는 도 3의 헤더 다중화부의 구성을 도시한 블록도이다. 도면에 있어서, 1은 VO 헤더 다중화부, 2는 VOL 헤더 다중화부, 3은 GOV 헤더 다중화 선택부, 4는 GOV 헤더 다중화부, 5는 VOP 헤더 다중화부, 6은 GOV 다중화 정보, 7은 VOP 비율 이다. 다음에 동작에 대해 설명한다. VO 헤더 다중화부(1)에서는 VO 헤더 정보를 다중화한 비트 스트림을 작성하고, 작성한 비트 스트림을 VOL 헤더 다중화부(2)에 출력한다.
VOL 헤더 다중화부(2)는 입력된 비트 스트림에 VOL 헤더 정보의 다중화를 행하고, 다중화후의 비트 스트림을 GOV 헤더 다중화 선택부(3)에 출력한다.
GOV 헤더 다중화 선택부(3)에서는 VOL 헤더 다중화부(2)로부터 출력된 비트 스트림의 출력선을, GOV 헤더의 다중화를 행할 것인지의 여부를 나타내는 GOV 다중화 정보(6)에 근거하여 판단한다. GOV 다중화 정보(6)가 GOV 헤더의 다중화를 행하지 않는 것을 나타내는 경우는 VOP 헤더 다중화부(5)로, GOV 다중화 정보(6)가 GOV 헤더의 다중화를 행하는 것을 나타내는 경우는 GOV 헤더 다중화부(4)로 비트 스트림을 출력한다.
GOV 헤더 다중화부(4)는 입력된 비트 스트림에 VOP 비율 정보를 다중화하여, VOP 헤더 다중화부(5)에 비트 스트림을 출력한다.
표 1은 상기 VOP 비율 정보의 일례를 나타내는 것으로, 4종류의 VOP 비율을 표현하는 예를 예시하고 있다. VOP 비율이 30매/초인 경우는「01」을 다중화한다. 또한 직전에 부호화 VOP와 부호화 대상의 VOP가 동일하면, VOP 비율 정보「00」를 다중화함과 동시에, 이후에 계속되는 VOP 헤더 정보와 VOP 데이터 정보의 다중화를 행하지 않는다. 또한, VOP 비율이 가변인 경우에는 VOP 비율 정보「11」를 다중화한다. 즉, VOP 비율(7)은 VOP 비율이 고정인지 가변인지를 나타냄과 동시에, 고정인 경우의 비율의 값을 나타내고 있다.
VOP 헤더 다중화부(5)에 있는 VOP 스타트 코드 다중화부(8)는 입력된 비트 스트림에 VOP 스타트 코드의 다중화를 행한 비트 스트림을 모듈로·타임·베이스(modulo_time_base) 다중화부(9) 및 VOP 타임 인클리먼트(V0P-time-increment)다중화부(10)에 출력한다.
여기서, 모듈로·타임·베이스(13)란, 도 5에 도시된 바와 같이, 상기 VOP가 있는 기준 시각으로부터 몇초 경과한 이후에 표시되는 가를 나타내는 정보이고, VOP 타임 인클리먼트(14)란, 동일하게 도 5에 도시된 바와 같이 모듈로·타임·베이스로 정해지는 시각으로부터 1000분의 1초의 정밀도로 표시 시각을 미세하게 조정하는 정보이다. 즉, MPEG-4에서는 VOP의 표시 시각을 1000분의 1초의 정밀도로 규정할 수 있다.
VOP 헤더 다중화부(5)에 있는 관리 시간 작성부(12)는 VOP 비율(7)에 근거하여 모듈로·타임·베이스(13)와 VOP 타임 인클리먼트(14)를 작성하여, 모듈로·타임·베이스(13)를 모듈로·타임·베이스 다중화부(9)에, VOP 타임 인클리먼트(14)를 VOP 타임 인클리먼트 다중화부(10)에 출력한다. 단지, VOP 비율(7)이 가변인 것을 나타내는 경우는 모듈로·타임·베이스(13) 및 VOP 타임 인클리먼트(14)는 VOP 비율(7)에 관계없이 설정된다.
상기 모듈로·타임·베이스 다중화부(9)는 VOP 스타트 코드 다중화부(8)로부터 출력된 비트 스트림에 모듈로·타임·베이스(13)의 다중화를 행하고, 다중화후의 비트 스트림을 VOP 타임 인클리먼트 다중화부(10)에 출력한다. 이 VOP 타임 인크리먼트 다중화부(10)는 모듈로·타임·베이스 다중화부(9)로부터 출력된 비트 스트림에 관리 시간 작성부(12)로부터 출력된 VOP 타임 인클리먼트(14)의 다중화를 행하고, 다중화후의 비트 스트림을 영상 정보 헤더 다중화부(11)에 출력한다. 이 영상 정보 헤더 다중화부(11)는 VOP 타임 인클리먼트 다중화부(10)로부터 출력된 비트 스트림에 영상 정보 헤더의 다중화를 행하고, 다중화후의 비트 스트림을 비디오 신호 다중화부(126)에 출력한다.
이상과 같이, 이 실시예 1에 의하면 GOV 헤더에 VOP 비율 정보를 다중화하도록 구성하였기 때문에, 디코더측에서, 각 VOP 헤더의 VOP 스타트 코드만을 해석하면, 복호화 대상의 VOP의 복호가 필요한지의 여부를 판단하거나, 복수의 오브젝트를 간단히 합성하거나 하는 것을 가능하게 하는 비트 스트림을 작성할 수 있는 효과가 있다.
또, 도 6에 도시된 바와 같이 VOL을 단위로서 VOP 비율(7)을 규정하고, 부호화 및 VOP 비율 정보의 다중화를 행하도록 하여도 된다. 이 경우는 VOP 비율 정보는 VOL 단위로 결정되고, VOL 헤더 다중화부(2)에서 다중화된다. 이것에 근거하여, 모듈로·타임·베이스(13)나 VOP 타임 인클리먼트(14)가 결정된다.
이상과 같이 본 실시예 1에 있어서는 오브젝트 단위로 화상을 부호화하는 화상 부호화 장치에 있어서, 소정의 표시 속도 정보에 근거하여 화상을 부호화하는 부호화 수단과, 상기 부호화 수단으로 부호화된 화상 부호화 신호에 상기 소정의 표시 속도 정보를 다중화하여 출력하는 다중화 수단을 구비한 것의 일실시예를 개시하였다.
또한, 본 실시예 1에 있어서는 다중화 수단은 상기 표시 속도 정보를 오브젝오브젝트마다에 다중화한 것의 일실시예를 개시하였다.
(실시예 2)
본 실시예 2에서는 실시예 1에서 기술한 VOP 인코더의 다른 실시예를 설명한다. 본 실시예 2에 있어서의 VOP 인코더는 표시 속도 정보로서 오브젝트의 표시 속도가 고정 속도인지 가변 속도인지를 나타내는 1비트의 VOP 비율 플래그와 오브젝트의 표시 속도의 값을 나타내는 VOP 비율의 부호화를 행하여, 비트 스트림에 다중화하는 수단을 구비한 것이다.
상기 VOP 비율 플래그가 가변 속도를 나타내는 경우는 실시예 1에서 기술한 표 1에 있어서 VOP 비율이 가변에 상당하는 것이며, 상기 VOP 비율 플래그가 고정 속도를 나타내는 경우는 실시예 1에서 기술한 표 1에 있어서 VOP 비율이 30매/초, 혹은 15매/초에 상당하는 것이다.
도 7은 본 발명의 실시예 2에 있어서의 VOP 인코더의 구성예를 도시하는 것이고, 1000은 헤더 다중화부, 1001은 VOP 비율 플래그, 1026은 VOP 비율이다. 본 실시예 2에 있어서의 VOP 인코더는 실시예 1에서 기술한 VOP 인코더의 헤더 다중화부(124)에 상당하는 헤더 다중화부(1000)의 구성 동작만이 다르므로, 이 부분에 대해서만 설명한다.
도 8은 본 발명의 실시예 2에 있어서의 VOP 인코더부의 헤더 다중화부(1000)의 구성을 도시한 블록도이다. 도에 있어서, 1002는 VOL 헤더 다중화부, 1003은 VOP 헤더 다중화부이다.
다음에 동작에 대해 설명한다.
VO 헤더 다중화부(1)에서는 VO 헤더 정보를 다중화 비트 스트림을 작성하여, 작성한 비트 스트림을 VOL 헤더 다중화부(1002)에 출력한다. VOL 헤더 다중화부(1002)는 입력된 비트 스트림에 VOL 헤더 정보의 다중화를 행하고, 다중화후의 비트 스트림을 GOV 헤더 다중화 선택부(3)에 출력한다. 이 때, VOP 비율 정보와 VOP 비율 플래그의 다중화도 행한다.
표 3은 VOP 비율(1026)의 다중화예를 예시한다. 이 경우, VOP 비율(1026)이 2매/초인 경우는「000」을, VOP 비율이 5매/초인 경우는「001」을, VOP 비율이 25매/초인 경우는「010」을, VOP 비율이 30매/초인 경우는「011」을, 또한 상기 이외의 VOP 비율(예를 들면, VOP 비율이 10매/초)인 경우는「100」을 VOP 비율 정보로서 다중화한다. 또, VOP 비율 정보는 이후에 설명하는 VOP 비율 플래그의 값에 의존하지 않고 독립하여 다중화의 시비가 판단된다. 또한, VOP 비율의 다중화예의 다른 예로서 표 4와 같아도 된다. 이 경우, VOL 내에서 모든 VOP가 완전히 동일한 화상이면, 정지 화상으로 간주하여 「101」을 VOP 비율 정보로서 다중화한다.
VOP 비율 플래그에 대해서는 VOP 비율 플래그가 고정 속도를 나타내는 경우는 「1」을, 가변 속도를 나타내는 경우는 「0」을 다중화한다. 도 9는 VOL 헤더 다중화부(1002)로부터 출력된 비트 스트림의 일례를 도시한다.
GOV 헤더 다중화 선택부(3)에서는 VOL 헤더 다중화부(1002)로부터 출력된 비트 스트림의 출력선을, GOV 헤더의 다중화를 행할 것인지의 여부를 나타내는 GOV 다중화 정보(6)에 근거하여 판단한다. GOV 다중화 정보(6)가 GOV 헤더의 다중화를 행하지 않은 것을 나타내는 경우는 VOP 헤더 다중화부(1003)로, GOV 다중화정보(6)가 GOV 헤더의 다중화를 행하는 것을 나타내는 경우는 GOV 헤더 다중화부(4)로 비트 스트림을 출력한다.
GOV 헤더 다중화부(4)는 입력된 비트 스트림에 GOV 헤더 정보의 다중화를 행하고, 다중화후의 비트 스트림을 VOP 헤더 다중화부(1003)로 출력한다. 도 10에 VOP 헤더 다중화부(1003)의 상세한 것을 도시한다. 도 10에 있어서, 1004는 관리 시간 작성부이다.
다음에 동작에 대해 설명한다. 관리 시간 작성부(1004)는 입력되는 VOP 비율 플래그(1001)가 고정 속도를 나타내는 경우에는 VOP 비율(1026)에 근거하여, 입력되는 VOP 비율 플래그(1001)가 가변 속도를 나타내는 경우에는 VOP 인코더가 내부에 가지는 타임에 근거하여, 모듈로·타임·베이스와 VOP 타임 인클리먼트를 작성한다. 작성한 모듈로·타임·베이스는 모듈로·타임·베이스 다중화부(9)로, 작성한 VOP 타임 인클리먼트는 VOP 타임 인클리먼트 다중화부(10)로 출력한다.
VOP 스타트 코드 다중화부(8)는 입력된 비트 스트림에 VOP 스타트 코드의 다중화를 행하여, 다중화후의 비트 스트림을 모듈로·타임·베이스 다중화부(9)에 출력한다. 모듈로·타임·베이스 다중화부(9)는 입력된 비트 스트림에 모듈로·타임·베이스의 다중화를 행하고, 다중화후의 비트 스트림을 VOP 타임 인클리먼트 다중화부(10)로 출력한다.
VOP 타임 인클리먼트 다중화부(10)는 입력된 비트 스트림에 VOP 타임 인클리먼트의 다중화를 행하고, 다중화후의 비트 스트림을 영상 정보 헤더 다중화부(11)에 출력한다. 영상 정보 헤더 다중화부(11)는 VOP 타임 인클리먼트 다중화부(10)로부터 출력된 비트 스트림에 영상 정보 헤더의 다중화를 행하고, 다중화후의 비트 스트림을 비디오 신호 다중화부(126)로 출력한다.
이상과 같이, 이 실시예 2에 의하면, VOL 레이어에 VOP 비율 플래그와 VOP 비율 정보를 다중화하도록 구성하였기 때문에, 디코더측에 있어서, VOP 비율 플래그와 VOP 비율을 사용하면, 유저가 소망하는 VOP를 순간에 특정할 수 있기 때문에, 각 VOP 헤더의 VOP 스타트 코드만을 해석하면, 복호화 대상의 VOP의 복호가 필요한지의 여부를 판단하거나, 복수의 오브젝트를 간단히 합성하거나 하는 것을 가능하게 하는 비트 스트림을 작성할 수 있는 효과가 있다.
또, VOP 비율 플래그만을 다중하여도, 가변, 고정 속도인지의 여부의 식별을 할 수 있으므로, 복호화 대상의 VOP의 복호 처리를 행할 수 있는 것이다.
이상과 같이 본 실시예 2에 있어서는 오브젝트 단위로 화상을 부호화하는 화상 부호화 장치에 있어서, 오브젝트의 표시 속도가 고정 속도인지 가변 속도인지를 나타내는 플래그의 부호화 수단과, 상기 부호화 수단으로 부호화된 화상 부호화 신호에 상기 플래그를 다중화하여 출력하는 다중화 수단과, 소정의 표시 속도 정보에 근거하여 화상을 부호화하는 부호화 수단과, 상기 부호화 수단으로 부호화된 화상 부호화 신호에 상기 소정의 표시 속도 정보를 다중화하여 출력하는 다중화 수단을 구비한 것의 일실시예를 개시하였다.
(실시예 3 )
본 실시예 3에서는 부호화 비트 스트림 중에서 실시예 1에서 기술한 VOP 비율 정보를 복호하여 출력하기 위한 화상 복호화 장치, 즉 MPEG-4 비디오 디코더(이하, VOP 디코더라 한다)를 각 오브젝트에 대응하여 복수 구비하며, 복수의 복호된 오브젝트를 합성하여 화상을 재생하는 시스템에 대해 설명한다.
우선, 본 실시예 3에 있어서의 화상 복호화 장치(VOP 디코더)의 구성과 동작에 대해 설명한다. 기존의 VOP 디코더의 동작은 IS0/IEC JTCl/SC29/WG11/N1796 등에 개시되므로, 여기서는 기존의 VOP 디코더 그 자체의 설명은 피하고, 본 실시예 3의 요소를 포함하는 VOP 디코더의 설명을 행한다. 본 실시예 3에 있어서의 VOP 디코더는 실시예 1에서 기술한 VOP 인코더로 생성되는 부호화 비트 스트림을 복호 가능한 디코더이다.
도 11은 본 발명의 실시예 3에 있어서의 VOP 디코더의 내부 구성예를 예시한 것이다. VOP의 디코더는 실시예 1 및 도 2에 도시된 바와 같이, 텍스쳐 데이터와 형상 데이터로 이루어진 것으로 하고, 본 디코더는 이들을 압축 부호화 데이터를 입력으로 하여 각각의 데이터를 복원하는 기능을 가지는 것으로 한다. 도면에 있어서, 150은 부호화 VOP 비트 스트림, 151은 헤더 해석부, 152는 헤더 정보가 해석된 비트 스트림, 153은 비디오 신호 해석부, 154는 형상 부호화 데이터, 155는 형상 복호부, 156은 복호 형상 데이터, 157은 텍스쳐 부호화 데이터, 158은 이동 정보, 159는 이동 보상부, 160은 예측 텍스쳐 데이터, 161은 텍스쳐 복호부, 162는 복호 텍스쳐 데이터, 164는 메모리, 165는 참조 데이터이다.
이하, 동도면을 바탕으로 동작에 대해 상술한다. 부호화 VOP 비트 스트림(150)은 헤더 해석부(151)에 입력되어, 소정의 신택스에 따라서 헤더 정보가 해석된다. 헤더 해석부(151)에 있어서 헤더 정보가 해석된 비트 스트림(152)은 비디오 신호 해석부(153)에 입력되어, 형상 부호화 데이터(154)와 텍스쳐 부호화 데이터(157)와 이동 정보(158)로 해석된다. 형상 복호부(155)는 입력되는 형상 부호화 데이터(154)의 복호를 행하고, 복호 형상 데이터(156)를 출력한다.
이동 보상부(159)는 메모리(164) 중의 참조 데이터(165)와 비디오 신호 해석부(153)로부터 입력되는 이동 정보(158)로부터 예측 텍스쳐 데이터(160)를 출력한다. 텍스쳐 복호부(161)는 텍스쳐 부호화 데이터(157)와 예측 텍스쳐 데이터(160)에 근거하여 MPEG-4에서 결정되는 소정의 방법으로 화상 데이터로 복원하여, 복호 텍스쳐 데이터(162)를 생성한다. 이 복호 텍스쳐 데이터(162)는 이후의 VOP의 복호에 사용되기 때문에, 메모리(164)에 기록된다.
도 12는 본 발명의 실시예 3의 특징인 헤더 해석부(151)의 내부 구성을 도시한 도이다. 도에 있어서, 51은 스타트 코드 해석부, 52는 VO 헤더 해석부, 53은 VOL 헤더 해석부, 54는 GOV 헤더 해석부, 58은 VOP 비율, 55는 VOP 헤더 해석부이다. 본 실시예 3에 있어서의 헤더 해석부(151)는 GOV 헤더 해석부(54)에 있어서 상기 GOV에 포함되는 VOP의 VOP 비율(58)을 비트 스트림중에서 복호하여 이것을 외부로 출력하는 것을 특징으로 한다. 이 VOP 비율(58)의 사용 방법은 후술한다.
스타트 코드 해석부(51)는 입력되는 부호화 VOP 비트 스트림(150)에 포함되는 스타트 코드의 해석을 행한다. 해석한 스타트 코드가 VO를 나타내는 것이면 VO 헤더 해석부(52)로, 해석한 스타트 코드가 VOL을 나타내는 것이면 VOL 헤더 해석부(53)로, 해석한 스타트 코드가 GOV를 나타내는 것이면 GOV 헤더 해석부(54)로, 해석한 스타트 코드가 VOP를 나타내는 것이면 VOP 헤더 해석부(55)로 비트 스트림을 출력한다. 또, VOP 헤더 해석부(55)의 해석 처리를 종료후, 비트 스트림은 비디오 신호 해석부(153)에 출력된다.
VO 헤더 해석부(52)는 입력되는 비트 스트림으로부터 VO로헤더 정보의 해석을 행하고, 해석을 끝낸 비트 스트림을 스타트 코드 해석부(51)로 출력한다. VOL 헤더 해석부(53)는 입력되는 비트 스트림으로부터 VOL 헤더 정보의 해석을 행하고, 해석을 끝낸 비트 스트림을 스타트 코드 해석부(51)로 출력한다. GOV 헤더 해석부(54)는 입력되는 비트 스트림으로부터 GOV 헤더 정보의 해석을 행하고, 해석을 끝낸 비트 스트림을 스타트 코드 해석부(51)로 출력한다. 이 때, GOV 헤더 정보중에 포함되는 VOP 비율(58)을 복호하여 출력한다. VOP 헤더 해석부(55)는 입력되는 비트 스트림으로부터 VOP 헤더 정보의 해석을 행하고, 해석을 끝낸 비트 스트림을 스타트 코드 해석부(51)를 거쳐 비디오 신호 해석부(153)로 출력한다.
이상의 구성과 동작에 의한 VOP 디코더에 의하면, GOV의 단위로 그것에 포함되는 VOP의 VOP 비율을 출력시킬 수 있다. 이 정보를 사용하여 복수의 오브젝트를 합성하는 시스템을 도 13에 도시한다. 도에 있어서, 200은 부호화 VOP 비트 스트림(a), 201은 부호화 VOP 비트 스트림(b), 202는 부호화 VOP 비트 스트림(c), 203a는 부호화 VOP 비트 스트림(a)(200)을 복호하는 VOP 디코더부, 203b는 부호화 VOP 비트 스트림(b)(201)을 복호하는 VOP 디코더부, 203c는 부호화 VOP 비트 스트림(c)(202)을 복호하는 VOP 디코더부, 204는 복호 오브젝트 화상(a), 205는 복호 오브젝트 화상(b), 206은 복호 오브젝트 화상(c), 207은 VOP 비율(a), 208은 VOP 비율(b), 209는 VOP 비율(c), 210은 컴포지션부, 211은 복호 화상이다. 복호 오브젝트 화상이란, 각 VOP의 복호 형상 데이터(156)와 대응하는 복호 텍스쳐 데이터(162)를 정리하여, 또한, 이것을 VOP를 정리하는 단위(예를 들면 GOV, VOL 등)으로 정리한 것을 가리키는 것으로 한다.
부호화 VOP 비트 스트림(a)(200) 내지 (c)(202)는 대응하는 VOP 디코더부(203a내지 203c)에서 복호되어, 복호 VOP 화상(a)(204) 내지 (c)(206)이 생성된다. 이 때, 각 VOP 디코더부는 대응하는 VOP 비율(a)(207) 내지 (c)(209)를 복호하여 이것을 컴포지션부(210)에 출력한다. 컴포지션부(210)는 동 VOP 비율(a)(207) 내지 (c)(209)에 근거하여, 각 복호 VOP 화상을, 복호 화상(211) 중 어느 하나의 시각의 화상 프레임에 합성할 것인가를 결정하여, 대응하는 시각의 화상 프레임에 맵핑한다. 예를 들면, 복호 화상(211)이 1초당 30매(이것은 통상적인 텔레비젼 신호의 표시 속도에 상당한다)로 표시되는 것으로 한다. 또 이하의 상황을 상정한다.
○ 복호 VOP 화상(a)(204)이 1초당 5매로 표시(즉, VOP 비율(a)(207)가 5매/초를 나타낸다).
○ 복호 VOP 화상(b)(205)이 1초당 10매로 표시(즉, VOP 비율(b)(208)가 10매/초를 나타낸다).
○ 복호 VOP 화상(c)(206)이 1초당 15매로 표시(즉, VOP 비율(c)(209)가 15매/초를 나타낸다).
이 경우, 복호 화상(211)의 각 초의 선두의 화상 프레임에는 복호 VOP 화상(a)(204) 내지 (c)(206)의 전부이 맵핑되고, 각 초의 선두로부터 5매 걸러의 화상 프레임에 복호 VOP 화상(a)(204)이 맵핑되고, 각 초의 선두로부터 10매 걸러의 화상 프레임에 복호 VOP 화상(b)(205)이 맵핑되고, 각 초의 선두로부터 15매 걸러의 화상 프레임에 복호 VOP 화상(c)(206)이 맵핑되는 동작을 행할 수 있다. 이것에 의해, 복수의 영상 오브젝트를 각각의 표시 속도에 맞추어 화상 프레임으로 합성한 영상을 표시할 수 있다.
이상과 같이, GOV의 레이어에 VOP 비율을 부호화한 부호화 비트 스트림을 복호하는 VOP 디코더를 사용함으로써, 간단하고 용이한 구성으로 복수의 오브젝트를 합성하여 재생 화상을 얻는 시스템을 실현하는 것이 가능하다.
또, VOP 비율 정보는 VOL을 단위로서 화상 부호화 장치측에서 부호화되어 있어도 된다. 이 경우, 화상 복호화 장치측에서는 VOL을 단위로 하여 부호화된 VOP 비율 정보를 복호화하고, VOL을 단위로 하여 상술한 바와 같은 간단하고 용이한 복수의 오브젝트의 합성이 가능하다.
또한, 본 실시예 3에서는 복수의 오브젝트를 합성하는 시스템으로서 VOP 디코더를 사용하였지만, 1개의 오브젝트 만을 복호하여 재생하는 시스템에 있어서 1개의 VOP 디코더만을 사용하도록 하는 구성도 가능하다.
이상과 같이 본 실시예 3에 있어서는 오브젝트 단위로 화상을 부호화한 부호화 비트 스트림을 복호화하는 화상 복호화 장치에 있어서, 상기 부호화 비트 스트림으로부터 표시 속도 정보를 복호하는 표시 속도 정보 복호 수단과, 상기 표시 속도 정보 복호 수단에 의해 복호된 표시 속도 정보에 근거하여 오브젝트 단위로 처리된 화상의 재생 처리를 제어하는 제어 수단을 구비한 것의 일실시예를 개시하였다.
또한, 본 실시예 3에 있어서는 표시 속도 정보 복호 수단은 상기 표시 속도 정보를 오브젝트 마다에 복호한 것의 일실시예를 개시하였다.
(실시예 4)
본 실시예 4에서는 실시예 3에서 기술한 VOP 디코더의 다른 실시예를 설명한다. 본 실시예 4에 있어서의 VOP 디코더는 디코더가 상정하는 VOP 비율의 값에 근거하여, 복호 대상이 되는 VOP를 특정하여 복호하는 기능을 가지는 것으로 한다.
본 실시예 4의 VOP 디코더는 실시예 2에서 기술한 VOP 디코더의 헤더 해석부(151)의 구성 동작만이 다르므로, 이 부재에 대해서만 설명한다.
도 14는 본 발명의 실시예 4에 의한 VOP 디코더부의 헤더 해석부의 구성을 도시한 블록도이고, 인코더측의 VOP 비율과 디코드측의 VOP 비율이 불일치한 경우 이다. 도면에 있어서, 59는 디코드 VOP 선택부이고, GOV 헤더 해석부(54)로부터 출력된 VOP 비율(58)과 디코드측에서 상정한 VOP 비율(61)을 대비하여 VOP 선택 정보(62)를 출력한다. 또한, VOP 헤더 해석부(55)는 시간 관리 정보 헤더 해석부(56), 영상 정보 헤더 해석부(57) 외에 카운터부(60)를 갖는다.
다음에 동작에 대해 설명한다. 디코드 VOP 선택부(59)는 GOV 헤더 해석부(54)에 있어서 해석된 VOP 비율(58)과 디코더측이 상정하는 VOP 비율(61)의 비교에 근거하여 복호화를 행하는 VOP의 정보를 나타내는 VOP 선택 정보(62)를 VOP 헤더 해석부(55)의 카운터부(60)로 출력한다. 이 카운터부(60)는 입력된 비트 스트림에 포함되는 VOP 스타트 코드에 계속되는 VOP 헤더 정보의 복호를 행할 것인지의 여부를 VOP 선택 정보(62)에 근거하여 판단한다.
구체적으로는 GOV 헤더 해석부(55)에 있어서 해석된 VOP 비율(58)이 30매/초, 디코더측이 상정하는 VOP 비율이 15매/초인 경우는 1VOP 걸러서 해석을 행하는 VOP가 있는 것을 나타내는 VOP 선택 정보(62)를 VOP 헤더 해석부(55)에 있는 카운터부(60)로 출력한다. 카운터부(60)에서는 우선, VOP 헤더가 입력될때마다 카운터(60a)에서 카운트한다.
이어서 판정기(60b)는 카운터(60a)에서 입력되는 카운트 수와 디코더 VOP 선택부(59)로부터 입력되는 VOP 비율 선택 정보(62)에 근거하여, 입력되는 VOP의 해석을 행할 필요가 있는지의 여부를 판정한다. 입력되는 VOP의 해석을 행할 필요가 있다고 판정한 경우는 입력되는 비트 스트림을 시간 관리 정보 헤더 해석부(56)에 출력한다. 또한, 입력되는 VOP의 해석을 행할 필요가 없다고 판정한 경우는 입력되는 비트 스트림을 스타트 코드 해석부(51)에 출력한다.
이하에 구체적인 예를 예시한다. VOP 비율 선택 정보(62)가 3매의 VOP에 대하여 1매의 VOP를 해석할 필요가 있다고 하는 정보인 경우, 판정기(60b)에서는 카운터(60a)에서 입력되는 카운트 수를 3으로 나눈 나머지가 0이 되는 경우를 해석 필요한 VOP라고 판단하고, 카운터(60a)에서 입력되는 카운트 수를 3으로 나눈 나머지가 1 또는 2인 경우를 해석 불필요한 VOP라고 판단한다.
또, 본 실시예 4에서는 GOV 헤더에 VOP 비율 정보가 포함되는 경우에 대응하는 VOP 디코더에 대해 기술하였지만, 실시예 2에서 기술한 바와 같이, VOP 비율 정보가 VOL 헤더 중에 포함되어 있어도 된다. 이러한 경우는 도 15에 도시된 바와 같이 VOL 헤더 해석부(300)에 VOP 비율 정보의 복호 기능을 갖게 하면 된다.
또한, 본 실시예 4에 있어서의, VOP 디코더는 복수의 오브젝트를 합성하는 시스템에서도, 1개의 오브젝트 만을 복호하여 재생하는 시스템도 사용하는 것이 가능하다.
이상과 같이, 본 실시예 4에 있어서는 제어 수단은 상기 표시 속도 정보 복호 수단에 의해 복호된 오브젝트의 표시 속도 정보와, 복호화 장치에 있어서 미리 설정된 오브젝트의 표시 속도 정보에 근거하여, 상기 오브젝트에 있어서 복호 대상이 되는 시각을 특정하는 복호 시각 특정 수단과, 상기 복호 시각 특정 수단에 의해 얻어지는 복호 대상 시각에 근거하여 오브젝트의 복호를 행하는 복호화 수단을 구비한 것의 일실시예를 개시하였다.
실시예 5
본 실시예 5에서는 실시예 3 또는 실시예 4에서 기술한 VOP 디코더의 다른 실시예를 설명한다. 본 실시예 5에 있어서의 VOP 디코더는 오브젝트의 표시 속도가 고정 속도인지 가변 속도인지를 나타내는 VOP 비율 플래그와 오브젝트의 표시 속도를 나타내는 VOP 비율 정보와 유저가 외부로부터 설정하는 시각 정보를 나타내는 외부 설정 표시 제어 정보와 타임 코드에 근거하여, 복호 대상이 되는 VOP를 특정하여 복호하는 기능을 가지는 것으로 한다.
본 실시예 5의 VOP 디코더는 도 16에 도시된 바와 같이 실시예 3에서 기술한 VOP 디코더의 헤더 해석부(151)에 상당하는 헤더 해석부(1005)의 구성 동작만이 다르므로, 이 부분에 대해서만 설명한다.
도 17은 이 실시예에 의한 VOP 디코더부의 헤더 해석부(1005)의 구성을 도시한 블록도이다. 도면에 있어서, 1006은 VOL 헤더 해석부, 1007은 GOV 헤더 해석부, 1008은 VOP 헤더 해석부, 1009는 외부 설정 표시 제어 정보, 1010은 VOP 비율 플래그, 1011은 타임 코드이다. 또, 외부 설정 표시 제어 정보(1009)는 절대 시각을 나타내는 정보도 되고, 몇매의 VOP에 대하여 1매의 VOP를 복호할 필요가 있는 가를 나타내는 VOP 선택 정보로도 가능하다.
다음에 동작에 대해 설명한다. 스타트 코드 해석부(51)는 입력되는 부호화 VOP 비트 스트림에 포함되는 스타트 코드의 해석을 행한다. 해석한 스타트 코드가 VO를 나타내는 것이면 VO 헤더 해석부(52)로, 해석한 스타트 코드가 VOL을 나타내는 것이면 VOL 헤더 해석부(1006)로, 해석한 스타트 코드가 GOV를 나타내는 것이면 GOV 헤더 해석부(1007)로, 해석한 스타트 코드가 VOP를 나타내는 것이면 VOP 헤더 해석부(1008)로 비트 스트림을 출력한다. 또, VOP 헤더 해석부(1008)의 해석 처리를 종료후, 비트 스트림은 비디오 신호 해석부(153)로 출력된다.
다음에 상기의 VO 헤더 해석부(52)는 입력되는 비트 스트림으로부터 VO 헤더의 해석을 행하고, 해석을 끝낸 비트 스트림을 스타트 코드 해석부(51)로 출력한다.
또한, VOL 헤더 해석부(1006)는 입력되는 비트 스트림으로부터 VOL 헤더와 VOP 비율(58)과 VOP 비율 플래그(1010)의 해석을 행하고, 해석을 끝낸 비트 스트림을 스타트 코드 해석부(51)로 출력함과 동시에, VOP 비율(58)을 컴포지션부(210)와 VOP 헤더 해석부(1008)로, VOP 비율 플래그(1010)를 VOP 헤더 해석부(1008)로 출력한다.
GOV 헤더 해석부(1007)는 입력되는 비트 스트림으로부터 GOV 헤더의 해석을 행하고, 해석을 끝낸 비트 스트림을 스타트 코드 해석부(51)로 출력함과 동시에, 해석된 GOV 헤더에 포함되는 타임 코드(1011)를 VOP 헤더 해석부(1008)로 출력한다.
도 18은 VOP 헤더 해석부(1008)의 상세를 도시한 도이다. 1012는 복호 VOP 결정부(1)이고, 카운터부(1012a), 판정기(1012b)를 갖는다. 1013은 모듈로·타임·베이스 해석부, 1014는 VOP 타임 인클리먼트 해석부, 1015는 복호 VOP 결정부(2), 1016은 복호 VOP 결정 방법 선택부이다.
다음에 동작에 대해 설명한다. 복호 VOP 결정 방법 선택부(1016)에서는 VOP 비율 플래그(1010)에 근거하여, 입력되는 비트 스트림의 출력선을 선택한다. VOP 비율 플래그(1010)가 고정 속도를 나타내는 경우에는 복호 VOP 결정부(1)(1012)를, VOP 비율 플래그(1010)가 가변 속도를 나타내는 경우에는 모듈로·타임·베이스 해석부(1013)를 출력선으로 한다.
우선, VOP 비율 플래그(1010)가 고정 속도를 나타내는 경우에 대해 설명한다. 복호 VOP 결정부(1)(1012)에 있는 카운터부(1012a)는 스타트 코드 해석부(51)에 있어서 VOP 스타트 코드가 검출되어 VOP 헤더 해석부(1006)에 비트 스트림이 입력될 때마다 카운트 수를 인클리먼트하고, 카운트 수와 비트 스트림을 판정기(1012b)에 출력한다.
이어서 판정기(1012b)에서는 복호 대상 VOP의 복호를 행할 필요가 있는지의여부의 판정을 행한다. 판정기(1012b)의 동작에 대해, 외부 설정 표시 제어 정보(1009)가 절대 시각으로부터 주어진 경우를 제 1 의 경우, 외부 설정 표시 제어 정보(1009)가 VOP 선택 정보로 주어진 경우를 제 2 의 경우로서 하기에 설명한다.
(제 1 의 경우)
카운터부(1012a)로부터 입력되는 카운트 수와, VOP 비율(58)과 타임 코드(1011)에 근거하여, 복호 대상 VOP가 가지는 절대 시각을 산출한다. 예를 들면, 카운트 수가 4, VOP 비율이 2매/초를 나타내며, 절대 시각이 0h 10m 0sec 0m sec인 경우, 복호 대상 VOP가 가지는 절대 시각은 0h 10m 02sec 0msec로 산출된다. 산출한 복호 대상 VOP가 가지는 절대 시각과 외부 설정 표시 제어 정보(1009)가 같으면, 복호를 행할 필요가 있다고 판단한다.
한편, 같지 않은 경우는 다음에 복호 대상이 되는 VOP의 절대 시각을 산출한다. 이것은 다음에 복호 대상이 되는 VOP의 절대 시각과, 현재 복호 대상으로 되어 있는 VOP의 절대 시각을 비교하여, 보다 외부 설정 표시 제어 정보(1009)에 가까운 절대 시각을 가지는 VOP를 복호하도록 하기 위해서이다. 다음에 복호 대상이 되는 VOP의 절대 시각은 이미 산출한 현재 복호 대상으로 되어 있는 VOP의 절대 시각과 VOP 비율(58)로부터 산출한다. 이 산출 값이 외부 설정 표시 제어 정보(1009)를 넘지 않거나 또는 같은 경우는 다음에 복호 대상이 되는 VOP를 복호하는 것으로 판단하여, 현재 복호 대상으로 되어 있는 VOP의 복호는 행하지 않는다. 또한, 산출 값이 외부 설정 표시 제어 정보(1009)를 넘는 경우에는
○ 현재 복호 대상으로 되어 있는 VOP를 복호
○ 다음에 복호 대상이 되는 VOP를 복호(= 현재 복호 대상으로 되어 있는 VOP는 복호하지 않는다)
○ 외부 설정 표시 제어 정보(1009)의 차가 작은, 즉 외부 설정 표시 제어 정보(1009)에 가까운 절대 시각을 갖는 VOP를 복호
중 어느 하나를 선택하여도 된다.
(제 2 경우)
VOP 디코더측에서 표시 속도를 제어하는 경우이며, 예를 들면, 유저가 표시 속도를 결정하는 것이 가능하게 되거나, CPU 자원에 따라 알맞은 표시 속도를 지정하는 것이 가능해진다.
다음에 동작에 대해 설명한다. VOP 선택 정보가 3매의 VOP에 대하여 1매의 VOP를 복호할 필요가 있다고 하는 정보인 경우를 상정한다. 이 경우, 판정기(1012b)는 카운터부(1012a)로부터 입력되는 카운트 수를 3으로 나눈 나머지가 0이 되는 경우를 복호를 행할 필요가 있는 VOP라고 판단하고, 카운터부(1012a)로부터 입력되는 카운트 수를 3으로 나눈 나머지가 1 또는 2인 경우를 복호를 행할 필요가 없는 VOP라고 판단한다.
제 1 의 경우, 제 2 의 경우 모두, 복호 대상 VOP의 복호를 행할 필요가 있다라고 판단한 경우에는 비트 스트림을 모듈로·타임·베이스 해석부(1013)로, 복호를 행할 필요가 없다고 판단한 경우에는 입력되는 비트 스트림을 스타트 코드 해석부(51)로 출력한다. 모듈로·타임·베이스 해석부(1013)에서는 모듈로·타임·베이스의 해석을 행하여, VOP 타임 인클리먼트 해석부(1014)로 비트 스트림을 출력한다.
VOP 타임 인클리먼트 해석부(1014)에서는 VOP 타임 인클리먼트의 해석을 행하여, 영상 정보 헤더 해석부(57)로 비트 스트림을 출력한다. 영상 정보 헤더 해석부(57)에서는 영상 정보 헤더의 해석을 행하여, 스타트 코드 해석부(51)로 비트 스트림을 출력한다.
다음에, VOP 비율 플래그(1010)가 가변 속도를 나타내는 경우에 대해 설명한다. 모듈로·타임·베이스 해석부(1013)에서는 모듈로·타임·베이스의 해석을 행하여, VOP 타임 인클리먼트 해석부(1014)로 비트 스트림을 출력한다. VOP 타임 인클리먼트 해석부(1014)에서는 VOP 타임 인클리먼트의 해석을 행하여, 복호 VOP 결정부(2)(1015)로 비트 스트림을 출력한다.
복호 VOP 결정부(2)(1015)는 모듈로·타임·베이스 해석부(1013)에 있어서 해석된 모듈로·타임·베이스와, VOP 타임 인클리먼트 해석부(1014)에 있어서 해석된 VOP 타임 인클리먼트와, 타임 코드(1011)에 근거하여, 복호 대상 VOP가 가지는 절대 시각을 작성하여, 작성한 절대 시각과 외부 설정 표시 제어 정보(1009)에 근거하여, 복호 대상 VOP의 복호를 행할 필요가 있는지의 여부를 판정한다. 복호를 행할 필요가 있다고 판단한 경우는 비트 스트림을 영상 정보 헤더 해석부(57)로, 복호를 행할 필요가 없다 라고 판단한 경우에는 비트 스트림을 스타트 코드 해석부(51)로 출력한다. 영상 정보 헤더 해석부(57)에서는 영상 정보 헤더의 해석을 행하여, 스타트 코드 해석부(51)로 비트 스트림을 출력한다.
이상과 같이, 이 실시예 5에 의하면, VOL 레이어에 VOP 비율 플래그와 VOP 비율을 부호화 비트 스트림을 해석 가능하게 하도록 구성하였기 때문에, VOP 비율 플래그와 VOP 비율을 사용하면, 유저가 소망하는 VOP를 순간에 특정할 수 있고, 각 VOP 헤더 정보에 포함되는 VOP 스타트 코드만을 해석함으로써, 복호화 대상의 VOP의 복호가 필요한지의 여부를 판단하거나, 복수의 오브젝트를 간단히 합성하거나 할 수 있는 효과가 있다.
또, VOP 디코더에 입력되는 부호화 VOP 비트 스트림에 포함되는 VOP가 모두 인트라 부호화되어 있는 경우에는 유저가 소망하는 VOP를 순간에 특정하여, 표시시키는 것도 가능하게 되는 효과도 있다.
이상과 같이, 본 실시예 5에 있어서는 제어 수단은 상기 표시 속도 정보 복호 수단에 의해 복호된 표시 속도 식별 정보가 고정을 나타내는 경우는 표시 속도 정보에 근거하여, 가변 속도를 나타내는 경우는 각 시각의 화상마다에 다중화되는 표시 시각 정보에 근거하여 각 시각의 화상의 표시 시각을 특정하여 재생을 특징으로 하는 것의 일실시예를 개시하였다.
(실시예 6 )
본 실시예 6에서는 실시예 5에서 기술한 VOP 디코더의 다른 실시예 를 설명한다. 본 실시예 6에 있어서의 VOP 디코더는 오브젝트의 표시 속도가 고정 속도인지 가변 속도인지를 나타내는 VOP 비율 플래그와 오브젝트의 표시 속도를 나타내는 VOP 비율과 유저가 외부로부터 설정하는 시각 정보를 나타내는 외부 설정 표시 제어 정보와 타임 코드에 근거하여, 복호 대상이 되는 VOP를 특정하여 복호하는 기능을 가지는 것으로 한다.
도 19는 본 발명의 실시예 6에 있어서의 헤더 해석부를 도시한 도이다. 본 실시예 6의 VOP 디코더는 실시예 5에서 기술한 헤더 해석부에 있는 VOL 헤더 해석부(1006)와 VOP 헤더 해석부(1008)의 구성 동작만이 다르므로, 이 부재에 대해서만 설명한다.
VOL 헤더 해석부(1017)는 입력되는 비트 스트림으로부터 VOL 헤더와 VOP 비율 정보와 VOP 비율 플래그의 해석을 행하고, 해석을 끝낸 비트 스트림을 스타트 코드 해석부(51)로, VOP 비율 플래그(1010)를 VOP 헤더 해석부(1018)로 출력함과 동시에, 해석한 VOP 비율 정보가 어떠한 고정 비율 값이다 라고 하는 것을 나타내는 경우(예를 들면, 표 3에 있어서 VOP 비율 정보 「100」가 나타내는 VOP 비율)는 VOP 비율(58)을 VOP 헤더 해석부(1018)로, 해석한 VOP 비율 정보가 어떤 고유 값을 나타내는 경우(예를 들면, 표 3에 있어서 VOP 비율 정보「000」,「001」,「010」,「011」가 나타내는 VOP 비율)는 VOP 비율(58)을 VOP 헤더 해석부(1018)와 컴포지션부(210)로 출력한다.
도 20은 VOP 헤더 해석부(1018)의 상세를 도시한 도이다. 1025는 복호 VOP 결정 방법 선택부, 1019는 복호 VOP 결정부(3)이고, 카운터부(1019a), 카운트 수 판정부(1019b), 판정기(1019c)를 갖는다. 1020은 시간 정보 유지부, 1021은 VOP 비율 정보 산출부, 1022는 VOP 비율 정보 유지부, 1023는 모듈로·타임·베이스 해석부, 1024는 VOP 타임 인클리먼트 해석부이다.
복호 VOP 결정 방법 선택부(1025)에서는 입력되는 VOP 비율 플래그(1010)와 VOP 비율(58)에 근거하여 입력되는 비트 스트림의 출력선을 선택한다. 구체적으로는 VOP 비율 플래그(1010)가 고정 속도를 나타내며 VOP 비율(58)이 어떠한 고정 비율 값을 나타내는 경우에는 복호 VOP 결정부(3)(1019)를 출력선으로 한다. 또한, VOP 비율 플래그(1010)가 가변 속도를 나타내는 경우는 실시예 5에 기술한 바와 같은 동작으로 되므로, 설명을 생략한다. 또한, VOP 비율 플래그(1010)가 고정 속도를 나타내며 VOP 비율(58)이 어떤 고유 값을 나타내는 경우는 복호 VOP 결정부(1)(1012)로 비트 스트림을 출력한다. 이 경우, 복호 VOP 결정부(1)(1012)이후의 동작은 실시예 5에 기술한 바와 같은 동작이 되므로, 설명을 생략한다.
따라서, VOP 비율 플래그(1010)가 고정 속도를 나타내며 VOP 비율(58)이 어떠한 고정 비율치를 나타내는 경우에 대해, 하기에 설명한다.
복호 VOP 결정부(3)(1019)에 있는 카운터부(1019a)는 스타트 코드 해석부(51)에 있어서 VOP 스타트 코드가 검출되어 VOP 헤더 해석부(1018)에 비트 스트림이 입력될 때마다 카운트 수를 인클리먼트하여, 카운트 수와 비트 스트림을 카운트 수 판정부(1019b)에 출력한다. 카운트 수 판정부(1019b)에서는 카운트 수가 1매째의 VOP, 또는 2매째의 VOP를 나타내는 경우, 모듈로·타임·베이스 해석부(1023)에 비트 스트림과 카운트 수를 출력하고, 상기 이외의 경우에는 판정기(1019c)에 비트 스트림과 카운트 수를 출력한다.
모듈로·타임·베이스 해석부(1023)에서는 모듈로·타임·베이스의 해석을 행하여, 입력된 카운트 수가 1매째의 VOP를 나타내는 경우에는 시간 정보유지부(1020)로, 입력된 카운트 수가 2매째의 VOP를 나타내는 경우에는 VOP 비율 정보 산출부(1021)로 모듈로·타임·베이스를 출력함과 동시에 비트 스트림과 카운트 수를 VOP 타임 인클리먼트 해석부(1024)에 출력한다.
VOP 타임 인클리먼트 해석부(1024)에서는 VOP 타임 인클리먼트의 해석을 행하여, 입력된 카운트 수가 1매째의 VOP를 나타내는 경우에는 시간 정보 유지부(1020)로, 입력된 카운트 수가 2매째의 VOP를 나타내는 경우에는 VOP 비율 정보 산출부(1021)로 VOP 타임 인클리먼트를 출력함과 동시에, 영상 정보 헤더 해석부(57)로 비트 스드림을 출력한다. 영상 정보 헤더 해석부(57)에서는 영상 정보 헤더의 해석을 행하고, 스타트 코드 해석부(51)로 비트 스트림을 출력한다.
시간 정보 유지부(1020)에서는 입력되는 모듈로·타임·베이스와 VOP 타임 인클리먼트를 유지한다. VOP 비율, 정보 산출부(1021)는 2매째의 VOP에 대한 모듈로·타임·베이스와 VOP 타임 인클리먼트가 입력되면, 시간 정보 유지부(1020)로부터 1매째의 VOP에 관한 모듈로·타임·베이스와 동일하게 1매째의 VOP에 관한 VOP 타임 인클리먼트를 입력하여, 이들에 근거하여 VOP 비율 정보를 산출하여, VOP 비율 유지부(1022)로 VOP 비율을 출력한다. VOP 타임 인클리먼트를 6비트 정밀도로써 표현한 경우에 있어서, VOP 비율 정보 산출부(1021)에 있어서의 VOP 비율의 산출에 관한 구체적인 예를 하기에 예시한다.
1매째의 VOP에 관한 모듈로·타임·베이스가 「10」, 1매째의 VOP에 관한 VOP 타임 인클리먼트가「000000」(즉, 1매째의 VOP에 관한 시각 정보는 1.0초), 2매째의 VOP에 관한 모듈로·타임·베이스가 「10」, 2매째의 VOP에 관한 VOP 타임인클리먼트가 「100000」(즉, 2매째의 VOP에 관한 시각 정보는 1.5초)의 경우, 양자의 시간 정보의 차분은 0.5초가 된다. 이것은 0.5초에 1매의 비율로써 복호 대상의 VOP가 존재하는 것, 즉 VOP 비율은 2매/초인(표 3을 사용하면 VOP 비율 정보는「000」)것을 의미한다.
또, VOP 비율(58)이 다중화되어 있지 않은 경우에도, VOP 비율 플래그(1010) 조차 다중화되어 있으면, 이것에 의해 고정 비율인 것을 판단할 수 있으므로, 상기와 같은 동작이 가능하다.
VOP 비율 유지부(1022)는 입력된 VOP 비율을 유지함과 동시에, VOP 비율을 컴포지션부(210)에 출력한다. 판정기(1019c)의 동작에 대해, 외부 설정 표시 제어 정보(1009)가 절대 시각으로 주어진 경우를 제 1 의 경우, 외부 설정 표시 제어 정보(1009)가 VOP 비율로 주어진 경우를 제 2 의 경우로서 하기에 설명한다.
(제 1 의 경우)
판정기(1019c)는 카운트 수 판정부(1019b)로부터 입력되는 카운트 수와 VOP 비율 유지부(1022)로부터 출력되는 VOP 비율 정보에 근거하여, 복호대상 VOP이 가지는 절대 시각을 산출한다. 산출한 복호 대상 VOP가 가지는 절대 시각과 외부 설정 표시 제어 정보(1009)가 같으면, 복호를 행할 필요가 있다고 판단한다.
한편, 동일하지 않은 경우는 다음에 복호 대상이 되는 VOP의 절대 시각을 산출한다. 이것은 다음에 복호 대상이 되는 VOP의 절대 시각과, 현재 복호 대상으로 되어 있는 VOP의 절대 시각을 비교하여, 보다 외부 설정 표시 제어 정보(1009)에 가까운 절대 시각을 가지는 VOP를 복호하도록 하기 위해서이다. 다음에 복호 대상이 되는 VOP의 절대 시각은 이미 산출한 현재 복호 대상으로 되어 있는 VOP의 절대 시각과 VOP 비율(58)로부터 산출한다. 이 산출 값이 외부 설정 표시 제어 정보(1009)를 넘지 않거나 또는 같은 경우는 다음에 복호 대상이 되는 VOP를 복호하는 것으로 판단하고, 현재 복호 대상으로 되어 있는 VOP의 복호는 행하지 않는다. 또한, 산출 값이 외부 설정 표시 제어 정보(1009)를 넘는 경우에는
○ 현재 복호 대상으로 되어 있는 VOP를 복호
○ 다음에 복호 대상이 되는 VOP를 복호(= 현재 복호 대상으로 되어 있는 VOP는 복호하지 않는다)
○ 외부 설정 표시 제어 정보(1009)의 차가 작은, 즉 외부 설정 표시 제어 정보(1O09)에 가까운 절대 시각을 갖는 VOP를 복호 중 어느 하나를 선택하여도 된다.
(제 2 의 경우)
판정기(1019c)는 외부 설정 표시 제어 정보(1009)에 의해 주어진 VOP 비율이 2매/초, VOP 비율 정보 유지부(1022)로부터 출력되는 VOP 비율이 4매/초이던 경우, 몇매의 VOP에 대하여 1매의 VOP를 복호할 필요가 있는 가를 나타내는 VOP 선택 정보는 2매에 1매의 VOP를 복호할 필요가 있다고 하는 정보가 된다. 이 경우, 판정기(1019c)는 카운트 수 판정부(1019b)로부터 입력되는 카운트 수를 2로 나눈 나머지가 0이 되는 경우를 복호를 행할 필요가 있는 VOP라고 판단하고, 카운트 수 판정부(1019b)로부터 입력되는 카운트 수를 2로 나눈 나머지가 1의 경우를 복호를 행할 필요가 없는 VOP라고 판단한다.
제 1, 제 2 의 경우 모두 복호 대상 VOP의 복호를 행할 필요가 있다고 판단한 경우에는 비트 스트림을 모듈로·타임·베이스 해석부(1013)로, 복호를 행할 필요가 없다고 판단한 경우에는 입력되는 비트 스트림을 스타트 코드 해석부(51)로 출력한다. 모듈로·타임·베이스 해석부(1013)에서는 모듈로·타임·베이스의 해석을 행하여, VOP 타임 인클리먼트 해석부(1014)로 비트 스트림을 출력하고, VOP 타임 인클리먼트 해석부(1014)에서는 VOP 타임 인클리먼트의 해석을 행하여, 영상 정보 헤더 해석부(57)로 비트 스트림을 출력한다, 영상 정보 헤더 해석부(57)에서는 영상 정보 헤더의 해석을 행하여, 스타트 코드 해석부(51)로 비트 스트림을 출력한다.
이상과 같이, 이 실시예 6에 의하면, VOL 레이어에 VOP 비율 플래그와 VOP 비율을 부호화 비트 스트림을 해석 가능하게 하고, VOP 비율 플래그가 고정 속도를 나타내는 경우에 있어서, 1매째의 VOP와 2매째의 VOP가 가지는 절대 시각으로부터 VOP 비율 정보를 산출하도록 구성하였기 때문에, VOP 비율 플래그와 VOP 비율을 사용하면, 유저가 소망하는 VOP를 순간에 특정할 수 있으며, 임의의 고정 VOP 비율에 대하여 각 VOP 헤더 정보에 포함되는 VOP 스타트 코드를 해석함으로써, 복호화 대상의 VOP의 복호가, 필요한지의 여부를 판단하거나, 복수의 오브젝트를 간단히 합성하기도 하는 것이 가능하게 되는 효과가 있다.
또, VOP 디코더에 입력되는 부호화 VOP 비트 스트림에 포함되는 VOP가 모두 인트라 부호화되어 있는 경우에는 유저가 소망하는 VOP를 순간에 특정하여, 표시시키는 것도 가능하게 되는 효과도 있다.
이상과 같이, 본 실시예 6에 있어서는 제어 수단은 상기 표시 속도 정보 복호 수단에 의해 복호된 표시 속도 정보가 고정을 나타내며 또한 상기 고정 속도가 상기 표시 속도 정보로 표현되어 있지 않은 값인 경우는 각 시각의 화상마다에 다중화되는 표시 시각 정보에 근거하여 각 시각의 화상의 표시 시각을 특정하여 재생을 제어하는 것을 특징으로 하는 것의 일실시예를 개시한다.
(실시예 7)
본 실시예 7에서는 실시예 1에서 기술한 VOP 인코더의 다른 실시예를 설명한다. 본 실시예 7에 있어서의 VOP 인코더는 VOL의 단위로, 상기 VOL에 포함되는 각 VOP의 절대 표시 시각을 규정하는 타임 코드를 부가하는 기능을 가지는 것으로 한다.
여기서, 타임 코드란, IEC standard publication 461 for "time and control codes for video tape recorders"로 개시되는 시간 정보이고, 동 화상을 구성하는 각 시각의 화상(MPEG-2로 말하자면 프레임, MPEG-4로 말하면 VOP 등)의 표시 시각을, 시간· 분·초의 정밀도로 규정하는 정보이다. 이것은 예를 들면, 업무용 영상 편집기기 등으로 프레임 단위로 편집을 행하는 경우에, 각 프레임에 이 정보를 부가함으로써, 타임 코드의 값을 지정하는 것만으로 소망의 프레임에 액세스할 수 있는 등의 효과를 가진다.
본 실시예 7의 VOP 인코더는 실시예 1에서 기술한 VOP 인코더의 헤더 다중화부(124)의 구성 동작만이 다르므로, 이 부재에 대해서만 설명한다.
도 21은 본 발명의 실시예 7에 의한 VOP 인코더부의 헤더 다중화부의 구성을 도시한 블록도이고, 상기 도 4에 나타내는 실시예 1과 동일 부분에는 동일부호를 붙여 중복 설명을 생략한다.
다음에 동작에 대해 설명한다. VO 헤더 다중화부(1)에 있어서 VO 헤더 정보가 다중화된 비트 스트림은 VOL 헤더 다중화부(2)에 입력된다. 이 VOL 헤더 다중화부(2)는 입력된 비트 스트림에 VOL 헤더 정보와 시간 관리의 기본이 되는 타임 코드(18)를 다중화한 비트 스트림을 GOV 헤더 다중화 선택부(3)에 출력한다.
GOV 헤더 다중화 선택부(3)에서는 VOL 헤더 다중화부(2)로부터 출력된 비트 스트림의 출력선을, GOV 헤더의 다중화를 행할 것인지의 여부를 나타내는 GOV 다중화 정보(6)에 근거하여 판단한다. GOV 다중화 정보(6)가 GOV 헤더의 다중화를 행하지 않는 것을 나타내는 경우는 VOP 헤더 다중화부(5)로, GOV 다중화 정보(6)가 GOV 헤더의 다중화를 행하는 것을 나타내는 경우는 GOV 헤더 다중화부(4)로 비트 스트림을 출력한다. 이 경우, GOV 헤더 다중화부(4)는 GOV 헤더 다중화 선택부(3)로부터 출력된 비트 스트림에 GOV 헤더 정보의 다중화를 행하고, VOP 헤더 다중화부(5)에 출력한다.
VOP 헤더 다중화부(5)는 입력된 비트 스트림에 VOP 스타트 코드, 시간 관리 정보 헤더, 영상 정보 헤더의 다중화를 행한 비트 스트림을 비디오 신호 다중화부(126)(도 3참조)로 출력한다.
또, 비디오 신호 다중화부(126) 이후의 동작에 대해서 위에서 설명한 내용과 동일이다.
이상과 같이, 이 실시예 7에 의하면, MPEG-4에서 반드시 부호화되는 VOL 헤더에 타임 코드를 다중화하였기 때문에, 타임 코드를 기준으로 하여 복수의 오브젝트로 구성되는 화면의 작성이 가능한 비트 스트림을 구성할 수 있다. 또한, 본 실시예 7에 의한 부호화 비트 스트림을 업무용 영상 오브젝트 단위의 편집기기 등에 있어서 복호하면서 편집 조작을 행하도록 한 경우에, 오브젝트의 임의의 시각의 VOP에 항상 자유롭게 랜덤 액세스가 가능하다고 하는 효과가 있다. 이러한 효과로부터, 영상 합성의 자유도를 높일 수 있다.
또, 본 실시예 7에서는 VOL의 단위로 타임 코드를 부가하는 인코더에 대해 기술하였지만, 타임 코드 정보를 VOP의 단위로 부가하도록 구성하여도 된다. 이 경우는 도 22에 도시된 바와 같이 VOP 헤더 다중화부(301)에 각 VOP의 절대 표시 시각을 규정하는 타임 코드(18)를 입력하여, 이것을 다중화하도록 구성하면 된다.
또한, 본 실시예 7에서는 VOP 비율의 부호화를 수반하는 예를 예시하였지만, 물론 타임 코드의 다중화는 VOP 비율과는 독립이고, VOP 비율을 부호화하지 않은 경우에도 동일한 효과가 얻어진다.
이상과 같이 본 실시예 7에 있어서는 오브젝트 단위로 화상을 부호화하는 화상 부호화 장치에 있어서, 오브젝트 마다에 상기 오브젝트에 대한 절대 시각을 표현하는 정보를 상기 부호화된 화상 신호로 다중화하는 절대 시각 다중화 수단을 구비한 것의 일실시예를 개시하였다.
(실시예 8)
본 실시예 8에서는 부호화 비트 스트림 중의 VOL 헤더로부터 타임 코드를 복호하여 출력하는 VOP 디코더를 복수 구비하고, 복수의 복호된 오브젝트를 합성하여 화상을 재생하는 시스템에 대해 설명한다.
우선, 본 실시예 8에 있어서의 VOP 디코더의 구성과 동작에 대해 설명한다. 본 실시예 8에 있어서의 VOP 디코더의 내부 구성을 도 23에 도시한다. 본 디코더는 실시예 2에 기술한 VOP 디코더의 구성 동작에 대하여 헤더 해석부(302)만이 다르므로, 이하, 이 부재에 대해서만 설명한다. 헤더 해석부(302)는 VOL 헤더 중의 타임 코드를 복호하여 출력하는 기능을 가진다.
도 24는 헤더 해석부(302)의 내부 구성을 도시한 것이다. 도면에 있어서, 303은 VOL 헤더 해석부이다. 스타트 코드 해석부(51)는 입력되는 부호화 VOP 비트 스트림(150)에 포함되는 스타트 코드의 해석을 행한다. 해석한 스타트 코드가 VO를 나타내는 것이면 VO 헤더 해석부(52)로, 해석한 스타트 코드가 VOL을 나타내는 것이면 VOL 헤더 해석부(303)로, 해석한 스타트 코드가 GOV를 나타내는 것이면 GOV 헤더 해석부(54)로, 해석한 스타트 코드가 VOP를 나타내는 것이면 VOP 헤더 해석부(55)로 비트 스트림을 출력한다. 또, VOP 헤더 해석부(55)의 해석 처리를 종료한 후, 비트 스트림은 비디오 신호 해석부(153)에 출력된다.
VO 헤더 해석부(52)는 입력되는 비트 스트림으로부터 VO 헤더 정보의 해석을 행하고, 해석을 끝낸 비트 스트림을 스타트 코드 해석부(51)로 출력한다. VOL 헤더 해석부(303)는 입력되는 비트 스트림으로부터 VOL 헤더 정보의 해석을 행하고, 해석을 끝낸 비트 스트림을 스타트 코드 해석부(51)로 출력한다. 이 때, VOL 헤더 정보 중에 포함되는 타임 코드(64)를 복호하여 출력한다. GOV 헤더 해석부(54)는입력되는 비트 스트림으로부터 GOV 헤더 정보의 해석을 행하고, 해석을 끝낸 비트 스트림을 스타트 코드 해석부(51)로 출력한다. VOP 헤더 해석부(55)는 입력되는 비트 스트림으로부터 VOP 헤더 정보의 해석을 행하고, 해석을 끝낸 비트 스트림을 스타트 코드 해석부(51)를 통해 비디오 신호 해석부(153)로 출력한다.
이상의 구성과 동작에 의한 VOP 디코더에 의하면, VOL의 단위로 그것에 포함되는 VOP의 절대 표시 시각을 출력시킬 수 있다. 이 정보를 사용하여 복수의 오브젝트를 합성하는 시스템을 도 25에 도시한다.
도면에 있어서, 400은 부호화 VOP 비트 스트림(a), 401은 부호화 VOP 비트 스트림(b), 402는 부호화 VOP, 비트 스트림(c), 403a는 부호화 VOP 비트 스트림(a)(400)를 복호하는 VOP 디코더부, 403b는 부호화 VOP 비트 스트림(b)(401)을 복호하는 VOP 디코더부, 403c는 부호화 VOP 비트 스트림(c)(402)을 복호하는 VOP 디코더부, 404는 복호 오브젝트 화상(a), 405는 복호 오브젝트 화상(b), 406은 복호 오브젝트 화상(c), 407은 타임 코드(a), 408은 타임 코드(b), 409는 타임 코드(c), 410은 컴포지션부, 411은 복호 화상이다. 복호 오브젝트 화상이란, 각 VOP의 복호 형상 데이터(156)와 대응하는 복호 텍스쳐 데이터(162)를 정리하며, 또한 이것을 VOP를 정리하는 단위(예를 들면 GOV, VOL 등)로 정리한 것을 가리키는 것으로 한다.
부호화 VOP 비트 스트림(a)(400) 내지 (c)(402)은 대응하는 VOP 디코더부(403a 내지 403c)에서 복호되고, 복호 오브젝트 화상(a)(404) 내지 (c)(406)이 생성된다. 이 때, 각 VOP 디코더부는 대응하는 타임 코드(a)(407) 내지 (c)(409)를 복호하여 이것을 컴포지션부(410)에 출력한다. 컴포지션부(410)는 동 타임 코드(a)(407) 내지 (c)(409)에 근거하여, 각 복호 오브젝트 화상의 각 시각의 VOP를, 복호 화상(411) 중 어느 하나의 시각의 화상 프레임으로 합성할 것인가를 결정하여, 대응하는 시각의 화상 프레임에 맵핑한다. 예를 들면, 이하의 상황을 상정한다.
컴포지션부는 타임 코드 발생 기능을 가지며, 합성하는 각 화상 프레임의 절대 표시 시각을 결정한다.
·복호 오브젝트 화상(a)(404)의 선두 VOP의 타임 코드로서 01:00:00이 복호 된 것으로 한다. 여기서, 01:00:00은 (시간):(분):(초)를 나타낸다.
·복호 오브젝트 화상(b)(405)의 선두 VOP의 타임 코드로서 01:00:10이 복호 된 것으로 한다.
·복호 오브젝트 화상(c)(406)의 선두 VOP의 타임 코드로서 01:01:00이 복호 된 것으로 한다.
여기서, 컴포지션부(410)에서 규정되는 복호 화상(411)의 선두 화상 프레임의 타임 코드가 01:00:00이던 것으로 하면, 복호 오브젝트 화상(a)(404)은 복호 화상(411)의 선두 프레임으로부터 맵핑되고, 복호 오브젝트 화상(b)(405)은 복호 화상(411)의 선두 프레임으로부터 10초 후로부터 맵핑되고, 복호 오브젝트 화상(c)(406)은 복호 화상(411)의 선두 프레임으로부터 1분 후로부터 맵핑되며, 화면에 표시된다고 하는 동작을 행할 수 있다. 이것에 의해, 복수의 영상 오브젝트를 기준이 되는 절대 시각에 맞추어 화상 프레임으로 합성한 영상을 표시할 수 있다.
이상과 같이, VOL의 레이어에 타임 코드를 부호화한 부호화 비트 스드림을 복호하는 VOP 디코더를 사용함으로써, 간단하고 용이한 구성으로 복수 오브젝트를합성하여 재생 화상을 얻는 시스템을 실현하는 것이 가능하다.
또, 도 26에 도시된 바와 같이 타임 코드는 VOP를 단위로 하여 화상 부호화 장치측에서 부호화되어 있어도 된다. 이 경우, 화상 부호화 장치측에서는 VOL을 단위로 하여 부호화된 타임 코드를 복호화하고, VOP 마다에 상술한 바와 같은 간단하고 용이한 복수 오브젝트의 합성이 가능하다.
또, 도 27에 도시된 바와 같이 VOL 헤더에 타임 코드와 같이, VOP 비율을 다중화한 부호화 비트 스트림을 입력으로 하는 VOP 디코더를 생각하는 것도 가능하다. 이 경우는 타임 코드에 의해 VOL의 선두의 VOP의 절대 표시 시각을 결정하고, 이어서 VOP 비율에 의해 간단히 각 VOP의 절대 표시 시각을 알 수 있으므로, 보다 간단하게 복수 오브젝트의 합성 시스템을 구성할 수 있다.
또한, 본 실시예 8에서는 복수의 오브젝트를 합성하는 시스템으로서 VOP 디코더를 사용하였지만, 1개의 오브젝트만을 복호하여 재생하는 시스템에 있어서 1개의 VOP 디코더만을 사용하도록 한 구성도 가능하다.
이상과 같이, 본 실시예 8에 있어서는 오브젝트 단위로 화상을 부호화한 부호화 비트 스트림을 복호화하는 화상 복호화 장치에 있어서, 오브젝트 마다에 상기 오브젝트에 대한 절대 시각을 표현하는 정보를 해석하는 절대 시각 해석 수단과, 상기 절대 시각 해석 수단에 의해 해석된 절대 시각을 표현하는 정보에 근거하여, 오브젝트 단위로 처리된 화상의 재생 처리를 행하는 것의 일실시예를 개시하였다.
(실시예 9)
본 실시예 9에서는 현재 MPEG-4에서 사용되고 있는 모듈로·타임·베이스(제1 시간 정보에 상당)과 VOP 타임 인클리먼트(제 2 시간 정보에 상당)의 표현에 있어서, 모듈로·타임·베이스의 부호화 방법을 개선한 표현 수법과, 그것을 실현하는 VOP 인코더에 대해 설명한다.
또한 그에 앞서서, 우선 MPEG-4에 있어서의 모듈로·타임·베이스(20)의 표현방법을 설명한다.
실시예 1에서도 기술한 바와 같이, 모듈로·타임·베이스의 값은 도 5에 도시된 바와 같이 상기 VOP가 어떤 기준이 되는 시각으로부터 몇초 후에 표시되는 가를 나타내는 정보로, 그의 초 수를 값 "1"의 비트의 개수로 표현한다. 값 "0"을 부가함으로써 데이터의 종단을 명시한다. 즉, 5초 후이면 "111110"가 된다. 이 표현 방법에서는 기준 시각이 전혀 변화하지 않는 경우, 모듈로·타임·베이스의 정보량은 끝없이 커져 간다. 현재 MPEG-4에서는 이 기준 시각을 GOV 헤더 중에 다중화되는 타임 코드에 의해 규정하고 있지만, GOV는 옵션이기 때문에, MPEG-4의 규정으로서 반드시 GOV 헤더 가 부호화되어 있을 필요는 없다. 즉, GOV 헤더가 나타나지 않은 한, 모듈로·타임·베이스의 값은 끝없이 길어질 위험성이 있다. 본 실시예 9는 모듈로·타임·베이스의 데이터를 부호화함에 있어서 이러한 문제를 회피하는 인코더를 실현한다.
본 실시예 9에서는 지금까지 기술한 VOP 인코더의 헤더 다중화부(124)의 구성 동작만을 변경한 것이므로, 이 부재에 대해서만 설명한다.
도 28은 본 발명의 실시예 9에 있어서의 헤더 다중화부(124)의 내부 구성을 도시한 것이다. 500은 VOP 헤더 다중화부, 19는 비트 길이 연산부, 20은 모듈로·타임·베이스, 21은 시프트화 모듈로·타임·베이스, 22는 반복 회수를 나타내는 정보 비트, 501은 모듈로·타임·베이스 다중화부이다.
다음에 동작에 대해 설명한다. VO 헤더 다중화부(1)에 있어서 VO 헤더 정보가 다중화된 비트 스트림은 VOL 헤더 다중화부(2)에 입력된다. 이 VOL 헤더 다중화부(2)는 입력된 비트 스트림에 VOL 헤더 정보의 다중화를 행하고, 다중화후의 비트 스트림을 GOV 헤더 다중화 선택부(3)에 출력한다.
GOV 헤더 다중화 선택부(3)에서는 VOL 헤더 다중화부(2)로부터 출력된 비트 스트림의 출력선을, GOV 헤더의 다중화를 행할 것인지의 여부를 나타내는 GOV 다중화 정보(6)에 근거하여 판단한다. GOV 다중화 정보(6)가 GOV 헤더의 다중화를 행하지 않는 것을 나타내는 경우는 VOP 헤더 다중화부(5)로, GOV 다중화 정보(6)가 GOV 헤더의 다중화를 행하는 것을 나타내는 경우는 GOV 다중화부(4)로 비트 스트림을 출력한다. 이 경우, GOV 헤더 다중화부(4)는 GOV 헤더 다중화 선택부(3)로부터 출력된 비트 스트림에 GOV 헤더 정보의 다중화를 행하여 VOP 헤더 다중화부(5)로 출력한다.
VOP 헤더 다중화부(500)에 있는 VOP 스타트 코드 다중화부(8)는 입력된 비트 스트림에 VOP 스타트 코드의 다중화를 행하여, 다중화후의 비트 스트림을 모듈로·타임·베이스 다중화부(501)에 출력한다. VOP 헤더 다중화부(500)에 있는 비트 길이 산출부(19)는 모듈로·타임·베이스(20)의 비트 길이와 미리 설정한 정의 값을 갖는 임계 값의 비교를 행하여, 모듈로·타임·베이스(20)의 비트 길이가 긴 경우에는 모듈로·타임·베이스(20)의 비트 길이가 상기의 임계 값을 하회할 때까지 임계 값의 길이 만큼씩 반복하여 왼쪽 시프트를 행하고, 이 결과 얻어진 비트열인 시프트화 모듈로·타임·베이스(21)와 반복 시프트 회수를 나타내는 정보 비트(22)를 출력한다. 반복 시프트 회수를 나타내는 정보 비트(22)는 반복 시프트 회수를 소정의 고정 비트 수로 표현한 2진수 표기로도 가능하며, 반복하여 시프트 회수를 가변 길이 부호로 표현한 가변 비트 길이 표기로도 가능하다.
이하에, 비트 길이 산출부(19)에 있어서의 동작의 구체적인 예를 예시한다. 상기의 임계 값을 4로 설정한 경우, 모듈로·타임·베이스(20)가 "1111111110"이면, 반복 시프트 회수는 2회이고, 시프트화 모듈로·타임·베이스(21)는 "10"이 된다. 반복 시프트 회수를 나타내는 정보 비트(22)는 고정 길이 2비트로 표현하면 "10"이 된다.
V0P 헤더 다중화부(500)에 있는 모듈로·타임·베이스 다중화부(501)는 VOP 스타트 코드 다중화부(8)로부터 출력된 비트 스트림에 시프트화 모듈로·타임·베이스(21)와 반복 시프트 회수를 나타내는 정보 비트(22)의 다중화를 행한 비트 스트림을 VOP 타임 인클리먼트 다중화부(10)로 출력한다.
VOP 타임 인클리먼트 다중화부(10)는 모듈로·타임·베이스 다중화부(501)로부터 출력된 비트 스트림에 VOP 타임 인클리먼트의 다중화를 행한 비트 스트림을 영상 정보 헤더 다중화부(11)로 출력한다. 영상 정보 헤더 다중화부(11)는 VOP 타임 인클리먼트 다중화부(10)로부터 출력된 비트 스트림에 영상 정보 헤더의 다중화를 행한 비트 스트림을 비디오 신호 다중화부(26)로 출력한다.
이상과 같이, 이 실시예 9에 의하면, 모듈로·타임·베이스를 2종류의 정보비트(시프트화 모듈로·타임·베이스와 반복 시프트 회수를 나타내는 정보 비트)로 표현하고, MPEG-4에서 현재 규정되는 모듈로·타임·베이스의 표현 그대로 부호화하는 대신에 상기 2종류의 정보 비트를 다중화하도록 구성하였기 때문에, MPEG-4에 있어서의 표현 방법에서도 정보 발생량을 억제하는 것이 가능하게 되는 효과가 있다.
이상과 같이 본 실시예 9에 있어서는, 오브젝트 단위로 화상을 부호화하는 화상 부호화 장치에 있어서, 오브젝트마다에 각 시각의 화상의 표시 시각을 규정하는 정보로서, 기준 시각으로부터 표시 시각까지의 시간을 규정하는 제 1 시간 정보와, 상기 제 1 시간 정보로 정해지는 시각으로부터 더욱 세밀한 정밀도로 표시 시각을 규정하는 제 2 시간 정보와, 각 시각에 대응하는 화상을 부호화하는 시간 정보 부호화 수단을 구비하며, 상기 시간 정보 부호화 수단은 상기 제 1 시간 정보를 비트 길이로 환산함으로써 표현하여, 상기 제 1 시간 정보의 비트 길이가 소정의 설정값보다도 긴 경우, 상기 설정값보다 짧아지기까지 상기 설정값 만큼의 비트 시프트를 반복하는 동시에 비트 시프트 실시 회수를 카운트하여, 상기 비트 시프트 실시 회수와 반복 비트 시프트의 결과로부터 얻어지는 비트열을 부호화하는 것의 일실시예를 개시하였다.
(실시예 10)
본 실시예 10에서는 실시예 9에서 기술한 모듈로·타임·베이스 다중화부(501)에 의해 부호화 비트 스트림에 다중화된 모듈로·타임·베이스의 정보를 복원하여, 이것과 VOP 타임 인클리먼트에 근거하여 각 VOP의 표시 시각을 규정하는 VOP 디코더에 대해 설명한다.
본 실시예 10에서는 지금까지 기술한 VOP 디코더의 헤더 해석부(151)의 구성 동작만을 변경한 것이므로, 이 부재에 대해서만 설명한다.
도 29는 본 발명의 실시예 10에 있어서의 헤더 해석부(151)의 내부 구성을 도시한 것이다. 502는 VOP 헤더 해석부, 65는 모듈로·타임·베이스 해석부, 66은 VOP 타임 인클리먼트 해석부, 67은 모듈로·타임·베이스 산출부, 69는 시프트화 모듈로·타임·베이스, 70은 반복 시프트 회수를 나타내는 정보 비트이다.
다음에 동작에 대해 설명한다. 스타트 코드 해석부(51)는 입력되는 시프트화 모듈로·타임·베이스(69)와 반복 시프트 회수를 나타내는 정보 비트(70)가 다중화된 부호 VOP 비트 스트림으로부터 스타트 코드의 해석을 행하고, 해석한 스타트 코드가 VO 헤더에 포함되는 것이면 VO 헤더 해석부(52)로, 해석한 스타트 코드가 VOL 헤더에 포함되는 것이면 VOL 헤더 해석부(53)로, 해석한 스타트 코드가 GOV 헤더에 포함되는 것이면 GOV 헤더 해석부(54)로, 해석한 스타트 코드가 VOP 헤더에 포함되는 것이면 VOP 헤더 해석부(55)로, 해석한 스타트 코드가 VOP 데이터 정보에 포함되는 것이면 비디오 신호 해석부(153)(도 11참조)로 비트 스트림(152)을 출력한다. 비디오 신호 해석부(153) 이후의 동작에 대해서는 위에서 설명한 내용과 동일이다.
VOP 헤더 해석부(502)에 있는 모듈로·타임·베이스 해석부(65)는 스타트 코드 해석부(51)로부터 출력된 비트 스트림 시프트화 모듈로·타임·베이스(69)와 반복 시프트 회수를 나타내는 정보 비트(70)의 해석을 행하고, 시프트화 모듈로·타임·베이스(69)와 반복 시프트 회수를 나타내는 정보 비트(70)를 모듈로·타임·베이스 산출부(67)로, 비트 스트림을 VOP 타임 인클리먼트 해석부(66)로 출력한다.
모듈로·타임·베이스 산출부(67)는 입력되는 시프트화 모듈로·타임·베이스(69)와 반복 시프트 회수를 나타내는 정보 비트(70)로부터 모듈로·타임·베이스를 산출하여 컴포지션부(210)에 출력한다. 구체적으로는 실시예 9에서 예시된 순서의 반대의 조작에 의해 모듈로·타임·베이스의 값을 복원한다. 미리 설정한 정의 값을 갖는 임계 값(이것은 실시예 9의 인코더의 예에서 예시된 동일의 임계 값과 완전히 동일한 값을 디코더측에서도 설정하지 않으면 안된다)을 4, 시프트화 모듈로·타임·베이스(69)가 "10", 반복 시프트 회수를 나타내는 정보 비트(70)가 "10"인 경우, "10"의 상위 비트에 "11111111"를 대응 부가한 "1111111110"이 모듈로·타임·베이스의 복원치가 된다. 얻어진 모듈로·타임·베이스의 복원치는 VOP 타임 인클리먼트 정보와 함께 상기 VOP의 표시 시각을 규정할 목적으로 사용된다.
VOP 타임 인클리먼트 해석부(66)는 모듈로·타임·베이스 해석부(65)로부터 출력된 비트 스트림에 VOP 타임 인클리먼트의 해석을 행하고, 해석 후의 비트 스트림을 영상 정보 헤더 해석부(57)로 출력한다. 영상 정보 헤더 해석부(57)는 VOP 타임 인클리먼트 해석부(66)로부터 출력된 비트 스트림에 영상 정보 헤더의 해석을 행하고, 해석 후의 비트 스트림을 비디오 신호 해석부(153)로 출력한다.
이상과 같이, 이 실시예 10에 의하면 2종류의 정보 비트(시프트화 모듈로·타임·베이스와 반복 회수를 나타내는 정보 비트)를 사용하여 모듈로·타임·베이스를 산출할 수 있도록 구성하였기 때문에, MPEG-4에 규정되는 부호화 표현보다도정보발생량을 억제한 실시예 12에 기재하는 비트 스트림을 해석하는 것이 가능하게 되는 효과가 있다.
이상과 같이, 본 실시예 10에 있어서는 오브젝트 단위로 화상을 부호화 비트 스트림을 복호화하는 화상 표시 장치에 있어서, 오브젝트 마다의 각 시각의 화상의 표시 시각을 규정하는 정보로서, 기준 시각으로부터 표시 시각까지의 시간을 규정하는 제 1 시간 정보와, 상기 제 1 시간 정보로 정해지는 시각으로부터 더욱 세밀한 정밀도로 표시 시각을 규정하는 제 2 시간 정보를, 각 시각에 대응하는 화상을 복호하는 시간 정보 복호 수단과, 입력 부호화 화상 신호를 오브젝트 단위로 복호화하여, 이들의 복호화 화상 신호를 합성하는 복호 합성 수단을 구비하며, 상기 시간 정보 복호 수단은 상기 제 1 시간 정보의 부호화 데이터로서, 비트 시프트 실시 회수와 반복 비트 시프트의 결과로부터 얻어진 비트열을 복호하고, 상기 비트열에 소정의 설정값의 길이의 부호를 비트 시프트 실시 회수분 만큼 부가함으로써 상기 제 1 시간 정보를 복호하고, 상기 복호 합성 수단은 상기 시간 정보 복호 수단으로 복호화된 제 1 시간 정보 및 제 2 시간 정보에 근거하여, 복호화 화상 신호를 합성하는 것의 일실시예를 개시하였다.
(실시예 11)
본 실시예 11에서는 현재 MPEG-4에서 사용되는 모듈로·타임·베이스와 VOP 타임 인클리먼트의 표현에 있어서, 모듈로·타임·베이스의 부호화 방법을 개선한 다른 표현 수법과, 그것을 실현하는 VOP 인코더에 대해 설명한다.
본 실시예 11에서는 지금까지 기술한 VOP 인코더의 헤더 다중화부(124)의 구성 동작만을 변경한 것이므로, 이 부재에 대해서만 설명한다.
도 30은 본 실시예 11에 있어서의 헤더 다중화부(124)의 내부 구성을 도시한 것이다. 503은 VOP 헤더 다중화부, 23은 모듈로·타임·베이스 유지부, 24는 차분 모듈로·타임·베이스작성부, 25는 차분 모듈로·타임·베이스 다중화부, 26은 차분 모듈로·타임·베이스이다.
VOP 헤더 다중화부(503)에 있는 VOP 스타트 코드 다중화부(8)는 입력된 비트 스트림에 VOP 스타트 코드의 다중화를 행하여, 다중화후의 비트 스트림을 차분 모듈로·타임·베이스 다중화부(25)에 출력한다.
VOP 헤더 다중화부(503)에 있는 모듈로·타임·베이스 유지부(23)는 직전에 부호화 VOP의 모듈로·타임·베이스의 값을 유지하고 있고, 직전에 부호화 VOP의 모듈로·타임·베이스를 출력후, 부호화 대상 VOP의 모듈로·타임·베이스가 기록된다. VOP 헤더 다중화부(503)에 있는 차분 모듈로·타임·베이스 작성부(24)는 모듈로·타임·베이스 유지부(23)로부터 입력되기 직전에 부호화 VOP의 모듈로·타임·베이스와 부호화 대상 VOP의 모듈로·타임·베이스와의 차분 비트열을 계산하여, 계산된 차분 비트열에 포함되는 "1" 비트의 수에 근거하여 차분 모듈로·타임·베이스(26)를 구하고, 차분 모듈로·타임·베이스 다중화부(25)에 출력한다.
여기서, 차분 모듈로·타임·베이스 생성의 구체적인 예를 예시한다.
직전에 부호화 VOP의 모듈로·타임·베이스를 "11110"(10진수 표시:30), 부호화 대상 VOP의 모듈로·타임·베이스를 "111110"(10진수 표시: 62)로 한 경우, 차분 비트열은 "100000"(10진수표시: 32)이 된다. 다음에, 먼저 계산하여 얻은 차분 비트열 "100000"에 포함되는 "1" 비트의 수를 세면 1개이다. 표 2에 나타내는 것 과 같은 변환표를 사용하여 차분 모듈로·타임·베이스를 구한 경우, "1" 비트의 수가 1개에 대응하는 차분 모듈로·타임·베이스는 "10"이기 때문에, "10"을 차분 모듈로·타임·베이스로서 출력한다. 표 2의 변환표는 일례이고, 다른 변환표를 정의하여 사용하여도 된다.
또한, 다른 차분 모듈로·타임·베이스의 표현으로서, 단순히 비트 길이만의 비교를 행하는 방법도 고려할 수 있다. 예를 들면, 상기의 예로 직전에 부호화한 VOP의 모듈로·타임·베이스의 비트 길이는 5이고, 부호화 대상 VOP의 모듈로·타임·베이스의 비트 길이는 6이므로, 그 차분으로서 1의 값이 얻어진다. 이것을 표 2에 나타내는 변환표의 「차분 비트열에 포함되는 "1" 비트의 수」 대신에 대용하여 차분 모듈로·타임·베이스를 표현할 수도 있다.
VOP 헤더 다중화부(503)에 있는 차분 모듈로·타임·베이스 다중화부(25)는 입력되는 비트 스트림에 차분 모듈로·타임·베이스(26)의 다중화를 행하여, 다중화후의 비트 스트림을 VOP 타임 인클리먼트 다중화부(10)에 출력한다.
VOP 헤더 다중화부(503)에 있는 VOP 타임 인클리먼트 다중화부(10)는 차분 모듈로·타임·베이스 다중화부(25)로부터 출력된 비트 스트림에 VOP 타임 인클리먼트의 다중화를 행하고, 다중화후의 비트 스트림을 영상 정보 헤더 다중화부(1)로 출력한다.
이상과 같이, 이 실시예 11에 의하면 모듈로·타임·베이스를 차분 모듈로·타임·베이스로 표현하고, MPEG-4로 현재 규정되는 모듈로·타임·베이스의 표현그대로 부호화하는 대신에 차분 모듈로·타임·베이스를 다중화하도록 구성하였기 때문에, MPEG-4에 있어서의 표현 방법보다도 정보 발생량을 억제하는 것이 가능하게 되는 효과가 있다.
이상과 같이, 본 실시예 11에 있어서는 오브젝트 단위로 화상을 부호화하는 화상 부호화 장치에 있어서, 오브젝트마다에 각 시각의 화상의 표시 시각을 규정하는 정보로서, 기준 시각으로부터 표시 시각까지의 시간을 규정하는 제 1 시간 정보와, 상기 제 1 시간 정보로 정해지는 시각으로부터 더욱 세밀한 정밀도로 표시 시각을 규정하는 제 2 시간 정보와, 각 시각에 대응하는 화상을 부호화하는 시간 정보 부호화 수단을 구비하여, 상기 시간 정보 부호화 수단은 직전의 시각의 화상에 있어서 부호화된 제 1 시간 정보를 유지하는 제 1 시간 정보 유지 수단과, 피부호화 화상의 제 1 시간 정보와 상기 제 1 시간 정보 유지 수단으로부터 얻어지기 직전의 시각의 화상의 제 1 시간 정보와의 차분 비트열을 구하고, 상기 차분 비트열을 피부호화 화상의 제 1 시간 정보로서 부호화한 것의 일실시예를 개시하였다.
(실시예 12)
본 실시예 12에서는 실시예 11에서 기술한 차분 모듈로·타임·베이스 다중화부(25)에 의해 부호화 비트 스트림에 다중화된 차분 모듈로·타임·베이스의 정보로부터 상기 VOP의 모듈로·타임·베이스의 값을 복원하여, 이것에 근거하여 각 VOP의 표시 시각을 규정하는 VOP 디코더에 대해 설명한다.
본 실시예 12에서는 지금까지 기술한 VOP 디코더의 헤더 해석부(151)의 구성 동작만을 변경한 것이므로, 이 부재에 대해서만 설명한다.
도 31은 본 발명의 실시예 12에 있어서의 헤더 해석부(151)의 내부 구성을 도시한 것이다. 504는 VOP 헤더 해석부, 71은 차분 모듈로·타임·베이스 해석부, 72는 모듈로·타임·베이스작성부, 73은 VOP 타임 인클리먼트 해석부, 74는 모듈로·타임·베이스 유지부, 75는 차분 모듈로·타임·베이스이다.
VOP 헤더 해석부(504)에 있는 차분 모듈로·타임·베이스 해석부(71)는 스타트 코드 해석부(51)로부터 출력된 비트 스트림으로부터 차분 모듈로·타임·베이스(75)의 해석을 행하여, 해석된 차분 모듈로·타임·베이스(75)를 모듈로·타임·베이스 작성부(72)로, 해석 후의 비트 스트림을 VOP 타임 인클리먼트 해석부(73)로 출력한다.
VOP 헤더 해석부(504)에 있는 모듈로·타임·베이스 작성부(72)에서는 우선 해석된 차분 모듈로·타임·베이스(75)로부터, 표 2에 나타내는 변환표에 근거하여, 직전에 해석한 VOP의 모듈로·타임·베이스와 해석 대상 VOP의 모듈로·타임·베이스의·차분 비트열에 포함되는 "1" 비트의 수를 구하고, 구한 "1"비트의 수와 모듈로·타임·베이스 유지부(74)로부터 얻어지기 직전에 해석한 VOP의 모듈로·타임·베이스에 근거하여 모듈로·타임·베이스를 작성하여 작성한 모듈로·타임·베이스를 모듈로·타임·베이스 유지부(74)로 출력한다.
모듈로·타임·베이스의 작성에 관한 구체적인 예를 예시한다. 해석된 차분 모듈로·타임·베이스는 "10", 직전에 해석되어 모듈로·타임·베이스 유지부에 유지되어 있는 모듈로·타임·베이스를 "11110"로 가정한다. 표 2에 나타내는 변환표를 사용하여 직전에 해석한 VOP의 모듈로·타임·베이스와 해석 대상 VOP의 모듈로·타임·베이스의 차분 비트열에 포함되는 "1" 비트의 수를 구한 경우, 차분 모듈로·타임·베이스 "10"에 대응하는 차분 비트열에 포함되는 "1" 비트의 수는 1개인 것을 알 수 있다. 다음에, 직전에 해석한 VOP의 모듈로·타임·베이스 "11110"의 최상위 비트에 1개의 "1"비트를 대응 부가하여, 모듈로·타임·베이스 "11111O"을 구한다. 제 2 표의 변환표는 일례로서, 다른 변환표를 정의하여 사용하여도 된다. 얻어진 모듈로·타임·베이스의 복원치는 VOP 타임 인클리먼트 정보와 함께 상기 VOP의 표시 시각을 규정할 목적으로 사용된다.
또한, 「직전에 해석한 VOP의 모듈로·타임·베이스와 해석 대상 VOP의 모듈로·타임·베이스의 차분 비트열에 포함되는 "1" 비트의 수」를, 실시예 8에서 기술한 바와 같이 「직전에 해석한 VOP의 모듈로·타임·베이스의 비트 길이와 해석 대상 VOP의 모듈로·타임·베이스 비트 길이의 차분치」로서 부호화되어 있는 비트 스트림일지라도, 제 2 표와 같은 변환표의 해석을 변경함으로써 대응가능하다.
VOP 헤더 해석부(504)에 있는 모듈로·타임·베이스 유지부(74)는 직전에 해석한 VOP의 모듈로·타임·베이스를 유지하고 있고, 직전에 해석한 VOP의 모듈로·타임·베이스를 출력 후, 해석 대상 VOP의 모듈로·타임·베이스가 입력된다.
VOP 헤더 해석부(504)에 있는 VOP 타임 인클리먼트 해석부(73)는 차분 모듈로·타임·베이스 해석부(71)로부터 출력된 비트 스트림으로부터 VOP 타임 인클리먼트의 해석을 행하고, 해석 후의 비트 스트림을 영상 정보 헤더 해석부(57)에 출력한다.
이상과 같이, 이 실시예 12에 의하면, 적은 정보량으로 표현된 차분 모듈로·타임·베이스를 사용하여 모듈로·타임·베이스를 산출할 수 있도록 구성하였기 때문에, MPEG-4에 규정되는 부호화 표현보다도 정보 발생량을 억제한 실시예 8에 기재하는 비트 스트림을 해석하는 것이 가능하게 되는 효과가 있다.
이상과 같이, 본 실시예 12에 있어서는 오브젝트 단위로 화상을 부호화 비트 스트림을 복호화하는 화상 복호화 장치에 있어서, 화상 계열 중의 각 시각의 화상의 표시 시각을 규정하는 정보로서, 기준 시각으로부터 표시 시각까지의 시간을 규정하는 제 1 시간 정보와, 상기 제 1 시간 정보로 정해지는 시각으로부터 더욱 세밀한 정밀도로 표시 시각을 규정하는 제 2 시간 정보를, 각 시각에 대응하는 화상을 복호하는 시간 정보 복호 수단과, 입력 부호화 화상 신호를 오브젝트 단위로 복호화하여, 이들의 복호화 화상 신호를 합성하는 복호 합성 수단을 구비하며, 상기 시간 정보 복호 수단은 직전에 복호된 화상의 제 1 시간 정보를 유지하여, 피복호 화상의 제 1 시간 정보로서 복호된 비트열에, 상기 제 1 시간 정보 유지 수단으로부터 얻어지기 직전에 복호된 화상의 제 1 시간 정보를 가산하여 피복호 화상의 제 1 시간 정보를 복호하고, 상기 복호 합성 수단은 상기 시간 정보 복호 수단으로 복호화된 제 1 시간 정보 및 제 2 시간 정보에 근거하여, 복호화 화상 신호를 합성한 것의 일실시예를 개시하였다.
(실시예 13)
상술의 실시예 1 내지 12에 있어서, 화상 부호화 장치는 표시 속도 정보를 화상 부호화 신호로 다중화하는 점 및 화상 부호화 장치는 절대 시각을 표현하는 정보를 화상 부호화 신호로 다중화하는 점을 개시하였지만, 1대의 화상 부호화 장치가 표시 속도 정보및 절대 시각을 표현하는 정보를 화상 부호화 신호로 다중화하여도 된다.
또, 구성 및 동작에 대해서는 상술의 실시예 1 내지 12에서 기술한 각각의 화상 부호화 장치를 병렬 또는 직렬로 배치하면 된다.
한편, 화상 복호화 장치측에 있어서도 동일하다. 간단히 설명하면, 상술의 실시예 1 내지 12에 있어서, 화상 복호화 장치는 표시 속도 정보를 복호화하여, 이 복호화된 표시 속도 정보에 근거하여, 오브젝트 단위로 처리된 화상의 재생 처리를 행하는 점 및 화상 복호화 장치는 절대 시각을 표현하는 정보를 복호화하고, 이 복호화된 절대 시각을 표현하는 정보에 근거하여 오브젝트 단위로 처리된 화상의 재생 처리를 행하는 점을 개시하였지만, 1대의 화상 복호화 장치가 표시 속도 정보 및 절대 시각을 표현하는 정보에 근거하여, 오브젝트 단위로 처리된 화상의 재생 처리를 행하여도 된다.
또, 구성 및 동작에 대해서는 상술의 실시예 1 내지 12에서 기술한 각각의 화상 복호화 장치의 표시 속도 정보 복호부와 절대 시각을 표현하는 정보 복호부를 병렬 또는 직렬로 배치하고, 각각의 복호부로 복호화된 정보에 근거하여, 오브젝트 단위로 처리된 화상의 재생 처리를 행하여도 된다.
이상의 구성에 의해, 화상의 복원 처리 및 합성 처리를, 더한층 원활하고 또한 정밀도 양호하게 행할 수 있다.
(실시예 14)
상술의 실시예 1 내지 13에 있어서, 화상 부호화 장치는 표시 속도 정보를화상 부호화 신호로 다중화하는 점 및 화상 부호화 장치는 제 1 시간 정보와 제 2 시간 정보와 화상을 부호화 및 다중화하는 점을 개시하였지만, 1대의 화상 부호화 장치가 표시 속도 정보 및 제 1 시간 정보와 제 2 시간 정보와 화상을 부호화 다중하여도 된다.
또, 구성 및 동작에 대해서는 상술의 실시예 1 내지 13에서 기술한 각각의 화상 부호화 장치를 병렬 또는 직렬로 배치하면 된다.
한편, 화상 복호화 장치측에 있어서도 마찬가지이다. 간단히 설명하면, 상술의 실시예 1 내지 13에서 화상 복호화 장치는 표시 속도 정보를 복호화하여, 이 복호화된 표시 속도 정보에 근거하여, 오브젝트 단위로 처리된 화상의 재생 처리를 행하는 점, 및 화상 복호화 장치는 제 1 시간 정보와 제 2 시간 정보와 화상을 복호화하여, 복호화된 제 1 시간 정보, 제 2 시간 정보, 화상에 근거하여, 화상의 재생 처리를 행하는 점에 대해서 개시하였지만, 1대의 화상 복호화 장치가 표시 속도 정보 및 복호화된 제 1 시간 정보, 제 2 시간 정보에 근거하여 화상의 재생 처리를 행하여도 된다.
또, 구성 및 동작에 대해서는 상술의 실시예 1 내지 13에서 기술된 각각의 화상 복호화 장치의 표시 속도 정보 복호부와 시간 정보 복호 수단을 병렬 또는 직렬로 배치하여, 각각의 복호부(수단)에서 복호화된 정보에 근거하여, 오브젝트 단위로 처리된 화상의 재생 처리를 행하여도 된다.
이상의 구성에 의해, 적은 부호화 전송량으로, 화상의 복원 처리를 한층 더 원활하고 또한 정밀도 양호하게 행할 수 있다.
(실시예 15)
상술의 실시예 1 내지 14에 있어서, 화상 부호화 장치는 절대 시각을 표현하는 정보, 화상 부호화 신호로 다중화하는 점, 및 화상 부호화 장치는 제 1 시간 정보와 제 2 시간 정보와 화상을 부호화 및 다중화하는 점을 개시하였지만, 1대의 화상 부호화 장치가 절대 시각을 표현하는 정보, 및 제 1 시간 정보와 제 2 시간 정보와 화상을 부호화 다중하여도 된다.
또, 구성 및 동작에 대해서는 상술의 실시예 1 내지 14에서 기술한 각각의 화상 부호화 장치를 병렬 또는 직렬로 배치하면 된다.
한편, 화상 복호화 장치측에 있어서도 마찬가지이다. 간단히 설명하면, 상술의 실시예 1 내지 14에서 화상 복호화 장치는 절대 시각을 표현하는 정보를 복호화하여, 이 복호화된 절대 시각을 표현하는 정보에 근거하여, 오브젝트 단위로 처리된 화상의 재생 처리를 행하는 점, 및 화상 복호화 장치는 제 1 시간 정보와 제 2 시간 정보와 화상을 복호화하여, 복호화된 제 1 시간 정보, 제 2 시간 정보, 화상에 근거하여 화상의 재생 처리를 행하는 점에 대해 개시하였지만, 1대의 화상 복호화 장치가 절대 시각을 표현하는 정보 및 복호화된 제 1 시간 정보, 제 2 시간 정보에 근거하여 화상의 재생 처리를 행하여도 된다.
또, 구성 및 동작에 대해서는 상술의 실시예 1 내지 14에서 기술한 각각의 화상 복호화 장치의 절대 시각을 표현하는 정보 복호부와 시간 정보 복호 수단을 병렬 또는 직렬로 배치하여, 각각의 복호부(수단)에서 복호화된 정보에 근거하여, 오브젝트 단위로 처리된 화상의 재생 처리를 행하여도 된다.
이상의 구성에 의해, 적은 부호화 전송량으로, 화상의 합성 처리를 원활하고 또한 정밀도 양호하게 행할 수 있다.
이상과 같이, 본 발명에 따른 화상 부호화 장치 및 화상 복호화 장치는 화상 부호화 장치로 다중화된 표시 속도 정보를 화상 복호화 장치로 해석하여 이 해석한 표시 속도 정보에 근거하여, 복호화 처리를 행함으로써 간단한 구성에 의해 화상 재생을 원활하게 행할 수 있다. 또한, 화상 부호화 장치로 다중화된 절대 시각을 표현하는 정보를 화상 복호화 장치로 해석하고, 이 해석한 절대 시각을 표현하는 정보에 근거하여, 복호화 처리를 행함으로써 화상의 재생 처리를 간단하고 또한 정밀도 양호하게 행할 수 있다. 또한, 화상 부호화 장치로 부호화된 제 1 시간 정보와 제 2 시간 정보를 화상 복호화 장치로 복호화하여, 이들 복호화한 제 1 시간 정보 및 제 2 시간 정보에 근거하여, 입력화상 신호를 복호화함으로써, 적은 전송정보로 화상 신호의 수신이 가능해진다.

Claims (19)

  1. 오브젝트 단위로 화상을 부호화하는 화상 부호화 장치에 있어서,
    단위 시간당의 오브젝트의 표시수를 나타내는 소정의 표시 속도 정보에 근거하여 화상을 부호화하는 부호화 수단과,
    상기 부호화 수단에서 부호화된 화상 부호화 신호에 상기 소정의 표시 속도 정보를 복수의 VOP 데이터로 구성되는 레이어의 헤더 정보 부분에 다중화하여 출력하는 다중화 수단을 구비한 것을 특징으로 하는 화상 부호화 장치.
  2. 제 1 항에 있어서,
    상기 다중화 수단은 표시 속도 정보를 오브젝트마다에 다중화하는 것을 특징으로 하는 화상 부호화 장치.
  3. 제 1 항에 있어서,
    상기 다중화 수단은 상기 표시 속도 정보로서, 오브젝트의 표시 속도가 고정 속도인지 가변 속도인지를 나타내는 정보를 다중하는 것을 특징으로 하는 화상 부호화 장치.
  4. 제 1 항에 있어서,
    상기 다중화 수단은 상기 표시 속도 정보로서, 오브젝트의 표시 속도를 나타내는 값을 다중하는 것을 특징으로 하는 화상 부호화 장치.
  5. 제 4 항에 있어서,
    상기 표시 속도 정보는 고유의 고정 표시 속도를 나타내는 값과 임의의 고정 표시 속도를 나타내는 값을 포함하는 것을 특징으로 하는 화상 부호화 장치.
  6. 오브젝트 단위로 화상을 부호화한 부호화 비트 스트림을 복호화하는 화상 복호화 장치에 있어서,
    상기 부호화 비트 스트림은 복수의 VOP 데이터로 구성되는 레이어의 헤더 정보 부분에, 단위 시간당의 오브젝트의 표시수를 나타내는 표시 속도 정보를 포함하며,
    상기 부호화 비트 스트림의 헤더 부분에 포함되는 상기 표시 속도 정보를 복호하는 표시 속도 정보 복호 수단과,
    상기 표시 속도 정보 복호화 수단에 의해 복호된 표시 속도 정보에 근거하여 오브젝트 단위로 처리된 화상의 재생 처리를 제어하는 제어 수단을 구비하는 것을 특징으로 하는 화상 복호화 장치.
  7. 제 6 항에 있어서,
    상기 표시 속도 정보 복호 수단은 표시 속도 정보를 오브젝트마다에 복호하는 것을 특징으로 하는 화상 복호화 장치.
  8. 제 6 항에 있어서,
    상기 표시 속도 정보 복호 수단은 부호화 비트 스트림으로부터 표시 속도 정보를(오브젝트 마다에) 복호하고, 제어 수단은 이 복호된 표시 속도 정보가 나타내는 오브젝트의 표시 속도가 고정 속도인지 가변 속도인지에 따라 화상의 재생 처리를 제어하는 것을 특징으로 하는 화상 복호화 장치.
  9. 제 8 항에 있어서,
    표시 속도 정보 복호 수단은 부호화 비트 스트림으로부터 표시 속도 정보를 오브젝트마다에 복호하고, 상기 제어 수단은 상기 표시 속도 정보 복호 수단에 의해 복호된 표시 속도 정보가 고정 속도를 나타내는 경우는 상기 복호된 표시 속도 정보에 있어서의 오브젝트의 표시 속도를 나타내는 값에 근거하여, 가변 속도를 나타내는 경우는 각 시각의 화상마다에 다중화되는 표시 시각 정보에 근거하여 각 시각의 화상의 표시 시각을 특정하여 재생을 제어하는 것을 특징으로 하는 화상 복호화 장치.
  10. 제 6 항에 있어서,
    상기 표시 속도 정보 복호 수단은 부호화 비트 스트림으로부터 표시 속도 정보를 오브젝트마다에 복호하고, 상기 제어 수단은 상기 표시 속도 정보 복호 수단에 의해 복호된 표시 속도 정보가 고정 속도를 나타내며 또한 상기 고정 속도가 상기 표시 속도 정보로 표현되는 값인 경우는 표시 속도 정보에 근거하여, 표시 속도 정보가 고정 속도를 나타내며 또한 상기 고정 속도의 값이 특정한 값으로서 표현되어 있지 않은 경우는 각 시각의 화상마다에 다중화되는 표시 시각 정보에 근거하여, 표시 속도 정보가 가변 속도를 나타내는 경우는 각 시각의 화상마다에 다중화되는 표시 시각 정보에 근거하여 각 시각의 화상의 표시 시각을 특정하여 재생을 제어하는 것을 특징으로 하는 화상 복호화 장치.
  11. 제 6 항 또는 제 7 항에 있어서,
    상기 제어 수단은 상기 표시 속도 정보 복호 수단에 의해 복호된 오브젝트의 표시 속도 정보와, 상기 복호화 장치에 있어서 미리 설정된 오브젝트의 표시 속도 정보에 근거하여, 상기 오브젝트에 있어서 복호 대상이 되는 시각을 특정하는 복호 시각 특정 수단과, 상기 복호 시각 특정 수단에 의해 얻어지는 복호 대상 시각에 근거하여 오브젝트의 복호를 행하는 복호화 수단을 구비하는 것을 특징으로 하는 화상 복호화 장치.
  12. 오브젝트 단위로 화상을 부호화하는 화상 부호화 장치에 있어서,
    오브젝트 마다에 상기 오브젝트에 대한 절대 시각을 표현하는 정보를 상기 부호화된 화상 신호로 다중화하는 절대 시각 다중화 수단을 구비한 것을 특징으로 하는 화상 부호화 장치.
  13. 오브젝트 단위로 화상을 부호화한 부호화 비트 스트림을 복호화하는 화상 복호화 장치에 있어서,
    오브젝트 마다에 상기 오브젝트에 대한 절대 시각을 표현하는 정보를 해석하는 절대 시각 해석 수단과,
    상기 절대 시각 해석 수단에 의해 해석된 절대 시각을 표현하는 정보에 근거하여, 오브젝트 단위로 처리된 화상의 재생 처리를 행하는 제어 수단을 구비한 것을 특징으로 하는 화상 복호화 장치.
  14. 오브젝트 단위로 화상을 부호화하는 화상 부호화 장치에 있어서,
    오브젝트마다에 각 시각의 화상의 표시 시각을 규정하는 정보로서, 기준 시각으로부터 표시 시각까지의 시간을 규정하는 제 1 시간 정보와, 상기 제 1 시간 정보로 정해지는 시각으로부터 더욱 세밀한 정밀도로 표시 시각을 규정하는 제 2 시간 정보와, 각 시각에 대응하는 화상을 부호화하는 시간 정보 부호화 수단을 구비하며,
    상기 시간 정보 부호화 수단은 상기 제 1 시간 정보를 비트 길이로 환산함으로써 표현하고, 상기 제 1 시간 정보의 비트 길이가 소정의 설정값보다도 긴 경우, 상기 설정값보다 짧아지기까지 상기 설정값 만큼의 비트 시프트를 반복함과 동시에 비트 시프트 실시 회수를 카운트하여, 상기 비트 시프트 실시 회수와 반복 비트 시프트의 결과로부터 얻어지는 비트열을 부호화하는 것을 특징으로 하는 화상 부호화 장치.
  15. 오브젝트 단위로 화상을 부호화하는 화상 부호화 장치에 있어서,
    오브젝트마다에 각 시각의 화상의 표시 시각을 규정하는 정보로서, 기준 시각으로부터 표시 시각까지의 시간을 규정하는 제 1 시간 정보와 상기 제 1 시간 정보로 정해지는 시각으로부터 더욱 세밀한 정밀도로 표시 시각을 규정하는 제 2 시간 정보와, 각 시각에 대응하는 화상을 부호화하는 시간 정보 부호화 수단을 구비하며,
    상기 시간 정보 부호화 수단은 직전의 시각의 화상에 있어서 부호화된 제 1 시간 정보를 유지하는 제 1 시간 정보 유지 수단과, 피부호화 화상의 제 1 시간 정보와 상기 제 1 시간 정보 유지 수단으로부터 얻어지기 직전의 시각의 화상의 제 1 시간 정보의 차분 비트열을 구하고, 상기 차분 비트열을 피부호화 화상의 제 1 시간 정보로서 부호화하는 것을 특징으로 하는 화상 부호화 장치.
  16. 오브젝트 단위로 화상을 부호화한 비트 스트림을 복호화하는 화상 복호화 장치에 있어서,
    오브젝트 마다의 각 시각의 화상의 표시 시각을 규정하는 정보로서, 기준 시각으로부터 표시 시각까지의 시간을 규정하는 제 1 시간 정보와, 상기 제 1 시간 정보로 정해지는 시각으로부터 더욱 세밀한 정밀도로 표시 시각을 규정하는 제 2 시간 정보를 각 시각에 대응하는 화상을 복호하는 시간 정보 복호화 수단과, 입력 부호화 화상 신호를 오브젝트 단위로 복호화하여, 이들의 복호화 화상 신호를 합성하는 복호 합성 수단을 구비하며,
    상기 시간 정보 복호 수단은 상기 제 1 시간 정보의 부호화 데이터로서, 비트 시프트 실시 회수와 반복 비트 시프트의 결과로부터 얻어진 비트열을 복호하여, 상기 비트열에 소정의 설정값의 길이의 부호를 비트 시프트 실시 회수분 만큼 부가함으로써 상기 제 1 시간 정보를 복호하고,
    상기 복호 합성 수단은 상기 시간 정보 복호 수단으로 복호화된 제 1 시간 정보 및 제 2 시간 정보에 근거하여, 복호화 화상 신호를 합성하는 것을 특징으로 하는 화상 복호화 장치.
  17. 오브젝트 단위로 화상을 부호화한 비트 스트림을 복호화하는 화상 복호화 장치에 있어서,
    화상 계열 중의 각 시각의 화상의 표시 시각을 규정하는 정보로서, 기준 시각으로부터 표시 시각까지의 시간을 규정하는 제 1 시간 정보와, 상기 제 1 시간 정보로 정해지는 시각으로부터 더욱 세밀한 정밀도로 표시 시각을 규정하는 제 2 시간 정보를, 각 시각에 대응하는 화상을 복호하는 시간 정보 복호 수단과,
    입력 부호화 화상 신호를 오브젝트 단위로 복호화하여, 이들의 복호화 화상 신호를 합성하는 복호 합성 수단을 구비하며,
    상기 시간 정보 복호 수단은 직전에 복호된 화상의 제 1 시간 정보를 유지하고, 피복호 화상의 제 1 시간 정보로서 복호된 비트열에, 상기 제 1 시간 정보 유지 수단으로부터 얻어지기 직전에 복호된 화상의 제 1 시간 정보를 가산하여 피복호 화상의 제 1 시간 정보를 복호하며,
    상기 복호 합성 수단은 상기 시간 정보 복호 수단으로 복호화된 제 1 시간 정보 및 제 2 시간 정보에 근거하여, 복호화 화상 신호를 합성하는 것을 특징으로 하는 화상 복호화 장치.
  18. 단위 시간당의 오브젝트의 표시수를 나타내는 소정의 표시 속도 정보에 근거하여 오브젝트 단위로 화상을 부호화하여 화상 부호화 신호를 생성하고, 이 화상 부호화 신호와 상기 표시 속도 정보를 복수의 VOP 데이터로 구성되는 레이어의 헤더 정보 부분에 다중화하여 출력하는 것을 특징으로 하는 화상 부호화 방법.
  19. 오브젝트 단위로 화상을 부호화한 부호화 비트 스트림으로서, 복수의 VOP 데이터로 구성되는 레이어의 헤더 정보 부분에, 단위 시간당의 오브젝트의 표시수를 나타내는 표시 속도 정보를 포함하고 있는 부호화 비트 스트림으로부터 표시 속도 정보를 복호하고, 이 표시 속도 정보에 근거하여 오브젝트 단위로 부호화된 화상의 재생 처리를 제어하여 화상을 복호화하는 것을 특징으로 하는 화상 복호화 방법.
KR10-2000-7004266A 1997-10-20 1998-03-06 화상 부호화 장치 및 화상 복호화 장치 KR100413935B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP97/03785 1997-10-20
PCT/JP1997/003785 WO1999021367A1 (fr) 1997-10-20 1997-10-20 Codeur et decodeur d'image

Publications (2)

Publication Number Publication Date
KR20010031279A KR20010031279A (ko) 2001-04-16
KR100413935B1 true KR100413935B1 (ko) 2004-01-07

Family

ID=14181344

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-7004266A KR100413935B1 (ko) 1997-10-20 1998-03-06 화상 부호화 장치 및 화상 복호화 장치

Country Status (9)

Country Link
US (5) US6983014B1 (ko)
EP (11) EP2278811B1 (ko)
JP (7) JP3803349B2 (ko)
KR (1) KR100413935B1 (ko)
CN (5) CN100377596C (ko)
DE (1) DE69842007D1 (ko)
HK (2) HK1081773A1 (ko)
TW (1) TW376661B (ko)
WO (2) WO1999021367A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100417932B1 (ko) * 1997-04-01 2004-02-11 소니 가부시끼 가이샤 영상 인코더, 영상 부호화 방법, 영상 디코더 및 영상 복호화 방법
WO1999021367A1 (fr) * 1997-10-20 1999-04-29 Mitsubishi Denki Kabushiki Kaisha Codeur et decodeur d'image
JP4208398B2 (ja) * 2000-10-05 2009-01-14 株式会社東芝 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置
US20040179610A1 (en) * 2003-02-21 2004-09-16 Jiuhuai Lu Apparatus and method employing a configurable reference and loop filter for efficient video coding
US7283591B2 (en) * 2003-03-28 2007-10-16 Tarari, Inc. Parallelized dynamic Huffman decoder
US7660352B2 (en) * 2003-04-04 2010-02-09 Sony Corporation Apparatus and method of parallel processing an MPEG-4 data stream
US20040223547A1 (en) * 2003-05-07 2004-11-11 Sharp Laboratories Of America, Inc. System and method for MPEG-4 random access broadcast capability
EP1998510B1 (en) 2006-03-17 2011-10-26 NEC Corporation Encoded stream sending device
US7839835B2 (en) 2006-08-22 2010-11-23 Nec Laboratories America, Inc. Quantized precoding over a set of parallel channels
CN102148961B (zh) * 2010-08-30 2013-01-09 华为软件技术有限公司 监控处理方法、装置和网络视频监控***
US10699721B2 (en) * 2017-04-25 2020-06-30 Dts, Inc. Encoding and decoding of digital audio signals using difference data
CN113902785B (zh) * 2021-09-15 2022-04-15 珠海视熙科技有限公司 一种深度图像的处理方法、***、装置及计算机存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2776401B2 (ja) 1993-08-13 1998-07-16 日本電気株式会社 画像・音声の圧縮装置及び再生装置
US5515377A (en) * 1993-09-02 1996-05-07 At&T Corp. Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks
US5539663A (en) * 1993-11-24 1996-07-23 Intel Corporation Process, apparatus and system for encoding and decoding video signals using temporal filtering
KR100205503B1 (ko) * 1993-12-29 1999-07-01 니시무로 타이죠 비디오데이타 부호화장치 및 복호장치
JP3274563B2 (ja) * 1994-03-25 2002-04-15 日本電気株式会社 画像再生装置
JPH08294127A (ja) * 1995-04-24 1996-11-05 Matsushita Electric Ind Co Ltd 画像圧縮装置
JPH09116897A (ja) * 1995-10-16 1997-05-02 Mitsubishi Electric Corp 画像伝送装置
US5899575A (en) 1996-09-04 1999-05-04 Hitachi, Ltd. Video capture device, video recording/playing apparatus having the video capture device attached thereto, and video input device
JP3261993B2 (ja) 1995-12-15 2002-03-04 株式会社日立製作所 動画像記録方法及び動画像記憶再生方法
US6031575A (en) * 1996-03-22 2000-02-29 Sony Corporation Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
USRE39115E1 (en) * 1996-07-05 2006-06-06 Matsushita Electric Industrial Co., Ltd. Method for display time stamping and synchronization of multiple video object planes
US6266370B1 (en) * 1996-09-03 2001-07-24 Nippon Telegraph And Telephone Corporation Brightness-variation compensation method and coding/decoding apparatus for moving pictures
KR100297830B1 (ko) * 1996-11-09 2001-08-07 윤종용 영상단위별 비트발생량 조절 장치 및 방법
US5748789A (en) * 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
US6028539A (en) * 1997-02-07 2000-02-22 Matsushita Electric Industrial Co., Ltd. Buffer control method, and decoding apparatus performing buffer control
US5790196A (en) * 1997-02-14 1998-08-04 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US5969764A (en) * 1997-02-14 1999-10-19 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US6011868A (en) * 1997-04-04 2000-01-04 Hewlett-Packard Company Bitstream quality analyzer
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
WO1999021367A1 (fr) * 1997-10-20 1999-04-29 Mitsubishi Denki Kabushiki Kaisha Codeur et decodeur d'image

Also Published As

Publication number Publication date
EP1909502A2 (en) 2008-04-09
WO1999021367A1 (fr) 1999-04-29
CN100350803C (zh) 2007-11-21
EP2278809A3 (en) 2011-05-25
JP2009261026A (ja) 2009-11-05
EP1585342B1 (en) 2010-11-17
EP2278811B1 (en) 2015-07-29
US6983014B1 (en) 2006-01-03
HK1125523A1 (en) 2009-08-07
JP2011061852A (ja) 2011-03-24
CN101304523B (zh) 2011-03-09
JP2004166311A (ja) 2004-06-10
CN1652607A (zh) 2005-08-10
US7356078B2 (en) 2008-04-08
EP1585342A2 (en) 2005-10-12
EP1032220A4 (en) 2004-04-07
EP1909502B9 (en) 2016-05-04
JP4708263B2 (ja) 2011-06-22
TW376661B (en) 1999-12-11
EP1585341A2 (en) 2005-10-12
CN101304523A (zh) 2008-11-12
JP3803348B2 (ja) 2006-08-02
KR20010031279A (ko) 2001-04-16
EP2278810A3 (en) 2011-05-25
EP1909503A3 (en) 2008-08-13
EP1585341A3 (en) 2006-05-24
EP2278809B1 (en) 2015-07-29
EP1909503A2 (en) 2008-04-09
US20080049833A1 (en) 2008-02-28
JP3803349B2 (ja) 2006-08-02
EP2242277A1 (en) 2010-10-20
US8737463B2 (en) 2014-05-27
CN100388794C (zh) 2008-05-14
JP2006314115A (ja) 2006-11-16
US8824561B2 (en) 2014-09-02
EP1909502B1 (en) 2015-07-29
EP2278812A3 (en) 2011-05-25
EP2278809A2 (en) 2011-01-26
CN1282490A (zh) 2001-01-31
EP1585342A3 (en) 2006-05-24
US20050232365A1 (en) 2005-10-20
US7876818B2 (en) 2011-01-25
EP2278811A3 (en) 2011-05-25
JP2004194352A (ja) 2004-07-08
DE69842007D1 (de) 2010-12-30
CN101267570A (zh) 2008-09-17
JP4588795B2 (ja) 2010-12-01
JP2004159371A (ja) 2004-06-03
HK1081773A1 (en) 2006-05-19
JP5409762B2 (ja) 2014-02-05
EP1909502A3 (en) 2008-08-13
US20050232364A1 (en) 2005-10-20
US20080044092A1 (en) 2008-02-21
EP2278810A2 (en) 2011-01-26
EP1909501A3 (en) 2008-08-13
WO1999021370A1 (en) 1999-04-29
EP1909501A2 (en) 2008-04-09
EP2278811A2 (en) 2011-01-26
EP1032220A1 (en) 2000-08-30
EP2278812A2 (en) 2011-01-26
CN1642283A (zh) 2005-07-20
JP2012085348A (ja) 2012-04-26
CN100377596C (zh) 2008-03-26

Similar Documents

Publication Publication Date Title
JP4588795B2 (ja) 画像符号化装置および画像符号化方法
US6989868B2 (en) Method of converting format of encoded video data and apparatus therefor
CN1150509C (zh) 字幕彩色划变与定位方法及装置
KR20000068737A (ko) 영상 신호를 멀티플렉싱하는 방법 및 시스템, 영상 신호를 디멀티플렉싱하는 방법 및 시스템 및, 전송 매체
KR20000022500A (ko) 복수의 화상 정보의 부호화 방법, 부호화 장치, 복호화 및 합성방법, 복호화 및 합성 장치, 및 상기 방법을 기록한 기록 매체
JP2002142227A (ja) 映像信号の階層型符号化装置および階層型復号化装置
JPH1132337A (ja) 画像伝送用データ構造，符号化方法及び復号化方法
Bojkovic et al. Audiovisual integration in multimedia communications based on MPEG-4 facial animation
JP2001119302A (ja) 符号化装置、復号装置、情報処理システム、情報処理方法、及び記憶媒体
JP2006512832A (ja) 映像符号化及び復号化方法
JPH10243403A (ja) 動画像符号化装置及び動画像復号化装置
MXPA00003868A (en) Picture coding device and picture decoding device
JP2000020731A (ja) 線動画像符号化・復号方法、符号化・復号装置および線動画像符号化・復号プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121130

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20131210

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20141205

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 15

EXPY Expiration of term