KR20040106403A - 부호화 장치 및 방법, 복호 장치 및 방법, 편집 장치 및방법, 기록 매체, 및 프로그램 - Google Patents
부호화 장치 및 방법, 복호 장치 및 방법, 편집 장치 및방법, 기록 매체, 및 프로그램 Download PDFInfo
- Publication number
- KR20040106403A KR20040106403A KR10-2004-7017295A KR20047017295A KR20040106403A KR 20040106403 A KR20040106403 A KR 20040106403A KR 20047017295 A KR20047017295 A KR 20047017295A KR 20040106403 A KR20040106403 A KR 20040106403A
- Authority
- KR
- South Korea
- Prior art keywords
- bitstream
- buffer
- header
- decoding
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000000872 buffer Substances 0.000 claims abstract description 180
- 238000012545 processing Methods 0.000 claims description 38
- 230000002441 reversible effect Effects 0.000 description 17
- 238000013139 quantization Methods 0.000 description 16
- 230000006835 compression Effects 0.000 description 15
- 238000007906 compression Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000009825 accumulation Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012464 large buffer Substances 0.000 description 1
- 239000012536 storage buffer Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2401—Monitoring of the client buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
본 발명은 버퍼의 실패가 발생하지 않도록 부호화 및 복호를 행할 수 있도록 한 부호화 장치 및 방법, 복호 장치 및 방법, 편집 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이다. 비트스트림 중의 액세스 가능한 포인트에 포함되는 랜덤 액세스 포인트 헤더 내에, 최소 비트 레이트, 최소 버퍼 사이즈, 최소 초기 지연 시간 등의 정보를 포함하게 한다. 비트스트림 해석부(72)는 입력된 비트스트림을 해석하고, 전술한 바와 같은 정보를 설정하여 버퍼 정보 부가부(73)에 출력한다. 버퍼 정보 부가부(73)는 입력된 비트스트림에, 입력한 정보를 부가하여 출력한다. 본 발명은 비트스트림을 취급하는 부호화 장치나 복호 장치에 적용할 수 있다.
Description
최근, 화상 정보를 디지털로 처리하고, 이 때 효율적인 정보의 전송, 축적을 목적으로 하며, 화상 정보 특유의 용장성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG(Moving Picture Expert Group) 등의 방식에 기초한 장치가, 방송국 등의 정보 분배와 일반 가정에 있어서의 정보 수신을 위해 보급되고 있다.
특히, MPEG2(IS0/IEC 13818-2)는 범용의 화상 압축 방식으로서 정의된 규격이며, 비월 주사(interlaced scanning) 화상과 순차 주사 화상의 쌍방 및 표준 해상도 화상 및 고정밀 화상에 적용되는 표준으로, 예를 들면 DVD(Digital Versatile Disk) 규격으로 대표되는, 전문가용 및 일반 소비자용의 광범위한 애플리케이션에 널리 이용되어 있다.
이러한 MPEG2 압축 방식을 사용함으로써, 예를 들면, 720×80 화소를 가지는 표준 해상도의 비월 주사 화상에 대해서는 4 내지 8Mbps, 1920×1088 화소를 가지는 고해상도의 비월 주사 화상에 대해서는 18 내지 22Mbps의 부호량(비트 레이트)을 할당함으로써, 높은 압축율과 양호한 화질의 실현이 가능하다.
MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있었지만, 보다 높은 압축 비율의 부호화 방식에는 대응하지 않기 때문에, MPEG4 부호화 방식의 표준화를 사용했다. 화상 부호화 방식에 관해서는, 1998년 12월에 IS0/IEC 14496-2로서 그 규격이 국제 표준으로 승인되었다.
또한, 최근 텔레비전 화상 회의용의 화상 부호화를 그 목적으로 하여, 국제전기연합의 전기 통신 표준화 부문인 ITU-T(International Telecommunication Union-Telecommunication Standardization Sector)에 의한 H.26L(ITU-TQ6/16 VCEG)이라고 하는 표준의 규격화가 진행되고 있다. H.26L은 MPEG2나 MPEG4라고 하는 부호화 방식에 비해, 그 부호화 및 복호화에 보다 많은 연산량이 요구되지만, 보다 높은 부호화 효율이 실현되는 것으로 알려져 있다.
또, 현재, MPEG4의 활용의 일환으로서, 이 H.26L에 근거한, 보다 높은 부호화 효율을 실현하는 부호화 기술의 표준화가 ITU-T와 공동으로 JVT(Joint Video Team)로서 행해지고 있다.
여기서, 이산 코사인 변환 또는 카르넨-루베 등의 직교 변환과 움직임 보상에 의한 화상 압축에 대하여 설명한다. 도 1은 종래의 화상 정보 부호화 장치의 일례의 구성을 나타낸 도면이다.
도 1에 나타낸 화상 정보 부호화 장치(10)에 있어서, 입력 단자(11)로부터 입력된 아날로그 신호로 이루어지는 화상 정보는, A/D 변환부(12)에 의해, 디지털 신호로 변환된다. 그리고, 화면 병렬 교체 버퍼(13)는 A/D 변환부(12)로부터 공급된 화상 정보의 GOP(Group of Pictures) 구조에 따라, 프레임의 병렬 교체를 행한다.
여기서, 화면 병렬 교체 버퍼(13)는 화상내(인트라: intra) 부호화가 행해지는 화상에 대해서는, 프레임 전체의 화상 정보를 직교 변환부(15)에 공급한다. 직교 변환부(15)는 화상 정보에 대해서 이산 코사인 변환 또는 카르넨-루베 변환 등의 직교 변환을 행하고, 변환 계수를 양자화부(16)에 공급한다. 양자화부(16)는 직교 변환부(15)로부터 공급된 변환 계수에 대해서 양자화 처리를 수행한다.
가역 부호화부(17)는 양자화부(16)로부터 공급된 양자화된 변환 계수나 양자화 스케일 등으로부터 부호화 모드를 결정하고, 이 부호화 모드에 대해서 가변길이 부호화 또는 산술 부호화 등의 가역 부호화를 행하며, 화상 부호화 단위의 헤더부에 삽입되는 정보를 형성한다. 그리고, 가역 부호화부(17)는 부호화된 부호화 모드를 축적 버퍼(18)에 공급하여 축적시킨다. 이 부호화된 부호화 모드는 화상 압축 정보로서 출력 단자(19)로부터 출력된다.
또, 가역 부호화부(17)는 양자화된 변환 계수에 대해서 가변길이 부호화 또는 산술 부호화 등의 가역 부호화를 행하고, 부호화된 변환 계수를 축적 버퍼(18)에 공급하여 축적시킨다. 이 부호화된 변환 계수는 화상 압축 정보로서 출력 단자(19)로부터 출력된다.
양자화부(16)의 동작은 축적 버퍼(18)에 축적된 변환 계수의 데이터량에 따라 레이트 제어부(20)에 의해 제어된다. 또, 양자화부(16)는 양자화 후의 변환 계수를 역양자화부(21)에 공급하고, 역양자화부(21)는 그 양자화 후의 변환 계수를 역양자화한다. 역직교 변환부(22)는 역양자화된 변환 계수에 대해서 역직교 변환 처리를 행하여 복호 화상 정보를 생성하고, 그 정보를 프레임 메모리(23)에 공급하여 축적시킨다.
또, 화면 병렬 교체 버퍼(13)는 화상간(인터: inter) 부호화를 행하는 화상에 관해서, 화상 정보를 움직임 예측 보상부(24)에 공급한다. 움직임 예측 보상부(24)는 동시에 참조되는 화상 정보를 프레임 메모리(23)로부터 취득하며, 움직임 예측 보상 처리를 행하여 참조 화상 정보를 생성한다. 움직임 예측 보상부(24)는 생성한 참조 화상 정보를 가산기(14)에 공급하고, 가산기(14)는 참조 화상 정보를 대응하는 화상 정보와의 차분 신호로 변환한다. 또, 움직임 예측 보상부(24)는 동시에 움직임 벡터 정보를 가역 부호화부(17)에 공급한다.
가역 부호화부(17)는 양자화부(16)로부터 공급되고 양자화된 변환 계수 및 양자화 스케일, 및 움직임 예측 보상부(24)로부터 공급된 움직임 벡터 정보 등으로부터 부호화 모드를 결정하고, 그 결정한 부호화 모드에 대해서 가변길이 부호화 또는 산술 부호화 등의 가역 부호화를 행하며, 화상 부호화 단위의 헤더부에 삽입되는 정보를 생성한다. 그리고 가역 부호화부(17)는 부호화된 부호화 모드를 축적 버퍼(18)에 공급하여 축적시킨다. 이 부호화된 부호화 모드는 화상 압축 정보로서 출력된다.
또, 가역 부호화부(17)는 그 움직임 벡터 정보에 대해서 가변길이 부호화 또는 산술 부호화 등의 가역 부호화 처리를 행하여, 화상 부호화 단위의 헤더부에 삽입되는 정보를 생성한다.
또, 화상내 부호화와 달리, 화상간 부호화의 경우, 직교 변환부(15)에 입력되는 화상 정보는 가산기(14)로부터 얻어진 차분 신호이다. 그리고, 그 외의 처리에 대하여는, 화상내 부호화를 행해지는 화상 압축 정보와 같기 때문에, 그 설명을 생략한다.
다음에, 전술한 화상 정보 부호화 장치(10)에 대응하는 화상 정보 복호 장치의 일례의 구성을 도 2에 나타낸다. 도 2에 나타낸 화상 정보 복호 장치(40)에 있어서, 입력 단자(41)로부터 입력된 화상 압축 정보는 축적 버퍼(42)에 일시적으로 저장된 후, 가역 복호부(43)에 전송된다.
가역 복호부(43)는 정해진 화상 압축 정보의 포맷에 따라, 화상 압축 정보에 대해서 가변길이 복호 또는 산술 복호 등의 처리를 행하여, 헤더부에 저장된 부호화 모드 정보를 취득해 역양자화부(44) 등에 공급한다. 또 마찬가지로, 가역 복호부(43)는 양자화된 변환 계수를 취득해 역양자화부(44)에 공급한다. 또한, 가역복호부(43)는 복호화하는 프레임이 화상간 부호화되는 것인 경우에는, 화상 압축 정보의 헤더부에 저장된 움직임 벡터 정보에 대하여도 복호하고, 그 정보를 움직임 예측 보상부(51)에 공급한다.
역양자화부(44)는 가역 복호부(43)로부터 공급된 양자화 후의 변환 계수를 역양자화하고, 변환 계수를 역직교 변환부(45)에 공급한다. 역직교 변환부(45)는 정해진 화상 압축 정보의 포맷에 따라, 변환 계수에 대해서 역이산 코사인 변환 또는 역카르넨-루베 등의 역직교 변환을 행한다.
여기서, 대상으로 되는 프레임이 화상내 부호화된 것인 경우, 역직교 변환 처리가 행해진 화상 정보는 화면 병렬 교체 버퍼(47)에 저장되고, D/A 변환부(48)에서 D/A 변환 처리된 후에 출력 단자(49)로부터 출력된다.
또, 대상으로 되는 프레임이 화상간(인터) 부호화된 것인 경우, 움직임 예측 보상부(51)는 가역 복호 처리가 행해진 움직임 벡터 정보와 프레임 메모리(50)에 저장된 화상 정보에 따라 참조 화상을 생성하여 가산기(46)에 공급한다. 가산기(46)는 이 참조 화상과 역직교 변환부(45)로부터의 출력을 합성한다. 그리고, 그 외의 처리에 대하여는, 화상내(인트라) 부호화된 프레임과 같기 때문에, 설명을 생략한다.
또, 그런데, 앞서 설명한 Joint Video Team에서 표준화하고 있는 부호화 방식(이하, JVT Codec)에서는, MPEG2나 MPEG4 등의 부호화 효율을 개선하기 위한 여러가지 방식이 검토되고 있다. 예를 들면, 이산 코사인 변환의 변환 방법은 4×4 블록 사이즈의 정수 계수 변환이 이용되고 있다. 그리고, 움직임 보상시의 블록사이즈가 가변이며 보다 최적인 움직임 보상이 행해지도록 되고 있다. 그러나, 기본적인 방식은 도 1에 나타낸 화상 정보 부호화 장치(10)에서 행해지는 부호화 방식과 동일하게 행하는 것이 가능하도록 되어 있다.
따라서, 도 2에 나타낸 화상 정보 복호 장치(40)에서 행해지는 복호 방식과 기본적으로 동일한 방식에 의해 복호하는 것이 가능하도록 되어 있다.
그런데, 상이한 복호 장치(디코더) 사이에서의 호환성을 유지하고, 버퍼를 오버플로우(overflow) 또는 언더플로우(underflow)시키지 않기 위해, MPEG나 ITU-T에서는, 버퍼 모델이 도입되어 있다. 가상 디코더 버퍼 모델을 표준으로 정의하고, 부호화 장치(인코더)는 이 가상 디코더 버퍼가 실패하지 않도록 부호화함으로써 디코더 측에서의 버퍼 오버플로우 또는 언더플로우를 방지하여, 호환성을 유지하는 것이 가능하게 되어 있다.
MPEG에 있어서의 가상 버퍼 모델에 대하여, 도 3을 참조하여 설명한다. 이하의 설명에 있어서, 디코더 버퍼의 입력 비트 레이트를 R, 디코더 버퍼의 사이즈를 B, 디코더가 최초의 프레임을 버퍼로부터 추출해 낼 때의 버퍼 점유율을 F, 그 때의 지연 시간을 D로 한다. 또, 시각 t0, tl, t2, ...에 있어서, 각 프레임의 비트량을 b0, bl, b2... 로 한다.
여기서 프레임 레이트를 M으로 하면,
ti+1- ti= 1/M 이 성립한다.
Bi를 시각 t에서의 프레임의 비트량 bi를 추출하기 직전의 버퍼 점유량으로하면, 이하의 식 1이 성립된다.
[식 1]
Bo= F
Bi+1= min (B, Bi- bi+ R(ti+1- ti))
여기서, MPEG2에 있어서의 고정 비트 레이트 부호화 방식인 경우, 인코더는 다음 식 2의 조건을 만족하도록 부호화해야 한다.
[식 2]
Bi B
Bi- bi 0
이와 같은 조건이 만족되어 있는 동안은, 인코더는 버퍼 오버플로우나 언더플로우를 발생시킬 것 같은 부호화를 행하지 않는 것으로 되어 있다.
또, MPEG2에 있어서의 가변 비트 레이트 부호화 방식의 경우, 입력 비트 레이트 R은 프로파일, 레벨로 정의되는 최대 비트 레이트이며, F = B이다. 따라서 식 1은, 다음 식 3과 같이 될 수 있다.
[식 3]
Bo= B
Bi+1= min (B, Bi- bi+ Rmax(ti+1-ti))
이 때, 인코더는 다음 식 4에 나타낸 조건을 만족시키도록 부호화를 실행하지 않으면 안된다.
[식 4]
Bi- bi 0
이 조건이 만족되는 동안, 인코더는 디코더측에서 버퍼 언더플로우가 일어나지 않도록 하는 부호화를 행하게 된다. 디코더 버퍼가 채워지지 않은 때는, 인코더 버퍼는 비워있게 되며, 부호화 비트스트림이 발생하고 있지 않은 것을 의미한다. 따라서, 인코더는 디코더의 버퍼 오버플로우를 일으키지 않게 감시할 필요는 없다.
MPEG에서는, 각 프로파일, 레벨로 정의되는 버퍼 사이즈, 비트 레이트에 따라, 전술한 바와 같은 버퍼의 제한사항을 지키도록 부호화가 행해진다. 각 프로파일, 레벨에 따른 디코더는 그 비트스트림을 실패하지 않고 복호할 수 있다.
그러나, 실제로는 프로파일, 레벨로 규정된 버퍼 사이즈, 비트 레이트를 이용하지 않는 경우라도, 비트스트림을 복호할 수 있는 경우가 있다.
예를 들면, 비트 레이트 R, 버퍼 B, 초기 지연 시간 F(R, B, F)로 부호화된 비트스트림은 보다 큰 버퍼 사이즈 B' (B'>B)를 가지는 디코더에 의해서도 복호 가능하다. 또, 보다 높은 비트 레이트 R' (R'>R)로 복호하는 것도 가능하다.
예를 들면, 디코더의 복호 비트 레이트가 부호화 비트 레이트로보다 낮은 경우에도, 충분히 큰 버퍼 사이즈를 가진 디코더이면 복호하는 것이 가능하다.
이와 같이, 소정의 비트스트림이 주어졌을 경우, 각 비트 레이트에 있어서,그 비트스트림을 복호 하기 위해 필요한 최소 버퍼 사이즈 Bmin가 존재한다. 이와 같은 관계를 도 4에 나타낸다.
JVT Codec에서는, 각 프로파일, 레벨로 고정의 비트 레이트, 버퍼 사이즈로 복호할 뿐만 아니라, 도 4에 나타낸 것과 같은 조건을 가지는 디코더로 복호할 수 있도록 표준화가 진행되어 있다. 반드시 인코더의 부호화 비트 레이트, 버퍼 사이즈와 디코더의 복호 비트 레이트, 버퍼 사이즈가 동일하지 않더라도 복호할 수 있는 것을 목적으로 하고 있다. 이 목적이 달성됨으로써, 예를 들면, 복호 비트 레이트가 높은 디코더에서는 버퍼 사이즈를 감축시키는 것 등이 가능하게 된다.
그러나, 이와 같은 정보는 비트스트림 중에서 시간적으로 변동한다. 그러므로, 디코더 호환을 위한 제한사항이 완화되어 있는 상태, 소정의 조건하에서는 복호 가능해도, 다른 조건하에서는 복호 불가능하게 되어 있는 경우가 있다고 하는 문제가 있었다. 예를 들면, 이와 같은 (R, B)의 특성이 시간적으로 변동하는 경우, 소정의 시각에서 복호 가능하다고 해도, 다른 시각에서는 복호 불가능한 가능성이 있다고 하는 문제가 있었다.
랜덤 액세스 등으로, 별개의 장면이나, 별개의 채널 등으로 이행했을 경우에도, 반드시 복호 가능한 것으로는 되지 않는다고 하는 문제가 있었다. 또, 스플라이싱(splicing) 등 비트스트림 레벨에서의 편집을 행한 경우, 디코드 가능성을 보증할 수 없게 된다고 하는 문제가 있었다.
본 발명은 부호화 장치 및 방법, 복호 장치 및 방법, 편집 장치 및 방법, 기록 매체, 및 프로그램에 관한 것으로서, 특히 이산 코사인 변환(discrete cosine transform) 또는 카루넨-루베 변환(Karhunen-Loeve transform) 등의 직교 변환과 움직임 보상(motion compensation)에 의해 압축된 화상 정보(비트스트림)를, 위성방송, 케이블 텔레비전 방송, 인터넷 등의 네트워크 매체를 통하여 송수신할 때에, 또는 광디스크, 자기 디스크, 플래시 메모리와 같은 기억매체 상에서 처리할 때 사용하기에 바람직한 부호화 장치 및 방법, 복호 장치 및 방법, 편집 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이다.
도 1은 종래의 화상 정보 부호화 장치의 일례의 구성을 나타낸 도면.
도 2는 종래의 화상 정보 복호 장치의 일례의 구성을 나타낸 도면.
도 3은 버퍼량에 대하여 설명하는 도면.
도 4는 비트 레이트와 버퍼량의 관계에 대하여 설명하는 도면.
도 5는 본 발명을 적용한 부호화 장치의 일실시예의 구성을 나타낸 도면.
도 6은 버퍼량에 대하여 설명하는 도면이다.
도 7은 본 발명을 적용한 복호 장치의 일실시예의 구성을 나타낸 도면.
도 8은 본 발명을 적용한 편집 장치의 일실시예의 구성을 나타낸 도면.
도 9는 비트 레이트와 버퍼량의 관계에 대하여 설명하는 도면.
도 10은 매체를 설명하는 도면.
본 발명은 이와 같은 문제점을 감안하여 이루어진 것이며, 비트스트림의 복호 가능성을 효율적으로 판단하고, 또 스플라이싱 등 비트스트림의 편집을 간편하게 행해지도록 하는 것을 목적으로한다.
본 발명의 부호화 장치는 복호시에 필요에 따라 참조되는 헤더를 생성하는 생성 수단과, 생성 수단에 의해 생성된 헤더와, 입력된 화상 신호를 각각 부호화하는 부호화 수단과, 부호화 수단에 의해 부호화된 헤더와 화상 신호를 다중화하여 비트스트림을 출력하는 출력 수단을 포함하고, 생성 수단은 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성 정보를 포함하는 헤더를 생성하는 것을 특징으로 한다.
상기 생성 수단은 비트스트림 중에서 랜덤으로 액세스가 가능한 소정 구간마다 버퍼 특성 정보를 포함하는 상기 헤더를 생성하도록 할 수 있다.
상기 생성 수단은 비트스트림의 시퀀스 전체의 버퍼 특성의 정보를 포함하는 헤더를 생성하도록 할 수 있다.
상기 버퍼 특성 정보는 비트스트림을 복호할 때의 복호 가능한 최소 비트 레이트, 최소 버퍼 사이즈 및 최소 지연량을 모두 포함하도록 하는 것이 가능하다.
본 발명의 부호화 방법은, 복호시에 필요에 따라 참조되는 헤더를 생성하는 생성 단계와, 생성 단계의 처리로 생성된 헤더와 입력된 화상 신호를 각각 부호화하는 부호화 단계와, 부호화 단계의 처리로 부호화된 헤더와 화상 신호를 다중화한 비트스트림의 출력을 제어하는 출력 제어 단계를 포함하고, 생성 단계의 처리는 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성 정보를 적어도 포함하는 헤더를 생성하는 것을 특징으로 한다.
본 발명의 제1 기록 매체의 프로그램은, 복호시에 필요에 따라 참조되는 헤더를 생성하는 생성 단계와, 생성 단계의 처리로 생성된 헤더와 입력된 화상 신호를 각각 부호화하는 부호화 단계와, 부호화 단계의 처리로 부호화된 헤더와 화상 신호를 다중화한 비트스트림의 출력을 제어하는 출력 제어 단계를 포함하고, 생성 단계의 처리는 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성 정보를 적어도 포함하는 헤더를 생성하는 것을 특징으로 한다.
본 발명의 제1 프로그램은, 복호시에 필요에 따라 참조되는 헤더를 생성하는 생성 단계와, 생성 단계의 처리로 생성된 헤더와 입력된 화상 신호를 각각 부호화하는 부호화 단계와, 부호화 단계의 처리로 부호화된 헤더와 화상 신호를 다중화한 비트스트림의 출력을 제어하는 출력 제어 단계를 포함하는 처리를 컴퓨터에 실행시키며, 생성 단계의 처리는 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성 정보를 적어도 포함하는 헤더를 생성하는 것을 특징으로 한다.
본 발명의 복호 장치는, 입력된 비트스트림 내의 헤더를 검색하는 검색 수단과, 검색 수단에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고 그 판독한 버퍼 특성 정보에 따라 비트스트림을 복호하는 복호 수단을 포함하는 것을 특징으로 한다.
상기 버퍼 특성 정보는, 비트스트림을 복호할 때의 복호 가능한 최소 비트 레이트, 최소 버퍼 사이즈 및 최소 지연량을 모두 포함하도록 하는 것이 가능하다.
본 발명의 복호 방법은, 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와, 검색 단계의 처리에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고, 그 판독한 버퍼 특성 정보에 따라 비트스트림을 복호하는 복호 단계를 포함하는 것을 특징으로 한다.
본 발명의 제2 기록 매체의 프로그램은, 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와, 검색 단계의 처리에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고 그 판독한 버퍼 특성 정보에 따라 비트스트림을 복호하는 복호 단계를 포함하는 것을 특징으로 한다.
본 발명의 제2 프로그램은, 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와, 검색 단계의 처리에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고 그 판독한 버퍼 특성 정보에 따라 비트스트림을 복호하는 복호 단계를 포함하는 처리를 컴퓨터에서 실행시키는 것을 특징으로 한다.
본 발명의 편집 장치는, 입력된 비트스트림 내의 헤더를 검색하는 검색 수단과, 검색 수단에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고 그 판독한 정보에 따라 비트스트림의 편집이 가능한지 아닌지를 판단하는 판단 수단과, 판단 수단에 의해 비트스트림의 편집이 가능한 것으로 판단되었을 경우 비트스트림의 편집을 행하는 편집 수단을 포함하고, 판단 수단은 제1 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선이, 제2의 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지 또는 동일한 경우, 제1 비트스트림과 제2 비트스트림을 사용한 편집은 가능한 것으로 판단하는 것을 특징으로 한다.
본 발명의 편집 방법은, 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와, 검색 단계의 처리에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고 그 판독한 정보에 따라 비트스트림의 편집이 가능한지 아닌지를 판단하는 판단 단계와, 판단 단계의 처리로 비트스트림의 편집이 가능한 것으로 판단되었을 경우, 비트스트림의 편집을 행하는 편집 단계를 포함하고, 판단 단계의 처리는 제1 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선이, 제2 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지, 또는 동일한 경우 제1 비트스트림과 제2 비트스트림을 사용한 편집은 가능한 것으로 판단하는 것을 특징으로 한다.
본 발명의 제3 기록 매체의 프로그램은, 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와, 검색 단계의 처리에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고, 그 판독한 정보에 따라 비트스트림의 편집이 가능한지 아닌지를 판단하는 판단 단계와, 판단 단계의 처리로 비트스트림의 편집이 가능한 것으로 판단되었을 경우, 비트스트림의 편집을 행하는 편집 단계를 포함하고, 판단 단계의 처리는, 제1 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선이, 제2의 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지, 또는 동일한 경우 제1 비트스트림과 제2 비트스트림을 사용한 편집은 가능한 것으로 판단하는 것을 특징으로 한다.
본 발명의 제3 프로그램은, 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와, 검색 단계의 처리에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성정보를 판독하고 그 판독한 정보에 따라 비트스트림의 편집이 가능한지 아닌지를 판단하는 판단 단계와, 판단 단계의 처리로 비트스트림의 편집이 가능한 것으로 판단되었을 경우, 비트스트림의 편집을 행하는 편집 단계를 포함하는 처리를 컴퓨터에 실행시키고, 판단 단계의 처리는 제1 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선이, 제2의 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지, 또는 동일한 경우, 제1 비트스트림과 제2 비트스트림을 사용한 편집은 가능한 것으로 판단하는 것을 특징으로 한다.
본 발명의 부호화 장치 및 방법, 및 제1 프로그램에 있어서는, 비트스트림에 부호화되어 다중화되는 헤더에, 그 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성의 정보가 포함된다.
본 발명의 복호 장치 및 방법, 및 제2 프로그램에 있어서는, 입력된 비트스트림의 헤더에 포함되는 복호시의 버퍼에 관한 버퍼 특성의 정보가 판독되어, 그 판독된 정보에 따라 복호를 행한다.
본 발명의 편집 장치 및 방법, 및 제3의 프로그램에 있어서는, 입력된 비트스트림에 대해서 편집을 행할 것인가 여부의 판단이, 제1 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선이, 제2의 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지, 또는 동일한가를 판단하는 것으로 행해진다.
이하, 본 발명의 실시예에 대하여 도면을 참조하여 설명한다. 도 5는 본 발명을 적용한 부호화 장치의 일실시예의 구성을 나타낸 도면이다. 도 5에 나타낸 부호화 장치(70)는 도 1에 나타낸 화상 정보 부호화 장치(10)를 포함하는 구성으로 되어 있다. 여기서, 화상 정보 부호화 장치(10)의 구성 등에 대하여는 이미 설명했으므로, 그 설명은 적당히 생략한다.
화상 정보 부호화 장치(10)에 입력된 화상 정보는 부호화되어 화상 압축 정보(BS: 비트스트림)로서 버퍼(71)와 비트스트림 해석부(72)에 출력된다. 버퍼(71)는 입력된 비트스트림을 일단 기억하고, 필요에 따라 버퍼 정보 부가부(73)에 출력한다. 비트스트림 해석부(72)는 비트스트림 중의 소정의 구간, 예를 들면 GOP나 랜덤 액세스 포인트 사이에서의 버퍼의 점유 상태를 조사하여, 그 정보를 버퍼 정보 BH로서 버퍼 정보 부가부(73)에 공급한다. 여기서, 랜덤 액세스 포인트란 JVT 규격에 있어서, 비트스트림 중에서 랜덤으로 액세스가 가능한 소정의 구간을 말한다. 또, 마찬가지로 GOP란, MPEG2/MPEG4 규격에 있어서, 랜덤으로 액세스가 가능한 소정의 구간을 말한다.
버퍼 정보 부가부(73)는 입력된 버퍼 정보 BH를 동일하게 입력된 비트스트림에 부가하여 출력한다.
여기서는, 비트스트림 해석부(72)가 행하는 해석의 일례로서, 각 랜덤 액세스 포인트 사이에서 버퍼 점유 상태를 조사하여, 각 랜덤 액세스 포인트에 헤더 정보로서 버퍼 점유 상태의 정보를 부호화하여 비트스트림을 구성하는 경우를 예를 들어 설명한다. 여기서는, 이와 같은 설명을 행하는 것이 GOP 단위로 구하도록 해도 되는 것으로 하고, 다른 임의의 단위로 구하도록 해도 되며, 이하 설명하는 단위에, 다른 단위를 사용한 경우에도 본 발명을 적용할 수 있는 것도 당연하다.
도 6을 참조하여 (Rmin, Bmin)의 특성을 결정하는 방법에 대하여 설명한다. 여기서, Rmin는 버퍼에의 입력 비트 레이트 R의 최소치를 나타내고, Bmin는 버퍼 사이즈 B의 최소치를 나타내는 것으로 한다.
소정의 비트스트림의 비트 레이트 R이 주어졌을 경우, 그 비트스트림을 복호 비트 레이트 R로 복호하는 복호 장치(예를 들면, 도 7에 나타낸 구성을 가진다)로 복호 가능한 최저한의 버퍼 사이즈 Bmin은, 예를 들면 다음과 같이 결정된다.
소정의 액세스 포인트간의 프레임 수를 N으로 한다. 각 프레임의 발생 비트량을 b(i)(i=1, N), 버퍼로부터 각 프레임의 데이터를 추출하기 직전의 버퍼 점유량을 B(i), 추출한 직후의 버퍼 점유량을 B2(i)로 한다. 부호화 장치의 버퍼량을 B로 하면,
[식 5]
B2 (i) = B (i) - b (i)
B (i+1) = B2 (i) + R / (Frame Rate)
다만, if (B (i+1) >B) B (i+1) = B로 하면, B (i)의 최대치는 B이다. 또 지연량 F는 F = B로 한다.
이 때, Bmin는 다음 식 6으로 구해진다.
[식 6]
Bmin= B - min (B2 (i))
이 때의 R을 Rmin으로 하면, 상기와 같은 방법에 의해 (Rmin, Bmin)을 결정할 수 있다.
다음에, (Rmin, Bmin, Fmin)을 결정하는 방법의 일례를 설명한다. B = Bmin, R = Rmin으로 한다. 식 5와 마찬가지로, 다음 식 7이 성립한다.
[식 7]
B2 (i) = B (i) - b(i)
B (i+1) = B2 (i) + R / (Frame Rate)
으로 된다. 다만, 이하의 조건에 근거하는 언더플로우에 대한 감시가 행해진다.
if (B2 (i) < 0){
Fmin= Fmin+ (0 - B2 (i));
B2 (i) = O; }
Fmin은 각 랜덤 액세스 포인트의 선두에서 0으로 초기화된다. 또, 오버플로우에 대한 감시도 마찬가지로, 이하의 조건에 근거하여 행해진다.
if (B (i+1) > B) B (i+1) = B
랜덤 액세스 포인트간의 모든 프레임에 대해서 상기 검사가 행해지는 것으로, (Rmin, Bmin, Fmin)가 결정된다.
상기 (Rmin, Bmin, Fmin)은 미리 정해진 소정의 개수만 검사를 행하도록 해도 되고, 그 중에서 독립적인 조합만을 정의하도록 해도 된다. 상기와 같이 하여 구해진 특성은, 도 4에 나타낸 바와 같이 된다. 각 점의 사이는 선형보간 된다. 상기와 같이 하여 구해진, (Rmin, Bmin, Fmin)의 값, 버퍼 정보 BH는 버퍼 정보 부가부(73)에 의해 비트스트림 중의 소정의 위치에 삽입되고, 부호화되어 출력된다.
비트스트림 해석부(72)는 전술한 바와 같은 각 랜덤 액세스 사이의 (Rmin, Bmin, Fmin)과 동시에 비트스트림 전체에 대해서 마찬가지의 해석을 행하고, 비트스트림 전체에 대한 특성, (Rmin, Bmin, Fmin) global을 결정하고, 이 값을 버퍼 정보 부가부(73)에 버퍼 정보 BH로서 공급한다.
화상 정보 부호화 장치(10)로부터 출력된 비트스트림(BS)은, 버퍼(71)에서 소정의 시간만큼 지연된 후, 버퍼 정보 부가부(73)에 입력된다. 버퍼 정보 부가부(73)는 비트스트림 내의 소정의 위치에 비트스트림 해석부(72)로부터 공급되는 버퍼 정보 BH를 삽입하고, 최종적인 출력 비트스트림 BS를 출력한다.
여기서, 버퍼 정보 BH(또는 버퍼 특성 정보)는, 예를 들면 (Rmin, Bmin, Fmin) 또는 (Rmin, Bmin, Fmin)global 이다. 버퍼 정보 부가부(73)는 비트스트림 BS 중의 소정의 위치에 상기 정보를 삽입한다. 여기서 문맥의 일례를 이하 설명한다.
RAP_header(){
RAP_startcode;
closed_GOP;
broken_link;
NumBufferParam;
for (i = O; i < NumBufferParam; i++) {
Rate[i];
Buffer[i];
F[i]; } }
랜덤 액세스 포인트 사이의 (Rmin, Bmin, Fmin)은, 예를 들면 그 직전의 랜덤 액세스 포인트 헤더에 상기한 문맥과 같이 기록된다. RAP_startcode는 RAP 헤더가존재하고, 그 헤더의 개시를 나타내는 코드이다.
closed_G0P는 그 GOP 내의 모든 픽쳐가 다른 GOP의 픽쳐를 참조하지 않고 독립인지 또는 다른 GOP의 픽쳐를 참조하는 의존관계가 있는지를 나타내는 플래그이다. broken_link는 편집 등에 의해 그 GOP의 전후로 비트스트림의 치환을 했을 경우, 예측의 참조 화상이 존재하는지 아닌지를 나타내는 플래그이다.
NumBuffer_Param은 요구한 특성 세트(Rmin, Bmin, Fmin)의 수를 나타낸다. Rate[i], Buffer[i], F[i]는 각각 Rmin, Bmin, Fmin을 나타낸다. 여기서는, 예를 들면, Rmin은 작은 것으로부터 차례로 기록된다.
비트스트림 전체의 (Rmin, Bmin, Fmin)global은, 예를 들면, 그 비트스트림의 선두의 시퀀스 헤더에, 이하의 문맥과 같이 하여 기록된다.
Sequence_header(){
Sequence_startcode;
:
:
NumBufferParam;
for(i = 0; i < NumBufferParam; i++) {
Rate[i];
Buffer[i];
F[i]; } }
여기서, NUmBUffer_Param은 요구한 특성 세트 (Rmin, Bmin, Fmin)global의 수를 나타낸다. Rate[i], Buffer[i], F[i]는 각각 Rmin, Bmin, Fmin을 나타낸다. 여기서는, 예를 들면 Rmin은 작은 것으로부터 차례로 기록된다.
버퍼 정보 부가부(73)에 있어서, 상기의 버퍼 정보 BH가 부가된 후 최종적인 출력 비트스트림 BS가 출력된다.
그리고, 발명의 실시예에서는 버퍼 정보 BH로서, 최소 비트 레이트 Rmin, 최소 버퍼 사이즈 Bmin및 최소 지연량 Fmin을 모두 비트스트림에 부가하는 것으로 설명했다. 그러나, 이 예에 한정되지 않고, 최소 비트 레이트 Rmin, 최소 버퍼 사이즈 Bmin또는 최소 지연량 Fmin중, 적어도 하나를 비트스트림에 부가하도록 해도 된다. 예를 들면, 최소 비트 레이트 Rmin및 최소 버퍼 사이즈 Bmin의 조합을 비트스트림에 부가하도록 해도 된다.
도 7에 본 발명을 적용한 복호 장치의 일실시예의 구성을 나타낸다. 도 7에 나타낸 복호 장치(90)는 도 5에 나타낸 부호화 장치(70)에 대응하는 것이며, 내부에 도 2에 나타낸 화상 정보 복호 장치(40)를 포함하고 있다. 복호 장치(90)에 입력된 비트스트림 BS는 비트스트림 해석부(91)와 복호 가능성 판정부(92)에 공급된다.
비트스트림 해석부(91)는 비트스트림 내의 버퍼 정보 BH를 복호하여, 복호 가능성 판정부(92)에 출력한다. 비트스트림 해석부(91)는 비트스트림을 패스하고,시퀀스 헤더에 기록되어 있는 (Rmin, Bmin, Fmin)globa1을 복호한다. 또, 각 랜덤 액세스 포인트 헤더에 기록되어 있는 (Rmin, Bmin, Fmin)을 복호한다. 이들 정보가 복호 가능성 판정부(92)에 출력된다.
복호 가능성 판정부(92)는 버퍼 정보 BH 및 화상 정보 복호 장치(40)로부터 공급되는 디코더 정보 DI에 기초하여, 입력된 비트스트림이 버퍼를 실패시키지 않고 복호 가능한지를 판정한다. 디코더 정보 DI는, 예를 들면 디코더 버퍼 사이즈 및 복호 비트 레이트 등이다.
복호 가능성 판정부(92)는 (Rmin, Bmin, Fmin)global로부터, 도 4에 나타낸 것과 같은 특성 곡선을 작성한다. 각 점의 사이는 선형보간한다. 이 때, 디코더(복호 장치(90))의 버퍼 및 복호 비트 레이트가 (Rmin, Bmin, Fmin)global에 의해 만들어지는 특성 곡선보다 위에 위치하는 경우, 입력된 비트스트림은 복호 가능한 것으로 판단하는 것이 가능하다. 따라서 이와 같은 경우, 복호 가능성 판정부(92)는 복호 가능한 것으로 판정하고, 비트스트림을 화상 정보 복호 장치(40)에 공급한다.
화상 정보 복호 장치(40)는 도 2에 나타낸 화상 정보 복호 장치(40)와 기본적으로 동일한 구성에 의해 동일한 처리를 실행하고, 입력된 비트스트림을 복호하며, 화상 정보를 도시 되어 있지 않은 텔레비전 수상기 등에 출력한다.
비트스트림 전체를 복호 가능한지 여부를 상기와 같이, (Rmin, Bmin, Fmin)global의 특성 곡선, 디코더 버퍼 사이즈, 복호 비트 레이트를 조사한 것에 따라 판정하는 것이 가능하다.
또, 랜덤 액세스 등에 의해, 소정의 랜덤 액세스 포인트로부터 특정의 구간 만을 복호하고 싶은 경우, 마찬가지로, 복호 가능성 판정부(92)는 (Rmin, Bmin, Fmin)로부터 도 4에 나타낸 바와 같은 특성 곡선을 작성한다. 각 점의 사이는 선형보간한다. 이 때, 디코더의 버퍼 및 복호 비트 레이트가 (Rmin, Bmin, Fmin)에 의해 만들어지는 특성 곡선보다 위에 위치하는 경우, 비트스트림은 복호 가능하다. 따라서 이와 같은 경우, 복호 가능성 판정부(92)는 복호 가능한 것으로 판정하고, 비트스트림을 화상 정보 복호 장치(40)에 공급한다.
다음에 비트스트림의 편집을 행하는 때의 설명을 행한다. 도 8은 본 발명을 적용한 비트스트림의 편집을 행하는 편집 장치(110)의 일실시예의 구성을 나타낸 도면이다. 편집 장치(110)가 행하는 편집의 예로서, 입력 비트스트림 1의 일부를 다른 입력 비트스트림 2로 치환하는 스플라이싱을 행하는 경우를 예로 들어 설명한다.
여기서, 스플라이싱에 대하여 간단하게 설명하는데, 스플라이싱(splicing)이란 소정의 비트스트림을 랜덤 액세스 포인트에서 다른 비트스트림으로 치환하여 편집을 행하는 것이다. 이와 같은 스플라이싱은, 예를 들면 텔레비전 방송의 프로그램에 광고방송을 삽입할 때 등이다. 이 경우, 입력 비트스트림 1이 텔레비전 방송의 프로그램의 비트스트림이며, 입력 비트스트림 2가 광고방송의 비트스트림이다.
입력 비트스트림 1은 비트스트림 해석부(111-1)에 입력되고, 입력 비트스트림 2는 비트스트림 해석부(111-2)에 입력된다. 비트스트림 해석부(111-1, 111-2)는 각각 입력된 비트스트림 1, 2 중에 포함되어 있는 버퍼 정보 BHl, BH2를 복호하고, 비트스트림 편집부(112)에 출력한다.
비트스트림 편집부(112)는 버퍼 정보 BHl, BH2에 기초하여 소정의 편집 포인트로 입력 비트스트림 1에 대해서 입력 비트스트림(2)를 삽입 가능한지 여부를 판정한다. 이 때, 편집 후의 비트스트림이, 디코더(복호 장치(90))의 버퍼를 실패시키지 않고 복호 가능하기 위해서는, 랜덤 액세스 포인트와 그 직전의 버퍼 점유량의 값이 동일하다고 하는 조건이 필요하다.
MPEG2, MPEG4 방식을 사용하는 디코더는 특정의 비트 레이트, 버퍼 사이즈로 동작하는 것이 상정되어 있었지만, JVT 방식을 사용하는 디코더에 있어서는, 도 4에 나타낸 바와 같이, 그 외의 비트 레이트, 버퍼 사이즈 라도 (Rmin, Bmin, Fmin)의 특성 곡선보다 위에 있는 경우, 복호하는 것이 가능하도록 버퍼에 대한 제한이 완화되어 있다.
비트스트림의 편집에 의해, 그 편집 전후로 디코드 가능성이 변화하지 않게 하기 위해서는, 편집 구간의 (Rmin, Bmin, Fmin)이 동일이면 좋다. 따라서, 비트스트림 편집부(112)는 편집 구간에 위치하는 랜덤 액세스 포인트 헤더에 있어서의 (Rmin, Bmin, Fmin) 특성을, 입력 비트스트림(1, 2)에 대해서 작성하고, 이들 값이 일치하는 경우, 그 구간을 비트스트림 2로 치환한다. 일치하지 않는 경우, 비트스트림 1 또는 2에 대해서 패딩 비트를 삽입하여, (Rmin, Bmin, Fmin)가 일치하도록 한 후,입력 비트스트림 2로 치환한다.
JVT에 있어서는, 버퍼에 대한 규제가 완화되어 있지만, 이것을 이용하면, 스플라이싱에 있어서의 버퍼의 적합 조건을 완화하는 것이 가능하게 된다. JVT에 있어서는, 디코더의 버퍼 사이즈 및 복호 비트 레이트가 (Rmin, Bmin, Fmin)의 위에 위치하는 경우, 복호 가능하다는 것을 알 수 있다. 따라서, 원래의 입력 비트스트림 1의 소정의 편집 구간의 (Rmin, Bmin, Fmin)에 대해서, 삽입하는 입력 비트스트림 2의 소정 편집 구간의 (Rmin, Bmin, Fmin)이 항상 아래에 있는 경우, 입력 비트스트림 1을 복호할 수 있는 디코더는 그 구간을 비트스트림 2로 치환해도 복호 가능한 것으로 된다.
도 9에 그 관계를 도시한다. 곡선 1은 입력 비트스트림 1의 편집 구간에서의 (Rmin, Bmin, Fmin) 특성을 나타낸다. 곡선 2는 입력 비트스트림 2의 편집 구간에서의 (Rmin, Bmin, Fmin) 특성을 나타낸다. 디코더의 버퍼, 복호 비트 레이트가 이 곡선의 위에 오는 경우, 복호 가능하다 것으로부터, 도 9에 나타낸 바와 같이 곡선 2가 항상 곡선 1의 아래에 올 때, 복호 가능하다는 것이 보증된다.
따라서, 비트스트림 편집부(112)는 편집 구간에 위치하는 랜덤 액세스 포인트 헤더에 있어서의 (Rmin, Bmin, Fmin) 특성을, 비트스트림 1, 2에 대해서 작성하고, 비트스트림 2의 특성 곡선이, 비트스트림 1의 특성 곡선 아래에 오는 경우, 그 구간을 비트스트림 2로 치환한다.
역으로, 일치하지 않는 것 같은 경우, 비트스트림 1 또는 2에 대해서 패딩 비트를 삽입하여, 비트스트림 2의 (Rmin, Bmin, Fmin) 특성 곡선이, 비트스트림 1의 특성 곡선 아래에 위치하도록 변경하고 후, 입력 비트스트림 2로 치환한다.
이와 같은 조건을 만족시키도록 스플라이싱을 행한 경우, 비트스트림 1을 복호 가능한 디코더를 실패시키지 않게 된다. 비트스트림 편집부(112)는 스플라이싱을 한 후, 최종적인 비트스트림을 출력한다.
이와 같이, 비트스트림 중의 랜덤 액세스가 실시할 수 있는 포인트의 헤더에, (Rmin, Bmin, Fmin)라고 하는 최소 비트 레이트, 최소 버퍼 사이즈, 최소 초기 지연 시간 등의 정보를 포함하게 하는 것으로, 복호 측에 있어서, 비트스트림의 복호 가능성을 효율적으로 판단하는 것이 가능해지며, 또 스플라이싱 등의 비트스트림의 편집을 용이하게, 또한 복호측의 버퍼를 실패시키지 않고 복호가 항상 행해지도록하는 것이 가능해진다.
도 10은 범용 퍼스널 컴퓨터의 내부 구성예를 나타낸 도면이다. 퍼스널 컴퓨터의 CPU(Central Processing Unit)(211)는 ROM(Read Only Memory)(212)에 기억되어 있는 프로그램에 따라 각종의 처리를 실행한다. RAM(Random Access Memory)(213)에는, CPU(211)가 각종의 처리를 실행함에 있어서 필요한 데이터나 프로그램 등이 적당히 기억된다. 입출력 인터페이스(215)는 키보드나 마우스로 구성되는 입력부(216)가 접속되고, 입력부(216)에 입력된 신호를 CPU(211)에 출력한다. 또, 입출력 인터페이스(215)에는 디스플레이나 스피커 등으로 구성되는 출력부(7)도 접속되어 있다.
또한, 입출력 인터페이스(215)에는 하드디스크 등으로 구성되는 기억부(218) 및 인터넷 등의 네트워크를 통하여 다른 장치와 데이터의 전달을 행하는 통신부(219)도 접속되어 있다. 드라이브(220)는 자기 디스크(231), 광디스크(232), 광자기디스크(233), 반도체 메모리(234) 등의 기록 매체로부터 데이터를 판독하거나, 데이터를 기입하거나 할 때에 이용된다.
기록 매체는 도 10에 나타낸 바와 같이, 퍼스널 컴퓨터와는 별도로, 사용자에게 프로그램을 제공하는 위해 배포되는 프로그램이 기록되어 있는 자기 디스크(231)(플렉시블 디스크 포함), 광디스크(232)[CD-R0M (Compact Disc - Read Only Memory), DVD(Digital Versatile Disc)를 포함], 광자기 디스크(233)[MD(Mini-Disc](등록상표)를 포함), 또는 반도체 메모리(234) 등으로 이루어지는 패키지 매체에 의해 구성될 뿐만 아니라, 컴퓨터에 미리 기록된 상태로 사용자에게 제공되는 프로그램이 기억되어 있는 ROM(212)이나 기억부(218)가 포함되는 하드 디스크 등으로 구성된다.
그리고, 본 명세서에 있어서, 매체에 의해 제공되는 프로그램을 기술하는 단계는, 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.
또, 본 명세서에 있어서, 시스템이란 복수개의 장치에 의해 구성되는 장치 전체를 나타내는 것이다.
이상과 같이, 본 발명의 부호화 장치 및 방법, 및 제1 프로그램에 의하면 비트스트림에 부호화되어 다중화되는 헤더에, 그 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성의 정보를 포함하도록 하였으므로, 복호측에서 버퍼가 실패하는 것 등을 방지하는 것이 가능해진다.
또, 본 발명의 복호 장치 및 방법, 및 제2 프로그램에 의하면, 입력된 비트스트림의 헤더에 포함되는 복호시의 버퍼에 관한 버퍼 특성의 정보가 판독되고, 그 판독된 정보에 따라 복호를 행하도록 하였으므로, 복호시에 버퍼가 실패 등이 되는 것을 방지하는 것이 가능해진다.
또한, 본 발명의 편집 장치 및 방법, 및 제3 프로그램에 의하면, 입력된 비트스트림에 대해서 편집이 행할 것인가 여부의 판단을, 제1 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선이, 제2 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지, 또는 동일한지를 판단하는 것으로 행하도록 했으므로, 스플라이싱 등의 편집에 관한 처리를 경감시키고 용 이하게 편집 가능한지를 판단하는 것이 가능해진다.
Claims (19)
- 복호시에 필요에 따라 참조되는 헤더를 생성하는 생성 수단과;상기 생성 수단에 의해 생성된 상기 헤더와 입력된 화상 신호를 각각 부호화하는 부호화 수단과;상기 부호화 수단에 의해 부호화되는 상기 헤더와 상기 화상 신호를 다중화하여 비트스트림을 출력하는 출력 수단을 포함하고,상기 생성 수단은 상기 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성 정보를 포함하는 상기 헤더를 생성하는 것을 특징으로 하는 부호화 장치.
- 제1항에 있어서,상기 생성 수단은 상기 비트스트림 중에서 랜덤으로 액세스가 가능한 소정 구간마다, 상기 버퍼 특성 정보를 포함하는 상기 헤더를 생성하는 것을 특징으로 하는 부호화 장치.
- 제1항에 있어서,상기 생성 수단은 상기 비트스트림의 시퀀스 전체의 상기 버퍼 특성 정보를 포함하는 상기 헤더를 생성하는 것을 특징으로 하는 부호화 장치.
- 제1항에 있어서,상기 버퍼 특성 정보는 상기 비트스트림을 복호할 때의 복호 가능한 최소 비트 레이트 Rmin, 최소 버퍼 사이즈 Bmin및 최소 지연량 Fmin을 모두 포함하는 것을 특징으로 하는 부호화 장치.
- 제1항에 있어서,상기 버퍼 특성 정보는 상기 비트스트림을 복호할 때의 복호 가능한 최소 비트 레이트 Rmin, 최소 버퍼 사이즈 Bmin또는 최소 지연량 Fmin중 적어도 하나를 포함하는 것을 특징으로 하는 부호화 장치.
- 복호시에 필요에 따라 참조되는 헤더를 생성하는 생성 단계와;상기 생성 단계에 의해 생성된 상기 헤더와 입력된 화상 신호를 각각 부호화하는 부호화 단계와;상기 부호화 단계에 의해 부호화된 상기 헤더와 상기 화상 신호를 다중화하여 비트스트림을 출력하는 출력 단계를 포함하며,상기 생성 단계의 처리는 상기 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성 정보를 포함하는 상기 헤더를 생성하는 것을 특징으로 하는 부호화 방법.
- 복호시에 필요에 따라 참조되는 헤더를 생성하는 생성 단계와;상기 생성 단계에 의해 생성된 상기 헤더와 입력된 화상 신호를 각각 부호화하는 부호화 단계와;상기 부호화 단계에 의해 부호화된 상기 헤더와 상기 화상 신호를 다중화하여 비트스트림을 출력하는 출력 단계를 포함하며,상기 생성 단계의 처리는 상기 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성 정보를 포함하는 상기 헤더를 생성하는 것을 특징으로 하는 컴퓨터로 판독 가능한 프로그램이 기록되어 있는 기록 매체.
- 복호시에 필요에 따라 참조되는 헤더를 생성하는 생성 단계와;상기 생성 단계에 의해 생성된 상기 헤더와 입력된 화상 신호를 각각 부호화하는 부호화 단계와;상기 부호화 단계에 의해 부호화된 상기 헤더와 상기 화상 신호를 다중화하여 비트스트림을 출력하는 출력 단계를 포함하는 처리를 컴퓨터에서 실행시키고,상기 생성 단계의 처리는 상기 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성 정보를 포함하는 상기 헤더를 생성하는 것을 특징으로 하는 프로그램.
- 입력된 비트스트림 내의 헤더를 검색하는 검색 수단과;상기 검색 수단에 의해 검색된 상기 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고, 그 판독한 버퍼 특성 정보에 따라 상기 비트스트림을 복호하는 복호 수단을 포함하는 것을 특징으로 하는 복호 장치.
- 제9항에 있어서,상기 버퍼 특성 정보는 상기 비트스트림 중에서 랜덤으로 액세스가 가능한 소정 구간마다 상기 헤더에 부가되어 있는 것을 특징으로 하는 복호 장치.
- 제9항에 있어서,상기 비트스트림의 시퀀스 전체에 관한 상기 버퍼 특성 정보가 상기 헤더에 부가되어 있는 것을 특징으로 하는 복호 장치.
- 제9항에 있어서,상기 버퍼 특성 정보는 상기 비트스트림을 복호할 때의 복호 가능한 최소 비트 레이트 Rmin, 최소 버퍼 사이즈 Bmin및 최소 지연량 Fmin을 모두 포함하는 것을 특징으로 하는 복호 장치.
- 제9항에 있어서,상기 버퍼 특성 정보는 상기 비트스트림을 복호할 때의 복호 가능한 최소 비트 레이트 Rmin, 최소 버퍼 사이즈 Bmin또는 최소 지연량 Fmin중 적어도 하나를 포함하는 것을 특징으로 하는 복호 장치.
- 제9항에 있어서,상기 복호 수단은 비트스트림으로부터 판독한 상기 정보로부터 버퍼의 특성 곡선을 작성하고, 상기 복호 장치의 특성 곡선이 상기 비트스트림의 특성 곡선보다 위에 위치하는 경우, 입력된 비트스트림이 복호 가능한 것으로 판정하는 판정 수단을 추가로 포함하는 것을 특징으로 하는 복호 장치.
- 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와;상기 검색 단계의 처리에 의해 검색된 상기 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고, 그 판독한 버퍼 특성 정보에 따라 상기 비트스트림을 복호하는 복호 단계를 포함하는 것을 특징으로 하는 복호 방법.
- 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와;상기 검색 단계의 처리에 의해 검색된 상기 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고, 그 판독한 버퍼 특성에 따라 상기 비트스트림을 복호하는 복호 단계를 포함하는 것을 특징으로 하는 컴퓨터로 판독 가능한 프로그램이 기록되어 있는 기록 매체.
- 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와;상기 검색 단계의 처리에 의해 검색된 상기 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고, 그 판독한 버퍼 특성에 따라 상기 비트스트림을 복호하는 복호 단계를 포함하는 처리를 컴퓨터에서 실행시키는 것을 특징으로 하는 프로그램.
- 입력된 비트스트림 내의 헤더를 검색하는 검색 수단과;상기 검색 수단에 의해 검색된 상기 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고, 그 판독한 정보에 따라 상기 비트스트림의 편집이 가능한지 여부를 판단하는 판단 수단과;상기 판단 수단에 의해 상기 비트스트림의 편집이 가능한 것으로 판단되었을 경우, 상기 비트스트림의 편집을 행하는 편집 수단을 포함하고,상기 판단 수단은 제1 상기 비트스트림의 상기 헤더에 포함되는 상기 정보에 의해 작성되는 특성 곡선이, 제2 상기 비트스트림의 상기 헤더에 포함되는 상기 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지, 또는 동일한 경우 상기 제1 비트스트림과 상기 제2 비트스트림을 이용한 편집은 가능한 것으로 판단하는 것을 특징으로 하는 편집 장치.
- 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와;상기 검색 단계의 처리에 의해 검색된 상기 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고, 그 판독한 정보에 따라 상기 비트스트림의 편집이 가능한지 여부를 판단하는 판단 단계와;상기 판단 단계의 처리로 상기 비트스트림의 편집이 가능한 것으로 판단된 경우, 상기 비트스트림의 편집을 행하는 편집 단계를 포함하고,상기 판단 단계의 처리는 제1의 상기 비트스트림의 상기 헤더에 포함되는 상기 정보에 의해 작성되는 특성 곡선이, 제2의 상기 비트스트림의 상기 헤더에 포함되는 상기 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지, 또는 동일한 경우 상기 제1 비트스트림과 상기 제2 비트스트림을 사용한 편집은 가능한 것으로 판단하는 것을 특징으로 하는 편집 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2002-00125298 | 2002-04-26 | ||
JP2002125298 | 2002-04-26 | ||
PCT/JP2003/004598 WO2003092293A1 (en) | 2002-04-26 | 2003-04-11 | Encoding device and method, decoding device and method, edition device and method, recording medium, and program |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020107001539A Division KR100969908B1 (ko) | 2002-04-26 | 2003-04-11 | 편집 장치 및 방법, 그리고 기록 매체 |
KR1020107001538A Division KR100988006B1 (ko) | 2002-04-26 | 2003-04-11 | 복호 장치 및 방법, 그리고 기록 매체 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20040106403A true KR20040106403A (ko) | 2004-12-17 |
KR100983832B1 KR100983832B1 (ko) | 2010-09-27 |
Family
ID=29267556
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020107001539A KR100969908B1 (ko) | 2002-04-26 | 2003-04-11 | 편집 장치 및 방법, 그리고 기록 매체 |
KR1020107001538A KR100988006B1 (ko) | 2002-04-26 | 2003-04-11 | 복호 장치 및 방법, 그리고 기록 매체 |
KR1020047017295A KR100983832B1 (ko) | 2002-04-26 | 2003-04-11 | 부호화 장치 및 방법, 그리고 기록 매체 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020107001539A KR100969908B1 (ko) | 2002-04-26 | 2003-04-11 | 편집 장치 및 방법, 그리고 기록 매체 |
KR1020107001538A KR100988006B1 (ko) | 2002-04-26 | 2003-04-11 | 복호 장치 및 방법, 그리고 기록 매체 |
Country Status (6)
Country | Link |
---|---|
US (14) | US8315313B2 (ko) |
EP (5) | EP2403263A3 (ko) |
JP (3) | JP5223769B2 (ko) |
KR (3) | KR100969908B1 (ko) |
CN (3) | CN1650629B (ko) |
WO (1) | WO2003092293A1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013077665A1 (ko) * | 2011-11-25 | 2013-05-30 | 삼성전자 주식회사 | 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치 |
KR101309935B1 (ko) * | 2008-01-10 | 2013-09-17 | 알카텔-루센트 유에스에이 인코포레이티드 | 인코딩된 멀티미디어 데이터 스트림을 스플라이싱하는 방법 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6792449B2 (en) * | 2001-06-28 | 2004-09-14 | Microsoft Corporation | Startup methods and apparatuses for use in streaming content |
EP2403263A3 (en) * | 2002-04-26 | 2012-01-25 | Sony Corporation | Encoding device and method, decoding device and method, editing device and method, recoding medium, and program |
US7725557B2 (en) | 2002-06-24 | 2010-05-25 | Microsoft Corporation | Client-side caching of streaming media content |
US20040268400A1 (en) * | 2003-06-26 | 2004-12-30 | Microsoft Corporation | Quick starting video content |
US7054774B2 (en) * | 2003-06-27 | 2006-05-30 | Microsoft Corporation | Midstream determination of varying bandwidth availability |
US7391717B2 (en) * | 2003-06-30 | 2008-06-24 | Microsoft Corporation | Streaming of variable bit rate multimedia content |
US7162533B2 (en) | 2004-04-30 | 2007-01-09 | Microsoft Corporation | Session description message extensions |
KR101609890B1 (ko) * | 2008-09-18 | 2016-04-06 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 프로그램 |
KR101280700B1 (ko) * | 2009-02-27 | 2013-07-01 | 후지쯔 가부시끼가이샤 | 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화용 컴퓨터 프로그램 |
TW201146007A (en) * | 2010-06-01 | 2011-12-16 | Sunplus Technology Co Ltd | Multimedia playing apparatus and multimedia data converter and converting method thereof |
US9313497B2 (en) * | 2012-01-25 | 2016-04-12 | Intel Corporation | Systems, methods, and computer program products for transform coefficient sub-sampling |
US10516898B2 (en) | 2013-10-10 | 2019-12-24 | Intel Corporation | Systems, methods, and computer program products for scalable video coding based on coefficient sampling |
US11025933B2 (en) * | 2016-06-09 | 2021-06-01 | Apple Inc. | Dynamic video configurations |
US11165847B2 (en) * | 2018-10-23 | 2021-11-02 | Tencent America LLC | Techniques for multiple conformance points in media coding |
Family Cites Families (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5365552A (en) * | 1992-11-16 | 1994-11-15 | Intel Corporation | Buffer fullness indicator |
US5398072A (en) * | 1993-10-25 | 1995-03-14 | Lsi Logic Corporation | Management of channel buffer in video decoders |
US5566089A (en) * | 1994-10-26 | 1996-10-15 | General Instrument Corporation Of Delaware | Syntax parser for a video decompression processor |
JP3338426B2 (ja) | 1994-11-18 | 2002-10-28 | 三洋電機株式会社 | Mpegビデオデコーダ |
JP3365109B2 (ja) * | 1994-12-28 | 2003-01-08 | ソニー株式会社 | データ再生装置及びデータ再生方法 |
JPH08251582A (ja) | 1995-03-07 | 1996-09-27 | Toshiba Corp | 符号化データ編集装置 |
US5774206A (en) * | 1995-05-10 | 1998-06-30 | Cagent Technologies, Inc. | Process for controlling an MPEG decoder |
US5877812A (en) * | 1995-11-21 | 1999-03-02 | Imedia Corporation | Method and apparatus for increasing channel utilization for digital video transmission |
US5801779A (en) * | 1995-12-26 | 1998-09-01 | C-Cube Microsystems, Inc. | Rate control with panic mode |
US5719632A (en) * | 1996-01-25 | 1998-02-17 | Ibm Corporation | Motion video compression system with buffer empty/fill look-ahead bit allocation |
US5793436A (en) | 1996-06-17 | 1998-08-11 | Samsung Electronics Co., Ltd. | Buffer occupancy control method for use in video buffering verifier |
US6408030B1 (en) * | 1996-08-20 | 2002-06-18 | Hitachi, Ltd. | Scene-change-point detecting method and moving-picture editing/displaying method |
US6094455A (en) * | 1996-09-25 | 2000-07-25 | Matsushita Electric Industrial Co., Ltd. | Image compression/encoding apparatus and system with quantization width control based on bit generation error |
US6141053A (en) * | 1997-01-03 | 2000-10-31 | Saukkonen; Jukka I. | Method of optimizing bandwidth for transmitting compressed video data streams |
US20020154694A1 (en) * | 1997-03-21 | 2002-10-24 | Christopher H. Birch | Bit stream splicer with variable-rate output |
JPH10285529A (ja) * | 1997-04-04 | 1998-10-23 | Sony Corp | 画像編集装置および画像編集方法 |
US6011868A (en) * | 1997-04-04 | 2000-01-04 | Hewlett-Packard Company | Bitstream quality analyzer |
GB9707037D0 (en) * | 1997-04-07 | 1997-05-28 | Nds Ltd | Improvements in or relating to modifying a digital bitstream |
US6219381B1 (en) | 1997-05-26 | 2001-04-17 | Kabushiki Kaisha Toshiba | Image processing apparatus and method for realizing trick play |
CN1236527A (zh) * | 1997-07-22 | 1999-11-24 | 皇家菲利浦电子有限公司 | 在视频序列之间进行切换的方法及相应的装置 |
KR100574186B1 (ko) * | 1997-10-03 | 2006-04-27 | 소니 가부시끼 가이샤 | 부호화 스트림 스플라이싱 장치 및 방법과 부호화 스트림 생성 장치 및 방법과 편집 장치 및 방법 및 편집 시스템 |
US6192154B1 (en) * | 1998-01-26 | 2001-02-20 | International Business Machines Corporation | Two-pass encoding method of digital motion video sequences for constant-or variable bit rate |
US6611624B1 (en) * | 1998-03-13 | 2003-08-26 | Cisco Systems, Inc. | System and method for frame accurate splicing of compressed bitstreams |
US6289129B1 (en) * | 1998-06-19 | 2001-09-11 | Motorola, Inc. | Video rate buffer for use with push dataflow |
JP2000078569A (ja) * | 1998-09-03 | 2000-03-14 | Toshiba Corp | 画像データ復号化装置及びその方法 |
FR2784845B1 (fr) * | 1998-10-14 | 2001-02-23 | France Telecom | Procede de basculement de la ou des composantes video d'un premier programme audiovisuel sur la ou les composantes video d'un second programme audiovisuel numerique |
GB2344031B (en) * | 1998-11-19 | 2004-03-10 | Nds Ltd | Improvements in or relating to processing digital signals |
US6310915B1 (en) * | 1998-11-20 | 2001-10-30 | Harmonic Inc. | Video transcoder with bitstream look ahead for rate control and statistical multiplexing |
WO2000046997A1 (en) * | 1999-02-04 | 2000-08-10 | General Instrument Corporation | Video rate-buffer management scheme for mpeg transcoder |
US6671323B1 (en) * | 1999-02-05 | 2003-12-30 | Sony Corporation | Encoding device, encoding method, decoding device, decoding method, coding system and coding method |
KR100390115B1 (ko) * | 1999-04-12 | 2003-07-04 | 마츠시타 덴끼 산교 가부시키가이샤 | 화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체 |
US6754276B1 (en) * | 1999-09-20 | 2004-06-22 | Matsushita Electric Industrial Co., Ltd. | System stream creating apparatus which adjusts system clock reference based on total number of pictures to be stored and decoded during certain time period |
US6522693B1 (en) * | 2000-02-23 | 2003-02-18 | International Business Machines Corporation | System and method for reencoding segments of buffer constrained video streams |
US6973130B1 (en) * | 2000-04-25 | 2005-12-06 | Wee Susie J | Compressed video signal including information for independently coded regions |
US6507618B1 (en) * | 2000-04-25 | 2003-01-14 | Hewlett-Packard Company | Compressed video signal including independently coded regions |
JP2001346163A (ja) * | 2000-06-02 | 2001-12-14 | Sony Corp | 記録装置および方法、再生装置および方法、ならびに、記録再生装置および方法 |
CN1229989C (zh) * | 2000-06-10 | 2005-11-30 | 三星电子株式会社 | 用于减少延迟时间的解码方法 |
JP4538908B2 (ja) * | 2000-06-14 | 2010-09-08 | ソニー株式会社 | データ変換装置及び方法 |
US6614442B1 (en) * | 2000-06-26 | 2003-09-02 | S3 Graphics Co., Ltd. | Macroblock tiling format for motion compensation |
US7471298B1 (en) * | 2000-06-26 | 2008-12-30 | S3 Graphics Co., Ltd. | Fetching pixel data with reduced memory bandwidth requirement |
US6453115B1 (en) * | 2000-08-31 | 2002-09-17 | Keen Personal Media, Inc. | Digital video recording system which generates an index data structure for displaying a video stream in trickplay mode |
JP4345217B2 (ja) * | 2000-09-29 | 2009-10-14 | ソニー株式会社 | データ処理方法及び装置 |
US20030118102A1 (en) * | 2000-11-10 | 2003-06-26 | Weiping Li | Encoding and decoding of truncated scalable bitstreams |
US7646816B2 (en) | 2001-09-19 | 2010-01-12 | Microsoft Corporation | Generalized reference decoder for image or video processing |
US20030138045A1 (en) * | 2002-01-18 | 2003-07-24 | International Business Machines Corporation | Video decoder with scalable architecture |
US7149247B2 (en) * | 2002-01-22 | 2006-12-12 | Microsoft Corporation | Methods and systems for encoding and decoding video data to enable random access and splicing |
EP2403263A3 (en) * | 2002-04-26 | 2012-01-25 | Sony Corporation | Encoding device and method, decoding device and method, editing device and method, recoding medium, and program |
US7013116B2 (en) * | 2002-06-26 | 2006-03-14 | Lucent Technologies Inc. | MIMO systems having a channel decoder matched to a MIMO detector |
JP4002878B2 (ja) * | 2003-01-17 | 2007-11-07 | 松下電器産業株式会社 | 画像符号化方法 |
SG140441A1 (en) * | 2003-03-17 | 2008-03-28 | St Microelectronics Asia | Decoder and method of decoding using pseudo two pass decoding and one pass encoding |
JP4438059B2 (ja) * | 2004-08-24 | 2010-03-24 | キヤノン株式会社 | 画像再生装置及びその制御方法 |
KR101537701B1 (ko) * | 2009-02-19 | 2015-07-20 | 엘지전자 주식회사 | 영상표시장치 및 영상표시장치의 스트리밍 서비스 제공방법 |
-
2003
- 2003-04-11 EP EP20110178600 patent/EP2403263A3/en not_active Withdrawn
- 2003-04-11 WO PCT/JP2003/004598 patent/WO2003092293A1/ja active Application Filing
- 2003-04-11 EP EP03747213A patent/EP1501309A4/en not_active Withdrawn
- 2003-04-11 EP EP20110178602 patent/EP2403264A3/en not_active Withdrawn
- 2003-04-11 CN CN038094355A patent/CN1650629B/zh not_active Expired - Fee Related
- 2003-04-11 US US10/510,701 patent/US8315313B2/en active Active
- 2003-04-11 EP EP20110178598 patent/EP2403262A3/en not_active Withdrawn
- 2003-04-11 EP EP20110178607 patent/EP2403265A3/en not_active Withdrawn
- 2003-04-11 CN CN200910224926.8A patent/CN101827262B/zh not_active Expired - Fee Related
- 2003-04-11 KR KR1020107001539A patent/KR100969908B1/ko active IP Right Grant
- 2003-04-11 KR KR1020107001538A patent/KR100988006B1/ko active IP Right Grant
- 2003-04-11 CN CN2009102249253A patent/CN101707707B/zh not_active Expired - Fee Related
- 2003-04-11 KR KR1020047017295A patent/KR100983832B1/ko active IP Right Grant
-
2009
- 2009-03-10 US US12/401,476 patent/US8767837B2/en not_active Expired - Fee Related
- 2009-04-27 JP JP2009108322A patent/JP5223769B2/ja not_active Expired - Lifetime
-
2010
- 2010-02-12 JP JP2010028883A patent/JP5206706B2/ja not_active Expired - Lifetime
-
2011
- 2011-07-25 US US13/190,110 patent/US8537902B2/en not_active Expired - Lifetime
- 2011-07-25 US US13/190,175 patent/US8401088B2/en not_active Expired - Lifetime
- 2011-07-25 US US13/190,239 patent/US8571115B2/en not_active Expired - Lifetime
-
2012
- 2012-02-27 JP JP2012039764A patent/JP5429580B2/ja not_active Expired - Fee Related
-
2014
- 2014-06-02 US US14/293,553 patent/US10477270B2/en active Active
-
2016
- 2016-08-24 US US15/245,803 patent/US10595081B2/en not_active Expired - Fee Related
- 2016-08-29 US US15/250,692 patent/US10659839B2/en not_active Expired - Fee Related
- 2016-08-29 US US15/250,243 patent/US10602219B2/en not_active Expired - Fee Related
- 2016-08-29 US US15/250,176 patent/US10602218B2/en not_active Expired - Fee Related
- 2016-08-29 US US15/250,635 patent/US10602220B2/en not_active Expired - Fee Related
- 2016-08-29 US US15/250,331 patent/US11425453B2/en active Active
- 2016-08-29 US US15/250,711 patent/US20160366419A1/en not_active Abandoned
- 2016-08-30 US US15/251,486 patent/US10609445B2/en not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101309935B1 (ko) * | 2008-01-10 | 2013-09-17 | 알카텔-루센트 유에스에이 인코포레이티드 | 인코딩된 멀티미디어 데이터 스트림을 스플라이싱하는 방법 |
WO2013077665A1 (ko) * | 2011-11-25 | 2013-05-30 | 삼성전자 주식회사 | 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치 |
US9438901B2 (en) | 2011-11-25 | 2016-09-06 | Samsung Electronics Co., Ltd. | Image coding method and device for buffer management of decoder, and image decoding method and device |
US9560370B2 (en) | 2011-11-25 | 2017-01-31 | Samsung Electronics Co., Ltd. | Image coding method and device for buffer management of decoder, and image decoding method and device |
US9699471B2 (en) | 2011-11-25 | 2017-07-04 | Samsung Electronics Co., Ltd. | Image coding method and device for buffer management of decoder, and image decoding method and device |
US9769483B2 (en) | 2011-11-25 | 2017-09-19 | Samsung Electronics Co., Ltd. | Image coding method and device for buffer management of decoder, and image decoding method and device |
US9967570B2 (en) | 2011-11-25 | 2018-05-08 | Samsung Electronics Co., Ltd. | Image coding method and device for buffer management of decoder, and image decoding method and device |
US10218984B2 (en) | 2011-11-25 | 2019-02-26 | Samsung Electronics Co., Ltd. | Image coding method and device for buffer management of decoder, and image decoding method and device |
US10499062B2 (en) | 2011-11-25 | 2019-12-03 | Samsung Electronics Co., Ltd. | Image coding method and device for buffer management of decoder, and image decoding method and device |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5206706B2 (ja) | 符号化装置および方法 | |
JP4875285B2 (ja) | 編集装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
A107 | Divisional application of patent | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130906 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20150904 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20160909 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20170908 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20190906 Year of fee payment: 10 |