KR20060127155A - 화상 정보 부호화 장치 및 화상 정보 부호화 방법 - Google Patents

화상 정보 부호화 장치 및 화상 정보 부호화 방법 Download PDF

Info

Publication number
KR20060127155A
KR20060127155A KR20067017020A KR20067017020A KR20060127155A KR 20060127155 A KR20060127155 A KR 20060127155A KR 20067017020 A KR20067017020 A KR 20067017020A KR 20067017020 A KR20067017020 A KR 20067017020A KR 20060127155 A KR20060127155 A KR 20060127155A
Authority
KR
South Korea
Prior art keywords
information
motion
block
motion vector
mode
Prior art date
Application number
KR20067017020A
Other languages
English (en)
Inventor
도시하루 쯔찌야
가즈시 사또
도루 와다
요이찌 야가사끼
마꼬또 야마다
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20060127155A publication Critical patent/KR20060127155A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

MPEG4/AVC 등의 화상 부호화 방식에 기초하는 화상 압축 정보를 출력하는 화상 정보 부호화 장치에서, 소정의 블록이 스킵 모드나, 스페셜 다이렉트 모드인지 여부의 모드 판정을 행할 때에, 소정의 인접 블록의 모두에 대해 움직임 벡터 정보 등이 계산되어 있을 필요가 있지만, 전체의 처리를 고속화하기 위해 각 블록에 대해 병렬 처리를 행하고 있는 경우에는, 소정의 인접 블록의 움직임 벡터 정보 등이 모두 얻어진다고는 할 수 없다. 이 경우에, 인접 블록의 움직임 벡터 정보 등의 계산을 대기하지 않고 모드 판정을 행할 수 있도록, 인접 블록 대신에, 다른 근방 블록의 움직임 벡터 정보 등을 의사적으로 이용하여 모드 판정을 행한다.
움직임 벡터, 카루넨 뤼베 변환, 라그랑쥬 승수, 복호화

Description

화상 정보 부호화 장치 및 화상 정보 부호화 방법{IMAGE INFORMATION ENCODING DEVICE AND IMAGE INFORMATION ENCODING METHOD}
본 발명은, MPEG(Moving Picture Experts Group), H.26x 등과 같이, 이산 코사인 변환 또는 카루넨 뤼베 변환 등의 직교 변환과 움직임 보상에 의해 압축된 화상 정보(비트 스트림)를, 위성 방송, 케이블 텔레비전, 인터넷, 휴대 전화 등의 네트워크를 통하여 수신할 때에, 혹은 광, 자기 디스크, 플래시 메모리와 같은 기억 매체 상에서 처리할 때에 이용되는 화상 정보 부호화 장치에 관한 것이다．
최근, 화상 정보를 디지털로서 취급하고, 화상 정보 특유의 용장성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG 등의 방식에 준거한 화상 정보 부호화 장치나 복호화 장치가, 방송국 등의 정보 배신, 및 일반 가정에서의 정보 수신의 쌍방에서 보급되고 있다.
특히, MPEG2(IS0(International Organization for Standardization)/IEC(International Electrotechnical Commition) 13818-2)는, 범용 화상 부호화 방식으로서 정의되어 있다. 또한 MPEG2는, 비월 주사 화상 및 순차 주사 화상의 쌍방, 및 표준 해상도 화상 및 고정밀 화상을 망라하는 표준으로, 현재, 프로페셔널 용도 및 컨슈머 용도의 광범위한 어플리케이션에 널리 이용되고 있다. 이 MPEG2 압축 방식을 이용함으로써, 예를 들면 720×480의 화소를 갖는 표준 해상도의 비월 주사 화소이면 4~8Mbps(Bit per Second), 1920×1088의 화소를 갖는 고해상도의 비월 주사 화상이면 18~22Mbps의 부호량(비트 레이트)을 할당함으로써, 높은 압축률로 양호한 화질의 실현이 가능하다.
MPEG2, 주로 방송용에 적합한 고화질 부호화를 대상으로 삼았지만, MPEG1 보다 작은 부호량(저비트 레이트), 즉, 보다 높은 압축률의 부호화 방식에는 대응하지 않았다. 휴대 단말기의 보급에 의해, 향후 그러한 부호화 방식의 니즈는 높아질 것으로 생각되며, 이것에 대응하여 MPEG4 부호화 방식의 표준화가 행해졌다. 화상 부호화 방식에 관해서는, 1998년 12월에 ISO/IEC 14496-2라는 규격이 국제 표준으로서 승인되었다．
또한, 최근, 애초에 텔레비전 회의용의 화상 부호화를 목적으로 하여 책정된 H.26L(ITU(International Telecommunication Union)-TQ6/16 VCEG)이라는 표준의 규격화가 진행되고 있다. H.26L은, MPEG2나 MPEG4 등의 종래의 부호화 방식에 비해, 그 부호화, 복호화에 보다 많은 연산량이 요구되지만，보다 높은 부호화 효율이 실현되는 것이 알려져 있다. 또한, 현재, MPEG4의 활동의 일환으로서, 이 H.26L을 기초로, H.26L에서는 서포트되지 않는 기능도 도입하여, 보다 높은 부호화 효율을 실현하는 표준화가 Joint Model of Enhanced-Compression Video Coding으로서 행해지고, 2003년 3월에는, H.264/AVC(Advanced Video Coding)라는 규격이 국제 표준으로서 인정을 받았다. 이 규격은, MPEG-4 Part10이라고도 한다. 이 명세서에서는, 이후，이 규격을 적절하게 AVC(AVC 규격)라고 한다. 또한, 하기 문헌1에는, 이 규 격에 기초하는 처리의 내용이 기재되어 있다. 　
「Draft Errata List with Revision-Marked Corrections for H.264/AVC」, JVT-1050, Thomas Wiegand et al., Joint Video Team(JVT) of ISO/IEC MPEG & ITU-T VCEG, 2003
여기서, AVC 규격에 기초한 종래의 화상 정보 부호화 장치를, 도 1의 블록도를 참조하여 설명한다. 도 1의 화상 정보 부호화 장치(100)는, A/D 변환부(101), 화면 재배열 버퍼(102), 가산기(103), 직교 변환부(104), 양자화부(105), 가역 부호화부(106), 축적 버퍼(107), 역양자화부(108), 역직교 변환부(109), 디블록 필터(110), 프레임 메모리(111), 인트라 예측부(112), 움직임 예측·보상부(113), 및 레이트 제어부(114)를 포함한다.
입력 신호(화상 신호)는, 먼저，A/D 변환부(101)에 제공되고, 거기에서 디지털 신호로 변환된다. 다음으로, 출력으로 되는 화상 압축 정보의 G0P(Group of Pictures) 구조에 따라, 화면 재배열 버퍼(102)에서 프레임의 재배열이 행해진다.
인트라 부호화, 즉 단일의 프레임을 이용하여 부호화가 행해지는 화상에 관해서는, 입력 화상과, 인트라 예측부(112)에 의해 생성되는 화소치의 차분 정보가 직교 변환부(104)에 입력되고, 여기에서 이산 코사인 변환, 카루넨 뤼베 변환 등의 직교 변환이 실시된다. 직교 변환부(104)의 출력으로 되는 변환 계수는, 양자화부(105)에 제공되고, 거기에서 양자화 처리가 실시된다. 양자화부(105)의 출력으로 되는, 양자화된 변환 계수는, 가역 부호화부(106)에 송출되고, 여기에서 가변 길이부호화, 산술 부호화 등의 가역 부호화가 실시된 후, 축적 버퍼(107)에 축적되 고, 화상 압축 정보로서 화상 정보 부호화 장치(100)로부터 출력된다.
양자화부(105)의 거동은, 레이트 제어부(114)에 의해 제어된다. 양자화부(105)의 출력인, 양자화된 변환 계수는, 역양자화부(108)에 입력되고, 또한 역직교 변환부(109)에서 역직교 변환 처리가 실시되어 부호화 화상 정보로 되고, 디블록 필터(110)에서 블록 왜곡의 제거가 행해진 후, 프레임 메모리(111)에 축적된다. 인트라 예측부(112)에서, 당해 블록/매크로 블록에 대하여 적용된 인트라 예측 모드에 관한 정보는, 가역 부호화부(106)에 전송되고, 화상 압축 정보에서의 헤더 정보의 일부로서 부호화된다.
한편, 인터 부호화, 즉 복수의 프레임의 화상 정보를 이용하여 부호화가 행해지는 화상에 관해서는, 먼저, 부호화 대상의 화상의 정보가, 움직임 예측·보상부(113)에 입력된다. 이것과 함께, 참조되는, 다른 프레임의 화상 정보가 프레임 메모리(111)로부터 움직임 예측·보상부(113)에 입력되고, 거기에서 움직임 예측·보상 처리가 행해지고, 참조 화상 정보가 생성된다. 이 참조 화상 정보는, 가산기(103)에서, 당해 화상 정보에 대하여 위상이 반전되어 가산되고, 차분 신호가 얻어진다. 움직임 예측·보상부(113)는, 동시에 움직임 벡터 정보를 가역 부호화부(106)에 출력하고, 그 정보는 역시 가변 길이 부호화, 산술 부호화 등의 가역 부호화 처리가 실시되어, 화상 압축 정보의 헤더부에 삽입된다. 그 밖의 처리는 인트라 부호화에 관한 것과 마찬가지이다.
다음으로, 도 2의 블록도를 참조하여, 이산 코사인 변환 혹은 카루넨 뤼베 변환 등의 직교 변환과 움직임 보상에 의해 화상 압축을 실현하는 화상 정보 부호 화 장치(120)에 대해 설명한다. 이 화상 정보 부호화 장치(120)는, 축적 버퍼(121), 가역 부호화부(122), 역양자화부(123), 역직교 변환부(124), 가산기(125), 화면 재배열 버퍼(126), D/A 변환부(127), 프레임 메모리(128), 움직임 예측·보상부(129), 인트라 예측부(130), 및 디블록 필터(131)로 구성된다.
입력 정보(화상 압축 정보)는, 먼저, 축적 버퍼(121)에 저장된 후, 가역 부호화부(122)에 전송된다. 여기에서, 정해진 화상 압축 정보의 포맷에 기초하여, 가변 길이 부호화, 산술 부호화 등의 처리가 행해진다. 이것과 함께, 당해 프레임이 인트라 부호화된 것인 경우, 가역 부호화부(122)에서는, 화상 압축 정보의 헤더부에 저장된 인트라 예측 모드 정보도 복호화하고, 그 정보를 인트라 예측부(130)에 전송한다. 당해 프레임이 인터 부호화된 것인 경우, 가역 부호화부(122)에서는, 화상 압축 정보의 헤더부에 저장된 움직임 벡터 정보도 복호화하고, 그 정보를 움직임 예측·보상부(129)에 전송한다.
가역 복호화부(122)의 출력으로 되는, 양자화된 변환 계수는, 역양자화부(123)에 입력되고, 여기에서 변환 계수로서 출력된다. 변환 계수는, 역직교 변환부(124)에서, 정해진 방식에 기초하여，4차의 역직교 변환이 실시된다. 당해 프레임이 인트라 부호화된 것인 경우에는, 역직교 변환 처리가 실시된 화상 정보와, 인트라 예측부(130)에서 생성된 예측 화상이, 가산기(125)에서 합성되고, 또한，디블록 필터(131)에서 블록 왜곡의 제거가 행해진 후, 화면 재배열 버퍼(126)에 저장되고, D/A 변환부(127)에서의 D/A 변환 처리 후에 출력된다.
당해 프레임이 인터 부호화된 것인 경우에는, 움직임 예측·보상부(129)에 서, 가역 부호화부(122)에서 가역 부호화 처리가 실시된 움직임 벡터 정보, 및 프레임 메모리(128)에 저장된 화상 정보를 바탕으로 참조 화상이 생성되고，이 참조 화상과, 역직교 변환부(124)의 출력이, 가산기(125)에서 합성된다. 그 밖의 처리는 인트라 부호화된 프레임과 마찬가지이다.
그런데, 도 1에 도시한 화상 정보 부호화 장치(100)에서는, 높은 압축 효율을 실현하기 위해, 움직임 예측·보상부(113)가 중요한 역할을 한다. AVC 부호화 방식에서는，이하에 설명하는 3개의 방식을 도입함으로써, 종래의 MPEG2나 MPEG4 등의 화상 부호화 방식과 비교하여 높은 압축 효율을 실현하고 있다．
즉, 제1 방식은, 복수 프레임의 참조(Multiple Reference Frame), 제2 방식은, 가변 블록 사이즈를 이용한 움직임 예측·보상, 제3 방식은, 1/4 화소 정밀도의 움직임 보상이다.
제1 방식은, 복수 프레임의 참조이다. AVC 부호화 방식에서는, 움직임 예측·보상에 관하여, 전의 프레임을 1 이상 참조할 수 있다. MPEG2나 MPEG4에서는, 직전의 프레임만이 움직임 예측·보상 시에 참조되었다. 직전의 프레임을 참조함으로써, 부호화하는 프레임에 관해서는, 이동한 오브젝트의 움직임을 나타내는 움직임 벡터와 오브젝트 화상의 차분 데이터만으로, 그 프레임을 재현할 수 있어, 부호화 데이터의 압축률을 높일 수 있다. 그러나, AVC 부호화 방식과 같이, 참조하는 프레임을 복수로 하면, 차분 데이터를 더 저감시키는 것을 기대할 수 있어, 압축률이 보다 향상된다.
도 3에 도시하는 바와 같이, 1개의 당해(커런트) 프레임에 속하는 매크로 블 록의 처리에 관하여, 복수의 프레임을 참조하는 것이 가능하다. 이러한 처리는, 화상 정보 부호화 장치(100)의 움직임 예측·보상부(113)에서는, 이전의 프레임을 프레임 메모리(111)에 축적함으로써, 화상 정보 부호화 장치(120)의 움직임 예측·보상부(129)에서는, 이전의 프레임을 프레임 메모리(128)에 축적함으로써 실현 가능하다.
제2 방식은, 가변 블록 사이즈를 이용한 움직임 예측·보상이다. AVC 부호화 방식에서는, 도 4에 도시하는 바와 같이, 하나의 매크로 블록을 최소로 8(픽셀)×8(픽셀)의 움직임 보상 블록으로 분할하는 것이 가능하다. 또한，8×8의 움직임 보상 블록에 관해서는, 최소로 4×4의 서브 매크로 블록(파티션)으로 분할하는 것이 가능하다. 각 매크로 블록에서, 각각의 움직임 보상 블록은, 별개의 움직임 벡터 정보를 갖는 것이 가능하다.
여기에서, AVC 부호화 방식에서 생성된 비디오 시퀀스의 계층을 큰 단위의 것부터 나타내면, 프레임(픽처)->슬라이스->매크로 블록->서브 매크로 블록->픽셀의 순으로 된다. 4×4의 서브 매크로 블록을 간단하게 블록이라고 부르는 경우도 있다. 여기서는, 매크로 블록 및 서브 매크로 블록을 적절하게 「블록」이라고 하기로 한다.
제3 방식은, 1/4 화소 정밀도의 움직임 보상 처리이다. 이 처리에 대하여, 도 5를 참조하여 설명한다. 가장 먼저, 1/2 화소 정밀도의 화소치가 생성되고, 그 후 1/4 화소 정밀도의 화소치가 계산된다. 1/2 화소 정밀도의 화소치의 생성에 대해서는, 이하의 6tap FIR(Finite Impulse Response) 필터가 정의되어 있다.
Figure 112006060463436-PCT00001
도 5에서, 대문자의 영자로 표기된 부분은, 정수 화소(Integer Sample)를 나타내고 있고, 소문자의 영자로 표기된 부분은, 분수 화소(Fractional Sample, 예를 들면, 1/2 화소 또는 1/4 화소)를 나타내고 있다. 1/2 화소 정밀도의 화소치 b, 및 h에 관해서는, 근방의 정수 화소 정밀도의 화소치와 상기 필터를 이용하여 이하와 같이 구해진다.
Figure 112006060463436-PCT00002
Figure 112006060463436-PCT00003
또한, 이하와 같이 클립 처리를 행하고, b 및 h를 구한다.
Figure 112006060463436-PCT00004
Figure 112006060463436-PCT00005
여기서, Clip1(x)=Clip3(0, 255, x)이며,
Clip3은, 이하와 같이 정의된다.
Figure 112006060463436-PCT00006
또한，「x>>y」는, 2의 보수 표기의 2진수인 x에 대하여, 우측으로 y 비트 시프트하는 것을 나타낸다.
1/2 화소 정밀도의 화소치 j에 대해서는, 먼저, 전술한 b나 h와 마찬가지의 방법으로, aa, bb, cc, dd, ee, ff, gg 및 hh를 생성한 후, 이하의 수학식 7 또는 수학식 8 중 어느 하나로 구해지는 j1을 바탕으로 하여, 수학식 9에 의해 구해진다.
Figure 112006060463436-PCT00007
Figure 112006060463436-PCT00008
Figure 112006060463436-PCT00009
1/4 화소 정밀도의 화소치, a, c, d, n, f, i, k, q에 대해서는, 이하의 수학식 10 내지 수학식 17과 같이, 정수 화소 정밀도의 화소치와, 1/2 화소 정밀도의 화소치의 선형 내삽에 의해 구해진다.
Figure 112006060463436-PCT00010
Figure 112006060463436-PCT00011
Figure 112006060463436-PCT00012
Figure 112006060463436-PCT00013
Figure 112006060463436-PCT00014
Figure 112006060463436-PCT00015
Figure 112006060463436-PCT00016
Figure 112006060463436-PCT00017
또한，1/4 화소 정밀도의 화소치 e, g, p, r은, 이하의 수학식 18 내지 수학식 21과 같이, 1/2 화소 정밀도의 화소치의 선형 내삽에 의해 구해진다.
Figure 112006060463436-PCT00018
Figure 112006060463436-PCT00019
Figure 112006060463436-PCT00020
Figure 112006060463436-PCT00021
다음으로，AVC 부호화 방식에서 규정되어 있는 움직임 벡터 부호화 방식을, 도 6을 참조하여 설명한다. 도 6에는, 블록 E와, 그 주위의 블록 A, B, C, 및 D가 나타나 있다. 여기에서, 블록 A 내지 E는, 매크로 블록이나 서브 매크로 블록이어도 된다． 커런트 블록인(즉, 움직임 보상 처리의 대상으로 되는) 블록 E에 관한 움직임 벡터의 예측치의 생성에는, 원칙적으로 인접 블록 A, B, C에 대한 움직임 벡터 정보 등이 이용된다. 이 처리는, 메디안 예측(Median　Prediction)이라고 한다.
또한, 블록 C가, 당해 픽처(프레임) 내, 혹은, 당해 슬라이스 내에 존재하지 않는, 혹은 처리 순서의 형편에 따라, 블록 C의 움직임 벡터 정보 및 참조 프레임을 이용할 수 없을 때, 움직임 보상 처리는, 블록 C의 움직임 벡터 정보 및 참조 프레임 대신에, 블록 D의 움직임 벡터 정보 및 참조 프레임을 이용한다.
또한, 움직임 보상 블록 B, C, D가 모두 당해 픽처 내, 혹은 당해 슬라이스 내에 존재하지 않은 경우에는, 블록 A에 대한 움직임 벡터 정보 및 참조 프레임이 이용된다.
상기 이외에서, 인트라 부호화되어 있는 경우, 또는 당해 픽처 혹은 슬라이스 내에 존재하지 않는 등의 이유로 움직임 보상에 관한 정보를 이용한 부호화가 불가능한 경우, 그 움직임 벡터값은 0이고, 또한, 참조 인덱스(refidx)의 값은 -1로 된다.
다음으로，P 픽처(프레임)에서의 스킵 모드에 관해서 설명한다. AVC에서는，P 픽처에서, 「스킵 모드」라고 불리는 특수한 부호화 방식이 정의되어 있다. 이것은, 움직임 벡터 정보와 계수 정보를 비트 스트림 중에 매립하지 않고, 복호화 시에는, 임의의 일정한 룰을 바탕으로, 움직임 벡터 정보를 복원하는 모드로서, 이에 따라, 부호화되는 비트 수를 절약할 수 있으며，보다 높은 부호화 효율을 실현하는 것이 가능해진다．
이 스킵 모드는, 블록 사이즈가 16×16의 블록에 대해서만 특수한 모드로 되어 있다. 스킵 모드의 움직임 벡터 정보 등에 관해서는, 참조 인덱스(refIdxL0)의 값은 0이고, 이하에 기재하는 3개의 조건 중 하나라도 성립한 경우에는, 움직임 벡터의 값의 양쪽 성분 (x, y)가 모두 0으로 되고, 그 밖의 경우에는, 전술한 메디안 예측의 결과를 움직임 벡터의 값으로 한다. 여기에서, 커런트 블록은 블록 E라고 한다.
조건1:블록 A 또는 블록 B가 사용 불가인 경우.
조건2:블록 A의 참조 인덱스(refIdxL0A)의 값이 0이고, 또한 움직임 벡터값이 0인 경우.
조건3:블록 B의 참조 인덱스(refIdxL0B)의 값이 0이고, 또한 움직임 벡터값이 0인 경우.
도 7a는, 도 6에서 설명한 블록 A 내지 E의 블록 사이즈가 모두 16×16인 예를 도시한 것이다.
도 7b는, 커런트 블록 E가 16×16의 블록 사이즈이고, 블록 A가 8×4, 블록 B가 4×8, 블록 C가 16×8인 경우를 도시하고 있다. 이 경우에도, 상기한 바와 마찬가지로, 스킵 모드의 판정이 이루어진다. 여기에서, 블록 E의 인접 블록이 작은 사이즈인 경우에는, 복수의 블록이 블록 E에 접하게 되는데, 블록 E의 좌측 위의 각이 접하는 블록을 각각 블록 A, D, B라고 하고, 블록 E의 우측 위의 각이 접하는 블록을 블록 C라고 한다.
다음으로，B 픽처의 다이렉트 모드에 대해 설명한다. 다이렉트 모드는, 블록 사이즈 16×16 또는 8×8에 관한 특수한 모드로서, P 픽처에의 적용은 없다. 전술한 스킵 모드와 마찬가지로, 움직임 벡터 정보가 전송되지 않기 때문에, 복호화 시에는, 인접하는 블록의 정보로부터 이들 움직임 벡터 정보를 생성하지만, 부호화에서의 움직임 보상 처리의 계수 정보는 전송된다. 다이렉트 모드 중，16×16 의 블록에 관해서는, 양자화 처리의 결과, 계수 정보가 0으로 된 경우에는, 계수 정보를 갖지 않는 스킵 모드로서 취급하는 것도 가능하다.
다이렉트 모드에는, 후술하는 바와 같이, 스페셜 다이렉트 모드와, 템포럴 다이렉트 모드가 존재하고, 슬라이스의 헤더에 포함되는 파라미터(예를 들면, 「direct_spatial_mv_pred_flag」)를 이용하여, 당해 슬라이스에서는 어느 쪽이 이용될지를 지정하는 것이 가능하다.
가장 먼저, 스페셜 다이렉트 모드에 관해 설명한다. 스페셜 다이렉트 모드 예측을 행하기 전에, 이하와 같이 소정의 플래그(예를 들면, 「colZeroFlag」)의 값을 설정한다.
즉, 이하의 모두가 「진」일 때, 4×4 블록 단위, 혹은 8×8 블록 단위에서 플래그 「colZeroFlag」의 값을 1로 하고, 그 이외일 때, 0으로 한다.
(a)RefPictList1[0]에 의해 참조되는 참조 프레임(픽처)이, 단기간의 참조 픽처(short-term reference picture)로서 마크된 것이다
(b)콜로케이트 매크로 블록에 대한 참조 인덱스의 값이 0이다
(c)콜로케이트 매크로 블록의 움직임 벡터 정보 mvCol[0] 및, mvCol[1]의 양방이, 1/4 화소 정밀도에서 -1~1 사이의 값이다(콜로케이트 매크로 블록이, 필드 매크로 블록인 경우에는, 수직 방향에 관해서는, 필드 단위에서의 1/4 화소 정밀도이다).
플래그「colZeroFlag」의 값이 1일 때, 혹은 인접 블록이 모두 인트라인 등의 상황에 의해, 당해 블록에 대한 움직임 벡터(pmv)를 생성하는 것이 불가능한 경 우에는, mv(움직임 벡터)=0을 당해 블록에 대하여 적용한다. 그 이외일 때, 메디안 예측에 의해 생성되는 움직임 벡터값을 당해 블록에 대하여 적용한다.
참조 인덱스는 List0, List1 모두 도 7에 도시한 근접 블록　A, B, C(또는 D)의 최소치를 이용한다.
다음으로，템포럴 다이렉트 모드에 대해 설명한다. 전방 움직임 벡터 MV0과 후방 움직임 벡터 MV1은, 후속의 프레임(픽처) RL1의 콜로케이션 블록에서 이용되고 있는 움직임 벡터 MVC로부터 구해진다. 도 8에서, 프레임 B의 소정의 블록(151)에 관한 전의 프레임 RL0에 대한 전방 움직임 벡터 정보를 MV0, 후속의 프레임 RL1에 대한 움직임 벡터 정보를 MV1로 하고, 프레임 RL1의 콜로케이션 블록(150)의 움직임 벡터 정보를 MVC로 한다. 템포럴 다이렉트 모드에서는, MVC 및, 프레임 B 및 참조 프레임 RL0, RL1의 시간축 상의 거리 TDD, TDD로부터, MV0 및 MV1을 이하의 수학식 22, 수학식 23에 의해 생성한다.
Figure 112006060463436-PCT00022
Figure 112006060463436-PCT00023
그런데，AVC에서는, 전술한 바와 같이, 많은 움직임 보상 모드가 정의되어 있고, 도 1에 도시한 바와 같은 종래의 화상 정보 부호화 장치(100)에서, 각각의 매크로 블록에 대하여 최적의 모드의 선택을 행하는 것은, 고압축률의 화상 압축 정보의 생성하기 위해 중요한 기술이다.
이 기술에 관련되는, AVC 표준화를 위한 움직임 벡터 탐색 방식이, 하기 문헌2에 개시되어 있다. 　
「Rate-Distortion Optimization for Video Compression」, G. Sullivan and T. Wiegand, IEEE Signal Processing Magazine, Nov. 1998
이 방식(RD(Rate-Distortion) 최적화라고도 함)에서는, 모든 정밀도의 움직임 탐색에서，이하의 값을 최소로 하는 움직임 벡터가 탐색 결과로서 출력된다.
Figure 112006060463436-PCT00024
여기서, m=(mx, my)T는 움직임 벡터, p=(px, py)T는 예측 움직임 벡터, λMOTION은 움직임 벡터에 대한 라그랑쥬(Lagrange) 승수를 나타낸다. 또한，R(m-p)는, 테이블 룩 업에 의해 구해지는 움직임 벡터 차분의 발생 정보량이다. AVC 부호화 방식에서, 엔트로피 부호화는, UVLC(Universal Variable Length Code)에 기초하는 방법과, CABAC(Context-based Adaptive Binary Arithmetic Coding)에 기초하는 방법의 2가지가 규정되어 있는데, 발생 정보량은, CABAC가 이용되는 경우에도 UVLC에 의한 것을 이용한다. 왜곡은 이하의 수학식 25에 의해 구해진다.
Figure 112006060463436-PCT00025
상기 수학식 25에서，s는 현 프레임의 화상 신호를, c는 참조 프레임의 화상 신호를 나타낸다. 1/2 화소 정밀도 이하의 움직임 벡터의 보정 시에는, 이산 코사인 변환이 아닌, 아다마르 변환을 이용하여 구해지는 SATD(Sum of Absolute Transform Difference)가 이용된다. 라그랑쥬 승수 λMOTION은 이하와 같이 주어진다. 즉, I 및 P 프레임에 대해서는, 수학식 26에 의해, B 프레임에 대해서는, 수학식 27에 의해 주어진다.
Figure 112006060463436-PCT00026
Figure 112006060463436-PCT00027
여기서, QP는, 양자화 파라미터를 의미한다.
참조 프레임으로서는, 이하의 수학식 28의 값을 최소로 하는 프레임이 선택된다. 　
Figure 112006060463436-PCT00028
여기서, R(REF)는, 참조 프레임의 발생 정보량을 UVLC로 구한 것이다.
B 프레임에서의 N×M 블록의 예측 방향은, 이하의 수학식 29의 값을 최소로 하는 것이 선택된다.
Figure 112006060463436-PCT00029
매크로 블록 모드는, 이하의 수학식 30의 값을 최소로 하는 것이 선택된다.
Figure 112006060463436-PCT00030
여기서, QP는, 매크로 블록의 양자화 파라미터를, λMODE는, 모드 선택을 위한 라그랑쥬 승수를 나타낸다.
선택의 후보로 되는 MODE는, 프레임 타입마다 이하의 수학식 31 내지 수학식 33과 같이 정리되며
Figure 112006060463436-PCT00031
Figure 112006060463436-PCT00032
Figure 112006060463436-PCT00033
여기서, SKIP는, 16×16 모드에서, 움직임 벡터 잔차, 및 계수 잔차가 보내지지 않는 것을 나타내고, SSD는, 이하의 수학식 34에 정의되는 바와 같은 오차 제곱합을 나타낸다. 또한，s는 현 프레임의 화상 신호, c는 참조 프레임의 화상 신 호를 나타낸다.
Figure 112006060463436-PCT00034
R(s, c, MODE│QP)는, MODE와 QP를 선택한 경우의 매크로 블록의 발생 정보량을 나타낸다. 발생 정보량 중에는, 헤더, 움직임 벡터, 직교 변환 계수 등 모든 정보에 대응하는 것이 포함된다. cY[x, y, MODE│QP], sY[x, y]는, 재구성 화상, 및 원화상의 휘도 성분을 나타내고, cU, cV나, sU, sV는 색차 성분을 나타낸다.
라그랑쥬 승수 λMOTION은, I 프레임, P 프레임, 및 P 프레임에 대하여, 각각 이하의 수학식 35, 36에 의해 나타내어진다.
Figure 112006060463436-PCT00035
Figure 112006060463436-PCT00036
여기서, QP는, 양자화 파라미터를 나타낸다.
8×8 블록의 분할 시에도, 매크로 블록의 모드 결정의 경우와 마찬가지로 선 택 처리가 행해진다. 이하의 수학식 37의 값을 최소로 하는 분할 모드가 선택된다.
Figure 112006060463436-PCT00037
여기서, QP는, 매크로 블록의 양자화 파라미터, λMODE는, 모드 선택 시에 이용되는 라그랑쥬 승수를 나타낸다.
MODE에서 나타나는 선택 모드의 후보는 P 프레임, B 프레임에 대해 각각 이하의 수학식 38, 39와 같이 정해진다.
Figure 112006060463436-PCT00038
Figure 112006060463436-PCT00039
그런데, 도 1에 도시한 바와 같은 종래의 화상 정보 부호화 장치(100)를, 실시간으로 동작하는 하드웨어로서 실현하는 경우, 고속화 기술로서, 파이프라인 처리와 같은 병렬 처리가 불가결하다. 또한, 고속화를 위한 움직임 탐색의 방법에 따라서는, 규격이 정한 룰에 따른 방법으로 산출한 스킵 모드, 또는 스페셜 다이렉트 모드의 움직임 벡터가, 움직임 벡터의 탐색 범위에 포함되지 않은 경우도 발생할 수 있다.
이러한 경우, 스킵 모드, 또는 스페셜 다이렉트 모드에 관해서는, 통상의 움직임 탐색 처리와는 별도로, 그들 움직임 벡터에 대하여 별도의 움직임 탐색 처리를 행할 필요가 있다.
이들 모드 판정에는, 인접하는 매크로 블록의 움직임 벡터 정보가 필요하게 된다. 그러나, 파이프라인 처리에 의해 각 매크로 블록에 대한 처리가 소정의 순서로 종료하지 않는 경우에는, 이들 인접하는 매크로 블록의 움직임 벡터 정보가 얻어지지 않아서, 스킵 모드 및 스페셜 다이렉트 모드의 판정을 할 때의 방해로 된다.
따라서, 본 발명의 목적은, AVC 등의 화상 부호화 방식에 기초하는 화상 압축 정보를 출력하는 화상 정보 부호화 장치에서, 파이프라인 등의 병렬 처리를 위해 인접 블록의 필요한 벡터 정보 등이 얻어지지 않는 경우에도, 의사적인 정보를 생성함으로써, 고속의 부호화 처리를 실현하는 것이다．
또한, 본 발명의 또 다른 목적은, AVC 등의 화상 부호화 방식에 기초하는 화상 압축 정보를 출력하는 화상 정보 부호화 장치에서, 스킵 모드 또는 스페셜 다이렉트 모드의 판정에 사용되는 움직임 벡터 정보와 참조 인덱스 정보를 의사적으로 산출함으로써, 병렬 처리에 의한 고속화 처리를 실현하면서, 효과적인 모드 설정을 행하는 수단을 제공하는 것이다．
<발명의 개시>
본 발명의 제1 양태는, 움직임 벡터 정보와 계수 정보 중 적어도 1개를 생략하여 블록에 관한 부호화를 행하고, 복호측에서는, 소정의 룰에 따라 생략된 정보 를 복원 가능한 부호화 모드를 갖고, 블록이 부호화 모드에서 부호화 가능한지의 여부를, 블록에 인접하는 소정의 인접 블록의 움직임 정보로 이루어지는 후보 정보를 이용하여 판정하는 판정부와, 적어도 1개의 인접 블록의 움직임 정보를 이용할 수 없는 경우에, 이용할 수 없는 움직임 정보 대신에 의사적인 움직임 정보를 생성하고, 후보 정보로서 제공하는 의사 산출부를 갖는, 움직임 예측을 이용하여 화상 정보의 부호화 처리를 행하는 화상 정보 부호화 장치이다.
본 발명의 제2 양태는, 움직임 벡터 정보와 계수 정보 중 적어도 1개를 생략하여 블록에 관한 부호화를 행하고, 복호측에서는, 소정의 룰에 따라 생략된 정보를 복원 가능한 부호화 모드를 갖고, 블록이 부호화 모드에서 부호화 가능한지의 여부를, 블록에 인접하는 소정의 인접 블록의 움직임 정보로 이루어지는 후보 정보를 이용하여 판정하는 판정 스텝과, 적어도 1개의 인접 블록의 움직임 정보를 이용할 수 없는 경우에, 이용할 수 없는 움직임 정보 대신에 의사적인 움직임 정보를 생성하고, 후보 정보로서 제공하는 의사 산출 스텝을 갖는, 움직임 예측을 이용하여 화상 정보의 부호화 처리를 행하는 화상 정보 부호화 방법이다.
본 발명의 제3 양태는, 컴퓨터에, 움직임 예측을 이용하여 화상 정보의 부호화 처리를 행하는 화상 정보 부호화 방법을 실행시키기 위한 프로그램으로서, 화상 정보 부호화 방법은, 움직임 벡터 정보와 계수 정보 중 적어도 1개를 생략하여 블록에 관한 부호화를 행하고, 복호측에서는, 소정의 룰에 따라 생략된 정보를 복원 가능한 부호화 모드를 갖고, 블록이 부호화 모드에서 부호화 가능한지의 여부를, 블록에 인접하는 소정의 인접 블록의 움직임 정보로 이루어지는 후보 정보를 이용 하여 판정하는 판정 스텝과, 적어도 1개의 인접 블록의 움직임 정보를 이용할 수 없는 경우에, 이용할 수 없는 움직임 정보 대신에 의사적인 움직임 정보를 생성하고, 후보 정보로서 제공하는 의사 산출 스텝을 갖는다.
본 발명에 따르면, AVC 등의 화상 부호화 방식에 기초하는 화상 압축 정보를 출력하는 화상 정보 부호화 장치에 있어서, 파이프라인 등의 병렬 처리를 위해 인접 블록의 필요한 벡터 정보 등이 얻어지지 않는 경우에도, 의사적인 정보를 생성함으로써, 고속의 부호화 처리를 실현할 수 있다．
또한, 본 발명에 따르면, AVC 등의 화상 부호화 방식에 기초하는 화상 압축 정보를 출력하는 화상 정보 부호화 장치에 있어서, 스킵 모드 또는 스페셜 다이렉트 모드의 판정에 사용되는 움직임 벡터 정보와 참조 인덱스 정보를 의사적으로 산출함으로써, 병렬 처리에 의한 고속화 처리를 실현하면서, 효과적인 모드 설정을 행하는 수단이 제공된다.
도 1은, 종래의 화상 정보 부호화 장치의 구성을 도시하는 블록도.
도 2는, 종래의 화상 정보 부호화 장치의 구성을 도시하는 블록도.
도 3은, 움직임 예측·보상 처리에서의 복수 프레임의 참조를 나타내는 개략선도.
도 4는, 매크로 블록과 서브 매크로 블록을 도시하는 개략선도.
도 5는, 1/4 화소 정밀도의 움직임 보상 처리를 설명하기 위한 개략선도.
도 6은, 움직임 벡터 부호화 방식에서의 메디안 예측을 설명하기 위한 개략 선도.
도 7a 및 도 7b는, 스킵 모드, 스페셜 다이렉트 모드를 설명하기 위해 이용하는 개략선도.
도 8은, 템포럴 다이렉트 모드를 설명하기 위한 개략선도.
도 9a 및 도 9b는, 매크로 블록의 움직임 보상 처리의 수순을 설명하기 위해 이용하는 개략선도.
도 10은, 본 발명의 제1 실시 형태에 따른 화상 정보 부호화 장치의 구성을 도시하는 블록도.
도 11은, 본 발명의 후보 움직임 벡터 정보의 의사적인 산출을 설명하기 위해 이용하는 개략선도.
도 12는, 본 발명의 후보 움직임 벡터 정보의 의사적인 산출을 설명하기 위해 이용하는 개략선도.
도 13은, 본 발명의 제1 실시 형태에 따른 화상 정보 부호화 장치의 처리 수순을 나타내는 플로우차트.
<도면의 주요 부분에 대한 부호의 설명>
11 : A/D 변환부
12 : 화면 재배열 버퍼
13 : 가산기
14 : 직교 변환부
15 : 양자화부
16 : 가역 부호화부
17 : 축적 버퍼
18 : 역양자화부
19 : 역직교 변환부
20 : 디블록 필터
21 : 프레임 메모리
22 : 인트라 예측부
23 : 움직임 예측·보상부
24 : 의사 산출부
25 : 모드 판정부
26 : 레이트 제어부
<발명을 실시하기 위한 최량의 형태>
본 발명의 화상 정보 부호화 장치에 대해 설명하기 전에, 파이프라인 등의 고속화 처리를 위해 인접 블록의 필요한 벡터 정보 등이 얻어지지 않는 경우의 구체적인 예에 대해, 도 9를 참조하여 설명한다. 지금, 도 9a에서，X를, 현재 처리가 행해지고 있는 매크로 블록, A를 인접 매크로 블록이라고 하면，X에 대해 움직임 탐색 처리를 행하고 있는 시점에서, A에 관한 움직임 벡터 정보가 반드시 확정되어 있다고는 할 수 없다. 이것은, 전술한 바와 같이, 병렬 처리에 의해, 각 매크로 블록에 대한 각 처리 페이즈가 병행하여 실행되기 때문이다. 또한, 도 9b에서，X를, 현재 처리가 행해지고 있는 매크로 블록, B, C, D를 인접 매크로 블록이 라고 하면，X에 대한 움직임 보상 처리를 행하고 있는 시점에서, B, C, D에 대한 움직임 벡터 정보가 반드시 확정되어 있다고는 할 수 없다.
본 발명에서는, 이와 같이, 파이프라인 등의 고속화 처리를 위해 인접 블록의 필요한 벡터 정보 등이 얻어지지 않는 경우에도, 의사적인 움직임 벡터 정보를 생성함으로써, 후속의 처리를 원활하게 실행하여, 결과적으로 고속의 부호화 처리가 실현된다.
본 발명의 화상 정보 부호화 장치는, 전술한 과제를 해결하기 위해, A/D 변환 장치, 화면 재배열 버퍼, 가산기, 직교 변환 장치, 양자화 장치, 가역 부호화 장치, 축적 버퍼, 역양자화 장치, 역직교 변환 장치, 디블록 필터, 프레임 메모리, 인트라 예측 장치, 움직임 예측·보상 장치, 후보 움직임 벡터 정보 산출 장치, 레이트 제어 장치를 구비하고, 스킵 모드 및 스페셜 다이렉트 모드의 후보 움직임 벡터 정보로서 사용되는 움직임 벡터 정보를 의사적으로 산출하는 방법을 도입함으로써, 파이프라인 등에 의한 고속화 처리를 실현하는 수단을 제공한다.
또한, 이렇게 해서 의사적으로 구해진 움직임 벡터 정보 및 참조 인덱스(참조 프레임) 정보가, AVC 규격의 룰에 따라서 산출된 움직임 벡터 정보 및 참조 인덱스 정보와 각각 일치하지 않은 경우에는, 이들 정보를, 스킵 모드 또는 스페셜 다이렉트 모드 이외의 모드로서 판정을 행함으로써, 한층 압축 효율의 개선을 기대할 수 있다. 이러한 움직임 벡터 정보는, 스킵 모드에 대해서는, 16×16의 블록에 관해서이며, 한편，스페셜 다이렉트 모드에 관해서는, 16×16 혹은 8×8의 블록에 관한 것이다． 또한, 여기에서는, 움직임 벡터 정보 및 참조 인덱스 정보를 통합 하여 적절하게 「움직임 정보」라고 부르기로 한다.
여기에서, 도 10을 참조하여, 본 발명의 제1 실시 형태에 따른 화상 정보 부호화 장치에 대해 설명한다. 도 10은, 제1 실시 형태에 따른 화상 정보 부호화 장치의 구성을 나타내는 블록도이다. 화상 정보 부호화 장치(10)는, A/D 변환부(11), 화면 재배열 버퍼(12), 가산기(13), 직교 변환부(14), 양자화부(15), 가역 부호화부(16), 축적 버퍼(17), 역양자화부(18), 역직교 변환부(19), 디블록 필터(20), 프레임 메모리(21), 인트라 예측부(22), 움직임 예측·보상부(23), 의사 산출부(24), 모드 판정부(25), 및 레이트 제어부(26)를 포함하는 장치이다.
A/D 변환부(11)는, 입력으로 되는 아날로그 화상 신호를 디지털 화상 신호로 변환하고, 그 디지털 화상 신호를 화면 재배열 버퍼(12)에 송출한다. 디지털 화상 신호를 수신한 화면 재배열 버퍼(12)는, 그 디지털 화상 신호로 되는 각 프레임을, 출력으로 되는 화상 압축 정보의 GOP 구조에 따라 재배열한다. 가산기(13)는, 입력 프레임이 인터 부호화되는 경우, 그 입력 프레임과 참조 프레임의 차분의 생성을 행한다.
직교 변환부(14)는, 입력 프레임, 또는 입력 프레임과 참조 프레임의 차분치에, 이산 코사인 변환, 카루넨 뤼베 변환 등의 직교 변환을 실시하고, 양자화부(15)는, 직교 변환이 실시된 변환 계수의 양자화 처리를 행한다. 가역 부호화부(16)는, 양자화부(15)로부터, 양자화된 변환 계수를 수신하고, 이것에 가변 길이 부호화, 산술 부호화 등의 가역 부호화 처리를 행하여 축적 버퍼(17)에 송출한다. 축적 버퍼(17)는, 가역 변환된 화상 압축 정보를 가역 부호화부(16)로부터 수신하 고, 이들을 축적한다.
역양자화부(18)는, 양자화된 변환 계수의 양자화부(15)로부터 수신하고, 이들의 역양자화를 행한다. 역직교 변환부(19)는, 역양자화가 실시된 직교 변환 계수의 역직교 변환을 행하고, 디블록 필터(20)는, 복호 화상에 포함되는 블록 왜곡의 제거를 행하고, 이들의 처리를 거친 복호 화상이 프레임 메모리(21)에 축적된다. 프레임 메모리(21)에서, 이들의 복호 화상이 축적되는 것은, 움직임 예측·보상 처리 때문이다.
움직임 예측·보상부(23)는, 프레임 메모리(21)에 저장된 복호 화상을 입력받아, 움직임 벡터 정보의 탐색 및 움직임 보상 처리를 행한다. 의사 산출부(24)는, 병렬 처리에 의한 고속화를 가능하게 하는 것을 목적으로 하여, 스킵 모드 또는 스페셜 다이렉트 모드의 판정에 사용되는 움직임 벡터 정보를 의사적으로 산출한다. 인트라 예측부(22)는, 프레임 메모리(21)에 저장된 복호 화상을 입력받아, 인트라 예측 처리를 행한다. 모드 판정부(25)는, 움직임 예측·보상부(23) 및 인트라 예측부(22)로부터의 출력을 수신하여, 모드(스킵 모드, 스페셜 모드)의 판정을 행한다.
또한, 레이트 제어부(26)는, 축적 버퍼(17)로부터의 정보를 바탕으로 한 피드백 제어에 의해, 양자화부(15)의 동작의 제어를 행한다.
도 1에 도시한 종래의 화상 정보 부호화 장치(100)와 서로 다른 점은, 움직임 예측·보상부(23), 의사 산출부(24), 및 모드 판정부(25)에서의 처리 내용이다. 이하에서는, 이들 구성 요소의 처리를 중심으로 화상 정보 부호화 장치(10)의 처리 에 대해 설명한다.
여기서, 도 11을 참조하여, 의사 산출부(24)의 처리 내용을 설명한다. 도 7에 관련되어 설명한 바와 같이, 도 11에서, 매크로 블록 X에 대한 움직임 예측·보상 처리가 행해지고 있는 경우, 당해 매크로 블록의 스킵 모드 또는 스페셜 다이렉트 모드의 판정을 행하기 위해서는, 매크로 블록 A, B, C(X가 프레임의 경계에 닿는 등의 이유로 C가 없는 경우에는, C 대신에 D)의 움직임 벡터와 참조 인덱스(refIdx) 정보가 확정되어 있을 필요가 있다.
그러나, 병렬 처리에 의한 화상 부호화 처리를 행하는 경우에는, 예를 들면, 각 매크로 블록에 대한 각 처리 페이즈가 병렬로 실행되기 때문에, 임의의 매크로 블록에 대해 움직임 예측·보상 처리가 행해지고 있는 시점에서, 이 처리에 필요한 다른 매크로 블록의 정보가 이미 얻어져 있다고는 할 수 없다.
따라서, 매크로 블록 A, B, C, D의 움직임 벡터 정보 및 참조 인덱스 정보가 없는 경우에는, 이들 대신에, 도 11에 도시한 매크로 블록 A', B', C', D', A'', B'', C'', D'', …의 움직임 벡터 정보 및 참조 인덱스 정보를 의사적으로 산출하고, 모드 판정을 위해 사용한다. 즉, 이들의 움직임 벡터 정보를 후보 움직임 벡터로서 이용한다.
예를 들면, 매크로 블록 B, C의 움직임 벡터 정보 및 참조 인덱스 정보는 확정되어 있지만, 매크로 블록 A의 움직임 벡터 정보 및 참조 인덱스 정보가 확정되어 있지 않은 경우에는, 도 12에 도시하는 바와 같이, 블록 A'의 움직임 벡터 정보 및 참조 인덱스 정보도 이용하여, 매크로 블록 X에 대한 모드 판정을 행한다. 스 페셜 다이렉트 모드에서는, 블록 A'에 대한 참조 인덱스 정보가 이용된다.
다음으로, 모드 판정부(25)의 처리에 대해 설명한다. 전술한 바와 같이, 의사 산출부(24)에서 산출된 움직임 벡터 정보(및 참조 인덱스 정보)는, AVC 규격의 룰에 따라서 산출되는, 소정의 매크로 블록에 관한 움직임 벡터 정보의 내용과 완전하게 일치한다고는 할 수 없다. 마찬가지로, 참조 인덱스 정보의 내용도 일치한다고는 할 수 없다.
따라서, 모드 판정부(25)는, 규격의 룰에 따라서 산출한, 매크로 블록의 움직임 벡터 정보와, 의사 산출부(24)에서 의사적으로 산출한 움직임 벡터 정보의 비교를 행한다. 또한，스페셜 다이렉트 모드의 경우에는, List0 및 List1의 각 참조 프레임에 관해 참조 인덱스 정보가 일치하는지의 여부도 검사한다.
움직임 벡터 정보와 참조 인덱스 정보의 내용이 일치한 경우, 의사 산출부(24)에서 산출한 후보 움직임 벡터를 스킵 모드, 또는 스페셜 다이렉트 모드의 후보 움직임 벡터 정보로서 이용하고, 임의의 모드 판정 처리를 행한다. 이때, 전술한 RD 최적화에 기초하는 모드 판정을 행해도 된다.
또한, 움직임 벡터 정보가 일치하지 않은 경우에는, 의사 산출부(24)에서 산출된 후보 움직임 벡터 정보를 파기하거나 또는, 16×16의 블록의 후보 움직임 벡터 또는 8×8의 후보 움직임 벡터로 한다. 그 후, 임의의 모드 판정을 행한다. 전술한 바와 같이, 스킵 모드의 경우에는, 16×16의 블록의 움직임 벡터 정보로서 이용되고, 스페셜 다이렉트 모드의 경우에는, 16×16 혹은 8×8의 블록의 움직임 벡터 정보로서 이용된다.
다음으로, 전술한 모드 판정 처리의 수순에 대해, 도 13의 플로우차트를 참조하여 설명한다. 도 13에는, 3개의 점선 블록 A 내지 C이 기재되어 있는데, 이것은, 점선 블록 A 내의 처리는 움직임 예측·보상부(23)에서 행해지고, 점선 블록 B 내의 처리는 인트라 예측부(22)에서 행해지며, 점선 블록 C 내의 처리는 모드 판정부(25)에서 행해지는 것을 나타내고 있다.
먼저, 스텝 S1에서는, 스킵 모드 또는 스페셜 다이렉트 모드의 판정에 사용하기 위해, 움직임 벡터 정보(및 참조 인덱스 정보)가, 의사 산출부(24)에서 산출된다. 여기에서는, 이들 정보를 정보 X라고 한다. 의사 산출부(24)는, 도 11에 도시한 바와 같이, 매크로 블록 X의 모드 판정에 관해서는, 매크로 블록 A의 움직임 벡터 정보의 처리가 끝나지 않은 경우에는, 매크로 블록 A'의 움직임 벡터 정보를 취득하고, 또한, 매크로 블록 A'의 움직임 벡터 정보의 처리가 끝나지 않은 경우에는, 매크로 블록 A''의 움직임 벡터 정보를 취득하고, 움직임 벡터 정보를 취득할 수 없는 경우에, 순차적으로 매크로 블록 X로부터 먼, 즉, A-X간보다 공간적인 거리가 큰 매크로 블록의 움직임 벡터 정보를 취득하도록 제어된다.
도 11에 도시하는 예에서는，A, A', A''…는 규칙적으로 선택된다. 즉, A'는, X가 접하고 있는 A의 변에 대향하는 A의 변에 접하고 있는 블록이고, A''는, A가 접하고 있는 A'의 변에 대향하는 A'의 변에 접하고 있는 블록이다.
이러한 의사 산출부(24)의 동작은, 매크로 블록 B, C, 및 D에 대해서도 마찬가지이다. 또한, 이 예에서는, 매크로 블록 A의 움직임 벡터 정보의 처리가 끝나지 않은 경우에, 그 대신 매크로 블록 A'의 움직임 벡터 정보를 취득하도록 하고 있지만, 움직임 벡터 정보가 구해져 있는 한, 어느 매크로 블록의 혹은, 어떠한 상대적 위치 관계에 있는 움직임 벡터 정보를 취득할지는, 적절하게 정할 수 있다. 또한, 매크로 블록 A의 움직임 벡터 정보 대신에, 복수의 다른 매크로 블록의 움직임 벡터 정보를 사용하도록 해도 된다．
스텝 S1이 종료되면, 스텝 S4에서, 정보 X에 대해, 모드 판정에 사용하는 평가 지표가 산출된다. 이러한 지표는, 실제로 몇 개의 매크로 블록을 대상으로 양자화를 행하여, 결과적으로 필요한 부호량을 추정하기 위해 필요하게 된다. 여기에서는, 예를 들면, 아다마르 변환과 같은 처리가 행해진다.
또한, 움직임 예측·보상부(23)에서는，16×16이나 16×8 등 각 블록 사이즈에 대하여 최적의 움직임 벡터 정보를 탐색하고(스텝 S2), 또한, 그 움직임 벡터 정보에 대해, 모드 판정에 사용하는 평가 지표를 산출한다(스텝 S3). 여기에서, 움직임 벡터의 탐색에는, 주변 블록의 움직임 벡터 정보 등은 사용되지 않는다. 따라서, 주변 블록의 벡터 정보 등이 모두 계산되어 있지 않은 경우에도, 그 계산 결과를 대기하지 않고, 독자적으로 산출할 수 있다．
인트라 예측부(22)에서는, 그 1개의 프레임으로부터 얻어지는 정보로부터, 모드 판정에 사용하는 평가 지표가 산출된다(스텝 S5). 스텝 S3 및 스텝 S5의 처리는, 스텝 S4와 동시에 실행될 필요는 없고, 후술하는 스텝 S10의 처리까지 종료되어 있으면 된다.
다음으로, 스텝 S6에서, 전술한 규격의 방법을 이용하여, 스킵 모드, 또는 스페셜 다이렉트 모드의 후보 움직임 벡터 정보(및 참조 인덱스 정보)가 산출된다. 이들 정보를, 이후에서는, 정보 Y라고 부르기로 한다. 이들 정보는, 스텝 S3에서 이미 산출되어 있는 경우에는, 그 결과를 이용하도록 구성해도 된다．
스텝 S7에서, 정보 X와 정보 Y의 비교가 행해진다. 정보 X와 정보 Y가 동일한 경우, 스텝 S9로 처리가 진행되고, 정보 X가, 스킵 모드 및 스페셜 다이렉트 모드의 판정을 행하기 위해 사용되는 후보 움직임 벡터 정보로 된다.
한편, 정보 X와 정보 Y가 동일하지 않은 경우, 처리가 스텝 S8로 진행되고, 따라서, 정보 X가 파기되거나, 혹은, 16×16의 블록 또는 8×8의 블록의 후보 움직임 벡터 정보로 된다. 이 경우에 정보 X를 후보 움직임 벡터로 함으로써, 압축 효율이 개선될 가능성이 있다.
상기한 바와 같은 수순으로 후보 움직임 벡터 정보가 결정되면, 각 처리에서 산출된 각 후보의 평가 지표에 기초하여, 스텝 S11에서 임의의 모드 판정이 행해진다.
다음으로, 본 발명의 제2 실시 형태에 따른 화상 정보 부호화 장치에 대해 설명한다. 본 실시 형태의 화상 정보 부호화 장치가 갖는 구성 요소는, 도 10에 도시한 제1 실시 형태에 따른 화상 정보 부호화 장치와 마찬가지의 것이기 때문에, 블록도에 대해서는 생략한다. 상위점은, 의사 산출부의 처리 내용에 있다. 따라서, 여기에서는, 이 의사 산출부(이후에서는，24'의 부호를 붙이기로 함)의 처리를 중심으로 설명한다.
의사 산출부(24')에서는, 확정된 주변 블록의 정보를 사용하지 않고, 모든 정보를 특정한 값, 예를 들면 0으로 세트한다. 즉, 스킵 모드에서는, 움직임 벡터 의 값을 각 성분 모두에 0으로 세트하고, 스페셜 다이렉트 모드에서는，List0, List1에 관한 참조 인덱스의 값을 0으로 하고, 또한, List0, List1에 관한 움직임 벡터의 값도 0으로 한다. 그 밖의 처리는, 전술한 제1 실시 형태와 마찬가지이다.
제2 실시 형태에서는, 의사 산출부(24')에서, 스킵 모드, 또는 스페셜 다이렉트 모드의 판정을 위한 움직임 벡터 정보에 관한 계산을 생략할 수 있다.
이와 같이, 화상 정보 부호화 장치는, 병렬 처리에 의한 고속화를 방해하지 않도록 구성되는데, 이러한 기능의 실장에 대해서는, 예를 들면, PC(퍼스널 컴퓨터)와 같은 컴퓨터를 이용하여 소프트웨어로 행하는 것도 가능하다(소프트웨어 인코딩). 예를 들면, CPU(Central Processing Unit), 메모리, 하드디스크, 기록 매체 구동 장치, 네트워크 인터페이스, 및 이들을 서로 접속하는 패스에 의해 구성되는 PC를 이용한 실시를 생각한다.
여기에서, CPU는, DSP(Digital Signal Processor) 등의 코프로세서를 구비하는 것이어도 된다． 메모리에 로드된 프로그램의 명령에 기초하여，CPU는, 전술한 A/D 변환부(11) 등의 각 부의 기능을 실행한다. 필요에 따라, 데이터의 일시적인 기억에는, 고속 액세스가 가능한 메모리를 이용한다. 화면 재배열 버퍼(12)나 축적 버퍼(17) 등의 버퍼나, 프레임 메모리(21) 등에는, 메모리가 사용된다.
이러한 기능을 실현하는 프로그램은, 통상 하드디스크 등의 외부 기억 장치에 기억되어 있고, 유저 등에 의해 부호화 처리가 지시된 경우에 메모리에 로드된다. 또한, 프로그램은, CD(Compact Disc)-ROM(Read Only Memory)이나 DVD(Digital Versatile Disk)-ROM에 기억되고, 기록 매체 구동 장치를 통하여, 하드디스크 등에 판독될 수 있다. 또한, 다른 양태에서는, 퍼스널 컴퓨터가, 네트워크 인터페이스를 통하여 인터넷 등의 네트워크에 접속되어 있는 경우, 프로그램은, 다른 컴퓨터나 사이트로부터, 당해 네트워크를 통하여 하드디스크 등에 기록될 수 있다.
이상, AVC 화상 압축 정보를 출력하는 화상 정보 부호화 장치를 예로 본 발명의 특징을 설명해 왔지만, 본 발명의 적용 범위는 이것에 한정되는 것은 아니다. MPEG-1/2/4나, H.263 등, 움직임 예측을 이용하고 있고, 또한 움직임 벡터 부호화에 DPCM을 이용하고 있는 임의의 화상 부호화 방식에 기초하는 화상 압축 정보를 출력하는 화상 정보 부호화 장치에 적용 가능하다.

Claims (10)

  1. 움직임 예측을 이용하여 화상 정보의 부호화 처리를 행하는 화상 정보 부호화 방법에 있어서,
    상기 부호화 처리는, 움직임 벡터 정보와 계수 정보 중 적어도 1개를 생략하여 블록에 관한 부호화를 행하고, 복호측에서는, 소정의 룰에 따라 상기 생략된 정보를 복원 가능한 부호화 모드를 갖고,
    상기 블록이 상기 부호화 모드에서 부호화 가능한지의 여부를, 상기 블록에 인접하는 소정의 인접 블록의 움직임 정보로 이루어지는 후보 정보를 이용하여 판정하는 판정 스텝과,
    적어도 1개의 상기 인접 블록의 상기 움직임 정보를 이용할 수 없는 경우에, 상기 이용할 수 없는 움직임 정보 대신에 의사적인 움직임 정보를 생성하고, 상기 후보 정보로서 제공하는 의사 산출 스텝을 포함하는 것을 특징으로 하는 화상 정보 부호화 방법.
  2. 제1항에 있어서,
    상기 의사적인 움직임 정보가, 상기 이용할 수 없는 움직임 정보를 갖는 인접 블록의 근방에 있는 근방 블록의, 이용 가능한 움직임 정보인 것을 특징으로 하는 화상 정보 부호화 방법.
  3. 제1항에 있어서,
    상기 의사적인 움직임 정보가, 특정한 값인 것을 특징으로 하는 화상 정보 부호화 방법.
  4. 제1항에 있어서,
    상기 부호화 모드에는, 상기 움직임 벡터 정보와 상기 계수 정보를 생략하여 부호화하는 제1 모드가 포함되고,
    상기 판정 스텝과 상기 의사 산출 스텝은, 제1 모드의 상기 판정 및 상기 생성에 관해서는, 상기 움직임 벡터 정보를 상기 움직임 정보로서 취급하는 것을 특징으로 하는 화상 정보 부호화 방법.
  5. 제1항에 있어서,
    상기 부호화 모드에는, 상기 움직임 벡터 정보를 생략하여 부호화하는 제2 모드가 포함되고,
    상기 판정 스텝과 상기 의사 산출 스텝은, 상기 제2 모드의 상기 판정 및 상기 생성에 관해서는, 상기 움직임 벡터 정보 및 참조 인덱스 정보를 상기 움직임 정보로서 취급하는 것을 특징으로 하는 화상 정보 부호화 방법.
  6. 제2항에 있어서,
    상기 부호화가, MPEG4/AVC의 규격에 따라서 행해지고,
    상기 판정 스텝은, 상기 의사적인 움직임 정보와, 상기 MPEG4/AVC의 규격에 따라 산출된 움직임 정보가 일치하지 않는 경우에는, 상기 의사적인 움직임 정보를 상기 후보 정보로서 이용하지 않는 것을 특징으로 하는 화상 정보 부호화 방법.
  7. 제2항에 있어서,
    상기 부호화가, MPEG4/AVC의 규격에 따라서 행해지고,
    상기 판정 스텝은, 상기 의사적인 움직임 정보와, 상기 MPEG4/AVC의 규격에 따라 산출된 움직임 정보가 일치하지 않는 경우, 상기 의사적인 움직임 정보는,
    상기 부호화 모드가 상기 움직임 벡터 정보와 상기 계수 정보를 생략하여 부호화하는 제1 모드인 경우에는, 16×16의 블록의 후보 움직임 벡터 정보로 하고,
    상기 부호화 모드가 상기 움직임 벡터 정보를 생략하여 부호화하는 제2 모드인 경우에는, 16×16 또는 8×8의 블록의 후보 움직임 벡터 정보로 하는 것을 특징으로 하는 화상 정보 부호화 방법.
  8. 제2항에 있어서,
    상기 근방 블록은, 상기 블록에 관해서, 상기 이용할 수 없는 움직임 정보를 갖는 인접 블록보다 공간적인 거리가 큰 것이 선택되는 것을 특징으로 하는 화상 정보 부호화 방법.
  9. 움직임 예측을 이용하여 화상 정보의 부호화 처리를 행하는 화상 정보 부호 화 장치에 있어서,
    상기 부호화 처리는, 움직임 벡터 정보와 계수 정보 중 적어도 1개를 생략하여 블록에 관한 부호화를 행하고, 복호측에서는, 소정의 룰에 따라 상기 생략된 정보를 복원 가능한 부호화 모드를 갖고,
    상기 블록이 상기 부호화 모드에서 부호화 가능한지의 여부를, 상기 블록에 인접하는 소정의 인접 블록의 움직임 정보로 이루어지는 후보 정보를 이용하여 판정하는 판정부와,
    적어도 1개의 상기 인접 블록의 상기 움직임 정보를 이용할 수 없는 경우에, 상기 이용할 수 없는 움직임 정보 대신에 의사적인 움직임 정보를 생성하고, 상기 후보 정보로서 제공하는 의사 산출부를 갖는 것을 특징으로 하는 화상 정보 부호화 장치.　
  10. 컴퓨터에, 움직임 예측을 이용하여 화상 정보의 부호화 처리를 행하는 화상 정보 부호화 방법을 실행시키기 위한 프로그램으로서,
    상기 화상 정보 부호화 방법은, 움직임 벡터 정보와 계수 정보 중 적어도 1개를 생략하여 블록에 관한 부호화를 행하고, 복호측에서는, 소정의 룰에 따라 상기 생략된 정보를 복원 가능한 부호화 모드를 갖고,
    상기 블록이 상기 부호화 모드에서 부호화 가능한지의 여부를, 상기 블록에 인접하는 소정의 인접 블록의 움직임 정보로 이루어지는 후보 정보를 이용하여 판정하는 판정 스텝과,
    적어도 1개의 상기 인접 블록의 상기 움직임 정보를 이용할 수 없는 경우에, 상기 이용할 수 없는 움직임 정보 대신에 의사적인 움직임 정보를 생성하고, 상기 후보 정보로서 제공하는 의사 산출 스텝을 포함하는 것을 특징으로 하는 프로그램.
KR20067017020A 2004-02-25 2005-01-27 화상 정보 부호화 장치 및 화상 정보 부호화 방법 KR20060127155A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004050295A JP3879741B2 (ja) 2004-02-25 2004-02-25 画像情報符号化装置および画像情報符号化方法
JPJP-P-2004-00050295 2004-02-25

Publications (1)

Publication Number Publication Date
KR20060127155A true KR20060127155A (ko) 2006-12-11

Family

ID=34879580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20067017020A KR20060127155A (ko) 2004-02-25 2005-01-27 화상 정보 부호화 장치 및 화상 정보 부호화 방법

Country Status (6)

Country Link
US (1) US20070286281A1 (ko)
EP (1) EP1746842A1 (ko)
JP (1) JP3879741B2 (ko)
KR (1) KR20060127155A (ko)
CN (1) CN1910933A (ko)
WO (1) WO2005081541A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150135546A (ko) * 2009-03-23 2015-12-02 가부시키가이샤 엔.티.티.도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 복호 장치, 및 화상 예측 복호 방법

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761259B2 (en) 2005-09-22 2014-06-24 Qualcomm Incorporated Multi-dimensional neighboring block prediction for video encoding
FR2893808A1 (fr) * 2005-11-22 2007-05-25 Thomson Licensing Sas Procede et dispositif de codage d'une image video
KR100750145B1 (ko) * 2005-12-12 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
US7912123B2 (en) * 2006-03-01 2011-03-22 Streaming Networks (Pvt.) Ltd Method and system for providing low cost robust operational control of video encoders
JPWO2007136088A1 (ja) * 2006-05-24 2009-10-01 パナソニック株式会社 画像符号化装置、画像符号化方法、及び画像符号化用集積回路
JP4752631B2 (ja) 2006-06-08 2011-08-17 株式会社日立製作所 画像符号化装置、及び画像符号化方法
JP2008005163A (ja) * 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
JP4660433B2 (ja) 2006-06-29 2011-03-30 株式会社東芝 符号化回路、復号回路、エンコーダ回路、デコーダ回路、ｃａｂａｃ処理方法
EP2039170B1 (en) * 2006-07-06 2019-09-04 InterDigital VC Holdings, Inc. Method and apparatus for decoupling frame number and/or picture order count (poc) for multi-view video encoding and decoding
CN101611633B (zh) 2006-07-06 2012-10-03 汤姆逊许可证公司 用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数（poc）的方法和装置
KR101366092B1 (ko) 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
JP4898415B2 (ja) * 2006-12-19 2012-03-14 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
KR100823287B1 (ko) * 2007-01-03 2008-04-21 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
KR101365574B1 (ko) * 2007-01-29 2014-02-20 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
JP2008187694A (ja) * 2007-01-31 2008-08-14 Matsushita Electric Ind Co Ltd 画像符号化装置およびその方法
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
WO2008153262A1 (en) 2007-06-15 2008-12-18 Sungkyunkwan University Foundation For Corporate Collaboration Bi-prediction coding method and apparatus, bi-prediction decoding method and apparatus, and recording midium
US8526499B2 (en) * 2007-06-15 2013-09-03 Sungkyunkwan University Foundation For Corporate Collaboration Bi-prediction coding method and apparatus, bi-prediction decoding method and apparatus, and recording medium
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
CN101415122B (zh) * 2007-10-15 2011-11-16 华为技术有限公司 一种帧间预测编解码方法及装置
JP5194833B2 (ja) * 2008-01-23 2013-05-08 ソニー株式会社 符号化装置および方法、記録媒体、並びにプログラム
JP4977094B2 (ja) * 2008-06-25 2012-07-18 株式会社東芝 画像符号化方法
CN101674474B (zh) * 2008-09-12 2011-08-24 华为技术有限公司 一种编码方法、装置及***
CN101686388B (zh) * 2008-09-24 2013-06-05 国际商业机器公司 视频流编码装置及其方法
CN102210153A (zh) * 2008-10-06 2011-10-05 Lg电子株式会社 用于处理视频信号的方法和设备
US20100135396A1 (en) * 2008-12-03 2010-06-03 Suk Jung Hee Image processing device
JP5222958B2 (ja) * 2008-12-16 2013-06-26 株式会社日立製作所 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
JP5083248B2 (ja) * 2009-03-05 2012-11-28 富士通セミコンダクター株式会社 画像データ復号演算装置
US8320455B2 (en) 2009-03-05 2012-11-27 Qualcomm Incorporated System and method to process motion vectors of video data
CA3160155A1 (en) * 2009-05-29 2010-12-02 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
WO2011013253A1 (ja) * 2009-07-31 2011-02-03 株式会社 東芝 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
CN101827269B (zh) * 2010-01-15 2012-10-17 香港应用科技研究院有限公司 视频编码方法和装置
RU2012140740A (ru) * 2010-04-01 2014-05-10 Сони Корпорейшн Устройство и способ обработки изображения
JP5195875B2 (ja) * 2010-11-10 2013-05-15 ソニー株式会社 復号装置及び方法、記録媒体、並びにプログラム
CN102025992B (zh) * 2010-11-23 2012-11-21 浙江大学 用于h.264视频解码***中帧间预测过程的参考图像管理方法
JP2012209911A (ja) * 2010-12-20 2012-10-25 Sony Corp 画像処理装置および方法
EP2658261A4 (en) * 2010-12-21 2015-06-24 Nec Corp Motion estimation device, motion estimation method, motion estimation program, and video image encoder
AU2012305071B2 (en) * 2011-09-09 2014-12-11 Kt Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
TW201626802A (zh) * 2011-09-28 2016-07-16 Jvc Kenwood Corp 動態影像編碼裝置、動態影像編碼方法、動態影像編碼程式、送訊裝置、送訊方法及送訊程式、以及動態影像解碼裝置、動態影像解碼方法、動態影像解碼程式、收訊裝置、收訊方法及收訊程式
US9392235B2 (en) 2011-11-18 2016-07-12 Google Technology Holdings LLC Explicit way for signaling a collocated reference picture for video coding
KR101606661B1 (ko) 2011-11-18 2016-03-25 모토로라 모빌리티 엘엘씨 고효율 비디오 코딩(ｈｅｖｃ)을 위한 병치된 화상을 시그널링하기 위한 명시적 방법
KR101662139B1 (ko) 2011-11-18 2016-10-10 구글 테크놀로지 홀딩스 엘엘씨 고효율 비디오 코딩을 위한 움직임 정보의 효율적인 저장
US9467694B2 (en) 2011-11-21 2016-10-11 Google Technology Holdings LLC Implicit determination and combined implicit and explicit determination of collocated picture for temporal prediction
BR112014015790A2 (pt) * 2011-12-26 2018-05-22 Motorola Mobility Llc determinação implícita de figura colocalizada para predição temporal
EP2805511B1 (en) 2012-01-20 2019-03-06 Sun Patent Trust Methods and apparatus for encoding and decoding video using temporal motion vector prediction
CN107483959B (zh) 2012-02-03 2019-12-20 太阳专利托管公司 图像解码方法及图像解码装置
CA2866121C (en) 2012-03-06 2018-04-24 Panasonic Intellectual Property Corporation Of America Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US9210425B2 (en) 2012-04-11 2015-12-08 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) flag for temporal prediction
WO2013154674A1 (en) 2012-04-11 2013-10-17 Motorola Mobility Llc Evaluation of signaling of collocated reference picture for temporal prediction
JP5197864B2 (ja) * 2012-04-12 2013-05-15 株式会社東芝 画像復号化方法及び装置
US9319681B2 (en) 2012-07-18 2016-04-19 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) enable flag
JP6131652B2 (ja) 2013-03-18 2017-05-24 富士通株式会社 符号化装置、符号化方法、および符号化プログラム
JP6242139B2 (ja) * 2013-10-02 2017-12-06 ルネサスエレクトロニクス株式会社 動画像復号処理装置およびその動作方法
JP5931160B2 (ja) * 2014-11-05 2016-06-08 三菱電機株式会社 画像符号化装置およびビットストリーム
US10462479B2 (en) 2015-07-10 2019-10-29 Nec Corporation Motion picture encoding device, motion picture encoding method, and storage medium storing motion picture encoding program
JP6078138B1 (ja) * 2015-10-30 2017-02-08 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置及び動画像符号化方法
JP6491587B2 (ja) * 2015-11-06 2019-03-27 日本電信電話株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
KR20180111378A (ko) * 2017-03-31 2018-10-11 주식회사 칩스앤미디어 병렬 처리를 위한 움직임 정보를 처리하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
JP6694086B2 (ja) * 2019-02-13 2020-05-13 日本電信電話株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2637438B2 (ja) * 1987-10-27 1997-08-06 キヤノン株式会社 画像処理装置
JPH04109789A (ja) * 1990-08-29 1992-04-10 Matsushita Electric Ind Co Ltd コンポジットビデオ信号の誤り修整方法
JPH06282946A (ja) * 1993-03-25 1994-10-07 Canon Inc 画像信号再生装置
JP3440830B2 (ja) * 1998-06-26 2003-08-25 ソニー株式会社 画像符号化装置及び方法、並びに記録媒体
JP4427827B2 (ja) * 1998-07-15 2010-03-10 ソニー株式会社 データ処理方法、データ処理装置及び記録媒体
JP3621598B2 (ja) * 1999-03-04 2005-02-16 日本電信電話株式会社 並列ソフトウェア画像符号化方法、および並列ソフトウェア画像符号化プログラムを記録した記録媒体
JP2001309386A (ja) * 2000-04-19 2001-11-02 Mitsubishi Electric Corp 画像処理装置
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
JP4130780B2 (ja) * 2002-04-15 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
JP2004007563A (ja) * 2002-04-19 2004-01-08 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
JP2005005844A (ja) * 2003-06-10 2005-01-06 Hitachi Ltd 計算装置及び符号化処理プログラム
JP4699685B2 (ja) * 2003-08-21 2011-06-15 パナソニック株式会社 信号処理装置及びそれを用いた電子機器
US7400681B2 (en) * 2003-11-28 2008-07-15 Scientific-Atlanta, Inc. Low-complexity motion vector prediction for video codec with two lists of reference pictures

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150135546A (ko) * 2009-03-23 2015-12-02 가부시키가이샤 엔.티.티.도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 복호 장치, 및 화상 예측 복호 방법

Also Published As

Publication number Publication date
JP2005244503A (ja) 2005-09-08
EP1746842A1 (en) 2007-01-24
WO2005081541A1 (ja) 2005-09-01
JP3879741B2 (ja) 2007-02-14
US20070286281A1 (en) 2007-12-13
CN1910933A (zh) 2007-02-07

Similar Documents

Publication Publication Date Title
JP3879741B2 (ja) 画像情報符号化装置および画像情報符号化方法
RU2547634C2 (ru) Способ и устройство обработки изображения
US8094714B2 (en) Speculative start point selection for motion estimation iterative search
JP6707678B2 (ja) 動き補償予測のための方法及び装置
KR101717965B1 (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램
US20110176614A1 (en) Image processing device and method, and program
US20140105295A1 (en) Moving image encoding method and apparatus, and moving image decoding method and apparatus
US20120106862A1 (en) Image processing device, method, and program
KR20120038401A (ko) 화상 처리 장치 및 방법
US8144766B2 (en) Simple next search position selection for motion estimation iterative search
US20120147960A1 (en) Image Processing Apparatus and Method
WO2006035584A1 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2009089332A (ja) 動き予測方法及び動き予測装置
JP6607040B2 (ja) 動きベクトル探索装置、動きベクトル探索方法、及び動きベクトル探索プログラムを記憶する記録媒体
JP2022172332A (ja) 動きベクトル取得方法、装置、コンピュータ・デバイス及び記憶媒体
JP5513333B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
JPWO2012172668A1 (ja) 動画像符号化方法及び装置並びに動画復号化方法及び装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid