KR101054644B1 - 동작 추정 기반 영상 부호화／복호화 장치 및 방법 - Google Patents

동작 추정 기반 영상 부호화／복호화 장치 및 방법 Download PDF

Info

Publication number
KR101054644B1
KR101054644B1 KR1020080117290A KR20080117290A KR101054644B1 KR 101054644 B1 KR101054644 B1 KR 101054644B1 KR 1020080117290 A KR1020080117290 A KR 1020080117290A KR 20080117290 A KR20080117290 A KR 20080117290A KR 101054644 B1 KR101054644 B1 KR 101054644B1
Authority
KR
South Korea
Prior art keywords
image
encoding
photo
unit
video
Prior art date
Application number
KR1020080117290A
Other languages
English (en)
Other versions
KR20100058764A (ko
Inventor
배태면
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020080117290A priority Critical patent/KR101054644B1/ko
Priority to PCT/KR2009/005166 priority patent/WO2010062027A1/ko
Priority to US12/998,412 priority patent/US20110216826A1/en
Priority to EP09829234A priority patent/EP2352294A1/en
Priority to CN200980143320.XA priority patent/CN102204253B/zh
Publication of KR20100058764A publication Critical patent/KR20100058764A/ko
Application granted granted Critical
Publication of KR101054644B1 publication Critical patent/KR101054644B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 동영상의 부호화 시에 포토 코어 트랜스폼(Photo Core Transform) 기반으로 동작을 추정하여 부호화를 수행하고, 동영상의 복호화 시에 동작을 보상하여 복호화를 수행함으로써, 동영상의 시간적, 공간적 중복성을 제거하도록 하는, 동작 추정 기반 영상 부호화/복호화 장치 및 방법에 관한 것이다.
본 발명에 따른 영상 처리 시스템은, 입력 영상에 대해 동작 추정 기반으로 포토 코어 트랜스폼을 통해 변형하고 가변길이코드(VLC)로 부호화하여 비트 스트림으로 출력하는 영상 부호화 장치; 및 상기 영상 부호화 장치로부터 수신된 비트 스트림에 대해 동작을 보상하여 복호화하는 영상 복호화 장치를 포함한다.
본 발명에 의하면, 낮은 성능의 모바일 디바이스에서도 낮은 연산량의 비디오 코덱을 통해 비디오 재생이나 압축 동작이 가능하고, 배터리의 사용 시간도 연장해서 사용할 수 있다.
동영상, MPEG, 스트림, 압축, 재생, VLC, PCT, 동작, 추정, DCT, JPEG

Description

동작 추정 기반 영상 부호화／복호화 장치 및 방법{device and method for coding/decoding picture based on motion estimation}
본 발명은 동작 추정 기반 영상 부호화/복호화 장치 및 방법에 관한 것으로, 더욱 상세하게는 동영상의 부호화 시에 포토 코어 트랜스폼(Photo Core Transform) 기반으로 동작을 추정하여 부호화를 수행하고, 동영상의 복호화 시에 동작을 보상하여 복호화를 수행함으로써, 동영상의 시간적, 공간적 중복성을 제거하도록 하는, 동작 추정 기반 영상 부호화/복호화 장치 및 방법에 관한 것이다.
일반적으로 디지털 비디오 신호는 데이터 용량이 방대하기 때문에, 소정의 방식으로 압축 및 부호화 하여 전송하거나 기록매체에 기록된다. 최근에는 MPEG(Moving Picture Experts Group) 방식이 압축 부호화 시스템의 표준적인 방식으로 알려져 있다. MPEG에서는 DCT(Discrete Cosine Transform)와 움직임 보상을 이용해서 디지털 비디오 신호의 압축 부호화를 행하거나, 가변 길이 부호(VLC:Varibale Length Coding)를 이용해서 데이터의 압축율을 높이고 있다.
MPEG의 데이터 구조는 하위층에서 상위층의 순서로 블록층, 매크로 블록층, 슬라이스층, 픽쳐층, GOP층 및 시퀀스층으로 이루어졌다. 블록층은 DCT 처리를 행하는 단위인 DCT 블록으로 이루어진다. 매크로 블록층은 복수의 DCT로 구성된다. 슬라이스층은 헤더부와 1 이상의 매크로 블록으로 구성된다. 픽쳐층은 헤더부와 1 이상의 슬라이스로 구성된다. 1 픽쳐(Picture)는 1 화면에 대응한다.
GOP층은 헤더부와 프레임내 부호화(intra-frame encoding)에 기초하는 I(Intra-coded) 픽쳐와, 예측 부호화에 기초하는 P(Predictive-coded) 픽쳐와, B(Bi-directionally Predictive coded) 픽쳐로 구성된다. I 픽쳐는 그 자신의 정보만으로 디코딩될 수 있다. P 및 B 픽쳐는 기준화상으로서 이전 혹은 이후의 화상이 필요하게 되고 단독으로 디코딩되지 않는다. 예를 들면, P 픽쳐는 자신보다 시간적으로 앞선 I 픽쳐 또는 P 픽쳐를 기준 화상으로서 이용하여 디코딩된다. 또한, B 픽쳐는 자신의 전후의 I 픽쳐 또는 P 픽쳐의 2매의 픽쳐를 기준화상으로서 이용하여 디코딩된다. 1매 이상의 I 픽쳐를 포함하고 그 자신에서 완결된 그룹은 GOP(Group Of Picture)라 부르고, GOP는 MPEG의 스트림에 있어서 액세스 가능한 최소의 단위가 된다.
그런데, 이런 압축 영상을 서버에서 모바일 디바이스로 스트리밍하여 모바일 디바이스(Mobile Device)에서 재생할 때, 모바일 디바이스는 일반 PC(Personal Computer)와 달리 연산 성능과 메모리, 배터리의 제약이 크다.
따라서, 동영상의 재생 또는 압축을 모바일 디바이스에서 수행하는 경우, 재생 및 압축을 담당하는 비디오 코덱의 연산량(Computational Complexity)이 낮을수록 배터리의 재생 시간도 오래가고, 제한된 연산 능력을 가진 상황에서 구동이 가 능해진다.
일반적으로 가장 많이 사용되고 있는 비디오 코덱은 MPEG-4, H.264, H.263으로 이러한 MPEG 기반 비디오 코덱은 높은 압축률을 보이고 있지만 높은 연산량으로 핸드폰과 같은 모바일 디바이스에서 재생 시 1~2 시간 이상 시청하는 경우 배터리가 방전되는 현상이 발생한다. 특히, 영상 통화, 개인방송, 영상녹화와 같은 기능의 비디오 압축 시, 비디오 재생에 대해 훨씬 더 많은 연산량이 필요하게 되어 배터리의 사용시간이 더더욱 짧아지게 되는 문제점이 있다.
전술한 문제점을 해결하기 위한 본 발명은 동영상의 부호화 시에 포토 코어 트랜스폼(Photo Core Transform) 기반으로 동작을 추정하여 부호화를 수행하고, 동영상의 복호화 시에 동작을 보상하여 복호화를 수행함으로써, 동영상의 시간적, 공간적 중복성을 제거하도록 하는, 영상 처리 시스템 및 그 방법, 동작 추정 기반 영상 부호화/복호화 장치 및 그 방법을 제공함에 목적이 있다.
전술한 목적을 달성하기 위한 본 발명에 따른 영상 처리 시스템은, 입력 영상에 대해 동작 추정 기반으로 포토 코어 트랜스폼을 통해 변형하고 가변길이코드(VLC)로 부호화하여 비트 스트림으로 출력하는 영상 부호화 장치; 및 상기 영상 부호화 장치로부터 수신된 비트 스트림에 대해 동작을 보상하여 복호화하는 영상 복호화 장치를 포함한다.
여기서, 상기 영상 부호화 장치는, 상기 입력 영상에 대해 블럭 단위로 부호화하여 비트 스트림으로 출력하게 된다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 영상 처리 방법은, 영상 부호화 장치 및 영상 복호화 장치를 포함하는 시스템의 영상 처리 방법으로서, (a) 상기 영상 부호화 장치에서 입력 영상을 동작 추정 기반으로 포토 코어 트랜스폼을 통해 변형하여 부호화하는 단계; (b) 상기 부호화된 영상을 비트 스트림으로 상기 영상 복호화 장치로 전송하는 단계; (c) 상기 영상 복호화 장치에서 상기 비트 스트림에 대해 동작을 보상하여 복호화하는 단계; 및 (d) 상기 영상 복호화 장치에서 상기 복호화된 영상을 재생하는 단계를 포함한다.
여기서, 상기 (a) 단계는, 상기 포토 코어 트랜스폼을 통해 변형된 영상을 가변길이코드로 부호화하게 된다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 영상 부호화 장치는, 영상을 입력하는 영상 입력부; 상기 입력된 영상을 포토 기반으로 변형하는 포토 변형부; 상기 포토 기반으로 변형된 영상을 양자화하는 양자화부; 상기 양자화 된 영상을 가변길이코드(VLC)로 부호화하는 가변장 코더(VLC)부; 상기 양자화 된 영상을 역양자화하는 역양자화부; 상기 역양자화 된 영상에서 기준 프레임으로 사용할 이 전 영상을 저장하는 영상 저장부; 상기 저장된 이전 영상에서 동작을 추정하여 상기 포토 변형부로 전달하는 동작 추정부; 및 상기 영상 입력부와, 상기 포토 변형부, 상기 양자화부, 상기 역양자화부, 상기 영상 저장부 및 상기 동작 추정부의 동작을 제어하는 제어부를 포함한다.
또한, 상기 영상 입력부는, 상기 입력된 영상을 상기 포토 변형부로 전달함과 더불어 상기 동작 추정부로 동시에 전달하게 된다.
또한, 상기 가변장 코더부에서 출력된 영상과 상기 동작 추정부에서 출력된 영상을 멀티플렉싱하여 비트 스트림으로 출력하는 다중 결합부를 더 포함한다.
그리고, 상기 포토 변형부와 상기 양자화부 및 상기 가변장 코더부는 JPEG XR 기반으로 동작하게 된다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 영상 복호화 장치는, 영상 부호화 장치로부터 수신한 영상을 가변 길이 방식으로 디코딩하는 가변장 디코더부; 상기 디코딩된 영상을 역양자화하는 역양자화부; 상기 역양자화 된 영상을 포토 기반으로 역변형하는 포토 역변형부; 상기 포토 기반으로 역변형된 영상을 저장하는 영상 저장부; 상기 포토 기반으로 역변형된 영상의 동작을 보상하는 동작 보상부; 상기 동작이 보상된 영상을 재생하는 영상 재생부; 및 상기 가변장 디코더부와, 상기 역양자화부, 상기 포토 역변형부, 상기 영상 저장부, 상기 동작 보상부 및 상기 영상 재생부의 동작을 제어하는 제어부를 포함한다.
그리고, 상기 영상 부호화 장치로부터 수신한 비트 스트림의 영상을 디멀티 플렉싱하여 상기 가변장 디코더부와 상기 동작 보상부로 동시에 전달하는 다중 분리부를 더 포함한다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 영상 부호화 방법은, (a) 입력된 영상에 대해 포토 기반으로 변형하는 단계; (b) 상기 포토 기반으로 변형된 영상을 양자화하는 단계; 및 (c) 상기 양자화 된 영상을 가변 길이 방식으로 부호화하는 단계를 포함한다.
또한, (d) 상기 양자화 된 영상을 역양자화하는 단계; (e) 상기 역양자화 된 영상에서 기준 프레임으로 사용할 이전 영상을 저장하는 단계; (f) 상기 이전 영상에 대해 동작을 추정하는 단계; 및 (g) 상기 동작 추정한 결과를 상기 (c) 단계의 부호화에 적용하는 단계를 더 포함한다.
또한, 상기 (c) 단계는, 바로 직전에 부호화 된 블럭과 현재 블럭의 차이가 특정 임계값보다 작으면 바로 직전 블럭의 영상을 그대로 복사하여 사용하는 스킵 모드로 부호화하게 된다.
또한, 상기 (c) 단계는, 상기 스킵 모드로 부호화 할 수 없는 경우에, 상기 동작 추정한 영상과 원영상의 차이가 특정 임계값보다 작으면 제로 모션 모드로 부호화하게 된다.
그리고, 상기 동작 추정한 영상과 원영상의 차이가 특정 임계값보다 크면 JPEG XR 방식으로 블럭 단위로 부호화하게 된다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 영상 복호화 방법은, (a) 영상 부호화 장치로부터 수신한 영상을 가변 길이 방식으로 디코딩하는 단계; (b) 상기 디코딩된 영상을 역양자화하는 단계; (c) 상기 역양자화 된 영상을 포토 기반으로 역변형하는 단계; 및 (d) 상기 포토 기반으로 역변형된 영상의 동작을 보상하는 단계를 포함한다.
또한, (e) 상기 동작이 보상된 영상을 재생하는 단계를 더 포함한다.
그리고, 상기 (c) 단계는, 상기 포토 기반으로 역변형된 영상을 저장하는 것을 포함한다.
한편, 본 발명에 따른 영상 부호화 방법을 프로그램으로서 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다. 또한, 본 발명에 따른 영상 복호화 방법을 프로그램으로서 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다.
본 발명에 의하면, 낮은 성능의 모바일 디바이스에서도 낮은 연산량의 비디오 코덱을 통해 비디오 재생이나 압축 동작이 가능하고, 배터리의 사용 시간도 연장해서 사용할 수 있다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항 은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 영상 처리 시스템의 구성을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명에 따른 영상 처리 시스템(100)은 영상 부호화 장치(110), 통신망(120), 영상 복호화 장치(130)를 포함한다.
영상 부호화 장치(110)는 동영상을 스트리밍 형태로 제공해 주는 서버가 될 수 있으며, 동영상을 상대방 단말기로 전송해 주는 이동 단말기도 될 수 있다.
따라서, 영상 부호화 장치(110)는 입력 영상에 대해 동작 추정(Motion Estimation) 기반으로 포토 코어 트랜스폼(Photo Core Transform)을 통해 변형하고 가변길이 코드(VLC:Variable Length Code))로 부호화하여 비트 스트림(Bit stream)으로 출력한다.
여기서, 영상 부호화 장치(110)는, 입력 영상에 대해 블럭(Block) 단위로 부호화하여 비트 스트림으로 출력하게 된다.
통신망(120)은 CDMA 방식이나 HSDPA 방식, WCDMA 방식, TD-SCDMA 방식의 이동 통신망을 포함하는 무선 통신망일 수 있고, 인터넷망 등의 유선 통신망일 수 있다.
영상 복호화 장치(130)는 영상 부호화 장치(110)로부터 수신된 비트 스트림에 대해 동작을 보상하여 복호화한다. 여기서, 영상 복호화 장치(130)도 동영상 등 의 미디어 컨텐츠를 수신하여 재생하는 이동 단말기일 수 있으며, DVD 등의 영상 재생 장치일 수도 있다.
도 2는 본 발명의 실시예에 따른 영상 부호화 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
도 2를 참조하면, 본 발명에 따른 영상 부호화 장치(110)는, 영상 입력부(210), 포토 변형(Photo Core Transform)부(220), 양자화부(Quantization)(230), 가변장 코더(Variable Length Coder)부(240), 역양자화부(250), 영상 저장부(260), 동작 추정(Motion Estimation)부(270), 다중 결합부(Multiplexer)(280) 및 제어부(290)를 포함한다.
영상 입력부(210)는 동영상 등의 영상을 입력한다.
포토 변형부(220)는 영상 입력부(210)를 통해 입력된 영상을 포토 기반으로 변형한다.
양자화부(230)는 포토 변형부(220)를 통해 포토 기반으로 변형된 영상을 양자화한다.
가변장 코더부(240)는 양자화부(230)에 의해 양자화 된 영상을 가변길이코드(VLC)로 부호화한다.
역양자화부(250)는 양자화부(230)에 의해 양자화 된 영상을 역양자화한다.
영상 저장부(260)는 역양자화부(250)에 의해 역양자화 된 영상에서 기준 프레임으로 사용할 이전 영상을 저장한다.
동작 추정부(270)는 영상 저장부(260)에 저장된 이전 영상에서 동작을 추정하여 포토 변형부(220)로 전달한다.
다중 결합부(280)는 가변장 코더부(240)에서 출력된 영상과 동작 추정부(270)에서 출력된 영상을 멀티플렉싱(Multiplexing)하여 비트 스트림으로 출력한다.
제어부(290)는 영상 입력부(210)와, 포토 변형부(220), 양자화부(230), 가변장 코더부(240), 역양자화부(250), 영상 저장부(260) 및 동작 추정부(270)의 동작을 제어한다.
또한, 영상 입력부(210)는, 입력된 영상을 포토 변형부(220)로 전달함과 더불어 동작 추정부(270)로 동시에 전달하게 된다.
그리고, 포토 변형부(220)와 양자화부(230) 및 가변장 코더부(240)는 JPEG XR(eXtended Range) 기반으로 동작하게 된다.
도 3은 본 발명의 실시예에 따른 영상 복호화 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
도 3을 참조하면, 본 발명에 따른 영상 복호화 장치(130)는, 영상 수신부(310), 가변장 디코더부(Variable Length Decoder)(320), 역양자화부(330), 포토 역변형부(Photo Reverse transform)(340), 영상 저장부(350), 동작 보상(Motion Compensation)부(360), 영상 재생부(370), 다중 분리(De-multiplexing)부(380) 및 제어부(390)를 포함한다.
영상 수신부(310)는 영상 부호화 장치(110)로부터 스트리밍되는 또는 전송되는 동영상 등의 영상 데이터를 수신한다.
가변장 디코더부(320)는 영상 부호화 장치(110)로부터 수신한 영상을 가변 길이 방식으로 디코딩한다.
역양자화부(330)는 가변장 디코더부(320)에 의해 디코딩된 영상을 역양자화한다.
포토 역변형부(340)는 역양자화부(330)에 의해 역양자화 된 영상을 포토 기반으로 역변형한다.
영상 저장부(350)는 포토 역변형부(340)에 의해 포토 기반으로 역변형된 영상을 저장한다.
동작 보상부(360)는 포토 기반으로 역변형된 영상의 동작을 보상(Compensation)한다.
영상 재생부(370)는 동작 보상부(360)에 의해 동작이 보상된 영상을 재생한다.
다중 분리부(38)는 영상 부호화 장치(110)로부터 수신한 비트 스트림의 영상을 디멀티 플렉싱(De-multiplexing)하여 가변장 디코더부(320)와 동작 보상부(360)로 동시에 전달한다.
제어부(390)는 영상 수신부(310)와, 가변장 디코더부(320), 역양자화부(330), 포토 역변형부(340), 영상 저장부(350), 동작 보상부(360) 및 영상 재생부(370)의 동작을 제어한다.
도 4는 본 발명의 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 영상 부호화 장치(110)는 입력 영상을 동작 추정 기반으로 포토 코어 트랜스폼(PCT)을 통해 변형하여 부호화한다(S410).
즉, 영상 부호화 장치(110)는 포토 코어 트랜스폼을 통해 변형된 영상을 가변길이코드(VLC)로 부호화하게 된다.
이어, 영상 부호화 장치(110)는 부호화된 영상을 비트 스트림으로 통신망(120)을 통해 영상 복호화 장치(130)로 전송한다(S420).
이에 대해, 영상 복호화 장치(130)는 영상 부호화 장치(110)로부터 수신한 비트 스트림에 대해 동작을 보상하여 복호화한다(S430).
따라서, 영상 복호화 장치(130)는 복호화된 영상을 재생한다(S440).
도 5는 본 발명의 실시예에 따른 영상 부호화 장치의 동작 추정 기반 영상 부호화 방법을 설명하기 위한 동작 흐름도이다.
도 5를 참조하면, 본 발명에 따른 영상 부호화 장치(110)는 영상 입력부(210)를 통해 영상이 입력되면(S502), 입력된 영상을 포토 변형부(220)를 통해 포토 방식으로 변형한다(S504).
이어, 영상 부호화 장치(110)는 포토 방식으로 변형된 영상을 양자화부(230)를 통해 양자화한다(S506).
이어, 영상 부호화 장치(110)는 가변장 코더부(240)를 통해 양자화 된 영상 을 가변 길이 방식으로 부호화하는데, 먼저 스킵 모드로 부호화가 가능한 지를 판단하여(S508), 스킵 모드로 부호화가 가능한 경우(S508-예) 스킵 모드로 부호화를 수행한다(S510).
여기서, 스킵 모드(skip mode)는 바로 직전에 부호화 된 영상 블럭과 현재 영상 블럭의 차이가 특정 임계값보다 작을 경우에 바로 직전의 영상 블럭을 그대로 복사(copy)하여 사용하는 모드이다.
그러나, 스킵 모드로 동작할 수 없는 경우(S508-아니오), 영상 부호화 장치(110)는 제로 모션 모드로 부호화 할 수 있는지를 판단하여(S520), 제로 모션 모드로 부호화가 가능한 경우(S520-예), 제로 모션 모드로 부호화를 수행한다(S522).
한편, 제로 모션 모드로도 부호화 할 수 없는 경우(S520-아니오), 영상 부호화 장치(110)는 동작 추정 영상과 원영상의 차이를 특정 임계값과 비교하고(S530), 그 차이가 특정 임계값보다 큰 경우에(S532-예), JPEG XR 방식으로 부호화를 수행한다(S534).
그러나, 그 차이가 특정 임계값보다 작은 경우(S532-아니오), 영상 부호화 장치(110)는 동작 추정 모드로 부호화를 수행한다(S536).
전술한 스킵 모드로 부호화를 수행하거나(S510), 제로 모션 모드로 부호화를 수행하거나(S522), JPEG XR 방식으로 부호화를 수행(S534)한 다음에, 영상 부호화 장치(110)는 그 부호화를 수행한 영상 블럭이 마지막 블럭인지를 판단하여(S540), 마지막 블럭이면 부호화 동작을 종료하고, 마지막 블럭이 아닌 경우에(S540-아니오), 다음의 영상 블럭을 선택하여(S542) 부호화 동작이 스킵 모드가 가능한지를 판단하는 S508 단계로 복귀하여 다음 블럭에 대한 영상의 부호화를 수행한다.
한편, 영상 부호화 장치(110)는 동작 추정 모드로 부호화 할 경우에, 포토 기반으로 변형된 영상을 양자화부(230)를 통해 양자화 한 다음에, 양자화 된 일부 영상에 대해 역양자화부(250)를 통해 역양자화하고, 역양자화 된 영상에서 기준 프레임으로 사용할 이전 영상을 영상 저장부(260)에 저장한다.
그리고, 영상 부호화 장치(110)는 이전 영상에서 동작 추정부(270)를 통해 동작 추정한 영상을 다중 결합부(280)로 전달하여, 다중 결합부(280)를 통해 가변장 코더부(240)에서 출력된 영상과 동작 추정부(270)에서 전달된 영상을 멀티플렉싱(multiplexing)하여 비트 스트림으로 출력하는 것이다.
도 6은 본 발명의 실시예에 따른 영상 복호화 장치의 영상 복호화 방법을 설명하기 위한 동작 흐름도이다.
도 6을 참조하면, 영상 복호화 장치(130)는 영상 부호화 장치(110)로부터 영상 수신부(310)를 통해 비트 스트림이 수신되면(S602), 수신한 비트 스트림을 가변장 디코더부(320)를 통해 가변 길이(VLC) 방식으로 디코딩한다(S604).
이어, 영상 복호화 장치(130)는 가변장 디코더부(320)를 통해 디코딩된 영상을 역양자화부(330)를 통해 역양자화한다(S606).
영상 복호화 장치(130)는 역양자화부(330)를 통해 역양자화 된 영상을 포토 역변형부(340)를 통해 포토 기반으로 역변형한다(S608).
영상 복호화 장치(130)는 포토 기반으로 역변형된 영상을 영상 저장부(350) 에 저장한다(S610).
영상 복호화 장치(130)는 포토 역변형부(340)에 의해 포토 기반으로 역변형된 영상에 대해 동작 보상부(360)를 통해 동작을 보상한다(S612).
영상 복호화 장치(130)는 동작이 보상된 영상을 영상 재생부(370)를 통해 재생한다(S614).
한편, 본 발명에 따른 영상 부호화 방법을 프로그램으로서 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다. 또한, 본 발명에 따른 영상 복호화 방법을 프로그램으로서 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다.
전술한 바와 같이 본 발명에 의하면, 동영상의 부호화 시에 포토 코어 트랜스폼 기반으로 동작을 추정하여 부호화를 수행하고, 동영상의 복호화 시에 동작을 보상하여 복호화를 수행함으로써, 동영상의 시간적, 공간적 중복성을 제거하도록 하는, 영상 처리 시스템 및 그 방법, 동작 추정 기반 영상 부호화/복호화 장치 및 그 방법을 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부 터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 동영상 등의 미디어 컨텐츠를 통신망을 통해 단말기로 스트리밍 해 주는 시스템에 적용할 수 있다.
또한, 서버로부터 스트리밍받은 미디어 컨텐츠를 재생할 때 JPEG XR 기반으로 복호화하여 재생하는 미디어 재생 장치에 적용할 수 있다.
그리고, 서버에서 단말기로 미디어 컨텐츠를 무선으로 스트리밍 해 줄 때 포토 기반 변형(PCT) 방식으로 스트리밍 해 줌으로써 단말기 측에서도 포토 기반 변형 방식으로 복호화해서 재생함으로써 배터리의 사용 시간을 연장할 수 있는 무선 통신 시스템에도 적용할 수 있다.
도 1은 본 발명의 실시예에 따른 영상 처리 시스템의 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 영상 부호화 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 영상 복호화 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
도 4는 본 발명의 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 영상 부호화 장치의 동작 추정 기반 영상 부호화 방법을 설명하기 위한 동작 흐름도이다.
도 6은 본 발명의 실시예에 따른 영상 복호화 장치의 영상 복호화 방법을 설명하기 위한 동작 흐름도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100 : 영상 처리 시스템 110 : 영상 부호화 장치
120 : 통신망 130 : 영상 복호화 장치
210 : 영상 입력부 220 : 포토 변형부
230 : 양자화부 240 : 가변장 코더부
250 : 역양자화부 260 : 영상 저장부
270 : 동작 추정부 280 : 다중 결합부
290 : 제어부 310 : 영상 수신부
320 : 가변장 디코더부 330 : 역양자화부
340 : 포토 역변형부 350 : 영상 저장부
360 : 동작 보상부 370 : 영상 재생부
380 : 다중 분리부 390 : 제어부

Claims (17)

  1. 입력 영상에 대해 동작 추정 기반으로 포토 코어 트랜스폼(Photo Core Transform)을 통해 변형하고 가변길이코드(VLC)로 부호화하여 비트 스트림으로 출력하는 영상 부호화 장치; 및
    상기 영상 부호화 장치로부터 수신된 비트 스트림에 대해 동작을 보상하여 복호화하는 영상 복호화 장치를 포함하고,
    상기 영상 부호화 장치는, 동작 추정한 영상과 원영상의 차이가 특정 임계값보다 작으면 제로 모션(Zero motion) 모드로 부호화하고, 동작 추정한 영상과 원영상의 차이가 특정 임계값보다 크면 JPEG XR 방식으로 부호화하는 것을 특징으로 하는 영상 처리 시스템.
  2. 영상 부호화 장치 및 영상 복호화 장치를 포함하는 시스템의 영상 처리 방법으로서,
    (a) 상기 영상 부호화 장치에서 입력 영상을 동작 추정 기반으로 포토 코어 트랜스폼을 통해 변형하여 부호화하는 단계;
    (b) 상기 부호화된 영상을 비트 스트림으로 상기 영상 복호화 장치로 전송하는 단계;
    (c) 상기 영상 복호화 장치에서 상기 비트 스트림에 대해 동작을 보상하여 복호화하는 단계; 및
    (d) 상기 영상 복호화 장치에서 상기 복호화된 영상을 재생하는 단계를 포함하고,
    상기 (a)단계의 부호화 시에는, 동작 추정한 영상과 원영상의 차이가 특정 임계값보다 작으면 제로 모션(Zero motion) 모드로 부호화하고, 동작 추정한 영상과 원영상의 차이가 특정 임계값보다 크면 JPEG XR 방식으로 부호화하는 것을 특징으로 하는 영상 처리 방법.
  3. 제 2 항에 있어서,
    상기 (a) 단계는, 상기 포토 코어 트랜스폼을 통해 변형된 영상을 가변길이코드로 부호화하는 것을 특징으로 하는 영상 처리 방법.
  4. 영상을 입력하는 영상 입력부;
    상기 입력된 영상을 포토 기반으로 변형하는 포토 변형(Photo Core Transform)부;
    상기 포토 기반으로 변형된 영상을 양자화하는 양자화(quantization)부;
    상기 양자화 된 영상을 가변길이코드(VLC)로 부호화하는 가변장 코더(VLC)부;
    상기 양자화 된 영상을 역양자화하는 역양자화부;
    상기 역양자화 된 영상에서 기준 프레임으로 사용할 이전 영상을 저장하는 영상 저장부;
    상기 저장된 이전 영상에서 동작을 추정하여 상기 포토 변형부로 전달하는 동작 추정부; 및
    상기 영상 입력부와, 상기 포토 변형부, 상기 양자화부, 상기 역양자화부, 상기 영상 저장부 및 상기 동작 추정부의 동작을 제어하는 제어부;
    를 포함하는 영상 부호화 장치.
  5. 제 4 항에 있어서,
    상기 영상 입력부는, 상기 입력된 영상을 상기 포토 변형부로 전달함과 더불어 상기 동작 추정부로 동시에 전달하는 것을 특징으로 하는 영상 부호화 장치.
  6. 제 4 항에 있어서,
    상기 가변장 코더부에서 출력된 영상과 상기 동작 추정부에서 출력된 영상을 멀티플렉싱(Multiplexing)하여 비트 스트림으로 출력하는 다중 결합부;
    를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  7. 영상 부호화 장치로부터 수신한 영상을 가변 길이 방식으로 디코딩하는 가변장 디코더부;
    상기 디코딩된 영상을 역양자화하는 역양자화부;
    상기 역양자화 된 영상을 포토 기반으로 역변형하는 포토 역변형부;
    상기 포토 기반으로 역변형된 영상을 저장하는 영상 저장부;
    상기 포토 기반으로 역변형된 영상의 동작을 보상하는 동작 보상부;
    상기 동작이 보상된 영상을 재생하는 영상 재생부; 및
    상기 가변장 디코더부와, 상기 역양자화부, 상기 포토 역변형부, 상기 영상 저장부, 상기 동작 보상부 및 상기 영상 재생부의 동작을 제어하는 제어부;
    를 포함하는 영상 복호화 장치.
  8. 제 7 항에 있어서,
    상기 영상 부호화 장치로부터 수신한 비트 스트림의 영상을 디멀티 플렉싱(De-multiplexing)하여 상기 가변장 디코더부와 상기 동작 보상부로 동시에 전달하는 다중 분리부;
    를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
  9. 삭제
  10. (a) 입력된 영상에 대해 포토 기반으로 변형하는 단계;
    (b) 상기 포토 기반으로 변형된 영상을 양자화하는 단계;
    (c) 상기 양자화 된 영상을 가변 길이 방식으로 부호화하는 단계;
    (d) 상기 양자화 된 영상을 역양자화하는 단계;
    (e) 상기 역양자화 된 영상에서 기준 프레임으로 사용할 이전 영상을 저장하는 단계;
    (f) 상기 이전 영상에 대해 동작을 추정하는 단계; 및
    (g) 상기 동작 추정한 결과를 상기 (c) 단계의 부호화에 적용하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  11. 제 10 항에 있어서,
    상기 (c) 단계는, 바로 직전에 부호화 된 블럭과 현재 블럭의 차이가 특정 임계값보다 작으면 바로 직전 블럭의 영상을 그대로 복사(Copy)하여 사용하는 스킵 모드(Skip mode)로 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  12. 제 11 항에 있어서,
    상기 (c) 단계는, 상기 스킵 모드로 부호화 할 수 없는 경우에, 상기 (f)단계에서 동작 추정한 영상과 원영상의 차이가 특정 임계값보다 작으면 제로 모션(Zero motion) 모드로 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  13. 제 12 항에 있어서,
    상기 (c) 단계는, 상기 (f)단계에서 동작 추정한 영상과 원영상의 차이가 특정 임계값보다 크면 JPEG XR 방식으로 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  14. (a) 영상 부호화 장치로부터 수신한 영상을 가변 길이 방식으로 디코딩하는 단계;
    (b) 상기 디코딩된 영상을 역양자화하는 단계;
    (c) 상기 역양자화 된 영상을 포토 기반으로 역변형하는 단계; 및
    (d) 상기 포토 기반으로 역변형된 영상의 동작을 보상하는 단계를 포함하고,
    상기 영상 부호화 장치로부터 수신한 영상은, 상기 영상 부호화 장치에서 부호화 시에, 동작 추정한 영상과 원영상의 차이가 특정 임계값보다 작으면 제로 모션(Zero motion) 모드로 부호화하고, 동작 추정한 영상과 원영상의 차이가 특정 임계값보다 크면 JPEG XR 방식으로 부호화 한 것을 특징으로 하는 영상 복호화 방법.
  15. 제 14 항에 있어서,
    (e) 상기 동작이 보상된 영상을 재생하는 단계;
    를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  16. 제 10 항 내지 제 13 항 중 어느 한 항의 영상 부호화 방법을 프로그램으로 기록한 컴퓨터로 읽을 수 있는 매체.
  17. 제 14 항 또는 제 15 항의 영상 복호화 방법을 프로그램으로 기록한 컴퓨터로 읽을 수 있는 매체.
KR1020080117290A 2008-11-25 2008-11-25 동작 추정 기반 영상 부호화／복호화 장치 및 방법 KR101054644B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020080117290A KR101054644B1 (ko) 2008-11-25 2008-11-25 동작 추정 기반 영상 부호화／복호화 장치 및 방법
PCT/KR2009/005166 WO2010062027A1 (ko) 2008-11-25 2009-09-11 동작 추정 기반 영상 부호화／복호화 장치 및 방법
US12/998,412 US20110216826A1 (en) 2008-11-25 2009-09-11 Apparatus and Method for Motion Estimation-Based Image Encoding/Decoding
EP09829234A EP2352294A1 (en) 2008-11-25 2009-09-11 Apparatus and method for motion estimation-based image encoding/decoding
CN200980143320.XA CN102204253B (zh) 2008-11-25 2009-09-11 基于运动估计的视频编码/解码装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080117290A KR101054644B1 (ko) 2008-11-25 2008-11-25 동작 추정 기반 영상 부호화／복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100058764A KR20100058764A (ko) 2010-06-04
KR101054644B1 true KR101054644B1 (ko) 2011-08-08

Family

ID=42225870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080117290A KR101054644B1 (ko) 2008-11-25 2008-11-25 동작 추정 기반 영상 부호화／복호화 장치 및 방법

Country Status (5)

Country Link
US (1) US20110216826A1 (ko)
EP (1) EP2352294A1 (ko)
KR (1) KR101054644B1 (ko)
CN (1) CN102204253B (ko)
WO (1) WO2010062027A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054644B1 (ko) 2008-11-25 2011-08-08 에스케이 텔레콤주식회사 동작 추정 기반 영상 부호화／복호화 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070006446A (ko) * 2005-07-08 2007-01-11 삼성전자주식회사 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
WO2010062027A1 (ko) 2008-11-25 2010-06-03 에스케이 텔레콤주식회사 동작 추정 기반 영상 부호화／복호화 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100252108B1 (ko) * 1997-12-20 2000-04-15 윤종용 Mpeg 압축부호화 및 복호화기를 채용한 디지털 기록 재생장치 및 그 방법
BRPI0304565B1 (pt) * 2002-03-15 2018-07-24 Nokia Technologies Oy Método de predição de movimento compensado para uso na codificação da sequência de vídeo digital, codificador e decodificador de vídeo para codificar/decodificar uma sequência de vídeo digital usando predição de movimento compensado, terminal de miltimídia, e, codec de vídeo
US7936818B2 (en) * 2002-07-01 2011-05-03 Arris Group, Inc. Efficient compression and transport of video over a network
US7305139B2 (en) * 2004-12-17 2007-12-04 Microsoft Corporation Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform
KR100656645B1 (ko) * 2004-12-22 2006-12-11 엘지전자 주식회사 동영상 부호화 장치와 방법
AU2005239628B2 (en) * 2005-01-14 2010-08-05 Microsoft Technology Licensing, Llc Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform
JP4523886B2 (ja) * 2005-07-08 2010-08-11 富士通株式会社 動画像復号装置、動画像復号方法および動画像復号プログラム
CN101090504B (zh) * 2007-07-20 2010-06-23 清华大学 一种面向视频标准应用的编解码器
JP4963681B2 (ja) * 2008-03-27 2012-06-27 株式会社メガチップス 画像処理装置
US8369638B2 (en) * 2008-05-27 2013-02-05 Microsoft Corporation Reducing DC leakage in HD photo transform

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070006446A (ko) * 2005-07-08 2007-01-11 삼성전자주식회사 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
WO2010062027A1 (ko) 2008-11-25 2010-06-03 에스케이 텔레콤주식회사 동작 추정 기반 영상 부호화／복호화 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문 : ICIP2008*
논문 : SPIE

Also Published As

Publication number Publication date
WO2010062027A1 (ko) 2010-06-03
EP2352294A1 (en) 2011-08-03
WO2010062027A8 (ko) 2010-08-19
CN102204253A (zh) 2011-09-28
KR20100058764A (ko) 2010-06-04
CN102204253B (zh) 2014-01-15
US20110216826A1 (en) 2011-09-08

Similar Documents

Publication Publication Date Title
TWI221738B (en) Apparatus and methods for transcoder-based adaptive quantization
JP3923898B2 (ja) 画像符号化方法及び装置
KR101747195B1 (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
US9584832B2 (en) High quality seamless playback for video decoder clients
KR20110071231A (ko) 부호화 방법, 복호화 방법 및 장치
US8165411B2 (en) Method of and apparatus for encoding/decoding data
KR101147744B1 (ko) 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ
KR100694137B1 (ko) 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
US20040202249A1 (en) Real-time MPEG video encoding method of maintaining synchronization between video and audio
JP4799547B2 (ja) それぞれマルチマクロブロックを含む予測ピクチャおよび非予測ピクチャを使用した、ピクチャシーケンスのエンコーディング方法およびエンコーディング装置
CN104285433A (zh) 用于视频编码的运动传感器辅助的速率控制
US20100020883A1 (en) Transcoder, transcoding method, decoder, and decoding method
JP2002320228A (ja) 信号処理装置
KR20050112587A (ko) 동영상 인코딩, 디코딩 장치 및 그 방법
KR101054644B1 (ko) 동작 추정 기반 영상 부호화／복호화 장치 및 방법
JPH10191331A (ja) 画像データの符号化方法及び装置
JP5472094B2 (ja) 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム
KR100656645B1 (ko) 동영상 부호화 장치와 방법
JPH11243548A (ja) 画像シーケンスを符号化及び復号化する方法並びに装置
JPWO2004093457A1 (ja) 動画像圧縮符号化方式変換装置及び動画像通信システム
JP5078852B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2006319638A (ja) コンテンツ符号化装置及びコンテンツ符号化プログラム、並びに、コンテンツ編集装置及びコンテンツ編集プログラム
JP2008211441A (ja) デジタル動画像記録装置
JP2010056849A (ja) 映像信号再符号化装置および方法
JP2003309803A (ja) ビデオストリーム編集装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150630

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180703

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 9