KR20200065367A - 이미지 처리 장치 및 프레임 버퍼 컴프레서 - Google Patents

이미지 처리 장치 및 프레임 버퍼 컴프레서 Download PDF

Info

Publication number
KR20200065367A
KR20200065367A KR1020180151752A KR20180151752A KR20200065367A KR 20200065367 A KR20200065367 A KR 20200065367A KR 1020180151752 A KR1020180151752 A KR 1020180151752A KR 20180151752 A KR20180151752 A KR 20180151752A KR 20200065367 A KR20200065367 A KR 20200065367A
Authority
KR
South Korea
Prior art keywords
data
prediction
module
frame buffer
recon
Prior art date
Application number
KR1020180151752A
Other languages
English (en)
Inventor
전성호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180151752A priority Critical patent/KR20200065367A/ko
Priority to US16/545,501 priority patent/US11153586B2/en
Publication of KR20200065367A publication Critical patent/KR20200065367A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

이미지 처리 장치가 제공된다. 이미지 처리 장치는 이미지 데이터를 프로세싱하여 소스 데이터를 생성하는 멀티미디어 IP, 상기 소스 데이터를 압축하여 압축 데이터를 생성하는 프레임 버퍼 컴프레서, 및 상기 멀티미디어 IP에 의해 액세스되고, 상기 압축 데이터를 저장하는 메모리를 포함하되, 상기 프레임 버퍼 컴프레서는 상기 소스 데이터에 양자화를 수행하여 리콘 데이터를 생성하는 양자화 모듈, 및 상기 리콘 데이터에 인트라-예측을 수행하여 예측 데이터를 생성하는 예측 모듈을 포함한다.

Description

이미지 처리 장치 및 프레임 버퍼 컴프레서{IMAGE PROCESSING DEVICE AND FRAME BUFFER COMPRESSOR}
본 발명은 이미지 처리 장치에 관한 것이다.
비디오 고해상도 영상 및 고프레임율(high-frame rate) 영상의 필요성이 대두되면서 이미지 처리 장치의 여러 멀티미디어 IP(IP)가 메모리에 액세스(access)되는 양 즉, 밴드위스(bandwidth)가 크게 증가하게 되었다.
밴드위스가 증가하게 되면 이미지 처리 장치의 처리 능력이 한계에 도달하여 비디오 영상의 녹화 및 재생 동작시에 속도가 저하되는 문제가 발생할 수 있다.
이에 따라서, 멀티미디어 IP가 메모리에 액세스할 때, 데이터의 크기를 압축하는 방식이 고려되고 있다. 예를 들어, 메모리에 데이터를 라이트(write)하기 전에 데이터를 압축(compress)하고, 메모리에서 데이터를 리드(read)하기 전에는 압축된 데이터를 압축해제(decompress)할 수 있다.
본 발명이 해결하려는 과제는 처리 속도가 향상된 이미지 처리 장치와 이미지 처리 장치에서 사용되는 프레임 버퍼 컴프레서(frame buffer compressor)를 제공하는 것이다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 이미지 처리 장치는, 이미지 데이터(image data)를 프로세싱하여 소스 데이터(source data)를 생성하는 멀티미디어 IP, 상기 소스 데이터를 압축(compressing)하여 압축 데이터(compressed data)를 생성하는 프레임 버퍼 컴프레서(Frame Buffer Compressor, FBC), 및 상기 멀티미디어 IP에 의해 액세스(access)되고, 상기 압축 데이터를 저장하는 메모리를 포함하되, 상기 프레임 버퍼 컴프레서는 상기 소스 데이터에 양자화를 수행하여 리콘 데이터를 생성하는 양자화 모듈, 및 상기 리콘 데이터에 인트라-예측을 수행하여 예측 데이터를 생성하는 예측 모듈을 포함한다.
상기 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 프레임 버퍼 컴프레서는, 소스 데이터를 압축하여 압축 데이터를 생성하는 프레임 버퍼 컴프레서로서, 양자화를 수행하여 리콘 데이터를 생성하는 양자화 모듈, 인트라-예측을 수행하여 예측 데이터를 생성하는 예측 모듈, 및 상기 프레임 버퍼 컴프레서가 손실 모드 또는 무손실 모드로 동작하는지 여부를 결정하는 모드 셀렉터를 포함하고, 상기 프레임 버퍼 컴프레서가 상기 손실 모드로 동작하는 경우, 상기 양자화 모듈은 상기 소스 데이터로부터 상기 리콘 데이터를 생성하고, 상기 예측 모듈은 상기 리콘 데이터로부터 상기 예측 데이터를 생성한다.
상기 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 이미지 처리 장치는 압축 데이터를 저장하는 메모리, 상기 압축 데이터를 압축해제(decompressing)하여 출력 데이터(output data)를 생성하는 프레임 버퍼 컴프레서, 및 상기 메모리에 액세스하고, 상기 출력 데이터를 프로세싱하여 이미지 데이터를 생성하는 멀티미디어 IP를 포함하되, 상기 프레임 버퍼 컴프레서는 상기 압축 데이터에 기초하여 예측 데이터를 생성하고, 상기 프레임 버퍼 컴프레서는 상기 예측 데이터에 대한 인트라-예측 보상을 수행하여 리콘 데이터를 생성하는 예측 보상 모듈, 및 상기 리콘 데이터에 역양자화를 수행하여 상기 출력 데이터를 생성하는 역양자화 모듈을 포함한다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 2는 도 1의 프레임 버퍼 컴프레서를 세부적으로 설명하기 위한 블록도이다.
도 3은 도 2의 인코더를 세부적으로 설명하기 위한 블록도이다.
도 4는 도 3의 소스 데이터를 설명하기 위한 도면이다.
도 5은 도 3의 양자화 모듈의 동작을 설명하기 위한 도면이다.
도 6은 도 3의 예측 모듈의 동작을 설명하기 위한 도면이다.
도 7은 도 3의 예측 모듈의 동작을 설명하기 위한 도면이다.
도 8은 도 3의 엔트로피 인코딩 모듈의 동작을 설명하기 위한 도면이다.
도 9는 도 2의 디코더를 세부적으로 설명하기 위한 블록도이다.
도 10은 본 발명의 이미지 처리 장치에 의해서 무손실 압축된 데이터의 구조를 설명하기 위한 도면이다.
도 11은 도 10의 무손실 압축된 데이터의 압축 방식을 설명하기 위한 표이다.
도 12는 본 발명의 이미지 처리 장치에 의해서 손실 압축된 데이터의 구조를 설명하기 위한 도면이다.
도 13은 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 14는 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 15는 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 16은 본 발명의 몇몇 실시예들에 따른 인코더를 설명하기 위한 블록도이다.
도 17은 본 발명의 몇몇 실시예들에 따른 디코더를 설명하기 위한 블록도이다.
이하에서, 도 1 내지 도 12를 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치에 대해서 설명한다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다. 또한, 도 2는 도 1의 프레임 버퍼 컴프레서를 세부적으로 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치는 멀티미디어 IP(IP: Intellectual Property)(100), 프레임 버퍼 컴프레서(200), 메모리(300) 및 시스템 버스(400)를 포함한다.
멀티미디어 IP(100)는 이미지 처리 장치의 이미지 처리를 직접적으로 수행하는 파트일 수 있다. 즉, 멀티미디어 IP(100)는 비디오 영상의 캠코딩(camcoding), 플레이백(play back) 등 영상의 녹화와 재생을 수행하기 위한 여러 모듈을 의미할 수 있다.
멀티미디어 IP(100)는 카메라 등 외부로부터 이미지 데이터를 수신하여 소스 데이터(10)로 변환시킬 수 있다. 이 때, 상기 이미지 데이터는 동영상 또는 이미지 로(raw) 데이터일 수 있다. 소스 데이터(10)는 멀티미디어 IP(100)에 의해서 생성된 데이터로서 멀티미디어 IP(100)가 처리중인 데이터도 포함할 수 있다. 즉, 멀티미디어 IP(100)는 여러 단계를 거쳐 소스 데이터(10)를 메모리(300)에 저장하고, 다시 갱신하는 것을 반복할 수 있다. 이와 같이, 소스 데이터(10)는 멀티미디어 IP(100)로부터 출력되어, 메모리(300)에 저장되기 위한 모든 데이터를 포함할 수 있다. 소스 데이터(10)는 압축 데이터(20)의 형태로 메모리(300)에 저장될 수 있다. 프레임 버퍼 컴프레서(200)는 소스 데이터(10)를 압축하여 압축 데이터(20)를 생성할 수 있다. 메모리(300)는 압축 데이터(20)를 저장할 수 있다. 출력 데이터(30)는 압축 데이터(20)를 압축해제하여 얻어질 수 있다. 프레임 버퍼 컴프레서(200)는 메모리에 저장된 압축 데이터(20)를 압축해제하여 출력 데이터(30)를 생성할 수 있다. 이때, 소스 데이터(10)와 출력 데이터(30)는 동일할 수도 있고, 상이할 수도 있다. 이에 대해서는 추후에 더 자세히 설명한다.
구체적으로, 멀티미디어 IP(100)는 이미지 신호 프로세서(ISP)(110), 흔들림 보정 모듈(G2D)(120), 멀티 포맷 코덱(MFC)(130), GPU(140) 및 디스플레이(150)를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다. 즉, 멀티미디어 IP(100)는 상술한 이미지 신호 프로세서 (110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150) 중 적어도 일부만을 포함할 수도 있다. 즉, 멀티미디어 IP(100)는 동영상이나 이미지를 처리하기 위해서 메모리(300)에 액세스해야하는 처리 모듈을 의미할 수 있다.
이미지 신호 프로세서(110)는 상기 이미지 데이터를 받아 이를 전처리하여 소스 데이터(10)로 변환시킬 수 있다. 이 때, 상기 이미지 데이터는 RGB 방식의 데이터일 수 있다. 예를 들어, 이미지 신호 프로세서(110)는 RGB 방식의 상기 이미지 데이터를 YUV 방식의 소스 데이터(10)로 변환할 수 있다.
이 때, RGB 방식의 데이터란, 빛의 3원색을 기반으로 색을 표현한 데이터 포맷을 의미한다. 즉, 빨강(RED), 초록(GREEN), 파랑(BLUE) 세 종류의 색을 이용하여 이미지를 표현하는 방식이다. 이에 반해서, YUV 방식은 밝기 즉, 휘도(luma) 신호와 색차(chroma) 신호를 분리해서 표현하는 데이터 포맷을 의미한다. 즉, Y는 휘도 신호를 의미하고, U(Cb)와 V(Cr)는 각각 색차 신호를 의미한다. U는 휘도 신호와 청색 신호 성분의 차를 의미하고, V는 휘도 신호와 적색 신호 성분의 차를 의미한다. 여기서, Y, U(Cb) 및 V(Cr)의 항목을 플레인(Plane)이라 정의할 수 있다. 예를 들어, 휘도 신호에 대한 데이터를 Y플레인의 데이터라고 지칭할 수 있고, 색차 신호에 대한 데이터들을 U(Cb) 플레인의 데이터 또는 V(Cr) 플레인의 데이터라고 지칭할 수 있다.
이러한 YUV 방식의 데이터는 예를 들어, Y=0.3R+0.59G +0.11B, U=(B-Y)x0.493, V=(R-Y)x0.877와 같은 변환식을 이용하여 RGB 방식의 데이터로부터 변환되어 획득될 수 있다.
사람의 눈은 휘도 신호에는 민감하지만 색 신호에는 덜 민감하므로, YUV 방식의 데이터는 RGB 방식의 데이터에 비해서 압축이 더 용이할 수 있다. 이에 따라서, 이미지 신호 프로세서(110)는 RGB 방식의 상기 이미지 데이터를 YUV 방식의 소스 데이터(10)로 변환할 수 있다.
이미지 신호 프로세서(110)는 상기 이미지 데이터를 소스 데이터(10)로 변환한 뒤에 메모리(300)에 저장할 수 있다.
흔들림 보정 모듈(120)은 이미지 혹은 동영상 데이터의 흔들림 보정을 수행할 수 있다. 흔들림 보정 모듈(120)은 상기 이미지 데이터 혹은 프레임 버퍼 컴프레서(200)로부터 압축해제된 출력 데이터(30)를 리드(read)하여 흔들림 보정을 수행할 수 있다. 이 때, 흔들림 보정이란, 동영상 데이터에서 카메라의 흔들림을 감지하여 이를 제거하는 것을 의미한다.
흔들림 보정 모듈(120)은 상기 이미지 데이터, 소스 데이터(10) 또는 출력 데이터(30)의 흔들림을 보정하여 새로운 소스 데이터(10)를 생성 또는 갱신하고, 이를 메모리(300)에 저장할 수 있다.
멀티 포맷 코덱(130)은 동영상 데이터를 압축하는 코덱일 수 있다. 일반적으로, 동영상 데이터는 크기가 매우 크므로, 이의 크기를 줄이는 압축 모듈이 필요하다. 동영상 데이터는 복수의 프레임 간의 연관관계를 통해서 압축이 가능하고, 이를 수행하는 것이 멀티 포맷 코덱(130)일 수 있다. 멀티 포맷 코덱(130)은 이미지 데이터, 소스 데이터(10), 또는 메모리(300)로부터의 출력 데이터(30)를 압축할 수 있다.
멀티 포맷 코덱(130)은 상기 이미지 데이터, 소스 데이터(10), 또는 출력 데이터(30)를 압축하여 새로운 소스 데이터(10)를 생성하거나 갱신하고, 이를 메모리(300)에 저장할 수 있다.
GPU(Graphics Processing Unit)(140)는 이차원 혹은 3차원 그래픽의 연산 및 생성을 할 수 있다. GPU(140)는 상기 이미지 데이터, 소스 데이터(10), 또는 출력 데이터(30)를 연산 처리할 수 있다. GPU(140) 그래픽 데이터의 처리에 특화되어 병렬적으로 그래픽 데이터를 처리할 수 있다.
GPU(140)는 상기 이미지 데이터, 소스 데이터(10), 또는 출력 데이터(30)를 압축하여 새로운 소스 데이터(10)를 생성하거나 갱신하고, 이를 메모리(300)에 저장할 수 있다.
디스플레이(150)는 메모리(300)로부터의 출력 데이터(30)를 화면에 표시할 수 있다. 또한, 디스플레이(150)는 다른 멀티미디어 IP(100) 즉, 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130) 및 GPU(140)가 처리한 소스 데이터(10)를 화면에 표시할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
멀티미디어 IP(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)는 각각 개별적으로 동작할 수 있다. 즉, 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)는 각각 메모리(300)에 개별적으로 액세스하여 데이터를 라이트 또는 리드할 수 있다.
프레임 버퍼 컴프레서(200)는 멀티미디어 IP(100)가 메모리(300)에 개별적으로 액세스하기 전에 소스 데이터(10)를 압축하여 압축 데이터(20)를 생성할 수 있다. 프레임 버퍼 컴프레서(200)는 압축 데이터(20)를 압축해제하여 출력 데이터(30)를 생성할 수 있다. 또한 출력 데이터(30)는 멀티미디어 IP(100)로 전송될 수 있다.
즉, 메모리(300)에는 프레임 버퍼 컴프레서(200)에 의해서 압축된 압축 데이터(20)가 저장될 수 있다. 반대로, 프레임 버퍼 컴프레서(200)에 의해 압축해제된 출력 데이터(30)는 멀티미디어 IP(100)에 의해서 로드될 수 있다.
이와 같이, 멀티미디어 IP(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)가 개별적으로 메모리(300)에 액세스할 때마다 프레임 버퍼 컴프레서(200)가 소스 데이터(10)를 압축 데이터(20)로 압축하여 메모리(300)에 전달할 수 있다. 반대로, 멀티미디어 IP(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)로의 데이터 요청이 있을 때마다, 프레임 버퍼 컴프레서(200)는 메모리(300)로부터의 압축 데이터(20)를 출력 데이터(30)로 압축해제하여 멀티미디어 IP(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)로 각각 전송할 수 있다.
메모리(300)는 프레임 버퍼 컴프레서(200)가 생성한 압축 데이터(20)를 저장하고, 저장된 압축 데이터(20)를 프레임 버퍼 컴프레서(200)가 압축해제할 수 있도록 프레임 버퍼 컴프레서(200)에 제공할 수 있다.
시스템 버스(400)는 프레임 버퍼 컴프레서(200) 및 메모리(300)와 연결될 수 있다. 구체적으로, 시스템 버스(400)는 프레임 버퍼 컴프레서(200) 및 메모리(300) 각각과 연결될 수 있다. 멀티미디어 IP(100)는 프레임 버퍼 컴프레서(200)와 연결될 수 있다. 즉, 멀티미디어 IP(100)는 프레임 버퍼 컴프레서(200) 및 시스템 버스(400)를 통해 메모리(300)와 연결될 수 있다.
프레임 버퍼 컴프레서(200)는, 멀티미디어 IP(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)가 각각 메모리에 액세스하는 경우, 소스 데이터(10)를 압축 데이터(20)로 또는 압축 데이터(20)를 출력 데이터(30)로 변환시키는 작업을 할 수 있다.
도 2를 참조하면, 프레임 버퍼 컴프레서(200)는 인코더(210) 및 디코더(220)를 포함할 수 있다.
인코더(210)는 멀티미디어 IP(100)로부터의 소스 데이터(10)를 압축하여 압축 데이터(20)를 생성할 수 있다. 압축 데이터(20)는 시스템 버스(400)를 통해서 메모리(300)로 전송될 수 있다.
반대로, 디코더(220)는 메모리(300)에 저장된 압축 데이터(20)를 압축해제하여 출력 데이터(30)를 생성할 수 있다. 예를 들어, 압축 데이터(20)는 메모리(300)로부터 프레임 버퍼 컴프레서(200)로 전달될 수 있다. 프레임 버퍼 컴프레서(200)로 전달된 압축 데이터(20)는 디코더(220)에 의해 압축해제될 수 있다.
출력 데이터(30)는 멀티미디어 IP(100)로 전달될 수 있다. 이 때, 출력 데이터(30)는 멀티미디어 IP(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)로 각각 전달될 수 있다.
도 3은 도 2의 인코더를 세부적으로 설명하기 위한 블록도이다.
도 3을 참조하면, 인코더(210)는 제1 모드 셀렉터(219), 양자화 모듈(211), 예측 모듈(213), 엔트로피 인코딩 모듈(215) 및 패딩 모듈(216), 및 압축 관리 모듈(218)을 포함한다.
제1 모드 셀렉터(219)는 인코더(210)가 무손실(lossless) 모드로 동작할 지, 손실(lossy) 모드로 동작할 지를 결정할 수 있다. 인코더(210)가 무손실 모드로 동작하는 경우에는, 소스 데이터(10)는 도 3의 무손실 경로(Lossless)를 따라서 압축될 수 있다. 인코더(210)가 손실 모드로 동작하는 경우에는, 소스 데이터(10)는 손실 경로(Lossy)를 따라서 압축될 수 있다.
제1 모드 셀렉터(219)는 멀티미디어 IP(100)로부터 무손실 압축을 할 것인지 손실 압축을 할 것인지를 결정하는 신호를 수신할 수 있다. 이 때, 무손실 압축이란, 데이터의 손실 없이 압축하는 것을 의미하고, 데이터에 따라서 압축률이 달라지는 방식을 의미한다. 이와 달리 손실 압축이란, 데이터가 일부 손실되는 압축으로서, 무손실 압축에 비해서 압축률이 더 높고, 미리 설정한 고정된 압축률을 가질 수 있다.
인코더(210)가 무손실 모드로 동작하는 경우, 제1 모드 셀렉터(219)는 무손실 경로(Lossless)를 따라서, 예측 모듈(213), 엔트로피 인코딩 모듈(215) 및 패딩 모듈(216)로, 데이터 흐름을 유도할 수 있다. 반대로, 인코더(210)가 손실 모드로 동작하는 경우, 제1 모드 셀렉터(219)는 손실 경로(Lossy)를 따라서, 양자화 모듈(211), 예측 모듈(213) 및 엔트로피 인코딩 모듈(215)로 데이터 흐름을 유도할 수 있다. 일 예로, 인코더(210)가 무손실 모드로 동작하는 경우, 제1 모드 셀렉터(219)는 인코더(210)로 입력된 소스 데이터(10)를 예측 모듈(213)로 전달할 수 있다. 다른 예로, 인코더(210)가 손실 모드로 동작하는 경우, 제1 모드 셀렉터(219)는 인코더(210)로 입력된 소스 데이터(10)를 양자화 모듈(211)로 전달할 수 있다.
이하 도 4 및 5을 참조하여 양자화 모듈을 자세히 설명한다. 도 4는 도 3의 소스 데이터를 설명하기 위한 도면이다. 도 5은 도 3의 양자화 모듈의 동작을 설명하기 위한 도면이다.
몇몇 실시예에서, 소스 데이터(10)는 복수의 소스 픽셀 데이터(source pixel data)를 포함할 수 있다. 예를 들어, 도 5에서, 소스 데이터(10)는 4개의 행 및 4개의 열을 갖는 복수의 소스 픽셀 데이터(예를 들어, s(0, 0) 내지 s(3, 3))를 포함하는 것으로 도시되었으나, 이에 제한되는 것은 아니다.
양자화 모듈(211)은, 미리 정의된 양자화 계수를 사용하여, 프레임 버퍼 컴프레서(200)로 입력된 소스 데이터(10)에 양자화를 수행하여 리콘 데이터(recon data)를 생성할 수 있다. 예를 들어, 양자화 모듈(211)은 상기 복수의 소스 픽셀 데이터 각각을 미리 정의된 양자화 계수로 양자화시켜, 리콘 데이터를 생성할 수 있다.
도 5을 참조하면, 리콘 데이터는 복수의 소스 픽셀 데이터 각각에 대응하는 리콘 픽셀 데이터(예를 들어, r(0, 0) 내지 r(3, 3))를 포함할 수 있다. 양자화 모듈(211)은 미리 정의된 양자화 계수를 사용하여, 소스 픽셀 데이터를 양자화시켜 리콘 픽셀 데이터를 생성할 수 있다. 일 예로, 양자화 모듈(211)은 소스 픽셀 데이터(예를 들어, s(0,1)=89)를 양자화 계수(예를 들어, 4)로 나눈 뒤 그 몫으로 이루어진 리콘 픽셀 데이터(예를 들어, r(0,1)=22)를 생성할 수 있다. 다른 예로, 양자화 모듈은, 양자화 계수(예를 들어, 22)를 사용하여, 소스 픽셀 데이터(예를 들어, s(0,1)=89=1011001(2))에 비트 시프트 연산을 수행하여 리콘 픽셀 데이터(예를 들어, r(0,1)=22=10110(2))를 생성할 수 있다.
이와 같이, 본원의 몇몇 실시예에 따른 양자화 모듈은, 소스 픽셀 데이터 전부에 대해 병렬적으로 양자화를 수행하여 리콘 데이터를 생성할 수 있다.
양자화를 수행하는 도중 제거된 데이터는 추후에 복원되지 않을 수 있다. 따라서, 양자화 모듈(211)은 손실 모드에서만 활용될 수 있다. 다만 손실 모드는 무손실 모드에 비해서 압축률이 상대적으로 높을 수 있고, 미리 설정된 고정 압축률을 가질 수 있다.
압축 데이터(20)는 양자화 모듈(211)에 의해 사용된 양자화 계수를 포함할 수 있다. 예를 들어, 인코더(210)는 양자화 모듈(211)에서 사용된 양자화 계수를 압축 데이터(20)에 추가할 수 있다.
이하, 도 6 및 7을 참조하여 예측 모듈을 자세히 설명한다. 도 6 및 7은 도 3의 예측 모듈의 동작을 설명하기 위한 도면이다. 예측 모듈(213)은 소스 데이터(10) 또는 상기 리콘 데이터에 대해 인트라-예측(intra-prediction)을 수행하여 예측 데이터를 생성할 수 있다. 구체적으로 예를 들어, 도 6에서, 예측 모듈(213)은 리콘 데이터에 대해 인트라-예측을 수행하여 예측 데이터를 생성한다. 또한, 도 7에서, 예측 모듈(213)은 소스 데이터(10)에 대해 인트라-예측을 수행하여 예측 데이터를 생성한다.
도 6을 참조하면, 예측 데이터는 복수의 리콘 픽셀 데이터(예를 들어, r(0,0)~r(3,3)) 각각에 대응하는 복수의 예측 픽셀 데이터(예를 들어, p(0,0)~p(3,3))를 포함할 수 있다. 예측 픽셀 데이터 각각은 기준 픽셀 데이터(예를 들어, p(0,0) 내지 p(0,3)) 또는 잔차 픽셀 데이터(예를 들어, p(1,0) 내지 p(3,3))일 수 있다. 즉, 예측 데이터는 복수의 리콘 픽셀 데이터 중 일부(예를 들어, r(0,0)~r(0,3))에 대한 기준 픽셀 데이터(예를 들어, p(0,0)~p(0,3))와 상기 복수의 리콘 픽셀 데이터 중 나머지 일부(예를 들어, r(1,0)~r(3,3))에 대한 잔차 픽셀 데이터(예를 들어, p(1,0)~p(3,3))를 포함할 수 있다. 도 6에서, 기준 픽셀 데이터(예를 들어, p(0,0) 내지 p(0,3))는 예측 픽셀 데이터의 첫번째 행인 것으로 도시되었으나, 본원은 이에 제한되지 않는다. 일 예로, 기준 픽셀 데이터는 예측 픽셀 데이터의 첫번째 열일 수 있다. 다른 예로, 기준 픽셀 데이터는 예측 픽셀 데이터 중에서 임의로 선택될 수 있다.
기준 픽셀 데이터(예를 들어, p(0,0)=22)는, 도 6에 도시된 것과 같이, 대응하는 리콘 픽셀 데이터(예를 들어, r(0,0)=22)를 그대로 포함할 수 있다. 다른 예로, 기준 픽셀 데이터는 복수의 리콘 픽셀 데이터 중 하나 이상의 리콘 픽셀 데이터의 평균 값에 기초하여 생성될 수 있다. 도 6에서, 기준 픽셀 데이터는 리콘 픽셀 데이터를 그대로 포함되는 것으로 도시되었으나, 본원은 이에 제한되는 것은 아니다.
잔차 픽셀 데이터(예를 들어, p(2,0)=2) 복수의 리콘 픽셀 데이터 중 둘 이상의 리콘 픽셀 데이터 사이의 차이(예를 들어, r(2,0)-r(1,0)=2)에 기초하여 생성될 수 있다. 다른 예로, 잔차 픽셀 데이터는 대응되는 리콘 픽셀 데이터에 인접하는 두 리콘 픽셀 데이터의 차이 값에 기초하여 생성될 수 있다. 도 6에서, 잔차 픽셀 데이터는 대응되는 리콘 픽셀 데이터와 인접한 리콘 픽셀 데이터의 차이 값을 포함하는 것으로 도시되었으나, 본원은 이에 제한되는 것은 아니다.
예측 모듈(213)은 복수의 리콘 픽셀 데이터의 일부를 잔차 픽셀 데이터로 표현함으로써, 데이터 크기를 감소시킬 수 있다. 예를 들어, 예측 모듈(213)은 기존의 리콘 픽셀 데이터(예를 들어, r(0,0)=22, r(1,0)=22, r(2,0)=25, 및 r(3,0)=26)에 기초하여 기준 픽셀 데이터(예를 들어, p(0,0)=22)와 잔차 픽셀 데이터(예를 들어, p(1,0)=1, p(2,0)=2, 및 p(3,0)=1)를 생성할 수 있다. 이때, 잔차 픽셀 데이터(예를 들어, p(1,0)=1, p(2,0)=2, 및 p(3,0)=1)는 대응하는 리콘 픽셀 데이터(예를 들어, r(1,0)=22, r(2,0)=25, 및 r(3,0)=26)에 비해 작은 데이터 크기를 갖을 수 있다. 따라서, 기준 픽셀 데이터와 잔차 픽셀 데이터를 포함하는 예측 데이터의 크기는 리콘 데이터의 크기보다 작을 수 있다.
도 7을 참조하면, 예측 모듈(213)은 소스 데이터(10)로부터 예측 데이터를 생성할 수 있다. 예측 모듈(213)에서 소스 데이터(10)로부터 예측 데이터가 생성되는 과정은, 도 6을 참조하여 설명된, 리콘 데이터로부터 예측 데이터를 생성하는 과정과 동일할 수 있다. 따라서, 설명의 편의상, 예측 모듈(213)에서 소스 데이터(10)로부터 예측 데이터가 생성되는 과정에 대한 자세한 설명 생략한다.
예측 모듈(213)은 소스 데이터(10) 또는 리콘 데이터로부터 기준 픽셀 데이터와 잔차 픽셀 데이터를 포함하는 예측 데이터를 생성함으로써, 데이터의 크기를 압축할 수 있다. 또한, 예측 모듈(213)은 소스 데이터(10)의 복수의 소스 픽셀 데이터 또는 리콘 데이터의 복수의 리콘 픽셀 데이터에 대해, 픽셀 단위로, 인트라-예측을 수행하여 예측 데이터를 생성할 수 있다.
한편, 이미지 처리에 있어서, 순차적인(sequential) 연산을 수행하기 위한 하드웨어를 구현하는 것은 어려울 수 있다. 하드웨어 구현이라는 관점에서, 이미지 처리에 사용되는 모듈이 병렬적으로 연산을 수행하는 것이 바람직하다.
본원의 몇몇 실시예에 따른 양자화 모듈(211) 및 예측 모듈(213)은 복수의 소스 픽셀 데이터 각각에 대해 양자화 및 인트라-예측을 병렬적으로 수행할 수 있다. 예를 들어, 양자화 모듈(211)은 모든 소스 픽셀 데이터에 대한 양자화를 동시에 수행하여 리콘 데이터를 생성할 수 있다. 또한, 예측 모듈(213)은 소스 데이터 또는 리콘 데이터로부터 병렬적으로 기준 픽셀 데이터 및 예측 픽셀 데이터를 포함하는 예측 데이터를 생성할 수 있다. 이처럼, 본원의 몇몇 실시예에 따른, 양자화 모듈(211) 및 예측 모듈(213)은 각각 병렬적으로 양자화 및 인트라-예측을 수행할 수 있다. 따라서, 처럼, 본원의 몇몇 실시예에 따른, 양자화 모듈(211) 및 예측 모듈(213)을 포함하는 프레임 버퍼 컴프레서(200)는 하드웨어로 구현되는데 적합할 수 있다.
이하, 도 6 및 8을 참조하여 엔트로피 인코딩 모듈을 자세히 설명한다. 도 8은 도 3의 엔트로피 인코딩 모듈의 동작을 설명하기 위한 도면이다. 엔트로피 인코딩 모듈(215)은 예측 모듈(213)에 의해서 압축된 예측 데이터에 엔트로피 인코딩을 수행하여 엔트로피 데이터를 생성할 수 있다. 예를 들어, 도 8에서, 엔트로피 인코딩 모듈(215)은, 도 6에서와 같이, 리콘 데이터로부터 생성된 예측 데이터에 엔트로피 인코딩을 수행하여 엔트로피 데이터를 생성할 수 있다.
엔트로피 데이터는 복수의 예측 픽셀 데이터(예를 들어, p(0,0) 내지 p(3,3)) 각각에 대응하는 복수의 엔트로피 픽셀 데이터(예를 들어, t(0,0) 내지 t(3,3))를 포함할 수 있다.
엔트로피 인코딩 모듈(215)은 복수의 예측 픽셀 데이터 각각의 엔트로피 빈도수를 결정할 수 있다. 예를 들어, 엔트로피 인코딩 모듈(215)은 복수의 예측 픽셀 데이터 각각(예를 들어, p(1,0)=1 또는 p(2,0)=2)에 대해, 동일한 값을 같은 예측 픽셀 데이터의 개수를 나타내는, 엔트로피 빈도수를 결정할 수 있다. 구체적으로, "p(1,0)=1"과 동일한 값을 갖는 예측 픽셀 데이터는 5개이다. 따라서, 예측 픽셀 데이터 p(1,0)에 대한 엔트로피 빈도수는 5이다. 또한, "p(2,0)=2"과 동일한 값을 갖는 예측 픽셀 데이터는 6개이다. 따라서, 예측 픽셀 데이터 p(2,0)에 대한 엔트로피 빈도수는 6이다.
엔트로피 인코딩 모듈(215)은 엔트로피 빈도수에 기초하여, 엔트로피 픽셀 데이터를 결정할 수 있다. 예를 들어, 엔트로피 인코딩 모듈(215)은 가장 높은 엔트로피 빈도수(예를 들어, 6)를 갖는 예측 픽셀 데이터(예를 들어, p(1,1), p(2,0), p(2,2), p(2,3), p(3,1), 및 p(3,2))에 대응하는 엔트로피 픽셀 데이터(예를 들어, t(1,1), t(2,0), t(2,2), t(2,3), t(3,1), 및 t(3,2))가 가장 작은 크기의 데이터(예를 들어, "d1")를 갖게 할 수 있다. 또한, 엔트로피 인코딩 모듈(215)은 두 번째로 높은 엔트로피 빈도수(예를 들어, 5)를 갖는 예측 픽셀 데이터(예를 들어, p(1,0), p(1,2), p(1,3), p(2,1), 및 p(3,0))에 대응하는 엔트로피 픽셀 데이터(예를 들어, t(1,0), t(1,2), t(1,3), t(2,1), 및 t(3,0))가 두 번째로 작은 크기의 데이터(예를 들어, "d2")를 갖게 할 수 있다. 이와 같이, 엔트로피 인코딩 모듈(215)은 엔트로피 빈도수에 기초하여, 엔트로피 픽셀 데이터를 설정할 수 있다. 도 8에서, 엔트로피 인코딩 모듈(215)은 예측 데이터의 잔차 픽셀 데이터에 대해서 엔트로피 인코딩을 수행하였으나, 본원은 이에 제한되지 않는다. 예를 들어, 엔트로피 인코딩 모듈(215)은 예측 데이터의 기준 픽셀 데이터 및 잔차 픽셀 데이터 전부에 대해서 엔트로피 인코딩을 수행할 수 있다.
이처럼, 엔트로피 인코딩 모듈(215)은 엔트로피 빈도수에 따라 예측 데이터를 생성하여, 예측 데이터의 크기를 감소시킬 수 있다.
또한, 엔트로피 인코딩 모듈(215)은, 도 7에서와 같이, 소스 데이터로부터 생성된 예측 데이터에 엔트로피 인코딩을 수행하여 엔트로피 데이터를 생성할 수 있다. 이는, 위의 도 8을 참조하여 설명한 엔트로피 인코딩 모듈(215)의 동작과 거의 유사하며, 설명의 편의상 자세한 설명은 생략한다.
몇몇 실시예에서, 엔트로피 인코딩 모듈(215)은 허프만 코딩(Huffman coding)을 사용하여 예측 데이터를 압축할 수 있다. 또한, 엔트로피 인코딩 모듈(215)은 익스포넨셜 골룸 코딩(exponential golomb coding) 또는 골룸 라이스 코딩(golomb rice coding)을 통해서 예측 데이터를 압축할 수 있다.
패딩 모듈(216)은 엔트로피 인코딩 모듈(215)에 의해서 생성된 엔트로피 데이터에 패딩(padding)을 수행하여, 패딩 데이터를 생성할 수 있다. 예를 들어, 패딩 모듈(216)은 엔트로피 데이터에 무의미한 데이터(예를 들어, 제로 데이터)를 추가하여, 미리 정의된 크기를 갖는 패딩 데이터(padding data)를 생성할 수 있다.
일 예로, 인코더(210)가 손실 모드로 작동되는 경우, 패딩 데이터의 크기는 소스 데이터의 크기와 고정된 압출률에 기초하여 정의될 수 있다. 구체적으로 예를 들어, 소스 데이터(10)의 크기가 100이고, 고정된 압축률이 50%인 경우, 패딩 데이터의 크기는 50으로 정의될 수 있다. 한편, 양자화 모듈(211), 예측 모듈(213), 및 엔트로피 인코딩 모듈(215)에 의해 압축된 엔트로피 데이터의 크기는 50보다 작을 수 있다. 이 경우, 패딩 모듈(216)은 엔트로피 데이터에 제로 데이터를 추가하여, 미리 정의된 50의 크기를 갖는 패딩 데이터를 생성할 수 있다.
다른 예로, 인코더(210)가 무손실 모드로 작동되는 경우, 패딩 데이터의 크기는 소스 데이터의 크기에 기초하여 정의될 수 있다. 구체적으로 예를 들어, 소스 데이터(10)의 크기가 100인 경우, 패딩 데이터의 크기는 100으로 정의될 수 있다. 한편, 예측 모듈(213), 및 엔트로피 인코딩 모듈(215)에 의해 압축된 엔트로피 데이터의 크기는 100보다 작을 수 있다. 이 경우, 패딩 모듈(216)은 엔트로피 데이터에 제로 데이터를 추가하여, 미리 정의된 100의 크기를 갖는 패딩 데이터를 생성할 수 있다.
이처럼, 패딩 모듈(216)은 인코더(210)의 다른 모듈들에 의해 압축된 엔트로피 데이터로부터 미리 정의된 크기를 갖는 패딩 데이터를 생성할 수 있다. 인코더(210)는 상기 패딩 데이터를 압축 데이터(20)로서 출력할 수 있다. 즉, 패딩 모듈(216)에 의해, 메모리(300)에 저장되는 압축 데이터(20)는 일정한 크기를 갖을 수 있다.
압축 관리 모듈(218)은 결정된 양자화 계수 및 엔트로피 테이블에 기초하여, 양자화 모듈(211) 및 엔트로피 인코딩 모듈(215)에서의 소스 데이터(10)에 대한 압축을 제어할 수 있다.
압축 관리 모듈(218)은 양자화 모듈(211)에서 사용되는 양자화 계수를 결정할 수 있다. 예를 들어, 인코더(210)가 손실 모드로 동작하는 경우, 소스 데이터(10)는 도 3의 손실 경로(Lossy)를 따라서 압축된다. 이때, 압축 관리 모듈(218)은 양자화 계수를 포함하는 QP 테이블을 포함할 수 있다. 예를 들어, QP 테이블은 하나 이상의 엔트리를 포함하고, 각각의 엔트리는 양자화 모듈(211)에서 사용되는 양자화 계수를 포함할 수 있다. QP 테이블 또는 양자화 계수와 같은 개념은 이미지 압축 기술로서 이미 공지된 내용에 해당하므로 본 명세서에서는 그 구체적인 설명을 생략하도록 한다.
또한, 압축 관리 모듈(218)은 엔트로피 코딩에 각각 사용되는 엔트로피 빈도수에 대한 엔트로피 픽셀 데이터를 나타내는 엔트로피 테이블을 결정할 수 있다. 예를 들어, 압축 관리 모듈(218)은 엔트로피 테이블을 포함할 수 있다. 엔트로피 테이블은 엔트로피 코딩 알고리즘을 수행하기 위해 k값을 통해 식별되는 복수의 코드 테이블을 의미하며, 본 발명의 몇몇의 실시예에서 사용될 수 있는 엔트로피 테이블은 지수 골롬 코드(exponential golomb code) 및 골롬 라이스 코드(golomb rice code) 중 적어도 하나를 포함할 수 있다. 엔트로피 코딩, 지수 골롬 코딩 알고리즘, 골롬 라이스 코딩 알고리즘 등에 관한 개념은 데이터 압축 기술로서 이미 공지된 내용에 해당하므로 본 명세서에서는 그 구체적인 설명을 생략하도록 한다.
이후, 프레임 버퍼 컴프레서(200)는 인코더(210)로부터 생성된 압축 데이터(20)를 메모리(300)에 라이트(write)할 수 있다. 또한, 프레임 버퍼 컴프레서(200)는, 메모리(300)로부터 압축 데이터(20)를 리드(read)하고, 리드한 압축 데이터(20)를 압축해제하여 멀티미디어 IP(100)에 제공할 수 있다.
도 9는 도 2의 디코더를 세부적으로 설명하기 위한 블록도이다.
도 9를 참조하면, 디코더(220)는 제2 모드 셀렉터(229), 언패딩 모듈(226), 엔트로피 디코딩 모듈(225), 예측 보상 모듈(223), 및 역양자화 모듈(221)을 포함한다.
제2 모드 셀렉터(229)는 메모리(300)에 저장된 압축 데이터(20)가 무손실 압축되었는지, 또는 손실 압축되었는지를 판단할 수 있다. 이 때, 제2 모드 셀렉터(229)는 헤더의 유무를 통해서 무손실 모드 및 손실 모드 중 어느 모드에 의해서 압축 데이터(20)가 압축되었는지를 판단할 수 있다. 이에 대해서는 추후에 더 자세히 설명한다.
제2 모드 셀렉터(229)는 무손실 모드인 경우에는 무손실 경로(Lossless)를 따라서, 언패딩 모듈(226), 엔트로피 디코딩 모듈(225) 및 예측 보상 모듈(223)로 압축 데이터(20)를 유도할 수 있다. 반대로, 제2 모드 셀렉터(229)는 손실 모드인 경우에는 손실 경로(Lossy)를 따라서, 언패딩 모듈(226), 엔트로피 디코딩 모듈(225), 예측 보상 모듈(223), 및 역양자화 모듈(221)로 압축 데이터(20)를 유도할 수 있다.
언패딩 모듈(226)은 인코더(210)의 패딩 모듈(216)에 의해서 추가된 무의미한 데이터(예를 들어, 제로 데이터)를 제거할 수 있다. 예를 들어, 언패딩 모듈(226)은 압축 데이터(20)로부터 제로 데이터를 제거하여, 엔트로피 데이터를 생성할 수 있다. 언패딩 모듈(226)에서 생성된 엔트로피 데이터는 엔트로피 디코딩 모듈(225)로 전달될 수 있다.
엔트로피 디코딩 모듈(225)은 인코더(210)의 엔트로피 인코딩 모듈(215)에 의해서 압축된 데이터를 압축해제할 수 있다. 즉, 엔트로피 디코딩 모듈(225)은 언패딩 모듈(266)로부터 전달된 엔트로피 데이터로부터 예측 데이터를 생성할 수 있다. 디코더(220)에 입력된 압축 데이터(20)는 k값을 포함한다. 엔트로피 디코딩 모듈(225)은 상기 k값으로부터 식별되는 엔트로피 테이블을 이용하여, 엔트로피 디코딩을 수행할 수 있다. 예를 들어, 엔트로피 디코딩 모듈(225)은, 엔트로피 테이블을 사용하여, 엔트로피 픽셀 데이터 각각에 대응하는 잔차 픽셀 데이터 및 기준 픽셀 데이터를 생성할 수 있다. 즉, 엔트로피 디코딩 모듈(225)은 잔차 픽셀 데이터 및 기준 픽셀 데이터를 포함하는 예측 데이터를 생성할 수 있다. 엔트로피 디코딩 모듈(225)로부터 생성된 예측 데이터는 예측 보상 모듈(223)로 전달될 수 있다.
몇몇 실시예에서, 엔트로피 디코딩 모듈(225)은 허프만 코딩, 익스포넨셜 골룸 코딩 또는 골룸 라이스 코딩을 통해서 압축해제를 수행할 수 있다. 허프만 코딩, 익스포넨셜 골룸 코딩 또는 골룸 라이스 코딩은 통상적으로 사용되는 기술일 수 있으며, 이에 대한 자세한 설명은 생략한다.
예측 보상 모듈(223)은 예측 데이터에 인트라-예측 보상을 수행하여 엔트로피 디코딩 모듈(225)로부터 전달된 예측 데이터를 압축해제할 수 있다. 즉, 예측 보상 모듈(223)은 예측 데이터에 인트라-예측 보상을 수행하여, 리콘 데이터 또는 출력 데이터(30)를 생성할 수 있다. 예를 들어, 압축 데이터(20)가 손실 모드로 압축된 경우, 예측 보상 모듈(223)은 리콘 데이터를 생성하여, 역양자화 모듈(221)로 전달할 수 있다. 또한, 압축 데이터(20)가 무손실 모드로 압축된 경우, 예측 보상 모듈(223)은 출력 데이터(30)를 생성할 수 있다. 이 경우, 디코더는 출력 데이터(30)를 멀티미디어 IP(100)로 전달할 수 있다.
예를 들어, 예측 보상 모듈(223)은, 예측 모듈(213)에 의한 인트라-예측을 역순으로 수행하여, 예측 데이터를 압축해제할 수 있다. 예측 데이터는 복수의 예측 픽셀 데이터를 포함할 수 있다. 복수의 예측 픽셀 데이터 각각은 기준 픽셀 데이터 또는 잔차 픽셀 데이터일 수 있다.
일 예로, 예측 보상 모듈(223)은 기준 픽셀 데이터 또는 잔차 픽셀 데이터를 이용하여, 복수의 리콘 픽셀 데이터를 생성할 수 있다. 예를 들어, 예측 보상 모듈(223)은 기준 픽셀 데이터를 이용하여, 기준 픽셀 데이터에 대응되는 리콘 픽셀 데이터를 생성할 수 있다. 또한, 예측 보상 모듈(223)은 기준 픽셀 데이터와 잔차 픽셀 데이터를 이용하여, 잔차 픽셀 데이터에 대응되는 리콘 픽셀 데이터를 생성할 수 있다. 앞서 설명한 것과 같이, 예측 보상 모듈(223)은 복수의 리콘 픽셀 데이터를 포함하는 리콘 데이터를 역양자화 모듈(221)로 전달할 수 있다.
다른 예로, 출력 데이터(30)는 복수의 예측 픽셀 데이터 각각에 대응하는 출력 픽셀 데이터를 포함할 수 있다. 예측 보상 모듈(223)은 기준 픽셀 데이터 또는 잔차 픽셀 데이터를 이용하여, 복수의 출력 픽셀 데이터를 생성할 수 있다. 예를 들어, 예측 보상 모듈(223)은 기준 픽셀 데이터를 이용하여, 기준 픽셀 데이터에 대응되는 출력 픽셀 데이터를 생성할 수 있다. 또한, 예측 보상 모듈(223)은 기준 픽셀 데이터와 잔차 픽셀 데이터를 이용하여, 잔차 픽셀 데이터에 대응되는 출력 픽셀 데이터를 생성할 수 있다. 앞서 설명한 것과 같이, 디코더(220)는 복수의 출력 픽셀 데이터를 포함하는 출력 데이터(30)를 멀티미디어 IP(100)로 전달할 수 있다.
이처럼, 예측 보상 모듈(223)은 예측 모듈(213)에 따라 픽셀 단위로 수행된 인트라-예측을 복원할 수 있다.
역양자화 모듈(221)은 압축 데이터(20)로부터의 양자화 계수와 예측 보상 모듈(223)로부터 전달된 리콘 데이터로부터 출력 데이터(30)를 생성할 수 있다. 즉, 역양자화 모듈(221)은 양자화 계수를 사용하여, 리콘 데이터에 역양자화를 수행하고, 그 결과로 출력 데이터(30)를 생성할 수 있다. 예를 들어, 리콘 데이터는 인코더(210)의 압축 관리 모듈(218)에 의해 결정된 QP 테이블을 포함할 수 있다. 역양자화 모듈(221)은 QP 테이블로부터 양자화 계수를 결정할 수 있다.
예를 들어, 출력 데이터(30)는 복수의 리콘 픽셀 데이터 각각에 대응하는 복수의 출력 픽셀 데이터를 포함할 수 있다. 출력 픽셀 데이터는 대응하는 리콘 픽셀 데이터에 역양자화를 수행하여 생성될 수 있다. 예를 들어, 출력 픽셀 데이터는 대응하는 리콘 픽셀 데이터에 양자화 계수를 곱하여 생성될 수 있다. 또한, 출력 픽셀 데이터는 대응하는 리콘 픽셀 데이터에 비트 시프트 연산을 수행하여 생성될 수 있다.
이처럼, 역양자화 모듈(221)은 리콘 데이터로부터 출력 데이터(30)를 생성할 수 있다. 이때, 역양자화 모듈(221)에서 생성된 출력 데이터(30)는 인코더(210)에 입력된 소스 데이터(10)와는 상이할 수 있다. 인코더(210)의 양자화 모듈(211)에서 소스 데이터(10)에 양자화를 수행하는 경우, 양자화 계수보다 작은 데이터는 손실되어 복원되지 않을 수 있기 때문이다. 따라서, 역양자화 모듈(221)은 손실 모드에서만 활용될 수 있다.
압축 해제 관리 모듈(228)은 도 3과 관련하여 앞서 설명한 압축 관리 모듈(218)이 소스 데이터(10)의 압축을 수행하기 위해 결정했던 QP 테이블 및 엔트로피 테이블의 조합이, 압축 데이터(20)를 압축해제할 때에 적절하게 반영될 수 있는 작업을 수행할 수 있다.
도 10은 본 발명의 이미지 처리 장치에 의해서 무손실 압축된 데이터의 구조를 설명하기 위한 도면이다. 도 10을 참조하면, 압축 데이터(20)는 페이로드(payload) 및 헤더(header)를 포함할 수 있다. 헤더는 압축률을 표시하기 위한 부분이고, 페이로드는 실제 압축된 데이터와 압축해제를 위해 필요한 값들을 표시하기 위한 부분이다.
도 10은 예시적으로, 블록 사이즈가 16 x 16인 블록의 무손실 압축을 설명하기 위한 표이다. 픽셀 뎁스(pixel depth)는 하나의 픽셀에 표현된 값의 bit값을 의미한다. 예를 들어, 도 12의 예시에서도 각각의 픽셀에 표현되는 값은 0 내지 255일 수 있다.
메모리(300)는 하드웨어적으로 한번에 액세스 가능한 데이터의 크기가 정해져 있다. 메모리(300)의 데이터 액세스 단위 크기는 이러한 한번에 메모리(300) 내에 액세스 가능한 데이터의 크기를 의미할 수 있다. 도 12에서는 편의상, 메모리(300)의 데이터 액세스 단위 크기가 32byte라고 가정하여 설명한다.
하나의 픽셀은 8bit 즉 1byte의 크기의 데이터를 가지고 있고, 16 x 16의 블록은 총 256 byte의 크기의 데이터를 가질 수 있다. 즉, 소스 데이터(10)의 크기는 256byte일 수 있다.
무손실 압축의 경우에는 압축 데이터의 크기가 매번 달라질 수 있고, 이를 메모리(300)에서 리드(read)하기 위해서는 상기 압축 데이터의 크기가 따로 기록되어야 한다. 그러나, 상기 압축 데이터의 크기를 그대로 기록하는 경우에는 그 기록의 사이즈에 의해서 압축 효율이 낮아질 수 있으므로, 압축률을 규격화하여 압축 효율을 높일 수 있다.
구체적으로, 도 11에서는 메모리(300)의 데이터 액세스 단위 크기인 32byte에 따라서 압축률의 규격을 정의하였다. 예를 들어, 상기 압축 데이터의 크기가 0 내지 32 byte인 경우에는 압축률이 100 내지 87.5%이므로 이 때에는 압축률을 87.5%로 맞추는 작업(즉, 상기 압축 데이터의 크기를 32byte로 맞추는 작업)을 수행하고, 헤더에 1을 기록할 수 있다.
도 3의 패딩 모듈(216)은 압축 데이터(20)의 크기를 그 규격의 최대 크기로 맞추는 작업을 수행할 수 있다. 즉, 상기 압축 데이터의 크기가 170byte인 경우에는 161 내지 192 byte 사이이므로 22byte의 "0"을 추가하는 패딩 작업을 수행하여 상기 압축 데이터가 192byte가 되도록 할 수 있다.
이렇게 패딩 모듈(216)에 의해서 크기가 규격에 맞추어진 상기 압축 데이터는 압축 데이터(20)의 페이로드가 될 수 있다. 이에 따라서, 페이로드의 크기(n1 bit)는 메모리(300)의 데이터 액세스 단위 크기의 정수배일 수 있다.
헤더는 도 12의 헤더 인덱스(header index)를 표현하기 위한 부분일 수 있다. 헤더의 크기는 상기 압축 데이터의 크기에 따라 달라질 수 있지만, 도 8과 같은 경우 0 내지 7만 표현하면 되므로 3bit가 될 수 있다.
헤더와 페이로드는 메모리(300)의 서로 다른 영역에 저장될 수 있다. 즉, 헤더는 다른 헤더와 인접하게 저장되고, 페이로드는 다른 페이로드와 인접하게 저장될 수 있다.
페이로드는 바이너리 코드(binary code)와 k값 코드(k value code)를 포함할 수 있다. 바이너리 코드는 소스 데이터(10)가 압축된 부분일 수 있다. k값 코드는 엔트로피 인코딩 모듈(215)에서 정해진 k값을 의미할 수 있다.
바이너리 코드는 전체 블록의 데이터 값을 포함할 수 있다. 따라서, 바이너리 코드는 블록에 포함되어 있는 각각의 픽셀에 대한 데이터를 연속적으로 포함할 수 있다.
도 12는 본 발명의 이미지 처리 장치에 의해서 손실 압축된 데이터의 구조를 설명하기 위한 도면이다. 도 12를 참조하면, 손실 모드에서 압축된 압축 데이터(20)는 헤더가 없이 페이로드만을 포함할 수 있다.
페이로드는 바이너리 코드, k값 코 및 양자화 계수 코드(QP code)를 포함할 수 있다. 양자화 계수 코드는 도 3의 양자화 모듈(213)이 사용한 양자화 계수를 표시하기 위한 부분일 수 있다. 추후에 디코더(220)의 역양자화 모듈(223)은 상기 양자화 계수 코드를 이용하여 양자화 모듈(213)에 의해서 압축된 데이터를 압축해제할 수 있다.
손실 모드에서는 압축률이 고정되어 있으므로 출력 데이터(30)의 크기 즉, 페이로드(Payload)의 크기(m1 bit)는 고정될 수 있다.
이하, 도 13을 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치를 설명한다. 상술한 설명과 동일한 부분의 설명은 간략히 하거나 생략한다. 도 13은 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 13을 참조하면, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치의 프레임 버퍼 컴프레서(200), 멀티미디어 IP(100), 및 메모리(300)는 각각 시스템 버스(400)와 직접 연결될 수 있다.
프레임 버퍼 컴프레서(200)는 멀티미디어 IP(100)와는 직접적으로 연결되지는 않고, 시스템 버스(400)를 통해서 서로 연결될 수 있다. 예를 들어, 멀티미디어 IP(100)는 시스템 버스(400)를 통해서 프레임 버퍼 컴프레서(200)와 데이터를 서로 전송할 수 있다. 즉, 압축 과정에서는 멀티미디어 IP(100)는 시스템 버스(400)를 통해서 프레임 버퍼 컴프레서(200)로 소스 데이터(10)를 전송할 수 있다. 이어서, 프레임 버퍼 컴프레서(200) 소스 데이터(10)로부터 압축 데이터(20)를 생성하고, 이를 다시 메모리(300)에 시스템 버스(400)를 통해서 전송할 수 있다.
또한, 압축해제 과정에서 메모리(300)에 저장된 압축 데이터(20)를 시스템 버스(400)를 통해서 프레임 버퍼 컴프레서(200)가 전송받고, 이를 출력 데이터(30)로 압축해제할 수 있다. 이어서, 프레임 버퍼 컴프레서(200)가 시스템 버스(400)를 통해서, 출력 데이터(30)를 멀티미디어 IP(100)로 전송할 수 있다.
본 실시예의 경우, 프레임 버퍼 컴프레서가 멀티미디어 IP(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)와 개별적으로 연결되지 않아도 시스템 버스를 통해서 연결될 수 있어 하드웨어 구성이 단순해지고, 동작 속도가 향상될 수 있다.
이하, 도 14을 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치를 설명한다. 상술한 설명과 동일한 부분의 설명은 간략히 하거나 생략한다. 도 14는 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 14를 참조하면, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치에서 시스템 버스(400)는 멀티미디어 IP(100) 및 프레임 버퍼 컴프레서(200)와 직접 연결되고, 메모리(300)는 프레임 버퍼 컴프레서(200)를 통해서 시스템 버스(400)와 연결될 수 있다.
즉, 메모리(300)는 시스템 버스(400)에 직접적으로 연결되지 못하고, 프레임 버퍼 컴프레서(200)를 통해서만 시스템 버스(400)에 연결될 수 있다. 또한, 멀티미디어 IP(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)는 시스템 버스(400)와 직접 연결될 수 있다. 따라서, 멀티미디어 IP(100)의 이미지 신호 프로세서(110), 흔들림 보정 모듈(120), 멀티 포맷 코덱(130), GPU(140) 및 디스플레이(150)는 프레임 버퍼 컴프레서(200)를 거쳐야만 메모리(300)에 액세스할 수 있다.
본 실시예는 메모리(300)에 대한 모든 접근을 어차피 프레임 버퍼 컴프레서(200)가 관여하므로 시스템 버스(400)에 프레임 버퍼 컴프레서(200)를 직접 연결하고, 메모리(300)는 시스템 버스(400)를 프레임 버퍼 컴프레서(200)를 통해서 연결되도록 하여 데이터의 전송의 오류를 줄이고, 속도를 향상시킬 수 있다.
이하, 도 15을 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치를 설명한다. 상술한 설명과 동일한 부분의 설명은 간략히 하거나 생략한다. 도 15는 본 발명의 몇몇 실시예들에 따른 이미지 처리 장치를 설명하기 위한 블록도이다.
도 15를 참조하면, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치에서 시스템 버스(400)는 멀티미디어 IP(100) 및 메모리(300)와 직접 연결될 수 있다. 프레임 버퍼 컴프레서(200)는 멀티미디어 IP(100)와 연결될 수 있다. 프레임 버퍼 컴프레서(200)는 멀티미디어 IP(100)로부터의 소스 데이터(10)를 수신할 수 있다. 프레임 버퍼 컴프레서(200)는 소스 데이터(10)를 압축하여 압축 데이터(20)를 생성하고, 이를 다시 멀티미디어 IP(100)로 전달할 수 있다. 멀티미디어 IP(100)는 시스템 버스(400)를 통해 압축 데이터(20)를 메모리(300)에 저장할 수 있다.
압축해제 과정에서, 멀티미디어 IP(100)는 메모리(300)로부터 시스템 버스(400)를 통해 압축 데이터(20)를 수신할 수 있다. 멀티미디어 IP(100)는 압축 데이터(20)를 프레임 버퍼 컴프레서(200)로 전달할 수 있다. 프레임 버퍼 컴프레서(200)는 압축 데이터(20)를 압축해제하여 출력 데이터(30)를 생성하고, 이를 다시 멀티미디어 IP(100)로 전달할 수 있다.
이하, 도 1, 도 2, 도 16 및 도 17을 참조하여, 본 발명의 몇몇 실시예에 따른 이미지 처리 장치를 설명한다. 상술한 설명과 동일한 부분의 설명은 간략히 하거나 생략한다. 도 16는 본 발명의 몇몇 실시예들에 따른 인코더를 설명하기 위한 블록도이다. 도 17는 본 발명의 몇몇 실시예들에 따른 디코더를 설명하기 위한 블록도이다.
도 16을 참조하면, 인코더(210)는 CRC 모듈(217)을 더 포함할 수 있다. CRC 모듈(217)은 패딩 모듈(216)로부터 생성된 패딩 데이터에 CRC 코드를 추가하여 압축 데이터(20)를 생성할 수 있다. 예를 들어, CRC 모듈(217)은 인코더(210)에 입력된 소스 데이터(10), 제1 모드 셀렉터(219)로부터 출력된 모드 정보(mode info), 및 패딩 데이터에 기초하여 CRC 코드를 생성할 수 있다. CRC 코드는 소스 데이터(10)에 기초하여 생성된 것으로서, 출력 데이터(30)의 오류를 검증하기 위한 코드일 수 있다. CRC 코드는 원본 데이터의 오류를 검출하기 위한 통상의 코드일 수 있으며, 이에 대한 자세한 설명은 생략한다.
도 17을 참조하면, 디코더(220)는 CRC 체크 모듈(227)을 더 포함할 수 있다. CRC 체크 모듈(227)은 역양자화 모듈(221) 또는 예측 보상 모듈(223)로부터 생성된 출력 데이터(30)의 오류를 검출할 수 있다. CRC 체크 모듈(227)은 제2 모드 셀렉터(229)로부터 출력된 모드 정보(mode info) 및 CRC 코드에 기초하여, 출력 데이터(30)의 오류를 검출할 수 있다. 예를 들어, 제2 모드 셀렉터(229)는 압축 데이터(20)가 언패딩 모듈(216)에 입력되기 전에, CRC 코드를 분리하여, CRC 체크 모듈(227)로 전달할 수 있다. 또한, 제2 모드 셀렉터(229)는 압축 데이터(20)의 헤더 유무로, 압축 데이터(20)의 압축 모드(손실 또는 무손실)를 결정하고, 모드 정보를 CRC 체크 모듈(227)로 전달할 수 있다. CRC 체크 모듈(227)은 출력 데이터(30)로부터 연산된 출력 코드와 CRC 코드를 비교하여, 출력 데이터(30)의 오류를 검출할 수 있다.
몇몇 실시예에서, CRC 체크 모듈(227)은 출력 데이터(30)의 오류가 검출되는 경우, 출력 데이터(30)에 오류 마크를 표시할 수 있다. 예를 들어, CRC 체크 모듈(227)은 출력 데이터(30)에 오류가 검출된 경우, 해당 출력 데이터(30)를 특정 색(예를 들어, 검정색)으로 염색할 수 있다. 또한, 멀티미디어 IP(100)는 출력 데이터(30)에 오류 마크가 표시된 경우, 이미지 데이터에 오류 표시를 할 수 있다. 예를 들어, 멀티미디어 IP(100)는 출력 데이터(30)가 검정색으로 염색된 경우, 이미지 데이터를 검정색으로 염색할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 멀티미디어 IP
200: 프레임 버퍼 컴프레서
210: 인코더
220: 디코더
300: 메모리

Claims (10)

  1. 이미지 데이터를 프로세싱하여 소스 데이터 생성하는 멀티미디어 IP;
    상기 소스 데이터를 압축하여 압축 데이터를 생성하는 프레임 버퍼 컴프레서(Frame Buffer Compressor); 및
    상기 멀티미디어 IP에 의해 액세스되고, 상기 압축 데이터를 저장하는 메모리를 포함하되,
    상기 프레임 버퍼 컴프레서는
    상기 소스 데이터에 양자화를 수행하여 리콘 데이터를 생성하는 양자화 모듈; 및
    상기 리콘 데이터에 인트라-예측을 수행하여 예측 데이터를 생성하는 예측 모듈을 포함하는, 이미지 처리 장치.
  2. 제1항에 있어서,
    상기 소스 데이터는 복수의 소스 픽셀 데이터를 포함하고,
    상기 양자화 모듈은 미리 정의된 양자화 계수를 사용하여 상기 복수의 소스 픽셀 데이터 각각에 양자화를 수행하여 상기 리콘 데이터를 생성하는, 이미지 처리 장치.
  3. 제1항에 있어서,
    상기 리콘 데이터는 복수의 리콘 픽셀 데이터를 포함하고,
    상기 예측 모듈은, 상기 복수의 리콘 픽셀 데이터에 대한 인트라-예측을 수행하여, 상기 복수의 리콘 픽셀 데이터 중 일부에 대한 기준 픽셀 데이터와 상기 복수의 리콘 픽셀 데이터 중 나머지 일부에 대한 잔차 픽셀 데이터를 포함하는 예측 데이터를 생성하는, 이미지 처리 장치.
  4. 제1항에 있어서,
    상기 예측 데이터는 복수의 예측 픽셀 데이터를 포함하고,
    상기 프레임 버퍼 컴프레서는, 상기 복수의 예측 픽셀 데이터의 엔트로피 빈도수에 기초하여, 상기 예측 데이터에 엔트로피 인코딩을 수행하여 엔트로피 데이터를 생성하는 엔트로피 인코딩 모듈을 포함하고,
    상기 엔트로피 빈도수는 상기 복수의 예측 픽셀 데이터 중 같은 값을 갖는 예측 픽셀 데이터들의 개수에 기초하여 계산되는, 이미지 처리 장치.
  5. 제4항에 있어서,
    상기 프레임 버퍼 컴프레서는, 상기 엔트로피 데이터에 제로 데이터를 추가하여, 미리 정의된 크기를 갖는 패딩 데이터를 생성하는 패딩 모듈을 포함하는, 이미지 처리 장치.
  6. 소스 데이터를 압축하여 압축 데이터를 생성하는 프레임 버퍼 컴프레서로서,
    양자화를 수행하여 리콘 데이터를 생성하는 양자화 모듈;
    인트라-예측을 수행하여 예측 데이터를 생성하는 예측 모듈; 및
    상기 프레임 버퍼 컴프레서가 손실 모드 또는 무손실 모드로 동작하는지 여부를 결정하는 모드 셀렉터를 포함하고,
    상기 프레임 버퍼 컴프레서가 상기 손실 모드로 동작하는 경우, 상기 양자화 모듈은 상기 소스 데이터로부터 상기 리콘 데이터를 생성하고,
    상기 예측 모듈은 상기 리콘 데이터로부터 상기 예측 데이터를 생성하는, 프레임 버퍼 컴프레서.
  7. 제6항에 있어서,
    상기 프레임 버퍼 컴프레서가 상기 무손실 모드로 동작하는 경우, 상기 예측 모듈은 상기 소스 데이터로부터 상기 예측 데이터를 생성하는, 프레임 버퍼 컴프레서.
  8. 제6항에 있어서,
    상기 프레임 버퍼 컴프레서는 상기 압축 데이터를 압축해제하여 출력 데이터를 생성하고,
    상기 프레임 버퍼 컴프레서는, 상기 예측 데이터에 인트라-예측 보상을 수행하는 예측 보상 모듈, 및 상기 리콘 데이터에 역양자화를 수행하는 역양자화 모듈을 포함하고,
    상기 프레임 버퍼 컴프레서가 상기 손실 모드로 동작하는 경우, 상기 예측 보상 모듈은 상기 예측 데이터로부터 상기 리콘 데이터를 생성하고, 상기 역양자화 모듈은 상기 리콘 데이터로부터 상기 출력 데이터를 생성하는, 프레임 버퍼 컴프레서.
  9. 제8항에 있어서,
    상기 프레임 버퍼 컴프레서가 상기 무손실 모드로 동작하는 경우, 상기 예측 보상 모듈은 상기 예측 데이터로부터 상기 출력 데이터를 생성하는, 프레임 버퍼 컴프레서.
  10. 압축 데이터를 저장하는 메모리;
    상기 압축 데이터를 압축해제하여 출력 데이터를 생성하는 프레임 버퍼 컴프레서; 및
    상기 메모리에 액세스하고, 상기 출력 데이터를 프로세싱하여 이미지 데이터를 생성하는 멀티미디어 IP를 포함하되,
    상기 프레임 버퍼 컴프레서는 상기 압축 데이터에 기초하여 예측 데이터를 생성하고,
    상기 프레임 버퍼 컴프레서는 상기 예측 데이터에 대한 인트라-예측 보상을 수행하여 리콘 데이터를 생성하는 예측 보상 모듈; 및
    상기 리콘 데이터에 역양자화를 수행하여 상기 출력 데이터를 생성하는 역양자화 모듈을 포함하는, 이미지 처리 장치.
KR1020180151752A 2018-11-30 2018-11-30 이미지 처리 장치 및 프레임 버퍼 컴프레서 KR20200065367A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180151752A KR20200065367A (ko) 2018-11-30 2018-11-30 이미지 처리 장치 및 프레임 버퍼 컴프레서
US16/545,501 US11153586B2 (en) 2018-11-30 2019-08-20 Image processing device and frame buffer compressor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180151752A KR20200065367A (ko) 2018-11-30 2018-11-30 이미지 처리 장치 및 프레임 버퍼 컴프레서

Publications (1)

Publication Number Publication Date
KR20200065367A true KR20200065367A (ko) 2020-06-09

Family

ID=70849493

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180151752A KR20200065367A (ko) 2018-11-30 2018-11-30 이미지 처리 장치 및 프레임 버퍼 컴프레서

Country Status (2)

Country Link
US (1) US11153586B2 (ko)
KR (1) KR20200065367A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929672B (zh) * 2021-02-04 2023-02-24 山东云海国创云计算装备产业创新中心有限公司 一种视频压缩方法、装置、设备及计算机可读存储介质
US11847022B2 (en) * 2022-03-07 2023-12-19 International Business Machines Corporation Computation and placement of error correcting codes (ECC) in a computing system data cache

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201834B1 (en) 1996-12-20 2001-03-13 Intel Corporation Method and apparatus for packet loss recovery with standard-based packet video
FI107496B (fi) 1997-07-18 2001-08-15 Nokia Mobile Phones Ltd Kuvan kompressointi
IL122361A0 (en) 1997-11-29 1998-04-05 Algotec Systems Ltd Image compression method
US20020044695A1 (en) 2000-05-05 2002-04-18 Bostrom Alistair K. Method for wavelet-based compression of video images
US7206453B2 (en) 2001-05-03 2007-04-17 Microsoft Corporation Dynamic filtering for lossy compression
US8045614B2 (en) 2005-05-11 2011-10-25 Dolby Laboratories Licensing Corporation Quantization control for variable bit depth
US8660180B2 (en) * 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR100813258B1 (ko) 2005-07-12 2008-03-13 삼성전자주식회사 화상 데이터 부호화 및 복호화 장치 및 방법
US20070025441A1 (en) * 2005-07-28 2007-02-01 Nokia Corporation Method, module, device and system for rate control provision for video encoders capable of variable bit rate encoding
JP4606311B2 (ja) * 2005-11-21 2011-01-05 シャープ株式会社 画像符号化装置および画像符号化方法
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
KR101336243B1 (ko) 2007-05-10 2013-12-03 삼성전자주식회사 부가 정보가 삽입된 영상 데이터의 전송 스트림 구조,송수신 방법 및 장치
US20090060027A1 (en) 2007-08-30 2009-03-05 Tektronix, Inc. Compressed Signal Subjective Quality Ratings Prediction
EP2146343A1 (en) * 2008-07-16 2010-01-20 Deutsche Thomson OHG Method and apparatus for synchronizing highly compressed enhancement layer data
US9774875B2 (en) 2009-03-10 2017-09-26 Avago Technologies General Ip (Singapore) Pte. Ltd. Lossless and near-lossless image compression
US9349156B2 (en) 2009-09-25 2016-05-24 Arm Limited Adaptive frame buffer compression
KR20110071231A (ko) 2009-12-21 2011-06-29 엠텍비젼 주식회사 부호화 방법, 복호화 방법 및 장치
US8666186B1 (en) 2010-02-12 2014-03-04 Pacific Data Images Llc Lossy compression of high dynamic range video
US20110292247A1 (en) 2010-05-27 2011-12-01 Sony Corporation Image compression method with random access capability
US8634668B2 (en) * 2011-02-25 2014-01-21 Sony Corporation Method of compression of digital images using a fixed number of bits per block
PL3573337T3 (pl) 2011-04-22 2022-09-26 Dolby International Ab Sposób i urządzenie do kodowania z kompresją stratną danych obrazu
JP2013239893A (ja) 2012-05-15 2013-11-28 Hitachi Consumer Electronics Co Ltd 映像圧縮記録装置及び映像圧縮記録方法
US9299166B2 (en) 2012-12-13 2016-03-29 Qualcomm Incorporated Image compression method and apparatus for bandwidth saving
US9899007B2 (en) 2012-12-28 2018-02-20 Think Silicon Sa Adaptive lossy framebuffer compression with controllable error rate
JP6069128B2 (ja) 2013-08-08 2017-02-01 日本電信電話株式会社 変換量子化方法、変換量子化装置及び変換量子化プログラム
US9497488B2 (en) 2014-01-10 2016-11-15 Sony Corporation Conditional golomb based adaptive entropy coding
CN107078975B (zh) 2014-10-30 2021-03-23 索尼公司 发送装置、发送方法、接收装置以及接收方法
US10142629B2 (en) 2015-12-28 2018-11-27 Mediatek Inc. Method and apparatus for entropy coding in image compression

Also Published As

Publication number Publication date
US20200177899A1 (en) 2020-06-04
US11153586B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
US11445160B2 (en) Image processing device and method for operating image processing device
US10887616B2 (en) Image processing devices having enhanced frame buffer compressors therein
US11991347B2 (en) Image processing device
US20210250575A1 (en) Image processing device
US11153586B2 (en) Image processing device and frame buffer compressor
US11190810B2 (en) Device and method for compressing image data using quantization parameter and entropy tables
US11735222B2 (en) Frame buffer compressing circuitry and image processing apparatus
KR102543449B1 (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
KR102523959B1 (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
KR102465206B1 (ko) 이미지 처리 장치
TWI795480B (zh) 用於執行資料解壓縮的影像處理裝置及用於執行資料壓縮的影像處理裝置
TWI846680B (zh) 影像處理裝置及操作影像處理裝置之方法
US12052307B2 (en) Image processing device and method for operating image processing device
US20220201060A1 (en) Image processing device and method for operating image processing device
KR20220090850A (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination