KR20130078569A - 관심영역 기반의 화질 향상을 위한 스크린 콘텐츠 비디오 부호화/복호화 방법 및 그 장치 - Google Patents

관심영역 기반의 화질 향상을 위한 스크린 콘텐츠 비디오 부호화/복호화 방법 및 그 장치 Download PDF

Info

Publication number
KR20130078569A
KR20130078569A KR1020110147588A KR20110147588A KR20130078569A KR 20130078569 A KR20130078569 A KR 20130078569A KR 1020110147588 A KR1020110147588 A KR 1020110147588A KR 20110147588 A KR20110147588 A KR 20110147588A KR 20130078569 A KR20130078569 A KR 20130078569A
Authority
KR
South Korea
Prior art keywords
region
interest
image
screen content
roi
Prior art date
Application number
KR1020110147588A
Other languages
English (en)
Inventor
임웅
남정학
유종훈
오승준
심동규
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020110147588A priority Critical patent/KR20130078569A/ko
Publication of KR20130078569A publication Critical patent/KR20130078569A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 스크린 콘텐츠 비디오의 주관적 화질을 고려한 부호화 및 복호화 방법 및 장치에 관한 것이다. 스크린 콘텐츠 비디오는 일반적인 자연영상과 그 특성이 다르고, 이에 따라 기존의 비디오 부호화/복호화 기술에 추가적으로 스크린 콘텐츠 비디오의 특성을 고려한 장치 및 방법이 필요하다. 본 발명의 방법 및 장치는 입력되는 스크린 콘텐츠 비디오의 특성을 고려하여 주요 관심영역을 결정하고, 이를 비디오 부호화 과정에서 고려하여 주요 관심영역에 더 많은 정보를 할당함으로써 주관적 화질을 높이는 방법이다. 본 발명의 방법 및 장치는 스크린 콘텐츠 비디오의 주요 관심영역에 더 많은 정보를 할당함과 동시에 이외의 영역에서 요구되는 정보량을 적응적으로 조절함으로써, 영상 전체에 필요한 정보량을 기존의 방법과 유사한 정도로 유지할 수 있다.

Description

관심영역 기반의 화질 향상을 위한 스크린 콘텐츠 비디오 부호화/복호화 방법 및 그 장치 {Region of Interest based Screen Contents Quality Improving Video Encoding/Decoding Method and Apparatus Thereof}
본 발명은 스크린 콘텐츠 비디오의 주요 관심영역의 판별을 통하여 해당 영역의 화질을 향상시키는 방법 및 그 장치를 제안한다.
스크린 콘텐츠 비디오는 영상 전체가 인위적으로 제작된 영상일 수 있고, 일반적인 자연영상과 혼합된 형태로 존재할 수도 있다. 스크린 콘텐츠 비디오는 일반적인 자연영상과 달리 색차신호의 범위가 제한적이고, 잡음 비교적 적으며, 채도가 높은 등의 자연영상과는 다른 특성이 존재한다. 이러한 특성으로 인하여 스크린 콘텐츠 비디오의 관심영역은 자연영상을 대상으로 하는 관심영역추출 결과와 상이할 수 있다. 따라서 스크린 콘텐츠 비디오의 관심영역 기반의 화질 향상을 위해서는 자연영상과 다른 특성을 고려해야한다. 이러한 스크린 콘텐츠 비디오 압축은 현재 표준화가 진행 중인 HEVC(High Efficiency Video Coding)에서도 고려되고 있다.
기존의 비디오 부/복호화 기술은 일반적으로 카메라를 통해 취득되는 자연영상에 대한 압축을 위해 개발되었다. 그러나 ISO/IEC의 MPEG (Moving Picture Experts Group)과 ITU-T의 VCEG (Video Coding Experts Group)에 의해 공동으로 설립된 JCT-VC(Joint Collaborative Team on Video Coding)는 최근 표준화가 진행되고 있는 차세대 비디오 압축 표준인 HEVC에서 스크린 콘텐츠 비디오의 고효율 압축 기술을 고려하기 위하여 CG (Computer Generated) 영상, 자연영상과 CG영상의 혼합 영상 등을 표준 실험영상으로 사용하고 있다. 이는 애니메이션, 게임 등과 같은 스크린 콘텐츠 관련 분야에 차세대 비디오 코덱의 적용을 고려하고, 자연영상을 비롯한 다양한 특성의 영상에 비디오 압축기술을 적용하기 위한 것으로 볼 수 있다. 따라서 이러한 기술 동향에 따라 본 발명에서는 스크린 콘텐츠 비디오의 특성에 기반한 관심영역의 분석과 이러한 관심영역에 대한 화질 향상을 위한 부호화/복호화 방법 및 장치를 제안한다.
본 발명은 일반적인 자연영상을 효율적으로 압축하기 위한 기존의 코덱에서 스크린 콘텐츠 비디오의 효율적인 압축을 위한 방법 및 장치를 제안한다.
스크린 콘텐츠 비디오는 텍스트 영역에서와 같이 에지의 변화가 매우 급격하거나, 특정 영역에서 잡음이 없고 픽셀값이 단조롭게 증가하는 등의 특성이 존재하므로, 기존의 부호화/복호화 방법에 의하여 에지의 경계에서 블러 (blur) 잡음이 발생할 수 있다. 또한 단조롭게 증가하는 영역에서 계단 현상이 발생하거나 영역의 경계에서 울림 (ringing) 현상이 발생될 수 있다. 자연영상과 스크린 콘텐츠 영상이 혼합된 영상의 경우, 스크린 콘텐츠 영역의 검출을 통하여 해당 스크린 콘텐츠 영역에서 잡음을 최소화하는 방법을 적용할 수 있다. 그러나 기존의 관심영역 추출 방법은 자연영상의 명암대비, 에지의 기하학적 형태 등의 특징을 기반으로 하므로, 스크린 콘텐츠 영역을 관심영역으로 구분해내기 어렵다. 따라서 본 발명에서는 이러한 스크린 콘텐츠 영역을 판단하고, 해당 스크린 콘텐츠 영역에 대하여 스크린 콘텐츠의 특성을 고려하여 화질을 개선하는 방법을 제안한다.
본 발명에서는 제안하는 방법은 스크린 콘텐츠 비디오를 압축함에 있어, 스크린 콘텐츠의 특성을 고려한 관심영역을 판단하고, 이를 율-왜곡 최적화 관점에서 고려하여 주요 관심영역에 더 많은 비트를 할당하고, 이외의 영역에 할당되는 정보량을 줄임으로써 기존의 압축과정과 유사한 수준의 정보량을 유지함과 동시에 스크린 콘텐츠 비디오의 주관적 화질을 향상시키기 위하여 사용될 수 있다. 제안하는 방법에서 입력된 스크린 콘텐츠 비디오의 참조를 통하여 주요 관심영역이 판단될 수 있다. 판단된 주요 관심영역에 대한 부호화를 실시함에 있어, 주요 관심영역에 대한 부호화 파라미터를 적응적으로 변화시킴으로써 스크린 콘텐츠 비디오의 주요 관심영역의 화질을 향상시키고, 추가정보의 전송 없이 복호화될 수 있다. 또한 입력된 스크린 콘텐츠 비디오의 관심영역에 대한 추가정보를 전송하고, 이를 복호화 과정에서 참조함으로써 부호화 과정과 동일한 복원영상을 생성할 수 있다.
도 1은 본 발명에 따른 복호화 장치의 최상위 단계의 블록도이다.
도 2는 본 발명에 따른 부호화 장치의 최상위 단계의 블록도이다.
도 3은 본 발명에 따른 복호화 장치에 대한 간략한 블록도이다.
도 4는 본 발명에 따른 부호화기에 대한 간략한 블록도이다.
도 5는 본 발명에 따른 관심영역 추출부에 대한 간략한 블록도이다.
도 6은 입력된 영상의 특성을 고려한 화면 내 예측 수행 방법 및 장치에 대한 간략한 블록도이다.
도 7은 스크린 콘텐츠의 특성을 고려한 관심영역 기반의 화면 간 예측 방법 및 장치에 대한 간략한 블록도와 적응적 보간 방법에 대한 실시 예이다.
도 8은 입력된 영상에 대해 스크린 콘텐츠 비디오의 특성을 고려하여 추출된 블록 단위의 관심도 맵과 해당 관심도 맵을 고려한 양자화 매개변수 테이블의 실시 예이다.
도 9는 관심영역 및 스크린 콘텐츠 비디오의 특성을 고려한 인-루프 형태의 후처리 필터의 참조영역과 필터링 방법에 대한 실시 예이다.
본 발명은 스크린 콘텐츠 비디오 또는 스크린 콘텐츠와 자연영상이 함께 존재하는 혼합 영상의 주요 관심영역을 추출하고, 관심영역과 이외의 영역에 대한 비트량을 조정함으로써 주요 관심영역에 대한 화질을 향상시킴과 동시에 전체적인 비트량을 기존의 방법과 유사하게 유지함으로써, 입력된 스크린 콘텐츠의 전체적인 주관적 화질을 향상시키기 위한 방법 및 장치이다. 제안하는 방법은 압축된 비트스트림을 복호화함에 있어, 주요 관심영역 정보의 파싱 모듈과 해당 모듈을 통하여 생성된 관심영역 정보를 참조하여 적응적으로 파라미터를 조절하는 파라미터 제어기, 복호화된 스크린 콘텐츠 비디오 슬라이스에 대하여 관심영역에 필터링을 통해 원본영상에 가깝게 오류를 보정하는 인-루프 필터를 포함할 수 있다. 이하의 제안하는 방법 및 장치와 이를 기술하는 모든 과정에서 '스크린 콘텐츠'는 영상의 일부가 스크린 콘텐츠이거나, 전체가 스크린 콘텐츠로 구성된 것을 의미한다.
상술한 목적, 특징 및 방법은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서의 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 이하 첨부된 도면을 참조하여 본 발명의 바람직간 실시 예를 상세하게 설명한다.
도 1은 본 발명의 실시 예로써,
본 발명에 따른 복호화 장치의 최상위 단계의 블록도이다. 제안하는 방법은 입력 비트스트림 (100)을 복호화함에 있어, 부호화기로부터 전달된 스크린 콘텐츠의 특성을 고려한 관심영역 정보를 관심영역 복호화부 (102)에서 복호화할 수 있다. 또한, 비트스트림의 고속 복호화와 같은 응용을 위하여 관심영역 정보의 복호화과정이 없이 기존의 영상 복호화기와 동일한 방법으로 복호화될 수 있다. 복호화된 관심영역 정보는 영상 복호화기 (101)내에서 관심영역 정보를 고려하는 모든 모듈에서 참조될 수 있으며, 이러한 복호화 과정을 통하여 복원영상 (103)이 출력된다.
도 2는 본 발명의 실시 예로써,
본 발명에 따른 부호화 장치의 최상위 단계의 블록도이다. 제안하는 방법은 입력 영상 (200)을 부호화함에 있어, 관심영역 추출부 (201)에서 입력된 원본 영상을 참조하여 해당 영상의 관심영역 정보를 추출하고, 이는 영상 부호화기 (202), 율-왜곡 조절부 (203)에서 참조되어 입력 영상 (200)을 효율적으로 부호화할 수 있다. 또한, 고속 부호화와 같은 응용을 위하여 관심영역 정보의 추출 및 율-왜곡 조절의 기능이 없이 기존의 방법으로 입력 영상 (200)을 부호화할 수 있다. 관심영역 정보를 참조하여 해당 영상의 부호화를 수행함에 있어, 영상 부호화기 (202)는 관심영역 추출부 (201)를 통해 추출된 관심영역 정보를 참조하여 각 영역의 관심도에 따른 부호화 방법을 적용할 수 있다. 각 영역의 관심도에 따른 부호화 방법을 적용함에 있어, 율-왜곡 조절부 (203)는 영상 전체에 대한 화질과 발생되는 비트량을 조절하고, 각 영역의 관심도에 따라 주관적 화질과 발생되는 비트량을 조절할 수 있다. 관심영역 추출부 (201)를 통해 생성된 관심영역 정보를 참조하여 부호화를 수행한 경우 해당 영상의 관심영역 정보는 출력 비트스트림 (204)에 추가될 수 있다.
도 3은 본 발명의 실시 예로써,
본 발명에 따른 복호화 장치에 대한 간략한 블록도이다. 간단한 복호화 단계를 살펴보면, 입력되는 스크린 콘텐츠 비디오의 압축된 비트스트림을 복호화함에 있어, 관심영역정보 복호화부 (301)를 통해 부호화 과정에서 생성된 관심영역정보가 복호화될 수 있다. 이는 이후의 복호화 모듈에서 참조되어 해당 관심영역에 대한 주관적 화질 향상을 위해 복호화 과정 (300)에서 사용될 수 있다. 엔트로피 복호화부 (302)는 이후 영상의 복원을 위해 필요한 정보를 복호화한다. 엔트로피 복호화부 (302)를 통해 복호화된 변환계수는 역양자화부 (303)와 역변환부 (304)를 거쳐 공간축의 차분신호로 변환되며, 이는 화면 내 예측부 (306)와 움직임보상부 (307)를 통하여 복원된다. 복원된 영상은 필터부 (305)를 통하여 원본영상과 가깝게 화질이 개선될 수 있으며, 이후의 영상에서 참조되기 위해 참조영상버퍼 (308)에 저장된다. 관심영역정보 복호화부 (301)를 통해 복원된 관심영역정보는 역양자화부 (303)의 역양자화 과정에서 참조되어 수신된 양자화 파라미터를 기준으로 해당 영역의 관심도에 따라 양자화 파라미터가 조절될 수 있다. 제안하는 방법을 통하여 복호화된 관심영역 정보를 참조함으로써 역양자화를 수행할 해당 영역이 관심도가 높은 영역일 경우 양자화 파라미터의 값을 수신된 양자화 파라미터의 값에 상대적으로 낮추어 화질을 향상시키고, 그렇지 않은 경우 양자화 파라미터의 값을 높여서 역양자화를 수행할 수 있다. 화면 내 예측부 (306)에서 화면 내 예측을 수행함에 있어, 해당 영역의 관심도에 따라 적응적으로 예측 모드의 수를 다르게 적용할 수 있다. 즉, 높은 관심도를 갖는 영역에 대하여 기존의 화면 내 예측 방향보다 세분화된 방향으로의 예측을 수행할 수 있으며, 낮은 관심도를 갖는 영역에 대해 기존의 화면 내 예측 방향보다 적은 수의 방향으로 예측을 수행할 수 있다. 움직임보상부 (307)에서 화면간 예측을 수행함에 있어, 해당 영역의 관심도에 따라 적응적으로 보간 해상도와 움직임 벡터의 해상도를 갖을 수 있다. 화면 내 예측부 (306)와 움직임보상부 (307)을 통하여 복원된 영상에 대하여 필터부 (305)에서는 스크린 콘텐츠의 특성을 고려한 적응적 인-루프 필터가 적용될 수 있다. 또한, 이후에 복호화될 슬라이스의 관심도 추출을 위해서 현재 복호화된 슬라이스의 움직임 벡터들이 관심영역정보 추출부 (401)에서 참도될 수 있다.
도 4는 본 발명의 실시 예로써,
본 발명에 따른 부호화기에 대한 간략한 블록도이다. 본 발명은 입력되는 스크린 콘텐츠 비디오에 대하여 관심영역정보 추출부 (401)를 통하여 스크린 콘텐츠의 특성을 고려한 관심영역 정보를 추출한다. 추출된 관심영역 정보는 이후의 부호화 과정 (400)에서 이용되어, 부호화된 영상의 주관적 화질을 높일 수 있다. 관심영역정보 추출부 (401)에서 측정된 관심영역 정보는 영상의 부호화과정 (400)에서 이용될 수 있고, 부호화과정에서 출력되는 비트스트림에 저장될 수 있다. 또한, 입력된 영상의 특성에 따라 관심영역정보 추출부 (401)의 동작이 수행되지 않을 수 있다. 영상의 부호화과정 (400)에서 입력되는 영상에 대하여 복원된 주변영역과의 공간 중복성을 제거하는 화면 내 예측부 (405), 참조영상 버퍼 (403)에 저장된 복원된 이전 영상을 참조하여 시간 중복성을 제거하는 움직임예측부 (401) 및 이를 보상하는 움직임보상부 (402)를 통해 화면 간 예측이 수행된다. 예측과정을 통해 출력되는 차분신호는 변환부 (406)를 통하여 주파수 축으로 변환되며, 변환된 계수는 양자화부 (407)를 통하여 양자화된다. 양자화된 계수들은 이후 엔트로피 부호화부 (410)를 통하여 압축되며, 비트스트림으로 출력된다. 양자화부 (407)를 통하여 출력된 양자화된 계수들은 이후의 부호화과정에서 참조되기 위하여 역양자화부 (409)와 역변환부 (408)를 거쳐 차분신호로 복원되며, 복원된 차분신호는 해당 차분신호의 동일한 예측값으로 보상되어 복원영상이 생성된다. 복원된 영상은 필터부 (404)를 통하여 부호화 과정에서 발생한 손실이 추가적으로 보상되고 열화가 제거되어 참조영상버퍼 (403)에 저장된다. 스크린 콘텐츠 비디오의 주관적 화질 개선을 위하여 입력영상에 대해 추출된 관심영역정보는 부호화 과정 (400)의 움직임 예측부 (401), 화면 내 예측부 (405), 양자화부 (407), 필터부 (404) 등에서 고려될 수 있다. 주관적 화질에 많은 영향을 미치는 관심영역의 화질 향상을 위하여 움직임 예측부 (401)에서는 해당 영역의 관심도에 따라서 적응적으로 보간 해상도와 움직임 벡터의 해상도를 높이거나, 낮추어 화면 간 예측을 수행할 수 있다. 화면 내 예측부 (405)에서는 입력영상으로부터 추출된 관심영역정보를 참조하여, 해당 영역의 관심도에 따라 화면 내 예측모드의 수를 적응적으로 결정할 수 있다. 양자화부 (407)에서는 관심영역 정보를 참조하여 양자화 파라미터의 값을 적응적으로 조절할 수 있다. 복원된 영상에 대한 화질 개선 및 열화를 제거하는 필터부 (404)에서는 관심영역을 고려하여 적응적으로 필터 계수를 구하고 필터가 적용될 영역에 대한 정보를 생성할 수 있다. 또한, 움직임 예측부 (401)로부터 결정된 움직임 벡터는 이후에 부호화될 슬라이스에 대한 관심영역정보 추출을 위해 참조되어 높은 정확도의 관심도를 추출할 수 있다.
도 5는 본 발명의 실시 예로써,
본 발명에 따른 관심영역 추출부 (500)에 대한 간략한 블록도이다. 입력영상 (501)에 대하여 관심영역을 추출함에 있어, 해당 입력영상 (501)은 스크린 콘텐츠 특성 추출부 (503)로 입력될 수 있다. 스크린 콘텐츠 특성 추출부 (503)는 입력된 스크린 콘텐츠 비디오의 특성을 분석함에 있어, 명도대비, 채도, 색범위, 방향성, 움직임, 히스토그램, 평활도 등을 이용하여 해당영상의 특성을 분석 및 추출할 수 있다. 스크린 콘텐츠 비디오는 자연영상과 달리, 텍스트 영역 등에서 명도대비가 높고, 전체적으로 채도가 높은 특성이 존재한다. 또한 지역적으로 사용되는 색의 범위와 수가 적은 특성이 있다. 이러한 스크린 콘텐츠의 특성에 따라서 스크린 콘텐츠의 특성을 추출하여 관심영역의 결정 과정에서 참조될 수 있다.
또한, 비디오는 정지영상과는 달리 움직임에 의해 관심영역에 영향을 미칠 수 있다. 따라서 과거의 부호화 또는 복호화 영상의 움직임 벡터 (502)가 스크린 콘텐츠 특성 추출부 (503)로 입력될 수 있다. 입력된 움직임 벡터 (502)를 고려하여 분석된 스크린 콘텐츠 비디오의 특성은 관심영역 추출부 (504)를 통해 입력영상 (501)에 대한 관심영역이 결정될 수 있다.
도 6은 본 발명의 실시 예로써,
입력된 영상의 특성을 고려한 화면 내 예측 수행 방법 및 장치에 대한 간략한 블록도이다. 제안하는 방법 및 장치를 이용하여 입력영상 (600)에 대하여 해당영역의 관심도와 스크린 콘텐츠 비디오의 특성을 고려하여 화면 내 예측을 수행할 수 있다. 스크린 콘텐츠 비디오의 화면 내 예측을 수행함에 있어, 스크린 콘텐츠 특성 기반 화면 내 예측모드 결정부 (602)는 입력영상 (600)과 해당 영역에 대한 관심도 (601)를 입력으로 하여 스크린 콘텐츠의 특성과 관심도를 참조하여 화면 내 예측을 수행할 수 있다. 제안하는 화변 내 예측을 수행함에 있어, 입력된 관심도와 해당 영역의 스크린 콘텐츠 특성 간의 모델을 통하여, 다양한 화면 내 예측 중 어떠한 방향의 예측모드 셋을 사용할지 결정할 수 있다. 이는 입력된 관심도 (601)에 따라서 적은 방향의 화면 내 예측모드로 예측을 수행하거나, 세분화된 많은 방향의 예측모드를 사용하여 예측을 수행할 수 있다. 예를 들어, 현재 입력된 영상의 예측 단위 블록의 관심도가 높은 경우, 기존의 화면 내 예측모드 셋 (603) 외에 세분화된 화면 내 예측모드 셋 (604)을 추가적으로 사용하여 예측을 수행하고, 관심도가 낮은 단위 블록에 대해서는 기존의 예측모드 셋 (603)을 사용함으로써, 예측모드를 위한 정보를 적게 발생시킬 수 있다. 스크린 콘텐츠 특성 기반 화면 내 예측부 (602)에서 입력영상과 주변의 복원영역을 이용하여 화면 내 예측을 수행함에 있어, 스크린 콘텐츠의 예리한 에지, 복잡한 형태 등에 기반하여, 직선 방향의 예측이 아닌 곡선 또는 에지의 형태를 모델링한 다양한 방향의 예측신호를 생성하여 예측 정확도를 높일 수 있다.
도 7은 본 발명의 실시 예로써,
스크린 콘텐츠의 특성을 고려한 관심영역 기반의 화면 간 예측 방법 및 장치에 대한 간략한 블록도이다. 스크린 콘텐츠의 특성을 고려한 관심영역 기반의 화면 간 예측을 수행함에 있어, 입력영상 (700)과 함께 입력되는 해당 영역에 대한 관심도 (701)에 따라 적응적 참조영상 보간을 적용할 수 있다. 복원 영상 버퍼 (702)에 저장된 참조영상에 대하여 입력영상을 위한 최적 예측 신호를 찾기 위하여 적응적 영상 보간부 (703)는 해당 영역의 관심도를 고려하여 다양한 해상도를 갖는 적응적 보간을 수행할 수 있다. 적응적 영상 보간부 (703)에서 참조영상의 보간을 수행함에 있어, 해당 영역의 관심도가 높을 경우에 대해 정수 픽셀 (707)들을 참조하여 적응적으로 1/8 픽셀 혹은 그 이상의 해상도의 보간을 수행할 수 있다. 만일 현재 화면 간 예측을 수행할 블록의 참조영역에 대하여, 해당 영역의 관심도가 낮은 경우에는 해당 참조영상의 정수픽셀 (707)을 참조하여 1/2 픽셀 (708)과 1/4 픽셀 (709) 해상도까지 보간을 수행할 수 있다. 만일, 해당 영역의 관심도가 높은 경우에는 참조영상의 정수픽셀 (707)을 참조하여 1/2 픽셀 (708), 1/4 픽셀 (709)과 1/8 픽셀 (710) 해상도까지 보간을 수행할 수 있다. 적응적 화면 간 예측부 (704)는 보간된 영상을 참조하여 해당 예측 신호의 참조를 통해 차분신호 (705)와 움직임 벡터 (706)가 결정될 수 있다. 화면 간 예측을 수행함에 있어, 적응적 화면 간 예측부 (704)를 통해 결정되는 움직임 벡터 (706)는 해당 영역의 관심도에 따라 결정된 보간 해상도에 의하여 그 해상도가 결정될 수 있다. 만일, 해당 영역의 관심도 (701)가 높은 경우에 적응적 영상 보간부 (703)는 복원영상 버퍼 (702)에 저장된 참조영상에 대하여 1/8 픽셀의 해상도를 갖는 보간을 수행할 수 있다. 이러한 경우 적응적 화면 간 예측부 (704)를 통하여 결정되는 움직임 벡터 (706)의 해상도는 1/8로 해당 참조 영상의 보간 해상도와 동일하다.
도 8은 본 발명의 실시 예로써,
입력된 영상에 대해 스크린 콘텐츠 비디오의 특성을 고려하여 추출된 블록 단위의 관심도 맵 (800)을 의미한다. 이는 각각의 블록에 대하여 스크린 콘텐츠의 특성을 추출하고, 이를 고려하여 해당 블록의 관심도를 측정한 결과이다. 원본 영상에 대하여 추출된 블록단위의 관심도 맵 (800)을 참조하여, 비디오의 주관적 화질을 고려한 부호화를 수행할 수 있다. 스크린 콘텐츠 비디오의 부호화 과정에서는 관심도 맵 (800)을 참조하여 각 영역의 관심도에 따라 적응적으로 다른 값의 양자화 파라미터를 적용할 수 있다. 관심도에 따른 양자화 값 오프셋 테이블 (801)을 사용하여 현재 슬라이스의 기본 양자화 파라미터 값에 영역별 관심도에 따른 오프셋을 더하여 부호화 과정에서 적용될 수 있다. 추출된 관심도 맵 (800)과 양자화 파라미터 오프셋 테이블 (801)을 사용하여 부호화 과정에서 각 블록에 적용되는 양자화 파라미터 값 (802)을 사용하여 관심영역의 화질을 향상시킬 수 있다. 관심도 맵 (500)과 관심도에 따른 양자화 값 오프셋 테이블 (801)은 해당 영상의 비트스트림에 추가되어 전송될 수 있다. 관심도 맵 (800)을 비트스트림에 추가함에 있어, 각 블록별 관심도는 이웃한 주변 블록의 관심도에 의하여 예측되어 차분신호를 부호화하여 전송될 수 있다. 관심도의 예측은 각 블록의 부호화 순서에 따라 수행될 수 있다. 즉, 현재 블록의 관심도와 이전에 부호화된 블록의 관심도 간의 차분 신호를 구하여 가변장 길이 부호화 (VLC : Variable Length Coding) 또는 주변 영역의 관심도에 따른 문맥 적응적 가변장 길이 부호화 (CAVLC : Context Adaptive Variable Length Coding), 문맥 적응적 이진 산술 부호화 (CABAC : Context Adaptive Binary Arithmetic Coding) 등을 이용하여 부호화될 수 있다. 관심도에 따른 양자화 파라미터 오프셋 테이블 (801)은 관심도 맵 (800)을 참조하여 선형 또는 비선형적으로 결정될 수 있으며, 관심도 맵 (800)과 같이 후호화하여 전송될 수 있다. 각 슬라이스의 관심도 맵 (800)과 양자화 파라미터 오프셋 테이블 (801)은 슬라이스 헤더에 추가되어 전송될 수 있다. 또는, 미리 정의된 테이블을 사용하여 부호화 과정에서 적용하고, 해당 정보의 전송을 생략할 수 있다.
도 9는 본 발명의 실시 예로써,
관심영역 및 스크린 콘텐츠 비디오의 특성을 고려한 인-루프 형태의 후처리 필터를 적용할 수 있다. 부호화기의 관심영역정보 추출부와 복호화기의 관심영역정보 복호화부를 통하여 출력된 관심영역정보 (900)를 참조하여 복호화된 스크린 콘텐츠 비디오에 대하여 원본영상과 최대 유사도를 갖도록 화질을 향상시키기 위한 필터를 적용함에 있어, 각 영역의 관심도 및 스크린 콘텐츠 특성을 고려할 수 있다. 관심도를 고려한 필터를 적용함에 있어, 해당 필터는 영상 내에서 높은 관심도를 갖는 영역으로부터 관심도가 낮은 영역으로의 우선순위를 두고 차등적으로 참조할 수 있다. 즉, 관심영역정보 (900)의 관심도에 따라 높은 관심도를 갖는 영역 (901)만을 참조하여 최적필터를 구하고, 이를 복원영상에 적용할 수 있다. 또한, 참조영역 중 자연영상 영역을 위한 필터 (903)와 스크린 콘텐츠 비디오 영역에 대한 필터 (902)를 각각 구하여, 참조 영역 내부의 스크린 콘텐츠 영역 (904)과 자연영상 영역 (905) 각각의 특성에 따라 서로 다른 필터를 적용할 수 있다.

Claims (6)

  1. 영상을 전송, 압축, 처리함에 있어 입력되는 스크린 콘텐츠 영상 또는 스크린 콘텐츠를 포함하는 자연영상과의 혼합 영상의 특징을 기반으로 관심영역을 추출하고, 이를 참조하여 영상을 압축하는 장치에 있어서,
    입력 영상을 참조하여 스크린 콘텐츠의 특성과 관심도를 추출하는 관심영역 추출부, 추출된 관심영역 정보를 이용하여 영상의 압축과정에서 적응적으로 파라미터 및 코드워드를 조절하는 압축부, 추출된 관심영역 정보의 선택적 전송부, 관심영역 정보의 복호화부, 이러한 모듈을 포함하는 것을 특징으로 하는 영상 부/복호화 장치.
  2. 제 1항에 있어서, 입력된 영상의 특징을 분석함에 있어, 공간적으로는 명도대비, 채도대비, 히스토그램 기반의 컬러 빈도, 방향성, 평활도, 변환 계수 등을 이용하고, 시간적으로는 움직임 벡터 등을 이용한 관심영역 추출부를 포함하는 것을 특징으로 하는 영상 부/복호화 장치.
  3. 제 1항에 있어서, 입력되는 영상에 대한 화면 내 예측을 수행함에 있어, 각 영역의 관심도에 따라 적응적으로 화면 내 예측모드의 수를 결정하여 화면 내 예측을 수행하는 것을 특징으로 하는 영상 부/복호화 장치.
  4. 제 1항에 있어서, 입력되는 영상과 해당 영역의 관심도를 이용하여, 각 영역의 관심도에 따라 적응적으로 참조영상의 보간 해상도 및 움직임 벡터의 해상도를 결정하는 화면 간 예측부, 이러한 모듈을 포함하는 것을 특징으로 하는 영상 부/복호화 장치.
  5. 제 1항에 있어서, 입력되는 영상과 해당 영역의 관심도를 이용하여, 각 영역의 양자화 파라미터의 값을 적응적으로 조절하거나, 고정된 양자화 파라미터 오프셋 테이블을 참조 또는 최적 양자화 파라미터 오프셋 정보를 전송하는 양자화 파라미터 조절부, 이러한 모듈을 포함하는 것을 특징으로 하는 영상 부/복호화 장치.
  6. 제 1항에 있어서, 복원된 영상에 대한 적응적 필터를 적용함에 있어, 추출된 관심도를 참조하여 스크린 콘텐츠 영역과 자연영상 영역을 구분하여 필터를 적용 또는, 추출된 관심도를 기반으로 높은 관심 영역에 대한 최적 필터를 적용하는 필터부, 이러한 모듈을 포함하는 것을 특징으로 하는 영상 부/복호화 장치.

KR1020110147588A 2011-12-30 2011-12-30 관심영역 기반의 화질 향상을 위한 스크린 콘텐츠 비디오 부호화/복호화 방법 및 그 장치 KR20130078569A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110147588A KR20130078569A (ko) 2011-12-30 2011-12-30 관심영역 기반의 화질 향상을 위한 스크린 콘텐츠 비디오 부호화/복호화 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110147588A KR20130078569A (ko) 2011-12-30 2011-12-30 관심영역 기반의 화질 향상을 위한 스크린 콘텐츠 비디오 부호화/복호화 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20130078569A true KR20130078569A (ko) 2013-07-10

Family

ID=48991488

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110147588A KR20130078569A (ko) 2011-12-30 2011-12-30 관심영역 기반의 화질 향상을 위한 스크린 콘텐츠 비디오 부호화/복호화 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20130078569A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419762B2 (en) 2015-03-02 2019-09-17 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images
EP3468186A4 (en) * 2016-06-08 2019-09-18 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD
CN116886923A (zh) * 2023-06-19 2023-10-13 广州开得联软件技术有限公司 课堂视频编码方法、装置、存储介质和设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419762B2 (en) 2015-03-02 2019-09-17 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images
EP3468186A4 (en) * 2016-06-08 2019-09-18 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD
US10893269B2 (en) 2016-06-08 2021-01-12 Sony Corporation Image processing device and method
CN116886923A (zh) * 2023-06-19 2023-10-13 广州开得联软件技术有限公司 课堂视频编码方法、装置、存储介质和设备

Similar Documents

Publication Publication Date Title
KR101752401B1 (ko) 샘플 적응성 오프셋 제어
CN114071165B (zh) 视频编码器、视频解码器及对应方法
CN113545064A (zh) 用于处理视频内容的方法和***
US11146829B2 (en) Quantization parameter signaling in video processing
JP7343669B2 (ja) Ｖｖｃにおける色変換のための方法及び機器
CN113170143B (zh) 一种编码器、解码器及去块滤波器的边界强度的对应推导方法
CN115665408B (zh) 用于跨分量线性模型预测的滤波方法和装置
CN111837389A (zh) 适用于多符号位隐藏的块检测方法及装置
KR20210044765A (ko) 영상 부호화 방법 및 장치
CN113170202B (zh) 用于构建应用多假设预测的块的mpm列表的编码器、解码器及相应方法
KR20130098122A (ko) 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
CN113785573A (zh) 编码器、解码器和使用自适应环路滤波器的对应方法
CN116233470A (zh) 指示高级语法的编码器、解码器以及对应方法
CN113330743A (zh) 编码器、解码器及去块效应滤波器自适应的对应方法
KR101646072B1 (ko) 동영상 데이터 암호화 장치 및 방법
CN114902670A (zh) 用信号通知子图像划分信息的方法和装置
KR20210075201A (ko) 인트라 예측을 위한 방법 및 장치
CN115665407B (zh) 用于帧内预测的分量间线性建模方法和装置
CN114679583B (zh) 视频编码器、视频解码器及对应方法
KR20130078569A (ko) 관심영역 기반의 화질 향상을 위한 스크린 콘텐츠 비디오 부호화/복호화 방법 및 그 장치
KR20220065880A (ko) 아핀 모션 보상에서 dct 기반 보간 필터 및 향상된 쌍선형 보간 필터의 사용
CN110650337B (zh) 一种图像编码方法、解码方法、编码器、解码器及存储介质
KR20160125704A (ko) 하이브리드 동영상 처리 장치 및 방법
WO2023056348A1 (en) Video coding with selectable neural-network-based coding tools
KR20240089011A (ko) 선택 가능한 뉴럴 네트워크 기반 코딩 도구를 사용하는 비디오 코딩

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination