KR102338466B1 - 디스플레이 장치 및 디스플레이 장치의 제어방법 - Google Patents

디스플레이 장치 및 디스플레이 장치의 제어방법 Download PDF

Info

Publication number
KR102338466B1
KR102338466B1 KR1020170168084A KR20170168084A KR102338466B1 KR 102338466 B1 KR102338466 B1 KR 102338466B1 KR 1020170168084 A KR1020170168084 A KR 1020170168084A KR 20170168084 A KR20170168084 A KR 20170168084A KR 102338466 B1 KR102338466 B1 KR 102338466B1
Authority
KR
South Korea
Prior art keywords
block boundary
block
image
map
boundary map
Prior art date
Application number
KR1020170168084A
Other languages
English (en)
Other versions
KR20190068067A (ko
Inventor
김동윤
박승호
안태경
위호천
김상훈
문영수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170168084A priority Critical patent/KR102338466B1/ko
Priority to JP2020510530A priority patent/JP6864155B2/ja
Priority to PCT/KR2018/015540 priority patent/WO2019112376A1/ko
Priority to EP18885945.8A priority patent/EP3657802A4/en
Priority to US16/641,131 priority patent/US11290750B2/en
Priority to CN201880054667.6A priority patent/CN111052747B/zh
Publication of KR20190068067A publication Critical patent/KR20190068067A/ko
Application granted granted Critical
Publication of KR102338466B1 publication Critical patent/KR102338466B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

개시된 일 측면에 따르면 비규칙적인 형태 및 블록 경계가 블러된 로컬 랜덤 블록 노이즈에 대응하기 위해서 복수 개의 블록 노이즈 경계 검출을 실행하고, 이에 기초한 블록 노이즈 경계 맵을 작성함으로써, 탄력적인 디블록킹 필터링을 수행하여 종래 기술보다 개선된 블록 노이즈를 저감하는 디스플레이 장치 및 디스플레이 장치의 제어방법에 관한 것이다.
개시된 일 실시예에 따른 디스플레이 장치는 영상을 수신하는 영상 수신부; 상기 영상 수신부가 전달하는 영상에서 복수 개의 커널을 이용한 컨벌루션을 수행하여 블록 경계 맵을 생성하는 블록 경계 맵 생성부; 상기 생성된 블록 경계 맵 및 상기 블록 경계 맵에 포함된 블록 경계 주기에 기초하여 필터 파라미터를 결정하는 필터 파라미터 결정부; 상기 결정된 필터 파라미터에 기초하여 필터 강도를 변화하는 디블록킹 필터; 및 상기 디블록킹 필터가 블록 노이즈를 제거한 영상을 출력하는 표시부;를 포함한다.

Description

디스플레이 장치 및 디스플레이 장치의 제어방법{DISPLAY DEVICE AND CONTROLLING METHOD THEREOF}
압축 영상에서 발생하는 블록 노이즈를 제거하는 디스플레이 장치 및 디스플레이 장치의 제어방법에 관한 것이다.
디스플레이 장치는, 획득 또는 저장된 전기적 정보를 시각적 정보로 변환하여 사용자에게 표시하는 출력 장치이다. 또한, 디스플레이 장치는, 수신되거나 또는 저장된 영상에 대해 소정의 영상 처리를 수행한 후, 처리된 영상을 사용자에게 표시할 수 있다.
최근 카메라의 성능 증가로 인해 제작되는 동영상의 해상도가 증가하였다. 그러나 제작된 영상을 압축하여 전송하는 경우, 전송 대역폭(Bandwidth)의 한계로 영상 처리 과정에서 블록 노이즈(Block Noise)가 발생하게 된다.
동영상의 압축을 위한 기술이 발전함에 따라 발생하는 블록 노이즈의 형태도 변화하게 되었다. 일 예로 MPEG-4 이전 압축 코덱은 규칙적인 형태와 크기를 가진 블록 노이즈를 발생시켰다. 그러나 최근 H-264 또는 H-265 부호화 방식은 불규칙적이고 다양한 형태의 블록 노이즈를 발생시킨다.
H-264 또는 H-265 부호화 방식에서는 디블록킹 필터링 (Deblocking Filtering)에 의해서 블록 노이즈 경계(Block Noise Boundary)가 블러(Blur)되어 발생한다. 또한, H-264 또는 H-265로 부호화된 영상이 디스플레이 장치 외부에서 업스케일링(Upscaling)이 된 경우에도 블록 노이즈 경계가 블러 되어 발생하므로, 블러된 블록 노이즈 경계 검출 방법이 필요하다.
이하에서는 이러한 문제점 해결을 위한 종래 기술을 소개하며 각각의 기술의 설명과 문제점을 기술한다.
먼저, 종래기술 1(미국등록공보 US 7865035)은 디코더(Decoder)로부터 비디오 파라미터 정보를 받아 영상 퀄리티를 분석하고, 이 정보를 기반으로 필터 강도를 조절하는 기술이 개시되어 있다. 그러나 종래기술 1은 영상 퀄리티를 분석하기 위한 정보를 디코더로부터 수신하고 있으며, 이는 정보가 불분명한 블라인드 영상 입력에 대응하지 못하는 문제점이 있었다.
종래기술 2 (미국등록공보 US 7911538)는 Edge Ratio, Edge Value 및 Edge Count를 이용하여 블록 노이즈의 강도를 산출하고 이를 기반으로 디블록킹 필터링을 수행하는 기술을 개시하고 있다. 그러나 종래기술 2는 일반적인 Edge 정보를 다수 포함하게 되어 정확도가 측면에서 문제가 있었다.
(특허문헌 1) US 7865035 B2
(특허문헌 2) US 7911538 B2
개시된 일 측면에 따르면 비규칙적인 형태 및 블록 경계가 블러되어 있는 로컬 랜덤 블록 노이즈에 대응하기 위해서 복수 개의 블록 노이즈 경계 검출을 실행하고, 이에 기초한 블록 노이즈 경계 맵을 생성함으로써, 탄력적인 디블록킹 필터링을 수행하여 종래 기술보다 개선된 블록 노이즈를 저감하는 디스플레이 장치 및 디스플레이 장치의 제어방법에 관한 것이다.
개시된 일 실시예에 따른 디스플레이 장치는 영상을 수신하는 영상 수신부; 상기 영상 수신부가 전달하는 영상에서 복수 개의 커널을 이용한 컨벌루션을 수행하여 블록 경계 맵을 생성하는 블록 경계 맵 생성부; 상기 생성된 블록 경계 맵 및 상기 블록 경계 맵에 포함된 블록 경계 주기에 기초하여 필터 파라미터를 결정하는 필터 파라미터 결정부; 상기 결정된 필터 파라미터에 기초하여 필터 강도를 변화하는 디블록킹 필터; 및 상기 디블록킹 필터가 블록 노이즈를 제거한 영상을 출력하는 표시부;를 포함한다.
상기 블록 경계 맵 생성부는, 상기 복수 개의 커널을 이용한 컨벌루션을 수행하여 획득하는 연관 값을 미리 설정된 기준값과 비교하여 상기 제1 블록 경계 맵을 생성하고, 상기 제1 블록 경계 맵에 포함된 블록 경계의 연속성에 기초하여 상기 제1 블록 경계 맵을 수정한 제2 블록 경계 맵을 생성할 수 있다.
상기 블록 경계 맵 생성부는, 상기 제2 블록 경계 맵에 포함된 블록 경계의 개수를 누적시킨 히스토그램 및 상기 히스토그램을 기초로 산출되는 블록 모서리 평균 강도를 산출하고, 상기 블록 모서리 평균 강도 및 미리 설정된 기준 값에 기초하여 상기 블록 경계 주기를 결정할 수 있다.
상기 블록 경계 맵 생성부는, 상기 결정된 블록 경계 주기에 기초하여 상기 제2 블록 경계 맵을 수정한 제3 블록 경계 맵을 생성할 수 있다.
상기 필터 파라미터 결정부는, 상기 블록 모서리 평균 강도, 상기 블록 경계 주기, 상기 블록 경계 주기의 신뢰도 및 상기 제3 블록 경계 맵에서 포함된 블록 모서리 강도 중 적어도 하나에 기초하여 상기 필터 파라미터를 결정할 수 있다.
상기 디블록킹 필터는, 상기 블록 경계 주기 또는 상기 블록 모서리 평균 강도의 크기에 비례하여 상기 필터 강도를 조절할 수 있다.
상기 블록 경계 맵 생성부는, 상기 영상 수신부가 전달하는 영상에서 정규화 과정을 수행할 수 있다.
상기 블록 경계 맵 생성부는, 상기 연관 값에 기초한 복수 개의 연관성 맵을 생성하고, 상기 복수 개의 연관성 맵에서 선택된 픽셀 위치에 기초하여 상기 제1 블록 경계 맵을 생성할 수 있다.
상기 제1 블록 경계 맵은, 수평 방향 및 수직 방향을 생성되는 2방향 맵을 포함할 수 있다.
상기 블록 경계 맵 생성부는, 상기 입력 영상이 레터박스를 포함하면, 오프셋에 기초하여 상기 블록 경계 주기를 결정할 수 있다.
개시된 다른 실시예에 따른 디스플레이 장치의 제어방법은, 영상을 수신하고; 상기 영상에서 복수 개의 커널을 이용한 컨벌루션을 수행하여 블록 경계 맵을 생성하고; 상기 생성된 블록 경계 맵 및 상기 블록 경계 맵에 포함된 블록 경계 주기에 기초하여 필터 파라미터를 결정하고; 상기 결정된 필터 파라미터에 기초하여 필터 강도를 변화하여 디블록킹 필터링을 수행하고; 상기 필터링을 수행한 결과를 표시하는 것;을 포함한다.
상기 생성하는 것은, 상기 복수 개의 커널을 이용한 컨벌루션을 수행하여 획득하는 연관 값을 미리 설정된 기준값과 비교하여 상기 블록 경계 맵을 생성하고; 상기 블록 경계 맵에 포함된 블록 경계의 연속성에 기초하여 상기 블록 경계 맵을 수정하는 것;을 포함할 수 있다.
상기 수정하는 것은, 상기 생성된 블록 경계 맵에 포함된 블록 경계의 개수를 누적시킨 히스토그램 및 상기 히스토그램을 기초로 산출되는 블록 모서리 평균 강도를 산출하고; 상기 블록 모서리 평균 강도 및 미리 설정된 기준 값에 기초하여 상기 블록 경계 주기를 결정하는 것;을 포함할 수 있다.
상기 수정하는 것은, 상기 결정된 블록 경계 주기에 기초하여 상기 수정된 블록 경계 맵을 다시 수정하는 것;을 포함할 수 있다.
상기 필터 파라미터를 결정하는 것은, 상기 블록 모서리 평균 강도, 상기 블록 경계 주기, 상기 블록 경계 주기의 신뢰도 및 상기 제3 블록 경계 맵에서 포함된 블록 모서리 강도 중 적어도 하나에 기초하여 상기 필터 파라미터를 결정하는 것;을 포함할 수 있다.
상기 디블록킹 필터링을 수행하는 것은, 상기 블록 경계 주기 또는 상기 블록 모서리 평균 강도의 크기에 비례하여 상기 필터 강도를 조절하는 것;을 포함할 수 있다.
상기 생성하는 것은, 상기 영상에서 정규화 과정을 수행하는 것;을 포함할 수 있다.
상기 생성하는 것은, 상기 연관 값에 기초한 복수 개의 연관성 맵을 생성하고, 상기 복수 개의 연관성 맵에서 선택된 픽셀 위치에 기초하여 상기 블록 경계 맵을 생성하는 것;을 포함할 수 있다.
상기 생성하는 것은, 상기 입력 영상이 레터박스를 포함하면, 오프셋에 기초하여 상기 블록 경계 주기를 결정하는 것;을 포함할 수 있다.
개시된 일 측면에 따른 디스플레이 장치 및 디스플레이 장치의 제어방법은 비규칙적인 형태 및 블록 경계가 블러되어 있는 로컬 랜덤 블록 노이즈에 대응하기 위해서 복수 개의 블록 노이즈 경계 검출을 실행하고, 이에 기초한 블록 노이즈 경계 맵을 생성함으로써, 탄력적인 디블록킹 필터링을 수행하여 종래 기술보다 블록 노이즈를 저감시킬 수 있다.
도 1은 일 실시예에 따른 영상이 디스플레이 장치에 전달되는 구조를 도시한 도면이다.
도 2는 일 실시예에 따른 디스플레이 장치의 제어 블록도이다.
도 3은 개시된 일 예에 따른 디스플레이 장치의 제어방법을 설명하기 위한 순서도이다.
도 4는 도 3에서 설명한 제1 블록 경계 맵을 생성하는 방법에 대한 순서도이다.
도 5 내지 도 11은 도 4의 방법을 구체적으로 설명하기 위한 도면이다.
도 12는 생성된 블록 경계 맵을 수정하는 방법에 관한 순서도이다.
도 13은 블록 경계 주기를 결정하는 방법을 설명하기 위한 도면이다.
도 14는 일 예에 따른 블록 경계 검출 과정을 도시한 도면이다.
도 15는 일 실시예에 따라 필터 파라미터를 결정하고 디블록킹 필터링을 수행하는 제어방법을 구체적으로 설명하기 위한 순서도이다.
도 16은 일 실시예에 따른 블록 경계 검출 효과를 설명하기 위한 비교 도면이고, 도 17은 개시된 블록 노이즈 저감 결과를 비교하기 위한 도면이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 따른 영상이 디스플레이 장치에 전달되는 구조를 도시한 도면이다.
도 1을 참조하면, 디스플레이 장치(100)는 영상 제공자(10)로부터 압축 또는 압축이 해제된 영상을 수신할 수 있다.
디스플레이 장치(100)는 사용자에게 영상을 제공할 수 있는 출력 수단을 의미한다. 이를 위해서 디스플레이 장치(100)는 영상 처리 및 각 기능 수행에 필요한 중앙 처리 장치(CPU)나 마이크로 컨트롤 유닛(MCU) 등과 같은 프로세서가 마련될 수 있다.
도 1에 도시된 바와 같이, 디스플레이 장치(100)는 텔레비전 장치 (100a)나, 휴대용 단말 장치(100b)나, 또는 개인용 컴퓨터나 서버용 컴퓨터와 같은 컴퓨터 장치(100c) 등을 포함할 수 있다.
한편, 디스플레이 장치(100)는 다양한 종류의 디스플레이 수단을 이용하여 정지 영상 또는 동영상을 사용자에게 표시할 수 있다. 디스플레이 수단은 음극 선관(Cathode Ray Tube), 냉음극관(Cold Cathode Fluorescent Lamp), 발광 다이오드(Light Emitting Diode), 유기 발광 다이오드(Organic Light Emitting Diode), 능동형 유기 발광 다이오드(Active-Matrix Organic Light Emitting Diode), 액정(Liquid Crystal) 또는 전자 종이 등을 이용하여 다양하게 구현될 수 있다.
또한, 디스플레이 장치(100)는 영상을 재생하면서 동시에 사용자에게 음향을 함께 출력할 수 있다.
영상 제공자(10)는 저장되거나 생성된 영상 및/또는 음향을 데이터의 형태로 디스플레이 장치(100)에 전송하는 제공자를 의미한다. 도 1에 도시된 바와 같이 영상 제공자(10)는 방송용 송출 장치(10a), 별도의 서버 장치(10b) 또는 텔레비전 장치(100a)와 분리 가능한 외부 저장 매체(10c)를 포함할 수 있다.
방송용 송출 장치(10a)는 공중 송신을 위해 영상 데이터 및/또는 음향 데이터를, 소정 주파수 대역의 전자기파를 이용하여 디스플레이 장치(100)에 전송하도록 마련된다.
서버 장치(10b)는 무선 네트워크 또는 유선 네트워크를 통해 디스플레이 장치(100)에 영상 데이터 및/또는 음향 데이터를 전송할 수 있도록 마련된다. 여기서 유선 통신 네트워크는 페어 케이블(pair cable), 동축 케이블, 광섬유 케이블, 이더넷(ethernet) 케이블 등과 같은 케이블을 이용하여 구축된 것일 수 있다. 무선 네트워크는 근거리 통신 표준 또는 이동 통신 표준을 이용하여 구현된 것일 수 있다. 근거리 통신 표준을 이용하는 무선 네트워크는 와이파이(Wi-Fi), 블루투스, 지그비(zigbee), WFD(Wi-Fi Direct), 초 광대역 통신(UWB, ultra wideband), 적외선 통신(IrDA, infrared Data Association), BLE(Bluetooth Low Energy) 및 근거리 장 통신(Near Field Communication) 등의 무선 통신 기술을 이용하여 구현될 수 있다. 이동 통신 표준을 이용하는 무선 네트워크는, 진화성 고속 패킷 접속(HPDA+)나 롱텀에볼루션(LTE) 등과 같은 3GPP 계열의 무선 통신 기술, 최적화된 에볼루션-데이터(EV-Do)와 같은 3GPP2 계열의 무선 통신 기술 또는 와이브로 에볼루션과 같은 와이맥스 계열 등의 무선 통신 기술을 이용하여 구현된 것일 수 있다.
외부 저장 매체(10c)는 외장형 하드디스크나, 범용 직렬 시리얼 버스(USB) 메모리 장치 등과 같이 각종 데이터를 저장할 수 있으며 디스플레이 장치(100)에 직접 결합되어 디스플레이 장치(100)에 영상을 제공하거나 또는 케이블이나 무선 네트워크를 이용하여 디스플레이 장치(100)에 영상 데이터를 전송 및 제공할 수 있다.
일 실시예에 따른 영상 제공자(10)는 제작된 영상을 디스플레이 장치(100)로 제공하기 전, 영상을 압축한다. 압축된 영상을 전달받은 디스플레이 장치(100)는 압축된 영상을 디코딩한 후 영상을 출력한다.
그러나 영상 제공자(10)가 전달하는 압축 영상은 비규칙적인 블록 형태를 가지며, In-loop 디블로킹 필터링에 의해 경계가 블러된 블록 노이즈를 발생시킬 수 있다.
다른 예로 셋톱박스(Set-top Box)가 저해상 영상을 리스케일(rescaling)하여 텔레비전(100a)으로 영상을 제공하면, 제공되는 영상은 블록 노이즈가 블러되고, 비규칙인 크기 및 블러된 경계를 가진 블록 노이즈를 포함할 수 있다.
개시된 디스플레이 장치(100) 및 디스플레이 장치의 제어방법은 비규칙적으로 발생하는 블록 노이즈를 검출하고, 제거하여 사용자에게 개선된 영상을 제공한다.
도 2는 일 실시예에 따른 디스플레이 장치의 제어 블록도이다.
도 2를 참조하면, 개시된 디스플레이 장치(100)는 영상 제공자(10)가 전달한 영상을 수신하는 압축을 해제하는 영상 수신부(110), 수신된 영상에서 블록 경계를 검출하고, 디블록킹 필터링을 수행하는 영상 처리부(130), 제공된 영상 및 각종 데이터를 저장하는 저장부(150) 및 블록 노이즈가 제거된 영상을 출력하는 표시부(170)를 포함한다.
구체적으로 영상 수신부(110)는 영상 제공자(10)가 디스플레이 장치(100) 외부에서 압축 해제한 영상을 수신할 수 있다. 또한, 영상 수신부(110)는 압축 해제 없이 수신되는 영상을 디코더(Decorder)를 사용하여 해제할 수도 있다.
일 예로 개시된 영상 수신부(110)는 H-264 또는 H-265 코덱으로 압축된 영상을 복호화한다. 다만 반드시 영상 수신부(110)가 일 예에 한정되는 것은 아니고, 압축을 해제하여 비규칙적인 블록 경계 및 블러된 블록을 생성하는 디코딩 모듈이면 충분하다.
영상 처리부(130)는 비규칙적인 블록 노이즈를 제거하기 위한 구성으로, 수신된 영상에 존재하는 블록 경계에 기초한 블록 경계 맵을 작성하는 블록 경계 맵 생성부(131), 적응성(adaptive) 디블록킹 필터링을 수행할 파라미터를 결정하는 필터 파라미터 결정부(133) 및 결정된 파라미터에 기초하여 디블록킹 필터링을 수행하는 디블록킹 필터부(135)를 포함할 수 있다.먼저, 블록 경계 맵 생성부(131)는 비규칙적이고 다양한 형태의 블록에 대응하여 복수 개의 커널을 이용한 컨볼루션을 실행하고, 컨볼류션의 결과값(이하 연관 값)에 기초하여 초기 블록 경계 맵(이하 제1 블록 경계 맵)을 생성한다.
또한, 블록 경계 맵 생성부(131)는 각 블록 경계의 간격(이하 블록 경계 주기)을 결정하기 위해 히스토그램을 이용하고, 히스토그램을 기초로 산출된 블록 모서리 강도를 미리 설정된 임계치와 비교하여 블록 경계 주기를 결정한다.
블록 경계 맵 생성부(131)는 결정된 블록 경계 주기에 기초하여 제1 블록 경계 맵을 수정한 후 최종 블록 경계 맵을 생성할 수 있다.
필터 파라미터 결정부(133)는 최종 블록 경계 맵 및 최종 블록 경계 맵 을 생성하는 과정에서 산출되는 블록 모서리 평균 강도(Average Block Edge Strength), 히스토그램에서 산출되는 신뢰도, 블록 모서리 강도블록 모서리 강도 및 블록 경계 주기 중 적어도 하나에 기초하여 디블록킹 필터링에 적용될 필터 파라미터를 결정할 수 있다.
구체적으로 필터 파라미터는 프레임 내 글로벌 필터 파라미터 및 각 영상의 블록에 적용될 로컬 필터 파라미터로 분류될 수 있으며, 글로벌 파라미터는 블록 모서리 평균 강도 및 히스토그램에서 산출되는 신뢰도 중 적어도 하나에 기초하여 결정될 수 있다. 또한, 로컬 파라미터는 히스토그램에서 산출되는 신뢰도, 블록 모서리 강도 및 블록 경계 주기 중 적어도 하나에 기초하여 결정될 수 있다.
각 필터 파라미터의 결정을 위해 필요한 인자에 관한 구체적인 설명은 이하의 다른 도면을 통해서 구체적으로 후술한다.
디블록킹 필터(135)는 필터 파라미터 결정부(133)이 전달하는 파라미터를 기초로 적응성 디블록킹 필터링을 수행한다.
개시된 디블록킹 필터(135)가 수행하는 적응성 디블록킹 필터링은 종래 일반적인 디블록킹 필터링에서 추가하여 전술한 블록 모서리 평균 강도, 블록 경계 주기, 신뢰도 및 블록 모서리 강도에 따라 필터 강도를 조절한다.
일 예로, 디블록킹 필터(135)는 전술한 히스토그램에서 가장 높은 빈도 수를 가지는 블록 경계 주기에 높은 신뢰도를 부여하고, 빈도 수가 낮을수록 블록 경계 주기의 신뢰도를 낮게 평가한 후, 신뢰도에 따라 블록 경계 필터링의 강도를 조절할 수 있다.
다른 예로, 디블록킹 필터(135)는 현재 픽셀의 로컬, 블록 모서리 강도에 따라 필터 강도를 조절할 수 있으며, 구체적으로 블록 모서리 강도가 크면 필터 강도를 강하게 하고, 블록 모서리 강도가 작으면 필터 강도를 약하게 조절할 수 있다.
또 다른 예로, 디블록킹 필터(135)는 블록 경계 주기가 큰 값을 가지는 경우, 필터 사이즈를 비례하여 조절하여 블록 경계의 블러를 잔상 없이 제거할 수 있다.
디블록킹 필터(135)는 필터링의 글로벌 통계치를 산출하여 프레임 전체의 글로벌 필터 강도의 세기를 조절할 수도 있다.
디블록킹 필터(135)는 적용되는 파라미터를 일반적인 필터와 달리 변화시키므로, Weighted Average, Bilateral 및 Polyphase 필터 중 적어도 하나의 필터를 포함할 수 있다.
한편, 영상 처리부(130)는 이외에도 영상 처리에 필요한 다양한 구성을 포함하거나 기능을 수행하는 모듈을 포함할 수 있으며, 디스플레이 장치(100)의 구성요소를 제어하는 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시) 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이 때 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다.
저장부(150)는 압축이 해제된 영상을 저장하고, 결정된 파라미터 및 기능 수행에 필요한 알고리즘 등 다양한 데이터를 저장할 수 있다.
저장부(150)는 ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부(150)는 영상 처리부(130)와 관련하여 전술한 프로세서 또는 별개의 칩으로 구현된 메모리일 수 있으며, 프로세서와 단일 칩으로 구현될 수도 있다.
표시부(170)는 영상 처리부(130)가 필터링한 영상을 사용자에게 출력하는 구성이다.
구체적으로, 영상을 시각적으로 표시하는 표시부(170)는 디스플레이 패널(미도시), 디스플레이 패널을 구동하는 디스플레이 드라이버(미도시)를 포함할 수 있다.
디스플레이 패널은 디스플레이 드라이버로부터 수신되는 영상 데이터에 따라 영상을 출력한다. 디스플레이 패널은 영상을 표시하는 단위가 되는 픽셀(pixel)을 포함할 수 있다. 각각의 픽셀은 영상 데이터를 나타내는 전기적 신호를 수신하고, 수신된 전기적 신호에 대응하는 광학 신호를 출력할 수 있다. 디스플레이 패널(143)에 포함된 복수의 픽셀이 출력하는 광학 신호가 조합되어 하나의 영상이 디스플레이 패널에 표시된다.
또한, 디스플레이 패널(143)은 각각의 픽셀이 광학 신호를 출력하는 방식에 따라 여러 종류로 구분될 수 있다. 예를 들어, 디스플레이 패널은 픽셀 스스로 광을 방출하는 발광 디스플레이, 백 라이트 등으로부터 방출된 광을 차단하거나 투과시키는 투과형 디스플레이, 외부 광원으로부터 입사된 광을 반사시키거나 흡수하는 반사형 디스플레이로 구분될 수 있다.
디스플레이 패널은 음극선관(CRT, Cathode Ray Tube) 디스플레이, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode), 플라즈마 디스플레이 패널(PDP, Plasma Display Panel), 전계 방출 디스플레이(FED, Field Emission Display) 패널 등을 채용할 수 있다. 다만, 디스플레이 패널은 이에 한정되지 않으며, 디스플레이 패널은 영상 데이터에 대응하는 영상을 시각적으로 표시할 수 있는 다양한 표시 수단을 채용할 수 있다.
디스플레이 드라이버는 영상 처리부(130)로부터 영상 데이터를 수신하고, 수신된 영상에 대응하는 영상을 표시하도록 디스플레이 패널을 구동한다. 구체적으로, 디스플레이 드라이버는 디스플레이 패널을 구성하는 복수의 픽셀 각각에 영상 데이터에 대응하는 전기적 신호를 전달한다.
디스플레이 드라이버는 짧은 시간 이내에 디스플레이 패널을 구성하는 모든 픽셀에 전기적 신호를 전달하기 위하여 다양한 방식으로 각각의 픽셀에 전기적 신호를 전달할 수 있으며, 예를 들어, 비월 주사 방식에 의하면 디스플레이 드라이브는 복수의 픽셀 가운데 홀수 번째 가로 열에 포함되는 픽셀과 짝수 번째 가로 열에 포함된 픽셀에 번갈아 전기적 신호를 전달할 수 있다. 또한, 순사 주사 방석에 의하면 디스플레이 드라이브는 가로 열 단위로 순차적으로 복수의 픽셀에 전기적 신호를 전달할 수 있다.
이처럼, 디스플레이 드라이버가 디스플레이 패널을 구성하는 각각의 픽셀에 영상 데이터에 대응하는 전기적 신호를 전달하면, 각각의 픽셀는 수신된 전기적 신호에 대응하는 광학 신호를 출력하고, 각각의 픽셀이 출력하는 광학 신호가 조합되어 하나의 영상이 디스플레이 패널에 표시된다.
한편, 개시된 디스플레이 장치(100)는 전술한 구성 이외에도 음향 데이터를 출력하는 음향 출력부(미도시) 등 다양한 구성을 포함할 수 있다.
이하 도면을 참조하여 블록 노이즈를 저감시키는 개시된 디스플레이 장치의 제어방법을 구체적으로 설명한다.
도 3은 개시된 일 예에 따른 디스플레이 장치의 제어방법을 설명하기 위한 순서도이다.
도 3을 참조하면, 개시된 디스플레이 장치의 제어방법은 먼저 영상 제작자(10)가 압축하여 전달하는 압축 영상 또는 또는 압축이 해제된 상태로 전달되는 영상을 수신한다(200).
일 예에 따라 영상 수신부(110)에서 압축이 해제된 영상 또는 영상 제작자(10)가 압축을 해제하여 전달하는 영상은 전술한 바와 같이, 블록의 형태가 불규칙적이다.
영상 수신부(110)에서 압축이 해제된 영상 또는 이미 압축이 해제되어 전달된 영상에서 디스플레이 장치(100)는 블록 경계 맵을 생성 및 수정한다(300).
구체적으로 디스플레이 장치(100)는 제1 블록 경계 맵을 생성한다. 제1 블록 경계 맵은 정규화 과정을 거친 후, 복수 개의 커널을 이용하여 컨벌루션을 수행하고, 컨벌루션의 결과에 기초하여 생성된다.
이후, 디스플레이 장치(100)는 제1 블록 경계 맵에서 검출된 경계가 수직 및 수평 방향으로 일정 픽셀 이상 연속된 경우만 유지하고 나머지 경계는 블록 경계에서 제외한다. 이후, 디스플레이 장치(100)는 복수의 블록 간 간격을 카운트하여 누적 생성한 히스토그램에 기초하여 블록 주기를 결정한 후, 결정된 블록 주기에 기초하여 제1 블록 경계 맵을 수정한다.
디스플레이 장치(100)는 제1 블록 경계 맵을 생성하고, 이를 수정하여 최종 블록 경계 맵을 생성한다.
디스플레이 장치(100)는 최종적으로 생성된 블록 경계 맵에 포함된 정보를 기초로 필터 파라미터를 결정한다(400).
일 예로, 필터 파라미터는 생성된 최종 블록 경계 맵에 포함된 블록 평균 모서리 강도 및 히스토그램에서 결정되는 신뢰도 중 적어도 하나에 기초한 글로벌 파라미터와 신뢰도, 블록 경계 주기, 및 블록 모서리 평균 강도 및 블록 경계의 크기블록 모서리 강도 중 적어도 하나에 기초한 로컬 파라미터로 구분될 수 있다.
디스플레이 장치(100)는 결정된 필터 파라미터 및 최종 블록 경계 맵에 기초하여 디블록킹 필터링을 수행한다(500).
개시된 일 예에 따른 적응성 디블록킹 필터링은 결정된 글로벌 파라미터 및 로컬 파라미터에 기초하여 필터링의 강도를 조절할 수 있다.
도 4는 도 3에서 설명한 제1 블록 경계 맵을 생성하는 방법에 대한 순서도이다. 또한, 도 5 내지 도 11은 도 4의 방법을 구체적으로 설명하기 위한 도면이다. 중복되는 사항을 피하기 위해서 이하 함께 설명한다.
도 4를 참조하면, 디스플레이 장치(100)는 압축이 해제된 입력 영상에 포함된 복수 개의 픽셀의 정규화(Normalization) 과정을 수행한다(310).
정규화 과정은 입력 영상의 이후 사용될 커널 탭(tap) 개수에 따른 픽셀의 평균 값을 통해서 수행될 수 있다. 이후, 디스플레이 장치(100)는 각 픽셀들과 평균의 차분을 통해서 차분 픽셀을 산출하고, 각 픽셀을 산출된 차분 픽셀들에서 결정되는 벡터 크기로 나누어 정규화 과정을 수행한다.
도 5에서 도시된 일 예에 따른 블록 경계 맵 생성 과정이 8개의 탭의 커널을 사용하는 경우, 정규화 과정은 블록 경계에 해당하는 픽셀(180)을 포함한 주변 7개의 픽셀의 평균을 구하고, 각 픽셀과 평균의 차분에서 산출되는 벡터 크기를 통해 정규화 과정을 수행할 수 있다.
한편, 정규화 과정에서 산출되는 벡터 크기는 경계 픽셀(180)의 블록 모서리 크기가 되고, 이후 블록 경계 주기 및 필터 파라미터 결정에 사용될 수 있다.
정규화 과정이 수행된 후, 디스플레이 장치(100)는 복수 개의 커널을 이용하여 컨볼류션을 수행한다(311).
개시된 일 예에 따른 디스플레이 장치(100)는 압축에 따라 비규칙적으로 발생하는 다양한 크기 및 형태의 블록 경계를 검출하기 위해 한 개 이상의 커널을 이용하여 컨볼루션을 수행한다.
도 6a를 참조하면, 압축 영상에서 발생하는 블록 경계(a)는 업스케일링(Upscaling) 또는 In-Loop 디블록킹에 의해서 블록 경계가 블러(b)된 형태로 변형될 수 있다.
경계가 블러된 블록을 검출하기 위해서 개시된 디스플레이 장치(100)는 도 6b와 같이 복수 개의 커널(Kernel 1, Kernel 2, Kernel 3)을 이용하여 컨벌루션을 수행하여 블록 경계를 검출할 수 있다.
디스플레이 장치(100)는 컨볼루션을 통해 획득된 연관 값을 기초하여 복수 개의 연관성 맵을 생성한다(312).
도 7을 참조하면, 일 예에 따른 디스플레이 장치(100)는 정규화가 수행된 영상(140)에서 수평 방향(160)으로 제1 커널(Kernel 1, 181)을 이용하여 컨벌루션을 수행한다. 디스플레이 장치(100)는 제1 커널(181)을 이용하여 획득된 연관 값(Correlation value)를 이용하여 제1 연관성 맵을 생성한다.
또한, 디스플레이 장치(100)는 제2 커널(kernel 2, 182) 및 제3 커널(Kernel 3, 183)을 이용하여 동일한 방향(160)으로 컨벌루션을 수행한다. 디스플레이 장치(100)는 제2 커널(182)를 이용하여 제2 연관성 맵을 생성하고, 제3 커널(183)을 이용하여 획득된 연관 값를 이용하여 제3 연관성 맵을 생성한다.
한편, 복수 개의 커널의 형태는 도 6b 또는 도 7에 한정되는 것은 아니고, 커널의 개수 또한 다양할 수 있다.
디스플레이 장치(100)는 생성된 복수 개의 연관성 맵에서 미리 설정된 제1 기준 값 이상이 되는 픽셀의 위치를 선택한다(313).
도 8을 참조하면, 제1 연관성 맵(160)은 정규화 과정이 수행된 영상(140)에서 제1 커널(181)을 이용한 컨벌루션의 결과로 생성될 수 있다. 구체적으로 제1 연관성 맵(160)은 블록 경계 지점과 매칭되는 픽셀 위치에 따라 각각의 연관 값(Correlation value)를 가질 수 있다.
도 9를 참조하면, 디스플레이 장치(100)는 생성된 연관성 맵(160)에서 미리 설정된 제1 기준 값(Th 1) 이상이 되는 연관 값을 선택한다. 일 예에 따라 제1 연관성 맵(160)에서 제1 기준 값(Th 1) 이상이 되는 연관 값을 가지는 픽셀은 블록 경계를 이루는 픽셀(180)일 수 있다.
디스플레이 장치(100)는 복수 개의 연관성 맵에서 선택된 픽셀 위치에 기초하여 블록 경계 맵을 생성한다(314).
도 10을 참조하면, 디스플레이 장치(100)는 도 8 및 도 9를 통해 선택된 픽셀(180)을 포함한 블록 경계 맵(190)을 생성한다.
이후 디스플레이 장치(100)는 다른 수평 방향 및 수직 방향에 기초하여 전술한 과정을 반복하여 수행하고, 제1 블록 경계 맵(190)을 생성한다(315, 316).
따라서 제 1블록 경계 맵(190)은 수평 방향 및 수직 방향의 2방향 맵일 수 있다.
도 12는 생성된 블록 경계 맵을 수정하는 방법에 관한 순서도이다. 도 13은 블록 경계 주기를 결정하는 방법을 설명하기 위한 도면이다. 중복되는 사항을 피하기 위해 이하 함께 설명한다.
도 12를 참조하면, 디스플레이 장치(100)는 제1 블록 경계 맵에서 블록 경계의 연속성에 기초한 제2 블록 경계 맵 생성한다(320).
블록 경계는 영상 내에서 문양(Texture) 성분과 구분되며, 블록의 크기만큼 연속성을 가진다. 따라서 개시된 디스플레이 장치(100)는 제1 블록 경계 맵(190)에서 검출된 경계가 미리 설정된 픽셀의 개수가 연속되는 경우인지 여부를 기초로, 블록 경계를 분류할 수 있다. 여기서 미리 설정된 픽셀의 개수는 다양할 수 있으며 입력 영상에 따라 다양할 수 있다.
한편, 연속성이 존재하지 않는 경우, 디스플레이 장치(100)는 검출된 경계를 텍스터 성분으로 판단한다.
디스플레이 장치(100)는 제1 블록 경계 맵(190)에서 미리 설정된 개수 이하의 픽셀로 연속되는 블록 경계를 블록 경계에서 제외한 제2 블록 경계 맵을 생성한다.
이후, 디스플레이 장치(100)는 제2 블록 경계 맵 및 히스토그램을 기초로 블록 모서리 평균 강도를 산출한다(321).
구체적으로 디스플레이 장치(100)는 제2 블록 경계 맵에서 미리 설정된 픽셀 간격에 블록 경계가 존재할 때마다 히스토그램에 빈도를 누적시킨다.
일 예로, 제2 블록 경계 맵에서 5 픽셀 간격마다 블록 경계가 존재하는 경우, 히스토그램의 5번째 빈(Bin)에 빈도를 누적시킨다. 히스토그램 생성 후, 디스플레이 장치(100)는 픽셀의 간격(블록 경계 주기, 5)에 따른 블록 모서리 평균 강도를 산출한다. 구체적으로 블록 모서리 평균 강도는 제1 블록 경계 맵 생성시 산출되었던 벡터 크기들의 합을 히스토그램의 주기별 빈도 수로 나누어 산출된다.
디스플레이 장치(100)는 산출된 블록 모서리 평균 강도에 기초하여 블록 경계 주기를 결정한다(322).
구체적으로 디스플레이 장치(100)는 산출된 블록 모서리 평균 강도를 미리 설정된 기준 값(제2 기준값)과 비교한다. 즉, 디스플레이 장치(100)는 블록 모서리 평균 강도가 제2 기준값 이상이 되는 주기를 블록 경계 주기로 결정한다.
도 13의 히스토그램(a)는 일 예에 따라 블록 경계 주기에 따른 누적 빈도 수를 도시한 것이다.
도 13의 그래프(b)는 각 주기에 따라 산출된 블록 모서리 평균 강도가 제2 기준값(일 예로 110) 이상이 되는 블록 경계 주기 중 상위 3개의 블록 경계 주기를 도시한 것이다. 도 13의 그래프(b)에서 결정된 상위 3개의 블록 경계 주기는 16, 24, 8이다.
한편, 다른 실시예에 따라 입력 영상에 레터 박스(letterbox)가 존재하는 경우, 디스플레이 장치(100)는 오프셋(Offset)을 기초로 블록 경계 주기를 결정할 수 있다. 즉, 디스플레이 장치(100)는 미리 설정된 오프셋을 사용하여 영상의 초기 블록 경계를 생략하고 전술한 히스토그램을 생성한 후, 히스토그램에 기초하여 블록 모서리 평균 강도를 산출하여 블록 경계 주기를 결정할 수도 있다.
다시 도 12를 참조하면, 디스플레이 장치(100)는 결정된 블록 경계 주기를 기초로 제2 블록 경계 맵을 수정하여 제3 블록 경계 맵을 생성한다(323).
구체적으로 디스플레이 장치(100)는 결정된 블록 경계 주기에 해당하는 블록 경계만을 유지하면서 나머지 블록 경계를 제외하여 최종 블록 경계 맵(제3 블록 경계 맵)을 생성한다.
도 14는 일 예에 따른 블록 경계 검출 과정을 도시한 도면이다. 특히 도 14는 수직 방향으로 블록 경계 검출 과정을 도시한 것이다.
도 14의 a를 참조하면, 입력 영상은 압축을 해제한 후 복수 개의 블록을 포함하고 있다. 개시된 일 실시예에 따라 디스플레이 장치(100)는 복수 개의 커널을 이용하여 컨벌루션을 수행한 후, 연관 값에 기초하여 연관성 맵을 생성한다. 즉, 도 14의 b는 전술한 제어방법을 통해 생성되는 복수 개의 연관성 맵 중 일 예이다.
개시된 디스플레이 장치(100)는 도 14의 b와 같은 연관성 맵에서 프레임 내 수직 방향에 대해 제1 기준값 이상이 되는 픽셀의 위치를 선택한 후 제1 블록 경계 맵을 생성한다. 즉, 도 14의 c는 제1 블록 경계 맵의 일 예이다.
개시된 디스플레이 장치(100)는 히스토그램을 기초로 산출되는 블록 모서리 평균 강도를 산출하고, 블록 모서리 평균 강도를 기초로 블록 주기를 결정한다. 결정된 블록 주기를 통해 제1 블록 경계 맵을 수정하여 디스플레이 장치(100)는 최종적으로 도 14의 d와 같은 제3 블록 경계 맵을 생성할 수 있다.
도 15는 일 실시예에 따라 필터 파라미터를 결정하고 디블록킹 필터링을 수행하는 제어방법을 구체적으로 설명하기 위한 순서도이다.
도 15를 참조하면, 디스플레이 장치(100)는 산출된 블록 모서리 평균 강도 및 생성된 제3 블록 경계 맵을 생성하는 과정에서 도출되는 히스토그램에서 블록 경계 주기의 신뢰도를 평가한다(410, 420).
구체적으로 디스플레이 장치(100)는 빈도수가 높은 블록 경계에 높은 신뢰도를 부여하고, 빈도수가 낮은 블록 경계에 낮은 신뢰도를 부여할 수 있다.
산출된 블록 모서리 평균 강도 및 신뢰도는 글로벌 파라미터(450)로 결정될 수 있다. 또한, 평가된 신뢰도는 로컬 파라미터(260)로 결정될 수도 있다.
제3 블록 경계 맵에서 포함되는 블록 모서리 강도(430) 및 블록 경계 주기(440)는 로컬 파라미터(460)로 결정될 수 있다.
개시된 디스플레이 장치(100)는 결정된 파라미터 및 생성된 제3 블록 경계 맵을 기초로 적응성 디블록킹 필터링을 수행한다(500).
구체적으로 디스플레이 장치(100)는 글로벌 블록 모서리 평균 강도 및 히스토그램에서 산출된 블록 경계 주기의 신뢰도에서 결정된 글로벌 파라미터에 따라 필터 강도를 조절할 수 있고, 전술한 신뢰도, 로컬 블록 모서리 강도 및 블록 경계 주기 값 중 적어도 하나에 의해서 결정되는 로컬 파라미터에 따라 필터 강도를 조절할 수도 있다.
일 예로, 디스플레이 장치(100)는 히스토그램에서 가장 높은 빈도 수를 가지는 블록 경계 주기에 높은 신뢰도를 부여하고, 빈도 수가 낮을수록 블록 경계 주기의 신뢰도를 낮게 평가한 후, 신뢰도에 따라 블록 경계 필터링의 강도를 조절할 수 있다.
다른 예로, 디스플레이 장치(100)는 로컬 블록 모서리 강도 및 블록 모서리 평균 강도에 따라 필터 강도를 조절할 수 있으며, 구체적으로 로컬 블록 모서리 강도가 크면 필터 강도를 강하게 하고, 로컬 블록 모서리 강도가 작으면 필터 강도를 약하게 조절할 수 있다.
또 다른 예로, 디스플레이 장치(100)는 블록 경계 주기가 큰 값을 가지는 경우, 필터 사이즈를 비례하여 조절하여 블록 경계의 블러를 잔상 없이 제거할 수도 있다.
한편, 전술한 필터 강도의 조절은 개별적인 파라미터에 의해 수행될 수 있으나, 복수 개의 파라미터를 미리 설정된 계수에 비례하여 종합적으로 수행될 수도 있다.
도 16은 일 실시예에 따른 블록 경계 검출 효과를 설명하기 위한 비교 도면이고, 도 17은 개시된 블록 노이즈 저감 결과를 비교하기 위한 도면이다.
도 16을 먼저 참조하면, 디스플레이 장치(100)에 입력 영상이 수신된다. 영상 수신부(110)에 의해서 압축이 해제된 입력 영상은 도 16의 a와 같이 불규칙적인 블록을 포함할 수 있다.
종래 일반적인 디블록킹 필터링을 수행하면 미리 설정된 일정 형태의 블록만을 검출할 수 있다. 그러나 개시된 디스플레이 장치(100)는 복수 개의 커널을 이용한 다양한 형태의 블록을 검출할 수 있다.
도 16의 b는 종래 기술에서 검출되는 블록 경계이며, 도 16의 c는 개시된 디스플레이 장치(100)가 검출하는 블록 경계이다. 즉, 불규칙적인 블록을 포함하는 입력 영상이 수신되더라도 개시된 디스플레이 장치(100)는 블록 경계를 효과적으로 검출할 수 있다.
도 17을 참조하면, 디스플레이 장치(100)는 도 17의 a와 같은 블록이 형성된 입력 영상을 수신할 수 있다.
도 17의b와 도17의 c를 비교하면, 개시된 디스플레이 장치(100)는 종래 일반적인 기술보다 블록 경계를 정확히 검출할 수 있고 이에 따라 다양한 적응성인 디블록킹 필터링을 수행할 수 있으므로, 블록 노이즈 저감 효과가 상승할 수 있다.
즉, 도 17의 b는 종래 일반적인 기술에서 필터링이 수행된 결과이고, 도 17의 c는 개시된 디스플레이 장치(100)가 필터링을 수행한 결과이다.
이를 통해서 개시된 일 측면에 따른 디스플레이 장치 및 디스플레이 장치의 제어방법은 비규칙적인 형태를 가지며, 경계가 블러된 로컬 블록 노이즈에 대응하기 위해서 복수 개의 블록 노이즈 경계 검출을 실행하고, 이에 기초한 블록 노이즈 경계 맵을 작성함으로써 탄력적인 디블록킹 필터링을 수행하여 종래 기술보다 블록 노이즈를 저감시킬 수 있다.
100: 디스플레이 장치 110: 영상 수신부
130: 영상 처리부 150: 저장부
170: 표시부

Claims (19)

  1. 영상을 수신하는 영상 수신부;
    상기 영상 수신부가 전달하는 영상에서 복수 개의 커널을 이용한 컨볼루션에 기초하여 획득된 연관 값과 미리 설정된 기준 값을 비교한 결과에 따라 제1블록 경계 맵을 생성하고, 상기 제1블록 경계 맵에 포함되는 블록 경계 중에서 문양에 대응되는 블록 경계를 제외하여 제2블록 경계 맵을 생성하고, 상기 제2블록 경계 맵에 포함되는 블록 경계의 빈도 수에 기초한 히스토그램에 따라 블록 모서리 평균 강도를 계산하는 블록 경계 맵 생성부;
    상기 블록 모서리 평균 강도를 포함하는 필터 파라미터를 결정하는 필터 파라미터 결정부;
    상기 결정된 필터 파라미터에 기초하여 필터 강도를 변화시키는 디블록킹 필터; 및
    상기 디블록킹 필터가 블록 노이즈를 제거한 영상을 출력하는 표시부;를 포함하고,
    상기 블록 모서리 평균 강도는,
    대상 픽셀과 주변 픽셀을 포함하는 복수의 픽셀의 평균값과 상기 대상 픽셀 값과의 차이에 의해 산출되는 벡터의 크기의 합을 상기 히스토그램의 블록 경계 주기의 빈도 수로 나누어 계산되고,
    상기 블록 경계 맵 생성부는,
    상기 제1 블록 경계 맵에 포함된 블록 경계의 연속성에 기초하여 상기 제1 블록 경계 맵을 수정한 상기 제2 블록 경계 맵을 생성하고, 상기 연속성은 상기 블록 경계가 영상 중의 문양에 해당하는지 여부를 반영하는 디스플레이 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 블록 경계 맵 생성부는,
    미리 설정된 기준값보다 큰 상기 블록 모서리 평균 강도에 따라 상기 블록 경계 주기를 결정하는 디스플레이 장치.
  4. 제 3항에 있어서,
    상기 블록 경계 맵 생성부는,
    상기 결정된 블록 경계 주기 이외의 블록 경계를 제외하여 상기 제2 블록 경계 맵을 수정한 제3 블록 경계 맵을 생성하는 디스플레이 장치.
  5. 제 4항에 있어서,
    상기 필터 파라미터 결정부는,
    상기 블록 경계 주기의 신뢰도 및 상기 제3 블록 경계 맵에 포함된 블록 모서리 강도 중 적어도 하나에 기초하여 상기 필터 파라미터를 결정하는 디스플레이 장치.
  6. 제 5항에 있어서,
    상기 디블록킹 필터는,
    상기 블록 경계 주기 또는 상기 블록 모서리 평균 강도의 크기에 비례하여 상기 필터 강도를 조절하는 디스플레이 장치.
  7. 제 1항에 있어서,
    상기 블록 경계 맵 생성부는,
    상기 컨볼루션이 수행되기 전의 영상에 대해 정규화 과정을 수행하는 디스플레이 장치.
  8. 제 1항에 있어서,
    상기 블록 경계 맵 생성부는,
    상기 연관 값에 기초한 복수 개의 연관성 맵을 생성하고, 상기 복수 개의 연관성 맵에서 선택된 픽셀 위치에 기초하여 상기 제1 블록 경계 맵을 생성하는 디스플레이 장치.
  9. 제 8항에 있어서,
    상기 제1 블록 경계 맵은,
    수평 방향 및 수직 방향을 생성되는 2방향 맵을 포함하는 디스플레이 장치.
  10. 제 1항에 있어서,
    상기 영상은,
    레터 박스를 포함하는 디스플레이 장치.
  11. 영상을 수신하고;
    상기 영상에서 복수 개의 커널을 이용한 컨볼루션에 기초하여 획득된 연관 값과 미리 설정된 기준 값을 비교한 결과에 따라 제1블록 경계 맵을 생성하고;
    상기 생성된 제1블록 경계 맵에 포함되는 블록 경계 중에서 문양에 대응되는 블록 경계를 제외하여 제2블록 경계 맵을 생성하고;
    상기 제2블록 경계 맵에 포함되는 블록 경계의 빈도 수에 기초한 히스토그램에 따라 블록 모서리 평균 강도를 계산하고;
    상기 블록 모서리 평균 강도를 포함하는 필터 파라미터를 결정하고;
    상기 결정된 필터 파라미터에 기초하여 필터 강도를 변화시키는 디블록킹 필터링을 수행하고;
    상기 디블록킹 필터링에 의해 블록 노이즈가 제거된 영상을 출력하는 것;을 포함하고,
    상기 블록 모서리 평균 강도는,
    대상 픽셀과 주변 픽셀을 포함하는 복수의 픽셀의 평균값과 상기 대상 픽셀 값과의 차이에 의해 산출되는 벡터의 크기의 합을 상기 히스토그램의 블록 경계 주기의 빈도 수로 나누어 계산되고,
    상기 제2블록 경계 맵을 생성하는 것은,
    상기 제1 블록 경계 맵에 포함된 블록 경계의 연속성을 기초로 상기 제1 블록 경계 맵을 수정하여 상기 제2 블록 경계 맵을 생성하고, 상기 연속성은 상기 블록 경계가 영상 중의 문양에 해당하는지 여부를 반영하는 디스플레이 장치의 제어방법.
  12. 삭제
  13. 제 11항에 있어서,
    상기 수정하는 것은,
    미리 설정된 기준값보다 큰 상기 블록 모서리 평균 강도에 따라 상기 블록 경계 주기를 결정하는 것;을 포함하는 디스플레이 장치의 제어방법.
  14. 제 13항에 있어서,
    상기 수정하는 것은,
    상기 결정된 블록 경계 주기 이외의 블록 경계를 제외하여 상기 제2 블록 경계 맵을 수정한 제3 블록 경계 맵을 생성하는 것;을 포함하는 디스플레이 장치의 제어방법.
  15. 제 14항에 있어서,
    상기 필터 파라미터를 결정하는 것은,
    상기 블록 경계 주기의 신뢰도 및 상기 제3 블록 경계 맵에 포함된 블록 모서리 강도 중 적어도 하나에 기초하여 상기 필터 파라미터를 결정하는 것;을 포함하는 디스플레이 장치의 제어방법.
  16. 제 15항에 있어서,
    상기 디블록킹 필터링을 수행하는 것은,
    상기 블록 경계 주기 또는 상기 블록 모서리 평균 강도의 크기에 비례하여 상기 필터 강도를 조절하는 것;을 포함하는 디스플레이 장치의 제어방법.
  17. 제 11항에 있어서,
    상기 컨볼루션이 수행되기 전의 영상에 대해 정규화 과정을 수행하는 것;을 더 포함하는 디스플레이 장치의 제어방법.
  18. 제 11항에 있어서,
    상기 제1블록 경계 맵을 생성하는 것은,
    상기 연관 값에 기초한 복수 개의 연관성 맵을 생성하고, 상기 복수 개의 연관성 맵에서 선택된 픽셀 위치에 기초하여 상기 제1블록 경계 맵을 생성하는 것;을 포함하는 디스플레이 장치의 제어방법.
  19. 제 18항에 있어서,
    상기 영상은,
    레터 박스를 포함하는 디스플레이 장치의 제어방법.
KR1020170168084A 2017-12-08 2017-12-08 디스플레이 장치 및 디스플레이 장치의 제어방법 KR102338466B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020170168084A KR102338466B1 (ko) 2017-12-08 2017-12-08 디스플레이 장치 및 디스플레이 장치의 제어방법
JP2020510530A JP6864155B2 (ja) 2017-12-08 2018-12-07 ディスプレイ装置およびディスプレイ装置の制御方法
PCT/KR2018/015540 WO2019112376A1 (ko) 2017-12-08 2018-12-07 디스플레이 장치 및 디스플레이 장치의 제어방법
EP18885945.8A EP3657802A4 (en) 2017-12-08 2018-12-07 DISPLAY DEVICE AND CONTROL METHOD FOR A DISPLAY DEVICE
US16/641,131 US11290750B2 (en) 2017-12-08 2018-12-07 Display apparatus and method of controlling the same
CN201880054667.6A CN111052747B (zh) 2017-12-08 2018-12-07 显示设备及显示设备的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170168084A KR102338466B1 (ko) 2017-12-08 2017-12-08 디스플레이 장치 및 디스플레이 장치의 제어방법

Publications (2)

Publication Number Publication Date
KR20190068067A KR20190068067A (ko) 2019-06-18
KR102338466B1 true KR102338466B1 (ko) 2021-12-14

Family

ID=66751675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170168084A KR102338466B1 (ko) 2017-12-08 2017-12-08 디스플레이 장치 및 디스플레이 장치의 제어방법

Country Status (6)

Country Link
US (1) US11290750B2 (ko)
EP (1) EP3657802A4 (ko)
JP (1) JP6864155B2 (ko)
KR (1) KR102338466B1 (ko)
CN (1) CN111052747B (ko)
WO (1) WO2019112376A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101112139B1 (ko) * 2010-03-30 2012-03-13 중앙대학교 산학협력단 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법
KR101647376B1 (ko) * 2009-03-30 2016-08-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101649882B1 (ko) * 2009-02-10 2016-08-22 래티스세미컨덕터코퍼레이션 블록 노이즈 검출 및 필터링

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064768A (en) * 1996-07-29 2000-05-16 Wisconsin Alumni Research Foundation Multiscale feature detector using filter banks
JP4383581B2 (ja) * 1998-05-22 2009-12-16 パナソニック株式会社 ブロックノイズ検出装置およびブロックノイズ除去装置
JP4306061B2 (ja) * 1999-03-26 2009-07-29 日本ビクター株式会社 ブロックノイズ検出装置
JP2003070020A (ja) * 2001-08-24 2003-03-07 Yamaha Corp 映像信号処理装置および映像信号処理方法
JP2005012641A (ja) * 2003-06-20 2005-01-13 Matsushita Electric Ind Co Ltd ブロックノイズ検出装置及びそれを用いたブロックノイズ除去装置
US7865035B2 (en) 2005-10-06 2011-01-04 Samsung Electronics Co., Ltd. Video quality adaptive coding artifact reduction
US7911538B2 (en) * 2006-04-06 2011-03-22 Samsung Electronics Co., Ltd. Estimation of block artifact strength based on edge statistics
US8175405B1 (en) * 2006-09-14 2012-05-08 Marvell International Ltd. Adaptive MPEG noise reducer
US8483283B2 (en) * 2007-03-26 2013-07-09 Cisco Technology, Inc. Real-time face detection
KR100942700B1 (ko) * 2007-12-17 2010-02-17 한국전자통신연구원 미세 입자 화소 스케일러빌리티 부호화/복호화 방법 및장치
US8718133B2 (en) 2008-03-26 2014-05-06 Samsung Electronics Co., Ltd. Method and system for image scaling detection
KR101552639B1 (ko) * 2008-07-11 2015-09-14 한국전자통신연구원 인트라 매크로 블록의 디블록킹 필터 및 필터링 방법
US8681875B2 (en) * 2008-11-25 2014-03-25 Stmicroelectronics Asia Pacific Pte., Ltd. Apparatus and method for coding block boundary detection using interpolated autocorrelation
TWI422228B (zh) * 2009-01-15 2014-01-01 Silicon Integrated Sys Corp 去方塊濾波方法及影像處理裝置
US8891609B2 (en) * 2009-03-24 2014-11-18 Samsung Electronics Co., Ltd. System and method for measuring blockiness level in compressed digital video
US20110123121A1 (en) * 2009-10-13 2011-05-26 Sony Corporation Method and system for reducing blocking artefacts in compressed images and video signals
TW201210325A (en) * 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
US9762906B2 (en) * 2013-02-18 2017-09-12 Mediatek Inc. Method and apparatus for video decoding using multi-core processor
US9251572B2 (en) * 2013-07-26 2016-02-02 Qualcomm Incorporated System and method of correcting image artifacts
US10455254B2 (en) * 2016-11-10 2019-10-22 Mediatek Inc. Method and apparatus of video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101649882B1 (ko) * 2009-02-10 2016-08-22 래티스세미컨덕터코퍼레이션 블록 노이즈 검출 및 필터링
KR101647376B1 (ko) * 2009-03-30 2016-08-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101112139B1 (ko) * 2010-03-30 2012-03-13 중앙대학교 산학협력단 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법

Also Published As

Publication number Publication date
CN111052747A (zh) 2020-04-21
CN111052747B (zh) 2022-03-08
JP2020531991A (ja) 2020-11-05
JP6864155B2 (ja) 2021-04-28
EP3657802A4 (en) 2020-07-15
WO2019112376A1 (ko) 2019-06-13
US20200245000A1 (en) 2020-07-30
US11290750B2 (en) 2022-03-29
KR20190068067A (ko) 2019-06-18
EP3657802A1 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
KR102308507B1 (ko) 디스플레이 장치 및 그 제어 방법
EP2951991B1 (en) Mixed mode for frame buffer compression
US20110026591A1 (en) System and method of compressing video content
CN110572579A (zh) 图像处理方法、装置及电子设备
KR102661879B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
EP2932462A1 (en) Content aware video resizing
KR20210066653A (ko) 전자 장치 및 그 제어 방법
EP3886447A1 (en) Video enhancement control method and apparatus, electronic device, and storage medium
EP3678375A2 (en) Display apparatus, image providing apparatus, and methods of controlling the same
US8559529B2 (en) Display system, image output device and image display device
CN109429085B (zh) 显示装置及其图像处理方法
KR102338466B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어방법
KR20160076769A (ko) 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법
US20130169783A1 (en) Display apparatus and control method thereof
US9905150B2 (en) Display apparatus and control method of display apparatus
US9607359B2 (en) Electronic device, method, and computer program product
KR102411911B1 (ko) 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
EP2693426A1 (en) Display apparatus, image post-processing apparatus and method for image post-processing of contents
US20190180427A1 (en) Display apparatus and method of controlling the same
US9361860B2 (en) Display apparatus, image post-processing apparatus and method for image post-processing of contents
US11388412B2 (en) Video compression technique using a machine learning system
US20080106638A1 (en) Internet media experience data compression scheme
US20240169657A1 (en) Information processing apparatus, information processing method, information processing program, and information processing system
KR20220158525A (ko) 전자 장치 및 그 영상 처리 방법
KR20230112515A (ko) 디스플레이 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant