KR102055253B1 - 영상 개선 장치 및 영상 개선 방법 - Google Patents

영상 개선 장치 및 영상 개선 방법 Download PDF

Info

Publication number
KR102055253B1
KR102055253B1 KR1020150059916A KR20150059916A KR102055253B1 KR 102055253 B1 KR102055253 B1 KR 102055253B1 KR 1020150059916 A KR1020150059916 A KR 1020150059916A KR 20150059916 A KR20150059916 A KR 20150059916A KR 102055253 B1 KR102055253 B1 KR 102055253B1
Authority
KR
South Korea
Prior art keywords
pixel
brightness
weight
image
input image
Prior art date
Application number
KR1020150059916A
Other languages
English (en)
Other versions
KR20160128101A (ko
Inventor
김세훈
최원희
김창수
이세호
고영준
김영배
Original Assignee
삼성전자주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 고려대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020150059916A priority Critical patent/KR102055253B1/ko
Publication of KR20160128101A publication Critical patent/KR20160128101A/ko
Application granted granted Critical
Publication of KR102055253B1 publication Critical patent/KR102055253B1/ko

Links

Images

Classifications

    • H04N5/3598—
    • H04N5/2175—
    • H04N5/372—
    • H04N5/374—

Landscapes

  • Image Processing (AREA)

Abstract

영상의 대조비를 개선하는 영상 개선 장치가 개시된다. 영상 개선 장치는, 역광 영역 및 비역광 영역을 포함하는 영상을 입력받는 입력부 및 입력 영상 내의 각 화소의 화소 밝기 및, 각 화소와 다른 화소 간의 거리에 기초하여 해당 화소에 적용할 가중치를 산출하고, 역광 영역에 포함된 각 화소의 화소 밝기에 산출된 가중치를 적용하여 입력 영상의 대조비를 개선하는 프로세서를 포함한다.

Description

영상 개선 장치 및 영상 개선 방법{APPARATUS FOR ENHANCING IMAGE AND METHOD THEREOF}
본 발명은 영상 개선 장치 및 영상 개선 방법에 관한 것으로, 더욱 상세하게는 역광 영역을 포함하는 영상의 대조비를 개선하는 영상 개선 장치 및 영상 개선 방법에 관한 것이다.
스마트폰 시장의 급격한 성장에 따라 휴대 단말기의 성능은 비약적으로 발전하였고, 특히 휴대 단말기에는 다양한 멀티미디어 기능의 탑재가 가능하게 되었다. 휴대 단말기의 기능 중 카메라 기능은 디지털 카메라를 대체하여 간편하고 빠르게 영상을 취득할 수 있기 때문에 사용 빈도가 매우 높다. 하지만, 휴대 단말기를 통해 영상을 촬영하는 사용자들은 일반적으로 전문가가 아니므로, 휴대 단말기를 통해 영상을 촬영한 경우 역광에 의해 피사체의 대조비가 낮게 촬영되는 경우가 빈번히 발생한다.
또한, 휴대 단말기의 카메라는 모듈의 크기가 작고 성능이 낮기 때문에 역광과 같은 저조도 환경에 취약하다. 이 경우, 영상 내 역광 영역을 검출하여 대조비를 개선함으로써 역광에 의해 왜곡되지 않는 정상 영상을 취득한 효과를 얻을 수 있다.
종래에는 역광 영역과 비역광 영역을 구분 처리하여 경계 화소 밝기의 불연속성이 발생하였다. 불연속성이란 역광 영역과 비역광 영역의 경계에 화소 밝기의 급격한 변화가 생기는 것을 의미한다. 또한, 종래의 역광 영역의 대조비 개선 방법은 비역광 영역에서 밝은 영역의 색이 뭉치고 영상의 디테일이 손상되는 문제가 있었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 역광 영역이 존재하는 영상의 화소 밝기에 가중치를 적용하여 영상의 대조비를 개선하는 영상 개선 장치 및 영상 개선 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상의 대조비를 개선하는 영상 개선 장치는, 역광 영역 및 비역광 영역을 포함하는 영상을 입력받는 입력부 및 상기 입력 영상 내의 각 화소의 화소 밝기 및, 상기 각 화소와 다른 화소 간의 거리에 기초하여 해당 화소에 적용할 가중치(weight)를 산출하고, 상기 역광 영역에 포함된 각 화소의 화소 밝기에 상기 산출된 가중치를 적용하여 상기 입력 영상의 대조비를 개선하는 프로세서를 포함한다.
이 경우, 상기 프로세서는, 상기 입력 영상 내의 각 화소의 화소 밝기(intensity) 및 각 화소 간 색상 차를 나타내는 색 대비 값을 이용하여 상기 역광 영역 및 상기 비역광 영역을 검출할 수 있다.
또한, 상기 프로세서는, 상기 각 화소의 화소 밝기와 동일한 화소 밝기를 갖는 화소의 개수에 비례하고, 상기 동일한 화소 밝기를 갖는 화소와의 거리에 반비례하도록 상기 가중치를 산출할 수 있다.
또한, 상기 프로세서는, 상기 각 화소의 화소 밝기와 기설정된 범위 이내의 화소 밝기를 갖는 화소와의 거리에 반비례하도록 상기 가중치를 산출할 수 있다.
이 경우, 상기 프로세서는, 상기 각 화소의 화소 밝기와 상기 기설정된 범위 이내의 화소 밝기를 갖는 화소와의 화소 밝기 차이에 반비례하도록 상기 가중치를 산출할 수 있다.
또한, 상기 프로세서는, 상기 역광 영역 및 상기 비역광 영역에 포함된 각 화소의 화소 밝기에 상기 산출된 가중치를 적용하고, 상기 가중치가 적용된 입력 영상과 상기 가중치가 미적용된 상기 입력 영상의 상기 비역광 영역을 합성하여 상기 입력 영상의 대조비를 개선할 수 있다.
이 경우, 상기 프로세서는, 상기 입력 영상 내의 각 화소의 화소 밝기 및, 상기 각 화소와 적어도 하나의 인접 화소 간의 거리에 기초하여 해당 화소와 상기 인접 화소 간의 밝기 차이를 증가시키기 위한 기설정된 수치를 산출하고, 상기 가중치가 적용된 각 화소에 상기 기설정된 수치를 합산하여 상기 입력 영상의 대조비를 개선할 수 있다.
또한, 상기 프로세서는, 상기 각 화소의 화소 밝기와 동일한 화소 밝기를 갖는 화소의 개수 및 상기 동일한 화소 밝기를 갖는 화소와의 거리에 기초하여 산출된 제1 수치 및 상기 각 화소와 적어도 하나의 인접 화소 간의 밝기 차이 및 상기 각 화소와 인접 화소 간의 거리에 기초하여 산출된 제2 수치를 곱하여, 상기 가중치를 산출할 수 있다.
또한, 상기 프로세서는, 상기 입력 영상에서 화소 밝기가 기설정된 범위 이내인 화소의 집합으로 구성된 수퍼 화소(super pixel)를 설정하고, 상기 수퍼 화소에 포함된 각 화소에 적용될 가중치에 기초하여 산출된 제3 수치 및 상기 수퍼 화소의 평균 화소 밝기에 기초하여 산출된 제4 수치에 기초하여 상기 역광 영역을 검출할 수 있다.
이 경우, 상기 제3 수치는, 상기 산출된 가중치를 정규화한 값이며, 상기 제4 수치는, 상기 수퍼 화소의 평균 화소 밝기를 반전하여 정규화한 값일 수 있다.
한편, 본 발명의 일 실시 예에 따른 영상의 대조비를 개선하는 영상 개선 방법은, 역광 영역 및 비역광 영역을 포함하는 영상을 입력받는 단계, 상기 입력 영상 내의 각 화소의 화소 밝기 및, 상기 각 화소와 다른 화소 간의 거리에 기초하여 해당 화소에 적용할 가중치(weight)를 산출하는 단계 및 상기 역광 영역에 포함된 각 화소의 화소 밝기에 상기 산출된 가중치를 적용하여 상기 입력 영상의 대조비를 개선하는 단계를 포함한다.
이 경우, 상기 개선하는 단계는, 상기 입력 영상 내의 각 화소의 화소 밝기(intensity) 및 각 화소 간 색상 차를 나타내는 색 대비 값을 이용하여 상기 역광 영역 및 상기 비역광 영역을 검출할 수 있다.
또한, 상기 산출하는 단계는, 상기 각 화소의 화소 밝기와 동일한 화소 밝기를 갖는 화소의 개수에 비례하고, 상기 동일한 화소 밝기를 갖는 화소와의 거리에 반비례하도록 상기 가중치를 산출할 수 있다.
또한, 상기 산출하는 단계는, 상기 각 화소의 화소 밝기와 기설정된 범위 이내의 화소 밝기를 갖는 화소와의 거리에 반비례하도록 상기 가중치를 산출할 수 있다.
이 경우, 상기 산출하는 단계는, 상기 각 화소의 화소 밝기와 상기 기설정된 범위 이내의 화소값을 갖는 화소와의 화소 밝기 차이에 반비례하도록 상기 가중치를 산출할 수 있다.
또한, 상기 개선하는 단계는, 상기 역광 영역 및 상기 비역광 영역에 포함된 각 화소의 화소 밝기에 상기 산출된 가중치를 적용하고, 상기 가중치가 적용된 입력 영상과 상기 가중치가 미적용된 상기 입력 영상의 상기 비역광 영역을 합성하여 상기 입력 영상의 대조비를 개선할 수 있다.
이 경우, 상기 개선하는 단계는, 상기 입력 영상 내의 각 화소의 화소 밝기 및, 상기 각 화소와 적어도 하나의 인접 화소 간의 거리에 기초하여 해당 화소와 상기 인접 화소 간의 밝기 차이를 증가시키기 위한 기설정된 수치를 산출하고, 상기 가중치가 적용된 각 화소에 상기 기설정된 수치를 합산하여 상기 입력 영상의 대조비를 개선할 수 있다.
또한, 상기 산출하는 단계는, 상기 각 화소의 화소 밝기와 동일한 화소 밝기를 갖는 화소의 개수 및 상기 동일한 화소 밝기를 갖는 화소와의 거리에 기초하여 산출된 제1 수치 및 상기 각 화소와 적어도 하나의 인접 화소 간의 밝기 차이 및 상기 각 화소와 인접 화소 간의 거리에 기초하여 산출된 제2 수치를 곱하여, 상기 가중치를 산출할 수 있다.
또한, 상기 개선하는 단계는, 상기 입력 영상에서 화소 밝기가 기설정된 범위 이내인 화소의 집합으로 구성된 수퍼 화소(super pixel)를 설정하고, 상기 수퍼 화소에 포함된 각 화소에 적용될 가중치에 기초하여 산출된 제3 수치 및 상기 수퍼 화소의 평균 화소 밝기에 기초하여 산출된 제4 수치에 기초하여 상기 역광 영역을 검출할 수 있다.
이 경우, 상기 제3 수치는, 상기 산출된 가중치를 정규화한 값이며, 상기 제4 수치는, 상기 수퍼 화소의 평균 화소 밝기를 반전하여 정규화한 값일 수 있다.
이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면 역광 영역의 화소 밝기에 가중치를 적용하여, 역광 영역과 비역광 영역 사이의 불연속 현상 없이 역광 영역을 포함하는 영상의 대조비를 개선할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상 개선 장치의 구성을 나타내는 블럭도이다.
도 2는 도 1에 도시된 영상 개선 장치의 세부 구성을 나타내는 블록도이다.
도 3 내지 도 6은 본 발명의 일 실시 예에 따른 입력 영상의 화소 밝기에 대한 가중치를 산출하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 가중치가 적용된 히스토그램을 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 입력 영상의 화소 밝기에 제1 수치, 제2 수치 및 가중치를 적용한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 입력 영상의 화소 밝기에 가중치를 적용하는 과정을 단계적으로 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 영상 개선 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시 예에 따른 영상 개선 방법이 적용된 영상을 나타내는 도면이다.
이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 영상 개선 장치의 구성을 나타내는 블럭도이다.
영상 개선 장치(100)는 촬영 장치 형태로 구현되어, 촬영 장치에 의해 촬영된 영상의 대조비를 개선할 수 있다. 또한, 영상 개선 장치(100)는 TV, 태블릿 PC, PMP, PDA, 스마트폰, 디지털 액자, 전자 책 등과 같은 형태로도 구현될 수 있다.
입력부(110)는 외부로부터 영상을 입력 받을 수 있다. 여기서, 영상은 역광 영역 및 비역광 영역을 포함하는 영상일 수 있다. 입력부(110)는 무선 또는 유선으로 영상을 입력 받을 수 있으며, 무선의 경우, 블루투스, 와이파이 등의 통신 방식을 통해 영상을 입력 받을 수 있다.
프로세서(120)는 입력 영상 내의 각 화소의 화소 밝기(intensity) 및 각 화소 간 색상 차를 나타내는 색 대비 값을 이용하여 입력 영상에서 역광 영역 및 비역광 영역을 검출할 수 있다. 구체적으로, 프로세서(120)는 우선 입력 영상에서 수퍼 화소를 설정하여 입력 영상을 과분할한다. 여기서, 수퍼 화소는 영상에서 화소 밝기가 기설정된 범위 이내인 화소로 구성된 화소의 집합을 의미한다. 이후 프로세서(120)는 수퍼 화소에 가중치를 적용하여 정규화(normalization)한 제3 수치 및 수퍼 화소의 평균 화소 밝기를 반전하여 정규화한 제4 수치에 기초하여 역광 영역을 검출할 수 있다.
프로세서(120)는 입력 영상 내의 각 화소의 화소 밝기 및 각 화소와 다른 화소 간의 거리에 기초하여 해당 화소에 적용할 가중치를 산출할 수 있다. 구체적으로, 프로세서(120)는 각 화소의 화소 밝기와 동일한 화소 밝기를 갖는 화소의 개수에 비례하고, 동일한 화소 밝기를 갖는 화소와의 거리에 반비례하도록 가중치를 산출할 수 있다.
또한, 프로세서(120)는 각 화소의 화소 밝기와 기설정된 범위 이내의 화소 밝기를 갖는 화소와의 거리에 반비례하도록 가중치를 산출할 수 있고, 각 화소의 화소 밝기와 기설정된 범위 이내의 화소 밝기를 갖는 화소와의 화소 밝기 차이에 반비례하도록 가중치를 산출할 수 있다.
프로세서(120)는 가중치를 적용한 히스토그램을 생성하여 각 화소의 화소 밝기를 산출할 수 있다. 예를 들어, 특정 영역에 동일한 화소 밝기를 갖는 화소가 다수 존재하는 경우, 그 특정 영역에는 높은 가중치가 적용되므로 히스토그램에서 각 화소의 화소 밝기 차이가 커지게 되어, 영상을 선명하게 개선할 수 있다.
프로세서(120)는 역광 영역의 화소 밝기에 가중치를 적용하여 입력 영상의 대조비를 개선할 수 있다. 구체적으로, 프로세서(120)는 역광 영역에 존재하는 각 화소의 화소 밝기에 산출된 가중치를 적용하고, 가중치가 적용된 화소 밝기를 역광 영역의 각 화소에 적용하여 영상의 대조비를 개선할 수 있다.
또한, 프로세서(120)는 입력 영상의 비역광 영역 및 가중치가 적용된 역광 영역을 가중합하여 입력 영상의 대조비를 개선할 수 있다. 즉, 프로세서(120)는 프로세서(120)에서 검출된 비역광 영역에는 가중치를 적용하지 않고, 역광 영역에만 가중치를 적용한 후, 가중치가 적용된 역광 영역과 가중치가 적용되지 않은 비역광 영역을 가중합할 수 있다. 비역광 영역의 경우 역광 영역에 비해 화소 밝기가 높은 값을 갖는바, 비역광 영역에 가중합을 적용하면 오히려 색이 뭉쳐서 영상의 디테일이 떨어질 수 있다. 따라서, 프로세서(120)는 가중치가 적용된 영상에 가중치가 적용되지 않은 비역광 영역을 가중합하여 비역광 영역에서 색이 뭉치는 현상을 방지할 수 있다.
도 2는 도 1에 도시된 영상 개선 장치의 세부 구성을 나타내는 블록도이다.
도 2에 따르면, 영상 개선 장치(100’)는 입력부(110), 프로세서(120), 저장부(130), 비디오 처리부(140) 및 오디오 처리부(150)를 포함한다. 도 2에 도시된 구성 중 도 1에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명은 생략하도록 한다.
프로세서(120)는 디스플레이 장치(100')의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(120)는 RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n) 및 버스(126)를 포함한다.
RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n) 등은 버스(126)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(125-1 내지 125-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(123)는 저장부(130)에 액세스하여, 저장부(130)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(130)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(123)는 ROM(122)에 저장된 명령어에 따라 저장부(130)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(123)는 저장부(130)에 저장된 각종 어플리케이션 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(124)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 오브젝트를 포함하는 화면, 예를 들어, 포인팅 오브젝트를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 오브젝트들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 오브젝트를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 사용자 인터페이스 영역 내에 표시된다.
도 3 내지 도 6은 본 발명의 일 실시 예에 따른 입력 영상의 화소 밝기에 대한 가중치를 산출하는 방법을 설명하기 위한 도면이다.
도 3은 전자간 상호 작용과 화소간 상호 작용의 유사성을 설명하기 위한 도면이다. 즉, 전자간에는 상호 척력이 작용하는데, 척력의 세기는 전하량의 크기에 비례하고 전자간 거리에 반비례한다. 이러한 개념을 화소에 적용하여, 제1 수치 및 제2 수치에 따른 가중치를 산출할 수 있다.
구체적으로, 제1 수치 및 제2 수치는 전자의 전하량 및 전기장에 대응될 수 있다. 전자의 전하량은 한 지점을 지나가는 전하의 총량을 의미하며, 전기장은 상호작용하는 상대 전자의 전하량과 상대 전자와의 공간적 거리에 따라 크기가 달라지는 물리량을 의미한다. 이와 유사하게, 제1 수치는 동일한 화소 밝기를 가지는 화소의 수 및 화소 간의 거리에 따라 달라지는 값이 되고, 제2 수치는 이웃 화소 간의 화소 밝기 차이 및 화소 간의 거리에 따라 달라지는 값이 된다. 즉, 제1 수치 및 제2 수치는 화소 밝기 및 화소 간의 거리에 의해 결정될 수 있다.
도 4는 제1 수치를 산출하는 과정을 설명하기 위한 도면이다. 도 4에서 화소 p(401)과 동일한 화소 밝기를 갖는 화소들(402, 403, 404, 405)을 이용하여 제1 수치를 산출할 수 있다. 제1 수치는 화소 p와 동일한 화소 밝기를 갖는 화소의 개수가 많을수록 커지는데, 예를 들어, 화소 p의 제1 수치는 아래의 수학식 1을 통해 산출할 수 있다. 화소 p가 화소 밝기가 동일한 다른 화소들로부터 지역적으로 고립되어 있을 경우 잡음일 확률이 높으므로, 화소 p와의 거리를 고려하여 제1 수치를 산출한다.
Figure 112015041512913-pat00001
여기서,
Figure 112015041512913-pat00002
은 1일 수 있고, S(p)는 화소 p의 역광 중요도를 나타낸다. 역광 중요도는 화소 p의 반전된 화소 밝기 I(p)를 계산한 후, 아래의 수학식 2와 같이 감마 보정하여 산출할 수 있다.
Figure 112015041512913-pat00003
여기서,
Figure 112015041512913-pat00004
는 2.2일 수 있다.
도 5는 제2 수치를 산출하는 과정을 설명하기 위한 도면이다. 도 5에서 화소 p(401)과 다른 화소 밝기를 갖는 화소들(501, 502, 503, 504)을 이용하여 제2 수치를 산출할 수 있다. 제2 수치는 화소 p와 다른 화소 밝기를 갖는 화소들이 공간적으로 밀집해 있고 화소 간의 화소 밝기 차이가 작을수록 커지는데, 예를 들어, 화소 p의 제2 수치는 아래의 수학식 3을 통해 산출할 수 있다. 이때, 이웃 화소의 화소 밝기 I(q)가 화소 p의 화소 밝기 I(p)과 같은 경우, 두 화소의 상호작용은 없다고 가정한다.
Figure 112015041512913-pat00005
여기서,
Figure 112015041512913-pat00006
는 0.8일 수 있고,
Figure 112015041512913-pat00007
는 1일 수 있다.
도 6은 제1 수치와 제2 수치를 이용하여 가중치를 산출하는 방법을 설명하기 위한 도면이다. 화소 p를 기준으로 화소 p(401)과 동일한 화소 밝기를 갖는 화소들(402, 403, 404, 405)을 이용하여 산출된 제1 수치 및 화소 p(401)과 다른 화소 밝기를 갖는 화소들(501, 502, 503, 504)을 이용하여 산출된 제2 수치의 곱으로 가중치를 산출할 수 있다. 즉, 아래의 수학식 4를 이용하여, 가중치 f(p)를 산출할 수 있다.
Figure 112015041512913-pat00008
여기서, f(p)는 가중치, Q(p)는 화소 p의 제2 수치, E(p)는 화소 p의 제1 수치를 나타낸다.
프로세서(120)는 산출된 가중치 f(p)를 이용하여 입력 영상 각 화소의 화소 밝기를 결정하게 되어, 역광 영역이 존재하는 입력 영상의 대조비를 보다 선명하게 개선할 수 있다.
도 7은 가중치가 적용된 히스토그램을 도시한 도면이다.
도 7을 참조하면, 일반 히스토그램은 역광 영역을 고려하지 않고, 특정 화소의 화소 밝기를 결정하는 반면, 가중치 히스토그램(weighted histogram)은 이웃 화소의 화소 밝기 및 화소 간의 거리를 고려하여 화소 밝기에 가중치를 적용하게 되어, 역광 영역을 보다 선명하게 나타낼 수 있다.
도 78 제1 수치, 제2 수치 및 가중치가 적용된 영상을 [0,1]로 정규화한 결과를 도시한 도면이다. 도 8(a)는 원본 영상, 도 8(b)는 원본 영상에서 산출된 제1 수치가 적용된 영상을 정규화한 도면, 도 8(c)는 원본 영상에서 산출된 제2 수치가 적용된 영상을 정규화한 도면, 도 8(d)는 제1 수치 및 제2 수치를 이용하여 산출된 가중치가 적용된 영상을 정규화한 도면을 나타낸다.
도 8(b)를 참조하면, 제1 수치의 경우 동일한 화소 밝기를 갖는 화소의 밀집 정도 및 화소 간의 거리를 고려하므로 [0,1]로 정규화된 결과가 역광 영역과 비역광 영역간에 뚜렷한 차이가 발생되나 디테일이 떨어진다. 반면에, 도 8(c)를 참조하면, 제2 수치의 경우 화소 밝기가 다른 화소의 밀집 정도 및 화소 간의 거리를 고려하므로 [0,1]로 정규화된 결과가 역광 영역과 비역광 영역 간의 차이 없이 동일하게 분리된다. 따라서, 도 8(d)에서 제1 수치 및 제2 수치 모두를 고려하여 가중치를 적용한 영상은 역광 영역을 밝게 표시하면서, 디테일을 보존할 수 있다.
도 9는 영상의 대조비를 개선하는 과정을 설명하기 위한 도면이다. 도 9(a)는 원본 영상을 나타낸다. 도 9(a)에서 역광 영역이 상대적으로 어둡게 나타나는 것을 볼 수 있다.
도 9(b)는 입력 영상에 초기 개선 화소 밝기를 적용한 초기 대조비 개선 영상을 나타내는 도면이다. 프로세서(120)에서 제1 수치 및 제2 수치를 이용하여 가중치가 산출되면, 프로세서(120)는 산출된 가중치를 이용하여 입력 영상의 대조비를 개선한다. 구체적으로, 프로세서(120)는 화소 p의 화소 밝기 I(p) 이하의 대조비를 누적 정규화하여 초기 개선 화소 밝기
Figure 112015041512913-pat00009
를 산출하여, 입력 영상에 적용한다. 이 경우, 대조비는 아래의 수학식 5와 같이, 가중치의 총합을 통해 산출할 수 있다.
Figure 112015041512913-pat00010
도 9(c)는 역광 영역의 초기 대조비 개선 영상과 비역광 영역의 원본 영상을 가중합한 가중합 대조비 개선 영상을 나타낸다. 도 9(b)와 같이, 초기 대조비 개선 영상은 비역광 영역에도 가중치가 적용되므로, 비역광 영역이 밝아지게 되어 색이 뭉치고 디테일이 손상될 수 있다. 따라서, 가중치가 적용되지 않은 비역광 영역의 원본 영상과 초기 대조비 개선 영상을 융합한 가중합 대조비 개선 영상의 경우, 색 뭉침 현상 및 디테일 손상을 방지할 수 있다. 이때, 가중합을 이용하여 역광 영역 및 비역광 영역의 경계가 자연스럽게 이어지도록 할 수 있다.
구체적으로, 가중합 대조비 개선값
Figure 112015041512913-pat00011
은 아래의 수학식 6을 이용하여 산출할 수 있다.
Figure 112015041512913-pat00012
도 9(d)는 디테일 증폭을 적용한 최종 대조비 개선 영상을 도시한 도면이다. 일반적으로, 대조비를 증가시키는 경우 영상의 디테일이 손상되므로 가중합 대조비 개선 영상에 디테일 증폭 수치를 합산하여 최종 대조비 개선 영상을 획득할 수 있다. 구체적으로, 디테일 증폭 수치 B(p)는 아래의 수학식 7에 의해 산출할 수 있다.
Figure 112015041512913-pat00013
여기서,
Figure 112015041512913-pat00014
는 화소 p의 8-연결 이웃화소를 나타낸다.
이후, 아래의 수학식 8과 같이, 가중합 대조비 개선 영상에 디테일 증폭 수치를 합산하여 최종 대조비 개선 영상을 획득할 수 있다.
Figure 112015041512913-pat00015
도 10은 본 발명의 일 실시 예에 따른 영상 개선 방법을 설명하기 위한 흐름도이다.
도 10에 도시된 영상 개선 방법에 따르면, 우선 영상을 입력 받는다(S910). 여기서, 영상은 역광 영역 및 비역광 영역을 포함할 수 있다.
이어서, 입력 영상의 각 화소에 적용할 가중치를 산출한다(S920). 구체적으로, 입력 영상 내의 각 화소의 화소 밝기 및, 상기 각 화소와 다른 화소 간의 거리에 기초하여 가중치를 산출할 수 있다.
이어서, 역광 영역에 포함된 각 화소의 화소 밝기에 산출된 가중치를 적용하여 입력 영상의 대조비를 개선한다(S930).
또한, S930 단계에서는 입력 영상 내의 각 화소의 화소 밝기 및 각 화소 간 색상 차를 나타내는 색 대비 값을 이용하여 역광 영역 및 비역광 영역을 검출할 수 있다.
또한, S920 단계에서는 각 화소의 화소 밝기와 동일한 화소 밝기를 갖는 화소의 개수에 비례하고, 동일한 화소 밝기를 갖는 화소와의 거리에 반비례하도록 가중치를 산출할 수 있다.
또한, S920 단계에서는 각 화소의 화소 밝기와 기설정된 범위 이내의 화소 밝기를 갖는 화소와의 거리에 반비례하도록 가중치를 산출할 수 있다.
또한, S920 단계에서는 각 화소의 화소 밝기와 기설정된 범위 이내의 화소값을 갖는 화소와의 화소 밝기 차이에 반비례하도록 가중치를 산출할 수 있다.
또한, S930 단계에서는 역광 영역 및 비역광 영역에 포함된 각 화소의 화소 밝기에 산출된 가중치를 적용하고, 가중치가 적용된 입력 영상과 가중치가 미적용된 입력 영상의 비역광 영역을 합성하여 입력 영상의 대조비를 개선할 수 있다.
또한, S930 단계에서는 입력 영상 내의 각 화소의 화소 밝기 및, 각 화소와 적어도 하나의 인접 화소 간의 거리에 기초하여 해당 화소와 인접 화소 간의 밝기 차이를 증가시키기 위한 기설정된 수치를 산출하고, 가중치가 적용된 각 화소에 기설정된 수치를 합산하여 입력 영상의 대조비를 개선할 수 있다.
또한, S920 단계에서는 각 화소의 화소 밝기와 동일한 화소 밝기를 갖는 화소의 개수 및 동일한 화소 밝기를 갖는 화소와의 거리에 기초하여 산출된 제1 수치 및 각 화소와 적어도 하나의 인접 화소 간의 밝기 차이 및 각 화소와 인접 화소 간의 거리에 기초하여 산출된 제2 수치를 곱하여 가중치를 산출할 수 있다.
또한, S930 단계에서는 입력 영상에서 화소 밝기가 기설정된 범위 이내인 화소의 집합으로 구성된 수퍼 화소(super pixel)를 설정하고, 수퍼 화소에 포함된 각 화소에 적용될 가중치에 기초하여 산출된 제3 수치 및 수퍼 화소의 평균 화소 밝기에 기초하여 산출된 제4 수치에 기초하여 역광 영역을 검출할 수 있다.
또한, 제3 수치는, 산출된 가중치를 정규화한 값이며, 제4 수치는, 수퍼 화소의 평균 화소 밝기를 반전하여 정규화한 값일 수 있다.
이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면 역광 영역 각 화소의 화소 밝기에 가중치를 적용하여, 역광 영역과 비역광 영역 사이의 불연속 현상 없이 역광 영역을 포함하는 영상의 대조비를 개선할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예에 따른 방법들은, 기존 영상 개선 장치에 대한 소프트웨어 업그레이드만으로도 구현될 수 있다.
또한, 본 발명에 따른 영상 개선 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
일 예로, 역광 영역 및 비역광 영역을 포함하는 영상을 입력받는 단계, 입력 영상 내의 각 화소의 화소 밝기 및, 각 화소와 다른 화소 간의 거리에 기초하여 해당 화소에 적용할 가중치를 산출하는 단계 및 역광 영역에 포함된 각 화소의 화소 밝기에 산출된 가중치를 적용하여 입력 영상의 대조비를 개선하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
도 11은 본 발명의 일 실시 예에 따른 영상 개선 방법이 적용된 영상을 나타내는 도면이다.
도 11을 참조하면, 본 발명의 일 실시 예에 따른 영상 개선 방법이 적용된 영상은 역광 영역 및 비역광 영역의 대조비가 개선되며, 역광 영역과 비역광 영역의 경계에 불연속이 발생하지 않는 것을 확인할 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 영상 개선 장치 110: 입력부
120: 프로세서

Claims (20)

  1. 영상의 대조비(contrast)를 개선하는 영상 개선 장치에 있어서,
    역광 영역 및 비역광 영역을 포함하는 영상을 입력받는 입력부; 및
    상기 입력 영상 내의 각 화소의 화소 밝기 및, 상기 각 화소와 다른 화소 간의 거리에 기초하여 해당 화소에 적용할 가중치(weight)를 산출하고, 상기 역광 영역에 포함된 각 화소의 화소 밝기에 상기 산출된 가중치를 적용하여 상기 입력 영상의 대조비를 개선하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 입력 영상에서 화소 밝기가 기설정된 범위 이내인 화소의 집합으로 구성된 수퍼 화소(super pixel)를 설정하고, 상기 수퍼 화소에 포함된 각 화소에 적용될 가중치에 기초하여 산출된 제3 수치 및 상기 수퍼 화소의 평균 화소 밝기에 기초하여 산출된 제4 수치에 기초하여 상기 역광 영역을 검출하는 영상 개선 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 입력 영상 내의 각 화소의 화소 밝기(intensity) 및 각 화소 간 색상 차를 나타내는 색 대비 값을 이용하여 상기 비역광 영역을 검출하는 것을 특징으로 하는 영상 개선 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 각 화소의 화소 밝기와 동일한 화소 밝기를 갖는 화소의 개수에 비례하고, 상기 동일한 화소 밝기를 갖는 화소와의 거리에 반비례하도록 상기 가중치를 산출하는 것을 특징으로 하는 영상 개선 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 각 화소의 화소 밝기와 기설정된 범위 이내의 화소 밝기를 갖는 화소와의 거리에 반비례하도록 상기 가중치를 산출하는 것을 특징으로 하는 영상 개선 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 각 화소의 화소 밝기와 상기 기설정된 범위 이내의 화소 밝기를 갖는 화소와의 화소 밝기 차이에 반비례하도록 상기 가중치를 산출하는 것을 특징으로 하는 영상 개선 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 역광 영역 및 상기 비역광 영역에 포함된 각 화소의 화소 밝기에 상기 산출된 가중치를 적용하고, 상기 가중치가 적용된 입력 영상과 상기 가중치가 미적용된 상기 입력 영상의 상기 비역광 영역을 합성하여 상기 입력 영상의 대조비를 개선하는 것을 특징으로 하는 영상 개선 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 입력 영상 내의 각 화소의 화소 밝기 및, 상기 각 화소와 적어도 하나의 인접 화소 간의 거리에 기초하여 해당 화소와 상기 인접 화소 간의 밝기 차이를 증가시키기 위한 기설정된 수치를 산출하고, 상기 가중치가 적용된 각 화소에 상기 기설정된 수치를 합산하여 상기 입력 영상의 대조비를 개선하는 것을 특징으로 하는 영상 개선 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 각 화소의 화소 밝기와 동일한 화소 밝기를 갖는 화소의 개수 및 상기 동일한 화소 밝기를 갖는 화소와의 거리에 기초하여 산출된 제1 수치 및 상기 각 화소와 적어도 하나의 인접 화소 간의 밝기 차이 및 상기 각 화소와 인접 화소 간의 거리에 기초하여 산출된 제2 수치를 곱하여, 상기 가중치를 산출하는 것을 특징으로 하는 영상 개선 장치.
  9. 삭제
  10. 제1항에 있어서,
    상기 제3 수치는, 상기 산출된 가중치를 정규화한 값이며, 상기 제4 수치는, 상기 수퍼 화소의 평균 화소 밝기를 반전하여 정규화한 값인 것을 특징으로 하는 영상 개선 장치.
  11. 영상의 대조비를 개선하는 영상 개선 방법에 있어서,
    역광 영역 및 비역광 영역을 포함하는 영상을 입력받는 단계;
    상기 입력 영상 내의 각 화소의 화소 밝기 및, 상기 각 화소와 다른 화소 간의 거리에 기초하여 해당 화소에 적용할 가중치(weight)를 산출하는 단계; 및
    상기 역광 영역에 포함된 각 화소의 화소 밝기에 상기 산출된 가중치를 적용하여 상기 입력 영상의 대조비를 개선하는 단계;를 포함하고
    상기 개선하는 단계는,
    상기 입력 영상에서 화소 밝기가 기설정된 범위 이내인 화소의 집합으로 구성된 수퍼 화소(super pixel)를 설정하고, 상기 수퍼 화소에 포함된 각 화소에 적용될 가중치에 기초하여 산출된 제3 수치 및 상기 수퍼 화소의 평균 화소 밝기에 기초하여 산출된 제4 수치에 기초하여 상기 역광 영역을 검출하는 영상 개선 방법.
  12. 제11항에 있어서,
    상기 개선하는 단계는,
    상기 입력 영상 내의 각 화소의 화소 밝기(intensity) 및 각 화소 간 색상 차를 나타내는 색 대비 값을 이용하여 상기 비역광 영역을 검출하는 것을 특징으로 하는 영상 개선 방법.
  13. 제11항에 있어서,
    상기 산출하는 단계는,
    상기 각 화소의 화소 밝기와 동일한 화소 밝기를 갖는 화소의 개수에 비례하고, 상기 동일한 화소 밝기를 갖는 화소와의 거리에 반비례하도록 상기 가중치를 산출하는 것을 특징으로 하는 영상 개선 방법.
  14. 제11항에 있어서,
    상기 산출하는 단계는,
    상기 각 화소의 화소 밝기와 기설정된 범위 이내의 화소 밝기를 갖는 화소와의 거리에 반비례하도록 상기 가중치를 산출하는 것을 특징으로 하는 영상 개선 방법.
  15. 제14항에 있어서,
    상기 산출하는 단계는,
    상기 각 화소의 화소 밝기와 상기 기설정된 범위 이내의 화소값을 갖는 화소와의 화소 밝기 차이에 반비례하도록 상기 가중치를 산출하는 것을 특징으로 하는 영상 개선 방법.
  16. 제11항에 있어서,
    상기 개선하는 단계는,
    상기 역광 영역 및 상기 비역광 영역에 포함된 각 화소의 화소 밝기에 상기 산출된 가중치를 적용하고, 상기 가중치가 적용된 입력 영상과 상기 가중치가 미적용된 상기 입력 영상의 상기 비역광 영역을 합성하여 상기 입력 영상의 대조비를 개선하는 것을 특징으로 하는 영상 개선 방법.
  17. 제16항에 있어서,
    상기 개선하는 단계는,
    상기 입력 영상 내의 각 화소의 화소 밝기 및, 상기 각 화소와 적어도 하나의 인접 화소 간의 거리에 기초하여 해당 화소와 상기 인접 화소 간의 밝기 차이를 증가시키기 위한 기설정된 수치를 산출하고, 상기 가중치가 적용된 각 화소에 상기 기설정된 수치를 합산하여 상기 입력 영상의 대조비를 개선하는 것을 특징으로 하는 영상 개선 방법.
  18. 제11항에 있어서,
    상기 산출하는 단계는,
    상기 각 화소의 화소 밝기와 동일한 화소 밝기를 갖는 화소의 개수 및 상기 동일한 화소 밝기를 갖는 화소와의 거리에 기초하여 산출된 제1 수치 및 상기 각 화소와 적어도 하나의 인접 화소 간의 밝기 차이 및 상기 각 화소와 인접 화소 간의 거리에 기초하여 산출된 제2 수치를 곱하여, 상기 가중치를 산출하는 것을 특징으로 하는 영상 개선 방법.
  19. 삭제
  20. 제11항에 있어서,
    상기 제3 수치는, 상기 산출된 가중치를 정규화한 값이며, 상기 제4 수치는, 상기 수퍼 화소의 평균 화소 밝기를 반전하여 정규화한 값인 것을 특징으로 하는 영상 개선 방법.
KR1020150059916A 2015-04-28 2015-04-28 영상 개선 장치 및 영상 개선 방법 KR102055253B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150059916A KR102055253B1 (ko) 2015-04-28 2015-04-28 영상 개선 장치 및 영상 개선 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150059916A KR102055253B1 (ko) 2015-04-28 2015-04-28 영상 개선 장치 및 영상 개선 방법

Publications (2)

Publication Number Publication Date
KR20160128101A KR20160128101A (ko) 2016-11-07
KR102055253B1 true KR102055253B1 (ko) 2019-12-13

Family

ID=57529766

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150059916A KR102055253B1 (ko) 2015-04-28 2015-04-28 영상 개선 장치 및 영상 개선 방법

Country Status (1)

Country Link
KR (1) KR102055253B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100609155B1 (ko) * 2004-03-22 2006-08-02 엘지전자 주식회사 영상 처리 장치 및 이를 이용한 역광 보정 방법
KR100689877B1 (ko) * 2006-02-03 2007-03-09 삼성전자주식회사 신호 변환 장치, 이를 구비한 표시 장치 및 표시 장치의구동 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101119268B1 (ko) * 2010-03-10 2012-03-20 삼성전자주식회사 영상의 컬러 잡음 제거 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100609155B1 (ko) * 2004-03-22 2006-08-02 엘지전자 주식회사 영상 처리 장치 및 이를 이용한 역광 보정 방법
KR100689877B1 (ko) * 2006-02-03 2007-03-09 삼성전자주식회사 신호 변환 장치, 이를 구비한 표시 장치 및 표시 장치의구동 방법

Also Published As

Publication number Publication date
KR20160128101A (ko) 2016-11-07

Similar Documents

Publication Publication Date Title
KR102425302B1 (ko) 번-인 통계 및 번-인 보상
JP6374970B2 (ja) 画像処理方法および装置ならびにコンピュータデバイス
US9558542B2 (en) Method and device for image processing
US10978027B2 (en) Electronic display partial image frame update systems and methods
WO2015106700A1 (en) Method and apparatus for implementing image denoising
CN113126937B (zh) 一种显示终端调整方法及显示终端
CN105279006B (zh) 基于Android***的屏幕截图方法及终端
US20190014235A1 (en) Method and device for adapting a display visibility
CN109065001B (zh) 一种图像的降采样方法、装置、终端设备和介质
US20130236117A1 (en) Apparatus and method for providing blurred image
KR20130134546A (ko) 동영상의 섬네일 이미지 생성 방법 및 그 전자 장치
CN104516696A (zh) 一种信息处理方法及电子设备
CN111861965B (zh) 图像逆光检测方法、图像逆光检测装置及终端设备
US10438323B2 (en) Image brightness correction and noise suppression method, device, and recording medium for storing image processing program
KR102055253B1 (ko) 영상 개선 장치 및 영상 개선 방법
EP3494541B1 (en) Image processing apparatus and control method thereof
CN115049572A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP6155349B2 (ja) デコンボリューション画像において色収差を減じる方法、装置及びコンピュータプログラム製品
US11782850B2 (en) Information processing method, server, terminal, and computer storage medium
CN111784607A (zh) 图像色调映射方法、装置、终端设备及存储介质
US9058667B2 (en) Detail preserving image transfer operations
US10325347B2 (en) Image processing method and apparatus
CN111492400A (zh) 图像处理设备、图像处理方法和计算机可读记录介质
US11893711B2 (en) Neural network-based image processing with artifact compensation
WO2016044983A1 (zh) 一种图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right