KR101535630B1 - 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치 - Google Patents

밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치 Download PDF

Info

Publication number
KR101535630B1
KR101535630B1 KR1020140007101A KR20140007101A KR101535630B1 KR 101535630 B1 KR101535630 B1 KR 101535630B1 KR 1020140007101 A KR1020140007101 A KR 1020140007101A KR 20140007101 A KR20140007101 A KR 20140007101A KR 101535630 B1 KR101535630 B1 KR 101535630B1
Authority
KR
South Korea
Prior art keywords
brightness
luminance signal
image
processing unit
conversion model
Prior art date
Application number
KR1020140007101A
Other languages
English (en)
Inventor
홍성훈
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020140007101A priority Critical patent/KR101535630B1/ko
Application granted granted Critical
Publication of KR101535630B1 publication Critical patent/KR101535630B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 위 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치에 관한 것으로서, 야간영상과 같이 가시성이 낮은 어두운 영상을 실시간으로 가시성이 향상된 영상을 제공하는 장치를 제공함에 그 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, 야간영상의 입력 휘도신호를 반전처리하여, 반전 휘도신호를 구하는 휘도신호 반전 처리부; 밝기변환 모델을 이용하여, 반전된 휘도신호를 어두운 영상영역의 밝기가 향상된 영상으로 변환하는 밝기변환 모델 처리부; 및 상기 밝기변환 모델 처리부를 통해 밝기가 향상된 휘도신호에 대하여, 후처리를 수행하는 후처리부; 를 포함한다.

Description

밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치{Apparatus for enhancing the brightness of night image using brightness conversion model}
본 발명은 야간 상황과 같이 어두운 환경에서 촬영한 영상의 밝기를 변환하여 가시성이 향상된 영상을 제공하는 시스템에 관한 것으로서, 더욱 상세하게는 기존 방법에서 나타나는 밝은 영상영역의 화질열화와 잡음강조 현상 등을 억제하면서 내장형 프로세서를 사용하여, 실시간 처리가 가능한 야간 영상의 밝기 개선 장치에 관한 것이다.
종래 안개 등이 포함된 영상을 개선하는 방법과 관련해서는, 한국공개특허 제10-2010-0021952호(이하, '선행문헌') 외에 다수 출원 및 공개되어 있다.
선행문헌에 따른 방법은, 대기 산란광(Airlight)을 포함한 영상의 제1 휘도 영상을 입력받아, 상기 제1 휘도 영상의 평균과 표준편차의 비율을 기초로 대기 산란광 맵을 생성하는 단계; 및 상기 제1 휘도 영상에서 상기 생성한 대기 산란광 맵을 감산함으로써 상기 대기 산란광이 제거된 제2 휘도 영상을 출력하는 단계; 를 포함한다. 그러나, 상기한 선행문헌은 화소 단위로 안개 영상 처리를 수행하지 않고, 블록 단위로 처리를 수행한다.
최근 사고예방이나 감지를 위하여 영상 감시시스템이나 차량용 영상 블랙박스 등이 사용되고 있다. 또한, 첨단 안전차량의 경우 카메라를 이용한 차선이탈방지, 졸음운전방지, 자동주차 기능 등의 다양한 첨단 기술의 요구에 따라 다수의 카메라 장착이 필요하고, 이에 따른 광각 영상에 대한 보정과 저조도 영상에 대한 보정이 절실히 요구된다.
국내 차량용 반도체의 경우, 다수가 수입에 의존하고 있고, 최근 차선인식기능을 포함한 최고급 차량이 출시되고 있어, 수입대체 효과 측면에서도 시계가 좋지 않은 상황에서 영상 개선을 통한 가시성 향상 기능을 포함하는 영상처리용 모듈 개발이 시급하다.
야간 영상 개선 관련 기술 현황은 원/근적외선을 이용하여 안개 또는 야간 등의 시야가 좋지 못한 상황에서도 보행자와 장애물 검출을 통해 사고예방을 지원하는 나이트 비젼(Night Vision) 기술이 있다.
원적외선 방법은 QVGA(320x240)급으로 해상도가 낮으며 여름과 같이 온도가 높은 경우에 객체 식별능력이 떨어지고 매우 고가이다. 근적외선 방법은 VGA(640x480)급으로 원적외선 보다 해상도가 좋지만 적외선 방사기라는 추가 장비가 필요하고, 값비싼 카메라 어셈블리가 필요하고, 항상 적외선 헤드램프가 켜져 있어야 하는 문제가 있다.
저렴한 가격의 일반 가시광 카메라의 입력 야간영상에 대해 가시성 향상을 위한 화질개선에 대한 연구는 밝기 변환곡선을 사용하는 방식[1]-[3]과 필터처리에 의한 반사성분을 강조하는 방식[4][5], 반전영상에 대해 안개제거 처리를 하는 방식[6][7]이 있다.
참고문헌 [1] 은 감마변환(gamma correction)과 같이 logarithmic 변환곡선을 사용하여 어두운 영역의 밝기를 확장하는 방법을 제시하였는데, 사용되는 파라미터에 적합한 영상에 대해서는 개선효과가 있으나 파라미터와 일치하지 않는 영상은 심한 왜곡이 발생하고, 매우 어둡지 않은 영상의 경우는 출력영상의 명암대비가 매우 낮아지는 화질열화가 나타난다.
참고문헌 [2]는 Fuzzy 기법을 이용하여 밝기변환 곡선을 구하여, HSI 색좌표계에서 I 성분에 대해 밝기변환을 수행한 후 색 채도를 높이는 방법을 제시하였는데, 어두운 영상에 대한 개선효과가 크지 않다.
참고문헌 [3]은 사람의 시각특성을 고려한 평균밝기에 적응적인 밝기변환 곡선을 구하고 휘도신호에 밝기변환 곡선을 적용하여 어두운 영상영역의 명암대비를 확장하는 방법을 제시하였는데, 밝기 변환된 영상에 심한 왜곡이 발생하고, 매우 어둡지 않은 영상 영역의 경우는 출력영상의 명암대비가 매우 낮아지는 화질열화가 나타난다.
참고문헌 [1]-[3]에서 제시한 방법들은 기본적으로 감마변환(gamma correction)과 같이 어두운 밝기를 확장하여 어두운 영상영역의 명암대비를 높이고, 밝은 영역을 압축하여 밝은 영상영역의 명암대비를 낮추는 밝기변환 곡선을 사용하여 어두운 영상의 가시성을 향상시키는 방법을 사용한다. 따라서, 이 방법들은 연산량이 매우 적으나, 밝기 변환된 영상이 훼손되는 심각한 화질저하와 일반 영상이 입력될 경우 명암대비가 크게 감소하는 화질저하가 발생한다.
참고문헌 [4]-[5]에서는 비선형 밝기변환 방법과 필터를 사용하여 영상의 반사성분을 강조하는 방법을 제시하였는데, 과도한 반사성분 강조에 의해 회색조 영상이 나타나거나 출력영상이 훼손되는 문제가 있고, 필터처리 과정에서 매우 많은 연산량이 요구된다.
참고문헌 [6]-[7]에서는 야간 영상을 반전시킨 영상이 안개영상과 유사한 밝기분포를 갖는다는 점을 기반으로 개발된 방법이다.
참고문헌[6] 방식은 카메라로부터 입력된 RGB 영상을 각각 반전시킨 후, 각 채널별로 dark channel prior 방법[8] 기반의 de-hazing 알고리즘에 적용하고 다시 반전시켜서 개선된 영상을 얻는다. 이 방식은 우수한 가시성 향상 성능을 보이지만 연산량이 매우 많아 실시간 처리가 어려운 문제가 있다.
참고문헌 [7] 방식은 참고문헌 [6] 방식의 연산량을 줄이기 위하여 YCbCr 영상에서 휘도신호 Y를 Retinex 처리하여 구한 전송률을 이용하여 야간영상의 밝기를 개선하고, 개선된 야간 영상과 green 채널을 이용한 joint-bilateral filter를 적용하여 잡음 제거를 수행한다. 하지만, Retinex 처리로 전송률을 구하는 과정에서 사용되는 파라미터를 입력 영상마다 실험적으로 구하여야 하고, Retinex 처리 과정에 매우 많은 연산량이 요구되므로 실시간 처리가 어려운 문제가 있다.
한국공개특허 제10-2010-0021952호.
[1] F. Drago, K. Myszkowski, T. Annen and N. Chiba, "Adaptive Logarithmic Mapping For Displaying High Contrast Scenes", Computer Graphics Forum, Volume 22, Issue 3, PP. 419??426, September 2003 [2] Limei Cai, Jiansheng Qian, Xuzhou, "Night Color Image Enhancement Using Fuzzy Set", 2nd International Congress on Image and Signal Processing 2009(CISP '09), PP. 1-4, Oct. 2009 [3] Jiaji Cheng, Xiafu Lv, Zhengxiang Xie "A Predicted Compensation Model of Human Vision System for Low-light Image", 3rd international Congress on Image and Signal Processing(CISP2010), PP. 605 ?? 609, Oct. 2010 [4] Li Tao, Hau Ngo, Ming Zhang, Livingston, "A Multi-sensor Image Fusion and Enhancement System for Assisting Drivers in Poor Lighting Conditions", 34th Applied Imagery and Pattern Recognition Workshop, PP. 108 ?? 113, Dec. 2005 [5] Hau Ngo, Li Tao, A. Livingston, "A Visibility Improvement System for Low Vision Drivers by Nonlinear Enhancement of Fused Visible and Infrared Video", Computer Vision and Pattern Recognition (CVPR) Workshops 2005, June 2005 [6] Xuan Dong, Guan Wang, Yi Pang, Weixin Li, Jiangtao Wen, Wei Meng, and Yao Lu, "A Fast Efficient Algorithm for Enhancement of Low-Lighting Video," in Proc. ICME, pp.1-6, Barcelona, Spain, July 2011. [7] Xiangdong Zhang, Peiyi Shen, Lingli Luo, Liang Zhang, Juan Song, "Enhancement and Noise Reduction of Very Low Light Level Images," in Proc. ICPR, pp.2034-2037, Tsukuba, Japan, Nov. 2012. [8] Kaiming He, Jian Sun, Xiaoou Tang, "Single Image Haze Removal Using Dark Channel Prior", IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), Vol 33, Issue 12, PP. 2341 ?? 2353, Dec. 2011
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 야간영상과 같이 가시성이 낮은 어두운 영상을 실시간으로 가시성이 향상된 영상을 제공하는 장치를 제공함에 그 목적이 있다.
구체적으로, 기존 야간영상 개선 방법들 [1]-[3]은 단순히 어두운 영역의 밝기를 확장하는 밝기변환 곡선을 사용하므로 밝은 영상이 입력될 경우 영상의 명암대비가 크게 감소하고 경우에 따라 영상이 훼손되는 문제가 있다. 안개제거 방법을 사용하는 개선된 방법들은 반전영상에 사용되는 안개제거 방법이 큰 크기의 필터를 사용하므로 후광효과가 나타나고 매우 많은 연산량이 요구되어 실시간 처리가 어려운 문제가 있다. 또한, 이 방법들은 입력영상의 R, G, B 각 성분을 이용하는데, 현재 대부분의 멀티미디어 시스템에서 사용되는 색좌표계는 RGB 좌표계가 아닌 YCbCr 색좌표계를 사용하므로 기존 방식을 적용하기 위해서는 색좌표계 변환 처리가 요구되고, 각 R, G, B 각 신호성분에 대해 독립적인 처리를 하기 때문에 색상 변화가 발생한다.
본 발명에서는 기존 방식에서 발생하는 문제를 해결하기 위하여, 입력 휘도신호로부터 가시성이 향상된 영상을 구하는 추정모델을 산출하고, 상기 추정모델로부터 가시성이 향상된 영상을 구한다. 본 발명에서 제안한 방식은 필터를 사용하지 않고 화소단위의 연산만을 사용하므로 기존 방법에서 나타나는 후광효과와 많은 연산량 문제를 해결할 수 있으며, 영상의 선명도를 높일 수 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치에 관한 것으로서, 야간영상의 입력 휘도신호를 반전처리하여, 반전 휘도신호를 구하는 휘도신호 반전 처리부; 밝기변환 모델을 이용하여, 반전된 휘도신호를 어두운 영상영역의 밝기가 향상된 영상으로 변환하는 밝기변환 모델 처리부; 및 상기 밝기변환 모델 처리부를 통해 밝기가 향상된 휘도신호에 대하여, 후처리를 수행하는 후처리부; 를 포함한다.
또한 상기 휘도신호 반전 처리부는, 최대 밝기값에서 야간영상의 입력 휘도신호를 뺌으로써, 반전 휘도신호로 변환하는 것을 특징으로 한다.
또한 상기 밝기변환 모델 처리부는, 화소단위로 변환된 밝기값을 산출하는 2차 방정식의 근을 이용하는 밝기변환 모델을 통해, 반전 휘도신호를 가시성이 향상된 휘도신호로 변환하는 것을 특징으로 한다.
또한 상기 후처리부는, 상기 밝기변환 모델 처리부를 통해 출력된 휘도신호에 대하여, 명암대비 향상 처리를 수행하여, 최종적으로 가시성이 향상된 휘도신호를 출력하는 것을 특징으로 한다.
또한 야간영상의 입력 휘도신호와, 상기 후처리부로부터 입력된 휘도신호, 그리고 색차신호를 이용하여 채도가 향상된 컬러신호를 출력하는 컬러 증폭부; 를 포함하는 것을 특징으로 한다.
그리고 상기 컬러 증폭부는, 입력된 색차신호와, 상기 휘도신호 반전 처리부로부터 입력된 야간영상의 입력 휘도신호 및 상기 후처리부로부터 입력된 휘도신호의 비율을 곱하여 채도가 향상된 컬러신호를 출력하는 것을 특징으로 한다.
한편, 본 발명은 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치에 관한 것으로서, 야간영상의 입력 휘도신호를 반전처리하여, 반전 휘도신호를 구하는 휘도신호 반전 처리부; 반전 휘도신호의 추정치를 구하는 밝기변환 모델 처리부; 상기 밝기변환 모델 처리부를 통해 구한 반전 휘도신호의 추정치와, 반전 휘도신호 및 최대 밝기값을 이용하여 전달률 추정치를 구하는 전달률 추정부; 상기 전달률 추정부를 통해 구한 전달률 추정치에 대해 평활화 처리를 수행하여, 변형된 전달률을 출력하는 전달률 변형부; 변형된 전달률과, 휘도신호 반전 처리부를 통해 출력된 반전 휘도신호 및 최대 밝기값을 이용하여, 가시성이 향상된 반전영상을 구하는 가시성 향상 처리부; 및 가시성이 향상된 반전영상에 대하여, 후처리를 수행하는 후처리부; 를 포함한다.
또한 상기 휘도신호 반전 처리부는, 최대 밝기값에서 야간영상의 입력 휘도신호를 뺌으로써, 반전 휘도신호로 변환하는 것을 특징으로 한다.
또한 상기 밝기변환 모델 처리부는, 화소단위로 변환된 밝기값을 산출하는 2차 방정식의 근을 이용하는 밝기변환 모델을 통해, 반전 휘도신호의 추정치를 구하는 것을 특징으로 한다.
또한 상기 전달률 추정부는, 상기 밝기변환 모델 처리부를 통해 구한 반전 휘도신호의 추정치와, 반전 휘도신호 및 최대 밝기값을 이용하여 전달률 추정치를 구하는 것을 특징으로 한다.
또한 상기 가시성 향상 처리부는, 변형된 전달률과, 상기 휘도신호 반전 처리부를 통해 출력된 반전 휘도신호 및 최대 밝기값을 이용하여, 가시성이 향상된 반전영상을 구하는 것을 특징으로 한다.
또한 상기 후처리부는, 상기 가시성 향상 처리부를 통해 출력된 가시성이 향상된 반전영상을 재반전시키고, 명암대비 향상 처리 등을 수행하여, 최종적으로 가시성이 향상된 휘도신호를 출력하는 것을 특징으로 한다.
또한 야간영상의 입력 휘도신호와, 상기 후처리부로부터 입력된 휘도신호, 그리고 색차신호를 이용하여 채도가 향상된 컬러신호를 출력하는 컬러 증폭부; 를 포함하는 것을 특징으로 한다.
그리고 상기 컬러 증폭부는, 입력된 색차신호와, 야간영상의 입력 휘도신호및 후처리부를 통해 출력된 휘도신호의 비율을 곱하여 채도가 향상된 컬러신호를 출력하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 카메라 센서를 통해 촬영된 가시성이 낮은 야간영상에 적용하여 가시성을 높일 수 있다. 또한, 연산량이 매우 적고 화소단위의 처리를 수행하므로 적은 메모리와 저성능의 임베디드 프로세서로도 쉽게 구현할 수 있어, 실시간 처리를 요구하는 고화질 감시시스템, 차량용 영상 블랙박스, 차량용 전장카메라 모듈, 군사용 카메라 등 일반 가시광 카메라를 사용하는 모든 카메라 모듈에 적용이 용이한 장점이 있다.
특히, 휘도와 색차신호 영역에서 처리가 가능하므로 YCbCr 색좌표계를 사용하는 일반 카메라나 멀티미디어시스템에 적용이 용이하고, 입력컬러의 색상이 변하는 기존 방법들의 문제를 해결할 수 있다.
그리고, 저연산 처리를 수행하면서도 가시성 향상 성능이 매우 우수할 뿐만 아니라, 밝은 영상에 적용하여도 두드러진 화질 열화를 나타내지 않는 효과가 있다.
도 1 은 본 발명에 따른 휘도신호의 밝기변환 모델을 나타낸 일예시도.
도 2 는 본 발명의 제 1 실시예에 따른 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치에 관한 전체 구성도.
도 3 은 본 발명의 제 2 실시예에 따른 야간영상의 가시성 향상과 함께 에지를 강조하여 영상 선명도를 향상시킬 수 있는, 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치에 관한 전체 구성도.
도 4 및 도 5 는 본 발명에 따른 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치의 시뮬레이션 결과를 보이는 일예시도.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
본 발명에 따른 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치에 관하여 도 1 내지 도 5 를 참조하여 설명하면 다음과 같다.
반전된 휘도신호는 안개낀 영상과 유사한 밝기 분포를 갖는다. 따라서 반전된 야간영상은 안개영상의 모델을 이용하면 [수식 1] 과 같이 표현할 수 있다.
[수식 1]
Figure 112014006054914-pat00001
여기서,
Figure 112014006054914-pat00002
는 카메라를 통해 획득된 야간 영상의
Figure 112014006054914-pat00003
번째 화소의 휘도성분을 반전시킨 밝기값이고,
Figure 112014006054914-pat00004
는 밝기가 개선된 깨끗한 영상의
Figure 112014006054914-pat00005
번째 화소값을 반전시킨 밝기값이며,
Figure 112014006054914-pat00006
는 반전 휘도신호에서 가장 밝은 화소값이며,
Figure 112014006054914-pat00007
는 전달률(transmission rate)으로써 영상의 가시성 정도를 나타낸다.
따라서, 야간영상의 가시성 향상은 카메라로부터 얻은 입력 휘도신호
Figure 112014006054914-pat00008
로부터
Figure 112014006054914-pat00009
와
Figure 112014006054914-pat00010
를 구하고, 이를 이용하여 최종적으로 가시성이 향상된
Figure 112014006054914-pat00011
를 복원하는 것이다.
[수식 1] 로부터 전달률
Figure 112014006054914-pat00012
와 복원 화소의 휘도신호의 밝기값
Figure 112014006054914-pat00013
는 각각 [수식 2] 와 [수식 3] 으로 구할 수 있다.
[수식 2]
Figure 112014006054914-pat00014
[수식 3]
Figure 112014006054914-pat00015

본 발명에서는
Figure 112014006054914-pat00016
를 입력 휘도신호에서 표현 가능한 최대 밝기값으로 설정하고, 전달률은 [수식 4] 로 가정한다.
[수식 4]
Figure 112014006054914-pat00017
[수식 4] 의 전달률의 추정치
Figure 112014006054914-pat00018
를 [수식 3] 에 대입하면, [수식 5] 와 같은 가시성이 향상된 휘도신호의 추정치
Figure 112014006054914-pat00019
를 입력 야간영상의 반전된 휘도신호의 화소값
Figure 112014006054914-pat00020
에 대한 2차 방정식의 해를 [수식 5] 와 같이 계산하여 구할 수 있다.
[수식 5]
Figure 112014006054914-pat00021
도 1 은 [수식 5] 의 휘도신호의 밝기변환 모델을 나타낸 것으로, 파라미터
Figure 112014006054914-pat00022
의 변화에 따른 밝기 변환 관계를 보여준다. 파라미터
Figure 112014006054914-pat00023
가 1에 가까울수록 어두운 영상의 밝기개선 효과가 높음을 알 수 있다.
도 2 는 본 발명의 제 1 실시예에 따른 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치(100)에 관한 전체 구성도로서, 도시된 바와 같이 휘도신호 반전 처리부(110), 밝기변환 모델 처리부(120), 후처리부(130) 및 컬러 증폭부(140)를 포함하여 이루어진다.
휘도신호 반전 처리부(110)는 카메라를 통해 촬영된 야간영상의 입력 휘도신호(
Figure 112014006054914-pat00024
)를 반전처리하여, 반전 휘도신호(
Figure 112014006054914-pat00025
)를 구한다.
구체적으로, 휘도신호 반전 처리부(110)는 최대 밝기값(
Figure 112014006054914-pat00026
)에서 카메라를 통해 촬영된 야간영상의 입력 휘도신호(
Figure 112014006054914-pat00027
)를 뺌으로써, 반전 휘도신호(
Figure 112014006054914-pat00028
)로 변환한다. 즉, 이러한 반전 처리는,
Figure 112014006054914-pat00029
=
Figure 112014006054914-pat00030
-
Figure 112014006054914-pat00031
연산으로 표현 가능한 최대 밝기값(
Figure 112014006054914-pat00032
)에서 입력 휘도신호(
Figure 112014006054914-pat00033
)를 빼는 처리를 의미한다.
밝기변환 모델 처리부(120)는 밝기변환 모델을 이용하여, 반전된 휘도신호(
Figure 112014006054914-pat00034
)를 어두운 영상영역의 밝기가 향상된 영상으로 변환한다.
구체적으로, 밝기변환 모델 처리부(120)는 화소단위로 변환된 밝기값을 산출하는 2차 방정식의 근을 이용하는 상기 [수식 5] 의 밝기변환 모델을 통해, 반전 휘도신호(
Figure 112014006054914-pat00035
)를 어두운 영상영역의 밝기가 향상된, 즉 가시성이 향상된 휘도신호(
Figure 112014006054914-pat00036
)로 변환한다.
[수식 5]
Figure 112014006054914-pat00037
여기서, 밝기변환 모델 처리부(120)는 상술한 바와 같이, 상기 [수식 5] 의 연산을 통해 처리할 수도 있으나, 본 발명이 이에 한정되지 않는 바, 보다 빠른 연산을 위해, 입력 밝기값에 대응하는 밝기 변환된 밝기값을 미리 계산하여 메모리에 기억시키고, 입력값이 어드레스로 사용하여 메모리에 기억된 값을 출력시키는 룩업테이블(LUT: Look UP Table)을 구성하여 휘도신호로 변환할 수도 있다.
후처리부(130)는 밝기가 향상된 휘도신호(
Figure 112014006054914-pat00038
)에 대하여, 후처리를 수행한다.
구체적으로, 후처리부(130)는 밝기변환 모델 처리부(120)를 통해 출력된 휘도신호(
Figure 112014006054914-pat00039
)에 대하여, 명암대비 향상 처리 등을 수행하여, 최종적으로 가시성이 향상된 휘도신호(
Figure 112014006054914-pat00040
)를 출력한다.
컬러 증폭부(140)는 야간영상의 입력 휘도신호(
Figure 112014006054914-pat00041
)와, 후처리부(130)로부터 입력된 휘도신호(
Figure 112014006054914-pat00042
), 그리고 색차신호(Cbinp, Crinp)를 이용하여 채도가 향상된 컬러신호를 출력한다.
구체적으로, 컬러 증폭부(140)는 [수식 6] 과 같이, 입력된 색차신호(Cbinp, Crinp)와, 휘도신호 반전 처리부(110)로부터 입력된 야간영상의 입력 휘도신호(
Figure 112014006054914-pat00043
) 및 후처리부(130)로부터 입력된 휘도신호(
Figure 112014006054914-pat00044
)의 비율을 곱하여 채도가 향상된 컬러신호(Cbout, Crout)를 출력한다.
[수식 6]
Figure 112014006054914-pat00045
여기서, k는 1보다 큰 사용자 변수로서, k=1인 경우, 입력과 동일한 컬러채도를 유지하는 것이고, k>1인 경우, 출력영상의 컬러의 채도가 입력영상의 컬러채도보다 높게 된다.
도 3 은 본 발명의 제 2 실시예에 따른 야간영상의 가시성 향상과 함께 에지를 강조하여 영상 선명도를 향상시킬 수 있는, 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치(200)에 관한 전체 구성도로서, 도시된 바와 같이 휘도신호 반전 처리부(210), 밝기변환 모델 처리부(220), 전달률 추정부(230), 전달률 변형부(240), 가시성 향상 처리부(250), 후처리부(260) 및 컬러 증폭부(270)를 포함하여 이루어진다.
휘도신호 반전 처리부(210)는 카메라를 통해 촬영된 야간영상의 입력 휘도신호(
Figure 112014006054914-pat00046
)를 반전처리하여, 반전 휘도신호(
Figure 112014006054914-pat00047
)를 구한다.
더욱 구체적으로, 휘도신호 반전 처리부(210)는 최대 밝기값(
Figure 112014006054914-pat00048
)에서 카메라를 통해 촬영된 야간영상의 입력 휘도신호(
Figure 112014006054914-pat00049
)를 뺌으로써, 반전 휘도신호(
Figure 112014006054914-pat00050
)로 변환한다.
밝기변환 모델 처리부(220)는 반전 휘도신호(
Figure 112014006054914-pat00051
)의 추정치(
Figure 112014006054914-pat00052
)를 구한다.
구체적으로, 밝기변환 모델 처리부(220)는 화소단위로 변환된 밝기값을 산출하는 2차 방정식의 근을 이용하는 [수식 7] 의 밝기변환 모델을 통해, 반전 휘도신호(
Figure 112014006054914-pat00053
)의 추정치(
Figure 112014006054914-pat00054
)를 구한다.
[수식 7]
Figure 112014006054914-pat00055

전달률 추정부(230)는 [수식 8] 과 같이, 밝기변환 모델 처리부(220)를 통해 구한 반전 휘도신호의 추정치(
Figure 112014006054914-pat00056
)와, 반전 휘도신호(
Figure 112014006054914-pat00057
) 및 최대 밝기값(
Figure 112014006054914-pat00058
)을 이용하여 전달률 추정치를 구한다.
[수식 8]
Figure 112014006054914-pat00059

전달률 변형부(240)는 전달률 추정부(230)를 통해 구한 전달률 추정치(
Figure 112014006054914-pat00060
)에 대해 평활화 처리 등을 수행하여, 변형된 전달률(
Figure 112014006054914-pat00061
)을 출력한다.
가시성 향상 처리부(250)는 상기 [수식 3] 과 같이, 변형된 전달률(
Figure 112014006054914-pat00062
)과, 휘도신호 반전 처리부(210)를 통해 출력된 반전 휘도신호(
Figure 112014006054914-pat00063
) 및 최대 밝기값(
Figure 112014006054914-pat00064
)을 이용하여, 가시성이 향상된 반전영상(
Figure 112014006054914-pat00065
)을 구한다.
[수식 3]
Figure 112014006054914-pat00066

후처리부(260)는 가시성이 향상된 반전영상(
Figure 112014006054914-pat00067
)에 대하여, 후처리를 수행한다.
구체적으로, 후처리부(260)는 가시성 향상 처리부(250)를 통해 출력된 가시성이 향상된 반전영상(
Figure 112014006054914-pat00068
)을 재반전시키고, 명암대비 향상 처리 등을 수행하여, 최종적으로 가시성이 향상된 휘도신호(
Figure 112014006054914-pat00069
)를 출력한다.
한편, 밝기변환 모델 처리부(220), 전달률 추정부(230) 및 가시성 향상 처리부(250)는, 상술한 [수식 7], [수식 8] 및 [수식 3] 의 연산을 통해 처리할 수도 있으나, 보다 빠른 연산을 위해, 입력에 대응하는 출력을 미리 계산하여 메모리에 기억시키고 입력값을 어드레스(address)로 사용하여 메모리에 기억된 값을 출력시키는 LUT(Look UP Table)로 구성할 수 있다.
컬러 증폭부(270)는 야간영상의 입력 휘도신호(
Figure 112014006054914-pat00070
)와, 후처리부(260)를 통해 출력된 휘도신호(
Figure 112014006054914-pat00071
), 그리고 색차신호(Cbinp, Crinp)를 이용하여 채도가 향상된 컬러신호(Cbout, Crout)를 출력한다.
구체적으로, 컬러 증폭부(270)는 상기 [수식 6] 과 같이, 입력된 색차신호(Cbinp, Crinp)와, 야간영상의 입력 휘도신호(
Figure 112014006054914-pat00072
) 및 후처리부(260)를 통해 출력된 휘도신호(
Figure 112014006054914-pat00073
)의 비율을 곱하여 채도가 향상된 컬러신호(Cbout, Crout)를 출력한다.
[수식 6]
Figure 112014006054914-pat00074
여기서, k는 1보다 큰 사용자 변수로서, k=1인 경우, 입력과 동일한 컬러채도를 유지하는 것이고, k>1인 경우, 출력영상의 컬러의 채도가 입력영상의 컬러채도보다 높게 된다.
도 4 및 도 5 는 본 발명에 따른 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치의 시뮬레이션 결과를 보이는 일예시도로서, 도시된 바와 같이 (a) 는 입력 야간영상이며, (b) 는 본 발명의 제 1 실시예에 따른 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치를 적용한 결과를 보이는 일예시도이며, (c) 는 본 발명의 제 2 실시예에 따른 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치를 적용한 결과를 보이는 일예시도이다.
(a) 는 조도가 낮은 환경에서 촬영되어 가시성이 매우 낮아 물체의 구별이 어렵다. (b) 는 밝기변환에 의해 물체의 구별을 정확히 할 수 있을 정도로 가시성이 향상되었음을 알 수 있다. (c) 는 야간 영상 향상 및 선명도 향상 결과 역시 물체 구별이 정확히 될 정도로 가시성이 향상되었을 뿐만 아니라, 에지가 강조되어 보다 선명한 영상을 제공함을 알 수 있다.
그리고, 본 발명에 따른 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치를 통해, 컬러의 채도가 적절히 증가하여 보다 선명한 컬러를 제공함을 보여준다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
110: 휘도신호 반전 처리부 120: 밝기변환 모델 처리부
130: 후처리부 140: 컬러 증폭부
210: 휘도신호 반전 처리부 220: 밝기변환 모델 처리부
230: 전달률 추정부 240: 전달률 변형부
250: 가시성 향상 처리부 260: 후처리부
270: 컬러 증폭부

Claims (14)

  1. 야간영상의 입력 휘도신호를 반전처리하여, 반전 휘도신호를 구하는 휘도신호 반전 처리부;
    밝기변환 모델을 이용하여, 반전된 휘도신호를 어두운 영상영역의 밝기가 향상된 영상으로 변환하는 밝기변환 모델 처리부; 및
    상기 밝기변환 모델 처리부를 통해 밝기가 향상된 휘도신호에 대하여, 후처리를 수행하는 후처리부; 를 포함하되,
    상기 후처리부는, 상기 밝기변환 모델 처리부를 통해 출력된 휘도신호(
    Figure 112015010977880-pat00115
    )에 대하여, 명암대비 향상 처리를 수행하여, 최종적으로 가시성이 향상된 휘도신호(
    Figure 112015010977880-pat00116
    )를 출력하는 것을 특징으로 하는 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치.
  2. 제 1 항에 있어서,
    상기 휘도신호 반전 처리부는,
    최대 밝기값(
    Figure 112014006054914-pat00075
    )에서 야간영상의 입력 휘도신호(
    Figure 112014006054914-pat00076
    )를 뺌으로써, 반전 휘도신호(
    Figure 112014006054914-pat00077
    )로 변환하는 것을 특징으로 하는 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치.
  3. 제 1 항에 있어서,
    상기 밝기변환 모델 처리부는,
    화소단위로 변환된 밝기값을 산출하는 2차 방정식의 근을 이용하는 [수식 5] 의 밝기변환 모델을 통해, 반전 휘도신호(
    Figure 112014006054914-pat00078
    )를 가시성이 향상된 휘도신호(
    Figure 112014006054914-pat00079
    )로 변환하는 것을 특징으로 하는 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치.
    [수식 5]
    Figure 112014006054914-pat00080
  4. 삭제
  5. 제 1 항에 있어서,
    야간영상의 입력 휘도신호(
    Figure 112014006054914-pat00083
    )와, 상기 후처리부로부터 입력된 휘도신호(
    Figure 112014006054914-pat00084
    ), 그리고 색차신호(Cbinp, Crinp)를 이용하여 채도가 향상된 컬러신호를 출력하는 컬러 증폭부; 를 포함하는 것을 특징으로 하는 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치.
  6. 제 5 항에 있어서,
    상기 컬러 증폭부는,
    [수식 6] 과 같이, 입력된 색차신호(Cbinp, Crinp)와, 상기 휘도신호 반전 처리부로부터 입력된 야간영상의 입력 휘도신호(
    Figure 112014006054914-pat00085
    ) 및 상기 후처리부로부터 입력된 휘도신호(
    Figure 112014006054914-pat00086
    )의 비율을 곱하여 채도가 향상된 컬러신호(Cbout, Crout)를 출력하는 것을 특징으로 하는 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치.
    [수식 6]
    Figure 112014006054914-pat00087

    여기서, k는 1보다 큰 사용자 변수.
  7. 야간영상의 입력 휘도신호를 반전처리하여, 반전 휘도신호를 구하는 휘도신호 반전 처리부;
    반전 휘도신호의 추정치를 구하는 밝기변환 모델 처리부;
    상기 밝기변환 모델 처리부를 통해 구한 반전 휘도신호의 추정치와, 반전 휘도신호 및 최대 밝기값을 이용하여 전달률 추정치를 구하는 전달률 추정부;
    상기 전달률 추정부를 통해 구한 전달률 추정치에 대해 평활화 처리를 수행하여, 변형된 전달률을 출력하는 전달률 변형부;
    변형된 전달률과, 휘도신호 반전 처리부를 통해 출력된 반전 휘도신호 및 최대 밝기값을 이용하여, 가시성이 향상된 반전영상을 구하는 가시성 향상 처리부; 및
    가시성이 향상된 반전영상에 대하여, 후처리를 수행하는 후처리부; 를 포함하되,
    상기 후처리부는, 상기 가시성 향상 처리부를 통해 출력된 가시성이 향상된 반전영상(
    Figure 112015010977880-pat00117
    )을 재반전시키고, 명암대비 향상 처리를 수행하여, 최종적으로 가시성이 향상된 휘도신호(
    Figure 112015010977880-pat00118
    )를 출력하는 것을 특징으로 하는 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치.
  8. 제 7 항에 있어서,
    상기 휘도신호 반전 처리부는,
    최대 밝기값(
    Figure 112014006054914-pat00088
    )에서 야간영상의 입력 휘도신호(
    Figure 112014006054914-pat00089
    )를 뺌으로써, 반전 휘도신호(
    Figure 112014006054914-pat00090
    )로 변환하는 것을 특징으로 하는 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치.
  9. 제 7 항에 있어서,
    상기 밝기변환 모델 처리부는,
    화소단위로 변환된 밝기값을 산출하는 2차 방정식의 근을 이용하는 [수식 7] 의 밝기변환 모델을 통해, 반전 휘도신호(
    Figure 112014006054914-pat00091
    )의 추정치(
    Figure 112014006054914-pat00092
    )를 구하는 것을 특징으로 하는 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치.
    [수식 7]
    Figure 112014006054914-pat00093

  10. 제 7 항에 있어서,
    상기 전달률 추정부는,
    [수식 8] 과 같이, 상기 밝기변환 모델 처리부를 통해 구한 반전 휘도신호의 추정치(
    Figure 112014006054914-pat00094
    )와, 반전 휘도신호(
    Figure 112014006054914-pat00095
    ) 및 최대 밝기값(
    Figure 112014006054914-pat00096
    )을 이용하여 전달률 추정치를 구하는 것을 특징으로 하는 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치.
    [수식 8]
    Figure 112014006054914-pat00097

  11. 제 7 항에 있어서,
    상기 가시성 향상 처리부는,
    [수식 3] 과 같이, 변형된 전달률(
    Figure 112014006054914-pat00098
    )과, 상기 휘도신호 반전 처리부를 통해 출력된 반전 휘도신호(
    Figure 112014006054914-pat00099
    ) 및 최대 밝기값(
    Figure 112014006054914-pat00100
    )을 이용하여, 가시성이 향상된 반전영상(
    Figure 112014006054914-pat00101
    )을 구하는 것을 특징으로 하는 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치.
    [수식 3]
    Figure 112014006054914-pat00102

  12. 삭제
  13. 제 7 항에 있어서,
    야간영상의 입력 휘도신호(
    Figure 112014006054914-pat00105
    )와, 상기 후처리부로부터 입력된 휘도신호(
    Figure 112014006054914-pat00106
    ), 그리고 색차신호(Cbinp, Crinp)를 이용하여 채도가 향상된 컬러신호를 출력하는 컬러 증폭부; 를 포함하는 것을 특징으로 하는 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치.
  14. 제 13 항에 있어서,
    상기 컬러 증폭부는,
    [수식 6] 과 같이, 입력된 색차신호(Cbinp, Crinp)와, 야간영상의 입력 휘도신호(
    Figure 112014006054914-pat00107
    ) 및 후처리부를 통해 출력된 휘도신호(
    Figure 112014006054914-pat00108
    )의 비율을 곱하여 채도가 향상된 컬러신호(Cbout, Crout)를 출력하는 것을 특징으로 하는 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치.
    [수식 6]
    Figure 112014006054914-pat00109

    여기서, k는 1보다 큰 사용자 변수.
KR1020140007101A 2014-01-21 2014-01-21 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치 KR101535630B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140007101A KR101535630B1 (ko) 2014-01-21 2014-01-21 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140007101A KR101535630B1 (ko) 2014-01-21 2014-01-21 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치

Publications (1)

Publication Number Publication Date
KR101535630B1 true KR101535630B1 (ko) 2015-07-13

Family

ID=53793033

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140007101A KR101535630B1 (ko) 2014-01-21 2014-01-21 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치

Country Status (1)

Country Link
KR (1) KR101535630B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180075753A (ko) * 2016-12-26 2018-07-05 전남대학교산학협력단 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템
KR101917094B1 (ko) * 2017-08-29 2018-11-09 전남대학교산학협력단 매핑테이블을 이용한 고속 스모그/저조도 영상 개선 방법 및 장치
CN112767392A (zh) * 2021-03-02 2021-05-07 百果园技术(新加坡)有限公司 图像清晰度确定方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001467A1 (ja) * 2007-06-28 2008-12-31 Fujitsu Limited 低照度環境における撮影画像の明るさを改善する電子機器
KR101328741B1 (ko) * 2012-01-03 2013-11-11 중앙대학교 산학협력단 색상 채널을 이용한 영상 개선 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001467A1 (ja) * 2007-06-28 2008-12-31 Fujitsu Limited 低照度環境における撮影画像の明るさを改善する電子機器
KR101328741B1 (ko) * 2012-01-03 2013-11-11 중앙대학교 산학협력단 색상 채널을 이용한 영상 개선 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
대한전자공학회 하계학술대회 제36권 1호 "단일 영상에서의 전달률의 하한치를 이용한 실시간 안개영상 개선 방법", 2013.7, 930-933(4page) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180075753A (ko) * 2016-12-26 2018-07-05 전남대학교산학협력단 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템
KR101881883B1 (ko) * 2016-12-26 2018-08-27 전남대학교산학협력단 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템
KR101917094B1 (ko) * 2017-08-29 2018-11-09 전남대학교산학협력단 매핑테이블을 이용한 고속 스모그/저조도 영상 개선 방법 및 장치
US10609303B2 (en) 2017-08-29 2020-03-31 Industry Foundation Of Chonnam National University Method and apparatus for rapid improvement of smog/low-light-level image using mapping table
CN112767392A (zh) * 2021-03-02 2021-05-07 百果园技术(新加坡)有限公司 图像清晰度确定方法、装置、设备及存储介质
CN112767392B (zh) * 2021-03-02 2024-04-09 百果园技术(新加坡)有限公司 图像清晰度确定方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
KR101756173B1 (ko) 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법
CN102750674B (zh) 基于自适应容差的视频图像去雾方法
Xu et al. Removing rain and snow in a single image using guided filter
US9361670B2 (en) Method and system for image haze removal based on hybrid dark channel prior
US10424054B2 (en) Low-illumination image processing method and device
CN103218778B (zh) 一种图像和视频的处理方法及装置
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
CN102831591B (zh) 一种基于高斯滤波的单幅图像的实时去雾方法
KR101470831B1 (ko) 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치
Chen et al. An advanced visibility restoration algorithm for single hazy images
Guo et al. Image dehazing based on haziness analysis
CN103914820A (zh) 一种基于图像分层增强的图像去雾方法及***
KR101881883B1 (ko) 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템
KR101535630B1 (ko) 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치
Choi et al. Fog detection for de-fogging of road driving images
CN113344820B (zh) 图像处理方法及装置、计算机可读介质、电子设备
CN110992287B (zh) 一种非均匀光照视频的清晰化方法
Tao et al. Improved Retinex for low illumination image enhancement of nighttime traffic
Jeong et al. Fast fog detection for de-fogging of road driving images
Son et al. Fusion method of visible and infrared images in foggy environment
Negru et al. Exponential image enhancement in daytime fog conditions
KR102439145B1 (ko) 단일 스케일 영상 융합에 기반한 자동 안개 제거 시스템 및 방법
Senthamilarasu et al. A new approach for removing haze from images
Ma et al. Video image clarity algorithm research of USV visual system under the sea fog
Jeong et al. Fog detection and fog synthesis for effective quantitative evaluation of fog–detection-and-removal algorithms

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181105

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190618

Year of fee payment: 5