KR102016838B1 - 안개 제거를 위한 영상처리장치 - Google Patents

Abstract

본 발명은 영상에 포함된 안개를 제거하여 선명한 영상을 얻기 위한 영상처리장치에 관한 것이다. 일 실시예에 따른 안개 제거를 위한 영상처리장치는, 영상을 촬영하는 카메라, 상기 카메라에 의해 촬영된 영상에 포함된 안개를 제거하는 제어유닛 및 상기 제어유닛에서 안개가 제거된 영상을 출력하는 디스플레이부를 포함하고, 상기 제어유닛은, 상기 카메라에서 촬영된 영상의 각각의 픽셀의 R,G,B 값 중 가장 작은 값을 찾고, 그 중 가장 큰 값이 대기광으로 입력된다.

Description

안개 제거를 위한 영상처리장치{Image processing apparatus for dehazing}

본 발명은 영상에 포함된 안개를 제거하여 선명한 영상을 얻기 위한 영상처리장치에 관한 것이다.

안개란 대기 중의 수증기가 응결된 형태의 물방울로 떠있는 현상이다. 안개가 끼었을 때 대기 중에 물방울 입자들이 생기고, 이 물방울 입자들로 인한 빛의 산란 현상이 발생한다. 산란의 정도는 빛의 파장과 입자 크기에 따라 다르다. 물방울과 같이 산란의 원인이 되는 입자의 크기가 클 때에는 산란의 양이 파장의 영향을 적게 받아서 가시광선 영역의 모든 빛을 거의 동일하게 산란시킨다.

이러한 산란효과에 의해 안개가 끼었을 때에는 물체들이 뿌옇게 보이게 된다. 안개가 발생한 경우, 자동차의 주행 중에는 운전자의 시야가 제대로 확보되지 않아 사고가 발생할 위험이 증가하게 된다. 따라서 보조장치를 이용하여 운전자의 시야를 개선해줄 수 있다면 운전자의 시야 방해에 의한 사고 발생률을 감소시킬 수 있을 것으로 기대된다.

안개가 있는 경우, 카메라에 의해 촬영된 영상은 안개에 의해 그 객체가 선명하게 보이지 않는다. 따라서 촬영된 객체가 선명하게 보이도록 하기 위해서는 영상에서 안개를 제거하는 영상처리작업을 거칠 필요가 있다.

본 발명의 일 실시예에 따르면, 운전자의 시야 방해 요소인 안개를 제거한 영상을 운전자에게 제공하는 영상처리장치를 제공할 수 있다.

또한, 대기광을 찾는 알고리즘이 개선되고 정보처리속도를 높인 영상처리장치를 제공할 수 있다.

일 실시예에 따른 안개 제거를 위한 영상처리장치는, 영상을 촬영하는 카메라, 상기 카메라에 의해 촬영된 영상에 포함된 안개를 제거하는 제어유닛 및 상기 제어유닛에서 안개가 제거된 영상을 출력하는 디스플레이부를 포함하고, 상기 제어유닛은, 상기 카메라에서 촬영된 영상의 각각의 픽셀의 R,G,B 값 중 가장 작은 값을 찾고, 그 중 가장 큰 값이 대기광으로 입력된다.

또한, 빛이 산란되지 않고 카메라에 전달되는 전달량(t(x))은

에 의해 계산된다.

또한, 상기 대기광은 촬영된 영상의 상단부에 위치한 픽셀의 R,G,B 값 중에서 입력된다.

또한, 상기 카메라에 의해 움직이는 객체가 촬영되는 경우, 상기 제어유닛에서 촬영된 영상의 안개가 제거되고, 상기 디스플레이부에는 움직이는 객체에 대한 영상이 실시간으로 출력된다.

본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치에 의하면, 운전자에게 안개가 제거된 선명한 영상을 제공함으로써 운전자의 시야를 확보하여 운전 중 사고발생의 위험을 줄일 수 있다.

또한, 정보처리속도를 높여 차량의 주행 중 실시간으로 영상처리가 가능하게 한다.

도 1 은 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치를 도시한 도면이다.
도 2 는 안개가 있는 도로의 영상에 관한 도면이다.
도 3은 도 2의 영상에서 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치에 의해 안개가 제거된 영상을 표시한 도면이다.

이하, 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치에 관하여 도면을 참조하여 상세히 설명한다.

도 1 은 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치를 도시한 도면이고, 도 2 는 안개가 있는 도로의 영상에 관한 도면이고, 도 3은 도 2의 영상에서 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치에 의해 안개가 제거된 영상을 표시한 도면이다.

도 1 내지 도 3을 참조하면, 일 실시예에 따른 안개 제거를 위한 영상처리장치(1)는, 영상을 촬영하기 위한 카메라(10), 카메라로부터 영상신호를 입력 받아 분석하는 제어유닛(20) 및 제어유닛(20)에서 처리된 결과를 표시하는 디스플레이부(30)를 포함한다. 안개 등에 의해 시야 확보가 힘든 경우, 운전자는 주행 중 영상처리장치(1)의 디스플레이부(30)에 표시되는 외부의 영상을 참고할 수 있다. 디스플레이부(30)에는 안개가 제거된 선명한 영상이 실시간으로 표시될 수 있다.

카메라(10)는 자동차에 설치되어 자동차의 외부 환경을 촬영할 수 있다. 안개가 발생한 날 운전자의 시야 확보를 위해 카메라(10)는 자동차의 전방 또는 후 방을 촬영하도록 위치될 수 있다. 그러나 카메라(10)의 촬영 위치는 상기 기재된 바에 한정되지 않는다. 자동차가 주행 중에 촬영된 영상과 운전자가 바라보는 외부 환경의 거리 차이를 최소한으로 유지하도록, 카메라의 초당 프레임수는 자동차의 주행 환경에 따라 적절히 선택될 수 있다. 일례로, 카메라(10)로는 TRDB-D5M 카메라 모듈이 사용될 수 있다.

카메라(10)에 의해 촬영된 외부 영상은 제어유닛(20)으로 전송될 수 있다. 제어유닛(20)은 FPGA(Field Programmable Gate Array)을 포함한다. FPGA 보드에는 카메라(10)와 디스플레이부(30)가 연결될 수 있다. 일례로, 제어유닛(20)에는 DE2-115 FPGA 보드가 사용될 수 있다. 또한, 일례로, 디스플레이부(30)는 7인치 VGA(Video Graphic Array) 디스플레이를 포함할 수 있다.

카메라(10)에 의해 촬영된 외부 영상은 제어유닛(20)으로 전송되고, 제어유닛(20)은 촬영된 영상에서 안개를 제거하는 작업을 한다. 안개가 제거된 선명한 영상은 디스플레이부(30)를 통해 출력된다. 운전자는 디스플레이부(30)에 표시된 선명한 외부 영상을 확인하고 안전하게 주행할 수 있다.

이하에서는, 제어유닛(20)에 의해 영상에서 안개가 제거되는 알고리즘에 관하여 설명한다.

안개가 있는 영상은 일반적으로 다음과 같은 수식으로 표현될 수 있다.

I(x) = J(x)t(x)+A(1-t(x))

여기서, I(x)는 안개 낀 영상, J(x)는 안개가 제거된 영상, t(x)는 빛이 안개에 산란되지 않고 카메라에 전달되는 전달량, A는 대기광을 의미한다.

안개가 제거된 영상인 J(x)는 결과로 도출할 값이다. 안개 낀 영상 I(x)은 카메라에 의해 촬영된 영상으로부터 입력받는 값이다. 그러나 전달량 t(x)와 전달량 A는 추정되어야 하는 값이다.

대기광 A를 추정하는 데에는 DCP(Dark Channel Prior)이라 불리는 알고리즘이 사용될 수 있다. DCP는 입력받은 영상에서 각각의 픽셀마다 R,G,B 값을 비교하여 가장 작은 값으로 하나의 채널을 형성한다.

종래에는 채널에 일정한 크기의 최소값 필터를 적용하여, 최소값 필터가 적용된 값 중에서 상위 0.1% 값들을 추출하고, 그 중 가장 큰 값을 갖는 위치의 픽셀의 R,G,B 값을 대기광으로 추정하였다.

그러나 본 발명의 경우, 필터를 사용하지 않고 각 픽셀의 R,G,B 값 중 가장 작은 값을 찾고 그 중 가장 큰 값을 대기광 A으로 정한다. 또한, 대기광 A은 촬영된 영상 전체에서 찾지 않고 영상의 상단부에서 찾도록 한다. 대기광 A를 이런 방식으로 추정하는 이유는 카메라(10)에 의해 촬영된 영상 중에 존재하는 흰색 물체, 예를 들어, 인근에 위치하는 흰색 자동차 등과 같은 흰색 물체가 대기광으로 오인되는 것을 방지하기 위한 것이다.

종래의 경우, 전달량 t(x)를 추정할 때에, 안개가 없는 영상 J(x)의 DCP가 0에 가깝다는 사실을 이용하여, 다음과 같이 안개 낀 영상에 관한 식을 변형하여 t(x)를 구했다.

상기와 같이 추정된 대기광 A와 전달량 t(x)을 이용하여 입력받은 안개 낀 영상 I(x)으로부터 안개가 제거된 영상 J(x)을 구할 수 있었다.

그러나 본 발명의 경우, 전달량 t(x)를 구할 때에도 필터를 사용하지 않고 다음과 같은 식을 사용한다.

필터가 없이, 상기와 같은 식에 의해 대기광 A, 전달량 t(x)를 구함으로써 계산을 간소화시켜 정보처리속도를 높일 수 있다. 빠른 정보처리속도에 의해 자동차가 주행 주인 경우에도 촬영된 영상이 실시간으로 처리되어 출력될 수 있다. 따라서 안개가 발생한 날에도 운전자는 주행 중 주변 환경의 모습을 실시간으로 확인하면서 안전하게 운전할 수 있다.

또한, 본 발명의 경우와 같이 대기광 A과 전달량 t(x)을 구하더라도, 종래의 방법에 의할 경우와 비슷한 안개 제거 효과를 나타내면서, 도 3과 같이, 영상이 자연스럽게 보일 수 있다.

이와 같이 처리된 영상은 디스플레이부(30)를 통해 출력될 수 있다. 운전자는 디스플레이부(30)에 표시된 안개가 제거된 영상을 통해 시야를 확보할 수 있고, 주행 중 발생할 수 있는 사고의 위험을 줄일 수 있다.

10: 카메라
20: 제어유닛
30: 디스플레이부

Claims (4)

1. 영상을 촬영하는 카메라;
   상기 카메라에 의해 촬영된 영상에 포함된 안개를 제거하는 제어유닛; 및
   상기 제어유닛에서 안개가 제거된 영상을 출력하는 디스플레이부;를 포함하고,
   상기 제어유닛은, 상기 카메라에서 촬영된 영상의 각각의 픽셀의 R,G,B 값 중 가장 작은 값을 찾고, 그 중 가장 큰 값이 대기광으로 입력되며, 상기 대기광은 촬영된 영상의 상단부에 위치한 픽셀의 R,G,B 값 중에서 입력되도록 구성되고,
   빛이 산란되지 않고 카메라에 전달되는 전달량(t(x))은

   

   에 의해 계산되는 안개 제거를 위한 영상처리장치.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 카메라에 의해 움직이는 객체가 촬영되는 경우, 상기 제어유닛에서 촬영된 영상의 안개가 제거되고, 상기 디스플레이부에는 움직이는 객체에 대한 영상이 실시간으로 출력되는 안개 제거를 위한 영상처리장치.

Images