KR102016838B1 - 안개 제거를 위한 영상처리장치 - Google Patents
안개 제거를 위한 영상처리장치 Download PDFInfo
- Publication number
- KR102016838B1 KR102016838B1 KR1020180011044A KR20180011044A KR102016838B1 KR 102016838 B1 KR102016838 B1 KR 102016838B1 KR 1020180011044 A KR1020180011044 A KR 1020180011044A KR 20180011044 A KR20180011044 A KR 20180011044A KR 102016838 B1 KR102016838 B1 KR 102016838B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- fog
- camera
- control unit
- processing apparatus
- Prior art date
Links
- 238000000149 argon plasma sintering Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G06T5/003—
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 영상에 포함된 안개를 제거하여 선명한 영상을 얻기 위한 영상처리장치에 관한 것이다. 일 실시예에 따른 안개 제거를 위한 영상처리장치는, 영상을 촬영하는 카메라, 상기 카메라에 의해 촬영된 영상에 포함된 안개를 제거하는 제어유닛 및 상기 제어유닛에서 안개가 제거된 영상을 출력하는 디스플레이부를 포함하고, 상기 제어유닛은, 상기 카메라에서 촬영된 영상의 각각의 픽셀의 R,G,B 값 중 가장 작은 값을 찾고, 그 중 가장 큰 값이 대기광으로 입력된다.
Description
본 발명은 영상에 포함된 안개를 제거하여 선명한 영상을 얻기 위한 영상처리장치에 관한 것이다.
안개란 대기 중의 수증기가 응결된 형태의 물방울로 떠있는 현상이다. 안개가 끼었을 때 대기 중에 물방울 입자들이 생기고, 이 물방울 입자들로 인한 빛의 산란 현상이 발생한다. 산란의 정도는 빛의 파장과 입자 크기에 따라 다르다. 물방울과 같이 산란의 원인이 되는 입자의 크기가 클 때에는 산란의 양이 파장의 영향을 적게 받아서 가시광선 영역의 모든 빛을 거의 동일하게 산란시킨다.
이러한 산란효과에 의해 안개가 끼었을 때에는 물체들이 뿌옇게 보이게 된다. 안개가 발생한 경우, 자동차의 주행 중에는 운전자의 시야가 제대로 확보되지 않아 사고가 발생할 위험이 증가하게 된다. 따라서 보조장치를 이용하여 운전자의 시야를 개선해줄 수 있다면 운전자의 시야 방해에 의한 사고 발생률을 감소시킬 수 있을 것으로 기대된다.
안개가 있는 경우, 카메라에 의해 촬영된 영상은 안개에 의해 그 객체가 선명하게 보이지 않는다. 따라서 촬영된 객체가 선명하게 보이도록 하기 위해서는 영상에서 안개를 제거하는 영상처리작업을 거칠 필요가 있다.
본 발명의 일 실시예에 따르면, 운전자의 시야 방해 요소인 안개를 제거한 영상을 운전자에게 제공하는 영상처리장치를 제공할 수 있다.
또한, 대기광을 찾는 알고리즘이 개선되고 정보처리속도를 높인 영상처리장치를 제공할 수 있다.
일 실시예에 따른 안개 제거를 위한 영상처리장치는, 영상을 촬영하는 카메라, 상기 카메라에 의해 촬영된 영상에 포함된 안개를 제거하는 제어유닛 및 상기 제어유닛에서 안개가 제거된 영상을 출력하는 디스플레이부를 포함하고, 상기 제어유닛은, 상기 카메라에서 촬영된 영상의 각각의 픽셀의 R,G,B 값 중 가장 작은 값을 찾고, 그 중 가장 큰 값이 대기광으로 입력된다.
또한, 상기 대기광은 촬영된 영상의 상단부에 위치한 픽셀의 R,G,B 값 중에서 입력된다.
또한, 상기 카메라에 의해 움직이는 객체가 촬영되는 경우, 상기 제어유닛에서 촬영된 영상의 안개가 제거되고, 상기 디스플레이부에는 움직이는 객체에 대한 영상이 실시간으로 출력된다.
본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치에 의하면, 운전자에게 안개가 제거된 선명한 영상을 제공함으로써 운전자의 시야를 확보하여 운전 중 사고발생의 위험을 줄일 수 있다.
또한, 정보처리속도를 높여 차량의 주행 중 실시간으로 영상처리가 가능하게 한다.
도 1 은 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치를 도시한 도면이다.
도 2 는 안개가 있는 도로의 영상에 관한 도면이다.
도 3은 도 2의 영상에서 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치에 의해 안개가 제거된 영상을 표시한 도면이다.
도 2 는 안개가 있는 도로의 영상에 관한 도면이다.
도 3은 도 2의 영상에서 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치에 의해 안개가 제거된 영상을 표시한 도면이다.
이하, 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치에 관하여 도면을 참조하여 상세히 설명한다.
도 1 은 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치를 도시한 도면이고, 도 2 는 안개가 있는 도로의 영상에 관한 도면이고, 도 3은 도 2의 영상에서 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치에 의해 안개가 제거된 영상을 표시한 도면이다.
도 1 내지 도 3을 참조하면, 일 실시예에 따른 안개 제거를 위한 영상처리장치(1)는, 영상을 촬영하기 위한 카메라(10), 카메라로부터 영상신호를 입력 받아 분석하는 제어유닛(20) 및 제어유닛(20)에서 처리된 결과를 표시하는 디스플레이부(30)를 포함한다. 안개 등에 의해 시야 확보가 힘든 경우, 운전자는 주행 중 영상처리장치(1)의 디스플레이부(30)에 표시되는 외부의 영상을 참고할 수 있다. 디스플레이부(30)에는 안개가 제거된 선명한 영상이 실시간으로 표시될 수 있다.
카메라(10)는 자동차에 설치되어 자동차의 외부 환경을 촬영할 수 있다. 안개가 발생한 날 운전자의 시야 확보를 위해 카메라(10)는 자동차의 전방 또는 후 방을 촬영하도록 위치될 수 있다. 그러나 카메라(10)의 촬영 위치는 상기 기재된 바에 한정되지 않는다. 자동차가 주행 중에 촬영된 영상과 운전자가 바라보는 외부 환경의 거리 차이를 최소한으로 유지하도록, 카메라의 초당 프레임수는 자동차의 주행 환경에 따라 적절히 선택될 수 있다. 일례로, 카메라(10)로는 TRDB-D5M 카메라 모듈이 사용될 수 있다.
카메라(10)에 의해 촬영된 외부 영상은 제어유닛(20)으로 전송될 수 있다. 제어유닛(20)은 FPGA(Field Programmable Gate Array)을 포함한다. FPGA 보드에는 카메라(10)와 디스플레이부(30)가 연결될 수 있다. 일례로, 제어유닛(20)에는 DE2-115 FPGA 보드가 사용될 수 있다. 또한, 일례로, 디스플레이부(30)는 7인치 VGA(Video Graphic Array) 디스플레이를 포함할 수 있다.
카메라(10)에 의해 촬영된 외부 영상은 제어유닛(20)으로 전송되고, 제어유닛(20)은 촬영된 영상에서 안개를 제거하는 작업을 한다. 안개가 제거된 선명한 영상은 디스플레이부(30)를 통해 출력된다. 운전자는 디스플레이부(30)에 표시된 선명한 외부 영상을 확인하고 안전하게 주행할 수 있다.
이하에서는, 제어유닛(20)에 의해 영상에서 안개가 제거되는 알고리즘에 관하여 설명한다.
안개가 있는 영상은 일반적으로 다음과 같은 수식으로 표현될 수 있다.
I(x) = J(x)t(x)+A(1-t(x))
여기서, I(x)는 안개 낀 영상, J(x)는 안개가 제거된 영상, t(x)는 빛이 안개에 산란되지 않고 카메라에 전달되는 전달량, A는 대기광을 의미한다.
안개가 제거된 영상인 J(x)는 결과로 도출할 값이다. 안개 낀 영상 I(x)은 카메라에 의해 촬영된 영상으로부터 입력받는 값이다. 그러나 전달량 t(x)와 전달량 A는 추정되어야 하는 값이다.
대기광 A를 추정하는 데에는 DCP(Dark Channel Prior)이라 불리는 알고리즘이 사용될 수 있다. DCP는 입력받은 영상에서 각각의 픽셀마다 R,G,B 값을 비교하여 가장 작은 값으로 하나의 채널을 형성한다.
종래에는 채널에 일정한 크기의 최소값 필터를 적용하여, 최소값 필터가 적용된 값 중에서 상위 0.1% 값들을 추출하고, 그 중 가장 큰 값을 갖는 위치의 픽셀의 R,G,B 값을 대기광으로 추정하였다.
그러나 본 발명의 경우, 필터를 사용하지 않고 각 픽셀의 R,G,B 값 중 가장 작은 값을 찾고 그 중 가장 큰 값을 대기광 A으로 정한다. 또한, 대기광 A은 촬영된 영상 전체에서 찾지 않고 영상의 상단부에서 찾도록 한다. 대기광 A를 이런 방식으로 추정하는 이유는 카메라(10)에 의해 촬영된 영상 중에 존재하는 흰색 물체, 예를 들어, 인근에 위치하는 흰색 자동차 등과 같은 흰색 물체가 대기광으로 오인되는 것을 방지하기 위한 것이다.
종래의 경우, 전달량 t(x)를 추정할 때에, 안개가 없는 영상 J(x)의 DCP가 0에 가깝다는 사실을 이용하여, 다음과 같이 안개 낀 영상에 관한 식을 변형하여 t(x)를 구했다.
상기와 같이 추정된 대기광 A와 전달량 t(x)을 이용하여 입력받은 안개 낀 영상 I(x)으로부터 안개가 제거된 영상 J(x)을 구할 수 있었다.
그러나 본 발명의 경우, 전달량 t(x)를 구할 때에도 필터를 사용하지 않고 다음과 같은 식을 사용한다.
필터가 없이, 상기와 같은 식에 의해 대기광 A, 전달량 t(x)를 구함으로써 계산을 간소화시켜 정보처리속도를 높일 수 있다. 빠른 정보처리속도에 의해 자동차가 주행 주인 경우에도 촬영된 영상이 실시간으로 처리되어 출력될 수 있다. 따라서 안개가 발생한 날에도 운전자는 주행 중 주변 환경의 모습을 실시간으로 확인하면서 안전하게 운전할 수 있다.
또한, 본 발명의 경우와 같이 대기광 A과 전달량 t(x)을 구하더라도, 종래의 방법에 의할 경우와 비슷한 안개 제거 효과를 나타내면서, 도 3과 같이, 영상이 자연스럽게 보일 수 있다.
이와 같이 처리된 영상은 디스플레이부(30)를 통해 출력될 수 있다. 운전자는 디스플레이부(30)에 표시된 안개가 제거된 영상을 통해 시야를 확보할 수 있고, 주행 중 발생할 수 있는 사고의 위험을 줄일 수 있다.
10: 카메라
20: 제어유닛
30: 디스플레이부
20: 제어유닛
30: 디스플레이부
Claims (4)
- 삭제
- 삭제
- 제1항에 있어서,
상기 카메라에 의해 움직이는 객체가 촬영되는 경우, 상기 제어유닛에서 촬영된 영상의 안개가 제거되고, 상기 디스플레이부에는 움직이는 객체에 대한 영상이 실시간으로 출력되는 안개 제거를 위한 영상처리장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180011044A KR102016838B1 (ko) | 2018-01-30 | 2018-01-30 | 안개 제거를 위한 영상처리장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180011044A KR102016838B1 (ko) | 2018-01-30 | 2018-01-30 | 안개 제거를 위한 영상처리장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190091900A KR20190091900A (ko) | 2019-08-07 |
KR102016838B1 true KR102016838B1 (ko) | 2019-08-30 |
Family
ID=67621670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180011044A KR102016838B1 (ko) | 2018-01-30 | 2018-01-30 | 안개 제거를 위한 영상처리장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102016838B1 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102633972B1 (ko) * | 2021-09-24 | 2024-02-07 | 전남대학교산학협력단 | 인공지능 기반 차량용 디포그 서비스 제공 시스템 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016189901A1 (ja) * | 2015-05-22 | 2016-12-01 | 三菱電機株式会社 | 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置 |
JP2017138647A (ja) * | 2016-02-01 | 2017-08-10 | 三菱電機株式会社 | 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101582479B1 (ko) * | 2012-05-15 | 2016-01-19 | 에스케이 텔레콤주식회사 | 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법 |
-
2018
- 2018-01-30 KR KR1020180011044A patent/KR102016838B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016189901A1 (ja) * | 2015-05-22 | 2016-12-01 | 三菱電機株式会社 | 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置 |
JP2017138647A (ja) * | 2016-02-01 | 2017-08-10 | 三菱電機株式会社 | 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
KR20190091900A (ko) | 2019-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101470831B1 (ko) | 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치 | |
US7693344B2 (en) | Method and device for image processing and a night vision system for motor vehicles | |
JP6364797B2 (ja) | 画像解析装置、および画像解析方法 | |
KR101756173B1 (ko) | 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법 | |
KR101445577B1 (ko) | 안개제거 추정 모델을 이용한 안개 낀 휘도영상 개선 시스템 | |
EP2346015B1 (en) | Vehicle periphery monitoring apparatus | |
US20120162425A1 (en) | Device and method for securing visibility for driver | |
WO2017001189A1 (en) | Detection of lens contamination using expected edge trajectories | |
Tan et al. | Fast single-image defogging | |
EP3199914B1 (en) | Imaging device | |
US20210142496A1 (en) | Depth acquisition device and depth acquisition method | |
KR101788660B1 (ko) | 단일 영상 내의 안개 제거 장치 및 방법 | |
KR102016838B1 (ko) | 안개 제거를 위한 영상처리장치 | |
CN103226816A (zh) | 基于快速高斯滤波的雾霾图像介质传输率估算与优化方法 | |
Wongsaree et al. | Distance detection technique using enhancing inverse perspective mapping | |
KR20160024297A (ko) | 야간 주행 시 차량의 보행자 검출장치 및 방법 | |
KR101470833B1 (ko) | 전달률 하한치를 이용한 안개영상 개선 장치 | |
KR101522757B1 (ko) | 영상의 노이즈 제거 방법 | |
KR101341243B1 (ko) | 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법 | |
EP2463621A1 (en) | Distance calculation device for vehicle | |
WO2014065159A1 (ja) | 距離測定装置及びそれを用いた車両 | |
Jiwani et al. | Single image fog removal using depth estimation based on blur estimation | |
JP2001111989A (ja) | 車載用撮像装置 | |
Mittal et al. | IoT based image defogging system for road accident control during winters | |
KR102115579B1 (ko) | 차량용 사이드뷰 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |