KR101858339B1 - 카메라를 이용한 기상관측 장치 및 이를 제어하는 방법 - Google Patents

Abstract

본 발명은, 카메라를 통하여 수신되는 영상에 기초하여 날씨를 감지하는 기상관측 장치 및 이를 제어하는 방법에 관한 것이다. 구체적으로 본 발명은, 카메라; 및 상기 카메라를 통하여 실시간으로 수신되는 영상에 기초하여 날씨 상태를 감지하는 제어부를 포함하되, 상기 제어부는, 상기 수신되는 영상의 일부 영역을 관심영역으로 지정하고, 상기 지정된 관심영역의 실시간 영상 변화량을 모니터링하며, 상기 실시간 영상 변화량에 기초하여 상기 날씨 상태가 눈, 비 또는 안개 중 어느 하나에 해당하는 것으로 감지하는 기상관측 장치 및 이를 제어하기 위한 방법에 관한 것이다.

Description

카메라를 이용한 기상관측 장치 및 이를 제어하는 방법{APPARATUS FOR WEATHER OBSERVATION USING CAMERA CAPTURED IMAGES AND METHOD THEREOF}

본 발명은 카메라로 촬영된 이미지에 기초하여 날씨를 관측할 수 있는 장치 에 관한 것이다.

도로에는 교통상황을 촬영하기 위한 많은 수의 CCTV 장치가 설치되어 있으며, 이러한 CCTV 장치는 특별한 경우를 제외하고는 항상 영상을 촬영하고, 촬영된 영상을 관리 서버 등으로 전송하고 있다. 여기서 도로는, 고속화도로, 고속도로, 국도, 지방도 등 차량이 통행할 수 있는 모든 도로를 포함할 수 있다.

종래의 날씨의 감지는 주로 기상청에 의한 일기예보에 의존하였다. 일기예보는 기상청이 기상요소인 바람, 온도, 기압 등의 관측, 관측자료의 분석 그리고 기상예측이라는 과정을 거친다. 이러한 관측은 육지에만 존재하는 관측소의 관측, 해양의 자료를 보완하는 기상 부이(buoy)나 선박에 의한 관측 그리고 인공 위성에 의한 관측 등이 있다. 다만, 이러한 관측의 경우는 오차가 있고 특히 인공위성의 관측자료는 부정확한 문제가 있다.

그러나 이러한 종래의 일기예보는 광범위한 지역을 그 대상으로 하는 것이어서 고속도로의 특정구간에서의 실제날씨를 예상하는 데에는 한계가 있어 국지성 호우 내지 폭설 등에 효과적으로 대비할 수 없는 문제가 있다.

또한, 종래의 일기예보의 경우 비가 오는 경우의 강수량을 예측할 수 있을 뿐, 비가 내리는 정확한 시간 및 강우의 지속시간을 예측할 수 없는 문제가 있다.

그리고 이러한 특정 도로구간의 날씨감지를 위하여 자동기상관측장비(Automatic Weather System; AWS)나 도로기상정보장치(Road Weather Information System; RWIS) 등 별도의 날씨감지장치을 구축하는 데에는 오랜 시간이 소요되고 많은 비용이 들게 되는 등 경제적 타당성이 떨어지는 문제가 있다.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은 고속도로 등의 도로 상에 설치되어 있는 CCTV 영상을 활용하여, 정확한 날씨를 감지하고 이를 제공해 주는 것을 그 목적으로 한다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 카메라; 및 상기 카메라를 통하여 실시간으로 수신되는 영상에 기초하여 날씨 상태를 감지하는 제어부를 포함하되, 상기 제어부는, 상기 수신되는 영상의 일부 영역을 관심영역으로 지정하고, 상기 지정된 관심영역의 실시간 영상 변화량을 모니터링하며, 상기 실시간 영상 변화량에 기초하여 상기 날씨 상태가 눈, 비 또는 안개 중 어느 하나에 해당하는 것으로 감지하는, 기상관측 장치를 제공한다.

본 발명에 따른 기상관측 장치 및 이의 제어 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시 예들 중 적어도 하나에 의하면, 고속도로 CCTV 영상을 활용하여 정확한 날씨를 실시간으로 관측할 수 있다는 장점이 있다.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 고속도로 CCTV를 활용하여 실시간 강설량, 강우량을 판단할 수 있다는 장점이 있다.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.

도 1은 본 발명의 일실시예에 따른 기상관측 장치(500)의 블록도를 도시하는 도면이다.
도 2는 본 발명의 일실시예에 따라, 날씨의 '맑음/맑음 아님' 여부를 판단하는 순서도를 도시하는 도면이다.
도 3은 본 발명의 일실시예에 따라, 날씨의 '맑음/맑음 아님' 여부를 판단하는 개념도를 도시하는 도면이다.
도 4는 본 발명의 일실시예에 따라, '눈'인지, '비'인지 또는 '안개'인지 판단하는 방법의 순서도를 도시하는 도면이다.
도 5는 본 발명의 일실시예에 따라, '눈'인지, '비'인지 또는 '안개'인지 판단하는 방법의 개념도를 도시하는 도면이다.
도 6은 본 발명의 일실시예에 따라 관심 영역 상에서 HSL 히스토그램을 추출하는 방법을 도시하는 도면이다.
도 7은 본 발명의 일실시예에 따라, 안개 농도를 판단하는 제어 방법을 도시하는 도면이다.
도 8은 본 발명의 일실시예에 따라, 실시간 영상 변화량에 기초하여 날씨 상태를 판단하는 제어 방법의 순서도를 도시하는 도면이다.
도 9은 본 발명의 일실시예에 따라 배경 영상과의 차이에 기초하여 강우량을 판단하는 제어 방법을 도시하는 도면이다.
도 10는 본 발명의 일실시예에 따라 배경 영상과의 차이에 기초하여 강설량을 판단하는 제어 방법을 도시하는 도면이다.
도 11은 본 발명의 일실시예에 따라, 윤곽선 추출에 기초하여 시정거리를 판단하는 제어 방법을 도시하는 도면이다.
도 12는 본 발명의 일실시예에 따라, 안개가 있는 경우와 없는 경우의 윤곽선 영상을 비교하는 도면이다.
도 13은 본 발명의 일실시예에 따라, '비' 상태에서 추출된 HSL 데이터의 FFT 프레임을 도시하는 도면이다.
도 14는 본 발명의 일실시예에 따라, '맑음' 상태에서 추출된 HSL 데이터의 FFT 프레임을 도시하는 도면이다.
도 15는 본 발명의 일실시예에 따라, 각 날씨 상태(맑음, 비, 눈, 안개)에서 추출된 RGB 데이터의 FFT 프레임을 도시하는 도면이다.
도 16은 본 발명의 일실시예에 따라, HSL 히스토그램 상에서의 최대 피크 위치가 날씨에 따라서 달라지는 것을 도시하는 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1은 본 발명의 일실시예에 따른 기상관측 장치(500)의 블록도를 도시하는 도면이다.

기상관측 장치(500)는 카메라(100), 통신부(110), 디스플레이부(151), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들은 기상관측 장치(500)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 기상관측 장치(500)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

보다 구체적으로, 상기 구성요소들 중 카메라(100)는, 이미지 센서에 의해 얻어지는 정지영상 또는 동영상(순차적으로 얻어지는 일련의 영상들) 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(170)에 저장될 수 있다.

특히, 본 발명의 일실시예에 따른 카메라(100)는, 기존에 설치되어 있는 CCTV 장치를 의미할 수 있다. 더욱이, 고속화도로나 고속도로 등에 기설치되어 있는 도로교통 용 CCTV 장치를 의미할 수 있다.

일반적으로, 도로교통 상황을 체크하기 위하여 도로 곳곳에 많은 수의 CCTV가 설치되어 운영되고 있다. 이러한 도로교통용 CCTV는, 많은 이용자들에게 현재 도로의 실시간 상황을 효과적으로 알려주기 때문에 매우 유용할 수 있다

이러한 도로교통 CCTV는, 실시간 도로의 상황을 계속적으로 촬영한다. 만약 이렇게 촬영되는 영상을 통하여 도로의 날씨를 자동으로 감지, 관측할 수 있다면 그 정보 또한 유용할 것이다. 따라서 본 발명의 실시예들에서는, 도로교통용 CCTV 장치에 국한되는 것은 아니고, 촬영된 영상에 기초하여 날씨를 감지할 수 있는 장치 및 방법에 대해서 제안한다.

이때, 본 발명의 실시예에 따른 기상관측 장치(500) 자체에 카메라(100)를 구비할 수도 있지만, 기존에 설치되어 있는 CCTV 장치들로부터 촬영된 영상을 수신하여(전달 받아) 날씨를 감지할 수도 있을 것이다.

특히, 이러한 도로교통 CCTV의 경우, 도로의 가까운 곳에서부터 먼 곳을 촬영하도록 상기 고속도로 또는 고속화도로를 길이방향으로 촬영할 수 있다. 즉, 상기 CCTV에 의해서 촬영된 영상은, 상기 고속도로 또는 고속화도로를 길이방향으로 촬영한 영상일 것이다.

도 1을 참조하면, 기존에 설치되어 있는 CCTV 장치(100)로부터 촬영된 영상은, CCTV 중앙 서버(101)를 통하여 기상관측 장치(500)로 전달될 수 있다.

통신부(110)는, 기상관측 장치(500)와 통신 시스템 사이, 기상관측 장치(500)와 CCTV 중앙 서버(101) 사이 또는 CCTV 장치(100)와 직접 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 통신부(110)는, 기상관측 장치(500)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.

제어부(180)는 통신부(110)를 통하여 CCTV 장치(100)로부터 촬영된 영상을 수신하고, 수신된 영상에 기초하여 날씨를 감지할 수 있다.

메모리(170)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다.

메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

메모리(170)는 후술할 학습 데이터를 더 저장할 수 있다. 본 발명의 일실시예에서는, 복수 개의 영상에 대한 날씨 상태를 학습(Deep learning 알고리즘 등을 이용)하고, 이러한 학습에 기초하여 새로운 영상이 들어왔을 때 기상관측 장치(500) 스스로 날씨(날씨의 이상 여부)를 감지하도록 제안하는데, 이러한 학습 데이터를 메모리(170)에 저장하여 활용할 수 있을 것이다. 즉, 메모리(170)가 학습 데이터 베이스(DB)로 활용될 수 있을 것이다.

제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 기상관측 장치(500)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 기상관측 장치(500)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.

전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 기상관측 장치(500)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.

사용자 입력부(123)는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면, 제어부(180)는 입력된 정보에 대응되도록 기상관측 장치(500)의 동작을 제어할 수 있다.

상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 기상관측 장치(500)의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 기상관측 장치(500)의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 기상관측 장치(500) 상에서 구현될 수 있다.

본 발명의 일실시예에서는, 날씨의 맑음 상태와 그 밖의 상태(눈, 비나 안개 등)을 먼저 구분하도록 제안한다. 이러한 구분(즉, 맑은 경우를 다른 경우와 분리하는 구분)은, 학습 알고리즘(Deep Learning)을 이용하여 높은 정확도로 구분할 수 있기 때문이다. 이러한 실시예에 대해서 도 2 및 도 3을 함께 참조하여 설명한다.

도 2는 본 발명의 일실시예에 따라, 날씨의 맑음/그 밖의 날씨 여부를 판단하는 순서도를 도시하는 도면이다. 도 3은 본 발명의 일실시예에 따라, 날씨의 정상/이상 여부를 판단하는 개념도를 도시하는 도면이다.

S201 단계에서 제어부(180)는 복수 개의 영상 및 상기 복수 개의 영상 각각에 대한 날씨 정보를 저장한다. 이때 날씨 정보는, 맑음 상태 또는 그 밖의 상태(눈, 비 또는 안개)를 의미할 수 있다.

도 3을 참조하면, 복수 개의 영상(301-1, 301-2)이 학습 알고리즘(302)의 입력으로 들어간다. 이때 복수 개의 영상(301-1, 301-2)은, 날씨 정보에 따라 두 그룹으로 분류되어 입력될 수 있다. 즉, 제 1 그룹(301-1)은 맑은 날씨에 해당하는 영상들, 그리고 제 2 그룹(301-2)은 그 밖의 상태(눈, 비 또는 안개)에 해당하는 영상들을 포함할 수 있다.

학습 알고리즘(302, 기계 학습 알고리즘, 머신 러닝)의 일예시로는 Deep Learning 알고리즘을 들 수 있다. 학습 알고리즘(302)이란, 방대하고 다양한 데이터를 입력 받으면 및 그 다양한 데이터에 대한 규칙을 스스로 발견하고, 새로운 데이터의 입력에 해당 규칙을 적용하는 알고리즘을 의미한다.

특히, 본 발명의 일실시예에 가장 적합한 모델은, 서포트 벡터 머신(support vector machine, SVM)이다. 서포트 벡터 머신은 기계 학습의 분야 중 하나로 패턴 인식, 자료 분석을 위한 지도 학습 모델이며, 주로 분류와 회귀 분석을 위해 사용한다. 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, SVM 알고리즘은 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 분류 모델을 만든다. 만들어진 분류 모델은 데이터가 사상된 공간에서 경계로 표현되는데 SVM 알고리즘은 그 중 가장 큰 폭을 가진 경계를 찾는 알고리즘이다.

서포트 벡터 머신 알고리즘이 본 발명의 일실시예에 적용되면, 복수 개의 영상에서 맑음 상태 카테고리와 그 밖의 상태 카테고리에 대한 규칙을 스스로 학습하고, 새로운 영상이 인가되었을 때 해당 영상이 맑음 상태 카테고리에 속할지, 그 밖의 상태 카테고리에 속할 지 직접 판단할 수 있을 것이다.

서포트 벡터 머신 알고리즘에 따라, 제 1 및 제 2 그룹(301-1, 301-2)에 속하는 영상들이 분석될 경우, 도 3의 트레이닝 그래프(303)를 획득할 수 있다. 트레이닝 그래프(303) 상에는 제 1 그룹(301-1)에 해당하는 영역(303-1)과 제 2 그룹에 해당하는 영역(303-2)이 직선으로 구분될 수 있다.

새로운 영상이 입력되면, 상기 서포트 벡터 머신 알고리즘은 상기 트레이닝 그래프(303) 상에서 어떠한 영역(303-1, 303-2)에 속하는지 판단하여 해당 영상의 카테고리를 결정(날씨의 맑음 또는 그 밖의 날씨를 감지)할 수 있다(S203 단계).

S204단계에서는, S203 단계에서 감지된 결과에 따라, 날씨가 정상이면 S205 단계로, 날씨가 이상이면 A 단계(도 4의 순서도)로 진행할 수 있다.

도 4에서 후술할 A 단계에서 제어부(180)는 날씨 상태가 '눈', '비' 또는 '안개'인지를 판단할 수 있다. 본 발명의 일실시예에 따른 기상관측 장치(500)에서는, CCTV 장치(100) 등을 통하여 실시간으로 입력되는 영상을 분석하고, 분석된 결과에 따라 날씨 상태가 '눈'인지, '비'인지 또는 '안개'인지 판단할 수 있다. 이러한 판단에 대해서는 도 4에서 후술하기로 한다.

S203 및 S204 단계에서 날씨가 '맑음'이라고 판단된 경우, S205 단계로 진행하여 날씨 상태를 '맑음'이라고 출력할 수 있을 것이다.

이하, 도면을 참조하여 카메라(100)를 통하여 촬영된 영상에 기초하여 '눈'인지, '비'인지 또는 '안개'인지 판단하는 방법에 대해서 설명한다.

도 4는 본 발명의 일실시예에 따라, '눈'인지, '비'인지 또는 '안개'인지 판단하는 방법의 순서도를 도시하는 도면이다. 도 5는 본 발명의 일실시예에 따라, '눈'인지, '비'인지 또는 '안개'인지 판단하는 방법의 개념도를 도시하는 도면이다.

본 발명의 일실시예에서는, 영상에서의 변화량에 기초하여 눈이 오고 있는 상황이나 비가 오고 있는 상황에 대해서 감지하도록 제안한다. 또한 본 발명에서는 HSL의 히스토그램을 더 분석하여 이러한 날씨 상태를 감지하도록 제안한다.

도 4를 참조하면 S401 단계에서 제어부(180)는 영상(501) 상에서 관심 영역(502, Region of Interest, ROI)을 지정할 수 있다. 이때 관심 영역(502)의 지정은, 사용자 입력부(123)을 통하여 수신되는 사용자 입력에 의해서 수동 지정될 수도 있으며, 자체 알고리즘에 따라 자동으로 지정할 수도 있을 것이다.

이렇게 관심 영역(502)을 지정하는 이유는, 도로를 촬영하는 CCTV 영상 상에서, 날씨와 연관되는 변화만을 감지해 내기 위함이다. 즉, 도로 상에는 차량들이 이동하기 때문에, 도로에 대한 변화량을 감지할 경우 통행량에 따라 달라질 수 있다. 도로 외의 지역(산이나 기타 배경)에 대한 변화량을 감지해야만, 눈이나 비가 왔을 때의, 눈이나 비에 의해서 발생된 영상의 변화량을 정확하게 감지해 낼 수 있기 때문이다.

S402 단계에서 제어부(180)는 관심 영역의 실시간 영상 변화량을 판단(계산)한다.

본 발명의 일실시예에서, 관심 영역(502)의 변화량을 계산하는데 있어서, 고속 푸리에 변환(Fast Fourier Transform, FFT) 또는 역-고속 푸리에 변환(inverse FFT)를 이용할 수 있다.

계산된 변화량이 클 경우(제 1 수치 이상일 경우), 눈 또는 비가 오는 상태라고 판단할 수 있을 것이다. 반대로 계산된 변화량이 작을 경우(제 1 수치 미만일 경우), 안개라고 판단할 수 있을 것이다.

즉, 순차적으로 수신되는 영상들 간의 FFT 값을 계산하고, FFT 값이 제 1 수치 미만일 경우, S404 단계로 진행하고, 제 1 수치 이상일 경우 S407 단계로 진행할 수 있다. S407 단계에서 제어부(180)는 실시간 영상의 변화량이 크다고 판단하여 날씨 상태가 '비' 또는 '눈'이라고 판단할 수 있을 것이다.

도 5를 보다 구체적으로 살펴보면, 제어부(180)는 실시간 이미지 상에서 색평면(색 데이터)을 추출한다. 이렇게 추출된 HSL 색평면 상의 관심영역(504)에 대한 주파수 변환(FFT, inverse FTT) 결과(505)에 기초하여 실시간 영상의 변화량을 판단할 수 있다. 또한 RGB 색평면 상(506)에서도 마찬가지로 관심영역(507)에 대판 주파수 변환(FFT, inverse FTT) 결과(508)에 기초하여 실시간 영상의 변화량을 판단할 수 있다.

도 13은 본 발명의 일실시예에 따라, '비' 상태에서 추출된 HSL 데이터의 FFT 프레임을 도시하는 도면이다. 도 14는 본 발명의 일실시예에 따라, '맑음' 상태에서 추출된 HSL 데이터의 FFT 프레임을 도시하는 도면이다.

도 13 및 도 14에서의 각 FFT 프레임(1301 내지 1304, 1401 내지 1404)은, 관심 영역(502)의 HSL 색평면(HSL 데이터)를 추출하고 이를 FFT 적용시킨 프레임으로, 시간에 따른 순서로 배열(좌 -> 우)되어 있다.

도 13의 FFT 프레임(1301 내지 1304)를 참조하면, 매 프레임마다 패턴이 크게 바뀌는 것을 관찰할 수 있다. 즉, '비' 상태에서는 FFT 출력 패턴이 크게 변하는 것으로 확인할 수 있다.

도 14의 FFT 프레임(1401 내지 1404)를 참조하면, 매 프레임마다 패턴이 거의 바뀌지 않는 것을 관찰할 수 있다. 즉, '맑음' 상태에서는 FFT 출력 패턴이 크게 변하지 않는 것으로 확인할 수 있다.

이와 같이, FFT를 이용하여 관심 영역(502)의 변화량을 구할 경우, 날씨에 따라 그 패턴의 변화가 서로 다르다는 것을 확인할 수 있다.

도 15는 본 발명의 일실시예에 따라, 각 날씨 상태(맑음, 비, 눈, 안개)에서 추출된 RGB 데이터의 FFT 프레임을 도시하는 도면이다. RGB 데이터에 대한 FFT 프레임은, 날씨의 상태에 따라서 특정 패턴을 보인다.

제 1 FFT 프레임(1501)은 '맑음' 상태에서의 FFT 프레임을 도시하는 도면이다. 제 2 FFT 프레임(1502)은 '비' 상태에서의 FFT 프레임을 도시하는 도면이다. 제 3 FFT 프레임(1503)은 '안개' 상태에서의 FFT 프레임을 도시하는 도면이다. 그리고, 제 4 FFT 프레임(1504)은 '눈' 상태에서의 FFT 프레임을 도시하는 도면이다.

따라서, 날씨관측 장치(500)는 날씨의 상태에 따라 특정 패턴을 보이는 RGB FFT 프레임을 이용할 경우, 날씨 상태를 관측할 수 있을 것이다.

한편, 본 발명의 일실시예에서는, HSL의 최대 피크에 대한 위치를 계산하고, 이러한 계산에 기초하여 날씨 상태를 판단하도록 제안한다. 이는 날씨의 상태에 따라서 HSL 히스토그램의 패턴이나 영역이 달라지기 때문이다.

도 6은 본 발명의 일실시예에 따라 관심 영역 상에서 HSL 히스토그램을 추출하는 방법을 도시하는 도면이다.

실시간 영상(501)의 관심영역(502)에 마스크(601)를 적용한 후, 색 프로세싱(602, Color processing) 과정을 통하여 히스토그램(603)을 획득할 수 있다.

상기 히스토그램(603)의 x축은 픽셀값(Pixel value)를 나타내고, y축은 해당 픽셀값에 대한 진폭값을 나타낸다. 본 발명의 일실시예에서는, 가장 최대 피크가 되는 위치(픽셀값)를 판단하고, 해당 위치가 제 2 수치 이상인지 미만인지 여부에 따라서 날씨 상태를 결정한다. 최대 피크의 위치에 따라 날씨를 구분하는 방법에 대해서 도 16을 참조하여 설명한다.

도 16은 본 발명의 일실시예에 따라, HSL 히스토그램 상에서의 최대 피크 위치가 날씨에 따라서 달라지는 것을 도시하는 도면이다.

위에서부터 순차적으로, '비'에 대한 히스토그램(1601), '안개'에 대한 히스토그램(1602) 및 '눈'에 대한 히스토그램(1603)을 도시한다.

'비'에 대한 히스토그램(1601)을 참조하면, 히스토그램에서의 최대 피크 위치가 120 근처인 것을 확인할 수 있으나, '안개' 및 '눈'에 대한 히스토그램(1602 및 1603)에서는 최대 피크의 위치가 0에 근접해 있는 것을 확인할 수 있다.

이와 같이, HSL 히스토그램에서 최대 피크의 위치를 분석할 경우, '비' vs '안개 또는 눈'을 구분해 낼 수 있을 것이다.

다시 도 4로 복귀하여, HSL 히스토그램의 최대 피크 위치가 제 2 수치 미만일 경우, 제어부(180)는 S405 단계로 진행하여 날씨 상태가 '안개'라고 판단할 수 있다. 그리고 제어부(180)는 최대 피크 위치가 제 2 수치 이상일 경우, S407 단계로 진행하여 날씨 상태를 '비' 또는 '눈'이라고 판단할 수 있다.

본 발명의 다른 실시예에서의 제어부(180)는, 관심영역(502) 내에 포함되어 있는 픽셀들의 분산값(그레이 스케일 또는 픽셀 값에 대한 분산 또는 RGB 값에 대한 분산 등)에 기초하여, 날씨 상태가 '안개'라고 판단할 수 있다. 즉, 안개가 존재할 경우, 먼 거리에 대응하는 영역은 더욱, 영상 전반적으로 뿌옇게 촬영되기 때문에 각 픽셀들이 비슷한 값을 가질 수 있을 것이다. 따라서, 분산값이 임계값(기설정된 값) 보다 낮은 경우, 제어부(180)는 촬영되는 지역에 안개가 끼었다는 것으로 판단할 수 있을 것이다. 그리고, 먼 거리를 촬영하는 영역을 관심영역(502)으로 설정할 경우, 보다 정확하게 안개가 낀 상태를 파악할 수 있을 것이다.

S207 단계에서 '비' 또는 '눈'이라고 판단하는 경우 제어부(180)는, B 단계로 진행하여, '비'인지 '눈'인지 구체적으로 판단할 수 있다. B 단계에 대해서는 이하 도 7을 참조하여 후술한다.

S406 단계에서 제어부(180)는, S405 단계에서 판단한 날씨 상태 '안개'의 농도(짙은 정도에 따른 시정거리 계산)를 판단한다.

도 7은 본 발명의 일실시예에 따라, 안개 농도를 판단하는 제어 방법을 도시하는 도면이다.

본 발명의 일실시예에서는, 두 개의 관심영역(502-1, 502-2)을 이용하여 안개 농도를 판단하도록 제안한다.

이때, 두 개의 관심영역(502-1, 502-2)은 상술한 바와 같이 사용자에 의해서 수동으로 설정될 수도 있으며, 알고리즘에 의해서 자동으로 설정될 수도 있을 것이다.

두 개의 관심영역(502-1, 502-2)의 설정은, 원거리에 대한 원거리 관심영역(502-1) 및 근거리 관심영역(502-2)으로 설정한다.

상술한 바와 같이, 원거리 관심영역(502-1)에 기초하여 안개가 끼었는지 여부를 판단할 수 있을 것이다.

한편, 원거리 관심영역(502-1)의 분산값인 제 1 분산값과 근거리 관심영역(502-2)의 분산값인 제 2 분산값의 차이에 기초하여, 제어부(180)는 안개의 농도를 판단할 수 있다.

안개가 적당히 낀 상태를 가정할 경우, 먼 거리에 위치하는 사물은 잘 안보이더라도 근거리에 위치하는 사물은 어느 정도 보일 수 있다. 이런 경우, 원거리의 분산값에 해당하는 제 1 분산값은 상대적으로 낮은 수치일 것이고, 근거리에 해당하는 제 2 분산값은 상대적으로 높은 수치를 나타낼 수 있다. 따라서 이러한 상태에서의 제 1 및 제 2 분산값 간의 차이는 상대적으로 클 수 있다.

하지만, 안개가 매우 심할 경우, 먼 거리에 위치하는 사물이나 가까운 거리에 위치하는 사물이나 둘 다 잘 안보일 수 있다. 이런 경우, 제 1 분산값이나 제 2 분산값이나 큰 차이를 보이지 않을 수 있다. 따라서, 제 1 및 제 2 분산값 간의 차이는 상대적으로 작을 수 있을 것이다.

이에 따라, 제어부(180)는 제 1 및 제 2 분산값 간의 차이를 계산하고, 이러한 차이에 따라서 안개의 농도를 결정할 수 있을 것이다. 즉, 제 1 및 제 2 분산값의 차이가 클 경우 상대적으로 낮은 농도이고, 차이가 작을 경우 상대적으로 높은 농도일 수 있다.

도 8은 본 발명의 일실시예에 따라, 실시간 영상 변화량에 기초하여 날씨 상태를 판단하는 제어 방법의 순서도를 도시하는 도면이다.

S801 단계에서 제어부(180)는 실시간 영상 변화량이 제 3 수치 미만인지 판단한다. '비'가 올 경우 영상은, '눈'이 오는 경우 영상보다 더 많은 변화량을 갖기 때문이다.

즉, 실시간 영상 변화량이 제 3 수치 미만일 경우, 제어부(180)는 날씨 상태를 '눈'이라고 판단(S802 단계)하고, 이상일 경우에는 날씨 상태를 '비'라고 판단(S805 단계)할 수 있을 것이다. 제 1 수치는 도 4 및 상기 기술한 제 1 수치를 참고하면, 관심영역의 실시간 영상 변화량의 임계값(제 1 수치 이상인지 미만인지를 판단하는 기준값)을 나타내고, 제 2 수치는 도 4 및 상기 기술한 제 2 수치를 참고하면, HSL 변환값의 최대 피크 위치 임계값(제 2 수치 이상인지 미만인지를 판단하는 기준값)을 나타내며, 제 3 수치는 도 8 및 상기 기술을 참고하면, 실시간 영상 변화량에서 비 또는 눈을 판별하는 임계값(제 3 수치 이상인지 미만인지를 판단하는 기준값)이다.

한편, 본 발명의 일실시예에서는, 더 나아가, 영상에 기초하여 강우량/강설량을 더 파악하도록 제안한다. 이러한 실시예에 대해서 도 8 및 도 9를 참조하여 설명한다.

본 발명의 일실시예에 따른 제어부(180)는 카메라(100)를 통하여 촬영된 복수 개의 영상으로부터 배경 영상을 획득하고, 상기 획득한 배경 영상과 상기 촬영된 영상의 차이(差異)를 계산하며, 상기 계산된 차이에 기초하여 강설량 또는 강우량을 판단한다.

배경 영상이란, 자동차 등 움직이는 물체들이 제거된 영상을 의미할 수 있으며, 동일한 곳을 촬영한 복수 개의 영상들을 조합하여 배경에 대한 영상 만을 획득할 수 있을 것이다.

도 9은 본 발명의 일실시예에 따라 배경 영상과의 차이에 기초하여 강우량을 판단하는 제어 방법을 도시하는 도면이다.

제어부(180)는 복수 개의 실시간 영상을 조합하여 배경 영상(902)를 획득할 수 있다. 그리고 제어부(180)는 획득된 배경 영상(902) 및 실시간으로 들어오는 복수 개의 영상과의 차이 이미지를 계산하여, 차(差)영상(903)을 획득할 수 있다. 이때, 이미지 간의 차이란, 각 이미지를 그레이 스케일로 수치화하고 수치화된 값들의 차이를 의미할 수 있을 것이다.

실시간 영상과 배경 영상과의 차이는 결국 내리는 비에 의한 차이일 것이다 따라서, 이러한 차(差)영상(903)은 각 실시간 영상에서 비에 의해 변화되는 정도만을 반영하는 영상일 것이다.

제어부(180)는 이러한 차(差)영상(903)을 소정 시간(또는 소정 프레임) 누적시킬 경우, 강우량을 판단할 수 있을 것이다. 차 영상(903)의 누적이란, 각 픽셀의 값을 수치화한 후, 그 수치화 된 값들의 누적을 의미할 수 있을 것이다. 즉, 제어부(180)는 차 영상(903)을 누적시킨 누적 영상(904)에 기초하여 강우량을 판단할 수 있다. 즉, 누적값이 일정 임계값 이상일 경우 강한 비, 그 이하일 경우 약한 비 등의 단계적인 강우량 판단을 할 수 있다.

도 10는 본 발명의 일실시예에 따라 배경 영상과의 차이에 기초하여 강설량을 판단하는 제어 방법을 도시하는 도면이다.

눈의 경우에도, 비와 마찬가지로 동일한 원리로 강설량을 판단할 수 있다.

제어부(180)는 복수 개의 실시간 영상을 조합하여 배경 영상(1002)를 획득할 수 있다. 그리고 제어부(180)는 획득된 배경 영상(1002) 및 실시간으로 들어오는 복수 개의 영상과의 차이 이미지를 계산하여, 차(差)영상(1003)을 획득할 수 있다. 마찬가지로, 이미지 간의 차이란, 각 이미지를 그레이 스케일로 수치화하고 수치화된 값들의 차이를 의미할 수 있을 것이다.

실시간 영상과 배경 영상과의 차이는 내리는 눈에 의한 차이일 것이다 따라서, 이러한 차(差)영상(1003)은 각 실시간 영상에서 눈에 의해 변화되는 정도 만을 반영하는 영상일 것이다.

제어부(180)는 이러한 차(差)영상(1003)을 소정 시간(또는 소정 프레임) 누적시킬 경우, 강우량을 판단할 수 있을 것이다. 차 영상(1003)의 누적이란, 각 픽셀의 값을 수치화한 후, 그 수치화 된 값들의 누적을 의미할 수 있을 것이다. 즉, 제어부(180)는 차 영상(1003)을 누적시킨 누적 영상(1004)에 기초하여 강설량을 판단할 수 있다. 즉, 누적값이 일정 임계값 이상일 경우 강설, 그 이하일 경우 약설 등의 단계적인 강설량 판단을 할 수 있다.

다시 도 8로 복귀하여, S802 단계에서 판단된 '눈' 날씨 상태는, S803 단계에서 출력해 줄 수 있을 것이다. 마찬가지로, S804 단계에서 판단된 '비' 날씨 상태는, S805 단계에서 출력해 줄 수 있을 것이다.

한편, 본 발명의 일실시예에서는, 배경 영상에 기초하여 시정거리를 판단하는 방법에 대해서 더 제안한다. 이러한 실시예에 대해서 도 11 및 도 12를 함께 참조하여 설명한다.

도 11은 본 발명의 일실시예에 따라, 윤곽선 추출에 기초하여 시정거리를 판단하는 제어 방법을 도시하는 도면이다.

본 발명의 일실시예에 따른 제어부(180)는, 상기 촬영된 복수 개의 영상으로부터 배경 영상을 획득하고, 상기 획득된 배경 영상으로부터 윤곽선을 추출하며, 상기 추출된 윤곽선에 기초하여 시정거리를 판단할 수 있다.

상술한 설명에서와 마찬가지로 제어부(180)는, 복수 개의 실시간 영상(1101)에 기초하여 배경 영상(1102)을 획득한다. 배경 영상(1102)은 움직이는 이동 물체를 자동으로 제거한 영상일 수 있다.

제어부(180)는 배경 영상(1102)에 윤곽선 추출 알고리즘(Edge detection algorithm)을 적용하여, 배경 영상(1102)에서 윤곽선을 추출할 수 있다. 이러한 알고리즘의 대표적인 예시로, CANY Edge 알고리즘을 들 수 있다.

1104 영상은 윤곽선이 추출된 윤곽선 영상을 나타낸다. 영상을 참조하면, 안개가 없는 상태에서 촬영된 영상이기 때문에, 꽤 먼 영역까지 윤곽선이 뚜렷하게 검출되었다.

제어부(180)는 윤곽선 영상(1104)을 위에서 아래 방향으로 스캔하면서, 검출된 윤곽선이 어느 지점부터 검출되는지 판단한다. 그리고 제어부(180)는 검출된 위치가 높을 수록 시정거리가 높다고 판단할 수 있으며, 검출된 위치가 낮을 수록 시정거리가 낮다고 볼 수 있을 것이다.

즉, 제어부(180)는 가장 높게 검출된 윤곽선의 높이(영상의 하단에서부터의 높이)를 판단하고, 그 높이에 기초하여 시정거리를 판단할 수 있을 것이다.

도 12는 본 발명의 일실시예에 따라, 안개가 있는 경우와 없는 경우의 윤곽선 영상을 비교하는 도면이다.

도 12 (a)를 참조하면, 날씨가 맑은 경우의 실시간 영상(1201), 배경 영상(1202) 및 윤곽선 영상(1203)을 도시하고 있다. 날씨가 맑기 때문에 먼 곳까지 또렷하게 보이고, 그렇기 때문에 윤곽선이 영상 상단부까지 모두 검출되었다.

도 12 (b)를 참조하면, 안개가 낀 경우의 실시간 영상(1204), 배경 영상(1205) 및 윤곽선 영상(1206)을 도시하고 있다.

안개가 끼었기 때문에, 가까운 곳은 보이지만, 먼 곳은 또렷하게 보이지 않는다. 따라서, 이러한 영상에 기초하여 획득한 윤곽선은 먼 곳에서 검출되지 않을 것이다. 윤곽선 영상(1206)을 참조하면, 윤곽선이 영상 하단부에만 일부 검출되었으며, 그 이상으로는 검출되지 않았다. 따라서 제어부(180)는 시정거리가 낮은 것으로 판단할 수 있을 것이다.

이상으로 본 발명에 따른 기상관측 장치(500) 및 이를 이용한 제어 방법의 실시예를 설시하였으나 이는 적어도 하나의 실시예로서 설명되는 것이며, 이에 의하여 본 발명의 기술적 사상과 그 구성 및 작용이 제한되지는 아니하는 것으로, 본 발명의 기술적 사상의 범위가 도면 또는 도면을 참조한 설명에 의해 한정／제한되지는 아니하는 것이다. 또한 본 발명에서 제시된 발명의 개념과 실시예가 본 발명의 동일 목적을 수행하기 위하여 다른 구조로 수정하거나 설계하기 위한 기초로써 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에 의해 사용되어질 수 있을 것인데, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에 의한 수정 또는 변경된 등가 구조는 특허청구범위에서 기술되는 본 발명의 기술적 범위에 구속되는 것으로서, 특허청구범위에서 기술한 발명의 사상이나 범위를 벗어나지 않는 한도 내에서 다양한 변화, 치환 및 변경이 가능한 것이다.

Claims (16)

1. 삭제
2. 삭제
3. 삭제
4. 고속화도로나 고속도로에 기설치되어 있는 도로교통 용 CCTV 카메라를 통하여 수신되는 영상에 기초하여 날씨를 감지하는 기상관측 장치의 제어 방법에 있어서,
   카메라를 통하여 영상을 수신하는 단계;
   상기 수신되는 영상으로부터 날씨와 연관되는 변화만을 감지해 내기 위한 관심영역을 지정하는 단계;
   상기 지정된 관심영역의 실시간 영상 변화량을 모니터링 하는 단계; 및
   상기 실시간 영상 변화량에 기초하여, 상기 날씨 상태가 눈, 비 또는 안개 중 어느 하나에 해당하는 것으로 감지하는 단계를 포함하고,
   상기 감지하는 단계는,
   상기 지정된 관심영역의 실시간 영상 변화량이 제 1 수치 이상일 경우, 날씨 상태가 눈 또는 비인 것으로 감지하며, 상기 제1 수치 미만일 경우 날씨 상태가 안개인 것으로 감지하며,
   상기 지정된 관심영역의 HSL(Hue, Saturation, Value) 히스토그램의 최대 피크(peak)가 생기는 최대피크지점을 더 판단하고, 상기 최대피크지점이 제 2 수치 미만일 경우 안개라고 감지하며, 제 2 수치 이상일 경우, 상기 날씨 상태가 눈 또는 비인 것으로 감지하며,
   실시간 영상 변화량에서 비 또는 눈을 판별하는 임계값인 제 3 수치 미만일 경우 상기 날씨 상태가 눈이라고 감지하고, 상기 제 3 수치 이상일 경우, 상기 날씨 상태가 비인 것으로 감지하며,
   촬영된 복수 개의 영상으로부터 배경 영상을 획득하고, 상기 획득한 배경 영상과 촬영된 영상의 차이(差異)를 계산하며, 상기 계산된 차이에 기초하여 강설량 또는 강우량을 판단하며,
   날씨의 정상 또는 이상 여부를 입력받는 단계;
   상기 입력받는 단계를 통하여, 복수 개의 촬영 영상에 대한 날씨의 정상 또는 이상 여부를 입력 받으면, 이러한 입력에 기초하여 날씨 상태에 대한 학습을 수행하는 단계; 및
   상기 수행에 기초하여, 추가로 입력되는 영상에 대한 날씨의 정상 또는 이상 여부를 스스로 판단하는 단계를 더 포함하는,
   기상관측 장치의 제어 방법.
5. 삭제
6. 삭제
7. 제 4 항에 있어서,
   상기 학습을 수행하는 단계는, 딥 러닝(Deep learning) 알고리즘을 이용하여 학습하는,
   기상관측 장치의 제어 방법.
8. 고속화도로나 고속도로에 기설치되어 있는 도로교통 용 카메라; 및
   상기 카메라를 통하여 촬영되는 영상에 기초하여 강설량 또는 강우량을 판단하는 제어부를 포함하되,
   상기 제어부는,
   상기 촬영된 복수 개의 영상으로부터 배경 영상을 획득하고,
   상기 획득한 배경 영상과 상기 촬영된 영상의 차이(差異)를 계산하며,
   상기 계산된 차이에 기초하여 강설량 또는 강우량을 판단하고,
   상기 카메라를 통하여 촬영된 영상으로부터 관심영역을 지정하는 사용자 입력부를 더 포함하고,
   상기 제어부는
   상기 지정된 관심영역의 실시간 영상 변화량이 제 1 수치 이상일 경우, 날씨 상태가 눈 또는 비인 것으로 감지하며, 상기 제1 수치 미만일 경우 날씨 상태가 안개인 것으로 감지하며,
   상기 지정된 관심영역의 HSL(Hue, Saturation, Value) 히스토그램의 최대 피크(peak)가 생기는 최대피크지점을 더 판단하고, 최대피크지점이 제 2 수치 미만일 경우 안개라고 감지하며, 제 2 수치 이상일 경우, 날씨 상태가 눈 또는 비인 것으로 감지하며,
   실시간 영상 변화량에서 비 또는 눈을 판별하는 임계값인 제 3 수치 미만일 경우 상기 날씨 상태가 눈이라고 감지하고, 상기 제 3 수치 이상일 경우, 상기 날씨 상태가 비인 것으로 감지하며,
   상기 제어부는 날씨의 정상 또는 이상 여부를 입력받도록 마련되며,
   복수 개의 촬영 영상에 대한 날씨의 정상 또는 이상 여부를 입력 받으면, 이러한 입력에 기초하여 날씨 상태에 대한 학습을 수행하고,
   상기 수행에 기초하여, 추가로 입력되는 영상에 대한 날씨의 정상 또는 이상 여부를 스스로 판단하는 것을 특징으로 하는
   기상관측 장치.
9. 제 8 항에 있어서,
   상기 제어부는,
   상기 카메라를 통하여 실시간으로 촬영되는 영상에 대한 차이의 누적값을 계산하고,
   상기 누적값이 소정 임계값 이상일 경우에는 강우 또는 강설로 판단하고, 상기 누적값이 소정 임계값 미만일 경우에는 약우 또는 약설로 단계적인 판단을 수행하는,
   기상관측 장치.
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제

Images