KR101852057B1 - 영상 및 열화상을 이용한 돌발 상황 감지시스템 - Google Patents

영상 및 열화상을 이용한 돌발 상황 감지시스템 Download PDF

Info

Publication number
KR101852057B1
KR101852057B1 KR1020170157270A KR20170157270A KR101852057B1 KR 101852057 B1 KR101852057 B1 KR 101852057B1 KR 1020170157270 A KR1020170157270 A KR 1020170157270A KR 20170157270 A KR20170157270 A KR 20170157270A KR 101852057 B1 KR101852057 B1 KR 101852057B1
Authority
KR
South Korea
Prior art keywords
module
image
detected
data
unexpected
Prior art date
Application number
KR1020170157270A
Other languages
English (en)
Inventor
정준호
안정환
김지태
Original Assignee
주식회사 아이티아이비전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티아이비전 filed Critical 주식회사 아이티아이비전
Priority to KR1020170157270A priority Critical patent/KR101852057B1/ko
Application granted granted Critical
Publication of KR101852057B1 publication Critical patent/KR101852057B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/001—Alarm cancelling procedures or alarm forwarding decisions, e.g. based on absence of alarm confirmation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라 및 열화상 카메라를 이용하여 객체 검출 및 트랙킹을 수행함으로써 단일 카메라로 구동될 때 감지가 불가능한 객체들의 감지가 가능해져 감지율을 현저히 높일 수 있을 뿐만 아니라 수집되는 데이터의 양이 방대하여 돌발 상황 발생여부에 대한 판단의 정확성 및 신뢰도를 높일 수 있고, 시계 상태에 따라 기준영상이 결정되도록 구성되어 기준영상이 아닌 다른 영상의 객체를 기준영상에 표시하여 통합영상을 생성하도록 구성됨으로써 영상을 통해 정보를 효율적으로 제공할 수 있으며, 돌발 상황 관리부가 최종객체의 궤적을 추적하여 안개여부, 차량사고, 결빙, 역주행, 낙하물, 불법주정차, 서행차량, 보행자 등을 판단하여 이들 중 어느 하나에 이벤트가 발생되는 경우 돌발 상황이 발생되었다는 돌발 상황 발생데이터를 생성하도록 구성됨으로써 방대한 수집데이터를 활용하여 돌발 상황을 신속하고 정확하게 판별할 수 있는 돌발 상황 감지시스템에 관한 것이다.

Description

영상 및 열화상을 이용한 돌발 상황 감지시스템{unexpected accident detecting system using images and thermo-graphic image}
본 발명은 영상 및 열화상을 이용한 돌발 상황 감지시스템에 관한 것으로서, 상세하게로는 가시광 카메라 및 열화상 카메라를 이용하여 오브젝트 트랙킹(Object tracking)을 수행함으로써 열약한 시계환경에서도 오브젝트를 정확하게 검출함과 동시에 수집되는 데이터가 방대하여 감지율을 높일 수 있고, 돌발 상황 발생여부에 대한 판단의 정확성 및 신뢰도를 높일 수 있는 돌발 상황 감지시스템에 관한 것이다.
최근 정보통신 기술이 발달하고 텔레매틱스 기기의 보급 및 유비쿼터스 환경이 구축됨에 따라 지능형 교통시스템(ITS, Intelligent Transportation System)이 연구되어 널리 사용되고 있다.
이러한 지능형 교통시스템(ITS)은 1차적으로 차량에 관한 다양한 데이터들을 수집한 후 수집된 방대한 데이터들을 분석 및 가공하여 돌발 상황 발생여부를 판단함과 동시에 교통정보를 생성하도록 구성되기 때문에 차량에 관한 데이터들을 얼마나 정확하게 수집할 수 있는지에 따라 지능형 교통시스템(ITS)의 성능, 신뢰도 및 정확성이 결정되고, 이에 따라 차량 감지의 정확성 및 효율성을 높이기 위한 다양한 연구가 진행되고 있다.
일반적으로 지능형 교통시스템(ITS)에 있어서, 감지 영역을 모니터링하면서 이벤트 발생여부를 판단하기 위한 목적으로 가시광 카메라가 널리 사용되고 있다.
그러나 가시광 카메라는 직사광선의 유입, 빛의 산란, 부족한 광량 및 조도 등의 다양한 원인으로 인해 객체(Object)를 검출하지 못하여 신뢰도가 떨어지는 구조적 한계를 갖는다.
이에 따라 열약한 시계환경에서 소망의 목적을 수행하지 못하는 가시광 카메라의 문제점을 해결하기 위하여 적외선 카메라, 열화상 카메라 등과 같은 특수카메라에 대한 연구가 다양하게 진행되고 있다.
도 1은 국내등록특허 제10-1370627호(발명의 명칭 : 열화상 카메라를 이용한 차량 정보 인식 방법 및 장치)에 개시된 열화상 카메라를 이용한 차량 정보 인식 방법을 나타내는 순서도이다.
도 1의 열화상 카메라를 이용한 차량 정보 인식 방법(이하 종래기술이라고 함)(S900)은 열화상 카메라가 상기 열화상 카메라를 장착한 차량의 온도를 감지하는 차량 온도 감지단계(S910)와, 차량 온도 감지단계(S910)에 의해 감지된 온도에 따른 열화상 이미지를 생성하는 열화상 이미지 생성단계(S920)와, 열화상 이미지 생성단계(S920)에 의해 생성된 열화상 이미지를 기 설정된 패턴과 비교하는 패턴 비교단계(S930)와, 패턴 비교단계(S930)를 통해 차량의 주행 정보를 인식하되 열화상 이미지가 기 설정된 주행패턴의 임계값 이상이면 가속, 급발진 및 급정지 중 적어도 하나를 차량의 주행정보로 판단하여 주행정보에 대응하는 주행방법을 제공하는 주행방법 제공단계(S940)로 이루어진다.
이와 같이 구성되는 종래기술(S900)은 열화상 카메라를 이용하여 차량의 온도를 감지하고, 감지한 온도를 기반으로 차량의 주행정보를 생성함으로써 추가적인 장치 또는 시스템을 설치하지 않아도 가능하여 비용을 절감시킬 수 있으며, 안개 등과 같이 시계가 확보되지 않은(불안정한) 환경에서도 차량 주행정보를 생성할 수 있는 장점을 갖는다.
그러나 종래기술(S900)은 단일 열화상 카메라만을 이용하여 차량 온도를 측정하여 객체(Object)를 시각적으로 보여주도록 구성되었기 때문에 일반카메라를 통해 획득될 수 있는 다양한 정보를 수집하지 못하는 구조적 한계를 갖는다.
또한 종래기술(S900)은 열화상 카메라가 차량 온도를 이용하여 차량객체만을 검출하도록 구성되었기 때문에 노면상태 등의 주변 환경에 대한 정보는 획득할 수 없어 한정된 데이터만을 수집하여 정보의 정확성 및 신뢰도가 떨어지는 단점을 갖는다.
본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 카메라 및 열화상 카메라를 이용하여 객체 검출 및 트랙킹을 수행함으로써 단일 카메라로 구동될 때 감지가 불가능한 객체들의 감지가 가능해져 감지율을 현저히 높일 수 있을 뿐만 아니라 수집되는 데이터의 양이 방대하여 돌발 상황 발생여부에 대한 판단의 정확성 및 신뢰도를 높일 수 있는 돌발 상황 감지시스템을 제공하기 위한 것이다.
또한 본 발명의 다른 해결과제는 시계 상태에 따라 기준영상이 결정되도록 구성되고, 기준영상이 아닌 다른 영상의 객체를 기준영상에 표시하여 통합영상을 생성하도록 구성됨으로써 영상을 통해 정보를 효율적으로 제공할 수 있는 돌발 상황 감지시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 돌발 상황 관리부가 최종객체의 궤적을 추적하여 안개여부, 차량사고, 결빙, 역주행, 낙하물, 불법주정차, 서행차량, 보행자 등을 판단하여 이들 중 어느 하나에 이벤트가 발생되는 경우 돌발 상황이 발생되었다는 돌발 상황 발생데이터를 생성하도록 구성됨으로써 방대한 수집데이터를 활용하여 돌발 상황을 신속하고 정확하게 판별할 수 있는 돌발 상황 감지시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 통합영상 생성 시 촬영영상 분석부 및 열화상 분석부에 의해 검출된 모든 객체들을 전시하되, 각 객체의 온도가 표시되도록 통합영상을 생성함으로써 통합영상을 통한 정보를 더욱 상세하게 제공할 수 있는 돌발 상황 감지시스템을 제공하기 위한 것이다.
상기 과제를 해결하기 위한 본 발명의 해결수단은 기 설정된 감지영역을 촬영하는 카메라부와, 상기 카메라부에 의해 촬영된 영상 분석을 통해 돌발 상황 발생여부를 판단하는 컨트롤러를 포함하며, 도로에 이격되게 설치되는 돌발 상황 감지기들; 기 할당된 돌발 상황 감지기들로부터 데이터를 전송받아 외부로 송출하는 로컬서버들; 상기 로컬서버들로부터 전송받은 영상을 저장 및 모니터링 하는 관제센터서버를 포함하고, 상기 카메라부는 상기 감지영역을 촬영하여 촬영영상을 획득하는 카메라와, 상기 감지영역을 촬영하여 열화상을 획득하는 열화상 카메라를 더 포함하고, 상기 컨트롤러는 테이터들이 저장되는 메모리; 상기 로컬서버와 데이터를 송수신하는 통신 인터페이스부; 상기 카메라에 의해 획득된 촬영영상 및 상기 열화상 카메라에 의해 획득된 열화상의 2차원 이미지와 감지영역을 대응시키기 위한 관계정보인 캘리브레이션 정보를 획득하는 캘리브레이션 처리부; 상기 캘리브레이션 정보를 참조하여 상기 카메라에 의해 획득된 촬영영상을 분석하여 제1 객체를 검출하는 촬영영상 분석부; 상기 캘리브레이션 정보를 참조하여 상기 열화상 카메라에 의해 획득된 열화상을 분석하여 제2 객체를 검출하는 열화상 분석부; 통합영상 생성부를 더 포함하고, 상기 통합영상 생성부는 기 설정된 결정방식을 이용하여 상기 촬영영상 및 상기 열화상 중 어느 하나를 통합영상의 기초로 활용될 기준영상으로 결정하는 기준영상 결정모듈; 상기 캘리브레이션 정보를 참조하여 상기 촬영영상 및 상기 열화상의 공간 관계들 사이의 연관성을 나타내는 정보인 영상매칭정보를 생성하는 영상매칭정보 생성모듈; 상기 촬영영상 분석부에 의해 검출된 제1 객체들과, 상기 열화상 분석부에 의해 검출된 제2 객체들의 위치정보를 비교하며, 만약 기 설정된 임계범위 이내의 위치정보를 갖는 제1 객체 및 제2 객체를 동일한 객체로 판단하여 해당 객체를 최종객체로 판별하고, 만약 기 설정된 임계범위를 벗어난 제1 객체 또는 제2 객체를 최종객체로 판별하는 객체 비교모듈; 상기 기준영상 결정모듈에 의해 결정된 기준영상에, 상기 객체 비교모듈에 의해 최종객체로 판별된 객체들을 표시하며, 표시되는 각 객체에 상기 열화상 분석부에 의해 측정된 온도를 표시하여 통합영상을 생성하는 통합영상 생성모듈을 더 포함하는 것이다.
삭제
또한 본 발명에서 상기 기준영상 결정모듈에 적용되는 상기 결정방식은 광량이 임계치 이상이면 기준영상을 촬영영상으로 결정하되, 광량이 임계치 미만이면 기준영상을 열화상을 결정하는 제1 방식과, 촬영영상의 선명도를 검출한 후 검출된 선명도가 제2 임계치 이상이면 기준영상을 촬영영상으로 결정하되, 검출된 선명도가 제2 임계치 미만이면 기준영상을 열화상으로 결정하는 제2 방식 중 어느 하나인 것이 바람직하다.
또한 본 발명에서 상기 컨트롤러는 돌발 상황 관리부를 더 포함하고, 상기 돌발 상황 관리부는 상기 통합영상 생성부에 의해 생성된 통합영상에 표시된 최종객체들 각각의 위치를 검출하는 최종객체 검출모듈; 상기 최종객체 검출모듈에 의해 검출된 최종객체들 각각의 위치정보를 활용하여 각 최종객체의 궤적을 추적하는 궤적추적모듈; 상기 궤적추적모듈에 의해 검출된 궤적정보를 이용하여 돌발 상황 발생여부를 판단하는 판단모듈; 상기 판단모듈에 의해 돌발 상황이 발생되었다고 판단될 때 구동되어 돌발 상황에 관련된 내용, 위치정보를 포함하는 돌발상황 발생데이터를 생성하는 돌발상황 발생데이터 생성모듈을 더 포함하고, 상기 컨트롤러는 상기 돌발상황 발생데이터 생성모듈에 의해 돌발상황 발생데이터가 생성되면, 생성된 돌발상황 발생데이터를 상기 관제센터서버로 전송하는 것이 바람직하다.
또한 본 발명에서 상기 판단모듈은 상기 촬영영상 분석부에 의해 검출되는 제1 객체들의 수량(N1) 및 상기 열화상 분석부에 의해 검출되는 제2 객체들의 수량(N2)을 산출한 후 산출된 수량들의 차이절대값이 기 설정된 임계값 미만일 때 감지영역에 안개가 많아 시야가 확보되지 않은 것으로 판단하는 안개여부 판단모듈; 상기 궤적추적모듈에 의해 검출되는 최종객체들의 속도가 줄어들며, 최종객체들 중 어느 하나의 속도가 ‘0’이 될 때 차량사고가 발생하였다고 판단하는 차량사고 판단모듈; 상기 최종객체들 중 상기 열화상 분석부에서만 검출되는 제2 객체이면서 온도가 기 설정된 임계치 미만이며, 움직임이 없는 최종객체를 결빙으로 판단하는 결빙 판단모듈; 동일한 차로에서 이동방향이 반대인 최종객체가 검출되는 경우 해당 최종객체를 역주행 차량으로 판단하는 역주행 판단모듈을 더 포함하고, 상기 돌발상황 발생데이터 생성모듈은 상기 안개여부 판단모듈, 상기 차량사고 판단모듈, 상기 결빙 판단모듈 및 상기 역주행 판단모듈 중 적어도 하나 이상에 이벤트가 발생하는 경우 상기 돌발상황 발생데이터를 생성하는 것이 바람직하다.
또한 본 발명에서 상기 판단모듈은 이전 프레임에는 존재하지 않았던 최종객체가 검출됨과 동시에 속도가 임계치 미만인 경우 해당 최종객체를 낙하물로 판단하는 낙하물 판단모듈; 감지영역 중 기 설정된 갓길에 주정차된 최종객체가 검출되면, 해당 최종객체를 불법주정차 차량으로 판단하는 불법주정차 판단모듈; 최종객체들 중 속도가 임계치 미만이면서 도로를 이동 중인 최종객체를 보행자라고 판단하는 보행자 판단모듈; 최종객체들 중 다른 최종객체들에 비교하여 속도가 작은 최종객체를 서행차량으로 판단하는 서행차량 판단모듈을 더 포함하고, 상기 돌발상황 발생데이터 생성모듈은 상기 낙하물 판단모듈, 상기 불법주정차 판단모듈, 상기 보행자 판단모듈 및 상기 서행차량 판단모듈들 중 적어도 하나 이상에 이벤트가 발생하는 경우 상기 돌발상황 발생데이터를 생성하는 것이 바람직하다.
또한 본 발명에서 각 로컬서버는 상기 기 할당된 돌발 상황 감지기들 각각과의 핑-테스트를 수행하며, 검출된 제1 핑-데이터를 기 설정된 임계범위와 비교하여 검출된 제1 핑-데이터가 상기 임계범위를 벗어나는 경우 통신 장애가 발생하였다고 판단하는 제1 핑-테스트 모듈; 상기 관제센터서버와의 핑-테스틀 수행하며, 검출된 제2 핑-데이터를 상기 임계범위와 비교하여 검출된 제2 핑-데이터가 상기 임계범위를 벗어나는 경우 통신 장애가 발생하였다고 판단하는 제2 핑-테스트 모듈; 상기 제1-핑 테스트 모듈에 의해 장애가 발생되었다고 판단되면 해당 돌발 상황 감지기를 리셋대상으로 결정하고, 상기 제2 핑-테스트 모듈에 의해 장애가 발생되었다고 판단되면 자기 자신을 리셋대상으로 결정하는 리셋대상 결정모듈; 상기 리셋대상 결정모듈에 의해 리셋대상이 자기 자신으로 결정되면, 자기 자신을 리셋 시키는 리셋구동모듈; 상기 리셋대상 결정모듈에 의해 리셋대상이 컨트롤러로 결정되면, 해당 컨트롤러로 장애확인 데이터를 전송하는 제어모듈을 더 포함하고, 상기 컨트롤러는 상기 로컬서버로부터 장애확인 데이터를 전송받으면, 자기 자신을 리셋 시키는 것이 바람직하다.
또한 본 발명에서 상기 관제센터서버는 상기 로컬서버들 각각의 네트워크 상태를 점검하기 위한 핑-테스트를 수행하며, 특정 로컬서버와의 통신장애가 판별되면, 통신장애로 판별된 로컬서버로 장애확인 데이터를 전송하고, 상기 각 로컬서버의 상기 리셋대상 결정모듈은 상기 관제센터서버로부터 장애확인 데이터를 전송받으면, 전송받은 시점부터 기 설정된 임계시간 이전 사이인 탐색주기(T) 동안에 상기 제2 핑-테스트 모듈에 의해 통신장애가 발생된 적이 있었는지를 탐색하며, 만약 탐색주기(T) 동안 상기 제2 핑-테스트 모듈에 의해 통신장애가 발생된 적이 없으면, 리셋대상을 자기 자신으로 결정하는 것이 바람직하다.
상기 과제와 해결수단을 갖는 본 발명에 따르면 카메라 및 열화상 카메라를 이용하여 객체 검출 및 트랙킹을 수행함으로써 단일 카메라로 구동될 때 감지가 불가능한 객체들의 감지가 가능해져 감지율을 현저히 높일 수 있을 뿐만 아니라 수집되는 데이터의 양이 방대하여 돌발 상황 발생여부에 대한 판단의 정확성 및 신뢰도를 높일 수 있다.
또한 본 발명에 의하면 시계 상태에 따라 기준영상이 결정되도록 구성되고, 기준영상이 아닌 다른 영상의 객체를 기준영상에 표시하여 통합영상을 생성하도록 구성됨으로써 영상을 통해 정보를 효율적으로 제공할 수 있게 된다.
또한 본 발명에 의하면 돌발 상황 관리부가 최종객체의 궤적을 추적하여 안개여부, 차량사고, 결빙, 역주행, 낙하물, 불법주정차, 서행차량, 보행자 등을 판단하여 이들 중 어느 하나에 이벤트가 발생되는 경우 돌발 상황이 발생되었다는 돌발 상황 발생데이터를 생성하도록 구성됨으로써 방대한 수집데이터를 활용하여 돌발 상황을 신속하고 정확하게 판별할 수 있게 된다.
또한 본 발명에 의하면 통합영상 생성 시 촬영영상 분석부 및 열화상 분석부에 의해 검출된 모든 객체들을 전시하되, 각 객체의 온도가 표시되도록 통합영상을 생성함으로써 통합영상을 통한 정보를 더욱 상세하게 제공할 수 있다.
도 1은 국내등록특허 제10-1370627호(발명의 명칭 : 열화상 카메라를 이용한 차량 정보 인식 방법 및 장치)에 개시된 열화상 카메라를 이용한 차량 정보 인식 방법을 나타내는 순서도이다.
도 2는 본 발명의 일실시예인 돌발 상황 감지시스템을 나타내는 구성도이다.
도 3은 도 2의 카메라부를 나타내는 사시도이다.
도 4는 도 2의 컨트롤러를 나타내는 블록도이다.
도 5는 도 4의 촬영영상 분석부에 검출되는 제1 객체들을 나타내는 예시도이다.
도 6은 도 4의 열화상 분석부에 의해 검출되는 제2 객체들을 나타내는 예시도이다.
도 7은 도 4의 통합영상 생성부를 나타내는 블록도이다.
도 8은 도 7의 객체보정모듈을 나타내는 블록도이다.
도 9는 안개가 많은 경우 본 발명의 카메라에 의해 획득된 촬영영상을 나타내는 예시도이다.
도 10은 안개가 많은 경우 본 발명의 열화상 카메라에 의해 획득된 열화상을 나타내는 예시도이다.
도 11은 도 4의 돌발 상황 관리부를 나타내는 블록도이다.
도 12는 도 2의 로컬서버를 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.
도 2는 본 발명의 일실시예인 돌발 상황 감지시스템을 나타내는 구성도이다.
본 발명의 일실시예인 돌발 상황 감지시스템(1)은 카메라 및 열화상 카메라를 이용하여 방대한 데이터를 수집하여 교통정보 생성의 다양성 및 돌발 상황 감지율을 획기적으로 높이기 위한 시스템이다.
또한 돌발 상황 감지시스템(1)은 도 2에 도시된 바와 같이, 돌발 상황 감지기(3-1), ..., (3-N)들과, 로컬서버(2-1), ..., (2-N)들, 관제센터서버(5), 통신망(10)으로 이루어진다.
이때 돌발 상황 감지기(3)는 컨트롤러(310) 및 카메라부(330)로 이루어지고, 카메라부(330)는 카메라(331), 열화상 카메라(333) 및 추적카메라(335)로 이루어진다.
또한 도 2에서는 설명의 편의를 위해 도시되지 않았지만, 로컬서버와 해당 로컬서버에게 할당된 돌발 상황 감지기(3)들 사이에는 유무선 통신망(미도시)이 연결되어 데이터통신이 이루어지는 것으로 구성될 수 있다.
또한 로컬서버(2)는 자신에게 할당된 돌발 상황 감지기(3)들과의 통신 장애여부를 판별한 후 만약 통신 장애가 발생되었다고 판단될 때, 해당 돌발 상황 감지기(3)의 서브 통신 인터페이스부로 장애확인 데이터를 전송한다.
이때 돌발 상황 감지기(3)는 두 개의 통신모듈을 구비하되, 주 통신모듈은 데이터송수신에 사용하고, 보조 통신모듈은 로컬서버(2)로부터 장애확인 데이터를 수신 받을 때 사용한다. 그 이유는 돌발 상황 감지기(3)의 주 통신모듈에서 통신 장애가 발생되어 로컬서버(2)가 이를 인지하는 경우, 로컬서버(2)가 통신장애가 발생된 주 통신모듈로 장애확인 데이터를 전송하더라도, 주 통신모듈이 이를 수신 받지 못하는 경우가 발생하기 때문에 본 발명에서는 로컬서버(2)가 장애확인 데이터를 전송할 때, 해당 컨트롤러의 보조 통신모듈로 이를 전송함으로써 로컬서버(2)는 자기 자신에게 통신 장애가 발생되었음을 인지할 수 있게 된다.
통신망(10)은 돌발 상황 감지기(3) 및 관제센터서버(5) 사이의 데이터 이동경로를 제공하며, 광역통신망(WAN), 이동통신망, 유선통신망, LTE 등으로 구성될 수 있다.
관제센터서버(5)는 로컬서버(2-1), ..., (2-N)들로부터 전송받은 촬영영상, 열화상 및 통합영상(촬영영상 및 열화상이 중첩 및 보정된 영상)을 저장함과 동시에 이를 활용하여 모니터링을 수행한다.
또한 관제센터서버(5)는 로컬서버(2-1), ..., (2-N)들로부터 전송받은 교통관련정보를 가공 및 활용하여 교통정보를 생성하며, 생성된 교통정보를 접속된 클라이언트들로 제공한다. 이때 교통관련정보는 돌발 상황 감지기(3)에 의해 검출되는 차량 및 교통상태에 관련된 정보로 정의되고, 교통정보는 접속된 클라이언트에게 제공될 수 있도록 교통관련정보를 가공한 정보로 정의되고, 관제센터서버(5)가 교통정보를 생성하여 요청된 클라이언트로 제공하는 기술 및 과정은 지능형 교통시스템(ITS)에서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.
또한 관제센터서버(5)는 로컬서버(2-1), ..., (2-N)들로부터 특정 돌발 상황 감지기에 의해 돌발 상황이 발생되었다는 돌발 상황 발생데이터를 전송받으면, 해당 장소를 모니터링 함과 동시에 후속 대응이 이루어질 수 있도록 한다.
로컬서버(2-1), ..., (2-N)들은 자신에게 할당된 돌발 상황 감지기(3)들 및 관제센터서버(5) 사이의 데이터통신을 중개한다.
또한 로컬서버(2-1), ..., (2-N)들은 자신에게 할당된 돌발 상황 감지기(3)들 및 자기 자신의 통신장애를 판별하여 통신장애가 발생되었다고 판단되는 경우 해당 장비를 리셋(재부팅) 시킴으로써 통신장애에 대한 신속한 대처가 이루어지도록 한다. 이때 로컬서버의 통신장애판별 과정 및 기술은 후술되는 도 ?에서 상세하게 설명하기로 한다.
돌발 상황 감지기(3)는 도로를 촬영하여 영상(이하 촬영영상이라고 함)을 획득하기 위한 카메라(331) 및 카메라(331)와 동일한 영역을 측정하여 열화상을 획득하는 열화상 카메라(333)를 포함하는 카메라부(330)와, 카메라부(330)로부터 입력받은 촬영영상 및 열화상을 분석하여 객체(Object)를 검출 및 트랙킹(Tracking) 하여 돌발 상황 발생여부를 판별함과 동시에 교통관련정보를 생성하는 컨트롤러(310)로 이루어진다.
이때 교통관련정보는 차량속도, 차간거리, 점유율, 결빙정보, 사고정보 등을 포함한다.
도 3은 도 2의 카메라부의 카메라 및 열화상카메라를 나타내는 사시도이다.
도 3의 카메라부(330)는 본 발명을 설명하기 위해 예를 들어 설명한 것으로서, 카메라부(330)의 구성 및 형상은 도 3에 한정되지 않는다.
카메라부(330)는 도 3에 도시된 바와 같이, 내부에 카메라(331) 및 열화상 카메라(333)를 구동시키기 위한 전기회로 및 소자들이 설치되는 하우징(3300)을 포함한다.
또한 하우징(3300)의 내부에는 카메라(331) 및 열화상 카메라(333)가 설치되되, 카메라(331) 및 열화상 카메라(333)의 렌즈(3303), (3304)들은 하우징(3300)의 전면(3301)에 노출되게 설치된다. 이때 카메라(331)는 통상의 가시광 카메라를 의미하고, 열화상 카메라(333)는 통상의 열화상 카메라를 의미한다.
또한 카메라(331) 및 열화상 카메라(333)는 하우징(3300)의 전면에 수평 방향으로 이격되게 설치됨으로써 동일한 팬-틸트(Pan-Tilt) 각도로 동일한 영역을 촬영할 수 있게 된다.
또한 돌발 상황 감지기(3)는 컨트롤러(310)와 유선 통신망(미도시)으로 연결되어 카메라(331) 및 열화상 카메라(333)에 의해 획득된 촬영영상 및 열화상을 로컬서버(2)로 송출한다.
또한 도 3에는 도시되지 않았지만, 카메라부(330)는 추적카메라(335)를 더 포함하고, 추적카메라(335)는 PTZ(Pan-Tilt-Zoom) 카메라로 이루어져 후술되는 도 4의 컨트롤러(310)의 제어에 따라 구동되어 정밀한 영상판독이 필요한 영역의 확대영상을 획득한다.
또한 추적카메라(335)에 의해 획득된 확대영상은 로컬서버(2)로 입력된다.
이때 본 발명에서는 설명의 편의를 위해 컨트롤러(310)가 카메라부(330)와 분리되어 독립적으로 설치되는 것으로 예를 들어 설명하였으나, 컨트롤러(310)는 카메라부(330)의 하우징(3300)의 내부에 일체형으로 제작될 수 있음은 당연하다.
도 4는 도 2의 컨트롤러를 나타내는 블록도이다.
컨트롤러(310)는 도 4에 도시된 바와 같이, 제어부(30)와, 메모리(31), 통신 인터페이스부(32), 캘리브레이션 처리부(33), 촬영영상 분석부(34), 열화상 분석부(35), 통합영상 생성부(36), 돌발 상황 관리부(37), 추적카메라 제어부(38), 교통관련정보 생성부(39), 보조 통신 인터페이스부(40), 리셋처리부(41)로 이루어진다.
제어부(30)는 컨트롤러(310)의 O.S(Operating System)이며, 제어대상(31), (32), (33), (34), (35), (36), (37), (38), (39)들을 관리 및 제어한다.
또한 제어부(30)는 돌발 상황 감지기(3)의 컨트롤러(310)로부터 촬영영상 및 열화상을 입력받으면, 1)입력된 촬영영상 및 열화상을 메모리(31)에 저장함과 동시에 통신 인터페이스부(32)를 통해 로컬서버(2)로 전송하며, 2)입력된 촬영영상을 캘리브레이션 처리부(33)로 입력한다.
또한 제어부(30)는 캘리브레이션 처리부(33)에 의해 생성된 캘리브레이션 정보를 촬영영상 분석부(34) 및 열화상 분석부(35)로 입력한다.
또한 제어부(30)는 촬영영상 분석부(34) 및 열화상 분석부(35)에 의해 검출된 분석데이터를 통합영상 생성부(36)로 입력한다.
또한 제어부(30)는 통합영상 생성부(36)에 의해 생성된 통합영상을 메모리(31)에 저장함과 동시에 통합영상 생성부(36)로 입력한다.
또한 제어부(30)는 통합영상 생성부(36)에 의해 생성된 통합영상을 돌발 상황 관리부(37) 및 교통관련정보 생성부(39)로 입력한다.
또한 제어부(30)는 교통관련정보 생성부(39)에 의해 생성되는 교통관련정보와, 돌발 상황 관리부(37)에 의해 생성되는 돌발상황 발생데이터를 메모리(31)에 저장함과 동시에 통신 인터페이스부(32)를 통해 로컬서버(2)로 전송한다.
또한 제어부(30)는 서브 통신 인터페이스부(40)를 크롤링(Crawling) 하여 로컬서버(2)로부터 장애확인 데이터를 전송받으면, 리셋처리부(40)를 구동시킨다.
로컬서버(2)로부터 장애확인 데이터를 전송받으면, 리셋처리부(40)를 구동시킨다. 이때 리셋처리부(4)를 제어부(30)를 통해 장애확인 데이터를 전송받으면, 해당 컨트롤러(310)를 리셋(재부팅) 시킴으로써 통신장애에 대한 신속한 대처가 이루어지도록 한다.
메모리(31)에는 기 설정된 영상분석 알고리즘과, 기 설정된 열화상 분석 알고리즘이 저장된다. 이때 영상분석 알고리즘은 촬영영상으로부터 차량 및 보행자 등의 객체(Object)를 검출하기 위한 알고리즘이고, 열화상 분석 알고리즘은 열화상으로부터 객체를 검출하기 위한 알고리즘이다.
또한 메모리(31)에는 카메라(331)에 의해 촬영된 촬영영상과, 열화상 카메라(333)에 의해 획득된 열화상이 임시 저장된다.
또한 메모리(31)에는 추적카메라(335)에 의해 획득된 확대영상이 임시 저장된다.
또한 메모리(31)에는 교통관련정보 생성부(39)에 의해 생성되는 교통관련정보와, 돌발 상황 관리부(37)에 의해 생성되는 돌발상황 발생데이터가 저장된다.
또한 메모리(31)에는 해당 컨트롤러(310)의 통신식별ID 및 위치정보가 저장된다.
통신 인터페이스부(32)는 유무선통신망(미도시)에 접속하여 로컬서버(2)와 데이터를 송수신한다.
캘리브레이션 처리부(33)는 입력된 촬영영상 및 열화상에 대한 캘리브레이션의 수행결과에 따른 파라미터 등의 정보를 통해 영상의 2차원 이미지와 감시 공간을 대응시키기 위한 관계정보로 정의되는 캘리브레이션 정보를 획득한다.
다시 말하면, 캘리브레이션 처리부(33)는 각 카메라(331), (333)들을 통해 획득된 촬영영상 및 열화상의 이미지를 기준으로 3차원 개체 및 3차원 공간의 조절을 통해 실제 영상 이미지의 지면과 영상에 오버레이 방식으로 지면에 해당하는 그리드를 일치시킬 수 있으며, 3차원 개체 조절을 통해 영상 이미지의 상이한 위치에 존재하는 대상들과 일치시킴으로써 실제 공간과 유사한 공간에 대한 모델링이 가능해지며, 이는 곧 영상에 표시되는 오브젝트의 크기와 위치, 속도 등을 실제와 유사한 값으로 확인할 수 있게 됨을 의미한다.
또한 캘리브레이션 처리부(33)에 의해 획득된 캘리브레이션 정보는 촬영영상 분석부(34) 및 열화상 분석부(35)로 입력된다.
도 5는 도 4의 촬영영상 분석부에 검출되는 제1 객체들을 나타내는 예시도이고, 도 6은 도 4의 열화상 분석부에 의해 검출되는 제2 객체들을 나타내는 예시도이다.
촬영영상 분석부(34)는 제어부(30)의 제어에 따라 카메라(331)에 의해 촬영된 촬영영상을 입력받으며, 캘리브레이션 처리부(33)로부터 캘리브레이션 정보를 입력받는다.
또한 촬영영상 분석부(34)는 기 설정된 영상분석 알고리즘을 이용함과 동시에 입력된 캘리브레이션 정보를 참조하여 촬영영상으로부터 차량, 보행자 및 낙하물(물체) 등의 제1 객체(Object)를 검출한다.
즉 촬영영상 분석부(34)는 도 5에 도시된 바와 같이, 입력된 촬영영상을 분석하여 영상 프레임(100) 내 차량, 보행자, 낙하물 등의 제1 객체(101)들을 검출한다.
열화상 분석부(35)는 제어부(30)의 제어에 따라 열화상 카메라(333)에 의해 획득된 열화상을 입력받으며, 캘리브레이션 처리부(33)로부터 캘리브레이션 정보를 입력받는다.
또한 열화상 분석부(35)는 기 설정된 열화상 분석 알고리즘을 이용함과 동시에 입력된 캘리브레이션 정보를 참조하여 열화상으로부터 차량, 보행자 및 결빙구간 등의 제2 객체를 검출한다.
이때 만약 노면에 결빙구간이 형성되는 경우, 본 발명의 열화상 분석부(35)는 온도측정을 이용하여 객체를 검출하기 때문에 촬영영상 분석부(34)에서는 검출할 수 없는 결빙 구간의 검출이 가능하게 된다.
즉 열화상 분석부(35)는 도 6에 도시된 바와 같이, 입력된 열화상을 분석하여 열화상 프레임(200) 내 차량, 보행자 및 결빙 등을 나타내는 제2 객체(201)를 검출할 수 있다.
이와 같이 본 발명의 촬영영상 분석부(34) 및 열화상 분석부(35)는 1)차량 및 보행자 등의 객체를 중복하여 검출할 수 있기 때문에 감지율 및 정확성을 개선시킬 수 있으며, 2)촬영영상 분석부(34)에 의해 검출될 수 없는 결빙 등의 객체가 열화상 분석부(35)에 의해 검출 가능함과 동시에 열화상 분석부(35)에 의해 검출될 수 없는 낙하물 등의 객체가 촬영영상 분석부(34)에 의해 검출 가능하기 때문에 상호 단점을 보완하여 감지율을 현저히 높일 수 있다.
도 7은 도 4의 통합영상 생성부를 나타내는 블록도이다.
통합영상 생성부(36)는 도 7에 도시된 바와 같이, 기준영상 결정모듈(361)과, 영상매칭정보 생성모듈(362), 객체 비교모듈(363), 통합영상 생성모듈(364), 객체보정모듈(365)로 이루어진다.
기준영상 결정모듈(361)은 기 설정된 결정방식을 이용하여 통합영상 생성모듈(364)에 의해 생성되는 통합영상의 기초로 활용될 기준영상을 촬영영상으로 할 것인지 또는 열화상으로 할 것인지를 결정한다.
예를 들어, 기 설정된 결정방식은 광량이 임계치 이상이면 기준영상을 촬영영상으로 결정하되, 광량이 임계치 미만이면 기준영상을 열화상으로 결정하는 제1 방식으로 구성될 수 있고, 다른 예로 기 설정된 결정방식은 촬영영상의 선명도를 검출한 후 검출된 선명도가 임계치 이상이면 기준영상을 촬영영상으로 결정하되, 선명도가 임계치 미만이면 기준영상을 열화상으로 결정하는 제2 방식으로 구성될 수 있다.
또한 기준영상 결정모듈(361)은 결정된 기준영상 정보를 통합영상 생성모듈(364)로 입력한다.
영상매칭정보 생성모듈(362)은 입력된 캘리브레이션 정보를 참조하여 기준영상으로 결정된 영상과 기준영상이 아닌 영상의 감시공간을 매개로 상호 매칭시킬 수 있는 영상매칭정보를 생성한다.
이때 영상매칭정보는 촬영영상 및 열화상의 공간 관계들 사이의 연관성을 나타내는 정보로 정의된다.
객체비교모듈(363)은 전술하였던 도 5의 촬영영상 분석부(34)에 의해 검출된 제1 객체(101)들과, 도 6의 열화상 분석부(35)에 의해 검출된 제2 객체(201)들의 위치정보를 비교하며, 상세하게로는 제1 객체(101)들의 위치정보 및 제2 객체(201)들의 위치정보들을 비교하여 임계범위 이내의 위치정보를 갖는 객체들을 동일한 객체로 판별한다.
또한 객체 비교모듈(363)은 만약 열화상 분석부(35)에서는 검출되지 않되, 촬영영상 분석부(34)에서만 검출되는 객체가 존재하는 경우, 해당 제1 객체(101)를 최종 객체로 결정한다.
또한 객체 비교모듈(363)은 만약 촬영영상 분석부(34)에서는 검출되지 않되, 열화상 분석부(35)에서만 검출되는 객체가 존재하는 경우 해당 제2 객체(201)를 최종 객체로 결정한다.
통합영상 생성모듈(364)은 기준영상 결정모듈(361)에 의해 결정된 기준영상에, 객체 비교모듈(363)에 의해 최종객체로 판별된 객체들을 표시하며, 표시되는 각 객체에 열화상 분석부에 의해 측정된 온도값을 표시, 상세하게로는 해당 객체의 열화상 이미지를 기준영상에 선형적으로 매칭시킨다.
즉 통합영상 생성모듈(364)에 의해 생성되는 통합영상은 기준영상에, 촬영영상 분석부(34) 및 열화상 분석부(35)에 의해 검출된 모든 객체들을 전시함과 동시에 각 객체의 온도가 함께 디스플레이 되게 된다.
도 8은 도 7의 객체보정모듈을 나타내는 블록도이다.
객체보정모듈(364)은 통합영상 생성모듈(364)에 의해 생성되는 통합영상의 최종객체를 보정하는 기능을 수행한다.
또한 객체보정모듈(364)은 도 8에 도시된 바와 같이, 평활화모듈(3641)과, 해상도보정모듈(3642), 매핑모듈(3643)로 이루어진다.
평활화모듈(3641)은 통합영상 생성모듈(364)에 의해 생성되는 통합영상에서, 최종객체의 열화상이미지와 촬영영상의 해상도 차이에 의해 생성되는 블록화현상을 제거하도록 평활화를 수행한다.
해상도보정모듈(3642)은 평활화모듈(3641)에 의해 블록화 현상이 제거된 열화상 이미지의 해상도를, 촬영영상의 해상도로 변환시킴으로써 해상도 차이로 인해 열화상 이미지의 가시성이 떨어지는 문제점을 획기적으로 해결하였다.
매핑모듈(3643)은 해상도보정모듈(3642)에 의해 고해상도로 변환된 최종객체를 기준영상에 매핑시킨다.
도 9는 안개가 많은 경우 본 발명의 카메라에 의해 획득된 촬영영상을 나타내는 예시도이고, 도 10은 안개가 많은 경우 본 발명의 열화상 카메라에 의해 획득된 열화상을 나타내는 예시도이다.
도 9에 도시된 바와 같이, 안개가 많은 경우, 카메라(331)에 의해 획득되는 촬영영상(100)에서는 시야가 확보되지 않아 촬영영상 분석부(34)가 해당 촬영영상을 분석하더라도 아무런 객체를 검출하지 못하거나 또는 일부 객체만을 검출하게 되는 장애가 발생하게 된다.
그러나 열화상 카메라는 도 10에 도시된 바와 같이, 동일한 환경에서 열화상 분석부(35)가 해당 열화상(200)을 분석하여 제2 객체(201)들을 검출할 수 있게 된다.
이에 따라 객체 비교모듈(363)은 안개가 많은 경우라도, 열화상 분석부(35)에 의해 검출된 제2 객체를 최종객체로 결정하고, 통합영상 생성모듈(365)이 최종객체들 각각이 표시되는 통합영상을 생성할 수 있게 된다.
도 11은 도 4의 돌발상황 관리부를 나타내는 블록도이다.
돌발 상황 관리부(37)는 통합영상 생성부(36)에 의해 생성된 통합영상을 분석하여 돌발 상황이 발생되었는지를 판별한 후 돌발 상황이 발생되었다고 판단될 때 돌발상황 발생데이터를 생성한다. 이때 돌발 상황 관리부(37)에 의해 생성된 돌발상황 발생데이터는 제어부(30)의 제어에 따라 통신 인터페이스부(32)를 통해 관리서버(5)로 전송됨과 동시에 메모리(31)에 저장된다.
또한 돌발 상황 관리부(37)는 도 11에 도시된 바와 같이, 최종객체 검출모듈(371)과, 궤적추적모듈(372), 안개여부 판단모듈(373), 차량사고 판단모듈(374), 결빙 판단모듈(375), 역주행 판단모듈(376), 낙하물 판단모듈(377), 불법주정차 판단모듈(378), 보행자 판단모듈(379), 서행차량 판단모듈(380), 돌발 상황 발생데이터 생성모듈(381)로 이루어진다.
최종객체 검출모듈(371)은 통합영상 생성부(36)에 의해 생성된 최종객체들 각각의 위치정보를 검출한다.
궤적추적모듈(372)은 최종객체 검출모듈(371)에 의해 검출된 최종객체들 각각의 위치정보를 활용하여 각 최종객체의 궤적을 추적한다.
안개여부 판단모듈(373)은 촬영영상 분석부(34)에 의해 검출되는 제1 객체들의 수량(N1) 및 열화상 분석부(35)에 의해 검출되는 제2 객체들의 수량(N2)을 산출한 후 산출된 수량들의 차이절대값이 기 설정된 임계치 미만일 때 해당 영역에 안개가 많아 시야가 확보되지 않은 것으로 판단한다.
또한 만약 안개여부 판단모듈(373)에 의해 해당 영역에 안개가 발생하였다고 판단되면, 제어부(30)의 제어에 따라 돌발상황 발생데이터 생성모듈(381)이 구동된다.
차량사고 판단모듈(374)은 궤적추적모듈(372)에 의해 검출된 각 최종객체의 궤적정보를 분석하여 차량사고가 발생되었는지를 판단한다.
이때 차량사고 판단모듈(374)은 검출된 최종객체들의 속도가 점차 낮아지다가 ‘0’이 됨과 동시에 후속 최종객체들의 속도가 정차하는 경우 차량사고가 발생하였다고 판단할 수 있다.
또한 만약 차량사고 판단모듈(374)에 의해 차량 사고가 발생하였다고 판단되면, 제어부(30)의 제어에 따라 돌발상황 발생데이터 생성모듈(381)이 구동된다.
결빙 판단모듈(375)은 촬영영상 분석부(34)에서는 검출되지 못하고 열화상 분석부(35)에 의해서만 검출되는 제2 객체들 중 온도가 임계치 미만이면서 움직임이 없는 경우, 해당 제2 객체를 결빙으로 판단한다.
또한 결빙 판단모듈(375)에 의해 노면에 결빙이 형성되었다고 판단되면, 제어부(30)의 제어에 따라 돌발상황 발생데이터 생성모듈(381)이 구동된다.
역주행 판단모듈(376)은 궤적추적모듈(372)에 의해 검출된 궤적정보를 분석하여 동일한 차선 상에서 이동방향이 반대인 최종객체가 검출되는 경우 해당 최종객체를 역주행 차량이라고 판단한다.
또한 만약 역주행 판단모듈(376)에 의해 역주행 차량이 검출되면, 제어부(30)의 제어에 따라 돌발상황 발생데이터 생성모듈(381)이 구동된다.
낙하물 판단모듈(377)은 궤적추적모듈(372)에 의해 검출된 궤적정보를 분석하여 이전 프레임 상에는 존재하지 않았던 최종객체가 검출된 이후 해당 최종 객체의 속도가 임계치 미만인 경우 도로에 낙하물이 떨어졌다고 판단한다.
불법주정차 판단모듈(378)은 궤적추적모듈(372)에 의해 검출된 궤적정보를 분석하여 불법주정차 차량을 검출한다.
또한 불법주정차 판단모듈(378)에 의해 불법주정차 차량이 검출되면, 제어부(30)의 제어에 따라 돌발상황 발생데이터 생성모듈(381)이 구동된다.
보행자 판단모듈(379)은 궤적추적모듈(372)에 의해 검출된 궤적정보를 분석하여 도로 상에 보행자가 존재하는지를 판단한다.
이때 보행자 판단모듈(379)은 검출된 최종객체들 중 속도가 임계치 미만이면서 도로 상에 위치한 최종객체를 보행자라고 판단한다.
또한 만약 보행자 판단모듈(379)에 의해 보행자가 검출되면, 제어부(30)의 제어에 따라 돌발상황 발생데이터 생성모듈(381)이 구동된다.
서행차량 판단모듈(380)은 궤적추적모듈(372)에 의해 검출된 궤적정보를 분석하여 서행차량을 검출한다.
이때 서행차량 판단모듈(380)은 검출된 최종객체들 중 다른 차량객체들에 비교하여 속도가 작은 차량을 서행차량이라고 판단한다.
또한 만약 서행차량 판단모듈(380)에 의해 서행차량이 검출되면, 제어부(30)의 제어에 따라 돌발상황 발생데이터 생성모듈(381)이 구동된다.
돌발상황 발생데이터 생성모듈(381)은 안개여부 판단모듈(373), 차량사고 판단모듈(374), 결빙 판단모듈(375), 역주행 판단모듈(376), 낙하물 판단모듈(377), 불법주정차 판단모듈(378), 보행자 판단모듈(379) 및 서행차량 판단모듈(380) 중 적어도 하나 이상에 감지대상이 검출되는 경우 구동된다.
또한 돌발상황 발생데이터 생성모듈(381)은 구동 시 돌발 상황에 관련된 내용정보, 통합영상 프레임, 위치정보를 포함하는 돌발상황 발생데이터를 생성한다.
또한 돌발상황 발생데이터 생성모듈(381)에 의해 생성되는 돌발상황 발생데이터는 제어부(30)의 제어에 따라 관제센터서버(5)로 전송된다.
추적카메라 제어부(38)는 돌발 상황 관리부(37)에 의해 돌발상황 발생데이터가 생성될 때 구동되며, 돌발 상황이 발생되는 위치로 추적카메라(335)의 PTZ(Pan-Tilt-Zoom)를 제어하여 돌발 상황이 발생된 영역에 대한 확대영상을 획득하도록 한다.
또한 추적카메라 제어부(38)의 제어에 따라 추적카메라(335)에 의해 획득된 영상은 메모리(31)에 저장됨과 동시에 관제센터서버(5)로 전송된다.
교통관련정보 생성부(39)는 통합영상 생성부(36)의 최종객체들의 위치정보를 분석하여 차량속도, 차종, 차간거리, 사고정보, 점유율, 정체율 등의 교통관련정보를 생성한다.
또한 교통관련정보 생성부(39)에 의해 생성되는 교통관련정보는 제어부(30)의 제어에 따라 관제센터서버(5)로 전송된다.
서브 통신 인터페이스부(40)는 로컬서버(2)로부터 장애확인 데이터를 수신 받는다.
즉 본 발명의 돌발 상황 감지기(3)는 로컬 서버(2)로 영상을 포함하는 데이터를 전송할 때, 통신 인터페이스부(32)를 사용하되, 로컬 서버(2)로부터 전송되는 장애확인 데이터는 서브 통신 인터페이스부(40)를 통해 수신 받음으로써 리셋을 통해 통신 인터페이스부(32)의 통신 장애를 신속하게 대처할 수 있게 된다.
리셋처리부(41)는 서브 통신 인터페이스부(40)를 통해 로컬서버(2)로부터 장애확인 데이터를 전송받을 때 구동되며, 해당 컨트롤러(310)의 전원을 제어하여 컨트롤러(310)를 리셋(재부팅) 시킨다.
즉 리셋제어부(40)는 서브 통신 인터페이스부(40)를 통해 로컬서버(2)로부터 장애확인 데이터를 전송받은 경우, 해당 컨트롤러(310)를 리셋 시킴으로써 컨트롤러(310)의 통신 장애 발생 시 신속한 대처가 이루어지도록 한다.
도 12는 도 2의 로컬서버를 나타내는 블록도이다.
로컬서버(2)는 도 12에 도시된 바와 같이, 제어모듈(20)과, 메모리(21), 통신 인터페이스모듈(22), 제1 핑-테스트모듈(23), 제2 핑-테스트모듈(24), 리셋대상 결정모듈(25), 리셋구동모듈(26), 점검모듈(27)로 이루어진다.
제어모듈(20)은 통신 인터페이스모듈(22)을 통해 할당된 돌발 상황 감지기(3)들의 컨트롤러(310)로부터 데이터를 전송받으면, 통신 인터페이스모듈(22)을 제어하여 전송받은 데이터가 관제센터서버(5)로 전송되도록 한다.
또한 제어모듈(20)은 제1 핑-테스트 모듈(23)에 의해 장애가 발생되었다고 판단되면, 리셋대상 결정모듈(25)을 구동시킨다.
또한 제어모듈(20)은 제2 핑-테스트 모듈(24)에 의해 장애가 발생되었다고 판단되면, 리셋대상 결정모듈(25)을 구동시킨다.
또한 제어모듈(20)은 리셋대상 결정모듈(25)에 의해 리셋대상이 할당된 돌발 상황 감지기(3)들 중 어느 하나로 결정되면, 해당 돌발 상황 감지기(3)의 서브 통신 인터페이스부(40)로 장애확인 데이터가 전송되도록 통신 인터페이스모듈(22)을 제어한다. 이때 돌발 상황 감지기(3)의 컨트롤러(310)는 서브 통신 인터페이스부(40)를 통해 로컬서버(2)로부터 장애확인 데이터를 전송받으면, 리셋처리부(41)를 구동시킴으로써 해당 컨트롤러(310)의 통신 장애를 신속하게 정상 상태로 복구하도록 한다.
또한 제어모듈(20)은 리셋대상 결정모듈(25)에 의해 리셋대상이 자기 자신으로 결정되면, 리셋구동모듈(26)을 제어하여 로컬서버(2)가 리셋 되도록 한다.
또한 제어모듈(20)은 통신 인터페이스모듈(22)을 통해 관제센터서버(5)로부터 장애확인 데이터를 전송받으면, 전송받은 장애확인 데이터를 리셋대상 결정모듈(25)로 입력한다.
메모리(21)에는 제1 핑-테스트 모듈(23) 및 제2 핑-테스트 모듈(24)에서 이루어지는 핑-테스트(Ping-test)를 수행하기 위한 핑-테스트 알고리즘이 저장된다.
제1 핑-테스트 모듈(23)은 기 설정된 핑-테스트 알고리즘을 활용하여 돌발 상황 감지기(3)들의 컨트롤러(310)들과의 네트워크 상태를 확인하기 위한 핑-테스트를 수행한다. 이때 핑(Ping)은 특정 컴퓨터에게 일정한 테스트 데이터를 보내어 상대방 컴퓨터의 정상 동작 여부를 테스트할 수 있는 유닉스(Unix) 명령어이고, 이러한 핑-테스트는 네트워크 시스템에서 네트워크 상태를 점검하기 위한 방식으로 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.
또한 제1 핑-테스트 모듈(23)은 검출된 제1 핑-데이터를 기 설정된 임계범위에 비교하며, 만약 검출된 제1 핑-데이터가 임계범위에 포함되는 경우 해당 돌발 상황 감지기(3)에서 통신장애가 발생하지 않았다고 판단하되, 만약 검출된 제1 핑-데이터가 임계범위를 벗어나는 경우 통신장애가 발생하였다고 판단한다.
또한 제1 핑-테스트 모듈(23)은 통신장애가 발생하였다고 판단될 때, 판단된 결과값을 리셋대상 결정모듈(25)로 입력한다.
제2 핑-테스트 모듈(24)은 기 설정된 핑-테스트 알고리즘을 활용하여 관제센터서버(5)와의 네트워크 상태를 확인하기 위한 핑-테스트를 수행한다.
또한 제2 핑-테스트 모듈(24)은 검출된 제2 핑-데이터를 기 설정된 임계범위에 비교하며, 만약 검출된 제2 핑-데이터가 임계범위에 포함되는 경우 자기 자신의 통신상태가 정상적으로 이루어지고 있다고 판단하되, 만약 검출된 제2 핑-데이터가 임계범위를 벗어나는 경우 자기 자신에게 통신장애가 발생하였다고 판단한다.
또한 제2 핑-테스트 모듈(24)은 통신장애가 발생하였다고 판단될 때, 판단된 결과값을 리셋대상 결정모듈(25)로 입력한다.
리셋대상 결정모듈(25)은 제1 핑-테스트 모듈(23)로부터 장애가 발생되었다고 판단되면, 해당 돌발 상황 감지기(3)의 컨트롤러(310)를 리셋대상으로 결정한다.
이때 제어모듈(20)은 리셋대상 결정모듈(25)에 의해 리셋대상으로 결정된 컨트롤러(310)의 서브 통신 인터페이스부(40)로 장애확인 데이터를 전송하고, 해당 컨트롤러(310)는 서브 통신 인터페이스부(40)를 통해 로컬서버(2)로부터 장애확인 데이터를 전송받으면, 리셋을 수행함으로써 통신 장애에 대한 신속한 대처가 이루어질 수 있게 된다.
또한 리셋대상 결정모듈(25)은 제2 핑-테스트 모듈(24)로부터 장애가 발생되었다고 판단되면, 자기 자신인 로컬서버(2)를 리셋대상으로 결정하며, 리셋구동모듈(26)을 구동시킨다.
즉 리셋대상 결정모듈(25)은 만약 제1 핑-테스트 모듈(23)에 의해 통신장애가 발생되었다고 판단되는 경우, 리셋대상을 해당 돌발 상황 감지기93)로 결정하고, 만약 제2 핑-테스트 모듈(24)에 의해 통신장애가 발생되었다고 판단되는 경우, 리셋대상을 자기 자신(로컬서버(2))으로 결정한다.
또한 리셋대상 결정모듈(25)은 통신 인터페이스모듈(21)을 통해 관제센터서버(5)로부터 장애확인 데이터를 입력받으면, 입력된 시점부터 기 설정된 임계시간 이전 사이인 탐색주기(T) 동안 제2 핑-테스트 모듈(24)에 의해 자기 자신에게 장애가 발생되었다고 판단된 적이 있는지를 비교한다.
또한 리셋대상 결정모듈(25)은 만약 탐색주기(T) 동안 제2 핑-테스트 모듈(24)에 의해 장애가 발생되었다고 판단된 적이 있으면, 별도의 동작을 수행하지 않고, 만약 탐색주기(T) 동안 제2 핑-테스트 모듈(24)에 의해 장애가 발생되었다고 판단된 적이 없으면, 리셋대상을 자기 자신(로컬서버(2))으로 결정한다.
즉 본 발명의 돌발 상황 감지시스템은 통신 장애를 판별하기 위한 핑-테스트가 로컬서버(2) 및 관제센터서버(5)에서 2중으로 통신장애 여부 판단의 정확성 및 신뢰도를 높임과 동시에 만약 동일한 통신상태에 대하여 로컬서버(2)에서는 통신 장애를 검출하지 못하되, 관제센터서버(5)에서만 통신 장애가 검출되는 경우 장애여부 판단의 정확성 및 신뢰도를 높임과 동시에 만약 동일한 통신상태에 대하여 로컬서버(2)에서는 통신장애를 검출하지 못하되, 관제센터서버(5)에서만 장애가 검출되는 경우 로컬서버(2)에 일시적인 부하가 발생하였다고 판단하여 로컬서버(2)를 리셋(재부팅) 시킴으로써 부하로 인한 장애를 해결할 수 있게 된다.
리셋구동모듈(26)은 리셋대상 결정모듈(25)에 의해 결정된 리셋대상이 자기 자신(로컬서버(2))이면 자기 자신을 리셋(재부팅) 시킴으로써 통신 장애에 대한 신속한 대응이 가능하게 된다.
점검모듈(27)은 리셋구동모듈(26)에 의해 리셋이 이루어진 이후에도 장애가 지속적으로 발생되는지를 검출한다.
또한 점검모듈(27)은 만약 리셋 이후 장애가 반복되는 경우, 리셋으로 장애를 해결할 수 없다고 판단하여 장애지속 데이터를 생성한다.
이때 점검모듈(27)에 의해 생성된 장애지속 데이터는 제어모듈(20)의 제어에 따라 관제센터서버(5)로 전송되고, 관제센터서버(5)는 로컬서버(2)로부터 장애지속 데이터를 전송받으면, 유지보수업체의 관리자 단말기(미도시)로 이러한 정보를 포함하는 알림정보를 전송함으로써 리셋(재부팅) 만으로 장애가 해결되지 않는 경우 신속한 현장 대응이 가능하도록 한다.
관제센터서버(5)는 돌발 상황 감지기(3)를 관리 및 제어하는 서버이며, 로컬서버(2-1), ..., (2-N)들을 통해 돌발 상황 감지기(3)로부터 전송받은 통합영상을 저장함과 동시에 모니터링을 수행한다.
또한 관제센터서버(5)는 로컬서버(2-1), ..., (2-N)들로부터 전송받은 교통관련정보를 가공 및 활용하여 교통정보를 생성하며, 접속된 클라이언트로 생성된 교통정보를 제공한다.
또한 관제센터서버(5)는 돌발 상황 감지기(3)로부터 돌발상황 발생데이터를 전송받으면, 해당 통합영상을 모니터링 함과 동시에 외부 협력기관(경찰청, 소방서)에 이를 통보하여 해당 현장으로 신속한 대응이 가능하도록 한다.
또한 관제센터서버(5)는 주기적으로 로컬서버(2-1), ..., (2-N)들 각각의 네트워크 상태를 점검하기 위한 핑-테스트를 수행하며, 만약 특정 로컬서버와의 통신 상태가 장애라고 판별되면, 해당 로컬서버로 장애확인 데이터를 전송한다.
이와 같이 본 발명의 일실시예인 돌발 상황 감지시스템(1)은 카메라(331) 및 열화상 카메라(333)를 이용하여 객체 검출 및 트랙킹을 수행함으로써 단일 카메라로 구동될 때 감지가 불가능한 객체들의 감지가 가능해져 감지율을 현저히 높일 수 있을 뿐만 아니라 수집되는 데이터의 양이 방대하여 돌발 상황 발생여부에 대한 판단의 정확성 및 신뢰도를 높일 수 있다.
또한 본 발명의 돌발 상황 감지시스템(1)은 시계 상태에 따라 기준영상이 결정되도록 구성되고, 기준영상이 아닌 다른 영상의 객체를 기준영상에 표시하여 통합영상을 생성하도록 구성됨으로써 영상을 통해 정보를 효율적으로 제공할 수 있게 된다.
또한 본 발명의 돌발 상황 감지시스템(1)은 돌발 상황 관리부(37)가 최종객체의 궤적을 추적하여 안개여부, 차량사고, 결빙, 역주행, 낙하물, 불법주정차, 서행차량, 보행자 등을 판단하여 이들 중 어느 하나에 이벤트가 발생되는 경우 돌발 상황이 발생되었다는 돌발 상황 발생데이터를 생성하도록 구성됨으로써 방대한 수집데이터를 활용하여 돌발 상황을 신속하고 정확하게 판별할 수 있게 된다.
또한 본 발명의 돌발 상황 감지시스템(1)은 통합영상 생성 시 촬영영상 분석부(34) 및 열화상 분석부(35)에 의해 검출된 모든 객체들을 전시하되, 각 객체의 온도가 표시되도록 통합영상을 생성함으로써 통합영상을 통한 정보를 더욱 상세하게 제공할 수 있다.
1:돌발 상황 감지시스템 3:돌발상황 감지기
5:관제센터서버 10:통신망 30:제어부
31:메모리 32:통신 인터페이스부 33:캘리브레이션 처리부
34:촬영영상 분석부 35:열화상 분석부 36:통합영상 생성부
37:돌발 상황 관리부 38:교통관련정보 생성부 100:촬영영상
101:제1 객체 200:열화상 201:제2 객체
310:컨트롤러 331:카메라 333:열화상 카메라
361:기준영상 결정모듈 362:영상매칭정보 생성모듈
363:객체 비교모듈 364:통합영상 생성모듈

Claims (8)

  1. 기 설정된 감지영역을 촬영하는 카메라부와, 상기 카메라부에 의해 촬영된 영상 분석을 통해 돌발 상황 발생여부를 판단하는 컨트롤러를 포함하며, 도로에 이격되게 설치되는 돌발 상황 감지기들;
    기 할당된 돌발 상황 감지기들로부터 데이터를 전송받아 외부로 송출하는 로컬서버들;
    상기 로컬서버들로부터 전송받은 영상을 저장 및 모니터링 하는 관제센터서버를 포함하고,
    상기 카메라부는
    상기 감지영역을 촬영하여 촬영영상을 획득하는 카메라와, 상기 감지영역을 촬영하여 열화상을 획득하는 열화상 카메라를 더 포함하고,
    상기 컨트롤러는
    데이터들이 저장되는 메모리;
    상기 로컬서버들 중 어느 하나와 데이터를 송수신하는 통신 인터페이스부;
    상기 카메라에 의해 획득된 촬영영상 및 상기 열화상 카메라에 의해 획득된 열화상의 2차원 이미지와 감지영역을 대응시키기 위한 관계정보인 캘리브레이션 정보를 획득하는 캘리브레이션 처리부;
    상기 캘리브레이션 정보를 참조하여 상기 카메라에 의해 획득된 촬영영상을 분석하여 제1 객체를 검출하는 촬영영상 분석부;
    상기 캘리브레이션 정보를 참조하여 상기 열화상 카메라에 의해 획득된 열화상을 분석하여 제2 객체를 검출하는 열화상 분석부;
    통합영상 생성부를 더 포함하고,
    상기 통합영상 생성부는
    기 설정된 결정방식을 이용하여 상기 촬영영상 및 상기 열화상 중 어느 하나를 통합영상의 기초로 활용될 기준영상으로 결정하는 기준영상 결정모듈;
    상기 캘리브레이션 정보를 참조하여 상기 촬영영상 및 상기 열화상의 공간 관계들 사이의 연관성을 나타내는 정보인 영상매칭정보를 생성하는 영상매칭정보 생성모듈;
    상기 촬영영상 분석부에 의해 검출된 제1 객체들과, 상기 열화상 분석부에 의해 검출된 제2 객체들의 위치정보를 비교하며, 만약 기 설정된 임계범위 이내의 위치정보를 갖는 제1 객체 및 제2 객체를 동일한 객체로 판단하여 해당 객체를 최종객체로 판별하고, 만약 기 설정된 임계범위를 벗어난 제1 객체 또는 제2 객체를 최종객체로 판별하는 객체 비교모듈;
    상기 기준영상 결정모듈에 의해 결정된 기준영상에, 상기 객체 비교모듈에 의해 최종객체로 판별된 객체들을 표시하며, 표시되는 각 객체에 상기 열화상 분석부에 의해 측정된 온도를 표시하여 통합영상을 생성하는 통합영상 생성모듈을 더 포함하는 것을 특징으로 하는 돌발 상황 감지시스템.
  2. 삭제
  3. 청구항 제1항에 있어서, 상기 기준영상 결정모듈에 적용되는 상기 결정방식은 광량이 임계치 이상이면 기준영상을 촬영영상으로 결정하되, 광량이 임계치 미만이면 기준영상을 열화상을 결정하는 제1 방식과, 촬영영상의 선명도를 검출한 후 검출된 선명도가 제2 임계치 이상이면 기준영상을 촬영영상으로 결정하되, 검출된 선명도가 제2 임계치 미만이면 기준영상을 열화상으로 결정하는 제2 방식 중 어느 하나인 것을 특징으로 하는 돌발 상황 감지시스템.
  4. 청구항 제3항에 있어서, 상기 컨트롤러는 돌발 상황 관리부를 더 포함하고,
    상기 돌발 상황 관리부는
    상기 통합영상 생성부에 의해 생성된 통합영상에 표시된 최종객체들 각각의 위치를 검출하는 최종객체 검출모듈;
    상기 최종객체 검출모듈에 의해 검출된 최종객체들 각각의 위치정보를 활용하여 각 최종객체의 궤적을 추적하는 궤적추적모듈;
    상기 궤적추적모듈에 의해 검출된 궤적정보를 이용하여 돌발 상황 발생여부를 판단하는 판단모듈;
    상기 판단모듈에 의해 돌발 상황이 발생되었다고 판단될 때 구동되어 돌발 상황에 관련된 내용, 위치정보를 포함하는 돌발상황 발생데이터를 생성하는 돌발상황 발생데이터 생성모듈을 더 포함하고,
    상기 컨트롤러는 상기 돌발상황 발생데이터 생성모듈에 의해 돌발상황 발생데이터가 생성되면, 생성된 돌발상황 발생데이터를 상기 관제센터서버로 전송하는 것을 특징으로 하는 돌발 상황 감지시스템.
  5. 청구항 제4항에 있어서, 상기 판단모듈은
    `상기 촬영영상 분석부에 의해 검출되는 제1 객체들의 수량(N1) 및 상기 열화상 분석부에 의해 검출되는 제2 객체들의 수량(N2)을 산출한 후 산출된 수량들의 차이절대값이 기 설정된 임계값 미만일 때 감지영역에 안개가 많아 시야가 확보되지 않은 것으로 판단하는 안개여부 판단모듈;
    상기 궤적추적모듈에 의해 검출되는 최종객체들의 속도가 줄어들며, 최종객체들 중 어느 하나의 속도가 ‘0’이 될 때 차량사고가 발생하였다고 판단하는 차량사고 판단모듈;
    상기 최종객체들 중 상기 열화상 분석부에서만 검출되는 제2 객체이면서 온도가 기 설정된 임계치 미만이며, 움직임이 없는 최종객체를 결빙으로 판단하는 결빙 판단모듈;
    동일한 차로에서 이동방향이 반대인 최종객체가 검출되는 경우 해당 최종객체를 역주행 차량으로 판단하는 역주행 판단모듈을 더 포함하고,
    상기 돌발상황 발생데이터 생성모듈은
    상기 안개여부 판단모듈, 상기 차량사고 판단모듈, 상기 결빙 판단모듈 및 상기 역주행 판단모듈 중 적어도 하나 이상에 이벤트가 발생하는 경우 상기 돌발상황 발생데이터를 생성하는 것을 특징으로 하는 돌발 상황 감지시스템.
  6. 청구항 제5항에 있어서, 상기 판단모듈은
    이전 프레임에는 존재하지 않았던 최종객체가 검출됨과 동시에 속도가 임계치 미만인 경우 해당 최종객체를 낙하물로 판단하는 낙하물 판단모듈;
    감지영역 중 기 설정된 갓길에 주정차된 최종객체가 검출되면, 해당 최종객체를 불법주정차 차량으로 판단하는 불법주정차 판단모듈;
    최종객체들 중 속도가 임계치 미만이면서 도로를 이동 중인 최종객체를 보행자라고 판단하는 보행자 판단모듈;
    최종객체들 중 다른 최종객체들에 비교하여 속도가 작은 최종객체를 서행차량으로 판단하는 서행차량 판단모듈을 더 포함하고,
    상기 돌발상황 발생데이터 생성모듈은
    상기 낙하물 판단모듈, 상기 불법주정차 판단모듈, 상기 보행자 판단모듈 및 상기 서행차량 판단모듈들 중 적어도 하나 이상에 이벤트가 발생하는 경우 상기 돌발상황 발생데이터를 생성하는 것을 특징으로 하는 돌발 상황 감지시스템.
  7. 청구항 제6항에 있어서, 각 로컬서버는
    상기 기 할당된 돌발 상황 감지기들 각각과의 핑-테스트를 수행하며, 검출된 제1 핑-데이터를 기 설정된 임계범위와 비교하여 검출된 제1 핑-데이터가 상기 임계범위를 벗어나는 경우 통신 장애가 발생하였다고 판단하는 제1 핑-테스트 모듈;
    상기 관제센터서버와의 핑-테스틀 수행하며, 검출된 제2 핑-데이터를 상기 임계범위와 비교하여 검출된 제2 핑-데이터가 상기 임계범위를 벗어나는 경우 통신 장애가 발생하였다고 판단하는 제2 핑-테스트 모듈;
    상기 제1-핑 테스트 모듈에 의해 장애가 발생되었다고 판단되면 해당 돌발 상황 감지기를 리셋대상으로 결정하고, 상기 제2 핑-테스트 모듈에 의해 장애가 발생되었다고 판단되면 자기 자신을 리셋대상으로 결정하는 리셋대상 결정모듈;
    상기 리셋대상 결정모듈에 의해 리셋대상이 자기 자신으로 결정되면, 자기 자신을 리셋 시키는 리셋구동모듈;
    상기 리셋대상 결정모듈에 의해 리셋대상이 컨트롤러로 결정되면, 해당 컨트롤러로 장애확인 데이터를 전송하는 제어모듈을 더 포함하고,
    상기 컨트롤러는 상기 로컬서버로부터 장애확인 데이터를 전송받으면, 자기 자신을 리셋 시키는 것을 특징으로 하는 돌발 상황 감지시스템.
  8. 청구항 제7항에 있어서, 상기 관제센터서버는
    상기 로컬서버들 각각의 네트워크 상태를 점검하기 위한 핑-테스트를 수행하며, 특정 로컬서버와의 통신장애가 판별되면, 통신장애로 판별된 로컬서버로 장애확인 데이터를 전송하고,
    상기 각 로컬서버의 상기 리셋대상 결정모듈은
    상기 관제센터서버로부터 장애확인 데이터를 전송받으면, 전송받은 시점부터 기 설정된 임계시간 이전 사이인 탐색주기(T) 동안에 상기 제2 핑-테스트 모듈에 의해 통신장애가 발생된 적이 있었는지를 탐색하며, 만약 탐색주기(T) 동안 상기 제2 핑-테스트 모듈에 의해 통신장애가 발생된 적이 없으면, 리셋대상을 자기 자신으로 결정하는 것을 특징으로 하는 돌발 상황 감지시스템.
KR1020170157270A 2017-11-23 2017-11-23 영상 및 열화상을 이용한 돌발 상황 감지시스템 KR101852057B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170157270A KR101852057B1 (ko) 2017-11-23 2017-11-23 영상 및 열화상을 이용한 돌발 상황 감지시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170157270A KR101852057B1 (ko) 2017-11-23 2017-11-23 영상 및 열화상을 이용한 돌발 상황 감지시스템

Publications (1)

Publication Number Publication Date
KR101852057B1 true KR101852057B1 (ko) 2018-04-25

Family

ID=62088694

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170157270A KR101852057B1 (ko) 2017-11-23 2017-11-23 영상 및 열화상을 이용한 돌발 상황 감지시스템

Country Status (1)

Country Link
KR (1) KR101852057B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101963308B1 (ko) 2018-11-08 2019-03-28 한국건설기술연구원 열악한 환경 조건 하에서 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템 및 그 방법
KR20200098985A (ko) * 2019-02-13 2020-08-21 엔씨엔스페이스(주) 데이터 기반 관제 시스템 및 그 방법
KR102196086B1 (ko) * 2020-09-18 2020-12-29 주식회사 아이티아이비전 카메라의 ptz 자율 자세보정 방법 및 이를 이용한 교통정보 시스템
KR102234768B1 (ko) * 2020-09-08 2021-04-01 주식회사 동부아이씨티 다기능 차량 검지 시스템 및 방법
KR102249520B1 (ko) * 2020-09-02 2021-05-11 주식회사 동부아이씨티 열영상을 이용한 역주행 감지 시스템 및 방법
KR102383377B1 (ko) 2021-06-02 2022-04-08 (주)트루엔 차량용 번호판을 인식하기 위한 전자 장치
KR102546438B1 (ko) * 2022-08-04 2023-06-23 주식회사 삼일테크닉스 Cctv카메라 및 열화상카메라를 이용하여 도로를 관리하기 위한 시스템 및 그 제어방법
WO2024019220A1 (ko) * 2022-07-19 2024-01-25 주식회사 럭스로보 열화상 영상을 이용한 객체 행동 감지 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066068B1 (ko) * 2011-03-22 2011-09-20 (주)유디피 듀얼 카메라를 이용한 영상 감시 장치 및 방법
KR20130138392A (ko) * 2012-06-11 2013-12-19 휴앤에스(주) 돌발검지 시스템
KR101635000B1 (ko) * 2015-06-26 2016-07-08 (주) 비엑스 솔루션 복수의 카메라를 이용한 화재감지장치 및 그 시스템
KR20160120648A (ko) * 2015-04-08 2016-10-18 주식회사 에스카 환경에 따른 필터 구동과 ir라이트 구동 카메라장치
KR20160141226A (ko) * 2015-05-29 2016-12-08 주식회사 로보멕 끼어들기 위반차량 단속 시스템 및 그 방법
KR101721919B1 (ko) * 2016-08-01 2017-03-31 (주)한국아이티에스 카메라를 이용한 방범시스템 및 그 운용방법
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
KR101757416B1 (ko) * 2017-01-25 2017-07-12 주식회사 다움테크 사전 예방 조치를 위한 ｉｐ ｃｃｔｖ 장치, 그리고 이를 복수개 연동한 ｉｐ ｃｃｔｖ시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066068B1 (ko) * 2011-03-22 2011-09-20 (주)유디피 듀얼 카메라를 이용한 영상 감시 장치 및 방법
KR20130138392A (ko) * 2012-06-11 2013-12-19 휴앤에스(주) 돌발검지 시스템
KR20160120648A (ko) * 2015-04-08 2016-10-18 주식회사 에스카 환경에 따른 필터 구동과 ir라이트 구동 카메라장치
KR20160141226A (ko) * 2015-05-29 2016-12-08 주식회사 로보멕 끼어들기 위반차량 단속 시스템 및 그 방법
KR101635000B1 (ko) * 2015-06-26 2016-07-08 (주) 비엑스 솔루션 복수의 카메라를 이용한 화재감지장치 및 그 시스템
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
KR101721919B1 (ko) * 2016-08-01 2017-03-31 (주)한국아이티에스 카메라를 이용한 방범시스템 및 그 운용방법
KR101757416B1 (ko) * 2017-01-25 2017-07-12 주식회사 다움테크 사전 예방 조치를 위한 ｉｐ ｃｃｔｖ 장치, 그리고 이를 복수개 연동한 ｉｐ ｃｃｔｖ시스템

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101963308B1 (ko) 2018-11-08 2019-03-28 한국건설기술연구원 열악한 환경 조건 하에서 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템 및 그 방법
KR20200098985A (ko) * 2019-02-13 2020-08-21 엔씨엔스페이스(주) 데이터 기반 관제 시스템 및 그 방법
KR102166709B1 (ko) * 2019-02-13 2020-10-16 엔씨엔스페이스(주) 데이터 기반 관제 시스템 및 그 방법
KR102249520B1 (ko) * 2020-09-02 2021-05-11 주식회사 동부아이씨티 열영상을 이용한 역주행 감지 시스템 및 방법
KR102234768B1 (ko) * 2020-09-08 2021-04-01 주식회사 동부아이씨티 다기능 차량 검지 시스템 및 방법
KR102196086B1 (ko) * 2020-09-18 2020-12-29 주식회사 아이티아이비전 카메라의 ptz 자율 자세보정 방법 및 이를 이용한 교통정보 시스템
KR102383377B1 (ko) 2021-06-02 2022-04-08 (주)트루엔 차량용 번호판을 인식하기 위한 전자 장치
WO2024019220A1 (ko) * 2022-07-19 2024-01-25 주식회사 럭스로보 열화상 영상을 이용한 객체 행동 감지 시스템
KR20240011512A (ko) * 2022-07-19 2024-01-26 주식회사 럭스로보 열화상 영상을 이용한 객체 행동 감지 시스템
KR102636116B1 (ko) 2022-07-19 2024-02-13 주식회사 럭스로보 열화상 영상을 이용한 객체 행동 감지 시스템
KR102546438B1 (ko) * 2022-08-04 2023-06-23 주식회사 삼일테크닉스 Cctv카메라 및 열화상카메라를 이용하여 도로를 관리하기 위한 시스템 및 그 제어방법

Similar Documents

Publication Publication Date Title
KR101852057B1 (ko) 영상 및 열화상을 이용한 돌발 상황 감지시스템
KR101852058B1 (ko) 듀얼 카메라를 이용한 돌발 상황 감지방법
JP6450852B2 (ja) 落下物検知追跡システム
KR101758576B1 (ko) 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
KR102167291B1 (ko) 도로 상태 정보 수집 시스템 및 방법
US10423841B2 (en) Abnormality detection device and abnormality detection method
US9154741B2 (en) Apparatus and method for processing data of heterogeneous sensors in integrated manner to classify objects on road and detect locations of objects
KR101731050B1 (ko) 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치 및 그 방법
KR101343975B1 (ko) 돌발검지 시스템
CN109842787B (zh) 一种监测高空抛物的方法及***
US10713500B2 (en) Identification and classification of traffic conflicts using live video images
CN111932901B (zh) 道路车辆跟踪检测设备、方法及存储介质
KR101496390B1 (ko) 차량번호인식 시스템
US10163341B2 (en) Double stereoscopic sensor
KR102167292B1 (ko) 이기종 센싱값을 이용한 도로 상태 정보 수집 장치 및 방법
CN111477011A (zh) 一种用于道路路口预警的检测装置及检测方法
KR20190097337A (ko) C-its 기반 차량위치정보를 이용한 돌발 상황 감지시스템
KR20140050208A (ko) 교통 정보 제공 장치 및 방법
WO2020105527A1 (ja) 画像解析装置、画像解析システム、および制御プログラム
KR20190136515A (ko) 차량 인식 장치
KR20210158037A (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
JP2005338941A (ja) 視程検出方法および視程検出装置
KR20230096539A (ko) 스마트 게이트 시스템
KR101870151B1 (ko) 불법주정차 단속시스템
KR20230020184A (ko) 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant