KR102249520B1 - 열영상을 이용한 역주행 감지 시스템 및 방법 - Google Patents

열영상을 이용한 역주행 감지 시스템 및 방법 Download PDF

Info

Publication number
KR102249520B1
KR102249520B1 KR1020200111475A KR20200111475A KR102249520B1 KR 102249520 B1 KR102249520 B1 KR 102249520B1 KR 1020200111475 A KR1020200111475 A KR 1020200111475A KR 20200111475 A KR20200111475 A KR 20200111475A KR 102249520 B1 KR102249520 B1 KR 102249520B1
Authority
KR
South Korea
Prior art keywords
moving object
moving
reverse
image
traveling
Prior art date
Application number
KR1020200111475A
Other languages
English (en)
Inventor
정진욱
권익현
Original Assignee
주식회사 동부아이씨티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 동부아이씨티 filed Critical 주식회사 동부아이씨티
Priority to KR1020200111475A priority Critical patent/KR102249520B1/ko
Application granted granted Critical
Publication of KR102249520B1 publication Critical patent/KR102249520B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 기술은 열영상을 이용한 역주행 검출 시스템 및 방법이 개시된다. 본 발명의 구체적인 예에 따르면, 열영상 카메라를 이용하여 획득된 열영상으로 이동객체의 역주행을 검출함에 따라 열악한 촬영 환경에서도 정확하게 이동객체의 역주행을 검출할 수 있고, 구축된 학습 모델을 통해 획득된 열영상에 대한 딥러닝 기반의 인공지능을 통해 이동객체를 추정함에 따라, 획득된 열영상 내의 이동객체 인식률을 향상시킬 수 있으며, 획득된 열영상으로부터 검출된 이동객체의 역주행을 실시간으로 검출한 다음 이를 주변 이동객체에 실시간으로 방송함에 따라 이동객체의 역주행으로 인한 교통사고를 미연에 방지할 수 있다.

Description

열영상을 이용한 역주행 감지 시스템 및 방법{REVERSE DRIVING DETECTING SYSTEM USING THERMA IMAGES AND THEREOF METHOD}
본 발명은 열영상을 이용한 역주행 감지 시스템 및 방법에 관한 것으로서, 보다 상세하게는 열영상 카메라를 통해 획득된 열영상에 대해 딥러닝 기반의 학습을 수행하여 이동객체를 추정한 다음 추정된 이동객체 중 역주행 이동객체를 검출한 후 경고 메시지를 주변의 이동객체에게 방송할 수 있도록 한 기술에 관한 것이다.
영상기술 및 장비가 발달함에 따라 촬영된 영상을 분석하여 객체를 검출 및 추적하여 이벤트를 감지하는 영상 감시 기술의 수요도가 기하급수적으로 증가하고 있다.
이러한 이벤트로는 교통 흐름과 돌발 상황 등을 포함할 수 있는데, 돌발 상황이란 도로상에서 발생되는 비반복적이고 예측 불가능한 일련의 사건으로, 일례로 차량의 지정체, 교통 사고, 도로 공사, 차량의 고장 등으로 인한 차로의 차단, 도로상의 장애물 존재, 도로의 유지 보수 작업, 기타 비일상적인 사건 등이 포함된다.
이러한 돌발 상황이 발생하게 되면, 교통류의 정상 흐름이 와해되고, 도로의 용량은 감소하게 되며, 교통 혼잡과 대기 오염 등 막대한 사회적, 경제적인 손실을 초래하게 된다. 그러므로 예측 불가능한 돌발 상황에 대해 효과적인 대응을 하기 위해서는 보다 신속하고 정확한 돌발 상황의 검지가 요구된다.
최근 교통 분야에서는 교통 사고의 위험 감소와 교통 정체를 해결하기 위하여 교통 체계를 지능화하여 교통 운 영의 효율성을 확보하고, 교통 안전 및 환경 개선을 위한 지능형 교통 체계(Intelligent Transportation Systems: ITS) 사업이 활발히 진행되고 있다.
ITS 사업에서는 교통 혼잡을 완화시키기 위한 핵심 방안 중 하나로 돌발 상황 검지 시스템을 구축하고 있다.
하지만, 기존의 돌발 상황 검지 시스템은 CCTV 영상을 이용하기 때문에, 호우, 강설 등 악천후, 저조도, 먼지, 낮은 설치 위치 등 열악한 환경 조건 하에서 인식률이 매우 낮다는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 열영상 카메라를 이용하여 획득된 열영상으로 이동객체의 역주행을 검출함에 따라 열악한 촬영 환경에서도 정확하게 이동객체의 역주행을 검출할 수 있는 열영상을 이용한 역주행 감지 시스템 및 방법을 제공하기 위한 것이다.
본 발명이 이루고자 하는 기술적 과제는 구축된 학습 모델을 통해 획득된 열영상에 대한 딥러닝 기반의 인공지능을 통해 이동객체를 추정함에 따라, 획득된 열영상 내의 이동객체 인식률을 향상시킬 수 있는 열영상을 이용한 역주행 감지 시스템 및 방법을 제공하기 위한 것이다.
본 발명이 이루고자 하는 기술적 과제는 획득된 열영상으로부터 검출된 이동객체의 역주행을 실시간으로 검출한 다음 이를 주변 이동객체에 방송함에 따라 이동객체의 역주행으로 인한 교통사고 및 2차 사고를 미연에 방지할 수 있는 열영상을 이용한 역주행 감지 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 한 실시예에 따른 열영상을 이용한 역주행 검출 시스템은,
열영상 카메라로부터 획득된 열영상을 전달받아 이동객체의 역주행을 검출하는 제어서버를 포함하되,
상기 제어서버는,
획득된 영상에 대한 기준 영상과 기준 영상을 왜곡시켜 생성된 가상 기준 영상으로 학습 데이터를 구축하는 학습모델 구축부; 및
열영상 카메라의 열영상, 상기 기준 영상, 및 상기 가상 기준 영상을 토대로 다수의 이동객체를 추정하는 학습부를 포함하는 것을 일 특징으로 한다.
바람직하게 상기 제어서버는, 상기 학습부의 추정된 각 이동객체의 이동 방향을 추적하여 각 이동객체의 이동 방향으로 이동객체의 주행 방향을 도출하여 각 이동객체 중 역주행 이동객체를 검출하는 역주행 검출부를 더 포함할 수 있다.
바람직하게 상기 역주행 검출부는, 추정된 각 이동객체에 식별번호를 부여한 다음 각 이동객체 별 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 이동객체의 이동 방향을 추적하여 주행 방향을 도출하는 이동객체 추적모듈; 및
다수의 이동객체의 주행 방향을 기준으로 역주행하는 이동 객체를 검출하는 역주행 이동객체 판단모듈을 포함할 수 있다.
바람직하게 상기 역주행 검출부는,
추정된 각 이동객체에 추정된 각 이동객체에 식별번호를 부여한 다음 각 이동객체 별 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 이동객체의 이동 방향을 추적하여 주행 방향을 도출하는 이동객체 추적모듈; 및
해당 도로 별 중앙선을 기준으로 각 정주행 방향이 마크된 해당 도로 영상을 추가 저장한 다음 상기 이동객체 추적모듈의 각 이동객체 별 이동 방향과 해당 도로 영상을 결합하여 일치하는 경우 각 이동객체의 정주행 또는 역주행을 판단하는 역주행 이동객체 판단모듈을 포함할 수 있다.
바람직하게 상기 제어서버는,
상기 이동객체의 역주행 판단 시 경고 메시지를 생성하여 주변 이동객체에게 경고하는 경고 방송부를 더 포함할 수 있다.
본 발명의 다른 실시예에 의거 열영상을 이용한 역주행 검출 시스템의 제어 서버는,
열영상 카메라로부터 획득된 열영상에 대한 딥러닝 기반의 학습으로 추정된 각 이동객체의 이동 방향을 추적하여 각 이동객체의 이동 방향으로 이동객체의 주행 방향을 도출하여 각 이동객체 중 역주행 이동객체를 검출하도록 구비되는 것을 일 특징으로 한다.
바람직하게 상기 제어서버는,
추정된 각 이동객체에 식별번호를 부여한 다음 각 이동객체 별 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 이동객체의 이동 방향을 추적하여 주행 방향을 도출하는 이동객체 추적모듈; 및
다수의 이동객체의 주행 방향을 기준으로 역주행하는 이동 객체를 검출하는 역주행 이동객체 판단모듈을 포함할 수 있다.
바람직하게 상기 역주행 검출부는,
추정된 각 이동객체에 추정된 각 이동객체에 식별번호를 부여한 다음 각 이동객체 별 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 이동객체의 이동 방향을 추적하여 주행 방향을 도출하는 이동객체 추적모듈; 및
해당 도로 별 중앙선을 기준으로 각 정주행 방향이 마크된 해당 도로 영상을 추가 저장한 다음 상기 이동객체 추적모듈의 각 이동객체 별 이동 방향과 해당 도로 영상을 결합하여 일치하는 경우 각 이동객체의 정주행 또는 역주행을 판단하는 역주행 이동객체 판단모듈을 포함할 수 있다.
바람직하게 상기 제어서버는,
상기 이동객체의 역주행 판단 시 경고 메시지를 생성하여 주변 이동객체에게 경고하는 경고 방송부를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 의거 열영상을 이용한 역주행 검출 방법은,
외부로부터 수집된 기준 영상을 다수의 촬영 환경 각각에 대해 왜곡시켜 각각의 가상 기준영상을 제작하여 학습 모델을 구축하는 단계;
열화상 카메라로부터 획득된 열영상에 대해 상기 기준 영상 및 상기 가상 기준 영상을 토대로 주행하는 다수의 이동객체를 추정하는 단계;
추정된 각 이동객체에게 식별번호를 할당한 다음 식별번호와 매칭되는 차량의 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 각 이동객체의 이동 방향을 추적하고 추적된 각 이동객체의 이동 방향을 토대로 각 이동객체의 주행 방향을 도출하는 단계; 및
각 이동객체의 주행 방향으로부터 역주행하는 이동객체가 존재하는 지를 판단하고 판단 결과 역주행하는 이동객체가 존재하는 경우 경고 메시지를 생성하여 경고 메시지를 주변 인접된 이동객체에 방송하는 단계를 포함하는 것을 일 특징으로 한다.
이러한 특징에 따르면, 본원 발명의 한 실시예에 따른 열영상을 이용한 역주행 감지 시스템 및 방법은, 열영상 카메라를 이용하여 획득된 열영상으로 이동객체의 역주행을 검출함에 따라 열악한 촬영 환경에서도 정확하게 이동객체의 역주행을 검출할 수 있다.
또한, 일 실시예는 구축된 학습 모델을 통해 획득된 열영상에 대한 딥러닝 기반의 인공지능을 통해 이동객체를 추정함에 따라, 획득된 열영상 내의 이동객체 인식률을 향상시킬 수 있다.
그리고 일 실시예에 의거, 획득된 열영상으로부터 검출된 이동객체의 역주행을 실시간으로 검출한 다음 이를 주변 이동객체에 실시간으로 방송함에 따라 이동객체의 역주행으로 인한 교통사고를 미연에 방지할 수 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 일 실시예의 시스템이 도로에 설치된 상태를 보인 예시도이다.
도 2는 일 실시예의 시스템이 도로에 설치된 상태를 보인 다른 예시도이다.
도 3은 일 실시예의 시스템의 제어서버의 세부 구성도이다.
도 4는 일 실시예의 제어서버의 역주행 판단부의 세부 구성도이다.
도 5는 일 실시예의 제어서버의 역주행 판단부의 예시도이다.
도 6은 일 실시예의 제어서버의 역주행 판단부의 예시도이다.
도 7은 일 실시예의 이동객체의 역주행 검출 과정을 설명하는 흐름도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형 태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범 위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함 으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들 을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에 대한 설명에 앞서, 본 명세서에서 사용되는 몇 가지 용어들에 대하여 명확하게 하기로 한다.
일례로 명세서 전체에서 "이동객체"는 도로를 이동하는 차량, 자전서, 및 사람 등이 될 수 있으며, 이에 한정하지 아니하고, "이동객체" 또는 "차량"으로 혼용하여 기재하기로 한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 일 실시예의 이동객체의 역주행 검출 시스템이 도로에 설치된 상태를 보인 예시도이고, 도 2는 일 실시예의 이동객체의 역주행 검출 시스템이 도로에 설치된 상태를 보인 다른 예시도이고, 도 3은 도 1 또는 도 2에 도시된 제어서버의 세부 구성도이고, 도 4는 제어서버의 역주행 판단부의 세부 구성도이며, 도 5는 도 4의 역주행 판단부의 일례를 보인 도면이고, 도 6은 도 4의 역주행 판단부의 다른 례를 보인 도면이다.
도 1 내지 도 6의 실시예에서, 일 실시예의 열영상을 이용한 이동객체의 역주행 검출 시스템(S)는 도 1 및 도 2에 도시된 바와 같이, 양방향 주행이 가능한 도로의 양측 가장자리에 매설된 거치대(10)에 설치될 수 있으며, 도로에서 다른 도로 간에 이동할 수 있는 일방향 도로의 일측에 매설된 거치대(10)에 설치될 수 있다.
열영상을 이용한 이동객체의 역주행 검출 시스템(S)은 다수의 차량이 주행하는 도로 양측에 매설된 거치대(10)에 고정 설치 열영상 카메라로부터 획득된 열영상으로 차량의 역주행을 검출하도록 구비될 수 있다. 이에 역주행 검출 시스템(S)는 열화상 카메라(100), 제어서버(200), 및 스피커(300) 중 적어도 하나를 포함할 수 있다.
일례로 제어서버(200)는 도 3에 도시된 바와 같이, 열영상 카메라(100)와 전선 또는 커넥터 등을 통해 직접 연결되는 장치일 수 있으며, 열영상 카메라(100), 제어서버(200), 스피커(300)을 모두 하나의 장치에 구비하는 구조로 형성될 수 있다.
다른 일 실시예에서, 역주행 검출 시스템(S)은 열영상 카메라(100)및 스피커(300)와 제어서버(200)를 분리시켜 구성하고, 분리된 이들 구성간 무선통신 또는 유선통신을 통해 연결되는 구조로 형성될 수 있으며, 이를 한정하지는 않는다.
열화상 카메라(100)는 거치대(10)의 주행 중인 차량의 열영상을 획득할 수 있는 위치에 설치되어 도로 위를 주행하는 차량으로부터 발생된 열온도를 추적, 탐지하여 화면으로 보여주는 장치로서, 이동객체에서 발산된 열온도를 나타내는 열영상이 생성되므로 안개 등과 같은 조도 장애의 유무, 빛의 유무와 상관없이 차량을 확인할 수 있다. 따라서, 일반 카메라 또는 CCTV을 이용하여 영상을 획득될 수 없는 열악한 촬영 환경에서도 이동객체의 유무를 정확하게 확인할 수 있다.
제어서버(200)는 거치대(10)의 소정 위치에 설치되고 열화상 카메라(100)의 열영상을 전달받아 이를 구축된 학습 모델로 딥러닝 방식의 인공지능 영상처리기법을 이용하여 열영상 내의 이동객체를 추정하는 구성으로서, 학습 모델 구축부(210) 및 학습부(220)을 포함한다.
즉, 학습 모델 구축부(210)는 CCTV 등을 통해 획득된 영상을 기준 영상으로 정한 다음 기준 영상을 그래픽 기법으로 왜곡시켜 다양한 촬영 환경에서의 가상 기준 영상을 제작하여 저장한다. 여기서, 촬영 환경은 촬영 지역의 조도 환경과 안개 등의 기후 환경을 포함한다.
이에 가상 기준 영상은 다양한 조도 환경에서 기준 영상을 왜곡시켜 제작될 수 있고, 안개 등의 다양한 기후 환경에서 기준 영상을 왜곡시켜 제작될 수 있으며, 임의의 해상도로 기준 영상을 왜곡시켜 제작될 수 있다.
학습부(220)는 도로 상을 주행하는 다수의 차량으로부터 획득된 다수의 열영상 각각에 대해, 기준 영상 및 가상 기준 영상에서 관심 영역의 열영상을 추출한 다음 좌표 변환하여 재구성하고, 재구성된 관심 영역의 열영상으로부터 이동객체를 도출하며, 도출된 이동객체의 데이터셋에 대해 기 구축된 학습 모델을 통해 딥러닝 학습을 수행하여 기준영상 내 이동객체를 추정한다. 이러한 딥러닝 기반의 인공지능을 이용한 영상처리기법을 이용한 학습 결과로 다수의 차량의 인식율은 향상된다.
여기서, 학습 모델 구축부(210) 및 학습부(220)에 의해 열영상 카메라(100)로 획득된 열영상에서 이동객체를 추정한 다음 기준 영상과 추정된 이동객체를 결합하여 이동객체를 인식하는 과정은 본 명세서 상에서 구체적으로 명시하지 않지만, 당업자의 수준에서 이해되어야 할 것이다.
한편, 도 3을 참조하면, 제어서버(200)는 이동객체의 역주행을 검출하기 위한 역주행 판단부(230)를 더 포함하며, 역주행 판단부(230)는 도 4에 도시된 바와 같이, 객체추적 알고리즘을 이용하여 이동객체의 주행방향을 판단하며 이에 역주행 판단부(230)는 이동객체 추적모듈(231) 및 역주행 이동객체 판단모듈(232)를 포함할 수 있다.
이동객체 추적모듈(231)은 이동객체가 다수인 경우 학습부(220)로부터 검출된 각 이동객체에 대해 식별번호를 할당한 다음 각 식별번호와 매칭되는 이동객체의 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 각 식별번호와 매칭되는 이동객체의 이동 방향을 추적하여 각 이동객체의 주행 방향(점선으로 표시)을 도출한다.
그리고, 각 이동객체의 주행 방향을 전달받은 역주행 이동객체 판단모듈(232)은 다수의 이동객체의 주행 방향을 기준으로 반대 방향으로 주행하는 이동객체를 타겟 이동객체로 설정하거나 선행 차량의 주행방향을 기준으로 반대 방향으로 주행하는 차량을 역주행 차량(원형 내의 차량으로 표시)으로 판단할 수 있다.
다른 례로 도 6의 (a)에 도시된 바와 같이, 이동객체 추적모듈(231)은 시스템(S)이 설치된 도로가 양방향 주행이 가능한 도로인 경우 중앙선을 기준으로 양측의 정주행 방향이 마크된 해당 도로 영상을 추가로 저장한다. 그리고, 역주행 이동객체 판단모듈(232)은 정주행 방향이 마크된 해당 도로 영상의 정주행 방향과 이동객체 추적모듈(231)의 각 이동객체의 주행 방향을 결합한 후 두 주행 방향의 일치하는 지를 판단하고 두 주행 방향이 일치 여부에 따라 추정된 이동객체를 역주행으로 판단할 수 있다.
이 후 역주행하는 이동객체에 대한 위치 추적은 이동객체 추적모듈(231)에 의해 계속 유지된다.
다른 례로 도 6의 (b)에 도시된 바와 같이, 이동객체가 하나이고 일방향 주행 도로인 경우, 이동객체 추적모듈(231)은 해당 도로의 정주행 방향이 마크업된 해당 도로 영상을 추가로 저장하고, 역주행 이동객체 판단모듈(232)은 정주행 방향이 마크업된 해당 도로 영상의 정주행 방향과 이동객체 추적모듈(231)의 각 이동객체의 주행 방향을 결합한 후 두 주행 방향의 일치하는 지를 판단하고 두 주행 방향의 일치 여부에 따라 이동객체의 역주행을 판단할 수 있다.
한편 제어서버(300)는 해당 도로의 역주행하는 이동객체가 존재하는 경우 경고 메시지를 생성하는 경고 방송부(240)를 더 포함할 수 있다. 여기서, 경고 메시지는 역주행하는 이동객체에 대한 위치 정보 및 주위경보 멘트를 포함하고 있다. 이때 역주행 이동객체에 대한 위치 정보는 맵 상에 표시되며, 주위경보 멘트는 VMS(Voice Message System) 및 스피커(300)를 통해 음성 효과음 등으로 방송할 수 있다.
일 례로 "전방 30m에 역주행 차량이 있습니다. 주위하세요."와 소정 주파수의 비파음 중 적어도 하나로 역주행하는 이동객체에 대해 주위 경보 멘트를 출력할 수 있다.
다른 례로 경고 메시지는 텍스트 형태로 생성될 수 있다. 즉, 경고 방송부(240)는 통신모듈(미도시됨)을 추가로 구비하고, 경고 메시지 전달 영역을 추가로 설정하여 생성된 경고 메시지를 푸시 알람 형태로 전달 영역 내 차량 단말에게 전달할 수 있고, 교통 전용 채널을 통해 교통관제실 및 경찰청 등의 관련 기관 서버에 전달할 수 있다.
차량 내의 단말은 디스플레이 수단(예컨대, 차량에 탑재된 모니터, 블랙박 스 모니터, 내비게이션 모니터, 또는 핸드폰 등)에 전방영상을 표시하면서, 역방향 차량에 대한 설명 구문을 삽입할 수 있다.
따라서, 푸시 알람을 통해 생성된 경고 메시지는 역주행 이동객체의 시야가 확보되지 아니한 전달 영역 내 다른 차량의 운전자에게 전달될 수 있다.
획득된 열영상으로부터 검출된 이동객체의 역주행을 실시간으로 검출한 다음 이를 주변 이동객체에 실시간으로 방송함에 따라 이동객체의 역주행으로 인한 교통사고를 미연에 방지할 수 있다.
도 7은 도 3에 도시된 제어 서버의 동작 과정을 보인 흐름도로서, 도 7을 참조하여 다른 실시예에 따른 열영상을 이용한 역주행 검출 과정에 대해 설명한다. 우선, 일 실시예에 따른 열영상을 이용한 역주행 검출 방법은 이동객체의 역주행 검출 시스템(S)의 제어서버(200)에 의해 수행될 수 있다.
우선 제어서버(200)는 CCTV 등을 통해 수집된 기준 영상을 왜곡시켜 다양한 촬영 환경에서의 가상 기준영상을 제작하여 학습 모델을 구축한다(301). 즉 단계(301)은 기준 영상을 다양한 조도 환경에서 기준 영상을 왜곡시켜 제작될 수 있고, 안개 등의 다양한 기후 환경에서 기준 영상을 왜곡시켜 제작될 수 있으며, 임의의 해상도로 기준 영상을 왜곡시켜 가상 기준 영상을 제작할 수 있다.
다음으로, 제어서버(200)는 열화상 카메라(100)로부터 획득된 열영상에 대해 기준 영상 및 가상 기준 영상을 토대로 도로 상을 주행하는 차량을 추정하고(303), 추정된 차량들에 대해 역주행 여부를 판단한다.
즉, 제어서버(200)는 추정된 각 차량에게 식별번호를 할당한 다음 식별번호와 매칭되는 차량의 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 각 이동객체의 이동 방향을 추적하고 추적된 각 차량의 이동 방향을 토대로 각 차량의 주행 방향을 도출한다(305).
일례로 제어서버(200)는 각 차량의 주행 방향으로부터 역주행하는 차량이 존재하는 지를 판단하고(307), 판단 결과 역주행하는 차량이 존재하는 경우 경고 메시지를 생성하며(309), 생성된 경고 메시지는 주변 인접된 차량에게 소정 주파수의 비파음으로 스피커(300)를 통해 전달될 수 있다.
이에 열영상 카메라를 이용하여 획득된 열영상으로 이동객체의 역주행을 검출함에 따라 열악한 촬영 환경에서도 정확하게 이동객체의 역주행을 검출할 수 있고, 구축된 학습 모델을 통해 획득된 열영상에 대한 딥러닝 기반의 인공지능을 통해 이동객체를 추정함에 따라, 획득된 열영상 내의 이동객체 인식률을 향상시킬 수 있으며, 획득된 열영상으로부터 검출된 이동객체의 역주행을 실시간으로 검출한 다음 이를 주변 이동객체에 실시간으로 방송함에 따라 이동객체의 역주행으로 인한 교통사고를 미연에 방지할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
열영상 카메라를 이용하여 획득된 열영상으로 이동객체의 역주행을 검출함에 따라 열악한 촬영 환경에서도 정확하게 이동객체의 역주행을 검출할 수 있고, 구축된 학습 모델을 통해 획득된 열영상에 대한 딥러닝 기반의 인공지능을 통해 이동객체를 추정함에 따라, 획득된 열영상 내의 이동객체 인식률을 향상시킬 수 있으며, 획득된 열영상으로부터 검출된 이동객체의 역주행을 실시간으로 검출한 다음 이를 주변 이동객체에 실시간으로 방송함에 따라 이동객체의 역주행으로 인한 교통사고를 미연에 방지할 수 열영상을 이용한 역주행 검출 시스템 및 방법에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, 교통 관련 시스템에 대한 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

Claims (12)

  1. 열영상 카메라로부터 획득된 열영상을 전달받아 이동객체의 역주행을 검출하는 제어서버를 포함하되,
    상기 제어서버는,
    각 이동객체에 대해 할당된 식별번호와 매칭되는 이동객체의 이동 방향을 추적하여 각 이동객체의 주행 방향을 도출하는 이동객체 추적모듈;
    획득된 영상에 대한 기준 영상과 기준 영상을 왜곡시켜 생성된 가상 기준 영상으로 학습 데이터를 구축하는 학습모델 구축부;
    열영상 카메라의 열영상, 상기 기준 영상, 및 가상 기준 영상을 토대로 다수의 이동객체를 추정하는 학습부; 및
    상기 학습부의 추정된 각 이동객체의 이동 방향을 추적하여 각 이동객체의 이동 방향으로 이동객체의 주행 방향을 도출하여 각 이동객체 중 역주행 이동객체를 검출하는 역주행 검출부를 포함하되,
    해당 도로 별 중앙선을 기준으로 각 정주행 방향이 마크된 해당 도로 영상을 추가 저장한 다음 도출된 이동객체의 주행 방향과 마크된 도로 영상을 결합하여 일치하지 아니한 경우 이동객체의 역주행으로 판단하도록 구비되고,
    상기 제어 서버는,
    상기 이동객체의 역주행 판단 시 경고 메시지를 생성하여 역주행하는 이동 객체가 시야에 확보되지 아니한 전달 영역의 주변 이동객체에게 푸시 알람을 통해 생성된 경고 메시지를 방송하는 경고 방송부를 더 포함하는 것을 특징으로 하는 열영상을 이용한 역주행 검출 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 역주행 검출부는,
    추정된 각 이동객체에 식별번호를 부여한 다음 각 이동객체 별 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 이동객체의 이동 방향을 추적하여 주행 방향을 도출하는 이동객체 추적모듈; 및
    다수의 이동객체의 주행 방향을 기준으로 역주행하는 이동 객체를 검출하는 역주행 이동객체 판단모듈을 포함하는 것을 특징으로 하는 열영상을 이용한 역주행 검출 시스템.
  4. 제1항에 있어서, 상기 역주행 검출부는,
    추정된 각 이동객체에 추정된 각 이동객체에 식별번호를 부여한 다음 각 이동객체 별 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 이동객체의 이동 방향을 추적하여 주행 방향을 도출하는 이동객체 추적모듈; 및
    해당 도로 별 중앙선을 기준으로 각 정주행 방향이 마크된 해당 도로 영상을 추가 저장한 다음 상기 이동객체 추적모듈의 각 이동객체 별 이동 방향과 해당 도로 영상을 결합하여 일치하는 경우 이동객체의 정주행으로 판단하는 역주행 이동객체 판단모듈을 포함하는 것을 특징으로 하는 열영상을 이용한 역주행 검출 시스템.
  5. 삭제
  6. 열영상 카메라로부터 획득된 열영상에 대한 딥러닝 기반의 학습으로 추정된 각 이동객체의 이동 방향을 추적하여 각 이동객체의 이동 방향으로 이동객체의 주행 방향을 도출하여 각 이동객체 중 역주행 이동객체를 검출하고,
    해당 도로 별 중앙선을 기준으로 각 정주행 방향이 마크된 도로 영상을 추가 저장한 다음 도출된 각 이동객체 별 주행 방향과 마크된 도로 영상을 결합하여 일치하지 아니한 경우 이동객체의 역주행으로 판단하도록 구비되고,
    상기 이동객체의 역주행 판단 시 경고 메시지를 생성하여 역주행하는 이동 객체가 시야에 확보되지 아니한 전달 영역의 주변 이동객체에게 푸시 알람을 통해 생성된 경고 메시지를 방송하도록 구비되는 것을 특징으로 하는 열영상을 이용한 역주행 검출 시스템의 제어 서버.
  7. 제6항에 있어서, 상기 제어서버는,
    추정된 각 이동객체에 식별번호를 부여한 다음 각 이동객체 별 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 이동객체의 이동 방향을 추적하여 주행 방향을 도출하는 이동객체 추적모듈; 및
    다수의 이동객체의 주행 방향을 기준으로 역주행하는 이동 객체를 검출하는 역주행 이동객체 판단모듈을 포함하는 것을 특징으로 하는 열영상을 이용한 역주행 검출 시스템의 제어 서버.
  8. 제6항에 있어서, 상기 제어서버는,
    추정된 각 이동객체에 추정된 각 이동객체에 식별번호를 부여한 다음 각 이동객체 별 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 이동객체의 이동 방향을 추적하여 주행 방향을 도출하는 이동객체 추적모듈; 및
    해당 도로 별 중앙선을 기준으로 각 정주행 방향이 마크된 해당 도로 영상을 추가 저장한 다음 상기 이동객체 추적모듈의 각 이동객체 별 이동 방향과 해당 도로 영상을 결합하여 일치하는 경우 이동객체의 정주행으로 판단하는 역주행 이동객체 판단모듈을 포함하는 것을 특징으로 하는 열영상을 이용한 역주행 검출 시스템의 제어 서버.
  9. 삭제
  10. 제1항의 열영상을 이용한 역주행 검출 시스템의 제어서버에 의해 열영상 카메라를 통해 획득된 열영상에 대해 딥러닝 학습을 통해 이동객체를 추정하고 추정된 이동객체의 역주행을 검출하여 경고 메시지를 생성하여 경고 메시지를 주변 차량에게 방송하는 열영상을 이용한 역주행 검출 방법에 있어서,
    외부로부터 수집된 기준 영상을 다수의 촬영 환경 각각에 대해 왜곡시켜 각각의 가상 기준영상을 제작하여 학습 모델을 구축하는 단계;
    열화상 카메라로부터 획득된 열영상에 대해 상기 기준 영상 및 상기 가상 기준 영상을 토대로 주행하는 다수의 이동객체를 추정하는 단계;
    추정된 각 이동객체에게 식별번호를 할당한 다음 식별번호와 매칭되는 차량의 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 각 이동객체의 이동 방향을 추적하고 추적된 각 이동객체의 이동 방향을 토대로 각 이동객체의 주행 방향을 도출하는 단계; 및
    도출된 각 이동객체의 주행 방향으로부터 역주행하는 이동객체가 존재하는 지를 판단하고 판단 결과 역주행하는 이동객체가 존재하는 경우 경고 메시지를 생성하여 경고 메시지를 주변 인접된 이동객체에 방송하는 단계를 포함하고,
    상기 이동객체의 주행 방향을 도출하는 단계는
    해당 도로 별 중앙선을 기준으로 각 정주행 방향이 마크된 도로 영상을 추가 저장한 다음 각 이동객체 별 이동 방향과 마크된 도로 영상을 결합하여 일치하지 아니한 경우 이동객체의 역주행으로 판단하도록 구비되고,
    상기 이동객체에 경고 메시지를 방송하는 단계는
    상기 이동객체의 역주행 판단 시 경고 메시지를 생성하여 역주행하는 이동 객체가 시야에 확보되지 아니한 전달 영역의 주변 이동객체에게 푸시 알람을 통해 생성된 경고 메시지를 방송하는 것을 특징으로 하는 열영상을 이용한 역주행 검출 방법.
  11. 제10항에 있어서, 상기 이동객체의 주행 방향을 도출하는 단계는,
    추정된 각 이동객체에 추정된 각 이동객체에 식별번호를 부여한 다음 각 이동객체 별 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 이동객체의 이동 방향을 추적하여 주행 방향을 도출하는 단계; 및
    해당 도로 별 중앙선을 기준으로 각 정주행 방향이 마크된 해당 도로 영상을 추가 저장한 다음 각 이동객체 별 이동 방향과 해당 도로 영상을 결합하여 일치하는 경우 각 이동객체의 정주행으로 판단하는 단계를 포함하는 것을 특징으로 하는 열영상을 이용한 역주행 검출 방법.
  12. 제10항에 있어서, 상기 이동객체의 주행 방향을 도출하는 단계는,
    추정된 각 이동객체에 식별번호를 부여한 다음 각 이동객체 별 이전 프레임의 위치 좌표와 현재 프레임의 위치 좌표를 토대로 이동객체의 이동 방향을 추적하여 주행 방향을 도출하는 단계; 및
    다수의 이동객체의 주행 방향을 기준으로 역주행하는 이동 객체를 검출하는 단계를 포함하는 것을 특징으로 하는 열영상을 이용한 역주행 검출 방법.

KR1020200111475A 2020-09-02 2020-09-02 열영상을 이용한 역주행 감지 시스템 및 방법 KR102249520B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200111475A KR102249520B1 (ko) 2020-09-02 2020-09-02 열영상을 이용한 역주행 감지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200111475A KR102249520B1 (ko) 2020-09-02 2020-09-02 열영상을 이용한 역주행 감지 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102249520B1 true KR102249520B1 (ko) 2021-05-11

Family

ID=75914644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200111475A KR102249520B1 (ko) 2020-09-02 2020-09-02 열영상을 이용한 역주행 감지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102249520B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100114234A (ko) * 2009-04-15 2010-10-25 김종명 차량의 도로 역주행 방지 시스템
KR101852057B1 (ko) * 2017-11-23 2018-04-25 주식회사 아이티아이비전 영상 및 열화상을 이용한 돌발 상황 감지시스템
KR20180089971A (ko) * 2017-02-02 2018-08-10 (주)티앤티테크 역주행 감지 장치의 관리 시스템 및 모니터링 방법
KR101963308B1 (ko) * 2018-11-08 2019-03-28 한국건설기술연구원 열악한 환경 조건 하에서 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100114234A (ko) * 2009-04-15 2010-10-25 김종명 차량의 도로 역주행 방지 시스템
KR20180089971A (ko) * 2017-02-02 2018-08-10 (주)티앤티테크 역주행 감지 장치의 관리 시스템 및 모니터링 방법
KR101852057B1 (ko) * 2017-11-23 2018-04-25 주식회사 아이티아이비전 영상 및 열화상을 이용한 돌발 상황 감지시스템
KR101963308B1 (ko) * 2018-11-08 2019-03-28 한국건설기술연구원 열악한 환경 조건 하에서 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
CN110446278B (zh) 基于v2i的智能驾驶汽车传感器盲区安全控制方法及***
CN108417087B (zh) 一种车辆安全通行***及方法
US11314258B2 (en) Safety system for a vehicle
CN108399792B (zh) 一种无人驾驶车辆避让方法、装置和电子设备
US20170129496A1 (en) Method and vehicle terminal thereof for vehicle data processing
US20230024702A1 (en) Threat detection and notification system for public safety vehicles
US20170132923A1 (en) Vehicle data processing system and method
CN111695546B (zh) 用于无人车的交通信号灯识别方法和装置
US20170131114A1 (en) Vehicle data processing method and vehicle terminal
US20180357484A1 (en) Video processing device and video processing method
US20170127246A1 (en) Method for Sharing Travelling Information, Vehicle Platform and Intelligent Traffic System
CN108460968A (zh) 一种基于车联网获取交通路况信息的方法及装置
US10369995B2 (en) Information processing device, information processing method, control device for vehicle, and control method for vehicle
US11025865B1 (en) Contextual visual dataspaces
KR101998834B1 (ko) 사고 위험도 예측이 가능한 교통 정보 제공 시스템
CN111674388B (zh) 用于车辆弯道行驶的信息处理方法和装置
KR102587085B1 (ko) 자율주행차량의 호출자 탐색 방법
CN113792428B (zh) 虚拟场景下车辆的测试方法、装置及电子设备
TWI774034B (zh) 基於車聯網的行車示警方法、系統及設備
WO2015001677A1 (ja) 安全支援システムおよび安全支援装置
CN112289036A (zh) 基于交通语义的场景式违章属性识别***及方法
CN113808418A (zh) 路况信息显示***、方法、车辆、计算机设备和存储介质
CN113627213A (zh) 车辆异常行为监控方法、装置及***
Al-Jabi et al. Toward mobile AR-based interactive smart parking system
KR20200024727A (ko) 이동 id 그룹 정보를 이용한 위험 정보 제공 장치 및 방법

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant