KR20210052031A - Deep Learning based Traffic Flow Analysis Method and System - Google Patents
Deep Learning based Traffic Flow Analysis Method and System Download PDFInfo
- Publication number
- KR20210052031A KR20210052031A KR1020190138049A KR20190138049A KR20210052031A KR 20210052031 A KR20210052031 A KR 20210052031A KR 1020190138049 A KR1020190138049 A KR 1020190138049A KR 20190138049 A KR20190138049 A KR 20190138049A KR 20210052031 A KR20210052031 A KR 20210052031A
- Authority
- KR
- South Korea
- Prior art keywords
- traffic
- deep learning
- learning model
- road image
- flow analysis
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 인공 지능을 활용한 영상 처리 기술에 관한 것으로, 더욱 상세하게는 딥러닝 모델을 이용하여 도로 영상을 분석하여 교통 흐름을 파악하는 방법 및 시스템에 관한 것이다.The present invention relates to an image processing technology utilizing artificial intelligence, and more particularly, to a method and system for grasping a traffic flow by analyzing a road image using a deep learning model.
도로 교통 흐름을 파악하여 안내하기 위해, 도로 CCTV의 영상을 이용하고 있다. 하지만 이는 사람이 육안으로 파악해야 하며, 특수한 상황이 발생했을 때 운전자들에게 안내되는 데 시간이 다소 걸린다는 단점이 있다.In order to understand and guide road traffic flow, video from road CCTV is used. However, this has the disadvantage that it takes a little time to be guided by a human being, and when a special situation occurs, it takes some time to be informed to the drivers.
특수한 상황이 발생했을 때 즉각적으로 운전자들에게 안내가 되기 위해서는 교통 상황을 실시간으로 분석할 수 있는 시스템이 필요한데, 특히 교통 분석에 중요한 상황을 교통 이벤트로 정의하고 이를 영상 기반으로 자동 추출하는 방법론들이 필요하다.In order to provide immediate guidance to drivers when a special situation occurs, a system that can analyze traffic conditions in real time is required.In particular, methodologies that define situations important for traffic analysis as traffic events and automatically extract them based on images are needed. Do.
이를 위해서는 도로 영상을 이용하여 실시간으로 객체(차량 등)를 검출 및 추적할 수 있는 기술이 필요하며, 추적된 객체 정보 및 도로/차선정보를 융합하여 교통 흐름을 분석하기 위한 구체적인 방법들이 필요하다.To this end, a technology capable of detecting and tracking objects (vehicles, etc.) in real time using road images is required, and specific methods for analyzing traffic flow by fusion of tracked object information and road/lane information are needed.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 딥러닝 모델을 이용하여 도로 영상에서 객체를 검출/추적하고 교통 정보를 인식하여, 교통 흐름을 분석하고 교통 이벤트를 생성하는 방법 및 장치를 제공함에 있다.The present invention was conceived to solve the above problems, and an object of the present invention is to detect/track objects in road images and recognize traffic information using a deep learning model to analyze traffic flow and to analyze traffic events. It is to provide a method and apparatus for generating.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 교통 흐름 분석 방법은, 도로 영상을 획득하는 단계; 딥러닝 모델을 이용하여, 획득된 도로 영상에서 객체를 검출하고 추적하는 단계; 딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식하는 단계; 검출하고 추적하는 객체와 인식한 교통 정보를 이용하여, 교통 이벤트를 생성하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, a traffic flow analysis method includes: obtaining a road image; Detecting and tracking an object in the acquired road image using a deep learning model; Recognizing traffic information from the acquired road image using a deep learning model; And generating a traffic event by using the detected and tracked object and the recognized traffic information.
획득 단계는, 도로의 CCTV, 차량의 블랙박스, 휴대용 영상 단말 중 적어도 하나로부터 도로 영상을 수신하여 획득할 수 있다.The obtaining step may be obtained by receiving a road image from at least one of a CCTV of a road, a black box of a vehicle, and a portable video terminal.
검출/추적 단계는, 검출된 적어도 하나의 객체의 상태를 연속적으로 추정하고, 객체의 상태는, 객체의 ID, 위치 및 크기 중 적어도 하나를 포함할 수 있다.In the detecting/tracking step, a state of at least one detected object is continuously estimated, and the state of the object may include at least one of an ID, a position, and a size of the object.
딥러닝 모델은, 각기 다른 카테고리에 속하는 객체들을 함께 검출하고 추적할 수 있다.The deep learning model can detect and track objects belonging to different categories together.
딥러닝 모델은, 단일 네트워크로 객체의 검출과 추적을 모두 수행할 수 있다.The deep learning model can perform both object detection and tracking with a single network.
딥러닝 모델은, darknet 기반 심층 구조를 backbone으로 이용하며, spatial pyramid pooling 구조가 적용될 수 있다.The deep learning model uses a darknet-based deep structure as a backbone, and a spatial pyramid pooling structure can be applied.
딥러닝 모델은, 주기적으로 재학습되며, 검출하고 추적할 객체를 카테고리 별로 파라미터 튜닝될 수 있다.The deep learning model is periodically retrained, and the object to be detected and tracked can be parameter tuned for each category.
본 발명의 실시예에 따른 교통 흐름 분석 방법은, 처리 리소스와 동작 환경을 기초로, 획득된 도로 영상의 해상도, 송신할 영상의 압축 방법 및 네트워크 관련 사항을 가변적으로 설정하는 단계;를 더 포함할 수 있다.The traffic flow analysis method according to an embodiment of the present invention further includes variably setting a resolution of an acquired road image, a compression method of an image to be transmitted, and network related matters based on a processing resource and an operation environment. I can.
교통 정보는, 도로, 차선, 교통 신호, 표지판 중 적어도 하나를 포함하고, 교통 이벤트는, 도로 정체, 차량 정차, 운전자의 주행 차선, 교통 법규 위반, 위험 차량, 장애물 인식 중 적어도 하나를 포함할 수 있다.The traffic information includes at least one of a road, a lane, a traffic signal, and a sign, and the traffic event may include at least one of road congestion, vehicle stopping, driver's driving lane, traffic law violation, dangerous vehicle, and obstacle recognition. have.
한편, 본 발명의 다른 실시예에 따른, 교통 흐름 분석 시스템은, 도로 영상을 획득하는 촬영 장치; 획득된 도로 영상에서 딥러닝 모델을 이용하여 객체를 검출하고 추적하고, 획득된 도로 영상에서 딥러닝 모델을 이용하여 교통 정보를 인식하며, 검출하고 추적하는 객체와 인식한 교통 정보를 이용하여 교통 이벤트를 생성하는 분석 서버;를 포함한다.On the other hand, according to another embodiment of the present invention, a traffic flow analysis system, a photographing device for obtaining a road image; Detects and tracks an object using a deep learning model from the acquired road image, recognizes traffic information using a deep learning model from the acquired road image, and uses the detected and tracked object and the recognized traffic information to a traffic event It includes; an analysis server that generates.
한편, 본 발명의 다른 실시예에 따른, 교통 흐름 분석 방법은, 딥러닝 모델을 이용하여, 도로 영상에서 객체를 검출하고 추적하는 단계; 딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식하는 단계; 검출하고 추적하는 객체와 인식한 교통 정보를 이용하여, 교통 이벤트를 생성하는 단계;를 포함한다.On the other hand, according to another embodiment of the present invention, a traffic flow analysis method includes the steps of detecting and tracking an object in a road image using a deep learning model; Recognizing traffic information from the acquired road image using a deep learning model; And generating a traffic event by using the detected and tracked object and the recognized traffic information.
한편, 본 발명의 다른 실시예에 따른, 교통 흐름 분석 서버는, 딥러닝 모델을 이용하여, 도로 영상에서 객체를 검출하고 추적하는 검출/추적부; 딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식하는 인식부; 검출하고 추적하는 객체와 인식한 교통 정보를 이용하여, 교통 이벤트를 생성하는 생성부;를 포함한다.Meanwhile, according to another embodiment of the present invention, a traffic flow analysis server includes: a detection/tracking unit for detecting and tracking an object in a road image using a deep learning model; A recognition unit for recognizing traffic information from the acquired road image by using the deep learning model; It includes; a generator for generating a traffic event by using the detected and tracked object and the recognized traffic information.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 딥러닝 모델을 이용하여 도로 영상에서 객체를 검출/추적하고 교통 정보를 인식하여, 교통 흐름의 분석과 교통 이벤트 생성을 보다 정확하게 수행할 수 있게 된다.As described above, according to embodiments of the present invention, it is possible to more accurately perform traffic flow analysis and traffic event generation by detecting/tracking objects in road images and recognizing traffic information using a deep learning model. do.
도 1은 본 발명의 일 실시예에 따른 교통 흐름 분석 시스템을 도시한 도면,
도 2는 객체 검출을 위한 상세 과정,
도 3은 주요 객체 검출 결과 예시,
도 4는 객체 검출 이후 추적을 위한 상세 과정,
도 5는 검출/추적 결과 예시,
도 6은 추적기 결과 분석에 따른 검출기 최적화 및 튜닝,
도 7은 의미론적 분할 방법의 예시,
도 8은 차선 끝점 위치로 변환된 평면도에서 객체 3D 위치 표시,1 is a diagram showing a traffic flow analysis system according to an embodiment of the present invention;
2 is a detailed process for object detection,
3 is an example of the main object detection result,
4 is a detailed process for tracking after object detection,
5 is an example of detection/tracking results,
6 is a detector optimization and tuning according to the analysis of the tracer result,
7 is an example of a semantic segmentation method,
8 shows the object 3D position display in the plan view converted to the lane end point position,
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 교통 흐름 분석 시스템을 도시한 도면이다. 본 발명의 실시예에 따른 교통 흐름 분석 시스템은, 도로 영상에서 객체를 검출/추적하고 차선을 인식하면서 교통 이벤트를 생성한다.1 is a diagram showing a traffic flow analysis system according to an embodiment of the present invention. A traffic flow analysis system according to an embodiment of the present invention detects/tracks an object in a road image and generates a traffic event while recognizing a lane.
이와 같은 기능을 수행하는 본 발명의 실시예에 따른 교통 흐름 분석 시스템은, 도 1에 도시된 바와 같이, 촬영 장치(100)와 교통 흐름 분석 서버(200)가 상호 통신 가능하도록 연결되어 구축된다.A traffic flow analysis system according to an embodiment of the present invention performing such a function is constructed by being connected to each other so that the photographing device 100 and the traffic
촬영 장치(100)는 도로 영상을 생성하는 장치로, 도로의 CCTV, 차량 내 블랙박스, 보행자나 차량 탑승자의 휴대용 영상 단말 등으로 구현된다. 촬영 장치(100)는, 영상 획득부(110)와 통신부(120)를 포함하여 구성된다.The photographing device 100 is a device that generates road images, and is implemented as a CCTV of a road, a black box in a vehicle, a portable video terminal of a pedestrian or a vehicle occupant. The photographing apparatus 100 includes an
영상 획득부(110)는 도로를 촬영하여 도로 영상을 획득한다. 통신부(120)는 획득된 도로 영상을 교통 흐름 분석 서버(200)로 전송하고, 교통 흐름 분석 서버(200)로부터 교통 이벤트 정보를 수신한다. 수신된 교통 이벤트 정보는 디스플레이에 표시되거나 스피커를 통해 출력될 수 있다.The
교통 흐름 분석 서버(200)는 촬영 장치(100)로부터 수신한 도로 영상을 이용하여 교통 흐름을 분석하고 교통 이벤트를 생성한다. 교통 흐름 분석 서버(200)는 입력 인터페이스(210), 데이터 제어부(220), 데이터 처리부(230) 및 출력 인터페이스(240)를 포함하여 구성된다.The traffic
입력 인터페이스(210)는 촬영 장치(100)로부터 도로 영상을 수신하여 디코딩한다.The
데이터 제어부(220)는 입력 인터페이스(210)를 통해 수신된 도로 영상을 저장하기 위한 스토리지를 포함할 수 있다. 데이터 제어부(220)는 데이터, 설정값 및 시스템을 관리한다. 구체적으로 데이터 제어부(220)는 처리 리소스와 동작 환경에 따라 도로 영상의 해상도, 송신 영상의 압축 방법, 네트워크 관련 사항을 가변적으로 설정한다. 또한 데이터 제어부(220)는 클라우드 참여자의 프로파일을 분석하여 보안을 유지하는 기능도 수행한다.The
데이터 처리부(230)는 입력 인터페이스(210)로부터 전달받은 도로 영상으로부터 교통 흐름을 분석하고 교통 이벤트를 생성한다. 데이터 처리부(230)의 기능에 대해서는 상세히 후술한다.The
출력 인터페이스(240)는 데이터 제어부(220)에 저장된 도로 영상과 데이터 처리부(230)에 의해 생성된 교통 이벤트를 촬영 장치(100)나 기타 다른 단말들에 전송한다.The output interface 240 transmits a road image stored in the
이하에서는 전술한 데이터 처리부(230)에 대해 상세히 설명한다. 데이터 처리부(230)는 도 1에 도시된 바와 같이 객체 검출/추적부(231), 교통 정보 인식부(232), 교통 이벤트 생성부(233)를 포함하여 구성된다.Hereinafter, the above-described
객체 검출/추적부(231)는 딥러닝 모델을 이용하여 획득된 도로 영상에서 객체를 검출하고 상태(객체의 위치, 크기 및 객체 ID 등)를 연속적으로 추적한다. 추적 결과를 통해, 객체의 방향, 속도, 경로 등의 상위 정보를 추론할 수 있다.The object detection/
객체 검출/추적부(231)에서는 객체 검출과 추적을 단일 네트워크로 처리하는 딥러닝 모델을 이용하여 인식률을 높일 수 있다.The object detection/
객체 검출/추적부(231)는 도로 영상에서 여러 주요 객체들을 동시에 검출하고 추적할 수 있다. 이를 위해 검출기의 quantization 에러와 오검출을 고려한 필터 설계를 다중 객체 추적에 적용하였다.The object detection/
또한 검출/추적 대상이되는 객체들은 각기 다른 카테고리에 포함될 수 있다. 이를 테면, 이륜차, 소형 사륜차, 대형 사륜차, 보행자, 배경 객체를 모두 검출한다.In addition, objects to be detected/tracked may be included in different categories. For example, two-wheeled vehicles, small four-wheeled vehicles, large four-wheeled vehicles, pedestrians, and background objects are all detected.
객체 검출/추적부(231)가 이용하는 딥러닝 모델은 darknet 기반 심층 구조를 backbone으로 채택하였으며, 입력 크기 변화에 강인하고 카테고리간 상호 독립성(e.g. 사람과 오토바이, 버스 안의 사람 등)을 강화하기 위해, spatial pyramid pooling 구조를 변형하여 적용하였다.The deep learning model used by the object detection/
서버 리소스에 제한이 있는 경우 인식 성능을 최대한 유지하면서 연산량을 개선하기 위해, 객체 검출/추적부(231)가 이용하는 딥러닝 모델은 1x1xN channel reduction layer의 삽입이나, weight pruning 기법, weight quantization 기법 등 네트워크 압축 기법을 도입함으로써, 성능과 속도의 trade-off 관계를 시나리오 별로 조절할 수 있다.When server resources are limited, the deep learning model used by the object detection/
그리고 객체 검출/추적부(231)가 이용하는 딥러닝 모델은 기존 네트워크 계층을 줄이고 네트워크 계층 감소로 인한 인식 성능 저하를 최소화하기 위한 route (skip connection), reorg와 같은 신규 네트워크 기법을 도입하여 연산량을 개선하였다.In addition, the deep learning model used by the object detection/
도 2에는 객체 검출을 위한 상세 과정을 나타내었다. 도 2에서 Input Parser는 입력되는 도로 영상과 파라미터를 관리하고, CNN Feature Extraction은 심층 구조(CNN)를 이용하여 입력 데이터로부터 Tensor 형태의 CNN 특징량을 추출한다. Object Detector는 CNN 출력으로부터 실제 검출 결과를 판단하는 데 필요한 후처리 기능들을 순차적으로 수행한다. 도 3에는 주요 객체 검출 결과를 예시하였다. 검출된 객체에는 라벨(label)과 bounding box가 표시된다.2 shows a detailed process for object detection. In FIG. 2, the Input Parser manages input road images and parameters, and the CNN Feature Extraction extracts a Tensor-type CNN feature amount from the input data using a deep structure (CNN). Object Detector sequentially performs the post-processing functions necessary to determine the actual detection result from the CNN output. 3 illustrates the main object detection results. A label and bounding box are displayed on the detected object.
도 4에는 객체 검출 이후 추적을 위한 상세 과정을 나타내었고, 도 5에는 검출/추적 결과를 예시하였다. 검출/추척되는 객체에는 라벨과 bounding box가 표시된다.4 shows a detailed process for tracking after object detection, and FIG. 5 shows a detection/tracking result. Labels and bounding boxes are displayed on objects to be detected/tracked.
한편, 객체 검출/추적부(231)가 이용하는 딥러닝 모델은 추적 성능을 향상시키기 위해, 재학습과 차량의 종류(승용차, 버스, 트럭 등) 별 파라미터 튜닝으로 심층 구조 최적화된다.Meanwhile, the deep learning model used by the object detection/
구체적으로 도 6에 도시된 바와 같이 객체 검출기에 대해 차량의 다양한 클래스를 고려하여 네트워크 재학습을 진행하고, 추적 환경 및 사용자 DB에 적합한 검출 결과를 획득하기 위해 파라미터 튜닝을 수행하고, 추적기 성능 향상을 위한 심층구조 최적화 및 파라미터 튜닝을 수행하는 것이다.Specifically, as shown in FIG. 6, network retraining is performed in consideration of various classes of vehicles for the object detector, parameter tuning is performed to obtain a detection result suitable for the tracking environment and user DB, and the tracker performance is improved. It is to perform in-depth structure optimization and parameter tuning for
객체 추적 성능을 고려하여 재학습을 수행하면, 다양한 종류의 다중 차량에 대해 파라미터 튜닝을 수행할 수 있다. 또한 bounding box quantization의 에러 최소화를 위하여 바운딩 박스의 regression 성능을 개선할 수 있다.If retraining is performed in consideration of object tracking performance, parameter tuning can be performed for various types of multiple vehicles. In addition, the regression performance of the bounding box can be improved to minimize the error of bounding box quantization.
교통 정보 인식부(232)는 학습된 딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식한다. 인식하는 교통 정보에는 도로, 차선, 교통 신호, 표지판(속도 표시판, 낙하위험 지역 등) 등이 포함된다.The traffic
교통 정보 인식부(232)는 도로, 차선, 교통 신호, 표지판 등을 인식하도록 특화된 딥러닝 모델을 이용한다. 특히, 도로와 차선의 위치의 경우, 도 7에 예시된 바와 같은 의미론적 분할 방법을 사용하여 자동차와 사람이 움직일 수 있은 영역을 구분한다.The traffic
차선 검출은 각 차선 별로 ID를 부여하는 딥러닝 방식을 사용하여 도로 내의 차선별 구분이 가능하며, 현재 주행 차선을 유추할 수 있다. 국내 도로 사정을 고려하여 네트워크 재학습을 진행할 수 있으며, 차선 영역 분할 및 인식기 성능 향상을 위한 네트워크 최적화 및 하이퍼 파라미터 튜닝을 수행할 수 있다.Lane detection can distinguish each lane within a road by using a deep learning method in which an ID is assigned to each lane, and the current driving lane can be inferred. Network re-learning can be performed in consideration of domestic road conditions, and network optimization and hyper-parameter tuning can be performed for segmentation of lanes and improvement of recognizer performance.
또한 도 8에 제시된 바와 같이 수동으로 차선 양 끝점을 입력 받아 탐지된 객체의 3차원 위치 정보, 이를 테면, 평면으로 변환된 정보를 제공할 수 있다. 이 경우, 카메라 perspective distortion으로 인한 왜곡을 상쇄하는 검출 위치, 추적 적용 이후 각 객체의 정확한 속도 분석에 유리하다.In addition, as shown in FIG. 8, three-dimensional position information of an object detected by manually inputting both end points of a lane, for example, information converted into a plane may be provided. In this case, it is advantageous to accurately analyze the speed of each object after the detection position and tracking application to compensate for the distortion caused by the camera's perspective distortion.
교통 이벤트 생성부(233)는 객체 검출/추적부(231)에서 검출하고 추적하는 객체와 교통 정보 인식부(232)에서 인식한 교통 정보를 이용하여 교통 흐름을 분석하고, 교통 이벤트를 생성한다.The traffic
생성하는 교통 이벤트에는 도로 정체, 차량 정차, 운전자의 주행 차선, 교통 법규 위반(차량 정지선, 불법 유턴, 차량 역주행 등), 위험 차량(끼어들기, 난폭 운전, 보복 운전 등), 장애물 인식(낙하물, 야생동물 등) 등을 포함한다.Traffic events generated include road congestion, vehicle stopping, driver's driving lane, traffic laws violation (vehicle stop line, illegal U-turn, vehicle reverse driving, etc.), dangerous vehicles (interruption, reckless driving, retaliatory driving, etc.), obstacle recognition (falling objects, Wild animals, etc.).
도로 정체는 도로 영역에서의 차량의 수 또는 해당 도로에서 운행 중인 차량의 속도를 파악하여 원활, 보통, 정체, 극심한 정체 수준으로 나누어 판단할 수 있다.Road congestion can be determined by grasping the number of vehicles in the road area or the speed of vehicles running on the road and dividing into smooth, normal, congested, and extreme congestion levels.
정체, 극심한 정체 수준으로 판단되는 경우에는 정체 원인을 파악하기 위하여 신호 인식 정보, 표지판 인식 정보를 활용하여 신호에 의한 정체 또는 기준 속도 변동에 의한 정체 또는 교통량 증가로 인한 정체 등으로 판단할 수 있으며, 전방 도로에 하나 이상의 차량이 정차되어 있는 경우 사고차량 발생에 의한 정체로 판단할 수 있다. If it is judged as congestion or extreme congestion level, it can be determined as congestion due to signal congestion or congestion due to a change in standard speed, or congestion due to an increase in traffic volume, using signal recognition information and sign recognition information to determine the cause of congestion If more than one vehicle is stopped on the road ahead, it can be determined as a congestion caused by an accident vehicle.
위험 차량 인식을 수행하는 방법에 있어서, ID가 부여되어 추적 중인 객체들을 차선 정보를 이용하여 역주행 여부를 판단하여 위험 차량으로 분류할 수 있다. In the method of performing dangerous vehicle recognition, an object being tracked by being assigned an ID may be classified as a dangerous vehicle by determining whether to drive in reverse using lane information.
또한 차량이 차선변경을 전, 후방 차량 간격이 설정된 값 이하일 때 진행하는 경우 끼어들기 위험 운전자로 판단하여 위험 차량으로 분류할 수 있다.In addition, when the vehicle changes lanes when the distance between the front and rear vehicles is less than or equal to a set value, the vehicle can be classified as a dangerous vehicle by determining that the vehicle is at risk of being interrupted.
그리고 전방 차량의 급정거로 인하여 급격히 차간 간격이 좁혀지는 현상이 기 설정된 값 이상 지속되는 경우, 전방에 사고 또는 차량 증가 등으로 인한 정체 현상이 발생하였는지 등을 파악하여 특별한 정체 유발 원인이 발견되지 않는 경우 전방 차량을 보복 운전 차량으로 판단하여 위험 차량으로 분류할 수 있다.In addition, if the phenomenon of rapidly narrowing the gap between vehicles due to the sudden stop of the vehicle in front continues beyond a preset value, when a specific cause of congestion is not found by identifying whether congestion has occurred due to an accident or vehicle increase in the front. The vehicle in front can be determined as a vehicle for retaliatory driving and classified as a dangerous vehicle.
장애물 인식은 차량 파라미터 값을 이용하여 차량으로 판단되지 않는 경우 장애물로 판단할 수 있다. 장애물은 움직이는 객체인지 아닌지를 판단하여 운전자에게 안내될 수 있다.Obstacle recognition can be determined as an obstacle if it is not determined to be a vehicle using a vehicle parameter value. The obstacle may be guided to the driver by determining whether it is a moving object or not.
교통 이벤트 생성부(233)는 이벤트 발생 시 운전자의 단말 등을 이용하여 운전자에게 발생 이벤트 안내 및 우회경로 안내 등을 수행할 수 있다. 예를 들어, 운전자의 네비게이션에 표시되는 지도에 전방에 이벤트 발생 시 해당 영역에 어떤 이벤트가 발생하였는지 표시하고 우회 경로를 안내할 수 있다. When an event occurs, the
또한 교통 이벤트 생성부(233)는 긴급 이벤트(사고 차량 발생, 역주행 차량, 낙하물 감지 등)의 경우 관련 부처에 신고할 수 있다.In addition, the
지금까지, 딥러닝 기반 교통 흐름 분석 방법 및 시스템에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, a method and system for analyzing traffic flow based on deep learning have been described in detail with reference to preferred embodiments.
본 발명의 실시예에 따르면, 딥러닝 모델을 이용하여 도로 영상에서 객체를 검출/추적하고 교통 정보를 인식하여, 교통 흐름의 분석과 교통 이벤트 생성을 보다 정확하게 수행할 수 있게 된다.According to an embodiment of the present invention, it is possible to more accurately perform traffic flow analysis and traffic event generation by detecting/tracking objects in road images and recognizing traffic information using a deep learning model.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.Meanwhile, it goes without saying that the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program for performing functions of the apparatus and method according to the present embodiment. Further, the technical idea according to various embodiments of the present invention may be implemented in the form of a computer-readable code recorded on a computer-readable recording medium. The computer-readable recording medium can be any data storage device that can be read by a computer and can store data. For example, a computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. In addition, a computer-readable code or program stored in a computer-readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be understood individually from the technical spirit or prospect of the present invention.
100 : 촬영 장치
110 : 영상 획득부
120 : 통신부
200 : 교통 흐름 분석 서버
210 : 입력 인터페이스
220 : 데이터 제어부
230 : 데이터 처리부
231 : 객체 검출/추적부
232 : 교통 정보 인식부
233 : 교통 이벤트 생성부
240 : 출력 인터페이스100: photographing device
110: image acquisition unit
120: communication department
200: traffic flow analysis server
210: input interface
220: data control unit
230: data processing unit
231: object detection/tracking unit
232: traffic information recognition unit
233: Traffic event generation unit
240: output interface
Claims (12)
딥러닝 모델을 이용하여, 획득된 도로 영상에서 객체를 검출하고 추적하는 단계;
딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식하는 단계;
검출하고 추적하는 객체와 인식한 교통 정보를 이용하여, 교통 이벤트를 생성하는 단계;를 포함하는 것을 특징으로 하는 교통 흐름 분석 방법.
Obtaining a road image;
Detecting and tracking an object in the acquired road image using a deep learning model;
Recognizing traffic information from the acquired road image using a deep learning model;
And generating a traffic event by using the detected and tracked object and the recognized traffic information.
획득 단계는,
도로의 CCTV, 차량의 블랙박스, 휴대용 영상 단말 중 적어도 하나로부터 도로 영상을 수신하여 획득하는 것을 특징으로 하는 교통 흐름 분석 방법.
The method according to claim 1,
The acquisition phase is:
A traffic flow analysis method comprising receiving and obtaining a road image from at least one of a CCTV of a road, a black box of a vehicle, and a portable video terminal.
검출/추적 단계는,
검출된 적어도 하나의 객체의 상태를 연속적으로 추정하고,
객체의 상태는,
객체의 ID, 위치 및 크기 중 적어도 하나를 포함하는 것을 특징으로 하는 교통 흐름 분석 방법.
The method according to claim 1,
The detection/tracking step is:
Continuously estimating the state of at least one detected object,
The state of the object is,
Traffic flow analysis method comprising at least one of the ID, the location and the size of the object.
딥러닝 모델은,
각기 다른 카테고리에 속하는 객체들을 함께 검출하고 추적하는 것을 특징으로 하는 교통 흐름 분석 방법.
The method of claim 3,
The deep learning model,
A traffic flow analysis method, characterized in that objects belonging to different categories are detected and tracked together.
딥러닝 모델은,
단일 네트워크로 객체의 검출과 추적을 모두 수행하는 것을 특징으로 하는 교통 흐름 분석 방법.
The method of claim 4,
The deep learning model,
A traffic flow analysis method, characterized in that both object detection and tracking are performed with a single network.
딥러닝 모델은,
darknet 기반 심층 구조를 backbone으로 이용하며, spatial pyramid pooling 구조가 적용된 것을 특징으로 하는 교통 흐름 분석 방법.
The method of claim 5,
The deep learning model,
A traffic flow analysis method characterized by using a darknet-based deep structure as a backbone and applying a spatial pyramid pooling structure.
딥러닝 모델은,
주기적으로 재학습되며, 검출하고 추적할 객체를 카테고리 별로 파라미터 튜닝되는 것을 특징으로 하는 교통 흐름 분석 방법.
The method of claim 5,
The deep learning model,
A traffic flow analysis method, characterized in that the object is periodically retrained, and parameters to be detected and tracked are tuned for each category.
처리 리소스와 동작 환경을 기초로, 획득된 도로 영상의 해상도, 송신할 영상의 압축 방법 및 네트워크 관련 사항을 가변적으로 설정하는 단계;를 더 포함하는 것을 특징으로 하는 교통 흐름 분석 방법.
The method according to claim 1,
The traffic flow analysis method further comprising: variably setting a resolution of the obtained road image, a compression method of an image to be transmitted, and a network-related matter based on the processing resource and the operation environment.
교통 정보는,
도로, 차선, 교통 신호, 표지판 중 적어도 하나를 포함하고,
교통 이벤트는,
도로 정체, 차량 정차, 운전자의 주행 차선, 교통 법규 위반, 위험 차량, 장애물 인식 중 적어도 하나를 포함하는 것을 특징으로 하는 교통 흐름 분석 방법.
The method according to claim 1,
Traffic information,
Includes at least one of roads, lanes, traffic signals, and signs,
Transportation events,
Traffic flow analysis method comprising at least one of road congestion, vehicle stopping, driver's driving lane, traffic law violation, dangerous vehicle, and obstacle recognition.
획득된 도로 영상에서 딥러닝 모델을 이용하여 객체를 검출하고 추적하고, 획득된 도로 영상에서 딥러닝 모델을 이용하여 교통 정보를 인식하며, 검출하고 추적하는 객체와 인식한 교통 정보를 이용하여 교통 이벤트를 생성하는 분석 서버;를 포함하는 것을 특징으로 하는 교통 흐름 분석 시스템.
A photographing device for obtaining a road image;
Detects and tracks an object using a deep learning model from the acquired road image, recognizes traffic information using a deep learning model from the acquired road image, and uses the detected and tracked object and the recognized traffic information to a traffic event Analysis server for generating a; traffic flow analysis system comprising a.
딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식하는 단계;
검출하고 추적하는 객체와 인식한 교통 정보를 이용하여, 교통 이벤트를 생성하는 단계;를 포함하는 것을 특징으로 하는 교통 흐름 분석 방법.
Detecting and tracking an object in a road image using a deep learning model;
Recognizing traffic information from the acquired road image using a deep learning model;
And generating a traffic event by using the detected and tracked object and the recognized traffic information.
딥러닝 모델을 이용하여, 획득된 도로 영상에서 교통 정보를 인식하는 인식부;
검출하고 추적하는 객체와 인식한 교통 정보를 이용하여, 교통 이벤트를 생성하는 생성부;를 포함하는 것을 특징으로 하는 교통 흐름 분석 서버.
A detection/tracking unit for detecting and tracking an object in a road image using a deep learning model;
A recognition unit for recognizing traffic information from the acquired road image by using the deep learning model;
A traffic flow analysis server comprising: a generating unit that generates a traffic event by using the detected and tracked object and the recognized traffic information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190138049A KR102453627B1 (en) | 2019-10-31 | 2019-10-31 | Deep Learning based Traffic Flow Analysis Method and System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190138049A KR102453627B1 (en) | 2019-10-31 | 2019-10-31 | Deep Learning based Traffic Flow Analysis Method and System |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210052031A true KR20210052031A (en) | 2021-05-10 |
| KR102453627B1 KR102453627B1 (en) | 2022-10-12 |
Family
ID=75918497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190138049A KR102453627B1 (en) | 2019-10-31 | 2019-10-31 | Deep Learning based Traffic Flow Analysis Method and System |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102453627B1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102355431B1 (en) * | 2021-08-25 | 2022-02-08 | 한국건설기술연구원 | AI based emergencies detection method and system |
| KR20220161785A (en) * | 2021-05-31 | 2022-12-07 | 영남대학교 산학협력단 | System and method of traffic accident detection |
| KR20230073500A (en) * | 2021-11-19 | 2023-05-26 | 한국전자기술연구원 | CCTV video-based moving vehicle speed estimation method |
| KR102550977B1 (en) * | 2022-11-17 | 2023-07-04 | 정길영 | Intelligent traffic control system using image processing and method thereof |
| KR102602319B1 (en) * | 2023-07-18 | 2023-11-16 | 메타빌드 주식회사 | Traffic information collection system and method based on multi-object tracking using artificial intelligence image deep learning model |
| KR102660024B1 (en) * | 2023-08-09 | 2024-04-23 | 뱀부스 주식회사 | Method for detection road event and apparatus for the same |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102533582B1 (en) * | 2022-11-10 | 2023-05-17 | 주식회사 에이엔비 | AI-based driving violation two-wheeled vehicle enforcement system and method |
| KR102653755B1 (en) | 2023-07-18 | 2024-04-03 | 메타빌드 주식회사 | System and method for collecting field image data sets for learning artificial intelligence image deep learning models |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170074076A (en) * | 2015-12-21 | 2017-06-29 | 동국대학교 산학협력단 | Method and system for adaptive traffic signal control |
| KR20170106184A (en) * | 2017-01-02 | 2017-09-20 | 이대규 | Method and apparatus of integrated enforcement for traffic cctv enforcement system |
| KR101942491B1 (en) * | 2018-11-08 | 2019-04-11 | 주식회사 싸인텔레콤 | Hybrid ai cctv mediation module device consisting of road traffic situation monitoring and real time traffic information analysis |
| WO2019189152A1 (en) * | 2018-03-29 | 2019-10-03 | 日本電気株式会社 | Traffic monitoring device, traffic monitoring system, traffic monitoring method, and non-transitory computer-readable medium with program stored thereon |
| KR102021534B1 (en) * | 2018-08-29 | 2019-10-18 | 주식회사 핀텔 | Image analysis apparatus for sensing vehicle and pedestrian based on deep learning and method thereof |
-
2019
- 2019-10-31 KR KR1020190138049A patent/KR102453627B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170074076A (en) * | 2015-12-21 | 2017-06-29 | 동국대학교 산학협력단 | Method and system for adaptive traffic signal control |
| KR20170106184A (en) * | 2017-01-02 | 2017-09-20 | 이대규 | Method and apparatus of integrated enforcement for traffic cctv enforcement system |
| WO2019189152A1 (en) * | 2018-03-29 | 2019-10-03 | 日本電気株式会社 | Traffic monitoring device, traffic monitoring system, traffic monitoring method, and non-transitory computer-readable medium with program stored thereon |
| KR102021534B1 (en) * | 2018-08-29 | 2019-10-18 | 주식회사 핀텔 | Image analysis apparatus for sensing vehicle and pedestrian based on deep learning and method thereof |
| KR101942491B1 (en) * | 2018-11-08 | 2019-04-11 | 주식회사 싸인텔레콤 | Hybrid ai cctv mediation module device consisting of road traffic situation monitoring and real time traffic information analysis |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220161785A (en) * | 2021-05-31 | 2022-12-07 | 영남대학교 산학협력단 | System and method of traffic accident detection |
| KR102355431B1 (en) * | 2021-08-25 | 2022-02-08 | 한국건설기술연구원 | AI based emergencies detection method and system |
| KR20230073500A (en) * | 2021-11-19 | 2023-05-26 | 한국전자기술연구원 | CCTV video-based moving vehicle speed estimation method |
| KR102550977B1 (en) * | 2022-11-17 | 2023-07-04 | 정길영 | Intelligent traffic control system using image processing and method thereof |
| KR102602319B1 (en) * | 2023-07-18 | 2023-11-16 | 메타빌드 주식회사 | Traffic information collection system and method based on multi-object tracking using artificial intelligence image deep learning model |
| KR102660024B1 (en) * | 2023-08-09 | 2024-04-23 | 뱀부스 주식회사 | Method for detection road event and apparatus for the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102453627B1 (en) | 2022-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102453627B1 (en) | Deep Learning based Traffic Flow Analysis Method and System | |
| US11840239B2 (en) | Multiple exposure event determination | |
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| CN112700470B (en) | Target detection and track extraction method based on traffic video stream | |
| Bonnin et al. | Pedestrian crossing prediction using multiple context-based models | |
| JP7499256B2 (en) | System and method for classifying driver behavior - Patents.com | |
| Rahman et al. | A real-time wrong-way vehicle detection based on YOLO and centroid tracking | |
| US11836985B2 (en) | Identifying suspicious entities using autonomous vehicles | |
| CN110188482B (en) | Test scene creating method and device based on intelligent driving | |
| KR102031503B1 (en) | Method and system for detecting multi-object | |
| US9760783B2 (en) | Vehicle occupancy detection using passenger to driver feature distance | |
| CN111178286B (en) | Gesture track prediction method and device and electronic equipment | |
| Ketcham et al. | Recognizing the Illegal Parking Patterns of Cars on the Road in Front of the Bus Stop Using the Support Vector Machine | |
| Cypto et al. | Automatic detection system of speed violations in a traffic based on deep learning technique | |
| KR102133045B1 (en) | Method and system for data processing using CCTV images | |
| CN107452230A (en) | A kind of obstacle detection method, device, terminal device and storage medium | |
| Klette et al. | Vision-based driver assistance systems | |
| CN113850112A (en) | Road condition identification method and system based on twin neural network | |
| KR20220089217A (en) | Two-wheeled vehicle control apparatus and method | |
| CN112232312A (en) | Automatic driving method and device based on deep learning and electronic equipment | |
| KR102685593B1 (en) | Method and device for cracking down on vehicles violating driving laws based on object detection technology using artificial neural networks | |
| Raju et al. | Self-Driving Car using Neural Network with Raspberry Pi | |
| US20240020964A1 (en) | Method and device for improving object recognition rate of self-driving car | |
| Shilaskar et al. | CentraSense: Proactive Vehicle Direction Monitoring | |
| Siriwardana et al. | Driving Through a Bend: Detection of Unsafe Driving Patterns and Prevention of Heavy Good Vehicle Rollovers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E90F | Notification of reason for final refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |