KR102645077B1 - Deep learning-based intersection object detection and automatic alarm method - Google Patents

Deep learning-based intersection object detection and automatic alarm method Download PDF

Info

Publication number
KR102645077B1
KR102645077B1 KR1020230111052A KR20230111052A KR102645077B1 KR 102645077 B1 KR102645077 B1 KR 102645077B1 KR 1020230111052 A KR1020230111052 A KR 1020230111052A KR 20230111052 A KR20230111052 A KR 20230111052A KR 102645077 B1 KR102645077 B1 KR 102645077B1
Authority
KR
South Korea
Prior art keywords
crosswalk
vehicle
unit
signal
object detection
Prior art date
Application number
KR1020230111052A
Other languages
Korean (ko)
Inventor
구자전
최현기
Original Assignee
(주)소프트윙스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)소프트윙스 filed Critical (주)소프트윙스
Priority to KR1020230111052A priority Critical patent/KR102645077B1/en
Application granted granted Critical
Publication of KR102645077B1 publication Critical patent/KR102645077B1/en

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 2023년 4월 22일부터 본격적인 단속이 시행된 우회전 일시정지에 대하여 딥러닝기반 컴퓨터비전 기술을 활용하여 교차로에서 차량이 우회전 할 시 다양한 각도에서 얻은 이륜차, 사람, 및 자전거의 데이터를 확보하여 전이학습(Transfer learning)을 진행하고 추론의 정확도를 높일 수 있도록 하여 횡단보도 내 객체 검출에 대하여 높은 정확도로 감지하고 사전에 경고하여 보행자와 운전자 모두에게 안전을 제공하고, 위반 차량 적발 시 명확한 증거영상을 확보할 수 있는 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에 관한 것이다. 이러한 본 발명은 교차로 횡단보도의 보행자 대기영역과 횡단보도 차량 우회전 영역, 횡단보도를 포함하는 횡단신호등과 주행차선 신호등 영역에 대하여 선택적으로 촬영하는 카메라부(120)가 구성된 복수의 교차로 객체 검지/알람장치(100)를 설치하는 단계(S100); 상기 교차로 객체 검지/알람 장치(100)의 카메라부(120)는 횡단보도에 대기중인 보행자와, 우회전 차량, 횡단보도 신호등 및/또는 사거리 전방신호등을 촬영하는 단계(S110); 상기 카메라부(120)에서 촬영되어 검출된 이미지에 대하여 상기 교차로 객체 검지/알람장치(100)에서는 딥러인 기반 교차로 객체를 검출 및 인식하는 단계(S120); 상기 교차로 객체 검지/알람장치(100)의 신호분석부(101)는 신호등 제어기(400)에 접속되어 신호등 제어기(400)에서 제어되는 횡단보도 신호등(600)과 주행차선 신호등(500)에 대한 신호시간을 분석하여 상기 횡단보도 신호등(600)이 보행신호로 바뀌면 상기 교차로 객체 검지/알람장치(100)의 제어부(107)는 교차로 객체 검지/알람장치(100)의 디스플레이부(130)를 통해서 우회전 운전자에게 우회전 금지문구를 디스플레이하도록 제어하고, 스피커부를 통해서도 우회전 금지 음성 또는 경고음을 출력하는 단계(S150); 및 상기 교차로 객체 검지/알람장치(100)의 제어부(107)는 보행신호에 우회전하는 차량이 있는 경우 일시정지 하지 않고, 진행하는 차량에 대하여 카메라부에서 촬영한 차량의 차량번호를 분석하고, 분석한 차량번호 정보와, 우회전 신호인 것을 명확하게 하기 위하여 차량 우회전시 동시에 촬영한 횡단보도 신호등(600)의 이미지 정보를 저장하는 단계(S160);를 포함하는 것을 특징으로 하는 딥러닝 기반 교차로 객체검지 및 자동 알람 방법을 제공한다.The present invention utilizes deep learning-based computer vision technology to secure data on two-wheeled vehicles, people, and bicycles obtained from various angles when a vehicle turns right at an intersection for right turn temporary stops, which have been implemented in earnest since April 22, 2023. By performing transfer learning and increasing the accuracy of inference, detection of objects within a crosswalk is detected with high accuracy and warning is given in advance, providing safety to both pedestrians and drivers, and providing clear evidence when a vehicle in violation is detected. This is about a deep learning-based intersection object detection and automatic alarm method that can secure images. The present invention is a plurality of intersection object detection/alarm devices configured with a camera unit 120 that selectively photographs the pedestrian waiting area of the crosswalk at the intersection, the right turn area of the crosswalk vehicle, the crosswalk traffic light including the crosswalk, and the travel lane traffic light area. Installing the device 100 (S100); The camera unit 120 of the intersection object detection/alarm device 100 photographs pedestrians waiting at the crosswalk, right-turning vehicles, crosswalk traffic lights, and/or intersection front traffic lights (S110); Detecting and recognizing a deep line-based intersection object in the intersection object detection/alarm device 100 with respect to the image captured and detected by the camera unit 120 (S120); The signal analysis unit 101 of the intersection object detection/alarm device 100 is connected to the traffic light controller 400 and provides signals for the crosswalk signal light 600 and the driving lane signal light 500 controlled by the traffic light controller 400. By analyzing time, when the crosswalk signal light 600 changes to a walking signal, the control unit 107 of the intersection object detection/alarm device 100 turns right through the display unit 130 of the intersection object detection/alarm device 100. Controlling the display of a right turn prohibition phrase to the driver and outputting a right turn prohibition voice or warning sound through the speaker unit (S150); And the control unit 107 of the intersection object detection/alarm device 100 does not stop temporarily when there is a vehicle turning right at the pedestrian signal, but analyzes the license plate number of the vehicle captured by the camera unit for the vehicle moving forward. Deep learning-based intersection object detection comprising a step (S160) of storing license plate information and image information of the crosswalk signal 600 taken simultaneously when the vehicle turns right to make it clear that it is a right turn signal. and an automatic alarm method are provided.

Description

딥러닝 기반 교차로 객체검지 및 자동 알람 방법{Deep learning-based intersection object detection and automatic alarm method}Deep learning-based intersection object detection and automatic alarm method}

본 발명은 딥러닝 기반 교차로 객체검지 및 자동 알람에 관한 것으로, 더욱 상세하게는 딥러닝기반 컴퓨터비전 기술을 활용하여 교차로에서 차량이 우회전 할 시 횡단보도의 객체를 감지하고 사전에 경고할 수 있는 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에 관한 것이다.The present invention relates to deep learning-based intersection object detection and automatic alarm. More specifically, deep learning-based computer vision technology is used to detect objects in the crosswalk and warn in advance when a vehicle turns right at an intersection. This is about a learning-based intersection object detection and automatic alarm method.

교차로에서 횡단보도를 건너기 위해 신호를 기다리는 사람들이 있으면 우선멈춤 후 우회전하는 제도로 시행됨에 따라 운전자가 횡단보도를 건너거나 기다리는 사람들을 정확히 인식하기 어렵다. If there are people waiting for a signal to cross the crosswalk at an intersection, the system is implemented to stop first and then turn right, making it difficult for drivers to accurately recognize people crossing or waiting at the crosswalk.

우회전을 하고자하는 차량이 횡단보도를 건너기 위해 신호를 기다리는 사람들이 있으면 우선멈춤 후 우회전하는 제도가 2022년 7월부터 시행되고, 2023년 1월부터 ‘차량 전방 신호가 적색일 경우’ 우회전 전 횡단보도 앞에서 무조건 일시정지 후 보행자 유무를 살핀 후 우회전을 해야 한다는 개정 도로교통법이 추가로 시행됨에 따라 교차로에서 우회전 차량이 바로 앞의 횡단보도에서 건너거나 건너기위해 기다리는 사람들을 가로수, 전봇대, 가로등으로 인해 쉽게 인지하지 못하는 경우가 많다.A system in which vehicles wishing to turn right will stop first and then turn right if there are people waiting for the signal to cross the crosswalk will be implemented from July 2022, and from January 2023, 'if the signal in front of the vehicle is red', the system will be implemented at a crosswalk before turning right. As the revised Road Traffic Act, which requires unconditional stops in front and a right turn after checking for pedestrians, has been implemented, vehicles turning right at intersections can easily recognize people crossing or waiting to cross at the crosswalk in front of them due to street trees, electric poles, and street lights. There are many cases where it cannot be done.

특히 우회전 하자마자 위치한 횡단보도를 기다리거나 건너는 사람들은 우측으로 90도 회전 후 위치해 있음에 따라 우회전하기 전 차량의 위치에서는 건물, 울타리, 담장, 가로수, 화단 등으로 가려져 있는 경우가 많아서 소수 인원이 횡단보도를 건너거나 신호를 기다리는 경우에는 우회전 운전자가 우회전하기 전 뿐만 아니라 우회전 후에서도 횡단보도를 건너기 위해 기다리는 사람을 횡단보도 양쪽을 봐야하고 무단횡단을 하고 있는지도 봐야 하는 등으로 인해 인지하기가 매우 어렵다. 또한 이 횡단보도 신호등이 어떤 상태인지도 봐야 해서 집중하여 운전할 수 없다. 또한 우측으로 90도 회전 후 위치한 횡단보도를 건너기 위해 사람들이 기다리고 있는지도 건물 등에 가려서 눈에 잘 띄지 않는다. In particular, people waiting or crossing the crosswalk located immediately after turning right are often blocked by buildings, fences, walls, street trees, flower beds, etc. as the vehicle is located after turning 90 degrees to the right, so only a small number of people use the crosswalk. When crossing or waiting for a signal, it is very difficult for right-turning drivers to recognize people waiting to cross the crosswalk not only before turning right but also after turning right because they have to look at both sides of the crosswalk and see if they are jaywalking. Also, I have to see what state the crosswalk traffic lights are in, so I can't concentrate while driving. Also, it is hard to see if people are waiting to cross the crosswalk located after turning 90 degrees to the right because it is obscured by buildings.

주택가나 골목길 또는 이면도로에서 교차로나 곡선구간, 언덕구간, 사각지대 등으로 인해 운전자에게 시야가 확보되지 않아서 위험한 상황에 처하게 되는 경우가 많은데 위험구간에서 속도를 줄이지 않고 운행하다가 돌발 상황에 대처하지 못해서 사고가 발생하는 경우가 많으므로 횡단보도에 사람이 건너고 있는지 횡단보도를 건너기 위해 기다리고 있는지를 인식하고. 우회전 차량에 신호를 제공할 필요가 있으며, 이에 우회전 차량을 위한 신호등 및 위험구간에 상황을 알려주는 신호등 관련 다양한 기술이 개발되고 있을 것이다.In residential areas, alleys, or back roads, drivers often find themselves in dangerous situations due to lack of visibility due to intersections, curves, hills, blind spots, etc., but they do not respond to unexpected situations by driving without reducing their speed in a dangerous section. Accidents often occur due to failure to do so, so recognize whether people are crossing at the crosswalk or waiting to cross. There is a need to provide signals to right-turning vehicles, and accordingly, various technologies related to traffic lights for right-turning vehicles and traffic lights that inform of situations in dangerous sections are being developed.

하지만 이러한 기술은 아직 개발 중이므로 우회전 차량은 물론 일반 사람들도 많은 위험에 처할 수 있는 문제가 있을 것이다.However, since this technology is still under development, there will be problems that could put right-turning vehicles as well as the general public at risk.

특히 횡단보도나 교차로에서 노란색(황색) 신호등일 때 직진이나 좌회전을 위해 더욱 속도를 높여 통과하려는 차량 또는 신호위반 차량들로 인해 늦게 통과하는 차량과 사람 간 충돌 또는 늦게 좌회전하는 차량과 좌측방향의 도로에서 대기하는 차량이 신호가 바뀌어 직진이나 좌회전 차량 간 충돌이 종종 발생한다. 또한 횡단보도 신호등이 녹색으로 켜지거나 횡단보도를 건너기 위해 교통섬으로 건너는데 차량이 우회전을 위해 접근하는 차량과 사람이 서로 부주의하여 우회전 차량과 횡단보도를 건너려는 사람 간 충돌사고가 종종 발생하므로 이러한 문제를 해결하여야할 필요가 있다.In particular, when the traffic light is yellow at a crosswalk or intersection, vehicles try to pass at a higher speed to go straight or turn left, or vehicles passing late due to traffic violations cause collisions between people and vehicles turning left late, and vehicles turning left late. When vehicles waiting at a signal change, collisions between vehicles going straight or turning left often occur. In addition, this problem often occurs when the crosswalk traffic light turns green or when crossing a traffic island to cross the crosswalk, a vehicle approaching to turn right and a person are careless with each other, causing collisions between right-turning vehicles and people trying to cross the crosswalk. There is a need to solve.

대한민국 공개특허 제10-2012-0019828호(2012.03.07.)Republic of Korea Patent Publication No. 10-2012-0019828 (2012.03.07.) 대한민국 공개특허 제10-2022-0101535호(2022.07.19.)Republic of Korea Patent Publication No. 10-2022-0101535 (2022.07.19.) 대한민국 등록특허 제10-1873202호(2018.06.26.)Republic of Korea Patent No. 10-1873202 (2018.06.26.) 대한민국 공개특허 제10-2021-0122181호(2021.10.08.)Republic of Korea Patent Publication No. 10-2021-0122181 (2021.10.08.)

따라서, 본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 2023년 4월 22일부터 본격적인 단속이 시행된 우회전 일시정지에 대하여 딥러닝기반 컴퓨터비전 기술을 활용하여 교차로에서 차량이 우회전 할 시 다양한 각도에서 얻은 이륜차, 사람, 및 자전거의 데이터를 확보하여 전이학습(Transfer learning)을 진행하고 추론의 정확도를 높일 수 있도록 하여 횡단보도 내 객체 검출에 대하여 높은 정확도로 감지하고 사전에 경고하여 보행자와 운전자 모두에게 안전을 제공하고, 위반 차량 적발 시 명확한 증거영상을 확보할 수 있는 딥러닝 기반 교차로 객체검지 및 자동 알람 방법을 제공하는데 그 목적이 있다.Therefore, the present invention is intended to solve all the shortcomings and problems of the prior art as described above, and uses deep learning-based computer vision technology to detect vehicles at intersections for right turn temporary stops, which have been implemented in earnest since April 22, 2023. When making a right turn, data on two-wheeled vehicles, people, and bicycles obtained from various angles are obtained to perform transfer learning and increase the accuracy of inference. Detect objects within the crosswalk with high accuracy and detect them in advance. The purpose is to provide a deep learning-based intersection object detection and automatic alarm method that provides safety to both pedestrians and drivers by warning them, and secures clear video evidence when a vehicle in violation is detected.

상기와 같은 목적을 달성하기 위한 본 발명은 교차로 횡단보도의 보행자 대기영역과 횡단보도 차량 우회전 영역, 횡단보도를 포함하는 횡단신호등과 주행차선 신호등 영역에 대하여 선택적으로 촬영하는 카메라부(120)가 구성된 복수의 교차로 객체 검지/알람장치(100)를 설치하는 단계(S100); 상기 교차로 객체 검지/알람 장치(100)의 카메라부(120)는 횡단보도에 대기중인 보행자와, 우회전 차량, 횡단보도 신호등 및/또는 사거리 전방신호등을 촬영하는 단계(S110); 상기 카메라부(120)에서 촬영되어 검출된 이미지에 대하여 상기 교차로 객체 검지/객체장치(100)에서는 딥러인 기반 교차로 객체를 검출 및 인식하는 단계(S120); 상기 교차로 객체 검지/알람장치(100)의 신호분석부(101)는 신호등 제어기(400)에 접속되어 신호등 제어기(400)에서 제어되는 횡단보도 신호등(600)과 주행차선 신호등(500)에 대한 신호시간을 분석하여 상기 횡단보도 신호등(600)이 보행신호로 바뀌면 상기 교차로 객체 검지/알람장치(100)의 제어부(107)는 교차로 객체 검지/알람장치(100)의 디스플레이부(130)를 통해서 우회전 운전자에게 우회전 금지문구를 디스플레이하도록 제어하고, 스피커부를 통해서도 우회전 금지 음성 또는 경고음을 출력하는 단계(S150); 및 상기 교차로 객체 검지/알람장치(100)의 제어부(107)는 보행신호에 우회전하는 차량이 있는 경우 일시정지 하지 않고, 진행하는 차량에 대하여 카메라부에서 촬영한 차량의 차량번호를 분석하고, 분석한 차량번호 정보와, 우회전 신호인 것을 명확하게 하기 위하여 차량 우회전시 동시에 촬영한 횡단보도 신호등(600)의 이미지 정보를 저장하는 단계(S160);를 포함하는 것을 특징으로 하는 딥러닝 기반 교차로 객체검지 및 자동 알람 방법을 제공한다.In order to achieve the above object, the present invention includes a camera unit 120 that selectively takes pictures of the pedestrian waiting area of the crosswalk at the intersection, the right turn area of the crosswalk vehicle, the crosswalk traffic light including the crosswalk, and the traffic light area of the driving lane. Installing a plurality of intersection object detection/alarm devices (100) (S100); The camera unit 120 of the intersection object detection/alarm device 100 photographs pedestrians waiting at the crosswalk, right-turning vehicles, crosswalk traffic lights, and/or intersection front traffic lights (S110); Detecting and recognizing a deep line-based intersection object in the intersection object detection/object device 100 with respect to the image captured and detected by the camera unit 120 (S120); The signal analysis unit 101 of the intersection object detection/alarm device 100 is connected to the traffic light controller 400 and provides signals for the crosswalk signal light 600 and the driving lane signal light 500 controlled by the traffic light controller 400. By analyzing time, when the crosswalk signal light 600 changes to a walking signal, the control unit 107 of the intersection object detection/alarm device 100 turns right through the display unit 130 of the intersection object detection/alarm device 100. Controlling the display of a right turn prohibition phrase to the driver and outputting a right turn prohibition voice or warning sound through the speaker unit (S150); And the control unit 107 of the intersection object detection/alarm device 100 does not stop temporarily when there is a vehicle turning right at the pedestrian signal, but analyzes the license plate number of the vehicle captured by the camera unit for the vehicle moving forward. Deep learning-based intersection object detection comprising a step (S160) of storing license plate information and image information of the crosswalk signal 600 taken simultaneously when the vehicle turns right to make it clear that it is a right turn signal. and an automatic alarm method are provided.

여기서 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서, 상기 교차로 객체 검지/알람장치(100)의 신호분석부(101)는 보행신호 1 내지 2초 전이면서, 상기 카메라부(120)에서 촬영되어 검출된 이미지에서 횡단보도에 킥보드나 자전거, 오토바이와 같은 이륜차가 검출되는 경우에 디스플레이부(130)를 통해 우회전을 위하여 우회전 차로의 운전자에게 운행주의 문구를 출력하는 단계(S130)를 더 포함하여 구성됨을 특징으로 한다.Here, in the deep learning-based intersection object detection and automatic alarm method, the signal analysis unit 101 of the intersection object detection/alarm device 100 detects and captures images from the camera unit 120 1 to 2 seconds before the walking signal. When a two-wheeled vehicle such as a kickboard, bicycle, or motorcycle is detected in the crosswalk in the image, a driving caution phrase is output to the driver in the right turn lane through the display unit 130 to make a right turn (S130). It is characterized by

한편 상기 딥러닝 기반 교차로 객체검지 및 자동 알람 방법의 우회전 신호인 것을 명확하게 하기 위하여 차량 우회전시 동시에 촬영한 횡단보도 신호등(600)의 이미지 정보를 저장하는 단계(S160)에서, 이미지 정보는 별도의 교차로 객체 검지/알람 서버(200)와 경찰청 서버(300)에 전송되도록 구성된 것을 특징으로 한다.Meanwhile, in the step (S160) of storing image information of the crosswalk traffic light 600 taken simultaneously when the vehicle turns right to make it clear that it is a right turn signal of the deep learning-based intersection object detection and automatic alarm method, the image information is stored separately. It is characterized in that it is configured to be transmitted to the intersection object detection/alarm server 200 and the National Police Agency server 300.

이와 같이 이루어지는 본 발명은 다음과 같은 효과가 있다.The present invention achieved in this way has the following effects.

첫째, 2023년 4월 22일부터 본격적인 단속이 시행된 우회전 일시정지에 대하여 딥러닝기반 컴퓨터비전 기술을 활용하여 교차로에서 차량이 우회전 할 시 다양한 각도에서 얻은 이륜차, 사람, 및 자전거의 데이터를 확보하여 전이학습(Transfer learning)을 진행하고 추론의 정확도를 높일 수 있도록 하여 횡단보도 내 객체 검출에 대하여 높은 정확도로 감지하고 사전에 경고하여 보행자와 운전자 모두에게 안전을 제공하고, 위반 차량 적발 시 명확한 증거영상을 확보할 수 있는 효과가 있다.First, with regard to right turn temporary stops, which have been implemented in earnest since April 22, 2023, deep learning-based computer vision technology is used to secure data on two-wheeled vehicles, people, and bicycles obtained from various angles when a vehicle turns right at an intersection. By conducting transfer learning and improving the accuracy of inference, detection of objects within a crosswalk is detected with high accuracy and warning is given in advance to provide safety to both pedestrians and drivers, and clear video evidence when a vehicle in violation is detected. It has the effect of securing.

둘째, 횡단보도에 설정된 관심영역에 일정시간 이상 사람, 이륜차, 자전거, 킥보드 등이 감지되면, 도로에 설치된 가변전광표지판에 감지된 내용을 주의하여야 할 색상별로 전달하여 표시되도록 함으로써 교차로 우회전 전에 감지된 객체의 정보가 운전자에게 주의 사항에 따라 눈에 잘보이도록 알려줌으로서 사고를 예방할 수 있다.Second, when people, two-wheeled vehicles, bicycles, kickboards, etc. are detected in the area of interest set at the crosswalk for more than a certain period of time, the detected information is transmitted and displayed in colors to pay attention to on the variable electric sign installed on the road, so that the information detected before turning right at the intersection is displayed. Accidents can be prevented by informing the driver of the object so that it can be clearly seen according to precautions.

셋째, MS COCO 데이터로 학습된 딥러닝 네트워크는 측면 방향의 사람, 이륜차, 자전거에 대한 객체가 포함되어 학습되고, 추가적으로 다양한 각도(예를 들어, 0도에서 60도 사이)에서 얻은 이륜차, 어린이룰 포함하는 사람, 유모차나 자전거 등의 데이터를 확보하여 전이학습(Transfer learning)을 진행함으로써 추론의 정확도를 높일 수 있는 딥러닝 기반 교차로 객체검지 및 자동 알람 방법을 제공할 수 있다.Third, the deep learning network learned with MS COCO data includes objects for people, two-wheeled vehicles, and bicycles from the side, and additionally includes two-wheeled vehicles and children's objects obtained from various angles (e.g., between 0 and 60 degrees). It is possible to provide a deep learning-based intersection object detection and automatic alarm method that can increase the accuracy of inference by securing data such as people, strollers, bicycles, etc. and performing transfer learning.

넷째, 스마트 교차로에서 사용되는 횡단보도 내 객체 검출은 높은 정확도와 함께 FPS(Frame per second)가 높은 YOLO v4 등의 딥러닝 네트워크를 사용함으로써 신속하고, 빠른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법을 제공할 수 있다.Fourth, object detection within crosswalks used at smart intersections uses deep learning networks such as YOLO v4, which has high accuracy and high FPS (Frame per second), to provide a fast, deep learning-based intersection object detection and automatic alarm method. can be provided.

다섯째, 우회전 차량 운전자에게 시각적으로 우회전 금지를 표시하고, 그 이유에 대하여, 단순 보행자는 물론 보행 대상에 대하여 어린이, 유모차, 킥보드, 자전거, 노인 등과 같이 구체적으로 안내하여 줌으로써 우회전 차량 운전자 후방의 대기 운전자들 역시도 앞에 정차 중인 차량에 대한 이해도를 높여줌으로써 각종 분쟁 상황 역시 줄일 수 있는 효과가 있다.Fifth, it visually indicates to the driver of a right-turning vehicle that a right turn is prohibited, and provides detailed information about the reason for pedestrians as well as pedestrians such as children, strollers, kickboards, bicycles, the elderly, etc., so that the waiting driver behind the driver of the right-turning vehicle It also has the effect of reducing various conflict situations by increasing the understanding of vehicles parked in front of them.

도 1은 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법을 구현하기 위한 시스템의 실시예를 설명하기 위한 블록 구성도,
도 2는 도 1에 나타낸 딥러닝 기반 교차로 객체검지 및 자동 알람 시스템에서 교차로 객체 검지/알람장치의 실시예를 설명하기 위한 블록 구성도,
도 3은 본 발명에 따른 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법을 위한 우회전 일시정지 위반 객체검지 상황을 설명하기 위한 도면,
도 4은 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서 이용되는 보행자 인식 신경망 및 추론 신경망의 실시예를 설명하기 위한 도면,
도 5는 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서 이용되는 보행자 인식 및 검출 알고리즘을 설명하기 위한 도면,
도 6은 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서 이용되는 학습과정 및 추론 과정 설계 실시예를 나타낸 도면,
도 7은 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서 이용되는 보행자 인식 및 검출되는 객체의 실시예를 나타낸 도면,
도 8은 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서 객체 검출의 실시예를 나타낸 도면,
도 9는 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서 이용되는 시스템에 구성되는 자동 알람 디스플레이 내용의 실시예를 나타낸 도면,
도 10은 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법의 실시예를 설명하기 위한 흐름도이다.1 is a block diagram illustrating an embodiment of a system for implementing a deep learning-based intersection object detection and automatic alarm method according to the present invention;
FIG. 2 is a block diagram illustrating an embodiment of an intersection object detection/alarm device in the deep learning-based intersection object detection and automatic alarm system shown in FIG. 1;
Figure 3 is a diagram illustrating a right turn pause violation object detection situation for the deep learning-based intersection object detection and automatic alarm method according to the present invention;
Figure 4 is a diagram illustrating an embodiment of a pedestrian recognition neural network and an inference neural network used in the deep learning-based intersection object detection and automatic alarm method according to the present invention;
Figure 5 is a diagram for explaining the pedestrian recognition and detection algorithm used in the deep learning-based intersection object detection and automatic alarm method according to the present invention;
Figure 6 is a diagram showing an embodiment of the design of the learning process and inference process used in the deep learning-based intersection object detection and automatic alarm method according to the present invention;
Figure 7 is a diagram showing an example of pedestrian recognition and detected objects used in the deep learning-based intersection object detection and automatic alarm method according to the present invention;
Figure 8 is a diagram showing an embodiment of object detection in the deep learning-based intersection object detection and automatic alarm method according to the present invention;
Figure 9 is a diagram showing an embodiment of the automatic alarm display contents configured in the system used in the deep learning-based intersection object detection and automatic alarm method according to the present invention;
Figure 10 is a flow chart to explain an embodiment of the deep learning-based intersection object detection and automatic alarm method according to the present invention.

이하, 첨부된 도면을 참조하여, 본 발명에 따른 바람직한 실시 예를 설명하기로 한다.Hereinafter, preferred embodiments according to the present invention will be described with reference to the attached drawings.

본 발명의 실시 예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시 예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.Embodiments of the present invention may be modified in various forms, and the scope of the present invention should not be construed as being limited to the embodiments described in detail below. This example is provided to more completely explain the present invention to those with average knowledge in the art. Therefore, the shapes of elements in the drawings may be exaggerated to emphasize a clearer description. It should be noted that identical members in each drawing may be indicated by the same reference numerals. Detailed descriptions of well-known functions and configurations that are judged to unnecessarily obscure the gist of the present invention are omitted.

도 1은 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법을 구현하기 위한 시스템의 실시예를 설명하기 위한 블록 구성도이고, 도 2는 도 1에 나타낸 딥러닝 기반 교차로 객체검지 및 자동 알람 시스템에서 교차로 객체 검지/알람장치의 실시예를 설명하기 위한 블록 구성도이며, 도 3은 본 발명에 따른 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법을 위한 우회전 일시정지 위반 객체검지 상황을 설명하기 위한 도면이다.Figure 1 is a block diagram illustrating an embodiment of a system for implementing the deep learning-based intersection object detection and automatic alarm method according to the present invention, and Figure 2 is the deep learning-based intersection object detection and automatic alarm shown in Figure 1. It is a block diagram for explaining an embodiment of an intersection object detection/alarm device in the system, and Figure 3 is a right turn pause violation object detection situation for the deep learning-based intersection object detection and automatic alarm method according to the present invention. This is a drawing to explain.

본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법을 구현하기 위한 시스템의 실시예는 도 1에 나타낸 바와 같은데, 복수의 제1 내지 제N 교차로 객체 검지/알람 장치(100a, 100b, 100c), 교차로 객체 검지/알람 서버(200) 및 경찰청 서버(300)를 포함하여 구성될 수 있다.An embodiment of a system for implementing the deep learning-based intersection object detection and automatic alarm method according to the present invention is as shown in FIG. 1, and includes a plurality of first to Nth intersection object detection/alarm devices (100a, 100b, 100c). , It may be configured to include an intersection object detection/alarm server 200 and a National Police Agency server 300.

여기서 제1 내지 제N 교차로 객체 검지/알람 장치(100a, 100b, 100c)는 교차로에 구성된 횡단보도의 미리 설정된 보행자 대기영역과 횡단보도, 우회전 차량 및 우회전하는 차량의 전방신호등을 촬영하고, 촬영에 따라 검출된 통행객체(보행객체)에 대하여 딥러닝 기반으로 교차로 객체를 검지하며, 우회전차량에 대하여는 전방신호가 직진금지(적색신호)인 경우에 우회전 일지정지 주의 신호를 출력하고, 횡단보도의 신호가 보행신호에 도달하면 화면이나 소리로 우회전 차량 운전자와 보행자에게 주의신호를 출력한다. 또한 제1 내지 제N 교차로 객체 검지/알람 장치(100a, 100b, 100c)는 우회전 위반 차량에 대한 정보를 교차로 객체 검지/알람 서버(200) 또는 경찰청 서버(300)로 직접 전송할 수 있다.Here, the first to Nth intersection object detection/alarm devices (100a, 100b, 100c) photograph the preset pedestrian waiting area of the crosswalk configured at the intersection, the crosswalk, the right-turning vehicle, and the front traffic light of the right-turning vehicle, and Intersection objects are detected based on deep learning for the traffic objects (pedestrian objects) detected, and for right-turning vehicles, a right-turn temporary stop warning signal is output when the signal ahead prohibits going straight (red signal), and a crosswalk signal is displayed. When a pedestrian signal is reached, a warning signal is output to the right-turning vehicle driver and pedestrians through a screen or sound. Additionally, the first to Nth intersection object detection/alarm devices 100a, 100b, and 100c may directly transmit information about right-turn violation vehicles to the intersection object detection/alarm server 200 or the National Police Agency server 300.

물론 제1 내지 제N 교차로 객체 검지/알람 장치(100a, 100b, 100c)에서 검출한 신호위반차량 정보에 대하여 교차로 객체 검지/알람 서버(200)에서 경찰청 서버(300)로 전송하도록 구성될 수 있다.Of course, the intersection object detection/alarm server 200 may be configured to transmit the signal violation vehicle information detected by the first to Nth intersection object detection/alarm devices 100a, 100b, and 100c to the National Police Agency server 300. .

경찰청 서버(300)는 우회전 신호위반 차량에 대한 벌칙금 발부 등을 처리하는 서버이다.The National Police Agency server 300 is a server that processes the issuance of fines to vehicles that violate right turn signals.

한편 제1 내지 제N 교차로 객체 검지/알람 장치(100a, 100b, 100c)는 각각 도 2에 나타낸 바와 같이, 신호분석부(101), 디스플레이 제어부(102), 보행객체 검출 및 인식부(103), 보행객체 판독부(104), 차량 일시정지 시간/거리 측정부(105), 저장부(106), 번호 추출부(107) 및 제어부(108)를 포함하여 구성되는 제어수단(110)과, 카메라부(120), 디스플레이부(130), 스피커부(140) 및 통신부(150)를 포함하여 구성된다.Meanwhile, the first to Nth intersection object detection/alarm devices 100a, 100b, and 100c each include a signal analysis unit 101, a display control unit 102, and a pedestrian object detection and recognition unit 103, as shown in FIG. 2. , a control means 110 including a pedestrian object reading unit 104, a vehicle pause time/distance measuring unit 105, a storage unit 106, a number extracting unit 107, and a control unit 108; It includes a camera unit 120, a display unit 130, a speaker unit 140, and a communication unit 150.

신호분석부(101)는 신호등 제어기(400)에 접속되어 신호등 제어기(400)에서 제어되는 횡단보도 신호등(600)과 주행차선 신호등(500)에 대한 신호시간을 분석한다. The signal analysis unit 101 is connected to the traffic light controller 400 and analyzes signal times for the crosswalk signal light 600 and the driving lane signal light 500 controlled by the traffic light controller 400.

디스플레이 제어부(102)는 디스플레이부(130)에 디스플레이되는 문자를 제어한다.The display control unit 102 controls characters displayed on the display unit 130.

보행객체 검출 및 인식부(103)는 카메라부(120)를 통해 촬영된 보행객체(통행객체)를 검출하고 인식한다.The walking object detection and recognition unit 103 detects and recognizes a walking object (passing object) photographed through the camera unit 120.

보행객체 판독부(104)는 보행객체 검출 및 인식부(103)에서 인식된 보행객체를 판독한다.The walking object reading unit 104 reads the walking object recognized by the walking object detection and recognition unit 103.

차량 일시정지 시간/거리 측정부(105)는 차량이 도 3의 횡단보도(1-1)(2-1) 앞에서 일시 정지한 시간과 거리를 측정한다. 즉 2022년에서 도입되고, 2023년 4월 22일부터 본격적인 단속이 시행되는 적색신호 시 일시정지를 의무화한 개정된 도로교통법 시행규칙에 따라 발생될 수 있는 여러 가지 문제(운전자 입장, 단속하는 입장)을 해결할 수 있도록 차량전방의 주행차선 신호등(500)(도 3의 1-2 참조)이 적색 신호인 경우에는 우회전 하고자 하는 차량은 1-1 횡단보도 앞에서 일시정지 후 1-1 횡단보도를 통과하여야 하고, 2-1 횡단보도 앞에서는 횡단보도 신호가 적색인 경우 차량이 통과할 수 있지만 보행자가 횡단 중인 경우에는 일시정지 후 보행자가 2-1 횡단보도를 통과한 후 우회전 할 수 있으므로 이를 시간/거리를 측정하는 것으로, 프로세서를 이용하여 구성할 수 있다. 이러한 차량 일시정지 시간/거리 측정은 후술되는 카메라부(120)에서 촬영한 영상과 함께 협업하여 이루어질 수 있도록 설계(프로그램)된다.The vehicle pause time/distance measurement unit 105 measures the time and distance that the vehicle paused in front of the crosswalk (1-1) (2-1) in FIG. 3. In other words, various problems that may arise (driver's perspective, crackdown's perspective) according to the revised Road Traffic Act enforcement rules that mandate temporary stopping at red lights, which will be introduced in 2022 and full-scale enforcement will be implemented from April 22, 2023. To solve this problem, if the driving lane signal light 500 (see 1-2 in Figure 3) in front of the vehicle is red, the vehicle wishing to turn right must pause in front of the 1-1 crosswalk and then pass the 1-1 crosswalk. In front of the 2-1 crosswalk, if the crosswalk signal is red, vehicles can pass, but if a pedestrian is crossing, the pedestrian can stop temporarily and turn right after passing the 2-1 crosswalk, so time/distance By measuring , it can be configured using a processor. This vehicle pause time/distance measurement is designed (programmed) to be done in collaboration with images captured by the camera unit 120, which will be described later.

저장부(106)는 디스플레이부(130)에 디스플레이되는 문자와, 카메라부(120)를 통해 촬영된 우회전 위반 차량을 촬영한 사진정보 및 해당 차량의 번호정보를 저장한다. 이때, 보행자를 위한 횡단보도 신호등(600)의 현재 신호에 대한 촬영 정보 및 운전석 사진정보 역시 저장된다. 이를 통해 보다 정확한 우회전 위반 정보를 정확히 제공할 수 있게 된다.The storage unit 106 stores text displayed on the display unit 130, photo information of a vehicle that violates a right turn taken through the camera unit 120, and number information of the vehicle. At this time, shooting information about the current signal of the crosswalk signal 600 for pedestrians and driver's seat photo information are also stored. This makes it possible to provide more accurate right turn violation information.

번호 추출부(107)는 우회전 신호 위반 차량의 번호정보를 추출한다.The number extraction unit 107 extracts number information of a vehicle that violates a right turn signal.

제어부(108)는 신호분석부(101), 디스플레이 제어부(102), 보행객체 검출 및 인식부(103), 보행객체 판독부(104), 차량 일시정지 시간/거리 측정부(105), 저장부(106) 및 번호 추출부(107)를 제어한다. The control unit 108 includes a signal analysis unit 101, a display control unit 102, a walking object detection and recognition unit 103, a walking object reading unit 104, a vehicle pause time/distance measurement unit 105, and a storage unit. (106) and number extraction unit (107) are controlled.

한편 카메라부(120)는 객체촬영 카메라(121)와 차량촬영 카메라(122), 전방신호 촬영카메라(123) 및 횡단신호 촬영 카메라(124) 중 도로나 횡단보도 상황에 따라 하나 이상을 포함하여 구성될 수 있다.Meanwhile, the camera unit 120 is configured to include one or more of an object photographing camera 121, a vehicle photographing camera 122, a front signal photographing camera 123, and a crossing signal photographing camera 124, depending on the road or crosswalk situation. It can be.

우선 객체촬영 카메라(121)는 횡단보도 앞에 대기중인 보행자를 촬영한다. 이러한 보행자에는 청년층, 중년층과 같은 일반 보행자는 물론 노약자, 어린이, 반려동물, 자건거, 이륜차, 킥보드 및 유모차 등이 있을 수 있다. First, the object photography camera 121 photographs pedestrians waiting in front of the crosswalk. These pedestrians may include general pedestrians such as young people and middle-aged people, as well as the elderly, children, pets, bicycles, two-wheelers, kickboards, and strollers.

그리고 차량촬영 카메라(122)는 우회전 하는 차량을 촬영하는데, 특히 신호등 제어기(400)의 제어에 따라 횡단보도 신호등(600)의 신호가 보행자 신호(녹색)인 경우에 횡단보도를 우회전 하는 차량이 있는 경우 해당 차량을 촬영한다. 이러한 차량촬영 카메라(122)는 실시간 이미지에서 우회전 차량영역을 검출하고, 차량번호판 영역을 인식한다. 그리고 횡단보도 신호등(600)이 녹색인 경우 불법 우회전하는 차량의 차량번호를 검출한다.And the vehicle camera 122 captures a vehicle turning right. In particular, when the signal of the crosswalk signal 600 is a pedestrian signal (green) under the control of the traffic light controller 400, there is a vehicle turning right on the crosswalk. In this case, take pictures of the vehicle in question. This vehicle camera 122 detects the right-turning vehicle area in real-time images and recognizes the vehicle license plate area. And when the crosswalk signal light 600 is green, the license plate number of the vehicle making an illegal right turn is detected.

이때, 차량촬영 카메라(122)에서 촬영된 영상데이터에 대하여 제어수단(100)의 번호 추출부(107)에서는 실시간으로 이미지 프레임 데이터를 추출한다. 그리고, 이미지 데이터는 불법 우회전 차량 객체 감지(Object detection)를 위한 CNN(Convolutional Neural Network)의 입력으로 사용된다. 번호 추출부(107)는 불법 우회전 차량에 대한 객체감지의 결과로 얻어진 Bounding box에 고유 ID를 부여하고 현재 프레임과 이전 프레임을 비교하여 객체 추적을 진행하는데, Deep SORT(; Simple Online and Realtime Tracking) 알고리즘을 이용할 수 있다. 또한 번호판 검출 및 인식 과정은 CNN과 RNN(Recurrent Neural Network)이 결합된 복합구조 모델인 CRNN(Convolution Recurrent Neural Network)등을 통해서 번호판 검출과 인식이 진행될 수 있는데, CRNN은 CNN을 통해 입력 이미지로부터 Feature sequence를 추출하고, 이들은 RNN의 입력으로 이미지의 텍스트 시퀀스를 예측한다. 예측된 텍스트 시퀀스는 텍스트로 변환되며, 그에 따라 불법 우회전 차량의 번호판 문자가 추출된다.At this time, the number extraction unit 107 of the control means 100 extracts image frame data in real time from the image data captured by the vehicle camera 122. Additionally, the image data is used as input to CNN (Convolutional Neural Network) for object detection of illegal right-turning vehicles. The number extraction unit 107 assigns a unique ID to the bounding box obtained as a result of object detection for an illegal right-turning vehicle and compares the current frame with the previous frame to track the object. Deep SORT (; Simple Online and Realtime Tracking) Algorithms can be used. In addition, the license plate detection and recognition process can be performed through CRNN (Convolution Recurrent Neural Network), a complex structure model that combines CNN and RNN (Recurrent Neural Network). CRNN uses CNN to extract features from input images. sequences are extracted, and they predict the text sequence of the image as input to the RNN. The predicted text sequence is converted to text, and the license plate characters of the illegal right-turning vehicle are extracted accordingly.

전방신호 촬영카메라(123)는 우회전 차량의 전방에 있는 주행차선 신호등(500)을 촬영한다. 이러한 주행차선 신호등(500)을 촬영하는 것에 따라 The front signal camera 123 photographs the driving lane signal light 500 in front of the right-turning vehicle. According to photographing these driving lane traffic lights 500,

횡단신호 촬영카메라(124)는 횡단보도 신호등(600)을 촬영하는 카메라로, 기본적으로는 녹색 또는 적색신호나 녹색신호의 잔여 시간에 대하여 촬영하되, 보행자가 보행하는 횡단보도(1-1)(1-2)도 함께 촬영될 수 있도록 구성된다. 이러한 주행차선 신호등(500)과, 횡단보도 신호등(600)을 촬영하는 것에 따라 우회전 신호 위반 차량이나 횡단보도에 보행자가 있는 경우에 일시정지 하지 않은 차량의 신호 위반에 대한 분쟁 시비를 보다 명확히 가릴 수 있을 것이다.The crosswalk signal camera 124 is a camera that takes pictures of the crosswalk signal light 600. Basically, it takes pictures of the green or red signal or the remaining time of the green signal, but also captures the crosswalk (1-1) where pedestrians walk ( 1-2) is also configured so that it can be filmed together. By filming the driving lane signal light 500 and the crosswalk signal light 600, it is possible to more clearly identify disputes over traffic violations by vehicles that violate the right turn signal or vehicles that do not stop temporarily when there are pedestrians at the crosswalk. There will be.

이러한 카메라부(120)의 카메라 중 특히 객체촬영 카메라(121)와 차량촬영 카메라(122)는 딥러닝기반 컴퓨터 비전 기술을 활용하여 교차로에서 차량이 우회전 할 시 다양한 각도(예를 들어 0도에서 60도 사이)에서 얻은 이륜차, 사람 및 자전거를 포함하는 횡단보도를 이용하는 이용자의 데이터를 확보하여 전이학습(Transfer learning)을 통해 추론의 정확도를 높일 수 있도록 한 것으로, 횡단보도 내 객체 검출에 대하여 높은 정확도로 감지하고 검출된 객체를 디스플레이부(130)를 통해 도 9에서와 같이 운전자에게 사전에 경고할 수 있도록 하기 위한 것이다.Among the cameras of the camera unit 120, the object photography camera 121 and the vehicle photography camera 122 utilize deep learning-based computer vision technology to detect various angles (for example, from 0 degrees to 60 degrees) when a vehicle turns right at an intersection. By securing data on users using crosswalks, including two-wheeled vehicles, people, and bicycles, obtained from between provinces, the accuracy of inference can be increased through transfer learning, resulting in high accuracy for object detection within crosswalks. This is to detect the detected object and warn the driver in advance as shown in FIG. 9 through the display unit 130.

디스플레이부(130)는 우회전하고자 하는 차량 운전자의 시야에 적합한 위치나 높이에 설치되어 우회전 금지, 우회전 주의, 우회전 가능, 일시정지 후 진행(또는 우회전) 등의 문구를 표시한다. 이러한 디스플레이부(130)의 설치위치는 차량 우회전 전에 인식할 수 있도록 예를 들면, 주행 차선의 끝차선 상측의 도로 상에 버스나 트럭과 같은 대형 차량이 걸리지 않는 높이로 현장경험(Field test)에 따라 설치할 수 있다. 이러한 디스플레이부(130)는, LCD, LED, OLED 전광판 등으로 구성할 수 있으며, 태양광 패널을 통해 전원을 공급받도록 구성할 수도 있다. The display unit 130 is installed at a position or height suitable for the field of view of the driver of the vehicle who wants to turn right, and displays phrases such as no right turn, caution with right turn, right turn possible, pause and proceed (or right turn), etc. The installation location of the display unit 130 is determined by field test at a height that does not cause large vehicles such as buses or trucks to be caught on the road above the end lane of the driving lane so that the vehicle can be recognized before turning right. You can install it accordingly. This display unit 130 can be configured with an LCD, LED, or OLED display board, and can also be configured to receive power through a solar panel.

스피커부(140)는 우회전하고자 하는 차량 운전자가 청취하기 적합한 위치나 높이에 설치되어 우회전 금지, 우회전 주의, 우회전 가능, 일시정지 후 진행 등에 대하여 음성이나 경고음 등으로 출력한다.The speaker unit 140 is installed at a position or height suitable for the driver of the vehicle wishing to turn right to hear, and outputs a voice or warning sound for warnings such as prohibition of right turn, caution of right turn, possible right turn, proceeding after temporary stop, etc.

통신부(150)는 교차로 객체 검지/알람 장치가 교차로 객체 검지/알람 서버(200)와 통신하기 위한 구성이다.The communication unit 150 is configured to allow the intersection object detection/alarm device to communicate with the intersection object detection/alarm server 200.

또한 제어수단(100)의 제어부(108)는 카메라부(120), 디스플레이부(130), 스피커부(140) 및 통신부(150)를 제어하는데, 카메라부(120)에서 촬영된 영상신호를 저장부(106)에 저장되도록 제어하고, 신호분석부(101)에서 분석된 횡단보도와 주행차선 신호시간에 따라 디스플레이 제어부(102)를 통해 디스플레이부(130)에 디스플레이되는 문자나 스피커부(140)를 통해 출력되는 음성이나 경고음을 제어하며, 특히 객체촬영 카메라(121)를 통해 촬영된 객체에 따라 도 9에서와 같이 디스플레이부(130)에 디스플레이되는 문자에서 횡단보도 앞에 대기 중인 보행 객체의 형태를 정확히 디스플레이하거나 음성으로 출력될 수 있도록 제어한다. 또한 신호분석부(101)의 분석결과에 따라 보행신호(녹색)에 불법 우회전하는 차량, 횡단보도(1-1)(1-2)가 적색이더라도 보행자가 있는 상태에서 주행하는 차량, 주행차선 신호등(500)이 적색인 상태에서 횡단보도(1-1)에서 일시정지 하지 않는 차량에 대하여는 저장부(106)에 해당 카메라부(120)에서 촬영한 영상 데이터를 차량번호 정보와 함께 저장되도록 제어함은 물론 통신부(150)를 통해 교차로 객체 검지/알람 서버(200) 및/또는 경찰청 서버(300)로 전송되도록 제어한다.In addition, the control unit 108 of the control means 100 controls the camera unit 120, the display unit 130, the speaker unit 140, and the communication unit 150, and stores the image signal captured by the camera unit 120. Controlled to be stored in the unit 106 and displayed on the display unit 130 through the display control unit 102 according to the crosswalk and driving lane signal times analyzed in the signal analysis unit 101 or the speaker unit 140 It controls the voice or warning sound output through, and in particular, according to the object photographed through the object photography camera 121, the shape of the walking object waiting in front of the crosswalk is displayed in the text displayed on the display unit 130 as shown in FIG. 9. Control it so that it can be accurately displayed or output as a voice. In addition, according to the analysis results of the signal analysis unit 101, vehicles that illegally turn right at the pedestrian signal (green), vehicles that drive while pedestrians are present even when the crosswalk (1-1) (1-2) is red, and traffic lane traffic lights For vehicles that do not stop temporarily at the crosswalk (1-1) when (500) is red, the image data captured by the camera unit 120 is controlled to be stored in the storage unit 106 together with the license plate number information. Of course, it is controlled to be transmitted to the intersection object detection/alarm server 200 and/or the National Police Agency server 300 through the communication unit 150.

교차로 객체 검지/알람 서버(200)는 통신부(210), 차량번호 분석부(220), 신호위반차량 정보 저장부(230) 및 제어부(240)를 포함하여 구성된다.The intersection object detection/alarm server 200 includes a communication unit 210, a license plate analysis unit 220, a signal violation vehicle information storage unit 230, and a control unit 240.

교차로 객체 검지/알람 서버(200)의 통신부(210)는 복수의 제1 내지 제N 교차로 객체 검지/알람 장치(100a, 100b, 100c)와 교차로 객체 검지/알람 서버(200)간 통신한다.The communication unit 210 of the intersection object detection/alarm server 200 communicates between the plurality of first to Nth intersection object detection/alarm devices 100a, 100b, and 100c and the intersection object detection/alarm server 200.

차량번호 분석부(220)는 복수의 제1 내지 제N 교차로 객체 검지/알람 장치(100a, 100b, 100c)에서 전송된 우회전 위반 차량에 대한 차량번호 정보를 다시 한 번 분석한다. 이러한 분석은 차량촬영 카메라(122)에서 촬영되어 전송된 영상데이터에 대하여 번호 추출부(107)와 동일한 방식으로 이루어질 수 있는데, 이미지 프레임 데이터에 대하여 Deep SORT(; Simple Online and Realtime Tracking) 알고리즘을 이용하고, 번호판 검출 및 인식 과정은 CNN과 RNN(Recurrent Neural Network)이 결합된 복합구조 모델인 CRNN(Convolution Recurrent Neural Network)등을 통해서 번호판 검출과 인식이 진행될 수 있다.The license plate analysis unit 220 once again analyzes the license plate number information for the right turn violation vehicle transmitted from the plurality of first to Nth intersection object detection/alarm devices (100a, 100b, and 100c). This analysis can be performed in the same way as the number extractor 107 for image data captured and transmitted by the vehicle camera 122, using the Deep SORT (; Simple Online and Realtime Tracking) algorithm for image frame data. The license plate detection and recognition process can be performed through CRNN (Convolution Recurrent Neural Network), a complex structure model that combines CNN and RNN (Recurrent Neural Network).

신호위반차량 정보 저장부(230)는 복수의 제1 내지 제N 교차로 객체 검지/알람 장치(100a, 100b, 100c)에서 전송된 일시정지 위반, 우회전 위반 차량에 대한 영상정보(차량촬영 카메라(122), 전방신호 촬영카메라(123), 횡단신호 촬영 카메라(124)의 영상정보)와, 텍스트로 변환한 차량 번호정보를 저장한다.The signal violation vehicle information storage unit 230 stores image information (vehicle camera 122 ), video information of the front signal camera 123 and the crossing signal camera 124), and vehicle number information converted into text are stored.

제어부(240)는 통신부(210), 차량번호 분석부(220), 신호위반차량 정보 저장부(230)를 제어하며, 미리 설정된 주기로 신호위반차량 정보 저장부(230)에 저장된 신호위반 차량 정보를 경찰청 서버(300)로 전송한다.The control unit 240 controls the communication unit 210, the license plate number analysis unit 220, and the signal violation vehicle information storage unit 230, and records the signal violation vehicle information stored in the signal violation vehicle information storage unit 230 at a preset period. It is transmitted to the National Police Agency server (300).

신호등 제어기(400)는 기존에 도로를 주행하는 차량들에게 차량 주행 신호를 표시하는 주행차선 신호등(500)과 횡단보도를 이용하는 사용자들의 횡단보도 대기 또는 보행 신호를 표시하는 횡단보도 신호등(600)을 제어하는 제어기이다.The traffic light controller 400 includes a driving lane signal light 500, which displays a vehicle driving signal to vehicles traveling on the road, and a crosswalk signal light 600, which displays a crosswalk waiting or walking signal for users using the crosswalk. It is a controller that controls.

참고로 교차로 객체 검지/알람 장치(100a, 100b, 100c)와 교차로 객체 검지/알람 서버(200) 및 경찰청 서버(300)간에는 통신망을 통해 통신한다. For reference, the intersection object detection/alarm devices (100a, 100b, 100c), the intersection object detection/alarm server (200), and the National Police Agency server (300) communicate through a communication network.

도 4는 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서 이용되는 보행자 인식 신경망 및 추론 신경망의 실시예를 설명하기 위한 도면이고, 도 5는 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서 이용되는 보행자 인식 및 검출 알고리즘을 설명하기 위한 도면이며, 도 6은 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서 이용되는 학습과정 및 추론 과정 설계 실시예를 나타낸 도면이고, 도 7은 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서 이용되는 보행자 인식 및 검출되는 객체의 실시예를 나타낸 도면이며, 도 8은 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서 객체 검출의 실시예를 나타낸 도면이다.Figure 4 is a diagram illustrating an embodiment of a pedestrian recognition neural network and an inference neural network used in the deep learning-based intersection object detection and automatic alarm method according to the present invention, and Figure 5 is a diagram illustrating the deep learning-based intersection object detection and automatic alarm method according to the present invention. This is a diagram to explain the pedestrian recognition and detection algorithm used in the automatic alarm method, and Figure 6 is a diagram showing an embodiment of the design of the learning process and inference process used in the deep learning-based intersection object detection and automatic alarm method according to the present invention. , FIG. 7 is a diagram showing an example of pedestrian recognition and detected objects used in the deep learning-based intersection object detection and automatic alarm method according to the present invention, and FIG. 8 is a diagram showing an embodiment of the deep learning-based intersection object detection and automatic alarm method according to the present invention. This diagram shows an example of object detection in an alarm method.

본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서 이용되는 보행자 인식 신경망 및 추론 신경망의 실시예는 도 4에 나타낸 바와 같은데, 사람이나 사물 객체에 대한 인식신경망 학습을 영상촬영장치(카메라)를 통해 수행한다. 이를 위하여 우선 영상촬영장치(카메라)를 통해 사람이나 각종 사물 객체 인식 후, 인식된 객체에 대한 바운딩 박스(Bounding Box) 생성을 통해 보행자 영역을 검출하고, 보행자를 판독한다. 이러한 보행자는 사람(일반 보행자, 허리가 굽은 노약자, 유치원생이나 어린이 등)은 물론, 사물 객체(유모차, 킥보드, 자전거, 이륜차(오토바이) 등)에 대하여 판독이 이루어질 수 있도록 한다. 이는 일반 보행자, 즉 청년이나 중장년층의 보행속도와 노약자나 유치원생 어린이 등의 보행속도의 차이 때문인 것으로 이러한 차이에 의해 일반적인 보행속도보다 늦거나 빠른 경우, 특히 어린이나 급한 용무가 있는 사람이 횡단보도 신호가 바뀌자 마자 보행하는 경우에 대한 경고를 위한 학습이 가능하고, 또한 킥보드나 자전거 및 오토바이와 같이 빠른 주행에 대하여 디스플레이부를 통한 경고를 위한 학습이 가능하다. 이러한 보행자에 대한 학습 데이터 완성 및 판독 신경망 학습을 수행한다.An embodiment of the pedestrian recognition neural network and inference neural network used in the deep learning-based intersection object detection and automatic alarm method according to the present invention is shown in FIG. 4, and the recognition neural network learning for people or objects is performed using an image capture device (camera). Performed through To achieve this, first, people or various objects are recognized through a video recording device (camera), then the pedestrian area is detected by creating a bounding box for the recognized object, and the pedestrian is read. These pedestrians enable readings to be made not only for people (general pedestrians, elderly people with bent backs, kindergarteners, children, etc.), but also for objects (strollers, kickboards, bicycles, two-wheeled vehicles (motorcycles), etc.). This is due to the difference between the walking speed of general pedestrians, that is, young people or middle-aged people, and the walking speed of the elderly or kindergarten children. Due to this difference, when the walking speed is slower or faster than the general walking speed, especially children or people with urgent business, the crosswalk signal is blocked. It is possible to learn for warnings about walking as soon as the change is made, and it is also possible to learn to warn through the display unit about fast driving such as kickboards, bicycles, and motorcycles. Complete learning data for these pedestrians and perform reading neural network training.

그리고 보행자 추론 신경망에서는 카메라부(120)를 구성하는 CCTV 실시간 이미지를 통해 보행자 영역을 검출하고, 보행자를 인식, 즉 횡단보도 앞의 보행자 또는 사물 객체를 검출 및 인식한다. 그리고 보행자 인식 신경망 학습과정에서 학습된 학습 데이터에 따라 보행객체를 판독하고, 이륜차량 불법 유턴 시 차량번호를 검출한다.And the pedestrian inference neural network detects the pedestrian area and recognizes pedestrians through real-time CCTV images constituting the camera unit 120, that is, detects and recognizes pedestrians or objects in front of the crosswalk. In addition, it reads pedestrian objects according to the learning data learned in the pedestrian recognition neural network learning process and detects the license plate number when a two-wheeled vehicle makes an illegal U-turn.

이때, 카메라로부터 수신된 영상데이터에서 실시간으로 이미지 프레임 데이터를 추출하게 되는데, 추출된 이미지 데이터는 객체 감지(Object detection)를 위한 CNN(Convolutional Neural Network)의 입력으로 사용된다. 객체감지의 결과로 얻어진 Bounding box에 고유 ID를 부여하고 현재 프레임과 이전 프레임을 비교하여 객체 추적을 진행한다(Deep SORT; Simple Online and Realtime Tracking 알고리즘 등의 사용).At this time, image frame data is extracted in real time from the image data received from the camera, and the extracted image data is used as input to a CNN (Convolutional Neural Network) for object detection. A unique ID is assigned to the bounding box obtained as a result of object detection, and object tracking is performed by comparing the current frame and the previous frame (using Deep SORT; Simple Online and Realtime Tracking algorithm, etc.).

도 5에서는 다양한 각도(0도에서 60도 사이)에서 얻은 이륜차, 사람, 및 자전거 등의 통해 객체의 데이터를 확보하여 전이학습(Transfer learning)을 통해 추론의 정확도를 높일 수 있도록 한것을 보여주고 있는데, 전이학습에서는 통행객체 데이터를 획득하고, 이를 pre-trained CNN 학습과 MS COCO Dataset 등을 통해 새로운 영상에서 추론결과를 확인한다. pre-trained CNN의 경우 학습을 별도로 시킬 필요는 없고, pre-trained 모델을 찾아서 바로 inference 진행할 수 있다는 장점이 있다. Figure 5 shows that the accuracy of inference can be increased through transfer learning by securing object data through two-wheeled vehicles, people, and bicycles obtained from various angles (between 0 degrees and 60 degrees). , In transfer learning, traffic object data is acquired, and inference results are confirmed in new images through pre-trained CNN learning and MS COCO Dataset. In the case of pre-trained CNN, there is no need for separate learning, and the advantage is that you can find a pre-trained model and proceed with inference right away.

딥러닝 기반 교차로 객체검지 및 자동 알람 방법에서 이용되는 학습과정 및 추론 과정 설계 실시예를 나타낸 도 6은 인공지능 기반 교차로 통행 감지 시스템 설계도로, 교차로를 인식하고, 통행객체(사람, 자전거, 이륜차량 등)를 인식한 후, 통해 객체를 추적하고, VMS(Variable Message Sign)(도로전광표지판, 가변전광 표지판)이나 스피커 등을 이용한 소리를 통한 알람 가능한 데이터 송출하도록 설계한 것을 보여주고 있다.Figure 6 shows an example of the design of the learning process and reasoning process used in the deep learning-based intersection object detection and automatic alarm method. The design of the artificial intelligence-based intersection traffic detection system recognizes roads and intersections and detects traffic objects (people, bicycles, and two-wheeled vehicles). It is designed to recognize objects, track objects, and transmit alarmable data through sounds using VMS (Variable Message Sign) or speakers.

한편 도 7에서는 차량이나 사람, 동물, 이륜차 등 카메라 영상에서 검출되어야 할 객체에 대한 실시예를 보여주고 있으며, 도 8에서는 횡단보도 앞의 인식을 통해 검출된 객체를 나타내고 있다.Meanwhile, Figure 7 shows an example of objects to be detected in camera images, such as vehicles, people, animals, and two-wheeled vehicles, and Figure 8 shows objects detected through recognition in front of a crosswalk.

한편 도 9는 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 시스템에서 이용되는 자동 알람 디스플레이 내용의 다양한 실시예를 보여주고 있는데, '우회전 금지'와 같은 기본 문구는 물론 구체적으로 킥보드, 유모차, 아이들, 자전거, 노약자 있음 등과 같은 표시를 통해 불법 우회전을 시도하고자 하는 경우에 운전자가 보다 경각심을 갖도록 함은 물론 우회전 차량 뒷쪽 운전자에게도 해당 문구가 보여짐으로서 후방의 대기 운전자들 역시도 앞에 정차 중인 차량에 대한 이해도를 높여줌으로써 각종 분쟁 상황 역시 줄일 수 있는 효과가 있다.Meanwhile, Figure 9 shows various embodiments of automatic alarm display contents used in the deep learning-based intersection object detection and automatic alarm system according to the present invention, including basic phrases such as 'no right turn', as well as specifically kickboards, strollers, Signs such as children, bicycles, elderly people, etc. not only make drivers more alert when attempting to make an illegal right turn, but also display the message to drivers behind a right-turning vehicle, so drivers waiting behind are also alerted to vehicles stopping in front of them. By increasing understanding, various conflict situations can also be reduced.

또한 우회전 가능 시간을 표시해주는 문구를 통해서는 운전자가 좀더 여유를 갖고 기다릴 수 있고, 이륜차나 킥보드, 자전거가 검출되는 경우에는 해당 이륜차나 킥보드, 자전거 운행자들의 성격이 급한 경우 보행금지(적색) 신호에도 디스플레이부에 "우회전 주의 " 문구를 표시하여 혹시라도 보행금지 신호에 성격급한 운행자와에 의한 사고를 최소화할 수 있도록 할 수도 있다. 이러한 문구는 앞에서 설명한 카메라부(120)의 객체촬영 카메라(121)에서 촬영된 이미지 데이터를 보행객체 판독부(104)에서 판독하면 제어부(AI)에서 디스플레이 제어부(102)를 통해 디스플레이부(130)를 통해 문구로 디스플레이하고, 스피커부(140)를 통한 음성 출력을 하도록 제어할 수 있다. 그리고 차량 직진 방향이 차량진행 금지인 적색 신호등인 경우에는 "일시정지 후 우회전"문구를 디스플레이부(130)를 디스플레이하고, 스피커부(140)를 통한 음성 출력을 하도록 함으로써 개정되지 얼마되지 않은 상태에 아직 운전자들한테 익숙하지 않은 상태에서 많은 도움이 될 것이다.In addition, a text indicating the right turn time allows drivers to wait with more time, and when a two-wheeled vehicle, kickboard, or bicycle is detected, if the drivers of the two-wheeled vehicle, kickboard, or bicycle are in a hurry, the no-walking (red) signal is displayed. You can also display the phrase “Caution to turn right” on the display to minimize accidents caused by drivers who are impatient with the no-walking signal. This phrase is written when the walking object reading unit 104 reads the image data captured by the object photographing camera 121 of the camera unit 120 described above and displays it in the display unit 130 through the display control unit 102 in the control unit (AI). It can be controlled to display as text and output voice through the speaker unit 140. In addition, when the direction in which the vehicle is going straight is a red traffic light that prohibits vehicle movement, the phrase “Turn right after stopping temporarily” is displayed on the display unit 130 and a voice is output through the speaker unit 140, so that it is in a state that has not been revised yet. It will be of great help to drivers who are not yet familiar with it.

한편 경고문구의 경우에는 예를 들어 노란색, 우회전 허용의 경우에는 파란색 그리고 우회전 금지나 일지정지 후 우회전의 경우에는 붉은색의 문구가 알람으로 표시되면서 깜빡이도록 하는 경우 운전자는 보다 주의를 갖고 우회전 금지나 일시정지 후 우회전을 정확히 지킬 수 있게될 것이다.Meanwhile, in the case of warning messages, for example, yellow in the case of right turns permitted, blue in the case of right turns permitted, and red in the case of right turns prohibited or right turns after a temporary stop are displayed as an alarm and blink, drivers will be more cautious and will be more careful to indicate whether or not to turn right. You will be able to accurately make a right turn after stopping temporarily.

도 10은 본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법의 실시예를 설명하기 위한 흐름도이다.Figure 10 is a flow chart to explain an embodiment of the deep learning-based intersection object detection and automatic alarm method according to the present invention.

본 발명에 따른 딥러닝 기반 교차로 객체검지 및 자동 알람 방법의 실시예는 도 10에 나타낸 바와 같이, 교차로 횡단보도의 보행자 대기영역과 횡단보도 차량 우회전 영역, 횡단보도를 포함하는 횡단신호등과 주행차선 신호등 영역에 대하여 선택적으로 촬영하는 복수의 교차로 객체 검지/알람장치를 설치한다(S100). 예를 들어 사거리의 경우에는 교차로 횡단보도의 보행자 대기영역과 횡단보도 차량 우회전 영역, 횡단보도를 포함하는 횡단신호등과, 주행차선 신호등 영역 모두를 촬영하여야 하지만, 도로 상황에 따라 삼거리의 경우에는 주행차선 신호등 영역은 촬영하지 않을 수도 있기 때문이다.As shown in FIG. 10, an embodiment of the deep learning-based intersection object detection and automatic alarm method according to the present invention includes a pedestrian waiting area at an intersection crosswalk, a right turn area for vehicles at a crosswalk, a crosswalk traffic light including a crosswalk, and a traffic lane signal light. Install object detection/alarm devices at multiple intersections that selectively photograph areas (S100). For example, in the case of an intersection, the pedestrian waiting area of the crosswalk at the intersection, the right turn area for vehicles in the crosswalk, the crosswalk traffic lights including the crosswalk, and the traffic lane traffic light area must all be photographed. However, in the case of a three-way intersection, depending on the road conditions, the travel lane traffic light area must be photographed. This is because the traffic light area may not be filmed.

교차로 객체 검지/알람 장치(100)의 카메라부(120)는 횡단보도에 대기중인 보행자와, 우회전 차량, 횡단보도 신호등(600) 및/또는 사거리 전방신호등을 촬영한다(S110).The camera unit 120 of the intersection object detection/alarm device 100 photographs pedestrians waiting at the crosswalk, right-turning vehicles, the crosswalk signal light 600, and/or the intersection front signal light (S110).

카메라부(120)에서 촬영되어 검출된 이미지에 대하여 딥러인 기반 교차로 객체를 검출 및 인식한다(S120).A deep line-based intersection object is detected and recognized for the image captured and detected by the camera unit 120 (S120).

한편 교차로 객체 검지/알람 장치(100)의 신호분석부(101)는 신호등 제어기(400)에서 제어되는 횡단보도 신호등(600)과 주행차선 신호등(500)에 대한 신호시간을 분석하여 보행신호 1 내지 2초 전이면서, 카메라부(120)에서 촬영되어 검출된 이미지에서 횡단보도에 킥보드나 자전거, 오토바이와 같은 이륜차가 검출되는 경우에 교차로 객체 검지/알람 장치(100)의 제어부(107)는 도 9에서와 같이 디스플레이부(130)를 통해 우회전을 위하여 우회전 차로의 운전자에게 운행주의 문구를 알람으로 출력한다(S130). 이는 성격이 급한 운전자의 경우에는 보행신호에도 횡단보도에 대기 중인 보행자가 나오는 시간을 빠르게 횡단보도를 우회전하려고 하는데 이때, 대기 중인 킥보드나 자전거 오토바이 등은 신호가 바뀜과 동시에 빠르게 횡단보도를 건너려 할 수 있기 때문에 그와 같은 경우에는 사고가 발생할 수도 있기 때문이다. 또한 사거리 신호등의 경우에는 직진금지 상황의 직진신호가 적색 경우 우회전하고자 하는 운전자를 위하여 일시정지 후 우회전 문구를 디스플레이(130)와 스피커부(140)를 통해 디스플레이 및/또는 음성출력되도록 한다.Meanwhile, the signal analysis unit 101 of the intersection object detection/alarm device 100 analyzes the signal times for the crosswalk signal light 600 and the driving lane signal light 500 controlled by the traffic light controller 400 and detects pedestrian signals 1 to 100. 2 seconds ago, when a two-wheeled vehicle such as a kickboard, bicycle, or motorcycle is detected at the crosswalk in the image captured and detected by the camera unit 120, the control unit 107 of the intersection object detection/alarm device 100 detects the signal in FIG. 9 As shown, a driving caution message is output as an alarm to the driver in the right turn lane to make a right turn through the display unit 130 (S130). This means that in the case of impatient drivers, they try to turn right at the crosswalk as quickly as the pedestrians waiting at the crosswalk appear even at the pedestrian signal. At this time, waiting kickboards, bicycles, and motorcycles may try to quickly cross the crosswalk at the same time as the signal changes. This is because in such cases, an accident may occur. In addition, in the case of intersection traffic lights, when the straight ahead signal is red in a situation where straight ahead is prohibited, the text to turn right after a temporary stop is displayed and/or output as a voice through the display 130 and speaker unit 140 for drivers who want to turn right.

그리고 교차로 객체 검지/알람 장치(100)의 신호분석부(101)는 신호등 제어기(400)에서 제어되는 횡단보도 신호등(600)과 주행차선 신호등(500)에 대한 신호 분석결과 횡단보도 신호등(600)에 보행신호가 온되는가를 판단한다(S140).And the signal analysis unit 101 of the intersection object detection/alarm device 100 analyzes the crosswalk signal light 600 and the driving lane signal light 500 controlled by the traffic light controller 400 to obtain a crosswalk signal light 600. It is determined whether the walking signal is turned on (S140).

판단결과(S140) 횡단보도 신호등(600)이 보행신호로 바뀌면 교차로 객체 검지/알람 장치(100)의 제어부(107)는 이를 인식하여 교차로 객체 검지/알람장치의 디스플레이부를 통해서 우회전 운전자에게 우회전 금지문구를 디스플레이하도록 제어하고, 스피커부를 통해서도 우회전 금지 음성 또는 경고음 등을 출력한다(S150). Judgment Result (S140) When the crosswalk signal light 600 changes to a walking signal, the control unit 107 of the intersection object detection/alarm device 100 recognizes this and displays a right turn prohibition message to the driver turning right through the display unit of the intersection object detection/alarm device. is controlled to display, and a right turn prohibition voice or warning sound is output through the speaker unit (S150).

그리고 제어부(107)는 보행신호에 우회전하는 차량이 있는 경우와 사거리의 직진금지 상황의 경우에 일시정지 하지 않고, 진행하는 차량에 대하여 카메라부에서 촬영한 차량의 차량번호를 분석하고, 분석한 차량번호 정보와, 우회전 신호인 것을 명확하게 하기 위하여 차량 우회전시 동시에 촬영한 횡단보도 신호등(600)의 이미지 정보를 저장하고, 교차로 객체검지/알람 서버(200) 및/또는 경찰청 서버(300)로 전송한다. 이때, 차량 일시정지 시간/거리 측정부(105)에서는 차량이 도 3의 횡단보도(1-1)(2-1) 앞에서 일시 정지한 시간과 거리를 측정한다. 즉 차량전방의 주행차선 신호등(500)(도 3의 1-2 참조)이 적색 신호인 경우에는 우회전 하고자 하는 차량은 1-1 횡단보도 앞에서 일시정지 후 1-1 횡단보도를 통과하여야 하고, 2-1 횡단보도 앞에서는 횡단보도 신호가 적색인 경우 차량이 통과할 수 있지만 보행자가 횡단 중인 경우에는 일시정지 후 보행자가 2-1 횡단보도를 통과한 후 우회전 할 수 있으므로 이에 대하여 시간과 거리를 측정하는 것으로, 프로세서를 이용하여 구성할 수 있다. 이러한 차량 일시정지 시간/거리 측정은 차량촬영 카메라(122), 영상 및 전방신호 촬영카메라(123) 및 횡단신호 촬영카메라(124)와 함께 협업하여 이루어질 수 있다.In addition, the control unit 107 analyzes the license plate number of the vehicle captured by the camera unit for the vehicle proceeding without stopping temporarily in the case where there is a vehicle turning right at the pedestrian signal or when the intersection is prohibited from going straight, and the analyzed vehicle To make it clear that it is a right turn signal, the number information and the image information of the crosswalk traffic light 600 taken simultaneously when the vehicle turns right are stored and transmitted to the intersection object detection/alarm server 200 and/or the National Police Agency server 300. do. At this time, the vehicle pause time/distance measurement unit 105 measures the time and distance that the vehicle paused in front of the crosswalk (1-1) (2-1) in FIG. 3. That is, when the driving lane signal light 500 (see 1-2 in FIG. 3) in front of the vehicle is red, the vehicle wishing to turn right must stop temporarily in front of the 1-1 crosswalk and then pass through the 1-1 crosswalk, and 2 -In front of the 1 crosswalk, if the crosswalk signal is red, vehicles can pass, but if a pedestrian is crossing, the pedestrian can stop temporarily and turn right after passing the 2-1 crosswalk, so time and distance are measured accordingly. This can be configured using a processor. This vehicle pause time/distance measurement can be accomplished through collaboration with the vehicle camera 122, the video and front signal camera 123, and the crossing signal camera 124.

이상에서 설명된 본 발명의 일 실시 예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.One embodiment of the present invention described above is merely illustrative, and those skilled in the art will be able to appreciate that various modifications and other equivalent embodiments are possible. . Therefore, it will be understood that the present invention is not limited to the forms mentioned in the detailed description above. Therefore, the true scope of technical protection of the present invention should be determined by the technical spirit of the attached patent claims. In addition, the present invention should be understood to include all modifications, equivalents and substitutes within the spirit and scope of the present invention as defined by the appended claims.

100a, 100b, 100c : 교차로 객체 검지/알람 장치
101 : 신호분석부 102 : 디스플레이 제어부
103 : 보행객체 검출 및 인식부 104 : 보행객체 판독부
105 : 차량 일시정지 시간/거리 측정부
106 : 저장부 107 : 번호 추출부
108 : 제어부(AI) 110 : 제어수단
120 : 카메라부 130 : 디스플레이부
140 : 스피커부 150 : 통신부
200 : 교차로 객체 검지/알람 서버 300 : 경찰청 서버
400 : 신호등 제어기 500 : 주행차선 신호등
600 : 횡단보도 신호등100a, 100b, 100c: Intersection object detection/alarm device
101: signal analysis unit 102: display control unit
103: Walking object detection and recognition unit 104: Walking object reading unit
105: Vehicle pause time/distance measurement unit
106: storage unit 107: number extraction unit
108: Control unit (AI) 110: Control means
120: camera unit 130: display unit
140: speaker unit 150: communication unit
200: Intersection object detection/alarm server 300: National Police Agency server
400: Traffic light controller 500: Driving lane traffic light
600: Crosswalk traffic light

Claims (3)

교차로 횡단보도의 보행자 대기영역과 횡단보도 차량 우회전 영역, 횡단보도를 포함하는 횡단신호등과 주행차선 신호등 영역에 대하여 선택적으로 촬영하는 카메라부(120)가 구성된 복수의 교차로 객체 검지/알람장치(100)가 설치되는 단계(S100);
상기 교차로 객체 검지/알람 장치(100)의 카메라부(120)는 횡단보도에 대기중인 보행자와, 우회전 차량, 횡단보도 신호등 및 사거리 전방신호등이 촬영되는 단계(S110);
상기 카메라부(120)에서 촬영되어 검출된 이미지에 대하여 상기 교차로 객체 검지/알람장치(100)에서는 딥러닝 기반으로 교차로 객체가 검출 및 인식되는 단계(S120);
상기 교차로 객체 검지/알람장치(100)의 신호분석부(101)는 보행신호 1 내지 2초 전에 상기 카메라부(120)에서 촬영되어 검출된 이미지에서 횡단보도에 킥보드나 자전거, 오토바이와 같은 이륜차가 검출되는 경우에 디스플레이부(130)를 통해 우회전 차로의 운전자가 볼 수 있도록 우회전 주의 운행문구를 출력하는 단계(S130);
상기 교차로 객체 검지/알람 장치(100)의 신호분석부(101)는 신호등 제어기(400)에서 제어되는 횡단보도 신호등(600)과 주행차선 신호등(500)에 대한 신호 분석결과 횡단보도 신호등(600)에 보행신호가 온되는가를 판단하는 단계(S140);
상기 교차로 객체 검지/알람장치(100)의 신호분석부(101)는 신호등 제어기(400)에 접속되어 신호등 제어기(400)에서 제어되는 횡단보도 신호등(600)과 주행차선 신호등(500)에 대한 신호시간을 분석하여 상기 횡단보도 신호등(600)이 보행신호로 바뀌면 상기 교차로 객체 검지/알람장치(100)의 제어부(108)는 교차로 객체 검지/알람장치(100)의 디스플레이부(130)를 통해서 우회전 운전자에게 우회전 금지문구 알람을 위한 디스플레이를 하도록 제어하고, 스피커부를 통해서도 우회전 금지 음성 또는 경고음을 출력하는 단계(S150); 및
상기 교차로 객체 검지/알람장치(100)의 제어부(108)는 보행신호에 우회전하는 차량이 있는 경우 일시정지 하지 않고, 진행하는 차량에 대하여 카메라부에서 촬영한 차량의 차량번호를 분석하고, 분석한 차량번호 정보와, 우회전 신호인 것을 명확하게 하기 위하여 차량 우회전 시 동시에 촬영한 횡단보도 신호등(600)의 이미지 정보를 저장함과 함께 상기 차량 우회전 시 동시에 촬영한 횡단보도 신호등(600)의 이미지 정보는 별도의 교차로 객체 검지/알람 서버(200)와 경찰청 서버(300)에 전송되는 단계(S160);를 포함하되,
복수의 상기 교차로 객체 검지/알람장치(100) 각각은,
상기 신호등 제어기(400)에 접속되어 상기 신호등 제어기(400)에서 제어되는 상기 횡단보도 신호등(600)과 주행차선 신호등(500)에 대한 신호시간을 분석하는 신호분석부(101)와, 상기 디스플레이부(130)에 디스플레이되는 문자를 제어하는 디스플레이 제어부(102)와, 상기 카메라부(120)를 통해 촬영된 보행객체(통행객체)를 검출하고 인식하는 보행객체 검출 및 인식부(103)와, 상기 보행객체 검출 및 인식부(103)에서 인식된 보행객체를 판독하는 보행객체 판독부(104)와, 차량이 횡단보도 앞에서 일시 정지한 시간과 거리를 측정하는 차량 일시정지 시간/거리 측정부(105)와, 상기 디스플레이부(130)에 디스플레이되는 문자와 상기 카메라부(120)를 통해 촬영된 우회전 위반 차량을 촬영한 사진정보 및 해당 차량의 번호정보와 보행자를 위한 횡단보도 신호등(600)의 현재 신호에 대한 촬영 정보 및 차량 운전석 사진정보를 저장하는 저장부(106)와, 우회전 신호 위반 차량의 번호정보를 추출하는 번호 추출부(107)와, 상기 신호분석부(101), 디스플레이 제어부(102), 보행객체 검출 및 인식부(103), 보행객체 판독부(104), 차량 일시정지 시간/거리 측정부(105), 저장부(106) 및 번호 추출부(107)를 제어하는 제어부(108)를 포함하고,
상기 카메라부(120)는,
횡단보도 앞에 대기중인 보행자를 촬영하는 객체촬영 카메라(121)와,
우회전 하는 차량을 촬영하되 상기 신호등 제어기(400)의 제어에 따라 횡단보도 신호등(600)의 신호가 보행자 신호(녹색)인 경우에 횡단보도를 우회전 하는 차량이 있는 경우 해당 차량을 촬영하여 실시간 이미지에서 우회전 차량영역을 검출하고, 차량번호판 영역을 인식하고, 상기 횡단보도 신호등(600)이 녹색인 경우 불법 우회전하는 차량의 차량번호를 검출하는 차량촬영 카메라(122)와, 우회전 차량의 전방에 있는 상기 주행차선 신호등(500)을 촬영하는 전방신호 촬영카메라(123) 및 상기 횡단보도 신호등(600)을 촬영하는 카메라로, 기본적으로는 녹색 또는 적색신호나 녹색신호의 잔여 시간에 대하여 촬영하되, 보행자가 보행하는 횡단보도도 함께 촬영될 수 있도록 구성되어 상기 주행차선 신호등(500)과, 횡단보도 신호등(600)을 촬영하는 것에 따라 우회전 신호 위반 차량이나 횡단보도에 보행자가 있는 경우에 일시정지 하지 않은 차량의 신호 위반에 대한 분쟁 시비를 보다 명확히 가릴 수 있도록 하는 횡단신호 촬영카메라(124)로 구성되며,
상기 카메라부(120)의 카메라 중 상기 객체촬영 카메라(121)와 차량촬영 카메라(122)는 딥러닝 기반의 컴퓨터 비전 기술을 활용하여 교차로에서 차량이 우회전 시 0도에서 60도 각도 사이에서 얻은 이륜차, 사람 및 자전거를 포함하는 횡단보도를 이용하는 이용자의 데이터를 확보하여 전이학습(Transfer learning)을 통해 추론의 정확도를 높일 수 있도록 하여 횡단보도 내 객체 검출을 감지하고 검출된 객체를 상기 디스플레이부(130)를 통해 운전자에게 사전에 경고하도록 구성되며,
상기 디스플레이부(130)의 설치위치는 차량 우회전 전에 인식할 수 있도록 주행 차선의 끝차선 상측의 도로 상에 버스나 트럭과 같은 대형 차량의 주행에 방해가 되지 않는 높이로 설치되며, 태양광 패널을 통해 전원을 공급받도록 구성되되, 상기 디스플레이부(130)에 디스플레이 문구는 '우회전 금지'와 같은 기본 문구, '킥보드, 유모차, 아이들, 자전거, 노약자 있음' 문구를 통해 우회전 차량 운전자와 우회전 차량 뒷쪽 운전자에게도 해당 문구가 보여짐으로서 후방의 대기 운전자들 역시도 앞에 정차 중인 차량에 대한 이해도를 높여 분쟁 상황을 줄이도록 하고, '우회전 가능 시간'을 표시해주는 문구를 통해서는 운전자가 좀더 여유를 갖고 기다릴 수 있도록 하며, 이륜차나 킥보드, 자전거가 검출되는 경우에는 해당 이륜차나 킥보드, 자전거 운행자들의 성격이 급한 경우 보행금지(적색) 신호에도 디스플레이부에 "우회전 주의 " 문구를 표시하여 혹시라도 보행금지 신호에 성격급한 운행자와에 의한 사고를 최소화할 수 있도록 하며, 상기 문구들은 상기 카메라부(120)의 상기 객체촬영 카메라(121)에서 촬영된 이미지 데이터를 상기 보행객체 판독부(104)에서 판독하면 상기 제어부(108)에서 상기 디스플레이 제어부(102)를 통해 상기 디스플레이부(130)를 통해 문구로 디스플레이하도록 제어되고, 상기 스피커부(140)를 통한 음성 출력을 하도록 제어하며, 차량 직진 방향이 차량진행 금지인 적색 신호등인 경우에는 "일시정지 후 우회전"문구를 상기 디스플레이부(130)를 디스플레이하고, 상기 스피커부(140)를 통한 음성 출력을 하도록 함으로써 개정되지 얼마되지 않은 상태에 아직 운전자들한테 익숙하지 않은 상태에서 도움이 되도록 하며, 상기 문구 중 경고문구는 노란색, 우회전 허용의 경우에는 파란색 그리고 우회전 금지나 일지정지 후 우회전의 경우에는 붉은색의 문구가 알람으로 표시되면서 깜빡이도록 구성되어 운전자가 주의를 갖고 우회전 금지나 일시정지 후 우회전을 정확히 지킬 수 있도록 구성되고,
상기 제어부(108)는 상기 카메라부(120), 디스플레이부(130), 스피커부(140) 및 통신부(150)를 제어하되, 상기 카메라부(120)에서 촬영된 영상신호가 상기 저장부(106)에 저장되도록 제어하고, 상기 신호분석부(101)에서 분석된 횡단보도와 주행차선 신호시간에 따라 상기 디스플레이 제어부(102)를 통해 상기 디스플레이부(130)에 디스플레이되는 문자와 상기 스피커부(140)를 통해 출력되는 음성이나 경고음을 제어하며, 상기 객체촬영 카메라(121)를 통해 촬영된 객체에 따라 상기 디스플레이부(130)에 디스플레이되는 문자에서 횡단보도 앞에 대기 중인 보행 객체의 형태를 디스플레이하거나 음성으로 출력될 수 있도록 제어하고, 상기 신호분석부(101)의 분석결과에 따라 보행신호(녹색)에 불법 우회전하는 차량과, 상기 횡단보도 신호등(600)이 적색이더라도 보행자가 있는 상태에서 주행하는 차량과, 상기 주행차선 신호등(500)이 적색인 상태에서 횡단보도에서 일시정지 하지 않는 차량에 대하여는 상기 저장부(106)에 상기 카메라부(120)에서 촬영한 영상 데이터를 차량번호 정보와 함께 저장되도록 제어함은 물론 상기 통신부(150)를 통해 교차로 객체 검지/알람 서버(200) 및 경찰청 서버(300)로 전송되도록 제어되는 것을 특징으로 하는 딥러닝 기반 교차로 객체검지 및 자동 알람 방법.
A plurality of intersection object detection/alarm devices (100) configured with a camera unit (120) that selectively photographs the pedestrian waiting area of the intersection crosswalk, the right turn area of the crosswalk vehicle, the crosswalk traffic light including the crosswalk, and the travel lane traffic light area. Step in which is installed (S100);
The camera unit 120 of the intersection object detection/alarm device 100 takes pictures of pedestrians waiting at the crosswalk, right-turning vehicles, crosswalk traffic lights, and intersection front traffic lights (S110);
A step of detecting and recognizing an intersection object based on deep learning in the intersection object detection/alarm device 100 with respect to the image captured and detected by the camera unit 120 (S120);
The signal analysis unit 101 of the intersection object detection/alarm device 100 detects a two-wheeled vehicle such as a kickboard, bicycle, or motorcycle on the crosswalk in the image captured and detected by the camera unit 120 1 to 2 seconds before the pedestrian signal. When detected, outputting a right turn caution driving phrase through the display unit 130 so that drivers in the right turn lane can see it (S130);
The signal analysis unit 101 of the intersection object detection/alarm device 100 analyzes the crosswalk signal light 600 and the driving lane signal light 500 controlled by the traffic light controller 400 to determine the crosswalk signal light 600. A step of determining whether the walking signal is turned on (S140);
The signal analysis unit 101 of the intersection object detection/alarm device 100 is connected to the traffic light controller 400 and provides signals for the crosswalk signal light 600 and the driving lane signal light 500 controlled by the traffic light controller 400. By analyzing time, when the crosswalk signal light 600 changes to a walking signal, the control unit 108 of the intersection object detection/alarm device 100 turns right through the display unit 130 of the intersection object detection/alarm device 100. Controlling the display to warn the driver of a no right turn warning and outputting a no right turn voice or warning sound through the speaker unit (S150); and
The control unit 108 of the intersection object detection/alarm device 100 does not stop temporarily when there is a vehicle turning right at the pedestrian signal, but analyzes the license plate number of the vehicle captured by the camera unit for the proceeding vehicle, and analyzes In order to make it clear that it is a right turn signal, the vehicle number information and the image information of the crosswalk signal light 600 taken simultaneously when the vehicle turns right are stored, and the image information of the crosswalk signal light 600 taken simultaneously when the vehicle turns right is stored separately. A step (S160) of transmitting to the intersection object detection/alarm server 200 and the National Police Agency server 300;
Each of the plurality of intersection object detection/alarm devices 100,
A signal analysis unit 101 that is connected to the traffic light controller 400 and analyzes signal times for the crosswalk traffic light 600 and the driving lane traffic light 500 controlled by the traffic light controller 400, and the display unit A display control unit 102 that controls the text displayed on 130, a walking object detection and recognition unit 103 that detects and recognizes a walking object (passing object) photographed through the camera unit 120, and A pedestrian object reading unit 104 that reads the pedestrian object recognized by the pedestrian object detection and recognition unit 103, and a vehicle pause time/distance measurement unit 105 that measures the time and distance the vehicle paused in front of the crosswalk. ), text displayed on the display unit 130, photo information of a right-turn violation vehicle taken through the camera unit 120, number information of the vehicle, and the current status of the crosswalk signal light 600 for pedestrians. A storage unit 106 for storing signal shooting information and vehicle driver seat photo information, a number extraction unit 107 for extracting number information of a vehicle violating a right turn signal, the signal analysis unit 101, and a display control unit 102. ), a control unit 108 that controls the pedestrian object detection and recognition unit 103, the pedestrian object reading unit 104, the vehicle pause time/distance measurement unit 105, the storage unit 106, and the number extraction unit 107. ), including
The camera unit 120,
An object photography camera 121 that photographs pedestrians waiting in front of the crosswalk,
A vehicle turning right is photographed, but if the signal of the crosswalk signal light 600 is a pedestrian signal (green) under the control of the traffic light controller 400, and there is a vehicle turning right on the crosswalk, the vehicle is photographed and displayed in a real-time image. A vehicle camera 122 that detects the right-turning vehicle area, recognizes the license plate area, and detects the license plate number of the vehicle making an illegal right-turn when the crosswalk signal light 600 is green, and the vehicle camera 122 in front of the right-turning vehicle It is a front signal camera 123 that photographs the driving lane signal light 500 and a camera that photographs the crosswalk signal light 600. Basically, it takes pictures of a green or red signal or the remaining time of the green signal, but pedestrians It is configured so that pedestrian crosswalks can also be photographed, and by filming the driving lane signal light 500 and the crosswalk signal light 600, vehicles that violate the right turn signal or do not stop temporarily when there are pedestrians on the crosswalk It consists of a crossing signal camera (124) that allows for clearer identification of disputes over signal violations.
Among the cameras of the camera unit 120, the object photographing camera 121 and the vehicle photographing camera 122 utilize deep learning-based computer vision technology to capture two-wheeled vehicles between 0 and 60 degrees when a vehicle turns right at an intersection. , by securing data of users using the crosswalk, including people and bicycles, to increase the accuracy of inference through transfer learning, detecting objects within the crosswalk and displaying the detected objects in the display unit 130 ) is configured to warn the driver in advance through
The installation location of the display unit 130 is installed at a height that does not interfere with the driving of large vehicles such as buses or trucks on the road above the end lane of the driving lane so that the vehicle can be recognized before turning right, and the solar panel is installed. It is configured to receive power through the display unit 130, and the display text on the display unit 130 includes basic phrases such as 'no right turns' and 'kickboards, strollers, children, bicycles, and the elderly', so that the driver of the right-turning vehicle and the driver behind the right-turning vehicle By displaying the corresponding phrase, drivers waiting behind can also increase their understanding of the vehicle stopped in front, thereby reducing conflict situations, and the phrase displaying the 'right turn time' allows drivers to wait with more time. , When a two-wheeled vehicle, kickboard, or bicycle is detected, if the drivers of the two-wheeled vehicle, kickboard, or bicycle are impatient, the phrase “Caution to turn right” is displayed on the display even at a no-walking (red) signal, in case the drivers are impatient at the no-walking signal. It is possible to minimize accidents caused by Controlled to display text through the display unit 130 through the display control unit 102, and control to output voice through the speaker unit 140, the vehicle's straight direction is a red traffic light prohibiting vehicle movement. In this case, the phrase “Turn right after pausing” is displayed on the display unit 130 and audio is output through the speaker unit 140, thereby helping drivers who are not yet familiar with the revision. Among the above phrases, the warning text is yellow, in the case of a right turn permitted, in blue, and in the case of a right turn prohibited or a right turn after a temporary stop, the red text is displayed as an alarm and blinks, so that the driver must pay attention to whether the right turn is prohibited or not. It is designed to accurately maintain right turns after a temporary stop.
The control unit 108 controls the camera unit 120, the display unit 130, the speaker unit 140, and the communication unit 150, and the image signal captured by the camera unit 120 is transmitted to the storage unit 106. ), and the text displayed on the display unit 130 through the display control unit 102 and the speaker unit 140 according to the crosswalk and driving lane signal times analyzed by the signal analysis unit 101. ) Controls the voice or warning sound output through the object photographing camera 121, and displays the shape of a walking object waiting in front of the crosswalk in the text displayed on the display unit 130 according to the object photographed through the object photographing camera 121 or displays a voice sound. Controlled to be output as, and according to the analysis result of the signal analysis unit 101, a vehicle making an illegal right turn at a pedestrian signal (green) and a vehicle driving with a pedestrian present even if the crosswalk signal light 600 is red. And, for vehicles that do not stop temporarily at the crosswalk while the driving lane signal light 500 is red, the image data captured by the camera unit 120 is stored in the storage unit 106 along with vehicle license plate number information. A deep learning-based intersection object detection and automatic alarm method, characterized in that it is controlled to be transmitted to the intersection object detection/alarm server 200 and the National Police Agency server 300 through the communication unit 150.
 삭제delete 삭제delete
KR1020230111052A 2023-08-24 2023-08-24 Deep learning-based intersection object detection and automatic alarm method KR102645077B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230111052A KR102645077B1 (en) 2023-08-24 2023-08-24 Deep learning-based intersection object detection and automatic alarm method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230111052A KR102645077B1 (en) 2023-08-24 2023-08-24 Deep learning-based intersection object detection and automatic alarm method

Publications (1)

Publication Number Publication Date
KR102645077B1 true KR102645077B1 (en) 2024-03-08

Family

ID=90235839

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230111052A KR102645077B1 (en) 2023-08-24 2023-08-24 Deep learning-based intersection object detection and automatic alarm method

Country Status (1)

Country Link
KR (1) KR102645077B1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120019828A (en) 2010-08-27 2012-03-07 (주)아이티에스뱅크 A system for detecting car being violated trafficsignal at the intersection
KR101873202B1 (en) 2018-05-24 2018-07-02 주식회사 싸인텔레콤 The one shot camera for artificial intelligence fuction by using neuromorphic chip
KR20210122181A (en) 2020-03-30 2021-10-08 라온피플 주식회사 Apparatus and method for controlling traffic signal based on reinforcement learning
KR102339213B1 (en) * 2021-09-30 2021-12-14 건아정보기술 주식회사 Crackdown system of violation vehicle when turning right at a crossroad
KR20220010858A (en) * 2020-07-20 2022-01-27 오동근 Pedestrian notification system when vehicle turns right
KR20220101535A (en) 2021-01-11 2022-07-19 주식회사 노타 On-device real-time traffic signal control system based on deep learning
KR20230015170A (en) * 2021-07-22 2023-01-31 아주대학교산학협력단 Apparatus and method for detecting violation of right-turn vehicle
KR102526583B1 (en) * 2022-11-22 2023-04-27 주식회사 에이엔비 Deep learning-based intersection object detection and automatic alarm system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120019828A (en) 2010-08-27 2012-03-07 (주)아이티에스뱅크 A system for detecting car being violated trafficsignal at the intersection
KR101873202B1 (en) 2018-05-24 2018-07-02 주식회사 싸인텔레콤 The one shot camera for artificial intelligence fuction by using neuromorphic chip
KR20210122181A (en) 2020-03-30 2021-10-08 라온피플 주식회사 Apparatus and method for controlling traffic signal based on reinforcement learning
KR20220010858A (en) * 2020-07-20 2022-01-27 오동근 Pedestrian notification system when vehicle turns right
KR20220101535A (en) 2021-01-11 2022-07-19 주식회사 노타 On-device real-time traffic signal control system based on deep learning
KR20230015170A (en) * 2021-07-22 2023-01-31 아주대학교산학협력단 Apparatus and method for detecting violation of right-turn vehicle
KR102339213B1 (en) * 2021-09-30 2021-12-14 건아정보기술 주식회사 Crackdown system of violation vehicle when turning right at a crossroad
KR102526583B1 (en) * 2022-11-22 2023-04-27 주식회사 에이엔비 Deep learning-based intersection object detection and automatic alarm system

Similar Documents

Publication Publication Date Title
US10296794B2 (en) On-demand artificial intelligence and roadway stewardship system
CN109334566B (en) Method, device, equipment and storage medium for providing feedback outside vehicle
KR102280338B1 (en) Crossroad danger alarming system based on surroundings estimation
AU2019235551B2 (en) On-demand artificial intelligence and roadway stewardship system
KR102133913B1 (en) Digital display board system using object recognition based on deep learning for providing customized information of object and method for controlling thereof
KR102526583B1 (en) Deep learning-based intersection object detection and automatic alarm system
CN102768801B (en) Method for detecting motor vehicle green light follow-up traffic violation based on video
KR101696881B1 (en) Method and apparatus for analyzing traffic information
US20120148092A1 (en) Automatic traffic violation detection system and method of the same
KR102020340B1 (en) A intersection and walking safety monitoring system using lidar
WO2015089867A1 (en) Traffic violation detection method
CN101739809A (en) Automatic alarm and monitoring system for pedestrian running red light
KR20180057826A (en) Method for preventing accident in cross road of school zone and system of the same
CN113055649A (en) Tunnel intelligent video monitoring method and device, intelligent terminal and storage medium
KR102159144B1 (en) Unmanned vehicle crackdown system around a walking signal
KR102107791B1 (en) Safety speed control system for children's protection zone
JP2003178397A (en) Road display detecting/alarming device
KR102645077B1 (en) Deep learning-based intersection object detection and automatic alarm method
KR20210135009A (en) pedestrian traffic safety system in child protection area
KR20230126927A (en) Traffic accident prevention system and its service method
CN112185100A (en) Pedestrian guiding method and device
KR102630264B1 (en) System, method and computer program for providing guidance information of intersection
KR102427061B1 (en) Device and Method for Detecting Entity
KR102340902B1 (en) Apparatus and method for monitoring school zone
KR102686683B1 (en) Guidance system and method for preventing collision between car and pedestrian in blind area using artificial intelligence

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant