KR102280338B1 - 상황 예측 기반 교차로 위험 경보 시스템 - Google Patents

상황 예측 기반 교차로 위험 경보 시스템 Download PDF

Info

Publication number
KR102280338B1
KR102280338B1 KR1020200165864A KR20200165864A KR102280338B1 KR 102280338 B1 KR102280338 B1 KR 102280338B1 KR 1020200165864 A KR1020200165864 A KR 1020200165864A KR 20200165864 A KR20200165864 A KR 20200165864A KR 102280338 B1 KR102280338 B1 KR 102280338B1
Authority
KR
South Korea
Prior art keywords
pedestrian
vehicle
box
unit
image
Prior art date
Application number
KR1020200165864A
Other languages
English (en)
Inventor
백승태
Original Assignee
주식회사 블루시그널
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 블루시그널 filed Critical 주식회사 블루시그널
Priority to KR1020200165864A priority Critical patent/KR102280338B1/ko
Application granted granted Critical
Publication of KR102280338B1 publication Critical patent/KR102280338B1/ko
Priority to PCT/KR2021/010913 priority patent/WO2022119079A1/ko
Priority to US17/484,100 priority patent/US11355014B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G06K9/00221—
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/222—Personal calling arrangements or devices, i.e. paging systems
    • G08B5/223—Personal calling arrangements or devices, i.e. paging systems using wireless transmission
    • G08B5/224—Paging receivers with visible signalling details
    • G08B5/225—Display details
    • G08B5/226—Display details with alphanumeric or graphic display means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/081—Plural intersections under common control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G06K2209/23—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량과 보행자 등 주변 객체들의 행동을 탐지 및 예측하기 위한 센서와 위험 경고 피드백 제공 기능을 포함하며, 엣지 컴퓨팅을 위한 개별 프로세서를 탑재하여 독립적인 연산이 가능한 행동 예측 기반 교차로 위험 경보 시스템을 제공한다.

Description

상황 예측 기반 교차로 위험 경보 시스템{Crossroad danger alarming system based on surroundings estimation}
본 발명은 상황 예측 기반 교차로 위험 경보 시스템에 관한 것이다.
보행자 사고는 연간 약 1,300여명으로 전체 교통 사고 사망자의 30% 이상을 차지하고 있어 사고 감소를 위한 대책이 필요하다. 특히 교차로에서는 차량 우회전시 사각 지대로 인한 사고, 어린이 보호 구역 내 사고 등과 같은 사고가 빈번히 일어나지만 과속 단속, 처벌 이외에는 해당 사고를 완화시킬 수 있는 시스템과 서비스가 거의 없다.
현재 운영 중인 보행자 안전 시스템은 각 지자체의 도시정보센터의 24시간 감시 등의 운영을 통해 수작업으로 관리되고 있지만, 인력이 비효율적으로 운영되는 시스템이며 위험 경보 기능은 구비하고 있지 않다. 또한, 현재의 교통 안전 시스템은 교통 사고 발생 이후 통계 데이터 분석을 통해 교통 사고 다발 지역에 방지턱, 펜스 또는 과속카메라 같은 안전시설물을 설치하는 “사후 대응” 방식이므로, 보행자 사고를 미연에 방지할 수 있는 “선제 대응형” 시스템 및 서비스가 필요하다.
한편, 차량 운전자와의 통신을 기반으로 보행자의 위치를 카메라로 감지하여 차량에 전달하는 단방향 경고 서비스가 알려져 있다. 이 서비스는 RSU(Road Side Unit)으로부터 전달되는 영상데이터를 기반으로 관할 서버에서 위험 보행자를 분류하고 해당 정보를 다시 RSU로 전달하는 방식으로 구성된다. 따라서, 보행자 자신에게 위험을 알리는 기능이 없으며, 서버와 RSU간의 통신 때문에 정보 전달이 늦거나 통신 장애가 있으면 서비스 기능을 수행할 수 없는 단점이 있다.
특허 문헌으로 한국 특허 제10-2181222호는 횡단하는 보행자의 안전한 보행을 유도하고, 횡단보도 영역으로 진입하는 차량 운전자에게 횡단보도의 보행자 보행 상황을 진입 전 미리 인지될 수 있도록, 횡단보도 영역을 보행하는 보행자를 촬영하고 영상신호를 송신하는 영상촬영부, 보행자의 보행 중 이상 행동을 판단하는 객체분석부, 보행자의 이상 행동 판단 결과 시 보행자의 위험이 인지되도록 하는 제 1위험신호를 출력하여 횡단보도의 선택된 보조시설물에 전달하고, 보조시설물을 통해 제 1위험신호가 표출되게 명령하는 안전관리부를 포함하는 안전 관리 시스템을 개시하고 있다. 여기서 보조시설물은 횡단보도 진입 전의 복수개의 포스트이며 센서를 겸하는 것이다. 그러나 이 기술은 직진 도로에서 유용하며, 보조시설물을 보행자의 입출이 빈번한 횡단보도 입출구에 설치해야 하는 단점이 있다.
또 다른 특허 제10-2021079호는 라이다(Lidar)를 이용한 교차로 운행 및 보행 안전 모니터링 시스템에 관한 것으로서, 횡단보도를 횡단하는 보행자의 영상을 수집하는 카메라와, 교차로 지역 내를 주행 중인 차량의 교통 정보를 수집하기 위한 라이다를 구비하는 정보 수집부와, 정보 수집부의 카메라와 라이다를 통해 수집되는 정보에 기초하여 보행자 사고 방지를 위한 보행 안전 경고 출력을 제어하는 제어부와, 운전자가 횡단보도를 횡단하는 보행자를 인식할 수 있도록 보행자 영상을 포함한 보행 경고를 출력하는 보행 안전 출력부를 포함하는 보행 안전 모니터링 시스템을 개시하고 있다. 그러나 정보 수집부는 운행 중인 모든 차량을 대상으로 더욱 라이다를 이용하므로 보행자에게 실제로 위험한 차량을 정확히 검출하기 어려우며, 운전자에게는 차량의 화면을 통하여 경고하므로 위험 상황을 놓치기 쉬운 문제가 있다.
이상의 선행 기술과 달리, 보행자의 위치를 감지하여 위험 보행자의 존재 여부 정보를 차량에 전달하면서 차량의 위치, 속도에 따른 위험 차량의 여부를 보행자에게도 동시에 전달하는 양방향 충돌 경고 서비스로서, 영상 데이터를 기반으로 바로 위험 보행자 및 차량을 분류 후 경고 표출 및 알람을 수행하는 시스템이 필요하며, 본 발명은 이를 위하여 안출된 것이다.
그러므로 본 발명은 차량과 보행자 등 주변 객체들의 행동을 탐지 및 예측하기 위한 센서와 위험 경고 피드백 제공 기능을 포함하며, 엣지 컴퓨팅을 위한 개별 프로세서를 탑재하여 독립적인 연산이 가능한 행동 예측 기반 교차로 위험 경보 시스템을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위하여 본 발명은, 행동 예측 기반 교차로 위험 경보 시스템으로서, 상기 시스템은 차량을 탐지하고 차량의 운전자에게 경고를 표출하는 제1박스와, 보행자를 탐지하고 보행자에게 경고를 표출하는 제2박스로 이루어지며, 차량과 보행자의 영상을 동시에 취득하도록 인도에 배치되고, 상기 시스템은 보행자 영상 수신부, 보행자 행동 예측부, 차량 영상 수신부, 차량 동작 예측부, 위험 예측 판단부 및 경고 표시부를 포함하며, 상기 보행자 행동 예측부는 보행자 영상 수신부의 화상 데이터를 토대로 소정 시간 이후의 보행자의 행동을 결정하며, 상기 차량 동작 예측부는 차량 영상 수신부의 화상 데이터를 토대로 상기 소정 시간과 동일한 시간 이후의 차량의 동작을 결정하며, 상기 위험 예측 판단부는 보행자 행동 예측부의 데이터와 차량 동작 예측부의 데이터를 토대로 위험 상황이 발생하는지의 여부를 판단하는, 행동 예측 기반 교차로 위험 경보 시스템을 제공한다.
제1박스와 제2박스는 동일한 외관으로 포스트를 기준으로 대칭으로 설치되며, 제1박스의 외면에는 차량의 이미지를 획득하기 위한 이미지 센서가 설치되고, 제2박스의 외면에는 보행자의 이미지를 획득하기 위한 이미지 센서가 설치되며 상기 보행자용 이미지 센서는 보행자의 얼굴의 눈과 시선을 촬영하여 보행자 행동 예측부로 전송하고, 보행자 행동 예측부는 보행자의 시선을 토대로 소정 시간 이후의 포즈를 연산할 수 있다.
상기 제1박스와 제2박스를 포함하는 경보 시스템은 차량이 우회전하고, 우회전 후의 도로에 인접하여 횡단보도가 있는 교차로에 설치될 수 있다.
상기 위험 예측 판단부는 보행자 행동 예측부와 차량 동작 예측부의 데이터를 토대로 소정 시간 경과 후 보행자와 차량의 위치가 중복되거나 소정 거리 이하인 경우 위험 상황이 발생하는 것으로 판단할 수 있다.
상기 위험 예측 판단부는 우회전의 횡단보도인 경우 보행자가 횡단 보도에 있을 것으로 예측되는 경우 또는 차량이 우회전할 것으로 예측되는 경우 위험 상황이 발생한 것으로 판단할 수 있다.
제1박스의 외면에는 차량의 운전자에게 위험 상황을 알리기 위한 빔 프로젝터가 설치되어 횡단보도 전방의 소정거리에 위험 상황을 알리는 문자 또는 이미지를 표시하고, 제2박스의 외면에는 보행자에게 위험 상황을 알리기 위한 빔 프로젝터가 설치되어 적어도 횡단보도 진입 전의 인도에 위험 상황을 알리는 문자 또는 이미지를 표시할 수 있다.
제1박스의 외면에는 차량의 운전자에게 위험 상황을 알리기 위한 전광판이 설치되며, 제2박스의 외면에는 보행자에게 위험 상황을 알리기 위한 전광판이 설치될 수 있다.
본 발명의 시스템은 단순 차량 속도 및 보행자의 위치 뿐만 아니라 보행자의 시선과 같은 세부적인 행동 정보 분석을 통해 보다 효율적으로 보행자 안전 서비스를 제공할 수 있다.
또한, 순간적인 위험 상황 인지 및 서비스 제공 수준이 아닌, 해당 지역의 장기적인 행동 정보 수집 및 분석을 통해 잠재적 위험 수준을 예측하여 운전자 및 보행자에게 사전에 정보를 제공할 수 있으며, 교통 사고를 근본적으로 방지하고, 보행자의 보행 환경을 개선할 수 있다는 효과를 발휘한다.
도 1은 본 발명의 행동 예측 기반 교차로 위험 경보 시스템의 작동을 설명하기 위한 도면;
도 2는 본 발명의 경보 시스템인 나비 박스의 사시도;
도 3은 본 발명의 나비박스의 내부 구성을 도시한 도면;
도 4는 도 1에서 “보행자 주의” “우회전 차량 주의”의 문자가 지면에 표시되는 것을 도시한 도면; 그리고
도 5는 본 발명의 경고 표출의 다른 실시예의 도면이다.
본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 본 발명은 각 실시예에 포함되는 개별 구성 및 개별 기능 중, 적어도 어느 하나 이상의 조합으로 구성될 수 있다.
도 1은 본 발명의 행동 예측 기반 교차로 위험 경보 시스템(1)의 작동을 설명하기 위한 도면이다. 행동 예측 기반 교차로 위험 경보 시스템(1)은 간략히 “경보 시스템” 또는 나비 형상과 유사하므로, “나비박스” 라고도 지칭한다.
사거리의 교차로에 두 개의 횡단보도(100A, 100B)가 있으며, 보행자를 기준으로 횡단보도(100A)에서는 주로 직진 차량을 주의해야 하며, 힝단보도(100B)에서는 주로 우회전 차량을 주의해야 한다.
본 발명의 나비박스(1)는 상호 대칭인 하우징으로 외관이 형성되며, 제1박스(2a)는 차량을 탐지하고 차량의 운전자에게 경고를 표출하고, 제2박스(2b)는 보행자를 탐지하고 보행자에게 경고를 표출한다. 도 1에서 나비박스(1)는 차량과 보행자의 영상을 동시에 취득하도록 교차로의 코너에 배치된다.
제1박스(2a)가 탐지 가능한 전체 영역은 사다리꼴 형상의 영역(R1)이지만, 직진 및 우회전의 가능성이 있는 차량을 탐지하도록 차량 탐지 영역(V)은 횡단보도(100A)를 기준으로 좌측으로 예를 들어 20 ~ 30m 이내의 직시각형 구간을 설정할 수 있다. 제2박스(2b)가 탐지 가능한 전체 영역은 삼각형 형상의 영역(R2)이지만, 횡단보도(100A, 100B)를 건널 보행자를 정확히 식별하기 위하여 횡단보도(100A, 100B)를 연장하여 횡단보도(100A, 100B)의 입구와 면하는 인도에 있는 사각형 영역을 보행자 탐지 영역(P)으로 설정할 수 있다. 영역(P)은 횡단보도 및 횡단보도 진입 전의 보행로 일부를 포함한다. 이상은 일례이며, 제1박스(2a)와 제2박스(2b)는 상대적으로 회전 가능하도록 제작되어 도로 교통 상황과 차선 수에 따라 적절히 촬영 영역을 조절할 수 있다.
나비박스(1)는 여러 방법으로 보행자와 차량의 운전자에게 위험 경고를 표출한다. 그 한 예로, 도 1에서는 차량 탐지 영역(V)이 끝나는 지점에 연속하여 횡단보도(100A)를 향하는 방향으로 사각 형상의 보행자 경고 투사 영역(Va)을 설정하고 있다. 또, 보행자에게 효과적으로 경고를 주기 위하여 횡단보도(100B)의 입구에 면하는 인도에서 상기 보행자 탐지 영역(P)과 중복하여 차량 경고 투사 영역(Pa)을 설정하고 있다. 이상은 일례이며 후술하는 것과 같이 경고 투사 영역은 적절히 변경될 수 있으며, 경고 표출 역시 음성 등의 소리를 포함할 수 있다.
도 2는 본 발명의 경보 시스템인 나비 박스(1)의 사시도이다. 제1박스(2a)와 제2박스(2b)는 동일한 외관이다. 제1박스(2a)와 제2박스(2b)는 그 경계부가 포스트(12)에 지지되어 인도에 설치된다. 제1 및 제2박스(2a, 2b)는 포스트(12)를 기준으로 서로 회전 가능하다.
제1박스(2a)는 전체적으로 삼각 기둥 형상이며, 좌측의 사각 형상의 제1면(4a) 상부에는 이미지 센서(8a)가, 하부에는 경보 비임 프로젝터(10a)가 설치된다. 도시하지는 않았지만, 소리로 경고음을 알리는 스피커가 더 설치될 수 있다.
제2박스(2b)는 제1박스(2a)와 동일한 구조이지만, 제1면(4b)이 제1박스(2a)와 이격되는 위치에 형성된다.
제1박스(2a)는 차량을 탐지하고, 제2박스(2b)는 보행자를 탐지하거나 또는 그 반대일 수 있다. 본 발명에서는 특히 우회전의 횡단보도가 있는 경우 서로 직각 방향에 있는 차량과 보행자를 동시에 탐지하도록 각각의 제1면(4a, 4b)의 가상 중심선이 서로 교차하도록 각각의 박스에 내면(6a, 6b)을 형성하여 충분한 촬영 공간을 확보하고 있다. 이 이유 때문에 본 발명의 경보 시스템(1)은 마치 나비가 날개를 펼친 형상을 취하며, 외관이 우수하고 제작과 설치도 매우 편리한 장점이 있다.
도 3은 본 발명의 나비박스(1)의 내부 구성을 도시하고 있다. 나비박스(1)는 보행자 영상 수신부(20), 보행자 행동 예측부(22), 차량 영상 수신부(24), 차량 동작 예측부(26), 위험 예측 판단부(28) 및 경고 표시부(30)를 포함한다. 설명의 편의를 위하여 도 3에서는 제1박스(2a)가 차량을 탐지하는 것으로, 제2박스(2b)가 보행자를 탐지하는 것으로 가정한다.
보행자 영상 수신부(20)는 이미지 센서(8b)가 촬영한 이미지를 수신한다. 이미지 센서(8b)는 카메라 또는 동영상을 촬영하는 비디오일 수 있으며, 특히 제한되지 않는다. 이미지 센서(8b)는 보행자의 존재 여부 뿐만 아니라 보행자의 얼굴의 눈과 시선을 촬영한다. 즉 보행자의 시선과 같은 마이크로 단위의 섬세한 행동 정보를 취득한다. 포즈 추정 기술(pose estimation)을 적용하면 보행자의 시선을 식별하여 보행자의 향후 위치를 예측함으로써 운전자에게 경고 피드백을 제공할 수 있다.
보행자 행동 예측부(22)는 보행자 영상 수신부(20)의 화상 데이터를 토대로 소정 시간 후 예를 들어 1초 또는 2초 후의 보행자의 행동을 결정한다. 행동은 주로 장래 보행자의 위치를 의미한다. 보행자의 위치는 상체의 각도, 다리의 방향, 횡단 보도 앞 정지 여부, 횡단보도 입구와 보행자와의 거리 및 보행(또는 주행) 속도를 위주로 결정하지만 전술한 것과 같이 시선을 주요 인자로 참조한다. 시선이 횡단 보도 정면을 향하는 경우는 횡단 보도와 거리가 있어도 횡단 보도를 건너는 위치로 결정한다. 시선이 다른 곳을 향한 경우는 위의 다른 인자들을 토대로 결정한다.
차량 영상 수신부(24)는 이미지 센서(8a)가 촬영한 이미지를 수신한다. 이미지 센서(8a)는 차량의 존재 여부 뿐만 아니라 차량 속도와, 예를 들어 우측 방향 지시등(소위 “깜빡이”)의 점멸 여부를 촬영한다.
차량 동작 예측부(26)는 차량 영상 수신부(24)의 화상 데이터를 토대로 소정 시간 후 예를 들어 1초 또는 2초 후의 차량의 동작을 결정한다. 동작은 주로 장래 차량의 위치를 의미한다. 차량의 위치는 현재 차선, 차속, 방향 지시등의 점멸 여부를 토대로 판단하지만 이에 한정되는 것은 아니다.
위험 예측 판단부(28)는 보행자 행동 예측부(22)와 차량 동작 예측부(26)의 데이터를 토대로 소정 시간 경과 후 보행자와 차량의 위치가 중복되는지를 판단한다. 두 위치가 중복되면 “충돌” 상황이 발생하는 것을 의미한다. 두 위치가 중복되지 않아도 소정 거리 이내이면 위험이 발생할 가능성이 있으므로 위험 상황으로 판단한다. 보행자 행동 예측부(22)의 예측 시간(예: 2초)과 차량 동작 예측부(26)의 예측 시간(예; 2초)이 동일해야 위험 예측 정확도를 높일 수 있음을 알 수 있다. 위험 예측 판단부(28)는 도시하지 않은 횡단보도 신호등과 연계되어 적색등인 경우 보행자의 장래 위치와 관계 없이 위험 상황이 발생하지 않는 것으로 판단할 수 있지만, 신호등을 무시한 보행자는 경고할 수 없으며, 우회전인 경우 횡단보도가 청색등인 경우도 차량이 주행하는 것을 고려하면 신호등과의 연계는 선행기술과 달리 본 발명의 필수 구성은 아니다. 또, 우회전의 횡단보도인 경우 보행자가 횡단 보도에 있을 것으로 예측되면 접근 거리와 관계 없이 차량 운전자에게 경고를 표출하거나, 또는 차량이 우회전할 것으로 예측되면 보행자에게 경고를 표출하여 안전성을 높이도록 운영해도 좋다.
위험 예측 판단부(28)는 위험 상황이 발생하는 것으로 판단하는 경우 경경고 표시부(30)를 구동한다. 경고 표시부(30)는 비임 프로젝터나 알람음 기능을 통하여 운전자와 보행자에게 충분히 경고를 줄 수 있다.
도 3의 본 발명의 구성은 나비박스(1) 내부의 기판에 칩이나 프로세서로 구현되며(on-board processor) 독립적인 연산이 가능하고 교통 관제 센터등 외부의 다른 서버와 데이터를 송수신하지 않는다. 따라서, 차량과 보행자의 이미지를 동시에 분석 및 연산하고 경고를 표출하는, 현장에 설치되어 모든 기능을 수행하는 엣지 컴퓨팅이 가능한, 양방향 선제 대응형 시스템을 구축할 수 있다.
본 발명의 경고 표출은 다양한 방식으로 수행될 수 있으며, 이에 따라 경보 비임 프로젝터(10a, 10b) 역시 변경될 수 있다.
예를 들어, 제1면(4a, 4b)에 전광판을 설치하고 차량 또는 보행자가 탐지된 경우 그 상황을 전광판에 문자로 표시할 수 있다. 전광판은 LED광원으로 구성될 수 있다.
야간에는 운전자 및 보행자의 시야 미확보로 사고 발생이 빈번하므로 프로젝터 빔 타잎의 지면 경고 서비스를 이용한다. 빔 타잎의 지면 경고 표출 시, 보행자 주의 알람을 위한 보행자 경고 투사 영역(Va)은 횡단보도에서 10m 떨어진 곳에 설정하여 운전자가 사전에 보행자의 도로를 진입하는 것을 억제한다. 차량 주의 알람은 보행자의 횡단 보도 진입 억제를 위하여 힝단보도 진입 전 인도 부분에 표출한다. 빔 타잎의 지면 경고는 도 4에 도시한 것과 같이 “보행자 주의” “우회전 차량 주의”의 문자가 최소한 3 - 5초간 지면에 표시되는 것이 바람직하다.
도 5는 본 발명의 경고 표출의 다른 실시예로서 힝단보도에 나비박스(1)가 2개 설치된 것을 도시하고 있다. 빔 프로젝터를 사용하면서 문자 대신 보행자 또는 차량의 이미지를 적색으로 표시하여 시인성을 높이고 있다.
이상 본 발명의 실시예를 설명하였으나, 이는 본 발명을 한정하지 않으며 본 발명에 대해서는 다양한 변형과 수정이 가능하다. 본 발명의 권리범위는 이하 기술하는 청구범위와 동일 또는 균등한 범위까지 미침은 자명하다.

Claims (6)

  1. 행동 예측 기반 교차로 위험 경보 시스템으로서, 상기 시스템은 차량을 탐지하고 차량의 운전자에게 경고를 표출하는 제1박스와, 보행자를 탐지하고 보행자에게 경고를 표출하는 제2박스로 이루어지며, 차량과 보행자의 영상을 동시에 취득하도록 인도에 배치되고, 상기 시스템은 보행자 영상 수신부, 보행자 행동 예측부, 차량 영상 수신부, 차량 동작 예측부, 위험 예측 판단부 및 경고 표시부를 포함하며, 상기 보행자 행동 예측부는 보행자 영상 수신부의 화상 데이터를 토대로 소정 시간 이후의 보행자의 행동을 결정하며, 상기 차량 동작 예측부는 차량 영상 수신부의 화상 데이터를 토대로 상기 소정 시간과 동일한 시간 이후의 차량의 동작을 결정하며, 상기 위험 예측 판단부는 보행자 행동 예측부의 데이터와 차량 동작 예측부의 데이터를 토대로 위험 상황이 발생하는지의 여부를 판단하며,
    제1박스와 제2박스는 동일한 외관으로 포스트를 기준으로 대칭으로 설치되며, 제1박스의 외면에는 차량의 이미지를 획득하기 위한 이미지 센서가 설치되고, 제2박스의 외면에는 보행자의 이미지를 획득하기 위한 이미지 센서가 설치되며 상기 보행자 용 이미지 센서는 보행자의 얼굴의 눈과 시선을 촬영하여 보행자 행동 예측부로 전송하고, 보행자 행동 예측부는 보행자의 시선을 토대로 소정 시간 이후의 포즈를 연산하며,
    상기 제1박스와 제2박스를 포함하는 경보 시스템은 차량이 우회전하고, 우회전 후의 도로에 인접하여 횡단보도가 있는 교차로에 설치되는, 행동 예측 기반 교차로 위험 경보 시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 위험 예측 판단부는 보행자 행동 예측부와 차량 동작 예측부의 데이터를 토대로 소정 시간 경과 후 보행자와 차량의 위치가 중복되거나 소정 거리 이하인 경우 위험 상황이 발생하는 것으로 판단하는, 행동 예측 기반 교차로 위험 경보 시스템.
  4. 제 1항에 있어서,
    상기 위험 예측 판단부는 보행자가 횡단 보도에 있을 것으로 예측되는 경우 또는 차량이 우회전할 것으로 예측되는 경우 위험 상황이 발생한 것으로 판단하는 행동 예측 기반 교차로 위험 경보 시스템.
  5. 제 1항에 있어서,
    제1박스의 외면에는 차량의 운전자에게 위험 상황을 알리기 위한 빔 프로젝터가 설치되어 횡단보도 전방의 소정거리에 위험 상황을 알리는 문자 또는 이미지를 표시하고, 제2박스의 외면에는 보행자에게 위험 상황을 알리기 위한 빔 프로젝터가 설치되어 적어도 횡단보도 진입 전의 인도에 위험 상황을 알리는 문자 또는 이미지를 표시하는, 행동 예측 기반 교차로 위험 경보 시스템.
  6. 제 1항에 있어서,
    제1박스의 외면에는 차량의 운전자에게 위험 상황을 알리기 위한 전광판이 설치되며, 제2박스의 외면에는 보행자에게 위험 상황을 알리기 위한 전광판이 설치된, 행동 예측 기반 교차로 위험 경보 시스템.
KR1020200165864A 2020-12-01 2020-12-01 상황 예측 기반 교차로 위험 경보 시스템 KR102280338B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200165864A KR102280338B1 (ko) 2020-12-01 2020-12-01 상황 예측 기반 교차로 위험 경보 시스템
PCT/KR2021/010913 WO2022119079A1 (ko) 2020-12-01 2021-08-17 상황 예측 기반 교차로 위험 경보 시스템
US17/484,100 US11355014B1 (en) 2020-12-01 2021-09-24 System for warning about intersection danger based on situation prediction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200165864A KR102280338B1 (ko) 2020-12-01 2020-12-01 상황 예측 기반 교차로 위험 경보 시스템

Publications (1)

Publication Number Publication Date
KR102280338B1 true KR102280338B1 (ko) 2021-07-21

Family

ID=77143382

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200165864A KR102280338B1 (ko) 2020-12-01 2020-12-01 상황 예측 기반 교차로 위험 경보 시스템

Country Status (3)

Country Link
US (1) US11355014B1 (ko)
KR (1) KR102280338B1 (ko)
WO (1) WO2022119079A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022119079A1 (ko) * 2020-12-01 2022-06-09 주식회사 블루시그널 상황 예측 기반 교차로 위험 경보 시스템
CN115116268A (zh) * 2022-06-13 2022-09-27 武汉理工大学 农村交通预警方法及***
KR102459742B1 (ko) * 2021-09-16 2022-10-26 사단법인 한국지능형교통체계협회 휴대가 가능한 계측장치를 포함하는 v2x 성능 테스트 시스템
KR102494493B1 (ko) * 2022-09-30 2023-01-31 오상곤 교차로에서 우회전 차량에 대한 보행자의 위험 감지 및 알림 시스템
GB2612962A (en) * 2021-11-11 2023-05-24 Sony Semiconductor Solutions Corp A method, device, system and computer program
KR20230120954A (ko) 2022-02-10 2023-08-17 주식회사 이루기술 딥러닝 기술 기반의 횡단보도 보행자 우회전차량 간 교통사고 예방 스마트 동영상 제공 전광판
KR102583171B1 (ko) * 2022-06-30 2023-09-27 웨이즈원 주식회사 보행자 위험 상황 예측 장치 및 방법
KR102608705B1 (ko) * 2022-08-24 2023-12-04 주식회사 노타 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하는 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7363838B2 (ja) * 2021-03-02 2023-10-18 トヨタ自動車株式会社 異常挙動通知装置、異常挙動通知システム、異常挙動通知方法、およびプログラム
US11972682B2 (en) * 2022-09-18 2024-04-30 International Business Machines Corporation Displaying vehicle information to a pedestrian using a visual indicator

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339736B1 (ko) * 2013-07-18 2013-12-10 주식회사 에드원 교통 안전 경고 시스템
KR101744282B1 (ko) * 2017-02-01 2017-06-07 (주)이튜 보행 안전용 사각지대 투영 안내시스템
KR20180111375A (ko) * 2017-03-31 2018-10-11 주식회사 엘비씨소프트 보행자-차량 간의 상충위험도 분석시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9870703B2 (en) * 2016-06-14 2018-01-16 Ford Global Technologies, Llc Pedestrian warning system providing adjustable acoustic indications
US10402687B2 (en) * 2017-07-05 2019-09-03 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
KR20200051142A (ko) * 2018-11-05 2020-05-13 최병주 사물인터넷을 기반으로 하는 횡단보도의 보행자 안전 시스템
KR102021079B1 (ko) 2018-11-13 2019-11-04 기동안전(주) 차량의 흐름을 원활하게 유지하면서 보행자와 차량의 충돌 사고를 방지하기 위한 안전표시기.
KR102237969B1 (ko) * 2019-05-08 2021-04-08 주식회사 퀀텀게이트 차량과 보행자 간의 안전거리 확보를 위한 볼라드를 구비하는 보행자 교통안전 시스템
KR102181222B1 (ko) 2019-11-26 2020-11-20 주식회사 천운 횡단보도 보행자의 안전 관리 시스템
KR102280338B1 (ko) * 2020-12-01 2021-07-21 주식회사 블루시그널 상황 예측 기반 교차로 위험 경보 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339736B1 (ko) * 2013-07-18 2013-12-10 주식회사 에드원 교통 안전 경고 시스템
KR101744282B1 (ko) * 2017-02-01 2017-06-07 (주)이튜 보행 안전용 사각지대 투영 안내시스템
KR20180111375A (ko) * 2017-03-31 2018-10-11 주식회사 엘비씨소프트 보행자-차량 간의 상충위험도 분석시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022119079A1 (ko) * 2020-12-01 2022-06-09 주식회사 블루시그널 상황 예측 기반 교차로 위험 경보 시스템
KR102459742B1 (ko) * 2021-09-16 2022-10-26 사단법인 한국지능형교통체계협회 휴대가 가능한 계측장치를 포함하는 v2x 성능 테스트 시스템
GB2612962A (en) * 2021-11-11 2023-05-24 Sony Semiconductor Solutions Corp A method, device, system and computer program
KR20230120954A (ko) 2022-02-10 2023-08-17 주식회사 이루기술 딥러닝 기술 기반의 횡단보도 보행자 우회전차량 간 교통사고 예방 스마트 동영상 제공 전광판
CN115116268A (zh) * 2022-06-13 2022-09-27 武汉理工大学 农村交通预警方法及***
KR102583171B1 (ko) * 2022-06-30 2023-09-27 웨이즈원 주식회사 보행자 위험 상황 예측 장치 및 방법
KR102608705B1 (ko) * 2022-08-24 2023-12-04 주식회사 노타 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하는 방법 및 장치
KR102494493B1 (ko) * 2022-09-30 2023-01-31 오상곤 교차로에서 우회전 차량에 대한 보행자의 위험 감지 및 알림 시스템

Also Published As

Publication number Publication date
US20220172626A1 (en) 2022-06-02
US11355014B1 (en) 2022-06-07
WO2022119079A1 (ko) 2022-06-09

Similar Documents

Publication Publication Date Title
KR102280338B1 (ko) 상황 예측 기반 교차로 위험 경보 시스템
US10351131B2 (en) Wrong way vehicle detection and control system
KR102020340B1 (ko) 라이다를 이용한 교차로 운행 및 보행 안전 모니터링 시스템
KR102262946B1 (ko) 보행자 안전용 네 방향 교통 표지 시스템
KR102296105B1 (ko) 스마트 센서 기반의 횡단보도 보행안전지원 시스템
RU2598362C1 (ru) Система предупреждения столкновений участников дорожного движения
KR102211552B1 (ko) 역주행 방지 방법 및 장치
US11914041B2 (en) Detection device and detection system
KR102183157B1 (ko) 횡단보도 보행자 정보 표시 장치
US11794641B2 (en) System and method for roadway user safety
KR102293068B1 (ko) 횡단보도에서의 차량 관리를 위한 교통 제어 시스템
KR102226533B1 (ko) 일체형 가로등주로 구성된 스마트 도로 조명 시스템 및 그 제어 방법
KR102107791B1 (ko) 어린이 보호구역의 안전속도준수 제어시스템
KR101466463B1 (ko) 일체형 통행 위반 경고 시스템
KR20230052444A (ko) 스마트 반사경 장치
KR102452046B1 (ko) 어린이 보호구역 영상 감지 및 위험 신호 알림 방법 및 그 시스템
KR101819420B1 (ko) 졸음쉼터 진출입 알림 시스템
KR101233929B1 (ko) 통행 위반 경고 시스템
KR101475453B1 (ko) 무단 횡단 감지 시스템
KR101233864B1 (ko) 통행 위반 경고 시스템
KR102353084B1 (ko) 교차로 횡단보도 신호등 안전표시 전광판
KR102278172B1 (ko) 카메라모듈을 이용한 횡단보도의 무단횡단 방지방법
KR102630264B1 (ko) 교차로 안내 정보 제공 시스템, 방법 및 컴퓨터 프로그램
KR102603270B1 (ko) 스마트 어린이보호구역 구축을 위한 인공지능기반 통합안전 시스템
KR102645077B1 (ko) 딥러닝 기반 교차로 객체검지 및 자동 알람 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant