KR20190123248A - 차량 사고 방지 장치 및 방법 - Google Patents

차량 사고 방지 장치 및 방법 Download PDF

Info

Publication number
KR20190123248A
KR20190123248A KR1020190126184A KR20190126184A KR20190123248A KR 20190123248 A KR20190123248 A KR 20190123248A KR 1020190126184 A KR1020190126184 A KR 1020190126184A KR 20190126184 A KR20190126184 A KR 20190126184A KR 20190123248 A KR20190123248 A KR 20190123248A
Authority
KR
South Korea
Prior art keywords
vehicle
sound source
sound
risk
accident
Prior art date
Application number
KR1020190126184A
Other languages
English (en)
Inventor
김남석
김철승
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190126184A priority Critical patent/KR20190123248A/ko
Publication of KR20190123248A publication Critical patent/KR20190123248A/ko
Priority to US16/721,259 priority patent/US20210107477A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0247—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for microphones or earphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B60W2550/402—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18166—Overtaking, changing lanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2306/00—Other features of vehicle sub-units
    • B60Y2306/09—Reducing noise
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Otolaryngology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

기계 학습을 통해 생성된 신경망 모델인, 음원 예측 알고리즘을 이용하여, 차량의 사고를 방지하는 차량 사고 방지 장치 및 방법이 개시된다. 차량 사고 방지 장치는 음원을 이용하여 차량의 사고를 방지하는 장치로서, 차량을 중심으로 설정된 거리 내 주변 소리를 상기 차량에 설치된 제1 마이크로부터 수신하는 인터페이스와, 상기 주변 소리로부터 객체가 발생하는 음원의 종류를 예측하고, 상기 예측된 음원의 종류 및 상기 음원의 부가정보에 기초하여 상기 차량과 상기 객체 간의 사고 위험을 판단하며, 상기 사고 위험이 존재하는 것으로 판단함에 기초하여, 상기 차량이 상기 객체를 회피하도록 차량의 주행을 제어하는 프로세서를 포함할 수 있다. 상기 음원 예측 알고리즘은 차량 사고 방지 장치 내 메모리에 저장되거나, 또는 5G 네트워크를 통한 인공지능 환경에서 AI 서버를 통해 제공될 수도 있다.

Description

차량 사고 방지 장치 및 방법{APPARATUS AND METHOD FOR PREVENTING ACCIDENT OF VEHICLE}
본 발명은 차량의 주변 소리를 이용하여 차량과 차량 주변의 객체와의 사고 위험을 판단하고, 사고 위험이 존재하는 것으로 판단하면, 상기 차량의 주행을 변경하여 상기 객체를 회피하도록 하는 차량 사고 방지 장치 및 방법에 관한 것이다.
차량 주행시, 운전자의 뷰 포인트가 한정적이고, 차량 외부에 카메라가 설치된 경우에도, 카메라 또한, 화각이 제한적이므로, 운전자가 주변 환경을 인지하기가 어렵고, 이에 따라 교통사고 발생률이 높다.
교통사고를 줄이기 위한 방안으로, 선행기술 1에는 차량 외부의 전, 후, 좌, 우에 카메라를 설치하고, 각 카메라를 내비게이션과 연결시킴으로써, 각 카메라를 통해 운전자가 볼 수 없는 사각지대를 촬영하여 내비게이션에 제공하는 구성을 개시하고 있다. 또한, 선행기술 2에는 차량의 카메라로부터 획득한 영상에서 측면차량에 대한 존재 여부를 판단하고, 측면차량이 존재하는 것으로 판단되면, 상기 측면차량과의 충돌을 회피하도록 조향각을 제어하거나 또는 운전자에게 이를 경고하여, 차량 간 충돌이 발생하지 않도록 하는 구성을 개시하고 있다.
그러나, 선행기술 1 및 선행기술 2는 모두 카메라를 이용하여, 차량의 충돌 사고를 조금이나마 줄일 수 있으나, 카메라의 화각 제한으로 인해, 여전히 교통사고 발생률을 낮추기에는 한계가 있다.
따라서, 카메라 이외의 장치를 이용하여 위험을 미리 인지하고, 차량이 보다 안전하게 주행할 수 있게 하는 기술이 필요하다.
선행기술 1: 한국 등록특허공보 제10-1752675호 선행기술 2: 한국 공개특허공보 제10-2012-0086577호
본 발명의 일실시예는, 차량에 설치된 카메라 외에, 차량에 설치된 마이크로부터 수신되는 주변 소리를 이용하여, 차량의 주변에 위치하는 객체의 상태를 확인하고, 차량과 객체 간의 사고 위험이 존재하는 것으로 판단하면, 차량이 객체를 회피하도록 차량의 주행을 제어하여, 사고가 발생하지 않게 하는 것을 목적으로 한다.
본 발명의 일실시예는, 차량에 설치된 마이크로부터 수신되는 주변 소리 내 음원의 종류 및 상기 음원의 부가정보에 기초하여, 차량의 주변에 위치하는 객체의 상태를 확인 함으로써, 차량에 설치된 카메라의 화각 제한으로 인해 확인할 수 없었던 영역 내 객체의 상태까지 확인할 수 있게 하는 것을 목적으로 한다.
본 발명의 일실시예는, 차량에 설치된 저전력의 음향 센서에서 설정된 소리 이외의 이상 소리가 감지되는 경우, 차량에 설치된 마이크를 활성화하여 주변 소리를 획득하도록 함으로써, 마이크를 항상 활성화시킬 때보다 전력 소모를 감소시킬 수 있게 하는 것을 목적으로 한다.
또한, 본 발명의 일실시예는, 차량의 주변 소리에, 음원 예측 알고리즘(즉, 음향 데이터로부터 상기 음향 데이터의 패턴 및 데시벨에 기초하여, 상기 음향 데이터에 대한 음원의 종류를 예측하도록 미리 훈련된 신경망 모델)을 적용하여, 상기 주변 소리로부터 음원의 종류를 신속하고 정확하게 예측할 수 있게 하는 것을 목적으로 한다.
본 발명의 일실시예는, 음원을 이용하여 차량의 사고를 방지하는 장치로서, 차량을 중심으로 설정된 거리 내 주변 소리를 상기 차량에 설치된 제1 마이크로부터 수신하는 인터페이스와, 상기 주변 소리로부터 객체가 발생하는 음원의 종류를 예측하고, 상기 예측된 음원의 종류 및 상기 음원의 부가정보에 기초하여 상기 차량과 상기 객체 간의 사고 위험을 판단하며, 상기 사고 위험이 존재하는 것으로 판단함에 기초하여, 상기 차량이 상기 객체를 회피하도록 차량의 주행을 제어하는 프로세서를 포함하는, 차량 사고 방지 장치일 수 있다.
본 발명의 일실시예는, 상기 프로세서가, 상기 주변 소리에 음원 예측 알고리즘을 적용하여, 상기 주변 소리로부터 상기 음원의 종류를 예측하고, 상기 음원 예측 알고리즘이, 음향 데이터로부터 상기 음향 데이터의 패턴 및 데시벨에 기초하여, 상기 음향 데이터에 대한 음원의 종류를 예측하도록 미리 훈련된 신경망 모델인, 차량 사고 방지 장치일 수 있다.
본 발명의 일실시예는, 상기 차량이, 외부에 음향 센서 및 상기 제1 마이크가 설치되고, 상기 제1 마이크가, 상기 음향 센서를 통해 설정된 소리 이외의 이상 소리가 감지되는 경우 활성화되도록 구성되며, 상기 인터페이스가, 상기 활성화된 제1 마이크에 의해 획득된 상기 주변 소리를 수신하는, 차량 사고 방지 장치일 수 있다.
본 발명의 일실시예는, 상기 인터페이스가, 상기 설정된 거리 내에 존재하는 RSU(Road Side Unit) 장치 내 제2 마이크에 의해 획득한 주변 소리를 더 수신하고, 상기 프로세서가, 상기 차량에 설치된 상기 제1 마이크의 위치, 상기 RSU 장치 내 제2 마이크의 위치 및 제1 및 제2 마이크에서 각각 획득한 주변 소리 내 상기 음원의 데시벨에 기초하여, 상기 음원을 발생하는 상기 객체의 위치를 결정하는, 차량 사고 방지 장치일 수 있다.
본 발명의 일실시예는, 상기 프로세서가, 상기 예측된 음원의 종류에 대한 기준 음향 데이터에 기초하여 상기 주변 소리로부터 배경 잡음을 제거하며, 상기 주변 소리에서 상기 배경 잡음이 제거된 음향 데이터에 기초하여, 상기 음원의 부가정보를 획득하는, 차량 사고 방지 장치일 수 있다.
본 발명의 일실시예는, 상기 프로세서가, 내비게이션 정보에 기초하여 상기 차량의 위치를 확인하고, 설정된 지역별 소음 특성으로부터 상기 차량의 위치가 포함된 지역에 대응하는 소음 특성을 검출하고, 상기 주변 소리로부터 상기 배경 잡음으로서, 상기 검출된 소음 특성을 제거하는, 차량 사고 방지 장치일 수 있다.
본 발명의 일실시예는, 상기 프로세서가, 상기 음원의 부가정보로서, 상기 객체의 위치, 상기 객체와 상기 차량의 거리, 상기 차량을 기준으로 상기 객체가 위치하는 방향 및 상기 객체의 주행속도 중 적어도 하나의 정보를 획득하는, 차량 사고 방지 장치일 수 있다.
본 발명의 일실시예는, 상기 프로세서가, 상기 객체가 발생하는 음원의 종류, 상기 음원의 부가정보 및 상기 차량의 주행속도에 기초하여, 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출하고, 상기 산출된 충돌가능성이 설정된 확률 이상일 경우, 상기 사고 위험이 존재하는 것으로 판단하는, 차량 사고 방지 장치일 수 있다.
본 발명의 일실시예는, 상기 프로세서가, 상기 객체와 상기 차량의 거리, 상기 차량을 기준으로 상기 객체가 위치하는 방향 및 상기 객체의 주행속도 중 적어도 하나의 정보를 포함하는 상기 음원의 부가정보에 기초한 제1 위험도 등급, 상기 음원의 종류에 기초한 제2 위험도 등급 및 상기 차량의 주행속도에 기초한 제3 위험도 등급을 결정하고, 상기 결정된 제1, 2 및 3 위험도 등급에, 위험도 등급에 따른 위험 수치를 할당하며, 상기 할당된 위험 수치를 합산하여 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출하는, 차량 사고 방지 장치일 수 있다.
본 발명의 일실시예는, 상기 프로세서가, 상기 사고 위험이 존재하는 것으로 판단함에 기초하여, 상기 차량의 차선, 속도, 방향 및 경로 중 적어도 하나의 항목을 변경하도록 상기 차량을 제어하거나, 또는 상기 항목을 변경하도록 하는 안내 정보를 상기 차량 내 컴포넌트(component)를 통해 제공하는, 차량 사고 방지 장치일 수 있다.
본 발명의 일실시예는, 음원을 이용하여 차량의 사고를 방지하는 방법으로서, 차량을 중심으로 설정된 거리 내 주변 소리를 상기 차량에 설치된 제1 마이크로부터 수신하는 단계와, 상기 주변 소리로부터 객체가 발생하는 음원의 종류를 예측하고, 상기 예측된 음원의 종류 및 상기 음원의 부가정보에 기초하여 상기 차량과 상기 객체 간의 사고 위험을 판단하는 단계와, 상기 사고 위험이 존재하는 것으로 판단함에 기초하여, 상기 차량이 상기 객체를 회피하도록 차량의 주행을 제어하는 단계를 포함하는, 차량 사고 방지 방법일 수 있다.
본 발명의 일실시예는, 상기 차량과 상기 객체 간의 사고 위험을 판단하는 단계가, 상기 주변 소리에 음원 예측 알고리즘을 적용하여, 상기 주변 소리로부터 상기 음원의 종류를 예측하는 단계를 포함하고, 상기 음원 예측 알고리즘이, 음향 데이터로부터 상기 음향 데이터의 패턴 및 데시벨에 기초하여, 상기 음향 데이터에 대한 음원의 종류를 예측하도록 미리 훈련된 신경망 모델인, 차량 사고 방지 방법일 수 있다.
본 발명의 일실시예는, 상기 차량이, 외부에 음향 센서 및 상기 제1 마이크가 설치되고, 상기 제1 마이크가, 상기 음향 센서를 통해 설정된 소리 이외의 이상 소리가 감지되는 경우 활성화되도록 구성되며, 상기 주변 소리를 상기 차량에 설치된 제1 마이크로부터 수신하는 단계가, 상기 활성화된 제1 마이크에 의해 획득된 상기 주변 소리를 수신하는 단계를 포함하는, 차량 사고 방지 방법일 수 있다.
본 발명의 일실시예는, 상기 설정된 거리 내에 존재하는 RSU 장치 내 제2 마이크에 의해 획득한 주변 소리를 수신하는 단계와, 상기 차량에 설치된 상기 제1 마이크의 위치, 상기 RSU 장치 내 제2 마이크의 위치 및 제1 및 제2 마이크에서 각각 획득한 주변 소리 내 상기 음원의 데시벨에 기초하여, 상기 음원을 발생하는 상기 객체의 위치를 결정하는 단계를 더 포함하는, 차량 사고 방지 방법일 수 있다.
본 발명의 일실시예는, 상기 차량과 상기 객체 간의 사고 위험을 판단하는 단계가, 상기 예측된 음원의 종류에 대한 기준 음향 데이터에 기초하여 상기 주변 소리로부터 배경 잡음을 제거하는 단계와, 상기 주변 소리에서 상기 배경 잡음이 제거된 음향 데이터에 기초하여, 상기 음원의 부가정보를 획득하는 단계를 포함하는, 차량 사고 방지 방법일 수 있다.
본 발명의 일실시예는, 상기 주변 소리로부터 배경 잡음을 제거하는 단계가, 내비게이션 정보에 기초하여 상기 차량의 위치를 확인하고, 설정된 지역별 소음 특성으로부터 상기 차량의 위치가 포함된 지역에 대응하는 소음 특성을 검출하는 단계와, 상기 주변 소리로부터 상기 배경 잡음으로서, 상기 검출된 소음 특성을 제거하는 단계를 포함하는, 차량 사고 방지 방법일 수 있다.
본 발명의 일실시예는, 상기 음원의 부가정보가, 상기 객체의 위치, 상기 객체와 상기 차량의 거리, 상기 차량을 기준으로 상기 객체가 위치하는 방향 및 상기 객체의 주행속도 중 적어도 하나의 정보를 포함하는, 차량 사고 방지 방법일 수 있다.
본 발명의 일실시예는, 상기 차량과 상기 객체 간의 사고 위험을 판단하는 단계가, 상기 객체가 발생하는 음원의 종류, 상기 음원의 부가정보 및 상기 차량의 주행속도에 기초하여, 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출하는 단계와, 상기 산출된 충돌가능성이 설정된 확률 이상일 경우, 상기 사고 위험이 존재하는 것으로 판단하는 단계를 포함하는, 차량 사고 방지 방법일 수 있다.
본 발명의 일실시예는, 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출하는 단계가, 상기 객체와 상기 차량의 거리, 상기 차량을 기준으로 상기 객체가 위치하는 방향 및 상기 객체의 주행속도 중 적어도 하나의 정보를 포함하는 상기 음원의 부가정보에 기초한 제1 위험도 등급, 상기 음원의 종류에 기초한 제2 위험도 등급 및 상기 차량의 주행속도에 기초한 제3 위험도 등급을 결정하는 단계와, 상기 결정된 제1, 2 및 3 위험도 등급에, 위험도 등급에 따른 위험 수치를 할당하고, 상기 할당된 위험 수치를 합산하여 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출하는 단계를 포함하는, 차량 사고 방지 방법일 수 있다.
본 발명의 일실시예는, 상기 차량의 주행을 제어하는 단계가, 상기 사고 위험이 존재하는 것으로 판단함에 기초하여, 상기 차량의 차선, 속도, 방향 및 경로 중 적어도 하나의 항목을 변경하도록 상기 차량을 제어하거나, 또는 상기 항목을 변경하도록 하는 안내 정보를 상기 차량 내 컴포넌트를 통해 제공하는 단계를 포함하는, 차량 사고 방지 방법일 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 의하면, 차량에 설치된 카메라 외에, 차량에 설치된 마이크로부터 수신되는 주변 소리를 이용하여, 차량의 주변에 위치하는 객체의 상태를 확인하고, 차량과 객체 간의 사고 위험이 존재하는 것으로 판단하면, 차량이 객체를 회피하도록 차량의 주행을 제어하여, 사고가 발생하지 않게 한다.
본 발명에 따르면, 차량에 설치된 마이크로부터 수신되는 주변 소리 내 음원의 종류 및 상기 음원의 부가정보에 기초하여, 차량의 주변에 위치하는 객체의 상태를 확인 함으로써, 차량에 설치된 카메라의 화각 제한으로 인해 확인할 수 없었던 영역 내 객체의 상태까지 확인할 수 있다.
본 발명에 의하면, 차량에 설치된 저전력의 음향 센서에서 설정된 소리 이외의 이상 소리가 감지되는 경우, 차량에 설치된 마이크를 활성화하여 주변 소리를 획득하도록 함으로써, 마이크를 항상 활성화시킬 때보다 전력 소모를 감소시킬 수 있다.
또한, 본 발명에 따르면, 차량의 주변 소리에, 음원 예측 알고리즘(즉, 음향 데이터로부터 상기 음향 데이터의 패턴 및 데시벨에 기초하여, 상기 음향 데이터에 대한 음원의 종류를 예측하도록 미리 훈련된 신경망 모델)을 적용하여, 상기 주변 소리로부터 음원의 종류를 신속하고 정확하게 예측할 수 있다.
도 1은 본 발명의 실시예에 따른 차량 사고 방지 장치가 적용되는 차량, RSU 장치, AI 서버 및 이들을 서로 연결하는 네트워크를 포함하는 AI 시스템의 일례를 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량 사고 방지 장치가 적용되는 시스템을 도시한 블록도이다.
도 3은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 차량 사고 방지 장치의 구성을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 수집한 음향 데이터를 이용하여, 음원 예측 알고리즘을 생성하는 일례를 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 차량의 주변 소리로부터 객체가 발생하는 음원의 종류를 예측하고, 음원의 부가정보를 획득하는 일례를 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 주변 소리를 감지하는 일례를 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 음원을 발생하는 객체의 위치를 결정하는 일례를 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 차량과 객체 간의 충돌가능성을 산출하는 일례를 설명하기 위한 도면이다.
도 10은 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 차량을 기준으로 객체가 위치하는 방향을 설명하기 위한 도면이다.
도 11은 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 사고 위험에 관련하여, 차량을 제어하는 일례를 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 사고 위험에 관련하여, 차량을 제어하는 다른 일례를 설명하기 위한 도면이다.
도 13은 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 사고 위험에 관련하여, 차량을 제어하는 또 다른 일례를 설명하기 위한 도면이다.
도 14는 본 발명의 일실시예에 따른 차량 사고 방지 방법을 나타내는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
도 1은 본 발명의 실시예에 따른 차량 사고 방지 장치가 적용되는 차량, RSU 장치, AI 서버 및 이들을 서로 연결하는 네트워크를 포함하는 AI 시스템의 일례를 도시한 도면이다.
도 1을 참조하면, AI(Artificial Intelligence) 시스템(100)은 차량(101), RSU(Road Side Unit) 장치(102), AI 서버(103) 및 네트워크(104)를 포함할 수 있다.
차량(101)은 예컨대, 외부에 하나 이상의 음향 센서 및 마이크를 포함할 수 있고, 내부에 인공 지능에 기반한 본 발명의 차량 사고 방지 장치를 포함할 수 있다. 여기서, 차량 사고 방지 장치는 차량(101) 내 음향 센서 및 마이크를 통해 주변 소리가 획득되면, 상기 주변 소리를 이용하여 차량과 차량 주변의 객체와의 사고 위험을 판단하고, 상기 사고 위험이 존재하는 것으로 판단하면, 차량(101)의 주행을 변경하여 차량(101)이 상기 객체를 회피할 수 있게 한다.
이때, 차량 사고 방지 장치는 상기 주변 소리에 음원 예측 알고리즘을 적용하여, 상기 주변 소리로부터 객체가 발생하는 음원의 종류를 예측할 수 있으며, 상기 예측된 음원의 종류 및 상기 음원의 부가정보에 기초하여 상기 차량과 상기 객체 간의 사고 위험을 판단할 수 있다. 여기서, 차량 사고 방지 장치는 음향 데이터로부터 상기 음향 데이터의 패턴 및 데시벨에 기초하여, 상기 음향 데이터에 대한 음원의 종류를 예측하도록 신경망 모델을 훈련시켜, 상기 음원 예측 알고리즘을 생성할 수 있으나, 이에 한정되지 않고, AI 서버(103)로부터 상기 신경망 모델을 수신할 수도 있다.
RSU 장치(102)는 예컨대, 도로 주변에 설치되는 노변장치(예컨대, 신호등)로서, 마이크를 포함할 수 있다.
AI 서버(103)는 차량 사고 방지 장치로부터 음원 예측 알고리즘을 요청받으면, 음향 데이터로부터 상기 음향 데이터의 패턴 및 데시벨에 기초하여, 상기 음향 데이터에 대한 음원의 종류를 예측하도록 신경망 모델을 훈련시키고, 상기 훈련된 신경망 모델을 차량 사고 방지 장치에 제공할 수 있다. 여기서, AI 서버(103)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있다. 이때, AI 서버(103)는 차량(101)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
네트워크(104)는 차량(101), RSU 장치(102) 및 AI 서버(103)를 연결할 수 있다. 이러한 네트워크(104)는 예컨대, LANs(local area networks), WANs(Wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 또한 네트워크(104)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi(Wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.
네트워크(104)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(104)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(104)로의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(104)는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망, 3G, 4G, LTE(Long Term Evolution), 5G 통신 등을 지원할 수 있다.
도 2는 본 발명의 실시예에 따른 차량 사고 방지 장치가 적용되는 시스템을 도시한 블록도이다.
도 2를 참조하면, 차량 사고 방지 장치가 적용되는 시스템(200)은 차량(101)에 포함될 수 있으며, 통신부(201), 제어부(202), 사용자 인터페이스부(203), 오브젝트 검출부(204), 운전 조작부(205), 차량 구동부(206), 운행부(207), 센싱부(208), 저장부(209) 및 차량 사고 방지 장치(210)를 포함할 수 있다.
실시예에 따라 차량 사고 방지 장치가 적용되는 시스템은, 도 2에 도시되고 이하 설명되는 구성 요소 외에 다른 구성요소를 포함하거나, 도 2에 도시되고 이하 설명되는 구성요소 중 일부를 포함하지 않을 수 있다.
차량(101)은 주행 상황에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다. 여기서, 주행 상황은 통신부(201)에 의해 수신된 정보, 오브젝트 검출부(204)에 의해 검출된 외부 오브젝트 정보 및 내비게이션 모듈에 의해 획득된 내비게이션 정보 중 적어도 어느 하나에 의해 판단될 수 있다.
차량(101)은 사용자 인터페이스부(203)를 통하여 수신되는 사용자 입력에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다.
차량(101)이 자율 주행 모드로 운행되는 경우, 차량(101)은 주행, 출차, 주차 동작을 제어하는 운행부(207)의 제어에 따라 운행될 수 있다. 한편, 차량(101)이 매뉴얼 모드로 운행되는 경우, 차량(101)은 운전자의 기계적 운전 조작을 통한 입력에 의해 운행될 수 있다.
통신부(201)는, 외부 장치와 통신을 수행하기 위한 모듈이다. 여기서, 외부 장치는, 사용자 단말기, 타 차량 또는 서버일 수 있다.
통신부(201)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신부(201)는, 근거리 통신(Short range communication), GPS 신호 수신, V2X 통신, 광통신, 방송 송수신 및 ITS(Intelligent Transport Systems) 통신 기능을 수행할 수 있다.
실시예에 따라, 통신부(201)는, 설명되는 기능 외에 다른 기능을 더 지원하거나, 설명되는 기능 중 일부를 지원하지 않을 수 있다.
통신부(201)는, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
통신부(201)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(101)과 적어도 하나의 외부 장치 사이의 근거리 통신을 수행할 수 있다.
통신부(201)는, 차량(101)의 위치 정보를 획득하기 위한 GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
통신부(201)는, 차량(101)과 서버(V2I: Vehicle to Infra), 타 차량(V2V: Vehicle to Vehicle) 또는 보행자(V2P: Vehicle to Pedestrian)와의 무선 통신을 지원하는 모듈, 즉, V2X 통신 모듈을 포함할 수 있다. V2X 통신 모듈은, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
통신부(201)는, V2X 통신 모듈을 통하여, 타 차량이 송신하는 위험 정보 방송 신호를 수신할 수 있고, 위험 정보 질의 신호를 송신하고 그에 대한 응답으로 위험 정보 응답 신호를 수신할 수 있다.
통신부(201)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 광통신 모듈을 포함할 수 있다. 광통신 모듈은, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신 모듈 및 수신된 광 신호를 전기 신호로 전환하는 광수신 모듈을 포함할 수 있다.
실시예에 따라, 광발신 모듈은, 차량(101)에 포함된 램프와 일체화되게 형성될 수 있다.
통신부(201)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 방송 통신 모듈을 포함할 수 있다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
통신부(201)는, 교통 시스템과 정보, 데이터 또는 신호를 교환하는 ITS 통신 모듈을 포함할 수 있다. ITS 통신 모듈은, 교통 시스템에 획득한 정보, 데이터를 제공할 수 있다. ITS 통신 모듈은, 교통 시스템으로부터, 정보, 데이터 또는 신호를 제공받을 수 있다. 예를 들면, ITS 통신 모듈은, 교통 시스템으로부터 도로 교통 정보를 수신하여, 제어부(202)에 제공할 수 있다. 예를 들면, ITS 통신 모듈은, 교통 시스템으로부터 제어 신호를 수신하여 제어부(202) 또는 차량(101) 내부에 구비된 프로세서에 제공할 수 있다.
실시예에 따라, 통신부(201)의 각 모듈은 통신부(201) 내에 구비된 별도의 프로세서에 의해 전반적인 동작이 제어될 수 있다. 통신부(201)는, 복수개의 프로세서를 포함하거나, 프로세서를 포함하지 않을 수도 있다. 통신부(201)에 프로세서가 포함되지 않는 경우, 통신부(201)는, 차량(101) 내 다른 장치의 프로세서 또는 제어부(202)의 제어에 따라, 동작될 수 있다.
통신부(201)는, 사용자 인터페이스부(203)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이 경우, 차량용 디스플레이 장치는, 텔레매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
도 3은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸 도면이다.
통신부(201)는, 차량(101)이 자율 주행 모드로 운행되는 경우, 특정 정보를 5G 네트워크로 전송할 수 있다(S1).
이 때, 특정 정보는 자율 주행 관련 정보를 포함할 수 있다.
자율 주행 관련 정보는, 차량의 주행 제어와 직접적으로 관련된 정보일 수 있다. 예를 들어, 자율 주행 관련 정보는 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 하나 이상을 포함할 수 있다.
자율 주행 관련 정보는 자율 주행에 필요한 서비스 정보 등을 더 포함할 수 있다. 예를 들어, 특정 정보는, 사용자 인터페이스부(203)를 통해 입력된 목적지와 차량의 안정 등급에 관한 정보를 포함할 수 있다.
또한, 5G 네트워크는 차량의 원격 제어 여부를 결정할 수 있다(S2).
여기서, 5G 네트워크는 자율 주행 관련 원격 제어를 수행하는 서버 또는 모듈을 포함할 수 있다.
또한, 5G 네트워크는 원격 제어와 관련된 정보(또는 신호)를 자율 주행 차량으로 전송할 수 있다(S3).
전술한 바와 같이, 원격 제어와 관련된 정보는 자율 주행 차량에 직접적으로 적용되는 신호일 수도 있고, 나아가 자율 주행에 필요한 서비스 정보를 더 포함할 수 있다. 본 발명의 일 실시예에서 자율 주행 차량은, 5G 네트워크에 연결된 서버를 통해 주행 경로 상에서 선택된 구간별 보험과 위험 구간 정보 등의 서비스 정보를 수신함으로써, 자율 주행과 관련된 서비스를 제공할 수 있다.
차량(101)은 통신망을 통해 외부 서버에 연결되고, 자율 주행 기술을 이용하여 운전자 개입 없이 미리 설정된 경로를 따라 이동 가능하다.
이하의 실시예에서, 사용자는 운전자, 탑승자 또는 사용자 단말기의 소유자로 해석될 수 있다.
차량(101)이 자율 주행 모드로 주행 중인 경우에, 주변 위험 요소들을 실시간 센싱하는 능력에 따라 사고 발생 유형 및 빈도가 크게 달라질 수 있다. 목적지까지의 경로는 날씨, 지형 특성, 교통 혼잡도 등 다양한 원인에 의해 위험 수준이 서로 다른 구간들을 포함할 수 있다.
본 발명의 자율 주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Inteligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.
예를 들어, 차량(101)은 자율 주행 중에 차량(101)에 포함된 적어도 하나의 인공지능 모듈, 로봇과 연계되어 동작할 수 있다.
예를 들어, 차량(101)은, 적어도 하나의 로봇(robot)과 상호 작용할 수 있다. 로봇은, 자력으로 주행이 가능한 이동 로봇(Autonomous Mobile Robot, AMR)일 수 있다. 이동 로봇은, 스스로 이동이 가능하여 이동이 자유롭고, 주행 중 장애물 등을 피하기 위한 다수의 센서가 구비되어 장애물을 피해 주행할 수 있다. 이동 로봇은, 비행 장치를 구비하는 비행형 로봇(예를 들면, 드론)일 수 있다. 이동 로봇은, 적어도 하나의 바퀴를 구비하고, 바퀴의 회전을 통해 이동되는 바퀴형 로봇일 수 있다. 이동 로봇은, 적어도 하나의 다리를 구비하고, 다리를 이용해 이동되는 다리식 로봇일 수 있다.
로봇은 차량 사용자의 편의를 보완하는 장치로 기능할 수 있다. 예를 들면, 로봇은, 차량(101)에 적재된 짐을 사용자의 최종 목적지까지 이동하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량(101)에서 하차한 사용자에게 최종 목적지까지 길을 안내하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량(101)에서 하차한 사용자를 최종 목적지까지 수송하는 기능을 수행할 수 있다.
차량(101)에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 로봇과 통신을 수행할 수 있다.
차량(101)에 포함되는 적어도 하나의 전자 장치는, 로봇에 차량에 포함되는 적어도 하나의 전자 장치에서 처리한 데이터를 제공할 수 있다. 예를 들면, 차량(101)에 포함되는 적어도 하나의 전자 장치는, 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, HD 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 적어도 어느 하나를 로봇에 제공할 수 있다.
차량(101)에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터, 로봇에서 처리된 데이터를 수신할 수 있다. 차량(101)에 포함되는 적어도 하나의 전자 장치는, 로봇에서 생성된 센싱 데이터, 오브젝트 데이터, 로봇 상태 데이터, 로봇 위치 데이터 및 로봇의 이동 플랜 데이터 중 적어도 어느 하나를 수신할 수 있다.
차량(101)에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터 수신된 데이터에 더 기초하여, 제어 신호를 생성할 수 있다. 예를 들면, 차량에 포함되는 적어도 하나의 전자 장치는, 오브젝트 검출 장치에 생성된 오브젝트에 대한 정보와 로봇에 의해 생성된 오브젝트에 대한 정보를 비교하고, 비교 결과에 기초하여, 제어 신호를 생성할 수 있다. 차량(101)에 포함되는 적어도 하나의 전자 장치는, 차량의 이동 경로와 로봇의 이동 경로간의 간섭이 발생되지 않도록, 제어 신호를 생성할 수 있다.
차량(101)에 포함되는 적어도 하나의 전자 장치는, 인공 지능(artificial intelligence, AI)을 구현하는 소프트웨어 모듈 또는 하드웨어 모듈(이하, 인공 지능 모듈)을 포함할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 획득되는 데이터를 인공 지능 모듈에 입력(input)하고, 인공 지능 모듈에서 출력(output)되는 데이터를 이용할 수 있다.
인공 지능 모듈은, 적어도 하나의 인공 신경망(artificial neural network, ANN)을 이용하여, 입력되는 데이터에 대한 기계 학습(machine learning)을 수행할 수 있다. 인공 지능 모듈은, 입력되는 데이터에 대한 기계 학습을 통해, 드라이빙 플랜 데이터를 출력할 수 있다.
차량(101)에 포함되는 적어도 하나의 전자 장치는, 인공 지능 모듈에서 출력되는 데이터에 기초하여, 제어 신호를 생성할 수 있다.
실시예에 따라, 차량(101)에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 외부 장치로부터, 인공 지능에 의해 처리된 데이터를 수신할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능에 의해 처리된 데이터에 기초하여, 제어 신호를 생성할 수 있다.
인공 지능(artificial intelligence, AI)은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다.
또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
제어부(202)는, ASICs (Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서(Processors), 제어기(Controllers), 마이크로 컨트롤러(Micro-controllers), 마이크로 프로세서(Microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
사용자 인터페이스부(203)는, 차량(101)과 차량 이용자와의 소통을 위한 것으로, 이용자의 입력 신호를 수신하고, 수신된 입력 신호를 제어부(202)로 전달하며, 제어부(202)의 제어에 의해 이용자에게 차량(101)이 보유하는 정보를 제공할 수 있다. 사용자 인터페이스부(203)는, 입력 모듈, 내부 카메라, 생체 감지 모듈 및 출력 모듈을 포함할 수 있으나 이에 한정되지 않는다.
입력 모듈은, 사용자로부터 정보를 입력 받기 위한 것으로, 입력 모듈에서 수집한 데이터는, 제어부(202)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력 모듈은, 사용자로부터 차량(101)의 목적지를 입력받아 제어부(202)로 제공할 수 있다.
입력 모듈은, 사용자의 입력에 따라 오브젝트 검출부(204)의 복수개의 센서 모듈 중 적어도 하나의 센서 모듈을 지정하여 비활성화하는 신호를 제어부(202)로 입력할 수 있다.
입력 모듈은, 차량 내부에 배치될 수 있다. 예를 들면, 입력 모듈은, 스티어링 휠(Steering wheel)의 일 영역, 인스투루먼트 패널(Instrument panel)의 일 영역, 시트(Seat)의 일 영역, 각 필러(Pillar)의 일 영역, 도어(Door)의 일 영역, 센타 콘솔(Center console)의 일 영역, 헤드 라이닝(Head lining)의 일 영역, 썬바이저(Sun visor)의 일 영역, 윈드 쉴드(Windshield)의 일 영역 또는 윈도우(Window)의 일 영역 등에 배치될 수 있다.
출력 모듈은, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력 모듈은, 음향 또는 이미지를 출력할 수 있다.
출력 모듈은, 디스플레이 모듈, 음향 출력 모듈 및 햅틱 출력 모듈 중 적어도 어느 하나를 포함할 수 있다.
디스플레이 모듈은, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.
디스플레이 모듈은 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉서블 디스플레이(Flexible display), 삼차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이 모듈은 터치 입력 모듈과 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이 모듈은 HUD(Head Up Display)로 구현될 수 있다. 디스플레이 모듈이 HUD로 구현되는 경우, 디스플레이 모듈은 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이 모듈은, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
사용자 인터페이스부(203)는, 복수개의 디스플레이 모듈을 포함할 수 있다.
디스플레이 모듈은, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역, 시트의 일 영역, 각 필러의 일 영역, 도어의 일 영역, 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬 바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역, 윈도우의 일영역에 구현될 수 있다.
음향 출력 모듈은, 제어부(202)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 음향 출력 모듈은, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력 모듈은, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력 모듈은, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
오브젝트 검출부(204)는, 차량(101) 외부에 위치하는 오브젝트를 검출하기 위한 것으로, 센싱 데이터에 기초하여 오브젝트 정보를 생성하고, 생성된 오브젝트 정보를 제어부(202)로 전달할 수 있다. 이때, 오브젝트는 차량(101)의 운행과 관련된 다양한 물체, 예를 들면, 차선, 타 차량, 보행자, 이륜차, 교통 신호, 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
오브젝트 검출부(204)는, 복수개의 센서 모듈로서, 복수개의 촬상부로서의 카메라 모듈, 라이다(LIDAR: Light Imaging Detection and Ranging), 초음파 센서, 레이다(RADAR: Radio Detection and Ranging)(1450) 및 적외선 센서를 포함할 수 있다.
오브젝트 검출부(204)는, 복수개의 센서 모듈을 통하여 차량(101) 주변의 환경 정보를 센싱할 수 있다.
실시예에 따라, 오브젝트 검출부(204)는, 설명되는 구성 요소 외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
레이다는, 전자파 송신 모듈, 수신 모듈을 포함할 수 있다. 레이다는 전파 발사 원리상 펄스 레이다(Pulse Radar) 방식 또는 연속파 레이다(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이다는 연속파 레이다 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이다는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다는, 레이저 송신 모듈, 수신 모듈을 포함할 수 있다. 라이다는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다는, 모터에 의해 회전되며, 차량(101) 주변의 오브젝트를 검출할 수 있고, 비구동식으로 구현되는 경우, 라이다는, 광 스티어링에 의해, 차량(101)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(101)은 복수개의 비구동식 라이다를 포함할 수 있다.
라이다는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
촬상부는, 차량 외부 이미지를 획득하기 위해, 차량의 외부의 적절한 곳, 예를 들면, 차량의 전방, 후방, 우측 사이드 미러, 좌측 사이드 미러에 위치할 수 있다. 촬상부는, 모노 카메라일 수 있으나, 이에 한정되지 않으며, 스테레오 카메라, AVM(Around View Monitoring) 카메라 또는 360도 카메라일 수 있다.
촬상부는, 차량 전방의 이미지를 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 촬상부는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
촬상부는, 차량 후방의 이미지를 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 촬상부는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
촬상부는, 차량 측방의 이미지를 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또한, 촬상부는 휀더 또는 도어 주변에 배치될 수 있다.
촬상부는, 획득된 이미지를 제어부(202)에 제공할 수 있다.
초음파 센서는, 초음파 송신 모듈, 수신 모듈을 포함할 수 있다. 초음파 센서는, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서는, 적외선 송신 모듈, 수신 모듈을 포함할 수 있다. 적외선 센서는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
제어부(202)는, 오브젝트 검출부(204)의 각 모듈의 전반적인 동작을 제어할 수 있다.
제어부(202)는, 레이다, 라이다, 초음파 센서 및 적외선 센서에 의해 센싱된 데이터와 기 저장된 데이터를 비교하여, 오브젝트를 검출하거나 분류할 수 있다.
제어부(202)는, 획득된 이미지에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 제어부(202)는, 이미지 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
예를 들면, 제어부(202)는, 획득된 이미지에서, 시간에 따른 오브젝트 크기의 변화를 기초로, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
예를 들면, 제어부(202)는, 핀홀(pin hole) 모델, 노면 프로파일링 등을 통해, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
제어부(202)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 제어부(202)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
제어부(202)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 제어부(202)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
제어부(202)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 제어부(202)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
제어부(202)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 제어부(202)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출부(204)는, 제어부(202)와 별도의 프로세서를 내부에 포함할 수 있다. 또한, 레이다, 라이다, 초음파 센서 및 적외선 센서 각각 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출부(204)에 프로세서가 포함된 경우, 오브젝트 검출부(204)는, 제어부(202)의 제어를 받는 프로세서의 제어에 따라, 동작될 수 있다.
운전 조작부(205)는, 운전을 위한 사용자 입력을 수신할 수 있다. 메뉴얼 모드인 경우, 차량(101)은, 운전 조작부(205)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
차량 구동부(206)는, 차량(101)내 각종 장치의 구동을 전기적으로 제어할 수 있다. 차량 구동부(206)는, 차량(101)내 파워 트레인, 샤시, 도어/윈도우, 안전 장치, 램프 및 공조기의 구동을 전기적으로 제어할 수 있다.
운행부(207)는, 차량(101)의 각종 운행을 제어할 수 있다. 운행부(207)는, 자율 주행 모드에서 동작될 수 있다.
운행부(207)는, 주행 모듈, 출차 모듈 및 주차 모듈을 포함할 수 있다.
실시예에 따라, 운행부(207)는, 설명되는 구성 요소 외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
운행부(207)는, 제어부(202)의 제어를 받는 프로세서를 포함할 수 있다. 운행부(207)의 각 모듈은, 각각 개별적으로 프로세서를 포함할 수 있다.
실시예에 따라, 운행부(207)가 소프트웨어적으로 구현되는 경우, 제어부(202)의 하위 개념일 수도 있다.
주행 모듈은, 차량(101)의 주행을 수행할 수 있다.
주행 모듈은, 오브젝트 검출부(204)로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(101)의 주행을 수행할 수 있다.
주행 모듈은, 통신부(201)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(101)의 주행을 수행할 수 있다.
출차 모듈은, 차량(101)의 출차를 수행할 수 있다.
출차 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(101)의 출차를 수행할 수 있다.
출차 모듈은, 오브젝트 검출부(204)로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(101)의 출차를 수행할 수 있다.
출차 모듈은, 통신부(201)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(101)의 출차를 수행할 수 있다.
주차 모듈은, 차량(101)의 주차를 수행할 수 있다.
주차 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(101)의 주차를 수행할 수 있다.
주차 모듈은, 오브젝트 검출부(204)로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(101)의 주차를 수행할 수 있다.
주차 모듈은, 통신부(201)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(101)의 주차를 수행할 수 있다.
내비게이션 모듈은, 제어부(202)에 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 모듈은, 차량(101)이 진입한 주차장의 주차장 지도를 제어부(202)에 제공할 수 있다. 제어부(202)는, 차량(101)이 주차장에 진입한 경우, 내비게이션 모듈로부터 주차장 지도를 제공받고, 산출된 이동 경로 및 고정 식별 정보를 제공된 주차장 지도에 투영하여 지도 데이터를 생성할 수 있다.
내비게이션 모듈은, 메모리를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 내비게이션 정보는 통신부(201)를 통해 수신된 정보에 의하여 갱신될 수 있다. 내비게이션 모듈은, 내장 프로세서에 의해 제어될 수도 있고, 외부 신호, 예를 들면, 제어부(202)로부터 제어 신호를 입력 받아 동작할 수 있으나 이에 한정되지 않는다.
운행부(207)의 주행 모듈은, 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(101)의 주행을 수행할 수 있다.
센싱부(208)는, 차량(101)에 장착된 센서를 이용하여 차량(101)의 상태를 센싱, 즉, 차량(101)의 상태에 관한 신호를 감지하고, 감지된 신호에 따라 차량(101)의 이동 경로 정보를 획득할 수 있다. 센싱부(208)는, 획득된 이동 경로 정보를 제어부(202)에 제공할 수 있다.
센싱부(208)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(208)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(208)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
센싱부(208)는, 센싱 데이터를 기초로, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다.
차량 상태 정보는, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다.
저장부(209)는, 제어부(202)와 전기적으로 연결된다. 저장부(209)는 차량 사고 방지 장치 각 부에 대한 기본 데이터, 차량 사고 방지 장치 각 부의 동작 제어를 위한 제어 데이터, 입출력되는 데이터를 저장할 수 있다. 저장부(209)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 저장부(209)는 제어부(202)의 처리 또는 제어를 위한 프로그램 등, 차량(101) 전반의 동작을 위한 다양한 데이터, 특히, 운전자 성향 정보를 저장할 수 있다. 이때, 저장부(209)는, 제어부(202)와 일체형으로 형성되거나, 제어부(202)의 하위 구성 요소로 구현될 수 있다.
차량 사고 방지 장치(210)는 차량(101) 내 음향 센서 및 마이크를 통해 주변 소리가 획득되면, 상기 주변 소리를 이용하여 차량의 주변에 위치하는 객체의 상태(예컨대, 객체의 종류, 객체의 위치, 객체의 속도 등)를 확인하고, 확인된 객체의 상태에 기초하여 차량과 객체 간의 사고 위험이 존재하는 것으로 판단하면, 차량(101)의 주행을 변경하여 차량(101)이 상기 객체를 회피할 수 있게 한다. 이러한 차량 사고 방지 장치(210)는 인터페이스, 프로세서 및 메모리를 포함할 수 있으며, 이후 도 4를 참조하여 상세하게 설명하도록 한다. 여기서, 인터페이스는 통신부(201)에 포함될 수 있고, 프로세서는 제어부(202)에 포함될 수 있으며, 메모리는 저장부(209)에 포함될 수 있다.
도 4는 본 발명의 일실시예에 따른 차량 사고 방지 장치의 구성을 도시한 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 차량 사고 방지 장치(400)는 음원을 이용하여 차량의 사고를 방지하는 장치로서, 인터페이스(401), 프로세서(402) 및 메모리(403)를 포함할 수 있다.
인터페이스(401)는 차량을 중심으로 설정된 거리 내 주변 소리를 상기 차량에 설치된 제1 마이크로부터 수신할 수 있다. 이때, 인터페이스(401)는 상기 주변 소리를 설정된 주기 마다 수신할 수 있다. 한편, 차량은 외부에 하나 이상의 음향 센서 및 제1 마이크(예컨대, 1개의 음향 센서 및 4개의 마이크)가 설치될 수 있다. 여기서, 제1 마이크는 상기 음향 센서를 통해 설정된 소리 이외의 이상 소리가 감지되는 경우, 활성화되도록 구성될 수 있다.
즉, 인터페이스(401)는 차량의 음향 센서에서의 이상 소리 감지로 인해 상기 차량의 제1 마이크가 활성화되면, 상기 활성화된 제1 마이크에서 획득한 주변 소리를 수신할 수 있다.
또한, 인터페이스(401)는 차량을 중심으로 설정된 거리 내에 존재하는 RSU 장치 내 제2 마이크에 의해 획득한 주변 소리를 상기 제2 마이크로부터 더 수신할 수 있다.
한편, 인터페이스(401)는 차량을 중심으로 설정된 거리 내 주변 영상을 상기 차량의 외부에 설치된 카메라로부터 수신할 수도 있다.
프로세서(402)는 ⅰ)학습 단계에서, 인터페이스(401)를 통해 수집된 음향 데이터로부터 상기 음향 데이터의 패턴 및 데시벨에 기초하여, 상기 음향 데이터에 대한 음원의 종류(예컨대, 바이크, 앰뷸런스, 경적, 차량 제조사별 특정 배기음 등)를 예측(또는, 데시벨을 더 예측)하도록 신경망 모델(음원 예측 알고리즘)을 훈련하여 메모리(403)에 저장할 수 있다. 또한, 프로세서(402)는 상기 음향 데이터의 패턴 및 데시벨, 차량의 위치에 기초하여, 지역별(또는 시간별) 소음 특성을 획득하고, 획득된 소음 특성을 메모리(403)에 저장할 수 있다. 한편, 프로세서(402)는 상기 수집된 음향 데이터 또는 지역별(시간별) 소음 특성을 AI 서버에 제공할 수도 있다. 여기서, AI 서버는 상기 차량 및 타 차량으로부터 획득한 음향 데이터 또는 지역별(시간별) 소음 특성을 이용하여, 보다 정확한 음원 예측 알고리즘 또는 지역별(또는 시간별) 소음 특성을 생성할 수 있으며, 차량으로부터 음원 예측 알고리즘 또는 지역별(또는 시간별) 소음 특성에 대한 요청이 수신되면, 상기 요청에 대한 응답으로서, 상기 생성된 음원 예측 알고리즘 또는 지역별(또는 시간별) 소음 특성을 상기 차량에 제공할 수 있다.
이후, 프로세서(402)는 ⅱ)추론 단계에서, 인터페이스(401)를 통해, 차량을 중심으로 설정된 거리 내 주변 소리가 획득되면, 상기 주변 소리를 이용하여, 차량의 주변에 위치하는 객체의 상태(예컨대, 객체의 종류, 객체의 위치, 객체의 속도 등)를 확인하고, 확인된 객체의 상태에 기초하여 차량과 객체 간의 사고 위험이 존재하는 것으로 판단하면, 차량의 주행을 제어할 수 있다.
구체적으로, 프로세서(402)는 상기 주변 소리로부터 객체가 발생하는 음원의 종류(예컨대, 바이크, 앰뷸런스, 경적 등)를 예측할 수 있다. 이때, 프로세서(402)는 상기 음원의 데시벨을 더 예측할 수 있다. 프로세서(402)는 상기 예측된 음원의 종류(또는, 음원의 데시벨) 및 상기 음원의 부가정보에 기초하여 상기 차량과 상기 객체 간의 사고 위험을 판단하며, 상기 사고 위험이 존재하는 것으로 판단함에 기초하여, 상기 차량이 상기 객체를 회피하도록 차량의 주행을 제어할 수 있다. 이때, 프로세서(402)는 상기 음원의 부가정보로서, 상기 객체의 위치, 상기 객체와 상기 차량의 거리, 상기 차량을 기준으로 상기 객체가 위치하는 방향(또는, 객체가 위치하는 방향의 인식 정보) 및 상기 객체의 주행속도 중 적어도 하나의 정보를 포함할 수 있다.
상기 음원의 종류 예측시, 프로세서(402)는 상기 주변 소리에 메모리(403) 내 음원 예측 알고리즘을 적용하여, 상기 주변 소리로부터 상기 음원의 종류를 예측할 수 있다. 여기서, 상기 음원 예측 알고리즘은 음향 데이터로부터 상기 음향 데이터의 패턴 및 데시벨에 기초하여, 상기 음향 데이터에 대한 음원의 종류를 예측하도록 미리 훈련된 신경망 모델이다.
프로세서(402)는 인터페이스(401)를 통해, 상기 차량을 중심으로 설정된 거리 내에 존재하는 RSU 장치 내 제2 마이크에 의해 획득한 주변 소리를 더 수신한 경우, 상기 차량의 외부에 설치된 제1 마이크의 위치, 상기 RSU 내 제2 마이크의 위치 및 제1 및 제2 마이크에서 각각 획득한 주변 소리 내 상기 음원의 데시벨에 기초하여, 상기 음원을 발생하는 상기 객체의 위치를 결정할 수 있다. 이때, 프로세서(402)는 제1 마이크와 제2 마이크 간의 위치 차이(거리) 및 제1 및 제2 마이크에서 각각 획득한 주변 소리 내 상기 음원의 데시벨 간의 차이에 기초하여, 상기 음원을 발생하는 상기 객체의 위치를 결정할 수 있다.
반면, 프로세서(402)는 상기 차량을 중심으로 설정된 거리 내에 RSU 장치가 위치하지 않거나, 또는 RSU 장치 내에 마이크가 포함되지 않음에 따라, 상기 RSU 장치로부터 주변 소리를 수신하지 못한 경우, 차량의 외부에 설치된 복수의 마이크의 위치 및 상기 복수의 마이크에서 획득한 주변 소리 내 음원의 데시벨에 기초하여, 상기 음원을 발생하는 상기 객체의 위치를 결정할 수 있다.
한편, 프로세서(402)는 상기 주변 소리로부터 상기 음원의 종류가 예측되면, 메모리(403)내 음원의 종류별 기준 음향 데이터를 참조하여, 상기 예측된 음원의 종류에 대한 기준 음향 데이터를 확인할 수 있다. 프로세서(402)는 상기 확인된 기준 음향 데이터에 기초하여 상기 주변 소리로부터 배경 잡음을 제거하며, 상기 주변 소리에서 상기 배경 잡음이 제거된 음향 데이터에 기초하여, 상기 음원의 부가정보를 획득(예컨대, 배경 잡음이 제거된 음향 데이터를 분석하여(또는, 음향 데이터에 기초하여) 음원의 부가정보를 획득함)할 수 있다. 상기 음원의 종류별 기준 음향 데이터는 AI 서버로부터 수신되어, 메모리(403)에 저장될 수 있다.
이때, 프로세서(402)는 내비게이션 정보에 기초하여 상기 차량의 위치를 확인하고, 메모리(403) 내 설정된 지역별 소음 특성(예컨대, 공사장 소리, 지하철 소리 등)으로부터 상기 차량의 위치가 포함된 지역에 대응하는 소음 특성을 검출하며, 상기 주변 소리로부터 상기 배경 잡음으로서, 상기 검출된 소음 특성을 제거할 수 있다.
상기 차량과 상기 객체 간의 사고 위험 판단을 위해, 프로세서(402)는 먼저, 상기 객체가 발생하는 음원의 종류 및 상기 음원의 부가정보와 함께, 상기 차량의 주행속도에 기초하여, 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출하고, 상기 산출된 충돌가능성이 설정된 확률 이상일 경우, 상기 사고 위험이 존재하는 것으로 판단할 수 있다.
상기 충돌가능성 산출시, 프로세서(402)는 상기 객체와 상기 차량의 거리, 상기 차량을 기준으로 상기 객체가 위치하는 방향(또한, 객체가 위치하는 방향의 인식 정보) 및 상기 객체의 주행속도 중 적어도 하나의 정보를 포함하는 상기 음원의 부가정보에 기초한 제1 위험도 등급, 상기 음원의 종류에 기초한 제2 위험도 등급 및 상기 차량의 주행속도에 기초한 제3 위험도 등급을 결정할 수 있다. 프로세서(402)는 상기 결정된 제1, 2 및 3 위험도 등급에, 위험도 등급에 따른 위험 수치를 할당하고, 상기 할당된 위험 수치를 합산하여 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출할 수 있다.
결과적으로, 프로세서(402)는 상기 사고 위험이 존재하는 것으로 판단함에 기초하여, 상기 차량의 차선, 속도, 방향 및 경로 중 적어도 하나의 항목을 변경하도록 차량을 제어하거나, 또는 상기 항목을 변경하도록 하는 안내 정보를 상기 차량 내 컴포넌트(component)(예컨대, 디스플레이, 스피커 등)를 통해 제공할 수 있다.
다른 일례로서, 프로세서(402)는 산출된 충돌가능성에 따라, 상이하게 액션을 취할 수 있다. 프로세서(402)는 예컨대, 산출된 충돌가능성이 제1 설정 확률(예컨대, 70%) 이상일 경우, 상기 차량의 차선, 속도, 방향 및 경로 중 적어도 하나의 항목을 변경하도록 상기 차량을 제어하고, 상기 충돌가능성이 제1 설정 확률 미만이고, 제2 설정 확률(제1 설정 확률 보다 낮음)(예컨대, 30%) 이상일 경우, 상기 차량의 차선, 속도, 방향 및 경로 중 적어도 하나의 항목을 변경하도록 하는 안내 정보를 상기 차량 내 컴포넌트를 통해 제공할 수 있다. 또한, 프로세서(402)는 제2 설정 확률 미만일 경우, 상기 컴포넌트를 통해 사고 위험 가능성에 대한 안전운행 메시지만을 제공할 수 있다.
한편, 프로세서(402)는 인터페이스(401)를 통해, 카메라에 의해 생성된 주변 영상이 수신된 경우, 차량 사고 방지를 위한 모든 과정에서 주변 소리와 함께, 주변 영상을 이용할 수 있다. 예컨대, 프로세서(402)는 주변 소리 내 음원을 발생시키는 객체(또는, 객체의 위치)를 인식하기 어려운 경우, 상기 주변 영상에 기초하여, 객체(또는, 객체의 위치)를 인식할 수 있으며, 차량과 상기 객체 간의 사고 위험 판단 시에도, 주변 영상을 이용할 수 있다.
메모리(403)는 음향 데이터로부터 상기 음향 데이터의 패턴 및 데시벨에 기초하여, 상기 음향 데이터에 대한 음원의 종류를 예측하도록 미리 훈련된 신경망 모델인 음원 예측 알고리즘을 저장될 수 있다. 또한, 메모리(403)는 지역별(또는 시간별) 소음 특성 및 음원의 종류별 기준 음향 데이터, 주변 영상 중 적어도 하나의 정보를 더 저장할 수 있다.
메모리(403)는 프로세서(402)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(403)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(403)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.
도 5는 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 수집한 음향 데이터를 이용하여, 음원 예측 알고리즘을 생성하는 일례를 설명하기 위한 도면이다.
도 5를 참조하면, 차량 내 차량 사고 방지 장치는 실시간 또는 주기적으로, 차량에 설치된 마이크 및 RSU 장치 내 마이크 중 적어도 하나에 의해 획득한 음향 데이터를 수집할 수 있다. 차량 사고 방지 장치는 입력값인 음향 데이터와 출력값인 음원의 종류를 데이터 세트로 이루고, 상기 데이터 세트를 이용하여 신경망 모델을 훈련시킴으로써, 음원 예측 알고리즘을 생성할 수 있다.
예컨대, 차량 사고 방지 장치는 제1 음향 데이터(501)와 스포츠카 배기음을 제1 데이터 세트를 이루고, 제2 음향 데이터(502)과 사일렌(또는, 긴급차량, 원근 및 방향)을 제2 데이터 세트로 이룰 수 있다. 또한, 차량 사고 방지 장치는 제3 음향 데이터(503)와 낙상(돌이 떨어지는 소리, 도로 공사 소음)을 제3 데이터 세트를 이루고, 제4 음향 데이터(504)와 이륜차를 제4 데이터 세트로 이룰 수 있다. 차량 사고 방지 장치는 제1 내지 제4 데이터 세트를 이용하여 신경망 모델(505)을 훈련시킴으로써, 음원 예측 알고리즘을 생성할 수 있다.
도 6은 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 차량의 주변 소리로부터 객체가 발생하는 음원의 종류를 예측하고, 음원의 부가정보를 획득하는 일례를 설명하기 위한 도면이다.
도 6을 참조하면, 차량 내 차량 사고 방지 장치는 차량을 중심으로 설정된 거리 내 주변 소리(601)를 수신하면, 주변 소리(601)에 음원 예측 알고리즘(602)을 적용하여, 주변 소리(601)로부터 객체가 발생하는 음원의 종류(603)를 예측할 수 있다. 이때, 음원의 종류(603)가 '앰블런스 1'일 경우, 차량 사고 방지 장치는 '앰블런스 1'에 대한 기준 음향 데이터(604)(예컨대, 교사 데이터)에 기초하여 주변 소리(601)로부터 배경 잡음(605)(예컨대, 노면, 항공, 육성 등을 포함하는 단순 소음)을 제거하고, 주변 소리(601)에서 배경 잡음(605)이 제거된 음향 데이터에 기초하여, 상기 음원의 부가정보를 획득할 수 있다. 여기서, 음원의 부가정보는 예컨대, 객체와 상기 차량의 거리, 상기 차량의 이동방향을 기준으로 상기 객체가 위치하는 방향 및 상기 객체의 주행속도 중 적어도 하나의 정보를 포함할 수 있다.
한편, 상기 기준 음향 데이터는 음원의 종류(603) 별로 차량 사고 방지 장치 내 메모리에 미리 저장될 수 있다.
도 7은 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 주변 소리를 감지하는 일례를 설명하기 위한 도면이다.
도 7을 참조하면, 차량 사고 방지 장치를 포함하는 차량(701)은 예컨대, 전방, 후방, 측방 각각에 음향 센서 및 마이크가 설치될 수 있다.
상기 차량 사고 방지 장치는 상기 음향 센서에서 설정된 소리 이외의 이상 소리가 감지됨에 따라, 상기 마이크가 활성화되면, 상기 활성화된 마이크에서 획득한 주변 소리를 상기 마이크로부터 수신할 수 있다.
여기서, 설정된 소리는 예컨대, 일반적인 주차, 주행, 정차 등에 관한 소리일 수 있고, 상기 이상 소리는 상기 설정된 소리 이외의 모든 소리일 수 있다. 예를 들어, 이상 소리는 일반적인 주차, 주행, 정차 상황에서 발생하는 소리 이외에 경적 소리, 충격음, 파열음, 일정 데시벨 이상의 소리로서 차량에 가까워지는 소리 등의 다양한 비일상적 소리일 수 있다.
차량 사고 방지 장치는 상기 주변 소리가 수신되면, 상기 주변 소리에 음원 예측 알고리즘을 적용하여, 상기 주변 소리로부터 상기 음원의 종류를 예측할 수 있다. 차량 사고 방지 장치는 예컨대, 상기 음원의 종류로서, 지그재그로 운행하는 오토바이, 앰블런스의 사이렌, 제1 차량에서의 굉음, 제2 차량에서의 물체 낙상 등을 예측할 수 있다.
또한, 차량 사고 방지 장치는 음원의 부가정보로서, 오토바이, 앰블런스, 제1 승용차 및 제2 승용차을 포함하는 인접 차량의 각 위치, 인접 차량과 차량(701)의 거리, 차량(701)을 기준으로 인접 차량이 위치하는 방향(또는, 객체가 위치하는 방향의 인식 정보) 및 상기 인접 차량의 주행속도 중 적어도 하나의 정보를 포함할 수 있다.
이때, 차량 사고 방지 장치는 차량(701)을 중심으로 설정된 거리 내에 RSU 장치가 존재하지 않는 경우, 차량의 전방, 후방, 측방 각각에 설치된 마이크의 위치 및 마이크에서 각각 획득한 주변 소리 내 상기 음원의 데시벨에 기초하여, 상기 음원을 발생하는 객체의 위치를 결정할 수 있다. 여기서, 차량 사고 방지 장치는 예컨대, 차량(701)는 제1 내지 제4 마이크(702 내지 705)의 각 위치, 제1 내지 제4 마이크(702 내지 705)에서 각각 획득한 주변 소리 내 음원의 데시벨에 기초하여, 상기 음원을 발생하는 객체(예컨대, 오토바이, 앰블런스, 제1 승용차 및 제2 승용차을 포함하는 인접 차량)의 위치를 결정할 수 있다. 이때, 차량 사고 방지 장치는 제1 내지 제4 마이크(702 내지 705) 간 위치 차이, 제1 내지 제4 마이크(702 내지 705)에서 각각 획득한 주변 소리 내 상기 음원의 데시벨 간의 차이에 기초하여, 상기 음원을 발생하는 객체의 위치를 결정할 수 있다.
도 8은 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 음원을 발생하는 객체의 위치를 결정하는 일례를 설명하기 위한 도면이다.
도 8을 참조하면, 차량 내 차량 사고 방지 장치는 상기 차량에 설치된 제1 마이크에 의해 획득한 주변 소리, 상기 차량을 중심으로 설정된 거리 내에 존재하는 RSU 장치 내 제2 마이크에 의해 획득한 주변 소리 및 상기 제1 및 제2 마이크의 위치에 기초하여, 상기 차량의 주변 소리 내 음원을 발생하는 객체의 위치를 결정할 수 있다. 이때, 차량 내 차량 사고 방지 장치는 제1 및 제2 마이크에서 각각 획득한 주변 소리 내 상기 음원의 데시벨에 더 기초하여, 상기 객체의 위치를 결정할 수 있다.
예컨대, 차량 내 차량 사고 방지 장치는 차량을 중심으로 설정된 거리 내에 제1 내지 제4 RSU 장치가 존재하는 경우, 차량에 설치된 제1 마이크(801)의 위치 및 제1 내지 제4 RSU 장치 각각에 존재하는 제2 마이크_#1(802), 제2 마이크_#2(803), 제2 마이크_#3(804), 제2 마이크_#4(805)의 각 위치에 기초하여, 상기 차량의 주변 소리 내 음원을 발생하는 객체의 위치를 결정할 수 있다. 이때, 차량 사고 방지 장치는 제1 마이크(801)와 제2 마이크_#1(802)의 중심, 제1 마이크(801)와 제2 마이크_#2(803)의 중심, 제1 마이크(801)와 제2 마이크_#3(804)의 중심, 제1 마이크(801)와 제2 마이크_#4(805)의 중심을 연결하여, 상기 객체의 위치를 포함할 것으로 추정되는 그리드(grid) 영역(806)을 생성할 수 있다. 이후, 차량 사고 방지 장치는 제1 마이크(801), 제2 마이크_#1(802), 제2 마이크_#2(803), 제2 마이크_#3(804), 제2 마이크_#4(805) 각각에 의해 획득한 주변 소리 내 음원의 데시벨 간 차이에 기초하여, 상기 객체의 위치(806)를 결정할 수 있다.
도 9는 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 차량과 객체 간의 충돌가능성을 산출하는 일례를 설명하기 위한 도면이다.
도 9를 참조하면, 차량 내 차량 사고 방지 장치는 차량의 주변에서 객체가 발생하는 음원의 종류, 상기 음원의 부가정보 및 상기 차량의 주행속도에 기초하여, 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출할 수 있다.
이때, 차량 사고 방지 장치는 객체와 차량의 거리(901), 차량을 기준으로 객체가 위치하는 방향의 인식 정보(902) 및 객체의 주행속도(903)를 포함하는 상기 음원의 부가정보에 기초한 제1 위험도 등급, 음원의 종류(904)에 기초한 제2 위험도 등급 및 차량의 주행속도(905)에 기초한 제3 위험도 등급을 결정할 수 있다.
여기서, 차량 사고 방지 장치는 객체와 차량의 거리(901)를 산출하기 위해 먼저, [수학식 1]의 과정을 수행하여, 음원으로부터 D1m 거리 만큼 떨어진 위치에서의 소리 크기가 S1dB일 때, D2m 거리 만큼 떨어진 위치에서의 소리 크기 S2dB를 산출할 수 있다.
Figure pat00001
여기서, I는 소리의 강도이고, LI 소리의 강도에 대한 레벨이며, I0는 기준소리의 강도이다. 또한, Np는 neper를 의미하고, B는 bel을 의미하며, dB는 decibel을 의미한다.
한편, 1 Np = 1, 1 B = 1/2ln(10), 1 dB = 1/201n(10) 이다.
I2 = I1/(D2/D1)^2 → I2/I1 = 1/(D2/D1)^2 = (D1/D2)^2
즉, S1 = 10*log(I1/I0) dB, S2 = 10*log(I2/I0) dB 이다.
S2-S1 = 10*(log(I2/I0)-log(I1/I0)) = 10log(I2/I1)
S2 = S1+20*log(D1/D2) dB
이후, 차량 사고 방지 장치는 [수학식 1]의 결과에 기초하여, [수학식 2]를 수행 함으로써, 객체와 차량의 거리(901)(D2)를 산출할 수 있다.
Figure pat00002
즉, 차량 사고 방지 장치는 기준 데이터로서, 음원으로부터 떨어진 거리인 1) D1m, 상기 D1m 만큼 떨어진 위치에서의 소리 크기인 2) S1dB와 차량 내 마이크로부터 수신된 주변 소리 내 음원의 소리 크기 S2dB를 이용하여, 객체와 차량의 거리(901)(D2)를 산출할 수 있다.
또한, 차량을 기준으로 객체가 위치하는 방향의 인식 정보(902)을 결정하는 방법에 대해, 도 10을 참조하여 설명하기로 한다.
상기 제1 위험도 등급 결정시, 차량 사고 방지 장치는 객체와 차량의 거리(901), 차량을 기준으로 객체가 위치하는 방향의 인식 정보(902) 및 객체의 주행속도(903)에 대해, 각각 설정된 기준에 기초하여 각각 등급을 부여하고, 각각 부여된 등급에 대응하는 등급 수치를 합산하여 상기 제1 위험도 등급을 결정할 수 있다. 이때, 상기 부여된 등급이 높을수록 등급에 대응하는 등급 수치 또한 증가하여, 결과적으로 제1 위험도 등급이 증가할 수 있다.
또한, 차량 사고 방지 장치는 음원의 종류(904) 및 차량의 주행속도(905)에 대해, 각각 설정된 기준에 기초하여 등급을 부여할 수 있으며, 상기 부여된 등급이 높을수록 등급에 대응하는 등급 수치 또한 증가하여, 결과적으로 제1 위험도 등급과 마찬가지로, 제2, 3 위험도 등급이 증가할 수 있다.
이후, 차량 사고 방지 장치는 상기 결정된 제1, 2 및 3 위험도 등급에, 위험도 등급에 따른 위험 수치를 할당하고, 상기 할당된 위험 수치를 합산하여 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출할 수 있다.
다른 일례로서, 차량 사고 방지 장치는 [수학식 3]을 이용하여, 충돌가능성(
Figure pat00003
)을 산출할 수 있다.
Figure pat00004
여기서, LV(dB)은 음원의 데시벨(dB)에 관한 등급 수치를 의미하고, LV(DA)는 음원의 종류(DA)에 관한 등급 수치이다. 또한, LV(SP)는 차량의 주행속도(SP)에 관한 등급 수치이고, LV(PE)는 객체와 차량의 거리(PE)에 대한 등급 수치이다. 또한, x는 예컨대, 차량의 제조사, 또는 사용자가 정하는 가중치일 수 있다.
이후, 차량 사고 방지 장치는 상기 산출된 충돌가능성이 설정된 확률 이상일 경우, 상기 차량과 상기 객체 간의 사고 위험이 존재하는 것으로 판단하고, 상기 차량이 상기 객체를 회피하도록 차량의 주행을 제어할 수 있다. 이때, 차량 사고 방지 장치는 예컨대, [수학식 4]를 수행하여, 차량의 방향(각도)(S angle)를 제어할 수 있다.
Figure pat00005
여기서, Γ는 차량의 속도에 따른 음원 측정에 대한 지연시간으로서, 음원이 발생된 시점에서 마이크에서 측정한 측정시점을 차감한 시간이고, d는 차량의 속도에 따른 음원 측정에 대한 지연거리로서, 음원이 발생된 위치와 음원을 측정하는 위치의 차이에 대한 거리이다. φ는 차량을 기준으로 음원의 위치(또는, 각도)이고, c는 음속이다. 또한, 2a는 마이크 사이 거리를 의미하고, TC는 시간(T)과 음속(C)을 곱한 수치를 의미한다.
도 10은 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 차량을 기준으로 객체가 위치하는 방향을 설명하기 위한 도면이다.
도 10을 참조하면, 차량 내 차량 사고 방지 장치는 차량에 설치된 제1 마이크의 위치, RSU 장치 내 제2 마이크의 위치 및 제1 및 제2 마이크에서 각각 획득한 주변 소리 내 음원의 데시벨에 기초하여, 상기 음원을 발생하는 객체의 위치를 결정할 수 있다.
이때, 차량 사고 방지 장치는 객체가 예컨대, 객체가 차량을 기준으로 제1 영역(1001), 제2 영역(1002) 또는 제3 영역(1003)에 위치하는 경우, 객체가 전방, 후방, 측방에 위치하는 것으로 정확하게 인식 됨에 따라, 차량을 기준으로 객체가 위치하는 방향의 인식 정보를 '일치'로 결정할 수 있다.
반면, 차량 사고 방지 장치는 객체가 차량을 기준으로 제4 영역(1004) 또는 제5 영역(1005)에 위치하는 경우, 차량을 기준으로 객체가 위치하는 방향의 인식 정보를 '모호'로 결정할 수 있다.
또한, 차량 사고 방지 장치는 객체가 차량을 기준으로 제6 영역(1006)(중앙선 가드 레일을 넘은 영역)에 위치하는 경우, 차량을 기준으로 객체가 위치하는 방향의 인식 정보를 '불일치'로 결정할 수 있다.
도 11은 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 사고 위험에 관련하여, 차량을 제어하는 일례를 설명하기 위한 도면이다.
도 11을 참조하면, 차량(1101) 내 차량 사고 방지 장치는 차량(1101)에 설치된 제1 마이크(또는, RSU 장치 내 제2 마이크)에 의해 획득한 주변 소리부터 객체가 발생하는 음원의 종류를 예측하고, 상기 예측된 음원의 종류 및 상기 음원의 부가정보에 기초하여 차량(1101)과 상기 객체 간의 사고 위험을 판단하며, 상기 사고 위험이 존재하는 것으로 판단하면, 차량(1101)이 객체를 회피하도록 차량의 주행을 제어할 수 있다.
차량 사고 방지 장치는 예컨대, 제1 객체(1102)에 대한 음원의 종류 및 음원의 부가정보로서, 우회전의 자가용으로, 시속 5km 내외로 서행하고 있음(위험없음)에 대한 정보를 획득할 수 있다. 차량 사고 방지 장치는 제2 객체(1103)에 대한 음원의 종류 및 음원의 부가정보로서, 바이크가 교차로로부터 10m 전방에, 좌회전 방향 위치로 접근하고 있으며, 60㎞의 속도를 유지하고 있음에 대한 정보를 획득할 수 있다.
또한, 차량 사고 방지 장치는 제3 객체(1104)에 대한 음원의 종류 및 음원의 부가정보로서, 앰블런스가 교차로로부터 30m 전방에 있으며, 직진 또는 좌회전 가능성이 있고, 80㎞의 속도를 유지하고 있음에 대한 정보를 획득할 수 있다.
차량 사고 방지 장치는 제1 내지 제3 객체(1102, 1103, 1104)에 대한 음원의 종류 및 음원의 부가정보에 기초하여, 70%이상의 충돌가능성을 산출할 수 있으며, 충돌가능성이 설정된 확률(예컨대, 20%)를 이상이므로, 20㎞ 이상 가속하거나 또는 30㎞ 이하로 감속하도록 차량의 주행을 제어 함으로써, 충돌가능성을 10%으로 감소시킬 수 있다.
도 12는 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 사고 위험에 관련하여, 차량을 제어하는 다른 일례를 설명하기 위한 도면이다.
도 12를 참조하면, 차량(1201) 내 차량 사고 방지 장치는 차량(1201)에 설치된 제1 마이크(또는, RSU 장치 내 제2 마이크)에 의해 획득한 주변 소리부터 객체가 발생하는 음원의 종류를 예측하고, 상기 예측된 음원의 종류 및 상기 음원의 부가정보에 기초하여 차량(1201)과 상기 객체 간의 사고 위험을 판단하며, 상기 사고 위험이 존재하는 것으로 판단하면, 차량(1201)이 객체를 회피하도록 차량의 주행을 제어할 수 있다.
차량 사고 방지 장치는 예컨대, 제1 객체(1202)에 대한 음원의 종류 및 음원의 부가정보로서, 헬기 소리의 진행방향에 대한 정보를 획득할 수 있다. 차량 사고 방지 장치는 제2 객체(1203)에 대한 음원의 종류 및 음원의 부가정보로서, 굴삭기 구동 소리 및 굴삭기의 위치에 대한 정보를 획득할 수 있다.
또한, 차량 사고 방지 장치는 제3 객체(1204)에 대한 음원의 종류 및 음원의 부가정보로서, 인도 내 스피커에서 출력하는 음원 또는 사람의 음성에 대한 정보를 획득할 수 있다.
차량 사고 방지 장치는 제1 내지 제3 객체(1202, 1203, 1204)에 대한 음원의 종류 및 음원의 부가정보에 기초하여, 차량과 객체 간의 충돌가능성을 산출하되, 차량과의 충돌가능성이 없는 제1 객체(1202) 및 제3 객체(1204)를 무시하고, 제2 객체(1203)에 대한 음원의 종류 및 음원의 부가정보에 기초하여, 40%이상의 충돌가능성을 산출할 수 있으며, 충돌가능성이 설정된 확률(예컨대, 20%)를 이상이므로, 우회전 하도록 차량의 주행을 제어 함으로써, 충돌가능성을 10%으로 감소시킬 수 있다.
도 13은 본 발명의 일실시예에 따른 차량 사고 방지 장치에서 사고 위험에 관련하여, 차량을 제어하는 또 다른 일례를 설명하기 위한 도면이다.
도 13을 참조하면, 차량(1301) 내 차량 사고 방지 장치는 차량(1301)에 설치된 제1 마이크(또는, RSU 장치 내 제2 마이크)에 의해 획득한 주변 소리부터 객체가 발생하는 음원의 종류를 예측하고, 상기 예측된 음원의 종류 및 상기 음원의 부가정보에 기초하여 차량(1301)과 상기 객체 간의 사고 위험을 판단하며, 상기 사고 위험이 존재하는 것으로 판단하면, 차량(1301)의 주행을 제어하여 차량(1301)이 상기 객체를 회피하도록 한다.
차량 사고 방지 장치는 예컨대, 제1 객체(1302)에 대한 음원의 종류 및 음원의 부가정보로서, 우회전의 자가용으로, 시속 5km 내외로 서행하고 있음(위험없음)에 대한 정보를 획득할 수 있다. 차량 사고 방지 장치는 제2 객체(1303)에 대한 음원의 종류 및 음원의 부가정보로서, 소방차가 80km 로 차량(1301)의 후방에서 주행하고 있음에 대한 정보를 획득할 수 있다.
또한, 차량 사고 방지 장치는 제3 객체(1304)에 대한 음원의 종류 및 음원의 부가정보로서, 차량이 교차로에서 200m 전방에 있음에 대한 정보를 획득할 수 있다.
차량 사고 방지 장치는 제1 내지 제3 객체(1302, 1303, 1304)에 대한 음원의 종류 및 음원의 부가정보에 기초하여, 80%이상의 충돌가능성을 산출할 수 있으며, 차량(1301)을 기준으로 후방 직선 거리에서 긴급차량(소방차)가 주행하고 있음에 따라, 차선 변경하도록 차량의 주행을 제어 함으로써, 충돌가능성을 10%으로 감소시킬 수 있다.
도 14는 본 발명의 일실시예에 따른 차량 사고 방지 방법을 나타내는 흐름도이다. 여기서, 차량 사고 방지 방법을 구현하는 차량 사고 방지 장치는 음원 예측 알고리즘을 생성하여 메모리에 저장할 수 있다.
상기 음원 예측 알고리즘은, 음향 데이터로부터 상기 음향 데이터의 패턴 및 데시벨에 기초하여, 상기 음향 데이터에 대한 음원의 종류를 예측하도록 미리 훈련된 신경망 모델일 수 있다.
도 14를 참조하면, 단계 S1401에서, 차량 사고 방지 장치는 차량 내부에 포함될 수 있으며, 상기 차량을 중심으로 설정된 거리 내 주변 소리를 상기 차량에 설치된 제1 마이크로부터 수신할 수 있다. 여기서, 차량은 외부에 음향 센서 및 상기 제1 마이크가 설치되고, 상기 제1 마이크는 상기 음향 센서를 통해 설정된 소리 이외의 이상 소리가 감지되는 경우 활성화되도록 구성될 수 있다. 이때, 차량 사고 방지 장치는 상기 활성화된 제1 마이크에 의해 획득된 상기 주변 소리를 수신할 수 있다.
또한, 차량 사고 방지 장치는 차량을 중심으로 설정된 거리 내에 존재하는 RSU 장치 내 제2 마이크에 의해 획득한 주변 소리를 상기 제2 마이크로부터 더 수신할 수 있다.
단계 S1402에서, 차량 사고 방지 장치는 상기 주변 소리로부터 객체가 발생하는 음원의 종류를 예측하고, 상기 예측된 음원의 종류 및 상기 음원의 부가정보에 기초하여 상기 차량과 상기 객체 간의 사고 위험을 판단할 수 있다. 이때, 차량 사고 방지 장치는 상기 주변 소리에 음원 예측 알고리즘을 적용하여, 상기 주변 소리로부터 상기 음원의 종류를 예측할 수 있다. 여기서, 상기 음원의 부가정보는 상기 객체의 위치, 상기 객체와 상기 차량의 거리, 상기 차량의 이동방향을 기준으로 상기 객체가 위치하는 방향(또는, 객체가 위치하는 방향의 인식 정보) 및 상기 객체의 주행속도 중 적어도 하나의 정보를 포함할 수 있다.
또한, 차량 사고 방지 장치는 상기 차량을 중심으로 설정된 거리 내에 존재하는 RSU 장치 내 제2 마이크에 의해 획득한 주변 소리를 더 수신한 경우, 상기 차량에 설치된 상기 제1 마이크의 위치, 상기 RSU 장치 내 제2 마이크의 위치 및 제1 및 제2 마이크에서 각각 획득한 주변 소리 내 상기 음원의 데시벨에 기초하여, 상기 음원을 발생하는 상기 객체의 위치를 결정할 수 있다.
반면, 차량 사고 방지 장치는 상기 차량을 중심으로 설정된 거리 내에 RSU 장치가 위치하지 않거나, 또는 RSU 장치 내에 마이크가 포함되지 않음에 따라, 상기 RSU 장치로부터 주변 소리를 수신하지 못한 경우, 차량의 외부에 설치된 복수의 마이크의 위치 및 상기 복수의 마이크에서 획득한 주변 소리 내 음원의 데시벨에 기초하여, 상기 음원을 발생하는 상기 객체의 위치를 결정할 수 있다.
한편, 차량 사고 방지 장치는 상기 주변 소리로부터 상기 음원의 종류가 예측되면, 상기 예측된 음원의 종류에 대한 기준 음향 데이터에 기초하여 상기 주변 소리로부터 배경 잡음을 제거하고, 상기 주변 소리에서 상기 배경 잡음이 제거된 음향 데이터에 기초하여, 상기 음원의 부가정보를 획득할 수 있다. 이때, 차량 사고 방지 장치는 내비게이션 정보에 기초하여 상기 차량의 위치를 확인하고, 설정된 지역별 소음 특성으로부터 상기 차량의 위치가 포함된 지역에 대응하는 소음 특성을 검출한 후, 상기 주변 소리로부터 상기 배경 잡음으로서, 상기 검출된 소음 특성을 제거할 수 있다.
상기 차량과 상기 객체 간의 사고 위험 판단시, 차량 사고 방지 장치는 먼저, 상기 객체가 발생하는 음원의 종류 및 상기 음원의 부가정보와 함께, 상기 차량의 주행속도에 기초하여, 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출하고, 상기 산출된 충돌가능성이 설정된 확률 이상일 경우, 상기 사고 위험이 존재하는 것으로 판단할 수 있다.
상기 충돌가능성 산출시, 차량 사고 방지 장치는 상기 객체와 상기 차량의 거리, 상기 차량을 기준으로 상기 객체가 위치하는 방향 및 상기 객체의 주행속도 중 적어도 하나의 정보를 포함하는 상기 음원의 부가정보에 기초한 제1 위험도 등급, 상기 음원의 종류에 기초한 제2 위험도 등급 및 상기 차량의 주행속도에 기초한 제3 위험도 등급을 결정할 수 있다. 차량 사고 방지 장치는 상기 결정된 제1, 2 및 3 위험도 등급에, 위험도 등급에 따른 위험 수치를 할당하고, 상기 할당된 위험 수치를 합산하여 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출할 수 있다.
단계 S1403에서, 차량 사고 방지 장치는 상기 사고 위험이 존재하는 것으로 판단함에 기초하여, 상기 차량이 상기 객체를 회피하도록 차량의 주행을 제어할 수 있다. 이때, 차량 사고 방지 장치는 상기 사고 위험이 존재하는 것으로 판단함에 기초하여, 상기 차량의 차선, 속도, 방향 및 경로 중 적어도 하나의 항목을 변경하도록 차량을 제어하거나, 또는 상기 항목을 변경하도록 하는 안내 정보를 상기 차량 내 컴포넌트를 통해 제공할 수 있다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: AI 시스템
101: 차량
102: RSU 장치
103: AI 서버
104: 네트워크

Claims (20)

  1. 음원을 이용하여 차량의 사고를 방지하는 장치로서,
    차량을 중심으로 설정된 거리 내 주변 소리를 상기 차량에 설치된 제1 마이크로부터 수신하는 인터페이스; 및
    상기 주변 소리로부터 객체가 발생하는 음원의 종류를 예측하고, 상기 예측된 음원의 종류 및 상기 음원의 부가정보에 기초하여 상기 차량과 상기 객체 간의 사고 위험을 판단하며, 상기 사고 위험이 존재하는 것으로 판단함에 기초하여, 상기 차량이 상기 객체를 회피하도록 차량의 주행을 제어하는 프로세서를 포함하는,
    차량 사고 방지 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 주변 소리에 음원 예측 알고리즘을 적용하여, 상기 주변 소리로부터 상기 음원의 종류를 예측하고,
    상기 음원 예측 알고리즘은,
    음향 데이터로부터 상기 음향 데이터의 패턴 및 데시벨에 기초하여, 상기 음향 데이터에 대한 음원의 종류를 예측하도록 미리 훈련된 신경망 모델인,
    차량 사고 방지 장치.
  3. 제1항에 있어서,
    상기 차량은, 외부에 음향 센서 및 상기 제1 마이크가 설치되고,
    상기 제1 마이크는, 상기 음향 센서를 통해 설정된 소리 이외의 이상 소리가 감지되는 경우 활성화되도록 구성되며,
    상기 인터페이스는, 상기 활성화된 제1 마이크에 의해 획득된 상기 주변 소리를 수신하는,
    차량 사고 방지 장치.
  4. 제1항에 있어서,
    상기 인터페이스는,
    상기 설정된 거리 내에 존재하는 RSU(Road Side Unit) 장치 내 제2 마이크에 의해 획득한 주변 소리를 더 수신하고,
    상기 프로세서는,
    상기 차량에 설치된 상기 제1 마이크의 위치, 상기 RSU 장치 내 제2 마이크의 위치 및 제1 및 제2 마이크에서 각각 획득한 주변 소리 내 상기 음원의 데시벨에 기초하여, 상기 음원을 발생하는 상기 객체의 위치를 결정하는,
    차량 사고 방지 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 예측된 음원의 종류에 대한 기준 음향 데이터에 기초하여 상기 주변 소리로부터 배경 잡음을 제거하며, 상기 주변 소리에서 상기 배경 잡음이 제거된 음향 데이터에 기초하여, 상기 음원의 부가정보를 획득하는,
    차량 사고 방지 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    내비게이션 정보에 기초하여 상기 차량의 위치를 확인하고, 설정된 지역별 소음 특성으로부터 상기 차량의 위치가 포함된 지역에 대응하는 소음 특성을 검출하고, 상기 주변 소리로부터 상기 배경 잡음으로서, 상기 검출된 소음 특성을 제거하는,
    차량 사고 방지 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 음원의 부가정보로서, 상기 객체의 위치, 상기 객체와 상기 차량의 거리, 상기 차량을 기준으로 상기 객체가 위치하는 방향 및 상기 객체의 주행속도 중 적어도 하나의 정보를 획득하는,
    차량 사고 방지 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 객체가 발생하는 음원의 종류, 상기 음원의 부가정보 및 상기 차량의 주행속도에 기초하여, 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출하고, 상기 산출된 충돌가능성이 설정된 확률 이상일 경우, 상기 사고 위험이 존재하는 것으로 판단하는,
    차량 사고 방지 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 객체와 상기 차량의 거리, 상기 차량을 기준으로 상기 객체가 위치하는 방향 및 상기 객체의 주행속도 중 적어도 하나의 정보를 포함하는 상기 음원의 부가정보에 기초한 제1 위험도 등급, 상기 음원의 종류에 기초한 제2 위험도 등급 및 상기 차량의 주행속도에 기초한 제3 위험도 등급을 결정하고,
    상기 결정된 제1, 2 및 3 위험도 등급에, 위험도 등급에 따른 위험 수치를 할당하며, 상기 할당된 위험 수치를 합산하여 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출하는,
    차량 사고 방지 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 사고 위험이 존재하는 것으로 판단함에 기초하여, 상기 차량의 차선, 속도, 방향 및 경로 중 적어도 하나의 항목을 변경하도록 상기 차량을 제어하거나, 또는 상기 항목을 변경하도록 하는 안내 정보를 상기 차량 내 컴포넌트(component)를 통해 제공하는,
    차량 사고 방지 장치.
  11. 음원을 이용하여 차량의 사고를 방지하는 방법으로서,
    차량을 중심으로 설정된 거리 내 주변 소리를 상기 차량에 설치된 제1 마이크로부터 수신하는 단계;
    상기 주변 소리로부터 객체가 발생하는 음원의 종류를 예측하고, 상기 예측된 음원의 종류 및 상기 음원의 부가정보에 기초하여 상기 차량과 상기 객체 간의 사고 위험을 판단하는 단계; 및
    상기 사고 위험이 존재하는 것으로 판단함에 기초하여, 상기 차량이 상기 객체를 회피하도록 차량의 주행을 제어하는 단계를 포함하는,
    차량 사고 방지 방법.
  12. 제11항에 있어서,
    상기 차량과 상기 객체 간의 사고 위험을 판단하는 단계는,
    상기 주변 소리에 음원 예측 알고리즘을 적용하여, 상기 주변 소리로부터 상기 음원의 종류를 예측하는 단계를 포함하고,
    상기 음원 예측 알고리즘은,
    음향 데이터로부터 상기 음향 데이터의 패턴 및 데시벨에 기초하여, 상기 음향 데이터에 대한 음원의 종류를 예측하도록 미리 훈련된 신경망 모델인,
    차량 사고 방지 방법.
  13. 제11항에 있어서,
    상기 차량은, 외부에 음향 센서 및 상기 제1 마이크가 설치되고,
    상기 제1 마이크는, 상기 음향 센서를 통해 설정된 소리 이외의 이상 소리가 감지되는 경우 활성화되도록 구성되며,
    상기 주변 소리를 상기 차량에 설치된 제1 마이크로부터 수신하는 단계는,
    상기 활성화된 제1 마이크에 의해 획득된 상기 주변 소리를 수신하는 단계를 포함하는,
    차량 사고 방지 방법.
  14. 제11항에 있어서,
    상기 차량 사고 방지 방법은,
    상기 설정된 거리 내에 존재하는 RSU 장치 내 제2 마이크에 의해 획득한 주변 소리를 수신하는 단계; 및
    상기 차량에 설치된 상기 제1 마이크의 위치, 상기 RSU 장치 내 제2 마이크의 위치 및 제1 및 제2 마이크에서 각각 획득한 주변 소리 내 상기 음원의 데시벨에 기초하여, 상기 음원을 발생하는 상기 객체의 위치를 결정하는 단계를 더 포함하는,
    차량 사고 방지 방법.
  15. 제11항에 있어서,
    상기 차량과 상기 객체 간의 사고 위험을 판단하는 단계는,
    상기 예측된 음원의 종류에 대한 기준 음향 데이터에 기초하여 상기 주변 소리로부터 배경 잡음을 제거하는 단계; 및
    상기 주변 소리에서 상기 배경 잡음이 제거된 음향 데이터에 기초하여, 상기 음원의 부가정보를 획득하는 단계를 포함하는,
    차량 사고 방지 방법.
  16. 제15항에 있어서,
    상기 주변 소리로부터 배경 잡음을 제거하는 단계는,
    내비게이션 정보에 기초하여 상기 차량의 위치를 확인하고, 설정된 지역별 소음 특성으로부터 상기 차량의 위치가 포함된 지역에 대응하는 소음 특성을 검출하는 단계; 및
    상기 주변 소리로부터 상기 배경 잡음으로서, 상기 검출된 소음 특성을 제거하는 단계를 포함하는,
    차량 사고 방지 방법.
  17. 제11항에 있어서,
    상기 음원의 부가정보는,
    상기 객체의 위치, 상기 객체와 상기 차량의 거리, 상기 차량을 기준으로 상기 객체가 위치하는 방향 및 상기 객체의 주행속도 중 적어도 하나의 정보를 포함하는,
    차량 사고 방지 방법.
  18. 제11항에 있어서,
    상기 차량과 상기 객체 간의 사고 위험을 판단하는 단계는,
    상기 객체가 발생하는 음원의 종류, 상기 음원의 부가정보 및 상기 차량의 주행속도에 기초하여, 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출하는 단계; 및
    상기 산출된 충돌가능성이 설정된 확률 이상일 경우, 상기 사고 위험이 존재하는 것으로 판단하는 단계를 포함하는,
    차량 사고 방지 방법.
  19. 제18항에 있어서,
    상기 차량이 상기 객체와 충돌할 충돌가능성을 산출하는 단계는,
    상기 객체와 상기 차량의 거리, 상기 차량을 기준으로 상기 객체가 위치하는 방향 및 상기 객체의 주행속도 중 적어도 하나의 정보를 포함하는 상기 음원의 부가정보에 기초한 제1 위험도 등급, 상기 음원의 종류에 기초한 제2 위험도 등급 및 상기 차량의 주행속도에 기초한 제3 위험도 등급을 결정하는 단계; 및
    상기 결정된 제1, 2 및 3 위험도 등급에, 위험도 등급에 따른 위험 수치를 할당하고, 상기 할당된 위험 수치를 합산하여 상기 차량이 상기 객체와 충돌할 충돌가능성을 산출하는 단계를 포함하는,
    차량 사고 방지 방법.
  20. 제11항에 있어서,
    상기 차량의 주행을 제어하는 단계는,
    상기 사고 위험이 존재하는 것으로 판단함에 기초하여, 상기 차량의 차선, 속도, 방향 및 경로 중 적어도 하나의 항목을 변경하도록 상기 차량을 제어하거나, 또는 상기 항목을 변경하도록 하는 안내 정보를 상기 차량 내 컴포넌트를 통해 제공하는 단계를 포함하는,
    차량 사고 방지 방법.
KR1020190126184A 2019-10-11 2019-10-11 차량 사고 방지 장치 및 방법 KR20190123248A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190126184A KR20190123248A (ko) 2019-10-11 2019-10-11 차량 사고 방지 장치 및 방법
US16/721,259 US20210107477A1 (en) 2019-10-11 2019-12-19 Apparatus and method for preventing accident of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190126184A KR20190123248A (ko) 2019-10-11 2019-10-11 차량 사고 방지 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20190123248A true KR20190123248A (ko) 2019-10-31

Family

ID=68421146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190126184A KR20190123248A (ko) 2019-10-11 2019-10-11 차량 사고 방지 장치 및 방법

Country Status (2)

Country Link
US (1) US20210107477A1 (ko)
KR (1) KR20190123248A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021153856A1 (ko) * 2020-01-29 2021-08-05 김영언 차량주변 이상 신호 알림 시스템 및 방법
KR102504701B1 (ko) * 2021-10-14 2023-02-27 한국항공대학교산학협력단 블록체인 기반의 드론 군집에 대한 데이터 수집 및 이상 관제 장치 및 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019214445A1 (de) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Verfahren zum Assistieren eines Kraftfahrzeugs
DE102019216056A1 (de) * 2019-10-17 2021-04-22 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verhinderung eines Überschlags nach vorn eines einspurigen Kraftfahrzeugs
JP7447850B2 (ja) * 2021-03-16 2024-03-12 トヨタ自動車株式会社 情報処理装置、方法、及びプログラム
US11943581B2 (en) 2021-09-30 2024-03-26 Google Llc Transparent audio mode for vehicles
GB2611559A (en) * 2021-10-08 2023-04-12 Virtual Vehicle Res Gmbh Method and device to detect traffic hazards based on sound events
CN113749915B (zh) * 2021-10-13 2023-09-01 中国计量大学 一种场景复现的导盲方法与***
CN113963576B (zh) * 2021-10-28 2023-08-08 中汽院智能网联科技有限公司 一种交叉路口车辆碰撞风险预警方法
DE102022210288A1 (de) 2022-09-28 2024-03-28 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Ermittlung eines Regelungszustandes einer Ampel
DE102022214423A1 (de) 2022-12-28 2024-07-04 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Unterstützung eines Fahrers in einem Kraftfahrzeug beim Abbiegen
CN116631221B (zh) * 2023-05-05 2024-01-23 同济大学 一种基于蒙特卡洛模拟的在途车辆运行风险量化计算方法
DE102023113517A1 (de) 2023-05-24 2024-05-02 Audi Aktiengesellschaft Kraftfahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120086577A (ko) 2011-01-26 2012-08-03 현대모비스 주식회사 카메라를 이용한 측면차량 검출 장치 및 방법
KR101752675B1 (ko) 2015-12-31 2017-06-30 (주)이에스브이 카메라를 구비한 차량용 네비게이션

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120086577A (ko) 2011-01-26 2012-08-03 현대모비스 주식회사 카메라를 이용한 측면차량 검출 장치 및 방법
KR101752675B1 (ko) 2015-12-31 2017-06-30 (주)이에스브이 카메라를 구비한 차량용 네비게이션

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021153856A1 (ko) * 2020-01-29 2021-08-05 김영언 차량주변 이상 신호 알림 시스템 및 방법
KR20210097257A (ko) * 2020-01-29 2021-08-09 김영언 차량주변 이상 신호 알림 시스템 및 방법
KR102504701B1 (ko) * 2021-10-14 2023-02-27 한국항공대학교산학협력단 블록체인 기반의 드론 군집에 대한 데이터 수집 및 이상 관제 장치 및 방법

Also Published As

Publication number Publication date
US20210107477A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
KR20190123248A (ko) 차량 사고 방지 장치 및 방법
US10719084B2 (en) Method for platooning of vehicles and vehicle using same
US11409307B2 (en) Apparatus for providing map
KR102039487B1 (ko) 차량 주행 제어 장치 및 방법
KR102060070B1 (ko) 자동주차장치 및 이의 제어방법
KR102026697B1 (ko) 주행 시스템 및 차량
KR102007304B1 (ko) 차량 주행 시스템 및 차량
KR102064223B1 (ko) 차량용 주행 시스템 및 차량
US20200272169A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
KR102049863B1 (ko) 자율주행 차량 및 그 제어 방법
KR102037324B1 (ko) 자율주행 차량 및 그 제어 방법
US20190077402A1 (en) Driving assistance apparatus for vehicle and control method thereof
KR101979269B1 (ko) 자율 주행 차량 및 자율 주행 차량의 동작 방법
KR20210050925A (ko) 차량 충돌 회피 장치 및 방법
KR101911703B1 (ko) 차량용 주행 제어 장치 및 차량
KR20190041253A (ko) 자율주행차량 및 이의 제어방법
US10573177B2 (en) Vehicle controlling technology
CN109507994B (zh) 安装在车辆上的车辆控制装置以及控制该车辆的方法
KR20190033975A (ko) 차량의 운행 시스템을 제어하는 방법
KR20190093797A (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR20190014429A (ko) 자율 주행 시스템 및 차량
KR20190041173A (ko) 자율주행 차량 및 그 제어 방법
KR20190041172A (ko) 자율주행 차량 및 그 제어 방법
US11745761B2 (en) Path providing device and path providing method thereof
KR20190106843A (ko) 다목적 자율주행 차량 제어 장치 및 방법