KR101759144B1 - 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량 - Google Patents

음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량 Download PDF

Info

Publication number
KR101759144B1
KR101759144B1 KR1020160028659A KR20160028659A KR101759144B1 KR 101759144 B1 KR101759144 B1 KR 101759144B1 KR 1020160028659 A KR1020160028659 A KR 1020160028659A KR 20160028659 A KR20160028659 A KR 20160028659A KR 101759144 B1 KR101759144 B1 KR 101759144B1
Authority
KR
South Korea
Prior art keywords
vehicle
sound
distance
opponent
relative speed
Prior art date
Application number
KR1020160028659A
Other languages
English (en)
Inventor
장윤호
김재광
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160028659A priority Critical patent/KR101759144B1/ko
Priority to US15/368,005 priority patent/US9733346B1/en
Application granted granted Critical
Publication of KR101759144B1 publication Critical patent/KR101759144B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8003—Diversity systems specially adapted for direction finding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/28—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves by co-ordinating position lines of different shape, e.g. hyperbolic, circular, elliptical or radial
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 음향 추적 정보 제공 방법은, 자차의 주변에서 발생되는 소리를 감지하여 생성된 음향 데이터를 기초로, 음향 추적 결과를 생성하는 단계; 상기 음향 추적 결과에서 인식되는 상대차량의 각도 값에 따라 상기 상대차량의 상대 속도를 계산하는 단계; 및 상기 상대 속도를 기초로 상기 상대차량에 대한 알림을 생성하는 단계를 포함하며, 상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 목표 음원에 해당하는 객체가 각도 별로 존재할 확률에 대한 정보일 수 있다.

Description

음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량{METHOD FOR PROVIDING SOUND DETECTION INFORMATION, APPARATUS DETECTING SOUND AROUND VEHICLE, AND VEHICLE INCLUDING THE SAME}
본 발명은 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량에 관한 것으로, 더욱 상세하게는 차량 주변에서 주행하는 상대 차량을 정확히 인식해 낼 수 있는 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량에 관한 것이다.
운행 중인 차량 주변에서는 다양한 소리가 발생한다. 그러나, 청각 능력의 손실이 있는 고령자나 청각 방향 감각이 좋지 않은 운전자는, 운전자가 주의해야 할 특정 소리(예컨대, 경적 소리, 싸이렌 소리 등)에 대한 반응이 둔감할 수 있다. 또한, 차량의 차음 기술의 발달로 인해, 차량의 외부에서 발생하는 소음에 대해서 청력이 좋은 사람이라도 차량 외부에서 발생하는 소리를 정확하게 힘든 경우가 많다. 그리고, 후방에서 발생한 특정 소리를 인지한 운전자가 확인하려 뒤돌아 보게 되어, 안전 운행에 위협이 될 수도 있다.
따라서, 운행 중 운전자가 차량 주변에서 발생한 소리가 무엇인지, 어느 방향에서 발생되었는지 여부 등의 특정 소리에 대한 정보를 안전 운행에 방해가 되지 않고 알려줄 필요가 있다. 그러나, 반대편 차선에서 운행 중인 차량에 의해 발생되는 소리에 대한 정보와 같이, 운전자가 관심을 두지 않는 정보에 대한 알림이 발생할 경우, 오히려 안전 운행에 방해가 될 우려가 있으므로 이러한 알림이 발생되지 않도록 하는 기술이 요구된다.
본 발명은 차량 주변에서 운행 중인 상대 차량에 대한 정확한 정보를 제공할 수 있는 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량을 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 음향 추적 정보 제공 방법은, 자차의 주변에서 발생되는 소리를 감지하여 생성된 음향 데이터를 기초로, 음향 추적 결과를 생성하는 단계; 상기 음향 추적 결과에서 인식되는 상대차량의 각도 값에 따라 상기 상대차량의 상대 속도를 계산하는 단계; 및 상기 상대 속도를 기초로 상기 상대차량에 대한 알림을 생성하는 단계를 포함하며, 상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 목표 음원에 해당하는 객체가 각도 별로 존재할 확률에 대한 정보일 수 있다.
본 발명의 일 실시예에 따른 차량용 음향 추적 장치는, 자차의 주변에서 발생되는 소리를 감지하여 생성된 음향 데이터를 기초로, 음향 추적 결과를 생성하는 음향 추적부; 상기 음향 추적 결과에서 인식되는 상대차량의 각도 값에 따라 상기 상대차량의 상대 속도를 계산하는 상대차량 정보 처리부; 및 상기 상대 속도를 기초로 상기 상대차량에 대한 알림 생성 여부를 결정하는 오검출 제거부를 포함하며, 상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 목표 음원에 해당하는 객체가 각도 별로 존재할 확률에 대한 정보일 수 있다.
본 발명의 일 실시예에 따른 차량은, 자차의 주변에서 발생되는 소리를 감지하여 음향 데이터를 생성하는 다채널 마이크; 상기 음향 데이터를 기초로 생성된 음향 추적 결과에서 인식되는 상대차량의 각도 값에 따라 상기 상대차량의 상대 속도를 계산하고, 상기 상대 속도를 기초로 상기 상대차량에 대한 알림 생성 여부를 결정하는 음향 추적 장치; 및 상기 상대차량에 대한 알림이 필요한 경우, 상기 상대 차량에 대한 정보를 운전자에게 시각적 또는 청각적으로 알려주는 알림 출력부를 포함하며, 상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 목표 음원에 해당하는 객체가 각도 별로 존재할 확률에 대한 정보일 수 있다.
상기와 같이 구성되는 본 발명의 일 실시예에 따른 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량에 의하면, 주변에 존재하는 다수의 차량을 주행차량의 음향정보만을 활용하여 인식하고 검출하여 운전자에게 경고할 수 있다.
또한, 통상적으로 후측방의 제한적인 유효 검출각도를 갖는 BSD(Blind Spot Detection)와 달리, 후방의 모든 각도에서 주행하는 차량을 검출할 수 있고 반대차선의 역주행 차량에 의한 오경보를 방지할 수 있어 노이즈에 강건한 음원 추적을 실행할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 차량을 나타낸 도면이다.
도 2는 도 1에 도시된 음향 추적 장치를 보다 상세히 나타낸 블록도이다.
도 3은 도 2에 도시된 음향 추적 장치의 동작 방법을 나타낸 흐름도이다.
도 4는 도 3에 도시된 S50 단계를 보다 상세히 나타낸 흐름도이다.
도 5는 도 2에 도시된 상대차량 정보 처리부가 상대 위치 및 상대 속도를 계산하는 일 예를 설명하기 위한 도면이다.
도 6과 도 7 각각은 도 2에 도시된 상대차량 정보 처리부가 상대 위치 및 상대 속도를 계산시 기초가 되는 표이다.
도 8은 주행 상황의 일 예를 나타낸 도면이다.
도 9는 도 8의 주행 상황에서의 음향 추적 결과를 나타낸 도면이다.
도 10은 주행 상황의 다른 예를 나타낸 도면이다.
도 11은 도 10의 주행 상황에서의 음향 추적 결과를 나타낸 도면이다.
이하, 본 발명과 관련된 적어도 하나의 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 차량을 나타낸 도면이다.
도 1을 참조하면, 차량(10)은 운전자의 조작에 따른 운행 중에 차량 주변에서 발생한 소리가 무엇인지, 어느 방향에서 발생되었는지 여부 등의 특정 소리에 대한 정보를 생성하여 운전자에게 알림을 줄 수 있다.
차량(10)은 차량(10)의 외부의 소리를 수집할 수 있는 다채널 마이크(50)와, 마이크(50)가 수집한 음향 정보를 기초로 특정 소리에 대한 정보를 생성할 수 있는 음향 추적 장치(100)를 포함할 수 있다. 다채널 마이크(50)의 각 마이크는 하나의 채널(channel)로 이해될 수 있다. 다채널 마이크(50)의 개수(3개)와 차량(10)에 대한 설치 위치는 도 1에 도시된 것에 한정되지 않는다.
도 2를 참조하여 음향 추적 장치(100)의 구체적인 동작에 대해 후술하기로 한다.
도 2는 도 1에 도시된 음향 추적 장치를 보다 상세히 나타낸 블록도이다.
도 2를 참조하면, 음향 추적 장치(100)는 신호 처리부(110), 데이터 저장부(120), 음향 인식부(130), 음향 추적부(140), 상대차량 정보 처리부(150), 오검출 제거부(160), 및 알림 생성부(170)를 포함할 수 있다. 음향 추적 장치(100)는 차량용으로 설계되는 것으로 차량(10)의 헤드 유닛(head unit)의 일부로 구현될 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.
다채널 마이크(50)는 차량(10)의 주변에서 발생한 소리를 감지하여 아날로그-디지털 변환을 통해 음향 데이터를 생성하여 신호 처리부(110)로 전송할 수 있다.
차량 주변에는 다양한 소리가 존재한다. 차량 주변에 위치한 다른 차량들의 엔진 소리 또는 타이어 마찰음, 신호등, 전광판 등에서 발생하는 소리, 일반적인 자연의 소리 등이 존재한다.
운전자는 차량(10)의 주행중 전방 또는 측방에서 주시 불가능한, 후측방 또는 후방에서 주행하는 차량의 상태(예컨대, 추월하려는 차량인지 여부) 및 그 차량의 상대적인 위치를 알고 싶어 한다.
외부의 소리 중 일부는 차량(10)의 방음 시스템을 뚫지 못해 운전자에게 전달되지도 않는데, 운전자는 차량(10) 외부에서 경적 소리가 들리면 이 경적 소리가 어느 방향에서 발생한 것인지, 자신의 차량 향한 것인지 아닌지 알고 싶어한다. 경적 소리의 인지에 따라서 운전자는 차량의 속도를 감소시키거나, 차선을 변경하거나, 비상등을 작동시키는 등의 다양한 조치를 취할 수 있다.
또한, 운전자가 차량의 오디오 시스템의 볼륨을 너무 높게 설정한 나머지 주변의 경적 소리가 운전자에게 들리지 않을 수도 있는데, 이 경우 운전자의 안전을 위해 시각적으로, 또는 차량의 오디오 시스템을 통해 운전자의 차량 주변에서 경적이 발생했다는 사실을 알려줄 필요가 있다.
운전자는 다른 소리에도 관심이 있을 수 있다. 예를 들어, 차량이 급정거할 때에는 타이어와 지면 사이의 마찰에 의해 커다란 마찰음이 발생한다. 이러한 마찰음은 교통 사고의 발생 또는 교통 사고 직전의 상황과 관련 있을 수 있고, 따라서 운전자에게 주의를 요구한다. 또 다른 예시로서, 차량이 다른 차량과 충돌하는 사고가 발생하면 충돌음이 발생한다. 전방 또는 측면 등의 충돌음을 인지하여 운전자에게 충돌음이 일어난 방향에 대한 정보를 제공하면 후속 사고를 미연에 방지할 수 있다.
운전자 주위에서 경찰 또는 구급차 등의 싸이렌이 울리는 경우, 운전자는 해당 차량이 지나갈 수 있도록 차선을 옮기는 등의 조치를 취해야 한다. 특정한 경우에, 필요한 조치를 취하지 않아 사용자는 법적 처벌을 받을 수 있다. 따라서, 공공기관에 속한 차량의 싸이렌 소리를 운전자가 인지하도록 할 필요성이 있다.
신호 처리부(110)는 획득된 음향 데이터에 대한 노이즈 필터링(noise filtering)을 수행할 수 있다. 이러한 노이즈 필터링을 통해 소리의 특성이나 출처를 파악하기 어려운 다양한 잡음이 제거될 수 있다. 또한, 경적소리, 싸이렌 소리, 타이어 마찰음, 충돌음과 같이 사용자가 관심 있어 하는 소리들의 대부분은 충분한 크기의 데시벨(예를 들어, 70dB 이상)을 갖는다. 따라서, 신호 처리부(110)는 노이즈 제거된 음향 데이터의 데시벨(즉, 크기)이 기준치 이상인지를 판단할 수 있다. 즉, 음향 데이터의 크기가 기준치 미만인 음향 데이터는 신호 처리부(110)에 의해 제거될 수 있다.
데이터 저장부(120)는 노이즈 제거된 음향 데이터를 저장할 수 있다. 데이터 저장부(120)는 음향 데이터를 프레임(frame) 단위로 저장할 수 있으며, 프레임 단위로 음향 인식부(130) 에 제공할 수 있다. 상기 프레임은 동일한 시각에 수집된 음향 데이터를 의미할 수 있고, 프레임 간의 간격은 특정 주기(예컨대, 100ms)를 가질 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.
음향 인식부(130)는 음향 데이터의 특징을 판단한다. 미리 정해진 기준치 이상의 데시벨을 갖는 음향 데이터라 하더라도, 운전자에게 중요하지 않을 수 있다. 예를 들어, 기차 등이 지나갈 때 나는 소리나, 공항 근처에서 발생하는 비행기 소음 등은 상당히 높은 데시벨을 갖지만 운전에 크게 영향을 주지 않을 수 있다. 도로 복구나 재정비 공사 등을 할 때 발생하는 소음도 마찬가지이다. 오히려, 이러한 음향 데이터를 계속해서 운전자에게 알려주는 것은, 정작 운전자가 인지해야 할 필요성이 있는 상황에 대해 운전자의 반응 속도를 느리게 만들거나, 또는 운전자가 미처 반응하지 못하게 할 수도 있다.
음향 인식부(130)는 데이터 저장부(120)로부터 수신한 음향 데이터에 대하여, 시간 영역(time domain)과 주파수 영역(frequency domain)에서 특징 값을 추출한다. 음향 인식부(130)는 상기 특징 값의 평균 값과 분산 값을 데이터베이스로 구축할 수 있다. 여기서 특징 값은, MFCC(Mel-Frequency Cepstral Coefficients), 파워 스펙트럼(Total Spectrum Power), 서브밴드 파워(Sub-band Spectrum Power), 및/또는 피치 주파수(peach frequency)일 수 있다. 음향 인식부(130)는 음향 데이터에 대하여 소정의 시간 주기, 예를 들어 100ms 동안의 프레임에 대한 평균 값 및 분산 값을 데이터베이스에 저장할 수 있다.
음성신호처리 분야에서 MFC(Mel-Frequency Cepstrum)은 단구간 신호의 파워 스펙트럼을 표현하는 방법 중 하나이다. 이는 비선형적 Mel 스케일의 주파수 도메인에서 로그(log) 파워 스펙트럼에 코사인변환을 취하여 획득될 수 있다. MFCC는 여러 MFC를 모아 놓은 계수를 의미한다. MFCC는 일반적으로, 단구간의 소리 데이터(신호)에 프리엠파시스(pre-emphasis) 필터를 적용하고, 이 값에 DFT(Discrete Fourier Transform)을 적용한다. 이후 Melscale의 Filter Bank(Mel Filter Banks)를 이용해 파워 스펙트럼을 구하고, 각각의 Mel-scale의 파워에 로그를 취한다. 이렇게 하여 획득된 값에 DCT(Discrete Cosine Transform)를 수행하면 MFCC 값이 얻어진다.
전체 파워 스펙트럼은 소정 프레임 구간 내의 전체 스펙트럼의 에너지 분포를 의미하며, 서브밴드 파워는 통상 [0, ⅛f0], [⅛f0, ¼f0], [¼f0, ½f0], 및 [½f0, f0]와 같은 4개의 서브밴드 구간에서의 스펙트럼의 에너지 분포 값을 의미한다. 피치 주파수는 정규화된 자기상관(autocorrelation) 함수의 최고점을 검출하여 획득될 수 있다.
음향 인식부(130)는 이와 같이 획득된 음향 데이터에 대한 특징 값을 분류기를 통해 분류함으로써, 획득된 음향 데이터가 사용자가 관심 있어 하는 소리인지 여부를 판단할 수 있다. 상기 분류기는 NN(Neural Network) 분류기, SVM(Support Vector Machine) 분류기, 베이시안 분류기(bayesian classifier) 중 어느 하나일 수 있다.
본 명세서에서는 상기 분류기가 NN 분류기임을 예로 들어 설명하기로 한다.
음향 인식부(130)의 분류기는 음향의 종류별로 복수의 클래스(class)들로 분류하고 획득된 음향 데이터에 대한 특징 값을 이용해 상기 음향 데이터가 상기 복수의 클래스들과의 유사성을 근거로 신뢰 레벨(Confidence Level)을 계산할 수 있다. 즉, 상기 신뢰 레벨은 상기 음향 데이터가 특정 클래스의 음향에 해당할 확률을 의미할 수 있고, 상기 신뢰 레벨의 총합은 1일 수 있다.
음향 인식부(130)의 분류기가 생성하는 음향 분류 결과는 각 클래스, 각 클래스에 대응하는 음향 종류, 및 각 클래스에 대응하는 신뢰 레벨에 대한 정보를 포함할 수 있다.
음향 인식부(130)는 상기 신뢰 레벨이 기준치(예컨대, 0.7) 이상인지 여부에 따라 판단 결과를 생성하고 상기 음향 분류 결과에 포함시킬 수 있다. 즉, 상기 신뢰 레벨이 상기 기준치 이상인 경우, 음향 인식부(130)는 상기 신뢰 레벨에 대응하는 클래스의 음향 종류를 현재 음향 데이터의 종류로 판단할 수 있다.
따라서, 음향 인식부(130)는 음향 데이터의 특징을 분석하여, 상기 음향 데이터가 어떤 종류의 음향인지에 대한 정보인 음향 분류 결과를 생성할 수 있다.
음향 추적부(140)는 상기 신뢰 레벨이 상기 기준치 이상인 클래스의 음향 종류(또는 목표 음원)에 대해, 음향 데이터를 기초로 소리가 발생된 방향을 추적할 수 있다. 상기 음향 종류는 음향 인식부(130)로부터 제공될 수 있다.
음향 추적부(140)는 연속적인 프레임에 해당하는 음향 데이터를 축적하여, 소리의 시간적인 특징(파형)을 통해 각 마이크로 입력되는 소리의 동일성을 식별하고, 동일한 소리의 크기 비교, 및 각 마이크에 도달하는 소리의 도달 시간의 차이 값의 계산을 수행할 수 있다. 상기 시간적인 특징은 음향 인식부(130)에 의해 제공될 수도 있다.
소리의 크기는 거리의 제곱에 반비례하므로, 소리의 발생 위치로부터 거리가 2배 증가할 때, 소리의 크기는 1/4로 감소(약 6dB 감소)하게 된다. 통상적인 차량의 폭을 약 2m, 길이를 약 3m 정도로 가정할 때, 감지된 소리의 크기 차이는 소리가 발생된 지점의 위치에 따라서 충분히 유의미한 값을 가질 수 있다.
예를 들어, 도 1과 같이 다채널 마이크(50)가 배치된 경우, 차량의 우측 상단에서 소리가 발생하면, 상단에 위치한 마이크가 감지한 소리의 크기는 하단의 좌측과 우측에 위치한 마이크가 감지한 소리의 평균 크기보다 크게 된다. 또한, 하단의 우측에 위치한 마이크가 감지한 소리의 크기가 하단의 좌측에 위치한 마이크가 감지한 소리의 크기보다 크게 된다.
이러한 특성을 이용해 각 마이크로부터 수집된 소리의 크기를 이용해 차량(10)의 중심을 기준으로 한 대략적인 방향을 추적할 수 있다.
또한, 각 마이크에 도달하는 소리의 도달 시간의 차이 값(신호 딜레이)을 이용하여, 소리의 발생 위치에 대한 각도를 계산할 수 있다. 이때, 음향 추적부(140)는 소리의 발생 위치에 대한 각도와 각 마이크에 대응하는 신호 딜레이가 맵핑되어 있는 테이블을 미리 저장한다. 예를 들어, 상기 테이블에서 1도의 각도에는 t1(제1 마이크에 대한 신호 딜레이), t2(제2 마이크에 대한 신호 딜레이) 및 t3(제3 마이크에 대한 신호 딜레이)가 맵핑되어 있고, 1도의 각도에 추적 객체가 있을 확률은 데이터 저장부(120)에 저장된 마이크별 음향 데이터에 t1 내지 t3의 신호 딜레이를 각각 적용시킨 후 합산함에 의해 산출될 수 있다.
즉, 모든 각도에 대한 딜레이값을 현재 신호에 적용하여 각 각도에 추적 객체가 있을 확률을 구할 수 있다. 이를 통해, 소리의 발생 위치를 추정할 수 있다. 이는 소리의 발생 위치에 대한 각도 및 각 마이크에 대응하는 신호 딜레이의 조합은 서로 일대일 대응 관계에 있기 때문이다.
음향 추적부(140)는 이러한 정보들을 이용해, 시간에 따라 연속하는 프레임의 각도(차량(10)의 중심을 기준으로 한 각도) 별 음향 추적 결과를 생성할 수 있다.
상기 음향 추적 결과는 시간에 따라 연속하는 각 프레임에서 목표 음원에 해당하는 객체가 각도 별로 존재할 확률에 대한 정보일 수 있다.
상대차량 정보 처리부(150)는 상기 신뢰 레벨이 상기 기준치 이상인 클래스의 음향 종류에 대해 소리가 발생된 방향을 추적한 결과인 음향 추적 결과를 기초로, 상기 음향 종류에 해당하는 객체의 상대적인 위치 및 상대 속도를 계산할 수 있다. 본 명세서에서는 설명의 편의상 상기 신뢰 레벨이 상기 기준치 이상인 클래스의 음향 종류가 차량(10) 주변에서 주행 중인 차량(이하, '상대 차량')에 한정된다고 가정하기로 한다.
즉, 상대차량 정보 처리부(150)는 음향 추적부(140)의 음향 추적 결과를 기초로, 적어도 하나의 상대 차량의 상대적인 위치 및 상대 속도를 계산할 수 있다.
상대차량 정보 처리부(150)가 상대적인 위치 및 상대 속도를 계산하는 상세한 과정은 도 4 내지 도 7을 참조하여 후술하기로 한다.
오검출 제거부(160)는 적어도 하나의 상대 차량의 상대 속도가 허용 범위 이내인지 여부에 따라, 허용 범위를 초과하는 상대 속도를 가지는 상대 차량에 대한 음향 추적 결과를 오검출로서 제거할 수 있다.
알림 생성부(170)는 오검출이 제거된 음향 추적 결과를 기초로, 상대 차량에 대한 정보(위치, 속도, 각도 등)를 생성할 수 있다.
알림 출력부(200)는 음향 추적 장치(100)에서 제공된 상기 상대 차량에 대한 정보를 기초로 소리 발생 영역에 대한 정보를 운전자에게 제공한다. 알림 출력부(200)는 상기 정보를 시각적으로 또는 청각적으로 제공할 수도 있다. 두 가지 방법을 모두 이용하여 제공하는 것도 가능하다.
알림 출력부(200)는 차량(10)에 탑재된 HUD(Head Unit Display) 또는 클러스터(cluster)로 구현되어, 소리 발생 영역에 대한 정보를 시각적으로 제공할 수 있다. 또한, 알림 출력부(200)는 음향 추적 장치(100)와 CAN 버스 등과 같은 유선 통신으로 연결된 내비게이션이나, BLUETOOTH, NFC, Wi-Fi 등의 근거리 무선 통신으로 연결된 스마트 디바이스(스마트폰, 태블릿, 스마트 워치 등)로 구현되어 소리 발생 영역에 대한 정보를 운전자에게 제공할 수 있다.
도 3은 도 2에 도시된 음향 추적 장치의 동작 방법을 나타낸 흐름도이다. 도 4는 도 3에 도시된 S50 단계를 보다 상세히 나타낸 흐름도이다. 도 5는 도 2에 도시된 상대차량 정보 처리부가 상대 위치 및 상대 속도를 계산하는 일 예를 설명하기 위한 도면이다. 도 6과 도 7 각각은 도 2에 도시된 상대차량 정보 처리부가 상대 위치 및 상대 속도를 계산시 기초가 되는 표이다.
도 2 내지 도 7을 참조하면, 도 2에서 음향 추적 장치(100)의 동작 방법 즉, 음향 추적 정보 제공 방법이 도시되어 있다.
신호 처리부(110)는 차량(10)의 주변에서 발생한 소리를 감지하여 아날로그-디지털 변환을 통해 생성된 음향 데이터를 수신할 수 있다(S10).
신호 처리부(110)는 획득된 음향 데이터에 대한 노이즈 필터링을 수행하고, 데이터 저장부(120)는 노이즈 제거된 음향 데이터를 저장할 수 있다(S20).
음향 인식부(130)는 데이터 저장부(120)로부터 수신한 음향 데이터에 대하여, 시간 영역(time domain)과 주파수 영역(frequency domain)에서 특징 값을 추출하고, 특징 값을 분류기를 통해 분류함으로써, 음향 분류 결과를 생성할 수 있다(S30).
음향 추적부(140)는 상기 음향 분류 결과에서 신뢰 레벨이 기준치 이상인 클래스의 음향 종류에 대해, 음향 데이터를 기초로 시간에 따라 연속하는 각 프레임에서 음향 종류에 해당하는 객체가 존재할 확률이 각도 별로 제공되는 정보인 음향 추적 결과를 생성할 수 있다(S40).
상대차량 정보 처리부(150)와 오검출 제거부(160)는 오검출 제거 알고리즘을 수행하여, 상기 음향 추적 결과에 포함된 오검출을 제거할 수 있다(S50).
도 4에는 S50 단계의 상세 단계들이 도시되어 있다.
상대차량 정보 처리부(150)는 음향 데이터에 대한 인식 및 추적 누적횟수 즉, 음향 추적 결과의 누적 횟수가 2회 이상인지 판단할 수 있다. 이는 오검출 제거 알고리즘은 음향 추적 결과의 누적 횟수가 2회 이상이어서 2 이상의 프레임을 서로 비교할 수 있을 때 수행될 수 있기 때문이다.
음향 추적 결과의 누적 횟수가 2회 미만일 경우(S51의 No), 오검출 제거 알고리즘이 수행되지 않고 S60단계가 수행된다.
음향 추적 결과의 한 프레임에서 객체가 존재할 확률이 일정 값(예컨대, 90%) 이상일 경우 해당 각도에 상기 객체가 존재한다고 할 수 있는데, 앞서 설명한 바와 같이 본 명세서에서는 상기 객체를 상대차량으로 가정하기로 한다.
상대차량 정보 처리부(150)는 상대차량이 존재하는 각도 값으로부터 상기 상대차량과 자차와의 거리를 추정할 수 있다.
도 5를 참조하면, 음향 추적 결과의 첫번째 프레임에서 상대차량이 자차와 제1 각도(θ1)를 이루어 주행중이었고, 두번째 프레임에서 상기 상대차량이 상기 자차와 제2 각도(θ2)를 이루어 주행중이라 가정한다.
두번째 프레임에 해당하는 음향 추적 결과가 수신되어 음향 추적 결과의 누적 횟수가 2회 이상일 경우(S51의 Yes), 상대차량 정보 처리부(150)는 음향 추적 결과에서 인식되는 상대 차량의 각도 값에 따라 상대차량의 거리를 추정할 수 있다(S52).
이를 위해 상대차량 정보 처리부(150)는 적어도 두번째 프레임에 해당하는 음향 추적 결과가 수신될 때까지 첫번째 프레임에 해당하는 음향 추적 결과를 저장할 수 있다.
상대차량 정보 처리부(150)는 첫번째 프레임에서 상대차량이 자차와 이루는 각도 값인 제1 각도(θ1)와 차선 폭을 기초로, 자차와 상대차량 간의 거리인 제1 거리(R1)를 계산할 수 있다.
이때, 상대차량 정보 처리부(150)는 전국의 도로 정보를 기반으로 미리 저장된 차선폭 테이블을 이용하여, 현재 자차가 주행중인 도로의 차선폭을 결정할 수 있다.
도 6을 참조하면, 상대차량 정보 처리부(150)가 미리 저장하고 있는 차선폭 테이블의 일예가 도시되어 있으며, 차선폭 테이블은 도로의 종류(고속도로/일반도로(설계 속도 별)) 및 지역구분(지방 지역/도시 지역/소형차 도로) 별 법정 도로폭에 대한 정보를 포함한다. 상대차량 정보 처리부(150)는 음향 추적 장치(100)와 CAN 버스 등과 같은 유선 통신으로 연결된 내비게이션으로부터 현재 자차가 주행중인 도로의 종류 및 지역구분에 대한 정보를 수신하고, 도로의 종류 및 지역구분에 따른 도로 폭을 상기 차선폭 테이블을 참조하여 현재의 차선폭을 결정할 수 있다.
상대차량 정보 처리부(150)는 오검출 제거 알고리즘의 동작시 매 프레임마다 새로이 차선폭을 결정하는 것이 아니라, 계산량을 줄이기 위해 도로의 종류 및 지역구분 중 적어도 하나가 변경되었을 경우에만 새로이 차선폭을 결정할 수 있다.
상대차량 정보 처리부(150)는 첫번째 프레임에서 결정된 차선 폭에 제1 각도(θ1)의 탄젠트 값을 곱함으로써, 자차와 상대차량 간의 거리인 제1 거리(R1)를 계산할 수 있다.
상대차량 정보 처리부(150)는 이러한 제1 거리(R1)의 계산 과정을 생략하여 오검출 제거 알고리즘의 성능을 향상시키기 위해, 도 7에 도시된 것과 같은 각도와 거리를 맵핑시킨 테이블을 이용할 수도 있다.
도 7에 도시된 맵핑 테이블은, 특정 차선폭(예컨대, 3m)에서 각도(θ)와 거리(R) 간의 관계를 미리 정리한 테이블이다. 즉, 상기 맵핑 테이블에서 각도(θ)의 탄젠트 값과 상기 특정 차선폭을 곱한 값이 거리(R)에 해당한다.
상대차량 정보 처리부(150)는 도 6에 도시된 각 차선폭(3m, 3.25m, 3.5m) 마다 맵핑 테이블을 별도로 저장할 수 있으며, 결정된 차선폭에 해당하는 맵핑테이블을 참조하여 제1 거리(R1)를 계산할 수 있다.
마찬가지의 방식으로, 상대차량 정보 처리부(150)는 두번째 프레임에서 결정된 차선 폭과 제2 각도(θ2)를 이용하여, 자차와 상대차량 간의 거리인 제2 거리(R2)를 계산할 수 있다.
제1 각도(θ1)와 제2 각도(θ2) 각각은 도 5에서 상대차량의 중심과 자차가 이루는 각도와 동일하도록 음향 추적 결과에서 상대 차량으로 인식되는 최소 각도와 최대 각도의 중간 값으로 결정될 수 있다. 예컨대, 도 9에서 시간 300 μs일때, 250도에서 260도에서 상대차량이 인식되면 상대차량의 각도는 255도로 결정될 수 있다.
상대차량 정보 처리부(150)는 첫번째 프레임의 제1 거리(R1)와 두번째 프레임의 제2 거리(R2)의 차이, 및 음향 추적 주기를 이용해, 상대차량의 상대 속도를 추정할 수 있다. 상기 음향 추적 주기는 음향 추적 결과를 생성하는 주기를 의미하며, 첫번째 프레임과 두번째 프레임 간의 시간 차에 해당한다. 상기 음향 추적 주기는 음향 추적 장치(100)의 시스템 사양에서 미리 결정되고 저장되어 있는 값일 수 있다. 예컨대, 상기 음향 추적 주기는 40ms일 수 있다.
즉, 상대차량 정보 처리부(150)는 제2 거리(R2)로부터 제1 거리(R1)를 감산하여 상대차량의 이동 거리를 산출할 수 있고, 상기 이동 거리를 상기 음향 추적 주기로 나누어 상기 상대차량의 상대 속도를 계산할 수 있다(S53).
여기서, 상대차량 정보 처리부(150)에 의해 계산된 상대 속도는 오검출 제거 알고리즘 외에도, TTC(Time To Collision) 알고리즘을 수행하는 외부 유닛으로 전송되어 충돌 예측 정보로 활용될 수도 있다.
오검출 제거부(160)는 상대 차량의 상대 속도가 허용 범위 이내인지 판단할 수 있다(S54). 상기 허용 범위는 자차와 동일한 방향의 차선에서 주행하는 상대차량이 통상적으로 가질 수 있는 상대 속도의 범위를 의미하는 것으로, 실험적으로 결정되는 값일 수 있다. 즉, 상기 허용 범위를 벗어나는 상대 속도를 가지는 상대 차량은 자차와 동일한 차선이 아닌 반대편 차선에서 주행중인 상대 차량일 수 있다.
예컨대, 상기 허용 범위는 -30kph(kilometer per hour) 내지 160kph일 수 있으나, 본 발명의 범위는 이에 한정되지 않고 도로의 종류 및 지역구분에 따라 달라질 수도 있다. 여기서, 상대 속도가 음수인 것은 제2 거리(R2)로부터 제1 거리(R1)를 감산한 결과가 음수임을 의미하며, 자차의 진행방향의 반대 방향으로 상대 속도를 가짐을 의미한다.
운전자는 자차의 진행방향과 동일한 방향의 주변 차선에서 주행중인 후방 또는 후측방 상대차량에 관심이 있을 뿐, 반대편 차선에서 주행중인 상대차량에는 자차의 운행에 영향이 없으므로 관심이 없게 된다. 따라서, 이러한 반대편 차선의 상대차량에 대한 경고나 알림은 오히려 자차의 안전 운행에 방해가 될 뿐이므로 오검출로 제거하기 위해, 상기 허용 범위가 이용된다.
상기 상대 속도가 허용 범위 이내라고 판단될 경우(S54의 Yes), 상기 상대차량은 음향 추적 결과에서 오검출로 제거되지 않고 S60 단계가 수행될 수 있다.
상기 상대 속도가 허용 범위를 벗어난다고 판단될 경우(S54의 No), 상기 상대차량은 반대편 차선에서 주행중인 차량일 가능성이 높으므로(상대 속도가 -30kph를 초과) 오검출 제거부(160)는 상기 상대 차량의 데이터를 오검출로 제거할 수 있다(S55).
예컨대, 오검출 제거부(160)는 음향 추적 결과에서 상기 상대 차량에 해당하는 각도 범위의 확률 값을 조정(하강)함으로써 상기 상대 차량에 대한 알림이 생성되지 않도록 하여 오검출을 제거할 수 있다. 즉, 오검출 제거부(160)는 상기 상대 차량의 상대 속도에 기반하여 상기 상대 차량이 반대편 차선의 차량인지를 인식하여 상기 상대 차량에 대한 알림의 생성 여부를 결정할 수 있다.
알림 생성부(170)는 오검출이 제거된 음향 추적 결과를 기초로, 상대 차량에 대한 정보를 생성하고, 알림 출력부(200)는 이러한 정보를 수신하여 소리 발생 영역에 대한 정보를 운전자에게 제공한다(S60).
도 8은 주행 상황의 일 예를 나타낸 도면이고, 도 9는 도 8의 주행 상황에서의 음향 추적 결과를 나타낸 도면이다.
도 8을 참조하면, 차량(10) 즉, 자차가 등속으로 주행하고 있고, 자차의 좌측 후방에 등속(자차의 속도와 거의 동일한 속도)으로 주행하는 차량이 하나 존재하며, 자차의 우측 후방에 자차를 추월하는 차량이 하나 존재하는 주행 상황을 가정한다.
도 9는 도 8의 주행 상황에서 음향 추적부(140)가 생성한 음향 추적 결과를 나타낸 표이다. 표에서 명암이 어두워질수록 해당 각도 값에 상대차량이 존재할 확률이 높아질 수 있다.
도 9에서는 좌측 후방인 250도 근방에서 하나의 상대차량이 계속적으로 검출되며, 우측 후방인 300도 근방에서 360도 근방으로 추월 구간 동안 하나의 상대차량이 검출된다.
상대차량 정보 처리부(150)는 시간이 흐름에 따라 계속적으로 각 프레임에 대해 각 상대 차량의 상대 속도를 계산할 수 있으며, 도 9에서와 같이 급격히 각도가 변경되는 상대 차량이 존재하지 않는 경우 각 상대 차량의 상대 속도는 허용범위 내에 있게 된다. 따라서, 오검출 제거부(160)는 음향 추적 결과에서 모든 상대 차량에 대해 오검출로 판단하지 않고, 오검출 제거 동작을 수행하지 않는다.
도 10은 주행 상황의 다른 예를 나타낸 도면이고, 도 11은 도 10의 주행 상황에서의 음향 추적 결과를 나타낸 도면이다.
도 10을 참조하면, 자차가 등속으로 주행하고 있고, 자차의 좌측 전방의 반대 차선에서 상대차량 7대가 순차적으로 역주행하여 지나치는 주행 상황을 가정한다.
도 11은 도 10의 주행 상황에서 음향 추적부(140)가 생성한 음향 추적 결과를 나타낸 표이다. 표에서 명암이 어두워질수록 해당 각도 값에 상대차량이 존재할 확률이 높아질 수 있다.
도 11에서는 역주행 구간 동안 좌측 180도 근방에서 250도 근방으로 역주행 구간 동안 순차적으로 짧은 구간마다 7대의 상대차량이 검출된다.
상대차량 정보 처리부(150)는 시간이 흐름에 따라 계속적으로 각 프레임에 대해 각 상대 차량의 상대 속도를 계산할 수 있으며, 도 11에서와 같이 급격히 각도가 변경되는 상대 차량이 존재하는 경우 각 상대 차량의 상대 속도는 허용범위를 벗어나게 된다.
따라서, 오검출 제거부(160)는 음향 추적 결과에서 급격히 각도가 변경되는 상대 차량 즉, 반대편 차선의 역주행 차량에 대해 오검출로 판단하여 오검출 제거 동작을 수행할 수 있다.
따라서, 본 발명의 일 실시예에 따른 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량에 의하면, 주변에 존재하는 다수의 차량을 주행차량의 음향정보만을 활용하여 인식하고 검출하여 운전자에게 경고할 수 있다.
또한, 통상적으로 후측방의 45도 내지 80도의 유효 검출각도를 갖는 BSD(Blind Spot Detection)와 달리, 후방의 모든 각도(180도 내지 360도)에서 주행하는 차량을 검출할 수 있고 반대차선의 역주행 차량에 의한 오경보를 방지할 수 있어 노이즈에 강건한 음원 추적을 실행할 수 있다.
상기와 같이 설명된 음향 추적 정보 제공 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (19)

  1. 자차의 주변에서 발생되는 소리를 감지하여 생성된 음향 데이터를 기초로, 음향 추적 결과를 생성하는 단계;
    상기 음향 추적 결과에서 인식되는 상대차량의 각도 값에 따라 상기 상대차량의 상대 속도를 계산하는 단계; 및
    상기 상대 속도를 기초로 상기 상대차량에 대한 알림을 생성하는 단계를 포함하며,
    상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 목표 음원에 해당하는 객체가 각도 별로 존재할 확률에 대한 정보이고,
    상기 상대 속도를 계산하는 단계는,
    제1 프레임에서, 상기 상대차량의 제1 각도와 상기 자차가 주행중인 차선의 차선폭에 기초하여 상기 자차와 상기 상대차량 간의 제1 거리를 계산하는 단계;
    제2 프레임에서, 상기 상대차량의 제2 각도와 상기 차선폭에 기초하여 상기 자차와 상기 상대차량 간의 제2 거리를 계산하는 단계; 및
    상기 제2 거리를 상기 제1 거리로 감산한 값을 상기 제1 프레임과 상기 제2 프레임 사이의 시간으로 나누어 상기 상대 속도를 계산하는 단계를 포함하는 음향 추적 정보 제공 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 차선폭은 상기 차선폭이 상기 자차가 주행 중인 도로의 종류 및 지역 구분과 대응되어 있는 차선폭 테이블을 이용하여 결정되는 음향 추적 정보 제공 방법.
  4. 제1항에 있어서,
    상기 제1 거리 또는 상기 제2 거리는, 상기 차선폭에 따라 결정되며 각도와 거리를 서로 맵핑시킨 맵핑 테이블을 이용하여 계산되는 음향 추적 정보 제공 방법.
  5. 제1항에 있어서,
    상기 상대차량에 대한 알림을 생성하는 단계는,
    상기 상대 속도가 허용범위 이내인지 판단하는 단계; 및
    상기 상대 속도가 허용범위를 벗어날 경우, 상기 음향 추적 결과에서 상기 상대 차량에 대한 알림이 생성되지 않도록 오검출을 제거하는 단계를 포함하는 음향 추적 정보 제공 방법.
  6. 제5항에 있어서,
    상기 오검출을 제거하는 단계는,
    상기 상대 차량에 해당하는 각도 범위의 확률 값을 조정하는 단계를 포함하는 음향 추적 정보 제공 방법.
  7. 자차의 주변에서 발생되는 소리를 감지하여 생성된 음향 데이터를 기초로, 음향 추적 결과를 생성하는 음향 추적부;
    상기 음향 추적 결과에서 인식되는 상대차량의 각도 값에 따라 상기 상대차량의 상대 속도를 계산하는 상대차량 정보 처리부; 및
    상기 상대 속도를 기초로 상기 상대차량에 대한 알림 생성 여부를 결정하는 오검출 제거부를 포함하며,
    상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 목표 음원에 해당하는 객체가 각도 별로 존재할 확률에 대한 정보이고,
    상기 상대차량 정보 처리부는,
    제1 프레임에서, 상기 상대차량의 제1 각도와 상기 자차가 주행중인 차선의 차선폭에 기초하여 상기 자차와 상기 상대차량 간의 제1 거리를 계산하고,
    제2 프레임에서, 상기 상대차량의 제2 각도와 상기 차선폭에 기초하여 상기 자차와 상기 상대차량 간의 제2 거리를 계산하고,
    상기 제2 거리를 상기 제1 거리로 감산한 값을 상기 제1 프레임과 상기 제2 프레임 사이의 시간으로 나누어 상기 상대 속도를 계산하는 차량용 음향 추적 장치.
  8. 삭제
  9. 제7항에 있어서,
    상기 차선폭은 상기 차선폭이 상기 자차가 주행 중인 도로의 종류 및 지역 구분과 대응되어 있는 차선폭 테이블을 이용하여 결정되는 차량용 음향 추적 장치.
  10. 제7항에 있어서,
    상기 제1 거리 또는 상기 제2 거리는, 상기 차선폭에 따라 결정되며 각도와 거리를 서로 맵핑시킨 맵핑 테이블을 이용하여 계산되는 차량용 음향 추적 장치.
  11. 제7항에 있어서,
    상기 오검출 제거부는,
    상기 상대 속도가 허용범위 이내인지 판단하고,
    상기 상대 속도가 허용범위를 벗어날 경우, 상기 음향 추적 결과에서 상기 상대 차량에 대한 알림이 생성되지 않도록 오검출을 제거하는 차량용 음향 추적 장치.
  12. 제11항에 있어서,
    상기 오검출 제거부는,
    상기 상대 차량에 해당하는 각도 범위의 확률 값을 조정하는 차량용 음향 추적 장치.
  13. 자차의 주변에서 발생되는 소리를 감지하여 음향 데이터를 생성하는 다채널 마이크;
    상기 음향 데이터를 기초로 생성된 음향 추적 결과에서 인식되는 상대차량의 각도 값에 따라 상기 상대차량의 상대 속도를 계산하고, 상기 상대 속도를 기초로 상기 상대차량에 대한 알림 생성 여부를 결정하는 음향 추적 장치; 및
    상기 상대차량에 대한 알림이 필요한 경우, 상기 상대 차량에 대한 정보를 운전자에게 시각적 또는 청각적으로 알려주는 알림 출력부를 포함하며,
    상기 음향 추적 결과는, 시간에 따라 연속하는 각 프레임에서 목표 음원에 해당하는 객체가 각도 별로 존재할 확률에 대한 정보이고,
    상기 음향 추적 장치는,
    제1 프레임에서, 상기 상대차량의 제1 각도와 상기 자차가 주행중인 차선의 차선폭에 기초하여 상기 자차와 상기 상대차량 간의 제1 거리를 계산하고,
    제2 프레임에서, 상기 상대차량의 제2 각도와 상기 차선폭에 기초하여 상기 자차와 상기 상대차량 간의 제2 거리를 계산하고,
    상기 제2 거리를 상기 제1 거리로 감산한 값을 상기 제1 프레임과 상기 제2 프레임 사이의 시간으로 나누어 상기 상대 속도를 계산하는 차량.
  14. 삭제
  15. 제13항에 있어서,
    상기 차선폭은 상기 차선폭이 상기 자차가 주행 중인 도로의 종류 및 지역 구분과 대응되어 있는 차선폭 테이블을 이용하여 결정되는 차량.
  16. 제13항에 있어서,
    상기 제1 거리 또는 상기 제2 거리는, 상기 차선폭에 따라 결정되며 각도와 거리를 서로 맵핑시킨 맵핑 테이블을 이용하여 계산되는 차량.
  17. 제13항에 있어서,
    상기 음향 추적 장치는,
    상기 상대 속도가 허용범위 이내인지 판단하고,
    상기 상대 속도가 허용범위를 벗어날 경우, 상기 음향 추적 결과에서 상기 상대 차량에 대한 알림이 생성되지 않도록 오검출을 제거하는 차량.
  18. 제17항에 있어서,
    상기 음향 추적 장치는,
    상기 상대 차량에 해당하는 각도 범위의 확률 값을 조정하는 차량.
  19. 제13항에 있어서,
    상기 다채널 마이크는, 상기 차량의 후방에 설치된 적어도 2개의 마이크를 포함하는 차량.
KR1020160028659A 2016-03-10 2016-03-10 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량 KR101759144B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160028659A KR101759144B1 (ko) 2016-03-10 2016-03-10 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
US15/368,005 US9733346B1 (en) 2016-03-10 2016-12-02 Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160028659A KR101759144B1 (ko) 2016-03-10 2016-03-10 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량

Publications (1)

Publication Number Publication Date
KR101759144B1 true KR101759144B1 (ko) 2017-07-18

Family

ID=59430726

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160028659A KR101759144B1 (ko) 2016-03-10 2016-03-10 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량

Country Status (2)

Country Link
US (1) US9733346B1 (ko)
KR (1) KR101759144B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101885065B1 (ko) * 2017-11-06 2018-08-03 대한민국 음향 분석을 활용한 횡방향 그루빙이 형성된 도로를 지나는 차량의 속도 추정 방법, 장치 및 컴퓨터 프로그램

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101892028B1 (ko) * 2016-10-26 2018-08-27 현대자동차주식회사 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
US10345808B2 (en) * 2017-03-30 2019-07-09 Uber Technologies, Inc Systems and methods to control autonomous vehicle motion
DE102018200878B3 (de) * 2018-01-19 2019-02-21 Zf Friedrichshafen Ag Detektion von Gefahrengeräuschen
KR20210071975A (ko) * 2018-10-11 2021-06-16 가부시키가이샤 한도오따이 에네루기 켄큐쇼 차량 경보 장치
US11138433B2 (en) * 2019-06-07 2021-10-05 The Boeing Company Cabin experience network with a sensor processing unit
CN110435672A (zh) * 2019-08-11 2019-11-12 西藏宁算科技集团有限公司 一种基于场景预判安全驾驶辅助方法及其***
CN115019521B (zh) * 2022-05-19 2023-06-09 河北工业大学 一种确定车辆速度的方法和***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2776092B2 (ja) 1991-09-27 1998-07-16 日産自動車株式会社 車両警報装置
JPH06245289A (ja) 1993-02-17 1994-09-02 Fujitsu Ten Ltd 車載用電子装置
JPH06344839A (ja) 1993-06-11 1994-12-20 Mitsubishi Motors Corp 車両用警報案内装置
KR100285430B1 (ko) 1998-08-26 2001-04-02 윤종용 충돌경보시스템에서의오류경보제거장치및방법
JP2005301751A (ja) 2004-04-13 2005-10-27 Matsushita Electric Ind Co Ltd 緊急車両走行位置検出装置
KR100603711B1 (ko) 2004-06-10 2006-07-20 주식회사 현대오토넷 위성위치확인시스템을 이용한 차량의 충돌 방지 시스템 및방법
JP4742750B2 (ja) 2005-08-30 2011-08-10 アイシン精機株式会社 車外音処理装置
US9754490B2 (en) * 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101885065B1 (ko) * 2017-11-06 2018-08-03 대한민국 음향 분석을 활용한 횡방향 그루빙이 형성된 도로를 지나는 차량의 속도 추정 방법, 장치 및 컴퓨터 프로그램
US10816567B2 (en) 2017-11-06 2020-10-27 Republic of Korea (National Forensic Service Director Ministry of Public Administration and Security) Method, apparatus, and computer program for estimating speed of vehicle passing over horizontally grooved road by using acoustic analysis

Also Published As

Publication number Publication date
US9733346B1 (en) 2017-08-15

Similar Documents

Publication Publication Date Title
KR101759143B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR101759144B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR101892028B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR101768145B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR101807616B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR101748276B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
US10607488B2 (en) Apparatus and method of providing visualization information of rear vehicle
US20080079571A1 (en) Safety Device
KR101519255B1 (ko) 차량 주변 소리 알림 시스템 및 그 방법
Nandwana et al. Towards Smart-Cars That Can Listen: Abnormal Acoustic Event Detection on the Road.
Lee et al. Acoustic hazard detection for pedestrians with obscured hearing
Choudhury et al. Review of emergency vehicle detection techniques by acoustic signals
KR101748270B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
Valiveti et al. Soft computing based audio signal analysis for accident prediction
KR101901800B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR102601171B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR102331758B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
KR102378940B1 (ko) 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
Marciniuk et al. Acoustic Road Monitoring
Alqudah et al. Audition ability to enhance reliability of autonomous vehicles: Allowing cars to hear
WO2021173406A1 (en) Mobile sensor-based railway crossing safety device

Legal Events

Date Code Title Description
GRNT Written decision to grant