KR102397312B1 - Apparatus for estimating of road surface type using domain transformation of sound waves and method thereof - Google Patents
Apparatus for estimating of road surface type using domain transformation of sound waves and method thereof Download PDFInfo
- Publication number
- KR102397312B1 KR102397312B1 KR1020210158459A KR20210158459A KR102397312B1 KR 102397312 B1 KR102397312 B1 KR 102397312B1 KR 1020210158459 A KR1020210158459 A KR 1020210158459A KR 20210158459 A KR20210158459 A KR 20210158459A KR 102397312 B1 KR102397312 B1 KR 102397312B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- road surface
- type
- neural network
- sound wave
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000009466 transformation Effects 0.000 title claims description 45
- 238000013528 artificial neural network Methods 0.000 claims abstract description 52
- 238000006243 chemical reaction Methods 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000013145 classification model Methods 0.000 claims description 14
- 238000012706 support-vector machine Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000001172 regenerating effect Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003746 surface roughness Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 235000009413 Ratibida columnifera Nutrition 0.000 description 1
- 241000510442 Ratibida peduncularis Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000005283 ground state Effects 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010309 melting process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 235000012736 patent blue V Nutrition 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/534—Details of non-pulse systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Abstract
Description
본 발명은 음파의 도메인 변환을 이용한 노면 종류 추정 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 음파 신호를 송신하여 반사된 신호를 수신하고, 수신한 신호의 기설정 영역에 대하여 주파수 변환을 수행하여 얻은 주파수 도메인 신호를 인공신경망을 이용하여 학습시켜 해당 노면의 종류를 추정하도록 하는 음파의 도메인 변환을 이용한 노면 종류 추정 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for estimating a road surface using domain conversion of sound waves, and more particularly, to a method for estimating a road surface using a domain conversion of sound waves, by transmitting a sound wave signal to receive a reflected signal, and performing frequency conversion on a preset area of the received signal. A road surface type estimating apparatus and method using a domain transformation of sound waves for estimating a corresponding road surface type by learning an obtained frequency domain signal using an artificial neural network.
미국에서는 매년 600 만건 내외의 교통사고가 발생한다. 특히, 노면의 미끄러움만으로 미국에서만 한해 평균 120 만건 이상의 사고가 발생하고, 이러한 사고로 매년 5000명 이상이 사망하고 있다. 이에, 노면의 미끄러움은 국가와 보험사에 큰 부담으로 작용하는 하나의 사회적 문제로 대두되고 있다.In the United States, approximately 6 million car accidents occur each year. In particular, an average of more than 1.2 million accidents occur annually in the United States alone, and more than 5,000 people die every year from these accidents. Accordingly, the slippery road surface is emerging as a social problem that places a great burden on the state and insurance companies.
한국도 예외는 아니다. 매년 겨울철마다 블랙아이스 사고가 발생하며, 최근 5년간 6,500 건이 발생했으며, 사망자수는 200 여명에 달한다.Korea is no exception. Black ice accidents occur every winter, 6,500 cases have occurred in the last 5 years, and the death toll is about 200.
우리나라에서 융설 과정은 4단계로 이뤄지고 있는데, 이 모든 과정의 전달이 사람에 의해 수동적으로 전달되고 있으며, 최종 단계까지 전달될 때까지 수 시간이 소요된다. 지난번 상주영천고속도로의 블랙아이스 사고의 경우도, 담당공무원이 예보를 확인했지만 사전 융설을 요청하지 않아 발생한 인재였다.In Korea, the snow melting process consists of four stages, and the transmission of all these processes is passively transmitted by humans, and it takes several hours to reach the final stage. In the case of the last black ice accident on the Sangju-Yeongcheon Expressway, the official in charge checked the forecast but did not request snowmelting in advance.
이러한 사고는 노면의 상태를 실시간으로 감지할 수 있는 센서 및 이를 이용한 알림 시스템의 부재로 인한 것이다.This accident is due to the absence of a sensor capable of detecting the state of the road surface in real time and a notification system using the same.
한편, 지금까지 노면의 종류나 노면의 마찰계수를 추정하는 방법으로 제안 된 방법으로는 크게 두 가지가 있다.On the other hand, there are two major methods that have been proposed so far as a method for estimating the type of road surface or the friction coefficient of the road surface.
하나는 직접적 방법으로 물리적인 마찰을 일으켜서 알아내는 방법이고, 다른 하나는 간접적 방법으로 전파나 음파를 이용하는 방법이다.One is a method to find out by causing physical friction in a direct method, and the other is a method using radio waves or sound waves in an indirect method.
먼저, 직접적 방법에는 휠기반의 방법과 차량 동역학 기반의 방법이 있다.First, the direct method includes a wheel-based method and a vehicle dynamics-based method.
이 두 방법의 공통점은 운전자의 의도와 무관하게 브레이크를 작동시켜서 차량의 감속 정도로 노면의 마찰계수를 추정하는 것이다.What these two methods have in common is to apply the brake regardless of the driver's intention to estimate the friction coefficient of the road to the degree of deceleration of the vehicle.
이 방법은 마찰계수를 알고 싶은 해당 노면을 밟아야지만 알 수 있고 차량 동역학 모델이 필수적으로 필요하다. 또한 브레이크를 동작시켜야 하므로 승차감이나 연비에 영향을 주는 한계가 있다.In this method, the friction coefficient can be known only by stepping on the relevant road surface, and a vehicle dynamics model is essential. In addition, there is a limit that affects the riding comfort and fuel economy because the brake must be operated.
한편, 간접적 방법에는 전자기파와 음파를 이용한 방식이 있는데, 이 두 방식 모두 물리적인 마찰이 필요하지 않으므로, 차량 동역학 모델에 대해 독립적으로 사용할 수 있으며 해당 노면의 접촉 없이 미리 노면의 상태를 알 수 있는 장점이 있다.On the other hand, indirect methods include methods using electromagnetic waves and sound waves. Both methods do not require physical friction, so they can be used independently for the vehicle dynamics model, and the advantage of knowing the road surface condition in advance without contact with the corresponding road surface There is this.
상기 전자기파 기반의 방식은 카메라, 라이다, 레이더 등을 사용하는데, 상당히 멀리 볼 수 있지만, 정확도가 상대적으로 떨어지며, 시스템의 가격이 수백에서 수천 달러에 형성되어 매우 고가에 속한다. 또한, 데이터의 양이 많아서 데이터 셋(Data Set)을 만드는데 어려움도 있다.The electromagnetic wave-based method uses a camera, lidar, radar, etc., and although it can see quite far, the accuracy is relatively low, and the price of the system is formed in hundreds to thousands of dollars, so it is very expensive. In addition, there is a difficulty in creating a data set because the amount of data is large.
또한 전자기파 방식 중 하나인 이미지 센서를 사용한 방식이 있으며, 영상 센서인 카메라를 이용해서 노면의 종류를 구분한다. 하지만 이미지 센서의 경우 조도에 영향을 크게 받으며, 블랙아이스는 사람에 눈에 잘 보이지 안 듯, 비전 센서는 이를 감지하지 못한다. 이러한 한계로 이미지 센서를 사용 방법의 평균 성능은 70% 미만이다, 또한, 이미지 센서뿐 아니라 고성능의 영상 처리장치가 필요하여 그 비용이 상대적으로 크다.Also, there is a method using an image sensor, which is one of the electromagnetic wave methods, and the type of road surface is classified using a camera, which is an image sensor. However, in the case of an image sensor, it is greatly affected by the illuminance, and as black ice is invisible to the human eye, the vision sensor cannot detect it. Due to this limitation, the average performance of the method using the image sensor is less than 70%, and the cost is relatively high because not only the image sensor but also a high-performance image processing device is required.
블랙아이스의 경우 사람의 눈에 보이지 않듯이 이미지 센서로도 감지가 불가능하다. 즉, 이미지 센서 방식으로는 다양한 종류의 노면을 구분할 수 없는 한계가 있다.Black ice is invisible to the human eye and cannot be detected by an image sensor. That is, the image sensor method has a limitation in not being able to distinguish various types of road surfaces.
한편, 상기 음파를 이용한 방식으로는, 패시브(Passive) 센싱 방식과 액티브(Active) 센싱 방식이 있는데, 패시브 센싱 방식으로 일정 시간동안 타이어에서 나는 소음을 마이크로 녹음한 후 인공신경망을 이용하여 분류하는 방식이 있다. 이러한 방식에서 타이어가 지나간 노면에 대해서만 노면의 종류를 알 수가 있고 분류에 긴 시간이 소요되는 한계가 있다. 한편, 액티브 센싱 방식 중에는, 거리와 반사 세기 정보만 이용하여 반사된 노면을 구분하는 연구가 있는데, 이는 주변 외란에 약하다는 단점이 있다.On the other hand, as a method using the sound wave, there are a passive sensing method and an active sensing method. In the passive sensing method, noise generated from a tire for a certain period of time is recorded with a microphone and then classified using an artificial neural network. There is this. In this way, the type of road can be known only for the road on which the tire has passed, and there is a limitation that the classification takes a long time. On the other hand, among active sensing methods, there is a study for classifying a reflected road surface using only distance and reflection intensity information, which has a disadvantage in that it is weak against ambient disturbance.
한편, 요즘 도로에 번호판이 하늘색인 전기차와 수소차가 많이 보이고 있다. 블룸버그에 의하면 2040년에는 판매되는 차량의 반 이상이 전기차가 될 것이라고 예측하고 있으며, 도로에 다니는 차량의 3분의 1이 전기차가 될것이라고 예상하고 있다.Meanwhile, on the road these days, there are a lot of electric cars and hydrogen cars with sky-blue license plates. According to Bloomberg, more than half of vehicles sold by 2040 will be electric, and a third of vehicles on the road will be electric.
전기차의 주행가능 거리인 마일리지를 늘리기 위해 차량 제조사들은 회생 제동을 적극적으로 활용하고 있다. 그런데 회생제동으로 인해 차가 미끄러져서 사고가 났다는 소식을 어렵지 않게 들을 수 있다. 회생 제동으로 뒷바퀴에 견인력을 잃었다던지 바퀴가 잠기는 증상이 발생한다 To increase the mileage, which is the driving range of electric vehicles, vehicle manufacturers are actively using regenerative braking. However, it is not difficult to hear the news that the car slipped due to regenerative braking and caused an accident. The regenerative braking causes the rear wheel to lose traction or the wheel locks.
현재 테슬라의 회생제동 설정을 보면 표준과 낮음으로 변경시킬 수는 있지만 끄는 옵션은 없다. 이러한 사고가 나는 이유는 회생제동 모듈의 제어주기가 100ms로 다른 시스템보다 긴 편이며 제조사가 회생제동 기능을 끌 수 있게 만들지 않는 이유는 차량의 이동가능 거리가 급격히 하락하기 때문이다.If you look at Tesla's current regenerative braking settings, you can change it to standard and low, but there is no option to turn it off. The reason for such an accident is that the control period of the regenerative braking module is 100ms longer than other systems, and the reason the manufacturer does not allow the regenerative braking function to be turned off is that the vehicle's moving distance is rapidly decreasing.
주행하는 노면의 상태에 따라 회생제동을 하면 가장 좋을 것 같지만 노면의 종류를 차량이 지나가기 전에 미리 알 수 없어 이러한 문제가 생긴다고 할 수 있다.It would be best to apply regenerative braking depending on the condition of the driving road surface, but it can be said that this problem occurs because the type of road surface cannot be known in advance before the vehicle passes.
한국등록특허 [10-1716270]에서는 전방 지면 상태 추정 장치 및 방법이 개시되어 있다.Korean Patent Registration [10-1716270] discloses an apparatus and method for estimating a front ground state.
한국등록특허 [10-2136576]에서는 노면 상태 측정 장치 및 노면 상태 진단 시스템가 개시되어 있다.Korean Patent Registration [10-2136576] discloses a road surface condition measurement device and a road surface condition diagnosis system.
한국등록특허 [10-2156295]에서는 초음파 신호를 이용한 노면 종류 추정 방법 및 장치가 개시되어 있다.Korean Patent Registration [10-2156295] discloses a method and apparatus for estimating a road surface type using an ultrasonic signal.
한국등록특허 [10-2207816]에서는 센서 데이터를 이용한 노면 상태 측정 방법 및 그 장치가 개시되어 있다.Korean Patent Registration [10-2207816] discloses a method and apparatus for measuring a road surface condition using sensor data.
따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 음파 신호를 송신하여 반사된 신호를 수신하고, 수신한 신호의 기설정 영역에 대하여 주파수 변환을 수행하여 얻은 주파수 도메인 신호를 인공신경망을 이용하여 학습시켜 해당 노면의 종류를 추정하도록 하는 음파의 도메인 변환을 이용한 노면 종류 추정 장치 및 그 방법을 제공하는 것이다.Therefore, the present invention has been devised to solve the above problems, and an object of the present invention is to transmit a sound wave signal, receive a reflected signal, and perform frequency conversion on a preset region of the received signal to obtain To provide an apparatus and method for estimating a road surface type using a domain transformation of sound waves for estimating the type of a corresponding road surface by learning a frequency domain signal using an artificial neural network.
본 발명의 실 시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The purpose of the embodiments of the present invention is not limited to the above-mentioned purpose, and other objects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. .
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치는, 종류를 알고자하는 해당 노면으로 음파 신호를 송신한 후, 반사된 신호를 수신하기 위한 음파 송수신부(100); 상기 수신한 신호의 시간 도메인 상의 기설정 영역에 대하여 주파수 변환을 수행하여 주파수 도메인 신호를 획득하기 위한 신호 변환기(200); 상기 주파수 도메인 신호를 입력 신호로 하고, 학습된 노면분류모델에 기반하여 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 추정하는 인공신경망(300); 및 상기 음파 송수신부, 상기 신호 변환기, 및 상기 인공신경망의 동작을 제어하는 제어부(MCU)(400)를 포함한다.In order to achieve the above object, an apparatus for estimating a road surface type using a domain transformation of a sound wave according to an embodiment of the present invention transmits a sound wave signal to a corresponding road surface for which a type is to be known, and then receives the reflected signal.
상기 신호 변환기(200)는, 상기 수신한 신호에서, 상기 음파 송수신부가 송신한 음파 신호의 크로스톡 신호는 제외하고, 상기 음파 신호의 주기마다 전송지연 이후에 수신한 기설정 시간 동안의 신호에 대하여 주파수 변환을 수행하여 상기 주파수 도메인 신호를 획득하는 것을 특징으로 한다.The
상기 인공신경망(300)은, 입력 레이어, 다수의 은닉 레이어 및 출력 레이어를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망(DNN : Deep Neural Network)인 것을 특징으로 한다.The artificial
상기 출력 레이어는, 학습한 노면의 각 종류에 대한 확률값을 출력하는 것을 특징으로 하고, 상기 인공신경망은, 소프트맥스를 이용하여, 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력하는 것을 특징으로 한다.The output layer is characterized in that it outputs a probability value for each type of the learned road surface, and the artificial neural network determines and outputs the type of the road surface having the highest probability using Softmax. .
상기 인공신경망(300)은, 대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 입력 레이어의 입력으로 사용하는 것을 특징으로 한다.The artificial
또한, 상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 방법은, 제어부의 제어에 따라, 종류를 알고자하는 해당 노면으로 음파 신호를 송신한 후, 반사된 신호를 수신하는 반사신호수신단계(S20); 상기 제어부의 제어에 따라, 상기 수신한 신호의 기설정 영역에 대하여 주파수 변환을 수행하여 주파수 도메인 신호를 획득하는 주파수도메인신호획득단계(S30); 및 상기 제어부의 제어에 따라, 상기 주파수 주파수 도메인 신호를 인공신경망(300)의 입력 신호로 하고, 학습된 노면분류모델에 기반하여, 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 결정하는 노면종류결정단계(S40)를 포함한다.In addition, in the method for estimating the type of road surface using the domain transformation of sound waves according to an embodiment of the present invention for achieving the above object, the sound wave signal is transmitted to the corresponding road surface for which the type is to be known under the control of the controller. Then, a reflected signal receiving step of receiving the reflected signal (S20); a frequency domain signal acquisition step of obtaining a frequency domain signal by performing frequency conversion on a preset region of the received signal under the control of the controller (S30); And, under the control of the controller, the frequency-frequency domain signal is the input signal of the artificial
상기 주파수도메인신호획득단계(S30)는, 상기 수신한 신호에서, 상기 송신한 음파 신호의 크로스톡 신호는 제외하고, 상기 음파 신호의 주기마다, 전송지연 이후에 수신한 기설정 시간 동안의 신호에 대하여 주파수 변환을 수행하여 주파수 도메인 신호를 획득하는 것을 특징으로 하고, 상기 주파수도메인신호획득단계(S30)는, STFT(Short-Time Fourier Transform), FFT(Fast Fourier Transform), 캡스트럼(cepstruam), 또는 웨이브렛 변환(wavelet transform)을 이용하여 상기 주파수 도메인 신호를 획득하는 것을 특징으로 한다.In the frequency domain signal acquisition step (S30), in the received signal, except for the crosstalk signal of the transmitted sound wave signal, each period of the sound wave signal, the signal for a preset time received after the transmission delay It is characterized in that the frequency domain signal is obtained by performing a frequency transformation for Alternatively, the frequency domain signal may be obtained by using a wavelet transform.
상기 음파의 도메인 변환을 이용한 노면 종류 추정 방법은, 다수 종류의 노면에 대하여, 음파 신호를 송신한 후, 반사된 신호를 수신하고 해당 신호를 주파수 도메인 신호로 변환하고, 상기 주파수 도메인 신호를 상기 인공신경망(300)에 입력하여 상기 노면분류모델을 학습시키는 학습단계(S10)를 더 포함하는 것을 특징으로 한다.In the method for estimating the type of road using the domain transformation of sound waves, after transmitting a sound wave signal to a plurality of types of road surfaces, receiving a reflected signal, converting the signal into a frequency domain signal, and converting the frequency domain signal into the artificial signal It characterized in that it further comprises a learning step (S10) of input to the
상기 인공신경망(300)은, 입력 레이어, 다수의 히든 레이어 및 출력 레이어를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망(DNN : Deep Neural Network)인 것을 특징으로 하고, 상기 출력 레이어는, 학습한 노면의 각 종류에 대한 확률값을 출력하는 것을 특징으로 하고, 상기 인공신경망은, 소프트맥스(softmax)를 이용하여, 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력하는 것을 특징으로 한다.The artificial
상기 인공신경망은, 대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 입력 레이어의 입력으로 사용하는 것을 특징으로 한다.The artificial neural network is characterized in that it receives atmospheric information (temperature, humidity, and atmospheric pressure information) and uses it as an input of the input layer.
또한, 본 발명의 일 실시예에 따르면, 상기 음파의 도메인 변환을 이용한 노면 종류 추정 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체가 제공되는 것을 특징으로 한다.In addition, according to an embodiment of the present invention, a computer-readable recording medium storing a program for implementing the method for estimating the type of road using the domain transformation of the sound wave is provided.
아울러, 본 발명의 일 실시예에 따르면, 상기 음파의 도메인 변환을 이용한 노면 종류 추정 방법을 구현하기 위해, 컴퓨터 판독 가능한 기록매체에 저장된 프로그램이 제공되는 것을 특징으로 한다.In addition, according to an embodiment of the present invention, in order to implement the method for estimating the type of road using the domain transformation of the sound wave, a program stored in a computer-readable recording medium is provided.
본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치 및 그 방법에 의하면, 음파 신호를 송신하여 반사된 신호를 수신하고, 수신한 신호의 기설정 영역에 대하여 주파수 변환을 수행하여 얻은 주파수 도메인 신호를 인공신경망을 이용하여 학습시켜 해당 노면의 종류를 추정하는 것이 가능하므로, 복잡하지 않은 구성을 통해 높은 정확도로 노면의 종류를 결정할 수 있는 효과가 있다.According to the apparatus and method for estimating the type of road using the domain transformation of sound waves according to an embodiment of the present invention, a sound wave signal is transmitted to receive a reflected signal, and a frequency conversion is performed on a preset region of the received signal, Since it is possible to estimate the type of the corresponding road surface by learning the obtained frequency domain signal using an artificial neural network, there is an effect of determining the type of the road surface with high accuracy through an uncomplicated configuration.
또한, 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치 및 그 방법에 의하면, 높은 정확도로 노면 종류 또는 노면의 상태를 결정할 수 있으므로, 얇은 얼음이 형성되는 블랙아이스의 생성 여부를 빠르게 확인할 수 있어, 해당 구간을 운행하는 운전자에게 미리 예보가 가능한 효과가 있다.Further, according to the apparatus and method for estimating the type of road surface using the domain transformation of sound waves according to an embodiment of the present invention, since the type or state of the road surface can be determined with high accuracy, whether black ice on which thin ice is formed is generated can be checked quickly, so it has the effect of being able to make a forecast in advance for the driver operating the section.
또, 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치 및 그 방법에 의하면, 가격이 저렴한 40kHz의 초음파 센서와 가벼운 알고리즘을 사용하여 노면 종류 추정 장치를 구현할 수 있으므로, 처리속도가 빠르고 경제적인 효과가 있다.In addition, according to the apparatus and method for estimating the type of road using the domain transformation of sound waves according to an embodiment of the present invention, the apparatus for estimating the type of road can be implemented using an inexpensive 40 kHz ultrasonic sensor and a light algorithm, so that the processing speed is fast and economical.
또, 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치 및 그 방법에 의하면, 신호 처리에 있어 병렬처리방식을 필요로 하지 않기 때문에 고성능의 병렬처리 장치가 필요없는 효과가 있다.In addition, according to the apparatus and method for estimating the type of road using the domain transformation of sound waves according to an embodiment of the present invention, since a parallel processing method is not required for signal processing, there is an effect that a high-performance parallel processing apparatus is not required. .
도 1은 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치의 구성도.
도 2는 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치에서 송신 신호 및 수신 신호를 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치에서 STFT 변환기를 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치에서 인공신경망을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치의 제1 실험에 대한 테스트 결과를 나타내는 도면.
도 6은 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치의 제2 실험에 대한 테스트 결과를 나타내는 도면.
도 7은 본 발명에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 방법의 일실시예 흐름도.1 is a block diagram of an apparatus for estimating a road surface type using a domain transformation of a sound wave according to an embodiment of the present invention;
2 is a diagram for explaining a transmission signal and a reception signal in the apparatus for estimating the type of road using the domain transformation of sound waves according to an embodiment of the present invention;
FIG. 3 is a view for explaining an STFT converter in an apparatus for estimating a road surface type using a domain transformation of a sound wave according to an embodiment of the present invention; FIG.
4 is a diagram for explaining an artificial neural network in an apparatus for estimating a road surface type using a domain transformation of a sound wave according to an embodiment of the present invention;
5 is a view showing test results of a first experiment of an apparatus for estimating a road surface using a domain transformation of sound waves according to an embodiment of the present invention;
6 is a view showing test results of a second experiment of an apparatus for estimating a road surface type using a domain transformation of a sound wave according to an embodiment of the present invention;
7 is a flowchart illustrating a method for estimating a road surface type using a domain transformation of sound waves according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but it is understood that other components may exist in between. it should be
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate that a feature, number, process, operation, component, part, or a combination thereof described in the specification exists, but one or more other features It is to be understood that this does not preclude the existence or addition of numbers, processes, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings. Prior to this, the terms or words used in the present specification and claims should not be construed as being limited to conventional or dictionary meanings, and the inventor should properly understand the concept of the term in order to best describe his invention. Based on the principle that can be defined, it should be interpreted as meaning and concept consistent with the technical idea of the present invention. In addition, if there is no other definition in the technical terms and scientific terms used, it has the meaning commonly understood by those of ordinary skill in the art to which this invention belongs, and the summary of the present invention in the following description and accompanying drawings Descriptions of known functions and configurations that may be unnecessarily obscure will be omitted. The drawings introduced below are provided as examples so that the spirit of the present invention can be sufficiently conveyed to those skilled in the art. Accordingly, the present invention is not limited to the drawings presented below and may be embodied in other forms. Also, like reference numerals refer to like elements throughout. It should be noted that the same components in the drawings are denoted by the same reference numerals wherever possible.
도 1은 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치의 구성도이다.1 is a block diagram of an apparatus for estimating a road surface type using a domain transformation of a sound wave according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치는, 음파 송수신부(100), 신호 변환기(200), 인공신경망(300), 및 제어부(MCU)(400)를 포함한다.As shown in FIG. 1 , the apparatus for estimating the type of road using the domain transformation of sound waves according to an embodiment of the present invention includes a
상기 음파 송수신부(100)는 종류를 알고자하는 해당 노면으로 음파 신호를 송신한 후, 반사된 신호를 수신한다.The
상기 음파 송수신부(100)는 상기 제어부(400)의 제어에 따라 송신 신호를 출력하는 음파 송신기(101), 및 상기 송신 신호가 임의의 면에 반사되어 되돌아오는 반사 신호를 수신하는 음파 수신기(102)를 포함한다.The
상기 신호 변환기(200)는 상기 수신한 신호의 시간 도메인 상의 기설정 영역에 대하여 주파수 변환을 수행하여 주파수 도메인 신호(예:스펙트로그램)를 획득한다.The
상기 신호 변환기(200)는 STFT(Short-Time Fourier Transform) 변환기, FFT(Fast Fourier Transform), 캡스트럼(cepstruam), 또는 웨이브렛 변환기(wavelet transform)가 될 수도 있다. 상기 주파수 도메인 신호(스펙트로그램)는 2D 또는 3D 일 수 있다.The
상기 인공신경망(300)은 상기 주파수 도메인 신호(스펙트로그램)를 입력 신호로 하고, 학습된 노면분류모델에 기반하여 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 추정한다.The artificial
한편, 상기 인공신경망(300)에서는 의사결정트리(decision trees), 선형판별분석(discriminant analysis), 로지스틱 회귀 분류기(logistic regression classifiers), 나이브 베이즈 분류기(Naive Bayes classifier), 서포트 벡터 머신(support vector machine), 최근접 이웃 분류기(nearest neighbor classifiers), 앙상블 분류기(ensemble classifiers)중 적어도 하나 이상을 이용하여 분류 및 학습한다.On the other hand, in the artificial
의사결정트리(decision trees)는 Fine tree, Medium tree, Coarse tree, All tree, Optimizable tree를 포함하고, 선형판별분석(discriminant analysis)은 Linear discriminant, Quadratic discriminant, All discriminants, Optimizable discriminant를 포함하고, 나이브 베이즈 분류기(Naive Bayes classifier)는 Gaussian Naive Bayes, Kernel Naive Bayes, All Naive Bayes, Optimizable Naive Bayes를 포함하고, 서포트 벡터 머신(support vector machine, SVM)은 Linear SVM, Quadratic SVM, Cubic SVM, Fine Gaussian SVM, Medium Gaussian SVM, Coarse Gaussian SVM, All SVM, Optimizable SVM을 포함하고, 최근접 이웃 분류기(nearest neighbor classifiers)는 Fine KNN, Medium KNN, Coarse KNN, Cosine KNN, Cubic KNN, Weighted KNN, All KNN, Optimizable KNN을 포함하고, 앙상블 분류기(ensemble classifiers)는 Boosted trees, Bagged trees, Subspace Discriminant, Subspace KNN, RUSBoosted trees, All Ensembles, Optimizable Ensemble을 포함한다.Decision trees include Fine tree, Medium tree, Coarse tree, All tree, and Optimizable tree, and linear discriminant analysis includes Linear discriminant, Quadratic discriminant, All discriminants, Optimizable discriminant, and naive The Naive Bayes classifier includes Gaussian Naive Bayes, Kernel Naive Bayes, All Naive Bayes, and Optimizable Naive Bayes, and the support vector machine (SVM) includes Linear SVM, Quadratic SVM, Cubic SVM, and Fine Gaussian. It includes SVM, Medium Gaussian SVM, Coarse Gaussian SVM, All SVM, and Optimizable SVM, and the nearest neighbor classifiers are Fine KNN, Medium KNN, Coarse KNN, Cosine KNN, Cubic KNN, Weighted KNN, All KNN, Includes Optimizable KNN, and ensemble classifiers include Boosted trees, Bagged trees, Subspace Discriminant, Subspace KNN, RUSBoosted trees, All Ensembles, and Optimizable Ensemble.
상기 제어부(MCU)(400)는 상기 음파 송수신부(100), 상기 신호 변환기(200), 및 상기 인공신경망(300)의 동작을 제어한다.The control unit (MCU) 400 controls the operation of the
상기 신호 변환기(200) 및 상기 인공신경망(300)은 프로그램으로 구현된 소프트웨어를 구성요소로서 표현한 것이다.The
한편, 도면에 도시되지는 않았지만, 본 발명에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치는 상기 학습된 노면분류모델 및 상기 프로그램으로 구현된 소프트웨어가 저장되는 저장소(메모리)를 포함한다. 상기 저장소(메모리)는 상기 제어부(MCU)에 포함되어 구성될 수도 있다.Meanwhile, although not shown in the drawings, the apparatus for estimating the road surface type using the domain transformation of sound waves according to the present invention includes a storage (memory) in which the learned road surface classification model and software implemented with the program are stored. The storage (memory) may be configured to be included in the control unit (MCU).
한편, 본 발명에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치는 대기중의 온도, 습도 및 기압을 측정할 수 있는 대기 센서(미도시)를 더 포함할 수 있다.Meanwhile, the apparatus for estimating the type of road using the domain conversion of sound waves according to the present invention may further include an atmospheric sensor (not shown) capable of measuring temperature, humidity, and atmospheric pressure in the atmosphere.
상기 제어부(400)의 제어에 따라 상기 온도, 습도 및 기압을 포함하는 대기 정보가 인공신경망(300)의 입력으로 전달될 수 있다.Atmospheric information including the temperature, humidity, and atmospheric pressure may be transmitted as an input of the artificial
도 2는 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치에서송신 신호 및 수신 신호를 설명하기 위한 도면이다.2 is a view for explaining a transmission signal and a reception signal in the apparatus for estimating the type of road using the domain transformation of sound waves according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 제어부(MCU)(400)에서 기설정 크기(v : trigger voltage)를 가지고 기설정된 전송 주기(p: transmission period)를 가지는 트리거 신호를 음파 송수신부(100)로 전달한다.As shown in FIG. 2 , the control unit (MCU) 400 transmits a trigger signal having a preset size (v: trigger voltage) and a preset transmission period (p: transmission period) to the
그러면, 상기 음파 송수신부(100)의 음파 송신기(101)는 40 kH를 가지는 음파 신호(201)를 종류를 알고자 하는 해당 노면으로 출력한다.Then, the
이후, 상기 음파 송수신부(100)의 음파 수신기(102)는 상기 노면에 반사되어 돌아오는 반사 신호를 수신한다.Thereafter, the
여기서, 상기 음파 신호(201)와 같은 타임 라인에 수신되는 신호(202)는 상기 음파 송수신부(100)가 송신한 음파 신호의 크로스톡 신호이다. 또한, 상기 제어부(400)는 전송지연 이후에 수신한 진폭(amplitude)이 가장 큰 지점부터 기설정 시간 동안의 신호(203)를 수신 신호로 결정한다.Here, the
예를 들어, 크로스톡 신호 이후에 수신한 신호의 진폭이 가장 큰 시점을 t_0라 할 때, t_0 - a [ms] 부터 t_0 + b [ms] 까지 총 (a+b) ms를 관찰 할 수 있으며, 도 2의 수신신호(203)는 a 가 0.2 이고, b가 5 이다. 물론 환경이나 조건에 따라 a 와 b는 조절이 가능하다.For example, assuming that t_0 is the point at which the amplitude of the signal received after the crosstalk signal is greatest, a total of (a+b) ms can be observed from t_0 - a [ms] to t_0 + b [ms]. , in the received
여기서는, 송신된 음파 신호가 충분히 사라질 때까지의 시간인 10ms를 1 전송 주기로 하였고, 음파 송수신부(100)의 샘플링 주파수는 40kHz 음파 주파수의 25배로 샘플링하는 1M Hz 로 하였다.Here, 10 ms, which is the time until the transmitted sound wave signal sufficiently disappears, was set as one transmission period, and the sampling frequency of the
한편, 전술한 바와 같이, 전송 주기에 따라 다수의 수신된 신호를 감지하여 노면의 상태를 감지할 수도 있고, 음파를 1회 송신 후 수신된 1회의 반사 신호를 처리하여 노면의 상태를 감지할 수도 있다.Meanwhile, as described above, the state of the road surface may be detected by detecting a plurality of received signals according to the transmission period, and the state of the road surface may be detected by transmitting the sound wave once and processing the received reflected signal once. there is.
도 3은 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치에서 신호 변환기를 설명하기 위한 도면이다.3 is a diagram for explaining a signal converter in an apparatus for estimating a type of road using a domain transformation of a sound wave according to an embodiment of the present invention.
도 3에서는 신호 변환기(200)로 STFT 변환기를 사용한 것을 예로 들어 설명하기로 한다.In FIG. 3 , the STFT converter is used as the
도 3에 도시된 바와 같이, STFT 변환기는 도 2에서 수신한 반사 신호 중 상기 음파 송수신부(100)가 송신한 음파 신호의 크로스톡 신호(202)는 제외하고, 전송지연 이후에 수신한 기설정 시간 동안의 신호(203, 301)에 대하여 쇼트타임푸리에변환(Short-Time Fourier Transform)하여 2D 스펙트로그램(302)을 획득한다.As shown in FIG. 3, the STFT converter excludes the
1주기 동안의 신호(203)를 푸리에변환할 수도 있고, 다주기 동안의 수신 신호를 푸리에변환할 수도 있다.The
본 발명에서는 음향 임피던스와 표면 거칠기 정보 등을 이용하여 재질을 구분한다. 그런데, 음향 임피던스는 상수가 아니라 음파가 진동하는 주파수마다 그 값이 달라진다. 따라서 주파수 도메인에서의 분석이 필요하다. 타임 도메인의 수신 신호를 주파수 도메인 신호로 변환하기 위한 여러 가지 방법 중 한 가지 방법인 푸리에변환(Time Fourier Transform)을 사용할 수 있는데, 매 시간(샘플링 시간)마다의 FFT를 확인하기 위해 쇼트타임푸리에변환(Short-Time Fourier Transform)를 사용한다.In the present invention, materials are classified using acoustic impedance and surface roughness information. However, the acoustic impedance is not a constant, but varies according to the frequency at which the sound wave vibrates. Therefore, analysis in the frequency domain is required. Time Fourier Transform, which is one of several methods for transforming a received signal in the time domain into a frequency domain signal, can be used. In order to check the FFT for every time (sampling time), the Short Time Fourier Transform (Short-Time Fourier Transform) is used.
또한, 쇼트타임푸리에변환(Short-Time Fourier Transform) 뿐만 아니라 웨이브렛(Wavelet) 등을 사용하여 주파수 분석이 가능하며, 본 발명에서는 계산량을 줄이는 동시에 충분한 데이터를 확보하기 위해 STFT를 이용하는 것으로 설명하였다.In addition, frequency analysis is possible using not only the Short-Time Fourier Transform but also a wavelet, and the present invention has been described as using the STFT to reduce the amount of computation and secure sufficient data.
쇼트타임푸리에변환(STFT)은 기존 푸리에 변환에서 해결하지 못했던 시간에 대한 변화를 고려하기 위해 고안된 방법이다. STFT는 시간에 따라 변화하는 긴 신호를 짧은 시간 단위로 분할한 다음에 푸리에 변환을 적용하는 것이다.The Short-Time Fourier Transform (STFT) is a method devised to consider changes with respect to time, which cannot be solved by the existing Fourier transform. STFT is to apply a Fourier transform after dividing a long signal that changes with time into short time units.
그러나 STFT도 단점은 존재한다. 신호를 윈도우 길이(Window length)에 따라서 분리시키기 때문에 푸리에 변환에 사용되는 신호의 길이를 감소시키고 이에 따라 주파수의 해상도(Resolution)가 악화된다. 그렇다고 윈도우 길이(Window length)를 증가시켜 주파수의 해상도를 향상시켜도 시간 해상도(Resolution)는 반대로 악화된다. 이러한 주파수와 시간의 트레이드 오프(Trade off) 관계로 인한 해상도의 한계를 극복하기 위해 웨이브렛 변환(Wavelet Transform)이 등장했다.However, STFT also has disadvantages. Since the signal is separated according to the window length, the length of the signal used for the Fourier transform is reduced, and thus the resolution of the frequency is deteriorated. However, even if the frequency resolution is improved by increasing the window length, the temporal resolution is adversely deteriorated. In order to overcome the limitation of resolution due to the trade-off relationship between frequency and time, a wavelet transform has emerged.
STFT에서 Window length가 정해져 있었다면, WT은 Window length를 바꿔가면서 여러번 STFT를 하는 것이다. 또한, STFT에서 기본함수로서 시간적으로 무한대로 확장되는 사인곡선을 사용한다면, 웨이브렛은 유한기간동안 존재하는 여러 종류의 함수가 있다. 웨이블릿 함수로는 Morlet, Daubechies, Coiflets, Biorthogonal, Mexican Hat, 및 Symlets 등이 있다.If the window length is fixed in STFT, the WT performs STFT several times while changing the window length. Also, if a sinusoid that extends to infinity in time is used as a basic function in STFT, wavelet has several types of functions that exist for a finite period. Wavelet functions include Morlet, Daubechies, Coiflets, Biorthogonal, Mexican Hat, and Symlets.
도 4는 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치에서 인공신경망을 설명하기 위한 도면이다.4 is a diagram for explaining an artificial neural network in an apparatus for estimating a road surface type using a domain transformation of a sound wave according to an embodiment of the present invention.
도 4에 도시된 바와 같이, 인공신경망(300)은, 입력 레이어(401), 다수의 은닉 레이어(402) 및 출력 레이어(403)를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망(DNN : Deep Neural Network)이다.As shown in Figure 4, the artificial
상기 입력 레이어(401)는 상기 스펙트로그램(302)의 데이터를 플랫튼시켜 1D로 입력받는다.The
상기 입력 레이어(401)로 입력되는 데이터는 다수의 은닉 레이어(402)를 통해 특성 추출 및 분류된다.Data input to the
상기 출력 레이어(403)는 학습한 노면의 각 종류 대한 확률값을 출력한다.The
상기 인공신경망(400)은 소프트맥스(404)를 이용하여, 상기 출력 레이어(403)로부터 출력되는 확률값들 중에서 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력한다.The artificial
한편, 상기 인공신경망(300)은, 대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 입력 레이어(401)의 입력으로도 사용할 수 있다.Meanwhile, the artificial
또한, 상기 인공신경망(300)은, 상기 노면으로 송신한 음파 신호(201)를 푸리에변환하여 상기 입력 레이어(401)의 입력으로도 사용할 수 있다.Also, the artificial
도 5는 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치의 제1 실험에 대한 테스트 결과를 나타내는 도면이다.5 is a diagram illustrating a test result of a first experiment of an apparatus for estimating a road surface using a domain transformation of a sound wave according to an embodiment of the present invention.
제1 실험은 4가지 시편의 재질분류에 대하여 테스트 하였다.In the first experiment, the material classification of four specimens was tested.
4개의 시편은 알루미늄(Aluminum), 스틸(Steel), PVC 및 아크릴을 포함한다.The four specimens include aluminum, steel, PVC and acrylic.
학습에는 5분 미만이 소요되었으며, 테스트에는 데이터 셋당 86 마이크로세컨드(㎲)가 소요되었다.Training took less than 5 minutes and testing took 86 microseconds (μs) per data set.
정확도는 98%이고, 아크릴의 데이터셋 253개 중 13개가 PVC로 오분류되었고, PVC는 453개 중 7개가 오분류되었다. 이것은 표면 거칠기가 다소 비슷하여 나타난 결과이며, 최종적으로, 94%이상의 재질 분류 정확도를 보여준다.The accuracy was 98%, and 13 out of 253 datasets of acrylic were misclassified as PVC, and 7 out of 453 were misclassified as PVC. This is the result that the surface roughness is somewhat similar, and finally, it shows the material classification accuracy of 94% or more.
도 6은 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 장치의 제2 실험에 대한 테스트 결과를 나타내는 도면이다.6 is a diagram illustrating a test result of a second experiment of an apparatus for estimating a road surface type using a domain transformation of a sound wave according to an embodiment of the present invention.
제2 실험은, 노면의 종류를 9가지로 분류하여 노면분류모델을 학습 및 테스트하였다.In the second experiment, the road surface classification model was learned and tested by classifying 9 types of road surfaces.
상기 학습한 노면의 종류는, 아스팔트(asphalt), 시멘트(cement), 흙(dirt), 얼음(ice), 대리석(marble), 페인트(paint), 눈(snow), 슬러시(녹은 눈, slush), 및 물(water)을 포함한다.The learned road surface types are asphalt, cement, dirt, ice, marble, paint, snow, slush. , and water.
학습된 노면분류모델은 약 6400개의 데이터 셋에 대해서 99% 이상의 정확도를 나타내었다.The learned road surface classification model showed more than 99% accuracy for about 6,400 data sets.
페인트 노면의 정확도가 94%대로 가장 낮게 나왔는데, 오분류된 데이터는 아스팔트로 많이 분류되었다. 한편, 노면의 종류(상태) 판단을 위해 가장 중요하게 생각했던 얼음, 슬러시, 및 눈 노면에 대해서는 100%의 성능을 보여준다.The accuracy of the painted road surface was the lowest at 94%, but the misclassified data was mostly classified as asphalt. On the other hand, it shows 100% performance for ice, slush, and snow road surfaces, which were considered the most important for determining the type (state) of the road surface.
학습된 노면분류모델에 새로운 데이터셋이 한 개 입력될 경우, 퍼스널컴퓨터(PC)기준으로 스펙트로그램으로의 변환에 2.7 밀리세컨드(㎳), 그리고 인공신경망의 출력을 얻는데 86 마이크로세컨드(㎲)가 소요되었다.When one new dataset is input to the learned road surface classification model, it takes 2.7 milliseconds (㎳) to convert to a spectrogram based on a personal computer (PC), and 86 microseconds (㎲) to obtain the output of an artificial neural network. It took
도 7은 본 발명에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 방법의 일실시예 흐름도이다.7 is a flowchart illustrating a method for estimating a road surface type using a domain transformation of a sound wave according to an embodiment of the present invention.
먼저, 본 발명에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 방법을 수행하기 위해서는 먼저 학습단계(S10)가 선행되어 노면분류모델이 생성되어 있어야 한다.First, in order to perform the method for estimating the road surface type using the domain transformation of sound waves according to the present invention, the learning step S10 must be preceded and a road surface classification model must be generated.
학습단계(S10)에서는, 다수 종류의 노면에 대하여, 음파 신호를 송신한 후, 반사된 신호를 수신하고 해당 신호를 주파수 도메인 신호(예: 스펙트로그램)로 변환하고, 상기 주파수 도메인 신호(스펙트로그램)를 상기 인공신경망(300)에 입력하여 상기 노면분류모델을 학습시킨다.In the learning step (S10), after transmitting a sound wave signal to a plurality of types of road surfaces, a reflected signal is received and the signal is converted into a frequency domain signal (eg, a spectrogram), and the frequency domain signal (spectrogram) ) is input to the artificial
여기서, 주파수 도메인의 주파수 도메인 신호로 변환하기 위하여 STFT(Short-Time Fourier Transform) 변환기, FFT(Fast Fourier Transform), 캡스트럼(cepstruam), 또는 웨이브렛 변환기(wavelet transform)를 사용할 수 있다. 상기 주파수 도메인 신호는 2D 또는 3D 일 수 있다.Here, in order to convert the frequency domain signal into a frequency domain signal, a Short-Time Fourier Transform (STFT) transformer, a Fast Fourier Transform (FFT), a cepstruam, or a wavelet transform may be used. The frequency domain signal may be 2D or 3D.
이후, 제어부(400)의 제어에 따라, 종류를 알고자하는 해당 노면으로 음파 신호를 송신한 후, 반사된 신호를 수신한다(S20).Thereafter, under the control of the
이후, 상기 제어부(400)의 제어에 따라, 상기 수신한 신호의 기설정 영역에 대하여 신호 변환을 수행하여 주파수 도메인 신호를 획득한다(S30).Thereafter, under the control of the
상기 주파수도메인신호획득단계(S30)에서는, 상기 수신한 신호에서, 상기 송신한 음파 신호의 크로스톡 신호는 제외하고, 상기 음파 신호의 주기마다, 전송지연 이후에 수신한 기설정 시간 동안의 신호에 대하여 도메인 변환하여 상기 주파수 도메인 신호를 획득한다.In the frequency domain signal acquisition step (S30), in the received signal, the crosstalk signal of the transmitted sound wave signal is excluded, and in each period of the sound wave signal, the signal for a preset time received after the transmission delay is applied. The frequency domain signal is obtained by performing domain transformation.
이후, 상기 제어부(400)의 제어에 따라, 상기 상기 주파수 도메인 신호를 인공신경망의 입력 신호로 하고, 학습된 노면분류모델에 기반하여, 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 결정한다(S40).Thereafter, under the control of the
상기 인공신경망(300)은, 입력 레이어(401), 다수의 히든 레이어(402) 및 출력 레이어(403)를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망(DNN : Deep Neural Network)이며, 상기 출력 레이어(403)는, 학습한 노면의 각 종류에 대한 확률값을 출력하고, 상기 인공신경망은, 소프트맥스(softmax)(404)를 이용하여, 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력한다.The artificial
상기 인공신경망(300)은, 대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 입력 레이어의 입력으로도 사용할 수 있다.The artificial
또한, 상기 인공신경망(300)은, 상기 노면으로 송신한 음파 신호를 푸리에변환하여 상기 입력 레이어의 입력으로도 사용할 수 있다.Also, the artificial
이상에서 본 발명의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 방법에 대하여 설명하였지만, 음파의 도메인 변환을 이용한 노면 종류 추정 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 및 음파의 도메인 변환을 이용한 노면 종류 추정 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 프로그램 역시 구현 가능함은 물론이다.Although the method for estimating the road surface type using the domain transformation of sound waves according to an embodiment of the present invention has been described above, a computer-readable recording medium storing a program for implementing the method for estimating the road surface type using the domain transformation of sound waves Of course, a program stored in a computer-readable recording medium for implementing a method of estimating a road surface using domain transformation can also be implemented.
즉, 상술한 음파의 도메인 변환을 이용한 노면 종류 추정 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 다시 말해, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.That is, those skilled in the art can easily understand that the above-described method for estimating the type of road using the domain conversion of sound waves may be provided by being included in a computer-readable recording medium by tangibly implementing a program of instructions for implementing the method. There will be. In other words, it may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and used by those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and floppy disks. magneto-optical media, and hardware devices specially configured to store and carry out program instructions, such as ROM, RAM, flash memory, USB memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present invention as claimed in the claims.
100: 음파 송수신부
101: 음파 송신기 102: 음파 수신기
200: 신호 변환기 300: 인공신경망
400: 제어부(MCU)
S10: 학습단계
S20: 반사파수신단계
S30: 주파수도메인신호획득단계
S40: 노면종류결정단계100: sound wave transceiver
101: sound wave transmitter 102: sound wave receiver
200: signal converter 300: artificial neural network
400: control unit (MCU)
S10: Learning stage
S20: reflected wave receiving step
S30: Frequency domain signal acquisition step
S40: road surface type determination step
Claims (10)
종류를 알고자하는 해당 노면으로 음파 신호를 송신한 후, 반사된 신호를 수신하기 위한 음파 송수신부(100);
상기 수신한 신호의 시간 도메인 상의 기설정 영역에 대하여 주파수 변환을 수행하여 주파수 도메인 신호를 획득하기 위한 신호 변환기(200);
상기 주파수 도메인 신호를 입력 신호로 하고, 학습된 노면분류모델에 기반하여 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 추정하는 인공신경망(300); 및
상기 음파 송수신부, 상기 신호 변환기, 및 상기 인공신경망의 동작을 제어하는 제어부(MCU)(400)
를 포함하고,
상기 신호 변환기(200)는,
상기 수신한 신호에서, 상기 음파 송수신부가 송신한 음파 신호의 크로스톡 신호는 제외하고, 상기 음파 신호의 주기마다 전송지연 이후에 수신한 기설정 시간 동안의 신호에 대하여 주파수 변환을 수행하여 상기 주파수 도메인 신호를 획득하는 것을 특징으로 하되,
상기 크로스톡 신호 이후에 수신한 신호의 진폭이 가장 큰 시점을 t_0라 할 때, t_0 - a [ms] 부터 t_0 + b [ms] 까지 총 (a+b) ms를 변환하는 것을 특징으로 하며,
상기 “t_0 - a” 의 시점이 상기 크로스톡 신호의 종료 시점 이후인 것을 특징으로 하는 음파의 도메인 변환을 이용한 노면 종류 추정 장치.
In the road surface type estimation apparatus using the domain transformation of sound waves,
a sound wave transceiver 100 for transmitting a sound wave signal to a corresponding road surface for which a type is to be known, and then receiving a reflected signal;
a signal converter 200 for obtaining a frequency domain signal by performing frequency conversion on a preset region on the time domain of the received signal;
an artificial neural network 300 using the frequency domain signal as an input signal, extracting and classifying characteristics of the input signal based on a learned road surface classification model, and estimating the type of road surface; and
A control unit (MCU) 400 for controlling the operation of the sound wave transceiver, the signal converter, and the artificial neural network
including,
The signal converter 200,
In the received signal, except for the crosstalk signal of the sound wave signal transmitted by the sound wave transceiver, frequency conversion is performed on the signal for a preset time received after the transmission delay in each period of the sound wave signal to perform the frequency domain Characterized in acquiring a signal,
It is characterized in that a total (a+b) ms is converted from t_0 - a [ms] to t_0 + b [ms] when the time point at which the amplitude of the signal received after the crosstalk signal is greatest is t_0,
The apparatus for estimating the type of road using the domain transformation of sound waves, characterized in that the time point of “t_0 - a” is after the end time of the crosstalk signal.
상기 인공신경망(300)은,
입력 레이어, 다수의 은닉 레이어 및 출력 레이어를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망(DNN : Deep Neural Network)인 것을 특징으로 하는 음파의 도메인 변환을 이용한 노면 종류 추정 장치.
According to claim 1,
The artificial neural network 300 is
A road surface type estimation apparatus using domain transformation of sound waves, characterized in that it is a deep neural network (DNN) of a multi-layer perceptron algorithm including an input layer, a plurality of hidden layers, and an output layer.
상기 출력 레이어는,
학습한 노면의 각 종류에 대한 확률값을 출력하는 것을 특징으로 하고,
상기 인공신경망은,
소프트맥스를 이용하여, 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력하는 것을 특징으로 하는 음파의 도메인 변환을 이용한 노면 종류 추정 장치.
4. The method of claim 3,
The output layer is
Characterized in outputting a probability value for each type of the learned road surface,
The artificial neural network is
An apparatus for estimating a road surface type using a domain transformation of sound waves, characterized in that it determines and outputs the type of road surface having the highest probability by using Softmax.
상기 인공신경망(300)은,
대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 입력 레이어의 입력으로 사용하는 것을 특징으로 하는 음파의 도메인 변환을 이용한 노면 종류 추정 장치.
4. The method of claim 3,
The artificial neural network 300 is
A road surface type estimation apparatus using a domain transformation of sound waves, characterized in that receiving atmospheric information (temperature, humidity, atmospheric pressure information) and using it as an input of the input layer.
제어부의 제어에 따라, 종류를 알고자하는 해당 노면으로 음파 신호를 송신한 후, 반사된 신호를 수신하는 반사신호수신단계(S20);
상기 제어부의 제어에 따라, 상기 수신한 신호의 기설정 영역에 대하여 주파수 변환을 수행하여 주파수 도메인 신호를 획득하는 주파수도메인신호획득단계(S30); 및
상기 제어부의 제어에 따라, 상기 주파수 도메인 신호를 인공신경망(300)의 입력 신호로 하고, 학습된 노면분류모델에 기반하여, 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 결정하는 노면종류결정단계(S40)
를 포함하고,
상기 주파수도메인신호획득단계(S30)는,
상기 수신한 신호에서, 상기 송신한 음파 신호의 크로스톡 신호는 제외하고, 상기 음파 신호의 주기마다, 전송지연 이후에 수신한 기설정 시간 동안의 신호에 대하여 주파수 변환을 수행하여 주파수 도메인 신호를 획득하는 것을 특징으로 하되,
상기 크로스톡 신호 이후에 수신한 신호의 진폭이 가장 큰 시점을 t_0라 할 때, t_0 - a [ms] 부터 t_0 + b [ms] 까지 총 (a+b) ms를 변환하는 것을 특징으로 하며,
상기 “t_0 - a” 의 시점이 상기 크로스톡 신호의 종료 시점 이후인 것을 특징으로 하는 음파의 도메인 변환을 이용한 노면 종류 추정 방법.
In the method for estimating the type of road surface using the domain transformation of sound waves,
a reflected signal receiving step (S20) of transmitting a sound wave signal to a corresponding road surface for which a type is to be known under the control of the controller and receiving the reflected signal;
a frequency domain signal acquisition step of obtaining a frequency domain signal by performing frequency conversion on a preset region of the received signal under the control of the controller (S30); and
Using the frequency domain signal as an input signal of the artificial neural network 300 under the control of the controller, extracting and classifying characteristics of the input signal based on the learned road surface classification model to determine the type of the road surface Road surface type determination step (S40)
including,
The frequency domain signal acquisition step (S30),
In the received signal, except for the crosstalk signal of the transmitted sound wave signal, frequency conversion is performed on the signal for a preset time received after the transmission delay at each period of the sound wave signal to obtain a frequency domain signal It is characterized by
It is characterized in that a total (a+b) ms is converted from t_0 - a [ms] to t_0 + b [ms] when the time point at which the amplitude of the signal received after the crosstalk signal is greatest is t_0,
The method for estimating the type of road using the domain transformation of sound waves, characterized in that the time point of “t_0 - a” is after the end time of the crosstalk signal.
상기 주파수도메인신호획득단계(S30)는,
STFT(Short-Time Fourier Transform), FFT(Fast Fourier Transform), 캡스트럼(cepstruam), 또는 웨이브렛 변환(wavelet transform)을 이용하여 상기 주파수 도메인 신호를 획득하는 것을 특징으로 하는 음파의 도메인 변환을 이용한 노면 종류 추정 방법.
7. The method of claim 6,
The frequency domain signal acquisition step (S30),
Using a domain transformation of sound waves, characterized in that the frequency domain signal is obtained using Short-Time Fourier Transform (STFT), Fast Fourier Transform (FFT), cepstruam, or wavelet transform Method of estimating the type of road surface.
다수 종류의 노면에 대하여, 음파 신호를 송신한 후, 반사된 신호를 수신하고 해당 신호를 주파수 도메인 신호로 변환하고, 상기 주파수 도메인 신호를 상기 인공신경망(300)에 입력하여 상기 노면분류모델을 학습시키는 학습단계(S10)
를 더 포함하는 것을 특징으로 하는 음파의 도메인 변환을 이용한 노면 종류 추정 방법.
7. The method of claim 6,
After transmitting a sound wave signal to a plurality of types of road surfaces, a reflected signal is received, the signal is converted into a frequency domain signal, and the frequency domain signal is input to the artificial neural network 300 to learn the road surface classification model. learning step (S10)
A road surface type estimation method using a domain transformation of sound waves, characterized in that it further comprises a.
상기 인공신경망(300)은,
입력 레이어, 다수의 히든 레이어 및 출력 레이어를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망(DNN : Deep Neural Network)인 것을 특징으로 하고,
상기 출력 레이어는,
학습한 노면의 각 종류에 대한 확률값을 출력하는 것을 특징으로 하고,
상기 인공신경망은,
소프트맥스(softmax)를 이용하여, 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력하는 것을 특징으로 하는 음파의 도메인 변환을 이용한 노면 종류 추정 방법.
9. The method of claim 8,
The artificial neural network 300 is
It is characterized in that it is a deep neural network (DNN) of a multi-layer perceptron algorithm including an input layer, a plurality of hidden layers, and an output layer,
The output layer is
Characterized in outputting a probability value for each type of the learned road surface,
The artificial neural network is
A method of estimating a road surface type using a domain transformation of sound waves, characterized in that the type of the road having the highest probability is determined and output by using a softmax.
상기 인공신경망은,
대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 입력 레이어의 입력으로 사용하는 것을 특징으로 하는 음파의 도메인 변환을 이용한 노면 종류 추정 방법.10. The method of claim 9,
The artificial neural network is
A road surface type estimation method using a domain transformation of sound waves, characterized in that receiving atmospheric information (temperature, humidity, atmospheric pressure information) and using it as an input of the input layer.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210158459A KR102397312B1 (en) | 2021-11-17 | 2021-11-17 | Apparatus for estimating of road surface type using domain transformation of sound waves and method thereof |
| PCT/KR2022/017680 WO2023090758A1 (en) | 2021-11-17 | 2022-11-11 | Apparatus for estimating type of and managing road surface using sound wave signal, and method therefor |
| CA3229412A CA3229412A1 (en) | 2021-11-17 | 2022-11-11 | A device and method for estimating and managing road surface types using sound signals. |
| US18/439,766 US20240183117A1 (en) | 2021-11-17 | 2024-02-13 | Device and method for estimating and managing road surface types using sound signals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210158459A KR102397312B1 (en) | 2021-11-17 | 2021-11-17 | Apparatus for estimating of road surface type using domain transformation of sound waves and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR102397312B1 true KR102397312B1 (en) | 2022-05-12 |
| KR102397312B9 KR102397312B9 (en) | 2023-03-23 |
Family
ID=81590545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210158459A KR102397312B1 (en) | 2021-11-17 | 2021-11-17 | Apparatus for estimating of road surface type using domain transformation of sound waves and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102397312B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023090758A1 (en) * | 2021-11-17 | 2023-05-25 | 주식회사 모바휠 | Apparatus for estimating type of and managing road surface using sound wave signal, and method therefor |
| KR20240053381A (en) | 2022-10-17 | 2024-04-24 | 주식회사 모바휠 | Road infrastructure sensor construction structure and its construction method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160135238A (en) * | 2014-03-17 | 2016-11-25 | 퀄컴 인코포레이티드 | Systems, methods, and apparatus for radar-based detection of objects in a predetermined space |
| KR101716270B1 (en) | 2015-12-03 | 2017-03-14 | 한국과학기술원 | The front ground state estimation apparatus and method |
| KR20200026146A (en) * | 2018-08-29 | 2020-03-10 | 한국과학기술원 | Method and apparatus for estimation of tire-road type by using ultrasonic signal |
| KR102136576B1 (en) | 2019-01-17 | 2020-07-22 | 부산대학교 산학협력단 | Road surface condition measuring device and road surface condition diagnosis system |
| KR102207816B1 (en) | 2020-08-11 | 2021-01-26 | 주식회사 알고씽 | Method and apparatus for measuring road surface condition using sensor data |
| KR20210116038A (en) * | 2020-03-17 | 2021-09-27 | 인하대학교 산학협력단 | Electronic device to monitor load surface in real time and operating method thereof, and system comprising the same |
-
2021
- 2021-11-17 KR KR1020210158459A patent/KR102397312B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160135238A (en) * | 2014-03-17 | 2016-11-25 | 퀄컴 인코포레이티드 | Systems, methods, and apparatus for radar-based detection of objects in a predetermined space |
| KR101716270B1 (en) | 2015-12-03 | 2017-03-14 | 한국과학기술원 | The front ground state estimation apparatus and method |
| KR20200026146A (en) * | 2018-08-29 | 2020-03-10 | 한국과학기술원 | Method and apparatus for estimation of tire-road type by using ultrasonic signal |
| KR102156295B1 (en) | 2018-08-29 | 2020-09-15 | 한국과학기술원 | Method and apparatus for estimation of tire-road type by using ultrasonic signal |
| KR102136576B1 (en) | 2019-01-17 | 2020-07-22 | 부산대학교 산학협력단 | Road surface condition measuring device and road surface condition diagnosis system |
| KR20210116038A (en) * | 2020-03-17 | 2021-09-27 | 인하대학교 산학협력단 | Electronic device to monitor load surface in real time and operating method thereof, and system comprising the same |
| KR102207816B1 (en) | 2020-08-11 | 2021-01-26 | 주식회사 알고씽 | Method and apparatus for measuring road surface condition using sensor data |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023090758A1 (en) * | 2021-11-17 | 2023-05-25 | 주식회사 모바휠 | Apparatus for estimating type of and managing road surface using sound wave signal, and method therefor |
| KR20240053381A (en) | 2022-10-17 | 2024-04-24 | 주식회사 모바휠 | Road infrastructure sensor construction structure and its construction method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102397312B9 (en) | 2023-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102415195B1 (en) | Apparatus for estimating of road surface type using atmospheric attenuation corrected sound wave and method thereof | |
| KR102397312B1 (en) | Apparatus for estimating of road surface type using domain transformation of sound waves and method thereof | |
| CN111507233B (en) | Multi-mode information fusion intelligent vehicle pavement type identification method | |
| George et al. | Vehicle detection and classification from acoustic signal using ANN and KNN | |
| US9664779B2 (en) | Object classification for vehicle radar systems | |
| Vij et al. | Smartphone based traffic state detection using acoustic analysis and crowdsourcing | |
| George et al. | Exploring sound signature for vehicle detection and classification using ANN | |
| US9858813B2 (en) | Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same | |
| JP2004168286A (en) | Road surface state estimator, road surface friction state estimator, road surface state physical quantity arithmetic unit and road surface state annunciator | |
| Kalliris et al. | Machine learning algorithms for wet road surface detection using acoustic measurements | |
| US9733346B1 (en) | Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same | |
| Nandwana et al. | Towards Smart-Cars That Can Listen: Abnormal Acoustic Event Detection on the Road. | |
| JP2013541696A (en) | Human identification device and identification method | |
| JP2024508909A (en) | A method for classifying objects in automotive grade radar signals | |
| Mato-Méndez et al. | Blind separation to improve classification of traffic noise | |
| Evans | Automated vehicle detection and classification using acoustic and seismic signals | |
| CN113640768A (en) | Low-resolution radar target identification method based on wavelet transformation | |
| KR102656603B1 (en) | Apparatus for estimating of road surface type using velocity estimation of moving object and method thereof | |
| KR102638589B1 (en) | Apparatus for estimating of road surface type using pre-installed sensor of vehicle and method thereof | |
| KR102505159B1 (en) | Apparatus for estimating of road surface type using sound waves and method thereof | |
| Choudhury et al. | Review of emergency vehicle detection techniques by acoustic signals | |
| Kubo et al. | Design of ultra low power vehicle detector utilizing discrete wavelet transform | |
| KR102677833B1 (en) | Apparatus for estimating of road surface type using continuous signals and method thereof | |
| Astapov et al. | A multistage procedure of mobile vehicle acoustic identification for single-sensor embedded device | |
| KR102671468B1 (en) | Apparatus for estimating of road surface type considering speed and 3-axis acceleration of vehicle and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |