KR102677833B1 - Apparatus for estimating of road surface type using continuous signals and method thereof - Google Patents

Abstract

본 발명은 연속된 신호를 이용한 노면 종류 추정 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 하나의 음파 신호를 송신하여 반사되는 신호를 이용하여 노면의 종류를 추정하는 방식과 달리, 연속된 음파 신호를 송신하여 반사되는 연속된 신호를 수신하여, 수신한 연속된 신호에 대하여 인공신경망을 이용하여 학습시켜 해당 노면의 종류를 추정하도록 하는 연속된 신호를 이용한 노면 종류 추정 장치 및 그 방법을 제공한다.The present invention relates to a road surface type estimation device and method using a continuous signal. More specifically, unlike the method of transmitting a single sound wave signal and estimating the road surface type using a reflected signal, a continuous sound wave signal is provided. Provides a road surface type estimation device and method using continuous signals that transmit and receive reflected continuous signals, and learn the received continuous signals using an artificial neural network to estimate the type of road surface.

Description

연속된 신호를 이용한 노면 종류 추정 장치 및 그 방법{APPARATUS FOR ESTIMATING OF ROAD SURFACE TYPE USING CONTINUOUS SIGNALS AND METHOD THEREOF}Road surface type estimation device and method using continuous signals {APPARATUS FOR ESTIMATING OF ROAD SURFACE TYPE USING CONTINUOUS SIGNALS AND METHOD THEREOF}

본 발명은 연속된 신호를 이용한 노면 종류 추정 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 하나의 음파 신호를 송신하여 반사되는 신호를 이용하여 노면의 종류를 추정하는 방식과 달리, 연속된 음파 신호를 송신하여 반사되는 연속된 신호를 수신하여, 수신한 연속된 신호에 대하여 인공신경망을 이용하여 학습시켜 해당 노면의 종류를 추정하도록 하는 연속된 신호를 이용한 노면 종류 추정 장치 및 그 방법에 관한 것이다.The present invention relates to a road surface type estimation device and method using a continuous signal. More specifically, unlike the method of transmitting a single sound wave signal and estimating the road surface type using a reflected signal, a continuous sound wave signal is provided. It relates to an apparatus and method for estimating the type of road surface using a continuous signal, which transmits and receives a reflected continuous signal and learns the received continuous signal using an artificial neural network to estimate the type of the road surface.

미국에서는 매년 600 만건 내외의 교통사고가 발생한다. 특히, 노면의 미끄러움만으로 미국에서만 한해 평균 120 만건 이상의 사고가 발생하고, 이러한 사고로 매년 5000명 이상이 사망하고 있다. 이에, 노면의 미끄러움은 국가와 보험사에 큰 부담으로 작용하는 하나의 사회적 문제로 대두되고 있다.In the United States, approximately 6 million traffic accidents occur every year. In particular, more than 1.2 million accidents occur on average each year in the United States alone due to slippery road surfaces, and more than 5,000 people die every year from these accidents. Accordingly, the slipperiness of road surfaces is emerging as a social problem that places a great burden on the government and insurance companies.

한국도 예외는 아니다. 매년 겨울철마다 블랙아이스 사고가 발생하며, 최근 5년간 6,500 건이 발생했으며, 사망자수는 200 여명에 달한다.Korea is no exception. Black ice accidents occur every winter, with 6,500 cases occurring over the past five years and the number of deaths reaching approximately 200.

우리나라에서 융설 과정은 4단계로 이뤄지고 있는데, 이 모든 과정의 전달이 사람에 의해 수동적으로 전달되고 있으며, 최종 단계까지 전달될 때까지 수 시간이 소요된다. 지난번 상주영천고속도로의 블랙아이스 사고의 경우도, 담당공무원이 예보를 확인했지만 사전 융설을 요청하지 않아 발생한 인재였다.In Korea, the snow melting process is carried out in four stages, and all of these processes are carried out manually by humans, and it takes several hours to reach the final stage. In the case of the last black ice accident on the Sangju-Yeongcheon Expressway, it was a man-made disaster that occurred because the official in charge checked the forecast but did not request snow melting in advance.

이러한 사고는 노면의 상태를 실시간으로 감지할 수 있는 센서 및 이를 이용한 알림 시스템의 부재로 인한 것이다.These accidents are due to the absence of sensors that can detect the condition of the road surface in real time and a notification system using them.

한편, 지금까지 노면의 종류나 노면의 마찰계수를 추정하는 방법으로 제안 된 방법으로는 크게 두 가지가 있다.Meanwhile, there are two major methods proposed so far to estimate the type of road surface or the friction coefficient of the road surface.

하나는 직접적 방법으로 물리적인 마찰을 일으켜서 알아내는 방법이고, 다른 하나는 간접적 방법으로 전파나 음파를 이용하는 방법이다.One is a direct method of finding out by causing physical friction, and the other is an indirect method of using radio waves or sound waves.

먼저, 직접적 방법에는 휠기반의 방법과 차량 동역학 기반의 방법이 있다.First, direct methods include wheel-based methods and vehicle dynamics-based methods.

이 두 방법의 공통점은 운전자의 의도와 무관하게 브레이크를 작동시켜서 차량의 감속 정도로 노면의 마찰계수를 추정하는 것이다.What these two methods have in common is to estimate the friction coefficient of the road surface by applying the brakes regardless of the driver's intention and decelerating the vehicle.

이 방법은 마찰계수를 알고 싶은 해당 노면을 밟아야지만 알 수 있고 차량 동역학 모델이 필수적으로 필요하다. 또한 브레이크를 동작시켜야 하므로 승차감이나 연비에 영향을 주는 한계가 있다.In this method, you can only find out the friction coefficient by stepping on the road surface you want to know, and a vehicle dynamics model is essential. Additionally, since the brakes must be operated, there are limitations that affect ride comfort and fuel efficiency.

한편, 간접적 방법에는 전자기파와 음파를 이용한 방식이 있는데, 이 두 방식 모두 물리적인 마찰이 필요하지 않으므로, 차량 동역학 모델에 대해 독립적으로 사용할 수 있으며 해당 노면의 접촉 없이 미리 노면의 상태를 알 수 있는 장점이 있다.Meanwhile, indirect methods include methods using electromagnetic waves and sound waves. Both of these methods do not require physical friction, so they can be used independently of the vehicle dynamics model and have the advantage of knowing the condition of the road surface in advance without contacting the road surface. There is.

상기 전자기파 기반의 방식은 카메라, 라이다, 레이더 등을 사용하는데, 상당히 멀리 볼 수 있지만, 정확도가 상대적으로 떨어지며, 시스템의 가격이 수백에서 수천 달러에 형성되어 매우 고가에 속한다. 또한, 데이터의 양이 많아서 데이터 셋(Data Set)을 만드는데 어려움도 있다.The electromagnetic wave-based method uses cameras, lidar, radar, etc., and although it can see quite far away, its accuracy is relatively low, and the system is very expensive, ranging from hundreds to thousands of dollars. Additionally, because the amount of data is large, it is difficult to create a data set.

또한 전자기파 방식 중 하나인 이미지 센서를 사용한 방식이 있으며, 영상 센서인 카메라를 이용해서 노면의 종류를 구분한다. 하지만 이미지 센서의 경우 조도에 영향을 크게 받으며, 블랙아이스는 사람에 눈에 잘 보이지 안 듯, 비전 센서는 이를 감지하지 못한다. 이러한 한계로 이미지 센서를 사용 방법의 평균 성능은 70% 미만이다, 또한, 이미지 센서뿐 아니라 고성능의 영상 처리장치가 필요하여 그 비용이 상대적으로 크다.Additionally, there is a method using an image sensor, which is one of the electromagnetic wave methods, and it uses a camera, an image sensor, to classify the type of road surface. However, image sensors are greatly affected by illumination, and black ice is difficult to see to the human eye, so vision sensors cannot detect it. Due to these limitations, the average performance of methods using image sensors is less than 70%. Additionally, not only an image sensor but also a high-performance image processing device is required, so the cost is relatively high.

블랙아이스의 경우 사람의 눈에 보이지 않듯이 이미지 센서로도 감지가 불가능하다. 즉, 이미지 센서 방식으로는 다양한 종류의 노면을 구분할 수 없는 한계가 있다.In the case of black ice, just as it is invisible to the human eye, it cannot be detected even by an image sensor. In other words, there is a limitation in being unable to distinguish various types of road surfaces using the image sensor method.

한편, 상기 음파를 이용한 방식으로는, 패시브(Passive) 센싱 방식과 액티브(Active) 센싱 방식이 있는데, 패시브 센싱 방식으로 일정 시간동안 타이어에서 나는 소음을 마이크로 녹음한 후 인공신경망을 이용하여 분류하는 방식이 있다. 이러한 방식에서 타이어가 지나간 노면에 대해서만 노면의 종류를 알 수가 있고 분류에 긴 시간이 소요되는 한계가 있다. 한편, 액티브 센싱 방식 중에는, 거리와 반사 세기 정보만 이용하여 반사된 노면을 구분하는 연구가 있는데, 이는 주변 외란에 약하다는 단점이 있다.Meanwhile, methods using the sound waves include a passive sensing method and an active sensing method. The passive sensing method records noise from tires for a certain period of time with a microphone and then classifies it using an artificial neural network. There is. In this method, the type of road surface can be known only for the surface over which the tire has passed, and there is a limitation in that classification takes a long time. Meanwhile, among active sensing methods, there is research to classify reflected road surfaces using only distance and reflection intensity information, but this method has the disadvantage of being weak to surrounding disturbances.

한편, 요즘 도로에 번호판이 하늘색인 전기차와 수소차가 많이 보이고 있다. 블룸버그에 의하면 2040년에는 판매되는 차량의 반 이상이 전기차가 될 것이라고 예측하고 있으며, 도로에 다니는 차량의 3분의 1이 전기차가 될것이라고 예상하고 있다.Meanwhile, many electric and hydrogen cars with light blue license plates are appearing on the roads these days. According to Bloomberg, more than half of vehicles sold will be electric vehicles by 2040, and one-third of vehicles on the road will be electric vehicles.

전기차의 주행가능 거리인 마일리지를 늘리기 위해 차량 제조사들은 회생 제동을 적극적으로 활용하고 있다. 그런데 회생제동으로 인해 차가 미끄러져서 사고가 났다는 소식을 어렵지 않게 들을 수 있다. 회생 제동으로 뒷바퀴에 견인력을 잃었다던지 바퀴가 잠기는 증상이 발생한다 To increase the mileage, which is the driving range of electric vehicles, vehicle manufacturers are actively using regenerative braking. However, it is not difficult to hear news about accidents caused by a car skidding due to regenerative braking. Symptoms such as loss of traction on the rear wheels or wheels locking occur due to regenerative braking.

현재 테슬라의 회생제동 설정을 보면 표준과 낮음으로 변경시킬 수는 있지만 끄는 옵션은 없다. 이러한 사고가 나는 이유는 회생제동 모듈의 제어주기가 100ms로 다른 시스템보다 긴 편이며 제조사가 회생제동 기능을 끌 수 있게 만들지 않는 이유는 차량의 이동가능 거리가 급격히 하락하기 때문이다.Looking at Tesla's current regenerative braking settings, you can change it to standard and low, but there is no option to turn it off. The reason these accidents occur is because the control cycle of the regenerative braking module is 100ms, which is longer than other systems, and the reason why manufacturers do not allow the regenerative braking function to be turned off is because the vehicle's travelable distance drastically decreases.

주행하는 노면의 상태에 따라 회생제동을 하면 가장 좋을 것 같지만 노면의 종류를 차량이 지나가기 전에 미리 알 수 없어 이러한 문제가 생긴다고 할 수 있다.It may be best to use regenerative braking depending on the condition of the road surface you are driving on, but this problem arises because the type of road surface cannot be known in advance before the vehicle passes.

한편, 하나의 음파 신호를 노면을 향하여 송신하여 반사되는 신호를 이용하여 노면의 종류를 추정하는 방식에서는, 음파 신호가 노면까지 갔다가 돌아오는 비행시간(ToF: Time of Flight)을 기다려야 하고, 비행시간을 포함한 전체 시간을 녹음(저장)해야 노면 분류가 가능하다.On the other hand, in the method of estimating the type of road surface by transmitting a single sound wave signal toward the road surface and using the reflected signal, you have to wait for the time of flight (ToF) for the sound wave signal to travel to the road surface and return. Classification of the road surface is possible only when the entire time including is recorded (saved).

따라서, 한 번의 노면 분류 과정을 위해 사용하는 데이터의 크기가 크며, 신호 처리 시간도 늘어나게 된다.Therefore, the size of data used for one road surface classification process is large, and signal processing time also increases.

한국등록특허 [10-1716270]에서는 전방 지면 상태 추정 장치 및 방법이 개시되어 있다.Korean patent [10-1716270] discloses a front ground state estimation device and method.

한국등록특허 [10-2136576]에서는 노면 상태 측정 장치 및 노면 상태 진단 시스템가 개시되어 있다.Korean registered patent [10-2136576] discloses a road surface condition measuring device and a road surface condition diagnosis system.

한국등록특허 [10-2156295]에서는 초음파 신호를 이용한 노면 종류 추정 방법 및 장치가 개시되어 있다.Korean registered patent [10-2156295] discloses a method and device for estimating the type of road surface using ultrasonic signals.

한국등록특허 [10-2207816]에서는 센서 데이터를 이용한 노면 상태 측정 방법 및 그 장치가 개시되어 있다.Korean registered patent [10-2207816] discloses a method and device for measuring road surface conditions using sensor data.

한국등록특허 [10-1716270](등록일자: 2017. 03. 08)Korean registered patent [10-1716270] (registration date: 2017. 03. 08) 한국등록특허 [10-2136576](등록일자: 2020. 07. 16)Korean registered patent [10-2136576] (registration date: 2020. 07. 16) 한국등록특허 [10-2156295](등록일자: 2020. 09. 09)Korean registered patent [10-2156295] (registration date: 2020. 09. 09) 한국등록특허 [10-2207816](등록일자: 2021. 01. 20)Korean registered patent [10-2207816] (registration date: 2021. 01. 20)

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 하나의 음파 신호를 송신하여 반사되는 신호를 이용하여 노면의 종류를 추정하는 방식과 달리, 연속된 음파 신호를 송신하여 반사되는 연속된 신호를 수신하여, 수신한 연속된 신호에 대하여 인공신경망을 이용하여 학습시켜 해당 노면의 종류를 추정하도록 하는 연속된 신호를 이용한 노면 종류 추정 장치 및 그 방법을 제공하는 것이다.Therefore, the present invention was created to solve the problems described above, and the purpose of the present invention is to transmit a single sound wave signal and use the reflected signal to estimate the type of road surface, unlike the method of estimating the type of road surface using a continuous sound wave signal. Provides a road surface type estimation device and method using continuous signals that transmit and receive reflected continuous signals and learn them using an artificial neural network to estimate the type of road surface. .

본 발명의 실 시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The purposes of the embodiments of the present invention are not limited to the purposes mentioned above, and other purposes not mentioned will be clearly understood by those skilled in the art from the description below. .

상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치는, 종류를 알고자하는 해당 노면으로 연속된 음파 신호를 송신한 후, 반사되는 연속된 신호를 수신하기 위한 음파 송수신부(100); 상기 수신한 연속된 신호의 아날로그 신호를 디지털 신호로 변환하기 위한 아날로그디지털변환기(200); 상기 변환된 디지털 신호에서 기설정된 시간 동안의 신호를 연속적으로 전달받는 다수의 버퍼를 포함하는 버퍼부(300); 상기 연속적으로 전달받는 디지털 신호를 입력 신호로 하고, 학습된 노면분류모델에 기반하여 상기 입력 신호를 분류하여 상기 노면의 종류를 추정하는 인공신경망(400); 및 상기 음파 송수신부, 상기 아날로그디지털변환기, 상기 버퍼부 및 상기 인공신경망의 동작을 제어하는 제어부(MCU)(500)를 포함하는 것을 특징으로 한다.In order to achieve the above-described object, a road surface type estimation device using a continuous signal according to an embodiment of the present invention transmits a continuous sound wave signal to the road surface of which the type is to be known, and then reflects the continuous signal. A sound wave transmitting and receiving unit 100 for receiving; An analog-to-digital converter (200) for converting the received analog signal of the continuous signal into a digital signal; A buffer unit 300 including a plurality of buffers that continuously receive signals from the converted digital signal for a preset time; an artificial neural network 400 that uses the continuously received digital signal as an input signal and classifies the input signal based on a learned road surface classification model to estimate the type of the road surface; and a control unit (MCU) 500 that controls operations of the sound wave transceiver, the analog-to-digital converter, the buffer unit, and the artificial neural network.

상기 버퍼부(300)는, 적어도 두 개의 버퍼를 포함하고, 상기 적어도 두 개의 버퍼는, 상기 기설정된 시간 동안의 신호를 기설정된 순서대로 전달받는 것을 특징으로 한다.The buffer unit 300 includes at least two buffers, and the at least two buffers receive signals during the preset time in a preset order.

상기 제어부(500)는, 상기 적어도 두 개의 버퍼로부터 출력되는 데이터를 직렬 방식으로 전환하여 상기 인공신경망으로 전달되도록 제어하는 것을 특징으로 한다.The control unit 500 is characterized in that it controls the data output from the at least two buffers to be converted into serial mode and transmitted to the artificial neural network.

상기 인공신경망(400)은, 상기 버퍼부로부터 전달받은 연속된 디지털 신호 각각에 대하여 주파수 변환을 수행하여 주파수 도메인 신호를 획득하기 위한 주파수변환기(410); 및 상기 주파수 도메인 신호를 입력 신호로 하고, 상기 학습된 노면분류모델에 기반하여 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 추정하는 신경망(420)을 포함하고, 상기 신경망(420)은, 입력 레이어, 다수의 은닉 레이어 및 출력 레이어를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망인 것을 특징으로 한다.The artificial neural network 400 includes a frequency converter 410 for obtaining a frequency domain signal by performing frequency conversion on each continuous digital signal received from the buffer unit; and a neural network 420 that uses the frequency domain signal as an input signal, extracts characteristics of the input signal based on the learned road surface classification model, classifies it, and estimates the type of the road surface. ) is characterized as a deep neural network of the Multi-Layer Perceptron algorithm including an input layer, multiple hidden layers, and an output layer.

상기 인공신경망(400)은, 상기 버퍼부로부터 전달받은 연속된 디지털 신호 각각에 대하여 다회의 컨벌루션 연산을 수행하는 컨벌루션 수행부(501), 전달 레이어(502), 다수의 은닉 레이어(503) 및 출력 레이어(504)를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 컨벌루션 신경망(DCNN : Deep Convolution Neural Network)인 것을 특징으로 한다.The artificial neural network 400 includes a convolution performing unit 501 that performs multiple convolution operations on each successive digital signal received from the buffer unit, a transfer layer 502, a plurality of hidden layers 503, and an output It is characterized as a deep convolution neural network (DCNN) of the multi-layer perceptron algorithm including a layer 504.

상기 컨벌루션 수행부(501)는, 입력 신호에 대해 1D 컨벌루션 연산을 다회 진행하며, 각 컨벌루션 연산마다 배치정규화(Batch Normalization), 렐루(Relu) 함수, 및 맥스풀링(MaxPooling)함수를 수행하고, 마지막 컨벌루션 연산의 출력은 플랫튼된 데이터인 것을 특징으로 하고, 상기 출력 레이어는, 학습한 노면의 각 종류에 대한 확률값을 출력하는 것을 특징으로 하고, 상기 인공신경망은, 소프트맥스를 이용하여, 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력하는 것을 특징으로 한다.The convolution performing unit 501 performs a 1D convolution operation on the input signal multiple times, performs batch normalization, Relu function, and MaxPooling function for each convolution operation, and finally The output of the convolution operation is characterized in that it is flattened data, the output layer is characterized in that it outputs probability values for each type of learned road surface, and the artificial neural network uses softmax to obtain the highest It is characterized by determining and outputting the type of road surface with probability.

또한, 상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 방법은, 제어부의 제어에 따라, 종류를 알고자하는 해당 노면으로 연속된 음파 신호를 송신한 후, 반사되는 연속된 신호를 수신하는 연속된반사신호수신단계(S20); 상기 제어부의 제어에 따라, 상기 수신한 연속된 신호의 아날로그 신호를 디지털 신호로 변환하는 신호변환단계(S30); 상기 제어부의 제어에 따라, 다수의 버퍼가 상기 변환된 디지털 신호에서 기설정된 시간 동안의 신호를 연속적으로 전달받는 버퍼링단계(S40); 상기 제어부의 제어에 따라, 상기 연속적으로 전달받는 디지털 신호 각각에 대하여 주파수 변환을 수행하여 주파수 도메인 신호를 획득하는 주파수도메인신호획득단계(S50); 및 상기 제어부의 제어에 따라, 상기 주파수 도메인 신호를 신경망의 입력 신호로 하고, 학습된 노면분류모델에 기반하여, 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 결정하는 제1노면종류결정단계(S60)를 포함하는 것을 특징으로 한다.In addition, the road surface type estimation method using a continuous signal according to an embodiment of the present invention to achieve the above-mentioned purpose transmits a continuous sound wave signal to the road surface whose type is to be known under the control of the control unit. After receiving the continuous reflected signal, a continuous reflected signal reception step (S20); A signal conversion step (S30) of converting the received analog signal of the continuous signal into a digital signal under the control of the control unit; A buffering step (S40) in which a plurality of buffers continuously receive signals from the converted digital signal for a preset time under the control of the control unit; A frequency domain signal acquisition step (S50) of obtaining a frequency domain signal by performing frequency conversion on each of the continuously received digital signals under the control of the control unit; And under the control of the control unit, a first road surface that uses the frequency domain signal as an input signal of a neural network and extracts and classifies characteristics of the input signal based on a learned road surface classification model to determine the type of the road surface. It is characterized by including a type determination step (S60).

또한, 상기한 바와 같은 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 방법은, 제어부의 제어에 따라, 종류를 알고자하는 해당 노면으로 연속된 음파 신호를 송신한 후, 반사되는 연속된 신호를 수신하는 연속된반사신호수신단계(S20); 상기 제어부의 제어에 따라, 상기 수신한 연속된 신호의 아날로그 신호를 디지털 신호로 변환하는 신호변환단계(S30); 상기 제어부의 제어에 따라, 다수의 버퍼가 상기 변환된 디지털 신호에서 기설정된 시간 동안의 신호를 연속적으로 전달받는 버퍼링단계(S40); 상기 제어부의 제어에 따라, 인공신경망에서 상기 연속적으로 전달받는 디지털 신호 각각에 대하여 다회의 컨벌루션 연산을 수행하는 컨벌루션연산단계(S70); 및 상기 제어부의 제어에 따라, 상기 인공신경망에서 학습된 노면분류모델에 기반하여, 상기 컨번루션 연산된 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 결정하는 제2노면종류결정단계(S80)를 포함하는 것을 특징으로 한다.In addition, the road surface type estimation method using a continuous signal according to another embodiment of the present invention to achieve the above-mentioned purpose transmits a continuous sound wave signal to the road surface whose type is to be known under the control of the control unit. After receiving the continuous reflected signal, a continuous reflected signal reception step (S20); A signal conversion step (S30) of converting the received analog signal of the continuous signal into a digital signal under the control of the control unit; A buffering step (S40) in which a plurality of buffers continuously receive signals from the converted digital signal for a preset time under the control of the control unit; A convolution operation step (S70) of performing multiple convolution operations on each of the continuously received digital signals from an artificial neural network under the control of the controller; and a second road surface type determination step (S80) in which, under the control of the control unit, the characteristics of the convolutionally calculated signal are extracted and classified based on the road surface classification model learned in the artificial neural network, and the type of the road surface is determined. ) is characterized in that it includes.

상기 버퍼링단계(S40)는, 상기 제어부의 제어에 따라, 적어도 두 개의 버퍼가 상기 기설정된 시간 동안의 신호를 기설정된 순서대로 전달받는 것을 특징으로 한다.The buffering step (S40) is characterized in that at least two buffers receive signals during the preset time in a preset order under the control of the control unit.

상기 연속된 신호를 이용한 노면 종류 추정 방법은, 상기 버퍼링단계(S40) 이후에, 상기 제어부의 제어에 따라, 상기 적어도 두 개의 버퍼로부터 출력되는 데이터를 직렬 방식으로 전환하여 상기 인공신경망으로 전달하는 단계를 더 포함하는 것을 특징으로 한다.The road surface type estimation method using the continuous signal includes, after the buffering step (S40), converting data output from the at least two buffers into a serial method under the control of the control unit and transmitting the data to the artificial neural network. It is characterized in that it further includes.

또한, 본 발명의 일 실시예에 따르면, 상기 연속된 신호를 이용한 노면 종류 추정 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체가 제공되는 것을 특징으로 한다.In addition, according to one embodiment of the present invention, a computer-readable recording medium storing a program for implementing the method for estimating the type of road surface using the continuous signal is provided.

아울러, 본 발명의 일 실시예에 따르면, 상기 연속된 신호를 이용한 노면 종류 추정 방법을 구현하기 위해, 컴퓨터 판독 가능한 기록매체에 저장된 프로그램이 제공되는 것을 특징으로 한다.In addition, according to an embodiment of the present invention, a program stored in a computer-readable recording medium is provided to implement the method of estimating the road surface type using the continuous signal.

본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치 및 그 방법에 의하면, 하나의 음파 신호를 송신하여 반사되는 신호를 이용하여 노면의 종류를 추정하는 방식과 달리, 연속된 음파 신호를 송신하여 반사되는 연속된 신호를 수신하여, 수신한 연속된 신호에 대하여 인공신경망을 이용하여 학습시켜 해당 노면의 종류를 추정하는 것이 가능하므로, 복잡하지 않은 구성을 통해 높은 정확도로 노면의 종류를 결정할 수 있는 효과가 있다.According to the road surface type estimation device and method using a continuous signal according to an embodiment of the present invention, unlike the method of transmitting a single sound wave signal and estimating the road surface type using a reflected signal, a continuous sound wave signal is provided. By transmitting and receiving reflected continuous signals, it is possible to estimate the type of road surface by learning the received continuous signals using an artificial neural network, so the type of road surface can be determined with high accuracy through a simple configuration. There is an effect that can be determined.

또한, 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치 및 그 방법에 의하면, 짧은 시간의 녹음(신호 저장)으로도 노면의 분류가 가능하고, 한 번에 처리하는 데이터 크기가 감소하며, 그에 따라 신호처리 시간도 감소하는 효과가 있다.In addition, according to the road surface type estimation device and method using continuous signals according to an embodiment of the present invention, road surface classification is possible even with a short period of recording (signal storage), and the data size processed at one time is reduced. This has the effect of reducing signal processing time.

또한, 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치 및 그 방법에 의하면, 높은 정확도로 노면 종류 또는 노면의 상태를 결정할 수 있으므로, 얇은 얼음이 형성되는 블랙아이스의 생성 여부를 빠르게 확인할 수 있어, 해당 구간을 운행하는 운전자에게 미리 예보가 가능한 효과가 있다.In addition, according to the road surface type estimation device and method using a continuous signal according to an embodiment of the present invention, the road surface type or road surface condition can be determined with high accuracy, so it is possible to determine whether black ice, in which thin ice is formed, is formed. Since it can be checked quickly, it has the effect of being able to provide advance forecasts to drivers driving in the relevant section.

또, 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치 및 그 방법에 의하면, 가격이 저렴한 40kHz의 초음파 센서와 가벼운 알고리즘을 사용하여 노면 종류 추정 장치를 구현할 수 있으므로, 처리속도가 빠르고 경제적인 효과가 있다.In addition, according to the road surface type estimation device and method using continuous signals according to an embodiment of the present invention, the road surface type estimation device can be implemented using an inexpensive 40 kHz ultrasonic sensor and a lightweight algorithm, so the processing speed is low. It is quick and economical.

도 1은 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치의 구성도.
도 2a는 종래의 노면 종류 추정 장치에서 저장(녹음)하는 송신 신호 및 수신 신호를 설명하기 위한 도면이고, 도 2b는 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서 저장(녹음)하는 송신 신호 및 수신 신호를 설명하기 위한 도면.
도 3a는 종래의 노면 종류 추정 장치에서 송신 신호 및 수신 신호를 설명하기 위한 도면이고, 도 3b는 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서 송신 신호 및 수신 신호를 설명하기 위한 도면.
도 3c는 종래의 노면 종류 추정 장치에서 샘플링 센싱 방식을 설명하기 위한 도면이고, 도 3d는 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서 연속적 센싱 방식을 설명하기 위한 도면.
도 4는 본 발명에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서의 인공신경망의 일실시예 구성도.
도 5는 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서 신호 변환기를 설명하기 위한 도면.
도 6은 본 발명에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서 인공신경망의 다른 실시예 구성도.
도 7은 도 6의 컨벌루션 수행부의 동작을 설명하기 위한 도면.
도 8은 본 발명에 따른 연속된 신호를 이용한 노면 종류 추정 방법의 일실시예 흐름도.
도 9는 본 발명에 따른 연속된 신호를 이용한 노면 종류 추정 방법의 다른 실시예 흐름도.1 is a configuration diagram of a road surface type estimation device using continuous signals according to an embodiment of the present invention.
Figure 2a is a diagram for explaining the transmitted and received signals stored (recorded) in a conventional road surface type estimation device, and Figure 2b is a diagram for storing (recording) in a road surface type estimation device using continuous signals according to an embodiment of the present invention. A diagram to explain the transmitted and received signals (recorded).
Figure 3a is a diagram for explaining the transmitted signal and received signal in the conventional road surface type estimation device, and Figure 3b is a diagram for explaining the transmitted signal and received signal in the road surface type estimation device using continuous signals according to an embodiment of the present invention. Drawing for doing this.
FIG. 3C is a diagram for explaining a sampling sensing method in a conventional road surface type estimation device, and FIG. 3D is a diagram for explaining a continuous sensing method in a road surface type estimation device using continuous signals according to an embodiment of the present invention.
Figure 4 is a configuration diagram of an embodiment of an artificial neural network in a road surface type estimation device using continuous signals according to the present invention.
Figure 5 is a diagram for explaining a signal converter in a road surface type estimation device using continuous signals according to an embodiment of the present invention.
Figure 6 is a configuration diagram of another embodiment of an artificial neural network in a road surface type estimation device using continuous signals according to the present invention.
FIG. 7 is a diagram for explaining the operation of the convolution performance unit of FIG. 6.
Figure 8 is a flowchart of an embodiment of a road surface type estimation method using continuous signals according to the present invention.
Figure 9 is a flowchart of another embodiment of a road surface type estimation method using continuous signals according to the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.

본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are merely used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, processes, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, processes, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as generally understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application. No.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. Hereinafter, the present invention will be described in more detail with reference to the attached drawings. Prior to this, the terms or words used in this specification and claims should not be construed as limited to their usual or dictionary meanings, and the inventor should appropriately define the concept of terms in order to explain his or her invention in the best way. Based on the principle of definability, it must be interpreted with meaning and concept consistent with the technical idea of the present invention. In addition, if there is no other definition in the technical and scientific terms used, they have meanings commonly understood by those skilled in the art to which this invention pertains, and the gist of the present invention is summarized in the following description and accompanying drawings. Descriptions of known functions and configurations that may be unnecessarily obscure are omitted. The drawings introduced below are provided as examples so that the idea of the present invention can be sufficiently conveyed to those skilled in the art. Accordingly, the present invention is not limited to the drawings presented below and may be embodied in other forms. Additionally, like reference numerals refer to like elements throughout the specification. It should be noted that like elements in the drawings are represented by like symbols wherever possible.

도 1은 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치의 구성도이다.Figure 1 is a configuration diagram of a road surface type estimation device using continuous signals according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치는, 음파 송수신부(100), 아날로그디지털변환기(ADC: analog-digital converter), 버퍼부(300), 인공신경망(400), 및 제어부(MCU)(500)를 포함한다.As shown in FIG. 1, the road surface type estimation device using a continuous signal according to an embodiment of the present invention includes a sound wave transmitting and receiving unit 100, an analog-digital converter (ADC), and a buffer unit 300. ), an artificial neural network 400, and a control unit (MCU) 500.

상기 음파 송수신부(100)는 종류를 알고자하는 해당 노면으로 연속된 음파 신호를 송신한 후, 반사되는 연속된 신호를 수신한다.The sound wave transmitting and receiving unit 100 transmits a continuous sound wave signal to the road surface of which the type is to be determined and then receives a reflected continuous signal.

상기 음파 송수신부(100)는 상기 제어부(500)의 제어에 따라 연속된 송신 신호를 출력하는 음파 송신기(101), 및 상기 송신 신호가 임의의 면(노면)에 반사되어 되돌아오는 연속된 반사 신호를 수신하는 음파 수신기(102)를 포함한다.The sound wave transmitting and receiving unit 100 is a sound wave transmitter 101 that outputs a continuous transmission signal under the control of the control unit 500, and a continuous reflected signal in which the transmission signal is reflected from an arbitrary surface (road surface) and returned. It includes a sound wave receiver 102 that receives.

상기 아날로그디지털변환기(200)는 상기 수신한 연속된 신호의 아날로그 신호를 디지털 신호로 변환한다.The analog-to-digital converter 200 converts the analog signal of the received continuous signal into a digital signal.

상기 버퍼부(300)는 상기 변환된 디지털 신호에서 기설정된 시간 동안의 신호를 연속적으로 전달받는 다수의 버퍼를 포함한다.The buffer unit 300 includes a plurality of buffers that continuously receive signals from the converted digital signal for a preset time.

상기 버퍼부(300)는 적어도 두 개의 버퍼를 포함하고, 상기 적어도 두 개의 버퍼는 상기 기설정된 시간 동안의 신호를 기설정된 순서대로 전달받는다.The buffer unit 300 includes at least two buffers, and the at least two buffers receive signals during the preset time in a preset order.

예를 들어, 상기 아날로그디지털변환기(200)가 상기 수신한 연속된 신호를 1MHz 로 샘플링하는 경우, 1초에 1,000,000개의 신호로 변환되며, 연속적으로(순차적으로) 각 버퍼에 12 bits(0 ~ 4096)의 크기를 가지는 8ms 동안의 신호(8000개)가 전달될 수 있다.For example, when the analog-to-digital converter 200 samples the received continuous signal at 1 MHz, it is converted into 1,000,000 signals per second, and 12 bits (0 to 4096) are continuously (sequentially) stored in each buffer. ) A signal (8000 signals) for 8 ms with a size of 8 can be transmitted.

그러면, 상기 제어부(500)는 상기 적어도 두 개의 버퍼로부터 출력되는 데이터를 직렬 방식으로 전환하여 상기 인공신경망(400)으로 전달되도록 제어한다.Then, the control unit 500 controls the data output from the at least two buffers to be converted into serial format and transmitted to the artificial neural network 400.

여기서, 상기 제어부(500)에 포함되는 범용 비동기화 송수신기(UART :Universal asynchronous receiver/transmitter)를 이용하여 병렬 데이터의 형태를 직렬 방식으로 전환할 수 있다.Here, the format of parallel data can be converted to serial using a universal asynchronous receiver/transmitter (UART) included in the control unit 500.

상기 인공신경망(400)은 상기 버퍼부(300)로부터 순차적으로 전달받은 디지털 신호를 입력 신호로 하고, 학습된 노면분류모델에 기반하여 상기 입력 신호를 분류하여 상기 노면의 종류를 추정한다.The artificial neural network 400 uses digital signals sequentially received from the buffer unit 300 as input signals, classifies the input signals based on a learned road surface classification model, and estimates the type of the road surface.

한편, 상기 인공신경망(400)에서는 의사결정트리(decision trees), 선형판별분석(discriminant analysis), 로지스틱 회귀 분류기(logistic regression classifiers), 나이브 베이즈 분류기(Naive Bayes classifier), 서포트 벡터 머신(support vector machine), 최근접 이웃 분류기(nearest neighbor classifiers), 앙상블 분류기(ensemble classifiers)중 적어도 하나 이상을 이용하여 분류 및 학습한다.Meanwhile, the artificial neural network 400 uses decision trees, linear discriminant analysis, logistic regression classifiers, Naive Bayes classifier, and support vector machines. machine), nearest neighbor classifiers, and ensemble classifiers are used to classify and learn.

의사결정트리(decision trees)는 Fine tree, Medium tree, Coarse tree, All tree, Optimizable tree를 포함하고, 선형판별분석(discriminant analysis)은 Linear discriminant, Quadratic discriminant, All discriminants, Optimizable discriminant를 포함하고, 나이브 베이즈 분류기(Naive Bayes classifier)는 Gaussian Naive Bayes, Kernel Naive Bayes, All Naive Bayes, Optimizable Naive Bayes를 포함하고, 서포트 벡터 머신(support vector machine, SVM)은 Linear SVM, Quadratic SVM, Cubic SVM, Fine Gaussian SVM, Medium Gaussian SVM, Coarse Gaussian SVM, All SVM, Optimizable SVM을 포함하고, 최근접 이웃 분류기(nearest neighbor classifiers)는 Fine KNN, Medium KNN, Coarse KNN, Cosine KNN, Cubic KNN, Weighted KNN, All KNN, Optimizable KNN을 포함하고, 앙상블 분류기(ensemble classifiers)는 Boosted trees, Bagged trees, Subspace Discriminant, Subspace KNN, RUSBoosted trees, All Ensembles, Optimizable Ensemble을 포함한다.Decision trees include Fine tree, Medium tree, Coarse tree, All tree, and Optimizable tree, and linear discriminant analysis includes Linear discriminant, Quadratic discriminant, All discriminants, Optimizable discriminant, and Naive Bayes classifiers include Gaussian Naive Bayes, Kernel Naive Bayes, All Naive Bayes, and Optimizable Naive Bayes, and support vector machines (SVMs) include Linear SVM, Quadratic SVM, Cubic SVM, and Fine Gaussian. It includes SVM, Medium Gaussian SVM, Coarse Gaussian SVM, All SVM, and Optimizable SVM, and nearest neighbor classifiers include Fine KNN, Medium KNN, Coarse KNN, Cosine KNN, Cubic KNN, Weighted KNN, All KNN, Includes Optimizable KNN, and ensemble classifiers include Boosted trees, Bagged trees, Subspace Discriminant, Subspace KNN, RUSBoosted trees, All Ensembles, and Optimizable Ensemble.

상기 제어부(MCU)(500)는 상기 음파 송수신부(100), 상기 아날로그디지털변환기(200), 버퍼부(300) 및 상기 인공신경망(400)의 동작을 제어한다.The control unit (MCU) 500 controls the operations of the sound wave transceiver 100, the analog-to-digital converter 200, the buffer unit 300, and the artificial neural network 400.

상기 아날로그디지털변환기(200), 버퍼부(300) 및 상기 인공신경망(400)은 프로그램으로 구현된 소프트웨어를 구성요소로서 표현한 것이다.The analog-to-digital converter 200, buffer unit 300, and artificial neural network 400 are expressed as components of software implemented as a program.

한편, 도면에 도시되지는 않았지만, 본 발명에 따른 연속된 신호를 이용한 노면 종류 추정 장치는 상기 학습된 노면분류모델 및 상기 프로그램으로 구현된 소프트웨어가 저장되는 저장소(메모리)를 포함한다. 상기 저장소(메모리)는 상기 제어부(MCU)(500)에 포함되어 구성될 수도 있다.Meanwhile, although not shown in the drawing, the road surface type estimation device using continuous signals according to the present invention includes a storage (memory) in which the learned road surface classification model and software implemented by the program are stored. The storage (memory) may be included in the control unit (MCU) 500.

도 2a는 종래의 노면 종류 추정 장치에서 저장(녹음)하는 송신 신호 및 수신 신호를 설명하기 위한 도면이고, 도 2b는 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서 저장(녹음)하는 송신 신호 및 수신 신호를 설명하기 위한 도면이다.Figure 2a is a diagram for explaining the transmitted and received signals stored (recorded) in a conventional road surface type estimation device, and Figure 2b is a diagram for storing (recording) in a road surface type estimation device using continuous signals according to an embodiment of the present invention. This is a diagram to explain the transmitted and received signals (recorded).

도 2a를 참고하면, 음파 송수신기(음파센서)가 지면으로부터의 높이 정보가 h인 경우, 음파가 비행하는 거리는 h가 되며, 하나의 반사되는 신호를 수신하기 위해서 음파센서와 노면 사이의 거리를 비행하는 시간은 '2h/음속' 이 되며, 1ms 당 12,000 bit 의 데이터가 낭비된다.Referring to Figure 2a, when the height information of the sound wave transceiver (sound wave sensor) from the ground is h, the distance the sound wave flies is h, and the distance between the sound wave sensor and the road surface is to be flown in order to receive one reflected signal. The time taken is '2h/speed of sound', and 12,000 bits of data per 1ms are wasted.

즉, 하나의 음파 신호를 노면을 향하여 송신하여 반사되는 신호를 이용하여 노면의 종류를 추정하는 방식에서는, 음파 신호가 노면까지 갔다가 돌아오는 비행시간(ToF: Time of Flight)을 기다려야 하고, 비행시간을 포함한 전체 시간(2h/c)을 녹음(저장)해야 노면 분류가 가능하다.In other words, in the method of estimating the type of road surface by transmitting a single sound wave signal toward the road surface and using the reflected signal, you have to wait for the time of flight (ToF) for the sound wave signal to travel to the road surface and return. Road surface classification is possible only when the entire time (2h/c) including is recorded (stored).

한편, 도 2a를 참고하면, 음파 송수신기(음파센서)가 계속해서 연속된 신호를 노면을 향하여 송신하고, 반사되는 연속된 신호를 수신하기 때문에, 음파 신호가 노면까지 갔다가 돌아오는 비행시간(ToF: Time of Flight) 전체를 기다리거나 녹음할 필요가 없다.Meanwhile, referring to Figure 2a, since the sound wave transceiver (sound wave sensor) continues to transmit continuous signals toward the road surface and receives continuous reflected signals, the flight time (ToF: There is no need to wait or record the entire Time of Flight.

도 3a는 종래의 노면 종류 추정 장치에서 송신 신호 및 수신 신호를 설명하기 위한 도면이고, 도 3b는 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서 송신 신호 및 수신 신호를 설명하기 위한 도면이다.Figure 3a is a diagram for explaining the transmitted signal and received signal in the conventional road surface type estimation device, and Figure 3b is a diagram for explaining the transmitted signal and received signal in the road surface type estimation device using continuous signals according to an embodiment of the present invention. This is a drawing for this purpose.

도 3a에 도시된 바와 같이, 종래에는 제어부(MCU)(500)의 제어에 따라 음파 송수신부의 음파 송신기는 기설정된 주파수(예: 40 kH)를 가지는 하나의 송신 신호(음파 신호)를 종류를 알고자 하는 해당 노면으로 출력했다.As shown in FIG. 3A, conventionally, under the control of the control unit (MCU) 500, the sound wave transmitter of the sound wave transmitting and receiving unit knows the type of one transmission signal (sound wave signal) having a preset frequency (e.g., 40 kH). It was printed with the corresponding road surface.

이후, 상기 음파 송수신부의 음파 수신기는 상기 노면에서 반사되어 돌아오는 반사 신호를 수신하였다.Afterwards, the sound wave receiver of the sound wave transceiver unit received the reflected signal reflected from the road surface and returned.

그러나, 도 3b에 도시된 바와 같이, 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서는, 음파 송수신부(100)의 음파 송신기(101)는 연속된 송신 신호를 노면으로 출력하고, 상기 음파 송수신부(100)의 음파 수신기(102)는 연속해서 반사되는 신호를 수신하여 해당 신호를 연속적으로 센싱하여 처리한다.However, as shown in Figure 3b, in the road surface type estimation device using a continuous signal according to an embodiment of the present invention, the sound wave transmitter 101 of the sound wave transmitting and receiving unit 100 outputs a continuous transmission signal to the road surface. And, the sound wave receiver 102 of the sound wave transmitting and receiving unit 100 receives continuously reflected signals and continuously senses and processes the corresponding signals.

일반적으로, 음파 신호의 음속은, 20℃의 대기 조건에서, 343 m/s 는 34.3 cm/ms 이므로, 충분히 빠르다.In general, the speed of sound of a sound wave signal is fast enough, since 343 m/s is 34.3 cm/ms in atmospheric conditions of 20°C.

연속적으로 음파 송신부가 노면으로 주사하고, 음파 수신부가 반사되는 신소를 수신하는 상황에서, 음파 송신부(TX 센서)에서 출발한 음파가 약 1.5ms 후에 음파 수신부(RX 센서)로 도착한다. 따라서, 계속해서 TX에서 주사 후 2ms 이후 시점에 녹음된 RX에 대한 데이터를 수집하는데 있어서, 차량의 속도가 100km/h (1ms 당 약 2.78cm 전진)로 주행 중이라면 딜레이를 고려한 간극은 3~6 cm로 계산된다.In a situation where the sound wave transmitter continuously scans the road surface and the sound wave receiver receives the reflected signal, the sound wave departing from the sound wave transmitter (TX sensor) arrives at the sound wave receiver (RX sensor) about 1.5 ms later. Therefore, in continuing to collect data on RX recorded 2 ms after injection from TX, if the vehicle is traveling at a speed of 100 km/h (approximately 2.78 cm forward per 1 ms), the gap considering delay is 3 to 6. Calculated in cm.

즉, 주행중인 차량이 노면을 파악하는데 있어 이 정도의 간극은 무시할 수 있는 수준으로 판단되므로, 딜레이를 고려하지 않는다.In other words, this level of gap is judged to be negligible when a driving vehicle perceives the road surface, so delay is not considered.

도 3c는 종래의 노면 종류 추정 장치에서 샘플링 센싱 방식을 설명하기 위한 도면이고, 도 3d는 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서 연속적인 센싱 방식을 설명하기 위한 도면이다.FIG. 3C is a diagram for explaining a sampling sensing method in a conventional road surface type estimation device, and FIG. 3D is a diagram for explaining a continuous sensing method in a road surface type estimation device using a continuous signal according to an embodiment of the present invention. am.

도 3c에 도시된 바와 같이, 종래에는 차량이 진행하면서 하나의 신호를 송신할 때 반사되어 수신되는 신호의 일부분을 샘플링하여 노면의 종류를 추정하였으며, 일정 간격을 두고 노면으로부터 반사된 신호를 수신하였다.As shown in Figure 3c, conventionally, when a vehicle transmits a signal while moving, the type of road surface is estimated by sampling a portion of the signal that is reflected and received, and the signal reflected from the road surface is received at regular intervals. .

한편, 도 3d에 도시된 바와 같이, 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치는 음파 송수신부(100)의 음파 송신기(101)에서 노면을 향해 연속적인 신호를 출력하며, 출력되는 신호에 대하여 반산되는 신호를 음파 송수신부(100)의 음파 수신기(101)에서 연속적으로 센싱하여 주행하는 노면에서 빠짐없이 반사되는 연속적인 신호에 대한 분석이 가능하다.Meanwhile, as shown in FIG. 3D, the road surface type estimation device using a continuous signal according to an embodiment of the present invention outputs a continuous signal from the sound wave transmitter 101 of the sound wave transmitting and receiving unit 100 toward the road surface. , the signal reflected from the output signal is continuously sensed by the sound wave receiver 101 of the sound wave transceiver 100, making it possible to analyze the continuous signal reflected without exception from the road surface on which one is driving.

도 4는 본 발명에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서의 인공신경망의 일실시예 구성도이다.Figure 4 is a configuration diagram of an embodiment of an artificial neural network in a road surface type estimation device using continuous signals according to the present invention.

도 4에 도시된 바와 같이, 본 발명에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서의 인공신경망(400)은 신호 변환기(410) 및 신경망(420)을 포함한다.As shown in FIG. 4, the artificial neural network 400 in the road surface type estimation device using continuous signals according to the present invention includes a signal converter 410 and a neural network 420.

상기 신호 변환기(410)는 상기 버퍼부(300)로부터 전달받은 연속된 디지털 신호 각각에 대하여 주파수 변환을 수행하여 주파수 도메인 신호를 획득한다.The signal converter 410 performs frequency conversion on each successive digital signal received from the buffer unit 300 to obtain a frequency domain signal.

상기 신호 변환기(410)는 STFT(Short-Time Fourier Transform) 변환기, FFT(Fast Fourier Transform), 캡스트럼(cepstrum), 또는 웨이브렛 변환기(wavelet transform)가 될 수도 있다. 상기 주파수 도메인 신호는 2D 또는 3D 일 수 있다.The signal converter 410 may be a Short-Time Fourier Transform (STFT) transformer, Fast Fourier Transform (FFT), cepstrum, or wavelet transformer. The frequency domain signal may be 2D or 3D.

상기 신경망(420)은 상기 주파수 도메인 신호를 입력 신호로 하고, 학습된 노면분류모델에 기반하여 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 추정한다.The neural network 420 uses the frequency domain signal as an input signal, extracts characteristics of the input signal based on a learned road surface classification model, classifies it, and estimates the type of the road surface.

상기 신경망(420)은, 입력 레이어(401), 다수의 은닉 레이어(402) 및 출력 레이어(403)를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망(DNN : Deep Neural Network)이다.The neural network 420 is a deep neural network (DNN) of the multi-layer perceptron algorithm including an input layer 401, multiple hidden layers 402, and an output layer 403.

한편, 상기 신경망(420)의 구조는 상기 언급한 DNN에 한정되지 않는다.Meanwhile, the structure of the neural network 420 is not limited to the above-mentioned DNN.

상기 입력 레이어(401)는 상기 주파수 도메인 신호의 데이터를 플랫튼시켜 1D로 입력받는다.The input layer 401 flattens the data of the frequency domain signal and receives it as 1D input.

상기 입력 레이어(401)로 입력되는 데이터는 다수의 은닉 레이어(402)를 통해 특성 추출 및 분류된다.Data input to the input layer 401 is characterized by extraction and classification through a plurality of hidden layers 402.

상기 출력 레이어(403)는 학습한 노면의 각 종류 대한 확률값을 출력한다.The output layer 403 outputs probability values for each type of road surface learned.

상기 신경망(420)은 소프트맥스(404)를 이용하여, 상기 출력 레이어(403)로부터 출력되는 확률값들 중에서 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력한다.The neural network 420 uses the softmax 404 to determine and output the type of road surface with the highest probability among the probability values output from the output layer 403.

한편, 상기 신경망(420)은, 대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 입력 레이어(401)의 입력으로도 사용할 수 있다.Meanwhile, the neural network 420 can receive atmospheric information (temperature, humidity, and atmospheric pressure information) and use it as input to the input layer 401.

또한, 상기 신경망(420)은, 상기 노면으로 송신한 음파 신호(201)를 주파수 변환하여 상기 입력 레이어(401)의 입력으로도 사용할 수 있다.In addition, the neural network 420 can frequency convert the sound wave signal 201 transmitted to the road surface and use it as an input to the input layer 401.

상기 인공신경망(400)에서 하나의 입력 신호에 대하여 노면 분류를 수행하는데 약 1 ms 미만이 소요되므로, 연속되어 수신되는 신호를 수신하여 노면의 종류를 추정하는데는 무리가 없다.Since it takes less than about 1 ms for the artificial neural network 400 to perform road surface classification for one input signal, there is no problem in estimating the type of road surface by receiving continuously received signals.

자세하게는, 반사되어 연속적으로 수신되는 데이터(RX)를 받은 후부터, 신경망 입력 데이터 전처리하고 인공지능 추론 및 추론결과를 전송 또는 제어하기까지 고려하면 약 1ms 전후가 소요된다.In detail, it takes about 1ms from receiving the reflected and continuously received data (RX) to preprocessing the neural network input data and transmitting or controlling the artificial intelligence inference and inference results.

가로등과 같은 기구에 설치되는 인프라 센서 보다, 차량용 센서는 인공신경망에 입력되는 음파 데이터의 사이즈가 매우 작기 때문에(녹음 길이가 매우 짧기 때문에), 신경망 사이즈 및 전처리 대상 데이터 사이즈가 매우 작아지기 때문에, 일부 전송 지연이 있더라도 차량의 속도가 100 km/h 인 경우, 차량에서 체감되는 센싱 이격은 최대 6 cm 정도이기에, 고려하지 않아도 된다.Compared to infrastructure sensors installed in devices such as street lights, automotive sensors have a very small size of sound wave data input to the artificial neural network (because the recording length is very short), and the neural network size and data size to be preprocessed are very small, so some Even if there is a transmission delay, if the vehicle speed is 100 km/h, the sensing distance felt by the vehicle is up to 6 cm, so it does not need to be considered.

도 5는 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서 신호 변환기를 설명하기 위한 도면이다.Figure 5 is a diagram for explaining a signal converter in a road surface type estimation device using continuous signals according to an embodiment of the present invention.

도 5에서는 신호 변환기(410)로 STFT 변환기를 사용한 것을 예로 들어 설명하기로 한다.In Figure 5, the STFT converter used as the signal converter 410 will be described as an example.

도 5에 도시된 바와 같이, STFT 변환기는 도 3b와 같이 수신되는 연속한 반사 신호에서 상기 버퍼부(300)로부터 전달받은 기설정 시간(예를 들어, 8ms) 동안의 디지털 신호 각각에 대하여 쇼트타임푸리에변환(Short-Time Fourier Transform)하여 스펙트로그램(412)을 획득한다.As shown in FIG. 5, the STFT converter converts a short time signal for each digital signal for a preset time (e.g., 8 ms) received from the buffer unit 300 in the continuous reflected signal received as shown in FIG. 3b. A spectrogram 412 is obtained by performing Fourier transform (Short-Time Fourier Transform).

본 발명에서는 음향 임피던스와 표면 거칠기 정보 등을 이용하여 재질을 구분한다. 그런데, 음향 임피던스는 상수가 아니라 음파가 진동하는 주파수마다 그 값이 달라진다. 따라서 주파수 도메인에서의 분석이 필요하다. 타임 도메인의 수신 신호를 주파수 도메인 신호로 변환하기 위한 여러 가지 방법 중 한 가지 방법인 푸리에변환(Time Fourier Transform)을 사용할 수 있는데, 매 시간(샘플링 시간)마다의 FFT를 확인하기 위해 쇼트타임푸리에변환(Short-Time Fourier Transform)를 사용한다.In the present invention, materials are classified using acoustic impedance and surface roughness information. However, acoustic impedance is not a constant, but its value varies depending on the frequency at which the sound wave vibrates. Therefore, analysis in the frequency domain is necessary. You can use the Time Fourier Transform, which is one of several methods to convert a received signal in the time domain into a frequency domain signal. Short-time Fourier Transform is used to check the FFT at each time (sampling time). (Short-Time Fourier Transform) is used.

또한, 쇼트타임푸리에변환(Short-Time Fourier Transform) 뿐만 아니라 웨이브렛(Wavelet) 등을 사용하여 주파수 분석이 가능하며, 본 발명에서는 계산량을 줄이는 동시에 충분한 데이터를 확보하기 위해 STFT를 이용하는 것으로 설명하였다.In addition, frequency analysis is possible using not only Short-Time Fourier Transform but also Wavelet, and the present invention explains that STFT is used to secure sufficient data while reducing the amount of calculation.

쇼트타임푸리에변환(STFT)은 기존 푸리에 변환에서 해결하지 못했던 시간에 대한 변화를 고려하기 위해 고안된 방법이다. STFT는 시간에 따라 변화하는 긴 신호를 짧은 시간 단위로 분할한 다음에 푸리에 변환을 적용하는 것이다.Short-time Fourier transform (STFT) is a method designed to consider changes in time that could not be resolved in the existing Fourier transform. STFT divides a long signal that changes with time into short time units and then applies Fourier transform.

그러나 STFT도 단점은 존재한다. 신호를 윈도우 길이(Window length)에 따라서 분리시키기 때문에 푸리에 변환에 사용되는 신호의 길이를 감소시키고 이에 따라 주파수의 해상도(Resolution)가 악화된다. 그렇다고 윈도우 길이(Window length)를 증가시켜 주파수의 해상도를 향상시켜도 시간 해상도(Resolution)는 반대로 악화된다. 이러한 주파수와 시간의 트레이드 오프(Trade off) 관계로 인한 해상도의 한계를 극복하기 위해 웨이브렛 변환(Wavelet Transform)이 등장했다.However, STFT also has disadvantages. Since the signal is separated according to the window length, the length of the signal used in the Fourier transform is reduced and the frequency resolution is deteriorated accordingly. However, even if the frequency resolution is improved by increasing the window length, the time resolution deteriorates. Wavelet Transform emerged to overcome the limitations in resolution caused by this trade-off relationship between frequency and time.

STFT에서 Window length가 정해져 있었다면, WT은 Window length를 바꿔가면서 여러번 STFT를 하는 것이다. 또한, STFT에서 기본함수로서 시간적으로 무한대로 확장되는 사인곡선을 사용한다면, 웨이브렛은 유한기간동안 존재하는 여러 종류의 함수가 있다. 웨이블릿 함수로는 Morlet, Daubechies, Coiflets, Biorthogonal, Mexican Hat, 및 Symlets 등이 있다.If the window length is fixed in STFT, WT performs STFT several times while changing the window length. Additionally, if STFT uses a sinusoid that extends infinitely in time as the basic function, wavelets have several types of functions that exist for a finite period of time. Wavelet functions include Morlet, Daubechies, Coiflets, Biorthogonal, Mexican Hat, and Symlets.

도 6은 본 발명에 따른 연속된 신호를 이용한 노면 종류 추정 장치에서 인공신경망의 다른 실시예 구성도이다.Figure 6 is a configuration diagram of another embodiment of an artificial neural network in a road surface type estimation device using continuous signals according to the present invention.

도 6에 도시된 바와 같이, 인공신경망(400)은, 컨벌루션 수행부(501), 전달 레이어(502), 다수의 은닉 레이어(503) 및 출력 레이어(504)를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 컨벌루션 신경망(DCNN : Deep Convolution Neural Network)이다.As shown in FIG. 6, the artificial neural network 400 is a multi-layer perceptron (Multi-Layer) including a convolution performance unit 501, a transfer layer 502, multiple hidden layers 503, and an output layer 504. It is a deep convolutional neural network (DCNN) of the Perceptron algorithm.

상기 컨벌루션 수행부(501)는 전달받은 디지털 입력 신호에 대해 1D 컨벌루션 연산을 다회 진행하며, 각 컨벌루션 연산마다 배치정규화(Batch Normalization), 렐루(Relu) 함수, 및 맥스풀링(MaxPooling)함수를 수행하고, 마지막 컨벌루션 연산의 출력은 플랫튼된 데이터를 상기 전달 레이어(502)로 출력한다.The convolution performing unit 501 performs a 1D convolution operation multiple times on the received digital input signal, and performs batch normalization, Relu function, and MaxPooling function for each convolution operation. , the output of the last convolution operation outputs flattened data to the transfer layer 502.

상기 전달 레이어(502)는 상기 컨벌루션 수행부(501)의 플랫튼된 출력 데이터를 1D로 입력받는다.The transfer layer 502 receives the flattened output data of the convolution performing unit 501 in 1D.

상기 전달 레이어(502)로 입력되는 데이터는 다수의 은닉 레이어(503)를 통해 특성 추출 및 분류된다.Data input to the transmission layer 502 is characterized by extraction and classification through a plurality of hidden layers 503.

상기 출력 레이어(504)는 학습한 노면의 각 종류 대한 확률값을 출력한다.The output layer 504 outputs probability values for each type of road surface learned.

상기 인공신경망(400)은 소프트맥스(505)를 이용하여, 상기 출력 레이어(504)로부터 출력되는 확률값들 중에서 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력한다.The artificial neural network 400 uses softmax 505 to determine the type of road surface with the highest probability among the probability values output from the output layer 504 and outputs it.

한편, 상기 인공신경망(400)은, 대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 컨벌루션 수행부(501)의 입력으로도 사용할 수 있다.Meanwhile, the artificial neural network 400 can receive atmospheric information (temperature, humidity, and atmospheric pressure information) and use it as input to the convolution performing unit 501.

또한, 상기 인공신경망(400)은, 상기 노면으로 송신한 음파 신호(201)를 상기 컨벌루션 수행부(501)의 입력으로도 사용할 수도 있다.Additionally, the artificial neural network 400 may also use the sound wave signal 201 transmitted to the road surface as an input to the convolution performing unit 501.

상기 인공신경망(400)에서 하나의 입력 신호에 대하여 노면 분류를 수행하는데 약 1 ms 미만이 소요되므로, 연속되어 수신되는 신호를 수신하여 노면의 종류를 추정하는데는 무리가 없다.Since it takes less than about 1 ms for the artificial neural network 400 to perform road surface classification for one input signal, there is no problem in estimating the type of road surface by receiving continuously received signals.

도 7은 도 6의 컨벌루션 수행부의 동작을 설명하기 위한 도면이다.FIG. 7 is a diagram for explaining the operation of the convolution performance unit of FIG. 6.

도 7에 도시된 바와 같이, 도 6의 컨벌루션 수행부(501)는, 입력 신호에 대해 1D 컨벌루션 연산을 5회 진행하며, 각 컨벌루션 연산마다 배치정규화(Batch Normalization), 렐루(Relu) 함수, 및 맥스풀링(MaxPooling)함수를 수행하고, 마지막 컨벌루션 연산의 출력은 플랫튼된 데이터이다.As shown in FIG. 7, the convolution performing unit 501 of FIG. 6 performs a 1D convolution operation on the input signal five times, and for each convolution operation, batch normalization, Relu function, and The MaxPooling function is performed, and the output of the final convolution operation is flattened data.

입력 신호(601)는 8ms 동안의 수신신호 약 8000 개가 되며, 제1컨벌루션 수행 결과(602)는 상기 입력 신호(601)에 1D conv (64,16), BN, ReLU, 및 MP(8) 을 수행한 결과이고, 제2컨벌루션 수행 결과(603)는 상기 제1컨벌루션 수행 결과(602)에 1D conv (32,32), BN, ReLU, 및 MP(8) 을 수행한 결과이고, 제3컨벌루션 수행 결과(604)는 상기 제2컨벌루션 수행 결과(603)에 1D conv (16,64), BN, ReLU, 및 MP(8) 을 수행한 결과이고, 제4컨벌루션 수행 결과(605)는 상기 제3컨벌루션 수행 결과(604)에 1D conv (8,128), BN, 및 ReLU 를 수행한 결과이고, 제5컨벌루션 수행 결과(606)는 상기 제4컨벌루션 수행 결과(605)에 1D conv (4,2568), BN, 및 ReLU 를 수행한 결과이다.The input signal 601 is about 8000 received signals for 8 ms, and the first convolution result 602 is obtained by applying 1D conv (64,16), BN, ReLU, and MP(8) to the input signal 601. This is the result, and the second convolution result 603 is the result of performing 1D conv (32,32), BN, ReLU, and MP(8) on the first convolution result 602, and the third convolution The performance result 604 is the result of performing 1D conv (16,64), BN, ReLU, and MP(8) on the second convolution result 603, and the fourth convolution result 605 is the result of performing 1D conv (16,64), BN, ReLU, and MP(8) on the second convolution result 603. It is the result of performing 1D conv (8,128), BN, and ReLU on the 3rd convolution result (604), and the 5th convolution result (606) is 1D conv (4,2568) on the 4th convolution result (605). This is the result of performing , BN, and ReLU.

한편, 본 발명에서는 1차원(1D) 컨볼루션 연산을 수행하는 방법을 일예로 들어 설명하였으나, 컨벌루션 연산은 1D 뿐만 아니라, 2D 및 3D도 가능하다.Meanwhile, in the present invention, a method of performing a one-dimensional (1D) convolution operation is described as an example, but convolution operation is possible not only in 1D, but also in 2D and 3D.

도 8은 본 발명에 따른 연속된 신호를 이용한 노면 종류 추정 방법의 일실시예 흐름도이다.Figure 8 is a flowchart of an embodiment of a road surface type estimation method using continuous signals according to the present invention.

먼저, 본 발명에 따른 음파를 이용한 노면 종류 추정 방법을 수행하기 위해서는 먼저 학습단계(S10)가 선행되어 노면분류모델이 생성되어 있어야 한다.First, in order to perform the road surface type estimation method using sound waves according to the present invention, the learning step (S10) must be preceded and a road surface classification model must be created.

상기 학습단계(S10)에서는, 다수 종류의 노면에 대하여, 연속된 음파 신호를 송신한 후, 반사되는 연속된 신호를 수신하고, 상기 수신한 연속된 신호를 디지털 신호로 변환하고, 상기 변환된 디지털 신호에서 기설정된 시간 동안의 신호를 연속적으로 전달받아, 각 신호를 주파수 도메인 신호로 변환하고, 변환된 각각의 주파수 도메인 신호를 신경망(420)에 입력하여 노면분류모델을 학습시킨다.In the learning step (S10), after transmitting a continuous sound wave signal to multiple types of road surfaces, a reflected continuous signal is received, the received continuous signal is converted into a digital signal, and the converted digital signal is received. Signals for a preset time are continuously received from the signal, each signal is converted into a frequency domain signal, and each converted frequency domain signal is input to the neural network 420 to learn a road surface classification model.

여기서, 상기 학습단계(S10)에서, 상기 주파수 도메인 신호로 변환하기 위하여 STFT(Short-Time Fourier Transform) 변환기, FFT(Fast Fourier Transform), 캡스트럼(cepstrum), 또는 웨이브렛 변환기(wavelet transform)를 사용할 수 있다. 상기주파수 도메인 신호는 2D 또는 3D 일 수 있다.Here, in the learning step (S10), a Short-Time Fourier Transform (STFT) transformer, Fast Fourier Transform (FFT), cepstrum, or wavelet transformer is used to convert the signal into the frequency domain signal. You can use it. The frequency domain signal may be 2D or 3D.

이후, 제어부(500)의 제어에 따라, 종류를 알고자하는 해당 노면으로 연속된 음파 신호를 송신한 후, 반사되는 연속된 신호를 수신한다(S20).Thereafter, under the control of the control unit 500, a continuous sound wave signal is transmitted to the road surface of which the type is to be determined, and then the reflected continuous signal is received (S20).

이후, 상기 제어부(500)의 제어에 따라, 상기 수신한 연속된 신호의 아날로그 신호를 디지털 신호로 변환한다(S30).Thereafter, under the control of the control unit 500, the analog signal of the received continuous signal is converted into a digital signal (S30).

이후, 상기 제어부의 제어에 따라, 적어도 두 개의 버퍼가 상기 변환된 디지털 신호에서 기설정된 시간 동안의 신호를 연속적으로 전달받는다(S40).Thereafter, under the control of the controller, at least two buffers continuously receive signals from the converted digital signal for a preset time (S40).

한편, 상기 수신되는 연속된 신호는 대기의 온도, 기압 및 습도에 따라 보정하여 감쇄 보상에 이용할 수도 있다.Meanwhile, the received continuous signal can be corrected according to atmospheric temperature, pressure, and humidity and used for attenuation compensation.

여기서, 상기 제어부(500)는 상기 적어도 두 개의 버퍼로부터 출력되는 데이터를 직렬 방식으로 전환하여 상기 인공신경망(400)으로 전달되도록 제어한다.Here, the control unit 500 converts data output from the at least two buffers into a serial format and controls the data to be transmitted to the artificial neural network 400.

이후, 상기 제어부(500)의 제어에 따라, 상기 연속적으로 전달받는 디지털 신호 각각에 대하여 신호 변환(주파수 변환)을 수행하여 주파수 도메인 신호를 획득한다(S50).Thereafter, under the control of the control unit 500, signal conversion (frequency conversion) is performed on each of the continuously received digital signals to obtain a frequency domain signal (S50).

상기 주파수도메인신호획득단계(S50)에서는, 상기 연속적으로 전달받는 디지털 신호 각각에 대하여, 신호 변환기(410)에서 주파수 변환하여 상기 주파수 도메인 신호를 획득한다.In the frequency domain signal acquisition step (S50), each of the continuously received digital signals is frequency converted in the signal converter 410 to obtain the frequency domain signal.

이후, 상기 제어부(500)의 제어에 따라, 상기 주파수 도메인 신호를 신경망(420)의 입력 신호로 하고, 학습된 노면분류모델에 기반하여, 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 결정한다(S60).Then, under the control of the controller 500, the frequency domain signal is used as an input signal of the neural network 420, and based on the learned road surface classification model, the characteristics of the input signal are extracted and classified to determine the road surface. Determine the type (S60).

상기 신경망(420)은, 입력 레이어(401), 다수의 히든 레이어(402) 및 출력 레이어(403)를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망(DNN : Deep Neural Network)이며, 상기 출력 레이어(403)는, 학습한 노면의 각 종류에 대한 확률값을 출력하고, 상기 신경망은, 소프트맥스(softmax)(404)를 이용하여, 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력한다.The neural network 420 is a deep neural network (DNN) of the multi-layer perceptron algorithm including an input layer 401, multiple hidden layers 402, and an output layer 403, The output layer 403 outputs probability values for each type of road surface learned, and the neural network uses softmax 404 to determine and output the type of road surface with the highest probability. .

한편, 상기 신경망(420)의 구조는 상기 언급한 DNN에 한정되지 않는다.Meanwhile, the structure of the neural network 420 is not limited to the above-mentioned DNN.

상기 신경망(420)은, 대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 입력 레이어(401)의 입력으로도 사용할 수 있다.The neural network 420 can receive atmospheric information (temperature, humidity, and atmospheric pressure information) and use it as input to the input layer 401.

또한, 상기 신경망(420)은, 상기 노면으로 송신한 음파 신호를 주파수 변환하여 상기 입력 레이어(401)의 입력으로도 사용할 수 있다.Additionally, the neural network 420 can frequency-convert the sound wave signal transmitted to the road surface and use it as an input to the input layer 401.

도 9는 본 발명에 따른 연속된 신호를 이용한 노면 종류 추정 방법의 다른 실시예 흐름도이다.Figure 9 is a flowchart of another embodiment of a road surface type estimation method using continuous signals according to the present invention.

먼저, 본 발명에 따른 연속된 신호를 이용한 노면 종류 추정 방법을 수행하기 위해서는 먼저 제2학습단계(S90)가 선행되어 노면분류모델이 생성되어 있어야 한다.First, in order to perform the road surface type estimation method using continuous signals according to the present invention, the second learning step (S90) must first be performed and a road surface classification model must be created.

상기 제2학습단계(S90)에서는, 다수 종류의 노면에 대하여, 연속된 음파 신호를 송신한 후, 반사되는 연속된 신호를 수신하고, 상기 수신한 연속된 신호를 디지털 신호로 변환하고, 상기 변환된 디지털 신호에서 기설정된 시간 동안의 신호를 연속적으로 전달받아, 인공신경망(400)에 입력시켜 다회의 컨벌루션 연산을 수행하여 상기 노면분류모델을 학습시킨다.In the second learning step (S90), after transmitting a continuous sound wave signal to multiple types of road surfaces, a reflected continuous signal is received, the received continuous signal is converted into a digital signal, and the conversion is performed. Signals for a preset period of time are continuously received from the digital signal, input into the artificial neural network 400, and multiple convolution operations are performed to learn the road surface classification model.

이후, 제어부(500)의 제어에 따라, 종류를 알고자하는 해당 노면으로 연속된 음파 신호를 송신한 후, 반사되는 연속된 신호를 수신한다(S20).Thereafter, under the control of the control unit 500, a continuous sound wave signal is transmitted to the road surface of which the type is to be determined, and then the reflected continuous signal is received (S20).

이후, 상기 제어부(500)의 제어에 따라, 상기 수신한 연속된 신호의 아날로그 신호를 디지털 신호로 변환한다(S30).Thereafter, under the control of the control unit 500, the analog signal of the received continuous signal is converted into a digital signal (S30).

이후, 상기 제어부의 제어에 따라, 적어도 두 개의 버퍼가 상기 변환된 디지털 신호에서 기설정된 시간 동안의 신호를 연속적으로 전달받는다(S40).Thereafter, under the control of the controller, at least two buffers continuously receive signals from the converted digital signal for a preset time (S40).

한편, 상기 수신되는 연속된 신호는 대기의 온도, 기압 및 습도에 따라 보정하여 감쇄 보상에 이용할 수도 있다.Meanwhile, the received continuous signal can be corrected according to atmospheric temperature, pressure, and humidity and used for attenuation compensation.

이후, 상기 제어부(500)의 제어에 따라, 상기 인공신경망(400)에서 상기 연속적으로 전달받는 디지털 신호 각각에 대하여 다회의 컨벌루션 연산을 수행한다(S70).Thereafter, under the control of the controller 500, the artificial neural network 400 performs multiple convolution operations on each of the continuously received digital signals (S70).

상기 컨벌루션연산단계(S70)에서는, 상기 연속적으로 전달받는 디지털 신호 각각에 대해 1D 컨벌루션 연산을 다회 진행하며, 각 컨벌루션 연산마다 배치정규화(Batch Normalization), 렐루(Relu) 함수, 및 맥스풀링(MaxPooling)함수를 수행하고, 마지막 컨벌루션 연산의 출력은 플랫튼된 데이터이다.In the convolution operation step (S70), 1D convolution operation is performed multiple times for each of the continuously received digital signals, and batch normalization, Relu function, and MaxPooling are performed for each convolution operation. The function is performed, and the output of the final convolution operation is flattened data.

이후, 상기 제어부(500)의 제어에 따라, 상기 인공신경망(400)에서 학습된 노면분류모델에 기반하여, 상기 컨번루션 연산된 신호(플랫튼된 데이터)의 특성을 추출하고, 분류하여 상기 노면의 종류를 결정한다(S80).Thereafter, under the control of the control unit 500, the characteristics of the convolution calculated signal (flattened data) are extracted and classified based on the road surface classification model learned in the artificial neural network 400, and the road surface is classified. Determine the type (S80).

상기 인공신경망(400)은, 상기 디지털 신호를 입력받아 다회의 컨벌루션 연산을 수행하는 컨벌루션 수행부(501), 전달 레이어(502), 다수의 은닉 레이어(503) 및 출력 레이어(504)를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 컨벌루션 신경망(DCNN : Deep Convolution Neural Network)이며, 상기 출력 레이어(504)는, 학습한 노면의 각 종류에 대한 확률값을 출력하고, 상기 인공신경망(400)은, 소프트맥스(softmax)(505)를 이용하여, 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력한다.The artificial neural network 400 includes a convolution performing unit 501 that receives the digital signal and performs multiple convolution operations, a transfer layer 502, a plurality of hidden layers 503, and an output layer 504. It is a deep convolutional neural network (DCNN) of the multi-layer perceptron algorithm, and the output layer 504 outputs probability values for each type of learned road surface, and the artificial neural network 400 Using softmax 505, the type of road surface with the highest probability is determined and output.

한편, 상기 인공신경망(400)의 구조는 상기 언급한 DCNN에 한정되지 않는다.Meanwhile, the structure of the artificial neural network 400 is not limited to the DCNN mentioned above.

상기 인공신경망(400)은, 대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 컨벌루션 수행부(501)의 입력으로도 사용할 수 있다.The artificial neural network 400 can receive atmospheric information (temperature, humidity, and atmospheric pressure information) and use it as input to the convolution performing unit 501.

또한, 상기 인공신경망(400)은, 상기 노면으로 송신한 음파 신호를 상기 컨벌루션 수행부(501)의 입력으로도 사용할 수 있다.Additionally, the artificial neural network 400 can also use the sound wave signal transmitted to the road surface as an input to the convolution performing unit 501.

이상에서 본 발명의 일 실시예에 따른 연속된 신호를 이용한 노면 종류 추정 방법에 대하여 설명하였지만, 연속된 신호를 이용한 노면 종류 추정 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 및 연속된 신호를 이용한 노면 종류 추정 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 프로그램 역시 구현 가능함은 물론이다.Although the method for estimating the road surface type using a continuous signal according to an embodiment of the present invention has been described above, a computer-readable recording medium storing a program for implementing the method for estimating the road surface type using a continuous signal and a continuous signal are used. Of course, a program stored in a computer-readable recording medium to implement the used road surface type estimation method can also be implemented.

즉, 상술한 연속된 신호를 이용한 노면 종류 추정 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 다시 말해, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In other words, those skilled in the art can easily understand that the method of estimating the type of road surface using the above-described continuous signal can be provided by being included in a recording medium that can be read by a computer by tangibly implementing a program of commands for implementing it. will be. In other words, it can be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc., singly or in combination. The program instructions recorded on the computer-readable recording medium may be those specifically designed and configured for the present invention, or may be known and usable by those skilled in the computer software art. Examples of the computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and floptical disks. Included are magneto-optical media, and hardware devices specifically configured to store and perform program instructions, such as ROM, RAM, flash memory, USB memory, and the like. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.The present invention is not limited to the above-described embodiments, and the scope of application is diverse. Of course, various modifications and implementations are possible without departing from the gist of the present invention as claimed in the claims.

100: 음파 송수신부
101: 음파 송신기 102: 음파 수신기
200: 아날로그디지털변환기 300: 버퍼부
400: 인공신경망
410: 신호 변환기 420: 신경망
501: 컨벌루션 수행부 502: 전달 레이어
503: 은닉 레이어 504: 출력 레이어
500: 제어부(MCU)
S10: 제1학습단계
S20: 연속된반사신호수신단계
S30: 신호변환단계
S40: 버퍼링단계
S50: 주파수도메인신호획득단계
S60: 제1노면종류결정단계
S70: 컨벌루션연산단계
S80: 제2노면종류결정단계
S90: 제2학습단계100: Sound wave transceiver
101: sound wave transmitter 102: sound wave receiver
200: Analog-to-digital converter 300: Buffer unit
400: Artificial neural network
410: signal converter 420: neural network
501: Convolution execution unit 502: Transfer layer
503: Hidden layer 504: Output layer
500: Control unit (MCU)
S10: First learning stage
S20: Continuous reflected signal reception step
S30: Signal conversion step
S40: Buffering step
S50: Frequency domain signal acquisition step
S60: First road surface type determination step
S70: Convolution operation step
S80: Second road surface type determination step
S90: Second learning stage

Claims (10)

연속된 신호를 이용한 노면 종류 추정 장치에 있어서,
종류를 알고자하는 해당 노면으로 연속된 음파 신호를 송신한 후, 반사되는 연속된 신호를 수신하기 위한 음파 송수신부(100);
상기 수신한 연속된 신호의 아날로그 신호를 디지털 신호로 변환하기 위한 아날로그디지털변환기(200);
상기 변환된 디지털 신호에서 기설정된 시간 동안의 신호를 연속적으로 전달받는 다수의 버퍼를 포함하는 버퍼부(300);
상기 연속적으로 전달받는 디지털 신호를 입력 신호로 하고, 학습된 노면분류모델에 기반하여 상기 입력 신호를 분류하여 상기 노면의 종류를 추정하는 인공신경망(400); 및
상기 음파 송수신부, 상기 아날로그디지털변환기, 상기 버퍼부 및 상기 인공신경망의 동작을 제어하는 제어부(MCU)(500)
를 포함하는 연속된 신호를 이용한 노면 종류 추정 장치.
In the road surface type estimation device using continuous signals,
A sound wave transmitting and receiving unit 100 for transmitting a continuous sound wave signal to the road surface of which the type is to be determined and then receiving the reflected continuous signal;
An analog-to-digital converter (200) for converting the received analog signal of the continuous signal into a digital signal;
A buffer unit 300 including a plurality of buffers that continuously receive signals from the converted digital signal for a preset time;
an artificial neural network 400 that uses the continuously received digital signal as an input signal and classifies the input signal based on a learned road surface classification model to estimate the type of the road surface; and
A control unit (MCU) 500 that controls the operation of the sound wave transceiver, the analog-to-digital converter, the buffer unit, and the artificial neural network.
Road surface type estimation device using continuous signals including.
제1항에 있어서,
상기 버퍼부(300)는,
적어도 두 개의 버퍼를 포함하고,
상기 적어도 두 개의 버퍼는,
상기 기설정된 시간 동안의 신호를 기설정된 순서대로 전달받는 것을 특징으로 하는 연속된 신호를 이용한 노면 종류 추정 장치.
According to paragraph 1,
The buffer unit 300,
contains at least two buffers,
The at least two buffers are:
A road surface type estimation device using continuous signals, characterized in that the signals for the preset time are transmitted in a preset order.
제2항에 있어서,
상기 제어부(500)는,
상기 적어도 두 개의 버퍼로부터 출력되는 데이터를 직렬 방식으로 전환하여 상기 인공신경망으로 전달되도록 제어하는 것을 특징으로 하는 연속된 신호를 이용한 노면 종류 추정 장치.
According to paragraph 2,
The control unit 500,
A road surface type estimation device using a continuous signal, characterized in that the data output from the at least two buffers is converted into a serial method and controlled to be transmitted to the artificial neural network.
제1항에 있어서,
상기 인공신경망(400)은,
상기 버퍼부로부터 전달받은 연속된 디지털 신호 각각에 대하여 주파수 변환을 수행하여 주파수 도메인 신호를 획득하기 위한 주파수변환기(410); 및
상기 주파수 도메인 신호를 입력 신호로 하고, 상기 학습된 노면분류모델에 기반하여 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 추정하는 신경망(420)을 포함하고,
상기 신경망(420)은,
입력 레이어, 다수의 은닉 레이어 및 출력 레이어를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망인 것을 특징으로 하는 연속된 신호를 이용한 노면 종류 추정 장치.
According to paragraph 1,
The artificial neural network 400,
A frequency converter 410 for obtaining a frequency domain signal by performing frequency conversion on each successive digital signal received from the buffer unit; and
A neural network 420 that uses the frequency domain signal as an input signal, extracts characteristics of the input signal based on the learned road surface classification model, classifies it, and estimates the type of the road surface,
The neural network 420 is,
A road surface type estimation device using continuous signals, characterized in that it is a deep neural network of the Multi-Layer Perceptron algorithm including an input layer, multiple hidden layers, and an output layer.
제1항에 있어서,
상기 인공신경망(400)은,
상기 버퍼부로부터 전달받은 연속된 디지털 신호 각각에 대하여 다회의 컨벌루션 연산을 수행하는 컨벌루션 수행부(501), 전달 레이어(502), 다수의 은닉 레이어(503) 및 출력 레이어(504)를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 컨벌루션 신경망(DCNN : Deep Convolution Neural Network)인 것을 특징으로 하는 연속된 신호를 이용한 노면 종류 추정 장치.
According to paragraph 1,
The artificial neural network 400,
A multi-layer comprising a convolution performing unit 501 that performs multiple convolution operations on each successive digital signal received from the buffer unit, a transfer layer 502, a plurality of hidden layers 503, and an output layer 504. A road surface type estimation device using continuous signals, characterized by a deep convolution neural network (DCNN) of the perceptron (Multi-Layer Perceptron) algorithm.
제5항에 있어서,
상기 컨벌루션 수행부(501)는,
입력 신호에 대해 1D 컨벌루션 연산을 다회 진행하며, 각 컨벌루션 연산마다 배치정규화(Batch Normalization), 렐루(Relu) 함수, 및 맥스풀링(MaxPooling)함수를 수행하고, 마지막 컨벌루션 연산의 출력은 플랫튼된 데이터인 것을 특징으로 하고,
상기 출력 레이어는,
학습한 노면의 각 종류에 대한 확률값을 출력하는 것을 특징으로 하고,
상기 인공신경망은,
소프트맥스를 이용하여, 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력하는 것을 특징으로 하는 연속된 신호를 이용한 노면 종류 추정 장치.
According to clause 5,
The convolution performing unit 501,
A 1D convolution operation is performed multiple times on the input signal. Batch normalization, Relu function, and MaxPooling function are performed for each convolution operation, and the output of the last convolution operation is flattened data. Characterized by,
The output layer is,
Characterized by outputting probability values for each type of road surface learned,
The artificial neural network is,
A road surface type estimation device using continuous signals, characterized in that it determines and outputs the type of road surface with the highest probability using softmax.
연속된 신호를 이용한 노면 종류 추정 방법에 있어서,
제어부의 제어에 따라, 종류를 알고자하는 해당 노면으로 연속된 음파 신호를 송신한 후, 반사되는 연속된 신호를 수신하는 연속된반사신호수신단계(S20);
상기 제어부의 제어에 따라, 상기 수신한 연속된 신호의 아날로그 신호를 디지털 신호로 변환하는 신호변환단계(S30);
상기 제어부의 제어에 따라, 다수의 버퍼가 상기 변환된 디지털 신호에서 기설정된 시간 동안의 신호를 연속적으로 전달받는 버퍼링단계(S40);
상기 제어부의 제어에 따라, 상기 연속적으로 전달받는 디지털 신호 각각에 대하여 주파수 변환을 수행하여 주파수 도메인 신호를 획득하는 주파수도메인신호획득단계(S50); 및
상기 제어부의 제어에 따라, 상기 주파수 도메인 신호를 신경망의 입력 신호로 하고, 학습된 노면분류모델에 기반하여, 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 결정하는 제1노면종류결정단계(S60)
를 포함하는 연속된 신호를 이용한 노면 종류 추정 방법.
In the road surface type estimation method using continuous signals,
A continuous reflected signal reception step (S20) of transmitting a continuous sound wave signal to the road surface whose type is to be known under the control of the control unit and then receiving a continuous reflected signal;
A signal conversion step (S30) of converting the received analog signal of the continuous signal into a digital signal under the control of the control unit;
A buffering step (S40) in which a plurality of buffers continuously receive signals from the converted digital signal for a preset time under the control of the control unit;
A frequency domain signal acquisition step (S50) of obtaining a frequency domain signal by performing frequency conversion on each of the continuously received digital signals under the control of the control unit; and
Under the control of the control unit, the frequency domain signal is used as an input signal of a neural network, and based on a learned road surface classification model, characteristics of the input signal are extracted and classified to determine the type of the road surface. Decision stage (S60)
Road surface type estimation method using continuous signals including.
연속된 신호를 이용한 노면 종류 추정 방법에 있어서,
제어부의 제어에 따라, 종류를 알고자하는 해당 노면으로 연속된 음파 신호를 송신한 후, 반사되는 연속된 신호를 수신하는 연속된반사신호수신단계(S20);
상기 제어부의 제어에 따라, 상기 수신한 연속된 신호의 아날로그 신호를 디지털 신호로 변환하는 신호변환단계(S30);
상기 제어부의 제어에 따라, 다수의 버퍼가 상기 변환된 디지털 신호에서 기설정된 시간 동안의 신호를 연속적으로 전달받는 버퍼링단계(S40);
상기 제어부의 제어에 따라, 인공신경망에서 상기 연속적으로 전달받는 디지털 신호 각각에 대하여 다회의 컨벌루션 연산을 수행하는 컨벌루션연산단계(S70); 및
상기 제어부의 제어에 따라, 상기 인공신경망에서 학습된 노면분류모델에 기반하여, 상기 컨벌루션 연산된 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 결정하는 제2노면종류결정단계(S80)
를 포함하는 연속된 신호를 이용한 노면 종류 추정 방법.
In the road surface type estimation method using continuous signals,
A continuous reflected signal reception step (S20) of transmitting a continuous sound wave signal to the road surface whose type is to be known under the control of the control unit and then receiving a continuous reflected signal;
A signal conversion step (S30) of converting the received analog signal of the continuous signal into a digital signal under the control of the control unit;
A buffering step (S40) in which a plurality of buffers continuously receive signals from the converted digital signal for a preset time under the control of the control unit;
A convolution operation step (S70) of performing multiple convolution operations on each of the continuously received digital signals from an artificial neural network under the control of the controller; and
Under the control of the control unit, based on the road surface classification model learned in the artificial neural network, the characteristics of the convolution calculated signal are extracted and classified to determine the type of the road surface (S80).
Road surface type estimation method using continuous signals including.
제7항 또는 제8항에 있어서,
상기 버퍼링단계(S40)는,
상기 제어부의 제어에 따라, 적어도 두 개의 버퍼가 상기 기설정된 시간 동안의 신호를 기설정된 순서대로 전달받는 것을 특징으로 하는 연속된 신호를 이용한 노면 종류 추정 방법.
According to clause 7 or 8,
The buffering step (S40) is,
A road surface type estimation method using a continuous signal, characterized in that at least two buffers receive signals for the preset time in a preset order under the control of the control unit.
제9항에 있어서,
상기 버퍼링단계(S40) 이후에,
상기 제어부의 제어에 따라, 상기 적어도 두 개의 버퍼로부터 출력되는 데이터를 직렬 방식으로 전환하여 전달하는 단계
를 더 포함하는 것을 특징으로 하는 연속된 신호를 이용한 노면 종류 추정 방법.According to clause 9,
After the buffering step (S40),
Converting and transmitting data output from the at least two buffers in a serial manner under the control of the control unit
A road surface type estimation method using continuous signals, further comprising: