KR102207816B1 - Method and apparatus for measuring road surface condition using sensor data - Google Patents
Method and apparatus for measuring road surface condition using sensor data Download PDFInfo
- Publication number
- KR102207816B1 KR102207816B1 KR1020200100495A KR20200100495A KR102207816B1 KR 102207816 B1 KR102207816 B1 KR 102207816B1 KR 1020200100495 A KR1020200100495 A KR 1020200100495A KR 20200100495 A KR20200100495 A KR 20200100495A KR 102207816 B1 KR102207816 B1 KR 102207816B1
- Authority
- KR
- South Korea
- Prior art keywords
- road surface
- road
- surface condition
- wave signal
- target
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
- G01V3/08—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with magnetic or electric fields produced or modified by objects or geological structures or by detecting devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N3/08—Investigating strength properties of solid materials by application of mechanical stress by applying steady tensile or compressive forces
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G06K9/00208—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- B64C2201/127—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G01C2011/36—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Geophysics (AREA)
- Chemical & Material Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Environmental & Geological Engineering (AREA)
- Geology (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
Description
본 발명은 도로의 노면 상태를 측정하는 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 레이더 센서 및 카메라를 이용하여 도로 노면의 물성을 측정하는 방법 및 그 장치에 관한 것이다.The present invention relates to a method and an apparatus for measuring a road surface condition of a road. More specifically, it relates to a method and an apparatus for measuring physical properties of a road surface using a radar sensor and a camera.
국내 도로교통사고 중 악천후(강우, 강설 등)에 발생하는 교통사고는 전체 교통사고의 10%에 이르며, 특히 악천후 교통사고는 치사율이 평시 교통사고 대비 1.3~1.5배로서 보다 적극적인 악천후 도로교통 안전 향상 기술의 적용이 필요하다. 특히, 악천후에 발생하는 차량 미끄럼 관련 사고는 정확한 노면 상태 정보를 운전자가 취득할 수 있는 환경이 구현된다면, 악천후에 따른 불량노면으로 인한 교통사고의 절감이 가능할 것으로 기대된다.Among domestic road traffic accidents, traffic accidents that occur due to bad weather (rainfall, snow, etc.) account for 10% of the total traffic accidents, and in particular, traffic accidents in bad weather have a fatality rate of 1.3 to 1.5 times that of normal traffic accidents. Technology needs to be applied. In particular, vehicle slip-related accidents occurring in bad weather are expected to reduce traffic accidents caused by poor road surfaces due to bad weather if an environment in which the driver can acquire accurate road surface condition information is implemented.
도로 표면상태를 측정하는 기술은 측정방식에 따라 능동형 센서(Active Sensors)를 활용하는 방법과 수동형 센서(Passive Sensors)를 활용하는 방법, 직접 측정(Direct Sensing)하는 방법으로 나눌 수 있으며, 측정 대상에 따라 온습도 측정방법, 상대유전율 측정방법, 표면 마찰계수 측정방법, 영상을 통한 측정방법으로 나뉠 수 있다.The technology for measuring the road surface condition can be divided into a method of using active sensors, a method of using passive sensors, and a method of direct sensing, depending on the measurement method. Accordingly, it can be divided into a temperature and humidity measurement method, a relative dielectric constant measurement method, a surface friction coefficient measurement method, and an image measurement method.
능동형 센서를 활용하는 방법에는 전자기장(Electromagnetic Field, EMF)를 활용하는 방법, 전기장을 활용하는 방법, 적외선 빔을 활용하는 방법이 있으며 적외선 빔과 전기장을 측정하는 방법은 좁은 측정 범위를 가지는 데 반해 전자기장을 활용한 방법은 넓은 범위에 대한 측정이 가능하다는 장점이 있다.Methods of using an active sensor include a method of using an electromagnetic field (EMF), a method of using an electric field, and a method of using an infrared beam.The method of measuring an infrared beam and an electric field has a narrow measurement range, whereas an electromagnetic field. The method using is advantageous in that it can measure over a wide range.
직접측정 방식으로 도로 표면에 매립된 온습도 혹은 전기장 센서(콘덴서)를 활용한 방법은 바퀴가 닿는 부분이 아닌 도로의 가장자리만 측정이 가능하다는 한계가 있으며 센서 전력 공급 문제와 도로 유지보수 시 재시공이 필요하다는 한계도 존재하며, 차량내부의 센서를 이용한 마찰 계수 측정 등 차량 내 위치한 센서를 이용한 방법은 경보의 전파를 위해 최초 차량은 위험에 노출된다는 점과 차량 제조사별 내부 프로토콜이 달라 표준화된 장치를 상용화하기 어렵다는 점, 모든 차량에 기능을 내장하는 부분이 현실적으로 어렵다는 문제점이 존재한다.The method using a temperature/humidity or electric field sensor (condenser) embedded in the road surface as a direct measurement method has a limitation in that it is possible to measure only the edge of the road, not the part where the wheel touches, and the sensor power supply problem and reconstruction are required for road maintenance. There is also a limitation, and the method using a sensor located in the vehicle such as measuring the friction coefficient using a sensor inside the vehicle commercializes a standardized device because the first vehicle is exposed to danger for the propagation of an alarm, and the internal protocol of each vehicle manufacturer is different There is a problem that it is difficult to do it, and that it is practically difficult to embed functions in all vehicles.
종래 프로브 차량을 이용하여 노면과 차량 타이어간 직접 마찰로 인해 발생하는 마찰계수를 이용하여 노면의 상태를 파악하는 기술을 이용하였으나, 프로브 차량을 주기적으로 운영함에 따라 발생하는 비용이 발생한다는 한계가 존재하였다.Conventional probe vehicle was used to determine the condition of the road surface by using the friction coefficient generated by direct friction between the road surface and vehicle tires, but there is a limit that costs incurred by periodically operating the probe vehicle I did.
이에 따라 비접촉식 레이저를 이용하여 적외선 영역대의 복수의 레이저 파장을 기초로 각 파장 별 광선의 노면 반사율을 수광부에서 측정하여 분석하는 방식이 개발되었다. 하지만 노면의 부분적인 난반사, 노면 재질의 상이성에 따라 오차율이 매우 높으며, 레이저 센서 비용이 매우 높아 문제가 된다.Accordingly, a method of measuring and analyzing the reflectance of the road surface of each light ray at each wavelength on the basis of a plurality of laser wavelengths in the infrared region using a non-contact laser was developed. However, the error rate is very high according to the partial diffuse reflection of the road surface and the difference in the material of the road surface, and the cost of the laser sensor is very high, which is a problem.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.The above-described background technology is technical information possessed by the inventors for derivation of the present invention or acquired during the derivation process of the present invention, and is not necessarily known to be publicly known prior to filing the present invention.
본 발명은 저비용의 실시간 고신뢰성을 갖춘 교통 정보 제공 솔루션의 구현을 위한 정형화된 노면 상태 측정 방법 및 그 장치를 제공한다.The present invention provides a standardized road surface condition measurement method and apparatus for implementing a traffic information providing solution with low cost and real time high reliability.
본 발명의 일 실시예에 따르는 노면 상태 측정 방법은 도로 영역을 촬영한 영상을 이용하여 상기 도로 영역에 포함된 대상 도로 노면의 영역을 추정하는 단계, 레이더 센서를 이용하여 상기 대상 도로 노면에 전자기파 신호를 송신하는 단계, 상기 대상 도로 노면에 대한 전자기파 신호의 반사파 신호를 수신하는 단계 및 상기 반사파 신호를 기초로 상기 대상 도로 노면의 상태에 대한 물성 정보를 추정하는 단계를 포함할 수 있다.A road surface condition measurement method according to an embodiment of the present invention includes estimating an area of a target road road surface included in the road area using an image photographed of the road area, and an electromagnetic wave signal on the target road road surface using a radar sensor. It may include transmitting, receiving a reflected wave signal of an electromagnetic wave signal for the target road road surface, and estimating physical property information on a state of the target road road surface based on the reflected wave signal.
일 실시예에서 상기 대상 도로 노면의 영역을 추정하는 단계는, 상기 추정된 도로 영역에 대한 3D 매핑을 수행하여 상기 대상 도로 노면의 영역을 추정하는 단계를 포함할 수 있다.In an embodiment, estimating the area of the target road road surface may include estimating the area of the target road road surface by performing 3D mapping on the estimated road area.
일 실시예에서 상기 노면 상태 측정 방법을 수행하는 컴퓨팅 장치가 무인 비행체인 경우, 상기 대상 도로 노면에 전자기파 신호를 송신하는 단계는, 상기 무인 비행체의 이동 속도를 기초로 도플러 보정을 수행하여 상기 대상 도로 노면에 전자기파 신호를 송신하는 단계를 포함할 수 있다.In one embodiment, when the computing device for performing the road surface condition measurement method is an unmanned aerial vehicle, transmitting an electromagnetic wave signal to the road surface of the target road includes Doppler correction based on the moving speed of the unmanned aerial vehicle It may include transmitting an electromagnetic wave signal to the road surface.
일 실시예에서 상기 반사파 신호를 수신하는 단계는, 상기 반사파 신호가 변환된 I/Q 신호를 수신하는 단계를 포함할 수 있다.In an embodiment, the receiving of the reflected wave signal may include receiving an I/Q signal converted from the reflected wave signal.
일 실시예에서 상기 물성 정보를 추정하는 단계는, 상기 반사파 신호를 기초로 상대유전율을 측정하고, 상기 상대유전율을 기초로 상기 대상 도로 노면의 상태에 대한 물성 정보를 획득하는 단계를 포함할 수 있다.In an embodiment, estimating the physical property information may include measuring a relative dielectric constant based on the reflected wave signal, and acquiring physical property information on the state of the road surface of the target road based on the relative dielectric constant. .
본 발명의 다른 실시예에 따른 노면 상태 측정 장치는 카메라, 레이더 센서 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라가 도로 영역을 촬영한 영상을 이용하여 상기 도로 영역에 포함된 대상 도로 노면의 영역을 추정하고, 상기 레이더 센서를 이용하여 대상 도로 노면에 전자기파 신호를 송신하고, 상기 레이더 센서를 이용하여 대상 도로 노면에 대한 전자기파 신호의 반사파 신호를 수신하고, 상기 반사파 신호를 기초로 상기 대상 도로 노면의 상태에 대한 물성 정보를 추정할 수 있다.A road surface condition measurement apparatus according to another embodiment of the present invention includes a camera, a radar sensor, and a processor, wherein the processor includes an area of a target road road surface included in the road area using an image captured by the camera Estimating, using the radar sensor to transmit an electromagnetic wave signal to the target road road surface, using the radar sensor to receive the reflected wave signal of the electromagnetic wave signal for the target road road surface, and the target road road surface based on the reflected wave signal Physical property information about the state of can be estimated.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.
도 1은 본 발명의 일 실시예에 따른 노면 상태 측정 방법을 수행하는 노면 상태 측정 시스템의 예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 노면 상태 측정 장치의 구성 및 동작을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따라 무인 비행체를 이용하여 노면 상태를 측정하는 노면 상태 측정 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 노면 상태 측정 방법의 순서도이다.
도 5는 본 발명의 일 실시예에 따라 무인 비행체를 이용하여 노면 상태를 측정하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 무인 비행체와 센서 장치간 데이터를 송수신하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 물성에 따라 온도차에 의한 주파수별 상대유전율 변화를 도시한 그래프이다.
도 8은 본 발명의 일 실시예에 따라 물성에 따라 유전상수 실수부의 관측파장에 의한 변화를 도시한 그래프이다.
도 9는 본 발명의 일 실시예에 따라 도플러 에러 보정과 무인 비행체의 이동을 고려한 수평 통합 과정을 도시한 그래프이다.
도 10은 본 발명의 일 실시예에 따른 노면 상태 측정 방법을 이용하여 교통 정보 시스템을 제공하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따라 도로전광표지를 이용하여 노면 태를 표시하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따라 측정된 노면 상태를 기초로 염수 분사 장치를 제어하는 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 노면 상태 측정 방법의 효과를 설명하기 위한 도면이다.1 is a diagram illustrating an example of a road surface condition measurement system that performs a road surface condition measurement method according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration and operation of a road surface condition measuring apparatus according to an embodiment of the present invention.
3 is a view for explaining a road surface condition measuring apparatus for measuring the road surface condition using an unmanned aerial vehicle according to an embodiment of the present invention.
4 is a flowchart of a method for measuring a road surface condition according to an embodiment of the present invention.
5 is a diagram for explaining a method of measuring a road surface condition using an unmanned aerial vehicle according to an embodiment of the present invention.
6 is a diagram illustrating a method of transmitting and receiving data between an unmanned aerial vehicle and a sensor device according to an embodiment of the present invention.
7 is a graph showing a change in relative dielectric constant for each frequency due to a temperature difference according to physical properties according to an embodiment of the present invention.
8 is a graph showing a change by an observation wavelength of a real dielectric constant part according to physical properties according to an embodiment of the present invention.
9 is a graph showing a horizontal integration process in consideration of Doppler error correction and movement of an unmanned aerial vehicle according to an embodiment of the present invention.
10 is a view for explaining a method of providing a traffic information system using a road surface condition measurement method according to an embodiment of the present invention.
11 is a view for explaining a method of displaying a road surface condition using an electric road sign according to an embodiment of the present invention.
12 is a view for explaining a method of controlling a salt water spraying device based on a measured road surface condition according to an embodiment of the present invention.
13 is a view for explaining the effect of the road surface condition measurement method according to an embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION OF THE INVENTION The detailed description of the present invention described below refers to the accompanying drawings, which illustrate specific embodiments in which the present invention may be practiced. These embodiments are described in detail sufficient to enable those skilled in the art to practice the present invention. It is to be understood that the various embodiments of the present invention are different from each other but need not be mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be changed from one embodiment to another and implemented without departing from the spirit and scope of the present invention. In addition, it should be understood that the positions or arrangements of individual elements in each embodiment may be changed without departing from the spirit and scope of the present invention. Therefore, the detailed description to be described below is not made in a limiting sense, and the scope of the present invention should be taken as encompassing the scope claimed by the claims of the claims and all scopes equivalent thereto. Like reference numerals in the drawings indicate the same or similar elements over several aspects.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those of ordinary skill in the art to easily implement the present invention.
도 1은 본 발명의 일 실시예에 따른 노면 상태 측정 방법을 수행하는 노면 상태 측정 시스템의 예를 도시한 도면이다.1 is a diagram illustrating an example of a road surface condition measurement system that performs a road surface condition measurement method according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 노면 상태 측정 시스템은 도로의 노면 상태를 측정하는 적어도 하나의 센서를 포함하는 노면 상태 측정 장치(100a, 100b)를 포함할 수 있고, 몇몇 실시예에서 도로 관리 서버(110)를 더 포함할 수 있다.The road surface condition measurement system according to an embodiment of the present invention may include road surface
노면 상태 측정 시스템은 레이더 센서와 카메라를 포함하는 복합 센서를 이용할 수 있다. 일 실시예에서 노면의 물성을 추정하는 노면 상태 측정 장치는 상술한 카메라 및 레이더 센서를 포함하여 외부 서버와의 통신 없이 대상 노면의 상태를 측정할 수 있다. 이를 통해 본 발명의 몇몇 실시예에 따른 노면 상태 측정 시스템은 데이터 송수신에 필요한 시간 및 비용을 최소화할 수 있다.The road surface condition measurement system may use a complex sensor including a radar sensor and a camera. In an embodiment, the road surface condition measurement apparatus for estimating the physical properties of the road surface may include the above-described camera and radar sensor to measure the condition of the target road surface without communication with an external server. Through this, the road surface condition measurement system according to some embodiments of the present invention can minimize the time and cost required for data transmission and reception.
일 실시예에서 노면 상태 측정 장치(100a, 100b)는 카메라 모듈 및 센서 모듈을 포함할 수 있다. 본 실시예에서 카메라 모듈은 카메라 장치를 포함할 수도 있고, 노면 상태 측정 장치(100a, 100b)와 별도의 하드웨어로 구비된 카메라 장치와의 연결을 위한 인터페이스를 포함할 수도 있다. 또한, 센서 모듈은 레이더 센서, 근접 센서 등 다양한 센서 장치를 포함할 수도 있고, 노면 상태 측정 장치(100a, 100b)와 별도의 하드웨어로 구비된 센서 장치와의 연결을 위한 인터페이스를 포함할 수도 있다. In an embodiment, the road surface
또한, 일 실시예에서 노면 상태 측정 장치(100a, 100b)는 다양한 형태로 구비될 수 있다. 예를 들어 무인 비행체의 형태로 구성될 수도 있고, 무인 비행체와 네트워크 통신을 수행하는 별도의 서버로 구성될 수도 있다. 따라서 센서 장치는 다양한 형태로 구비될 수 있다. 일 예로 도로 외곽에 배치하는 거치형 센서의 형태로 구비될 수도 있다.In addition, in an embodiment, the road surface
노면 상태 측정 장치(100a, 100b)는 도로 관리 서버(110)와 네트워크를 통해 통신을 수행할 수 있다. 네트워크의 통신 방식은 제한되지 않는다. 일 실시예에서 도로 관리 서버(110)는 도로의 가변 전광 표지 또는 염수 분사 장치를 제어할 수 있다. 예를 들어 도로 관리 서버(110)는 이하 관련 도면에서 후술되는 교통 정보 시스템 솔루션 제공 서버 또는 도로 관리 공단 서버일 수 있고, 별도의 외부 서버일 수도 있다. 보다 상세한 설명은 관련 도면에서 후술한다.The road surface
본 발명의 몇몇 실시예에 따른 노면 상태 측정 시스템은 도로 노면 상태를 연속적이고, 신뢰성 있게 측정하고 측정된 정보를 이용하여 노면의 상태이상을 검지할 수 있다. 이후, 노면 상태 측정 시스템은 도로전광표지를 통하여 운전자를 대상으로 노면상태에 대한 경보를 발령하고 결빙이 관측될 때에는 원격염수분사장치를 작동시켜 노면 상태이상을 회복시킬 수 있다.The road surface condition measurement system according to some embodiments of the present invention may continuously and reliably measure the road surface condition and detect an abnormality of the road surface using the measured information. Thereafter, the road surface condition measurement system may issue an alarm about the road surface condition to the driver through the road electric sign and, when ice is observed, operate the remote salt water spray device to recover the road surface condition abnormality.
일 실시예에서 노면 상태 측정 장치(100a, 100b)는 V2X(Vehicle to Everything communication)를 이용하여 데이터를 송수신하는 차량 또는 도로 등에 비치된 특정 전자 장치 형태로 구비될 수도 있다.In an embodiment, the road surface
즉, 일 실시예에 따른 노면 상태 측정 장치(100a, 100b) 차량에 설치될 수 있다. 기계학습용 가공 서비스를 제공하는 대부분의 업체는 주로 단일 데이터 영상 음성 에 대한 기계학습용 가공 서비스를 제공하고 있으며 지표면 특성과 레이다 센서 특성 등 물리량에 대한 이해가 부족하여 위탁연구를 수행하기에는 신뢰도가 떨어진다는 문제점이 존재한다.That is, the road surface
따라서 본 발며으이 일 실시예에 따른 노면 상태 측정 장치는 설치된 차량을 통해 데이터를 더 수집하여, 고품질의 기계학습용 가공 데이터를 획득할 수 있다. 본 실시예에서 노면 상태 측정 장치는 수집된 도로 노면 상태와 관련된 정보를 차량 내부 ECU 수집 데이터와 결합할 수 있고, 이를 자율 주행 차량의 노면 상태 측정을 수행하는 인공신경망의 학습 데이터로 이용할 수 있다. 즉 본 실시예에 따른 노면 상태 측정 장치는 자율 주행 기반 노면 상태 측정을 수행하기 위한 학습 데이터 수집을 수행할 수 있다.Therefore, the road surface condition measurement apparatus according to an embodiment of the present invention may further collect data through an installed vehicle to obtain high-quality machine learning processing data. In the present embodiment, the road surface condition measurement apparatus may combine the collected road surface condition information with the vehicle internal ECU collection data, and use this as learning data for an artificial neural network that measures the road surface condition of an autonomous vehicle. That is, the road surface condition measurement apparatus according to the present embodiment may collect learning data for performing autonomous driving-based road surface condition measurement.
보다 구체적으로 차량에 설치된 노면 상태 측정 장치는 차량의 ECU에서 수집된 데이터를 이용하여 미끄럼지수(SLIP), 마찰계수(FRICTION COEFFICIENT) 등의 유효 데이터를 실시간으로 획득할 수 있다. 이후 노면 상태 측정 장치는 센서 장치에서 획득된 데이터와 상술한 미끄럼지수 및 마찰계수 등의 유효데이터와 결합하여 인공신경망의 학습에 유용한 학습 데이터를 획득할 수 있다. 특히, 이 경우 노면 상태 측정 장치의 센서 장치로부터 획득한 데이터를 더 이용하여 획득한 학습 데이터에 대한 라벨링을 수행할 수 있고, 이를 통해 자율 주행 기반 노면 상태 측정 서비스를 수행하기 위한 실효성 높은 학습 데이터를 획득할 수 있다.More specifically, the road surface condition measurement device installed in the vehicle can acquire effective data such as slip index (SLIP) and friction coefficient (FRICTION COEFFICIENT) in real time using data collected from the vehicle's ECU. Thereafter, the road surface condition measurement apparatus may acquire learning data useful for learning the artificial neural network by combining the data obtained from the sensor device with the above-described valid data such as the slip index and the friction coefficient. In particular, in this case, it is possible to perform labeling on the acquired learning data by further using data acquired from the sensor device of the road surface condition measurement device, and through this, highly effective learning data for performing autonomous driving-based road surface condition measurement service Can be obtained.
또한, 본 발명의 일 실시예에 따른 노면 상태 측정 장치(100a, 100b)의 통신 방식은 한정되지 않는다. 예를 들어 노면 상태 측정 장치(100a, 100b)는 다양한 V2X(Vehicle to Everything) 기술을 이용할 수 있다. 예를 들어 V2X(Vehicle to Everything) 기술은 WAVE, C-V2X 또는 하이브리드 기술을 포함할 수 있으나, 이는 일 예시일 뿐 V2X 기술이 이에 한정되지 않음에 유의한다.In addition, the communication method of the road surface
예를 들어 노면 상태 측정 장치(100a, 100b)는 차량 사물 통신 표준인 WAVE 기반의 V2X(Vehicle to Everything) 기술을 적용하여 주행차량 대상 노면상태정보를 제공할 수 있고, 이 경우 V2I 및 차량 인프라간 통신 기술을 이용할 수 있다. 또한 노면 상태 측정 장치(100a, 100b)는 주변 차량 대상 경보 전파를 수행할 수 있고, 이 경우 V2V 및 차량간 통신 기술을 이용할 수 있다. 이와 같은 본 발명의 몇몇 실시예에 따른 노면 상태 측정 장치(100a, 100b)는 전술한 실시예를 통해 차량의 주행 정보 수집 기술을 기초로 도로교통 안전성을 확보하고 네비게이션, 블랙박스 등 관련 산업에 긍정적 파급 효과를 줄 수 있다.For example, the road surface
도 2는 본 발명의 일 실시예에 따른 노면 상태 측정 장치의 구성 및 동작을 설명하기 위한 블록도이다.2 is a block diagram illustrating a configuration and operation of a road surface condition measuring apparatus according to an embodiment of the present invention.
이하 도 2를 참조하여 노면 상태 측정 장치(100) 및 도로 관리 서버(110)의 하드웨어 구성에 대하여 상세히 설명한다. Hereinafter, hardware configurations of the road surface
일 실시예에서 노면 상태 측정 장치(100) 및 도로 관리 서버(110)는 메모리(101, 111), 프로세서(120, 112), 입출력 인터페이스(130, 113) 및 통신 모듈(104, 114)을 포함할 수 있다. In one embodiment, the road surface
메모리(101, 111)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(101, 111)에는 노면 상태 측정 장치(100) 및 도로 관리 서버(110)를 제어하기 위한 프로그램 코드 및 설정, 카메라 영상 그리고 노면 상태 정보가 일시적 또는 영구적으로 저장될 수 있다.The
프로세서(214)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(101, 111) 또는 통신 모듈(104, 114)에 의해 프로세서(214)로 제공될 수 있다. 예를 들어 프로세서(214)는 메모리(101, 111)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.The processor 214 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. Instructions may be provided to the processor 214 by the
통신 모듈(104, 114)은 네트워크를 통해 통신하기 위한 기능을 제공할 수 있다. 일례로, 도로 관리 서버(110)의 프로세서(112)가 메모리(111)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(114)의 제어에 따라 네트워크를 통해 노면 상태 측정 장치(100)로 전달될 수 있다. 역으로, 노면 상태 측정 장치(100)의 프로세서(102)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 네트워크를 거쳐 통신 모듈(104)을 통해 도로 관리 서버(110)로 수신될 수 있다. 예를 들어 통신 모듈(104, 114)을 통해 수신된 노면 상태 측정 장치(100)의 제어 신호나 명령 등은 프로세서(102)나 메모리(101)로 전달될 수 있고, 컨텐츠나 파일 등은 도로 관리 서버(110)가 더 포함할 수 있는 저장 매체로 저장될 수 있다. 통신 방식은 제한되지 않지만, 네트워크는 근거리 무선통신망일 수 있다. 예를 들어, 네트워크는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wifi 통신망일 수 있다. The
입출력 인터페이스(103, 113)는 입출력 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(130, 113)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 도로 관리 서버(110)의 프로세서(112)는 메모리(111)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 노면 상태 측정 장치(100)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(113)를 통해 디스플레이에 표시될 수 있다.The input/
또한, 본 발명의 몇몇 실시예에 따른 노면 상태 측정 장치(100)는 센서부(120)를 더 포함할 수 있다. 센서부(120)는 카메라 모듈 또는 레이더 센서 모듈을 더 포함할 수 있다. 실시예에서 노면 상태 측정 장치(100)는 상술한 카메라 모듈을 통해 도로 영역을 촬영할 수 있고, 촬영된 도로 영역에 포함된 대상 도로 노면의 영역을 추정할 수 있다. 본 실시예에서 노면 상태 측정 장치(100)는 레이더 센서 모듈을 이용하여 대상 도로 노면에 전자기파 신호를 송신할 수 있고, 대상 도로 도면에 대한 전자기파 신호의 반사파 신호를 수신하여 대상 도로 노면의 상태에 대한 물성 정보를 추정할 수 있다.In addition, the road surface
또한, 다른 실시예들에서 노면 상태 측정 장치(100) 및 도로 관리 서버(110)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 노면 상태 측정 장치(100)는 내부 구성요소들에 전력을 공급하는 배터리 및 충전 장치를 포함할 수 있고, 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.In addition, in other embodiments, the road surface
본 발명의 일 실시예에 따른 노면 상태 측정 장치(100)는 V2X(Vehicle to Everything communication)를 이용하여 데이터를 송수신하는 차량 또는 도로 등에 비치된 특정 전자 장치 형태로 구비될 수도 있다. 다만 노면 상태 측정 장치(100)의 하드웨어 구성은 이에 한정되지 않음에 유의한다, 이하 도 3을 참조하여 본 발명의 일 실시예에 따라 노면 상태 측정 장치(100)가 무인 비행체를 이용하여 노면 상태를 측정하는 실시예에 대하여 설명한다.The road surface
도 3을 참조하여 본 발명의 몇몇 실시예에 따른 프로세서(102)와 센서부(120)의 구성 및 동작에 대하여 상세히 설명한다.The configuration and operation of the
본 발명의 일 실시예에 따른 노면 상태 측정 장치(100)의 프로세서(102)는 무인 비행체 제어부(105), 센서 정보 관리부(106) 및 노면 상태 판단부(107)를 포함하고, 센서부(120)는 카메라 모듈(121) 및 레이더 센서 모듈(122)을 포함할 수 있다.The
이 경우, 노면 상태 측정 장치(100)는 카메라 모듈(121)을 통해 도로 영역을 촬영하고, 레이더 센서 모듈(122)을 통해 대상 도로 노면에 전자기파 신호를 송신 및 반사파 신호를 수신할 수 있다. 일 실시예에서 프로세서(102)의 노면 상태 판단부(107)는 상기 획득한 도로 영역을 촬영한 영상을 기초로 대상 도로 노면 영역을 추정하거나 상기 반사파 신호를 이용하여 대상 도로 노면의 상태에 대한 물성 정보를 추정할 수 있다. In this case, the road surface
한편, 일 실시예에서 노면 상태 측정 장치에 포함된 무인 비행체는 프로세서(102)의 무인 비행체 제어부(105)에 의해 원격으로 조종될 수 있고, 무인 비행체에서 송신한 영상 정보 및 레이더 센서 정보는 센서 정보 관리부(106)에서 저장 및 관리될 수 있다.On the other hand, in one embodiment, the unmanned aerial vehicle included in the road surface condition measurement device may be remotely controlled by the unmanned
다만 도 3의 하드웨어 구성도는 노면 상태 측정 장치의 일 예시일 뿐, 본 발명의 몇몇 실시예에 따른 노면 상태 측정 방법이 반드시 무인 비행체를 이용하여 수행되는 것은 아님에 유의한다.However, it should be noted that the hardware configuration diagram of FIG. 3 is only an example of a road surface condition measuring apparatus, and the method of measuring road surface conditions according to some embodiments of the present invention is not necessarily performed using an unmanned aerial vehicle.
도 4는 본 발명의 일 실시예에 따른 노면 상태 측정 방법의 순서도이다.4 is a flowchart of a method for measuring a road surface condition according to an embodiment of the present invention.
단계 S110에서 노면 상태 측정 장치는 도로 영역을 촬영한 영상을 획득할 수 있다. 본 발명의 일 실시예에 따른 노면 상태 측정 장치는 카메라 모듈을 포함할 수 있다. 상술한 카메라 모듈은 도로 영역을 직접 촬영하는 카메라 장치일 수도 있고, 별도의 카메라 장치와 데이터를 송수신하는 인터페이스를 포함할 수도 있다. In step S110, the road surface condition measurement apparatus may acquire an image of a road area. The apparatus for measuring a road surface according to an embodiment of the present invention may include a camera module. The above-described camera module may be a camera device that directly photographs a road area, or may include an interface for transmitting and receiving data with a separate camera device.
단계 S120에서 노면 상태 측정 장치는 도로 영역에 포함된 대상 도로 노면의 영역을 추정할 수 있다. 노면 상태 측정 장치는 도로 영역을 촬영한 영상을 분석하여 ROI(Region of Interest) 영역을 획득할 수 있다. 본 발명의 몇몇 실시예에 따라 노면 상태 측정 장치에서 획득한 ROI 영역은 노면 상태를 측정하고자 하는 대상 도로 영역을 포함할 수 있다. 일 실시예에서 노면 상태 측정 장치는 도로 영역을 촬영한 영상에 포함된 복수의 프레임을 인공신경망에 입력하여 상술한 대상 도로 영역을 추정할 수 있다. 보다 구체적으로 노면 상태 측정 장치는 의미론적 분할 학습 모델을 이용하여 대상 도로 영역을 추출할 수 있다. 또한 본 실시예에서 노면 상태 측정 장치는 추정된 대상 도로 영역에 대하여 3D 매핑을 수행하여 도로의 위치를 정확하게 추정할 수 있다. 본 발명의 몇몇 실시예에 따른 3D 매핑의 구체적인 방법은 한정되지 않는다. 예를 들어 상술한 3D 매핑은 레이더 레인지 스펙트럼(Range Spectrum)의 ROI 클리핑 알고리즘을 이용하여 수행될 수 있고, 레인지 도플러 매핑(Range Doppler Mapping) 알고리즘을 이용하여 수행될 수도 있으며, ROI 영역 대상 3D 위상 맵 생성 알고리즘을 이용하여 수행될 수도 있다.In step S120, the road surface condition measurement apparatus may estimate an area of the target road road surface included in the road area. The road surface condition measurement apparatus may acquire a region of interest (ROI) region by analyzing an image photographed of a road region. According to some embodiments of the present invention, the ROI area obtained by the road surface condition measurement apparatus may include a target road area to measure the road surface condition. In an embodiment, the road surface condition measurement apparatus may estimate the above-described target road area by inputting a plurality of frames included in an image photographing the road area to the artificial neural network. More specifically, the road surface condition measurement apparatus may extract a target road area using a semantic division learning model. In addition, in the present embodiment, the road surface condition measuring apparatus may accurately estimate the position of the road by performing 3D mapping on the estimated target road area. A specific method of 3D mapping according to some embodiments of the present invention is not limited. For example, the above-described 3D mapping may be performed using a radar range spectrum ROI clipping algorithm, a range Doppler mapping algorithm, and a 3D phase map targeting the ROI region. It can also be performed using a generation algorithm.
단계 S130에서 노면 상태 측정 장치는 레이더 센서를 이용하여 대상 도로 노면에 전자기파 신호를 송신할 수 있다. 본 발명의 몇몇 실시예에 따라 노면 상태 측정 장치는 레이더 모듈을 포함할 수 있다. 상술한 레이더 모듈은 대상 도로 영역에 대하여 전자기파를 송수신하는 레이더 센서를 포함할 수도 있고, 레이더 센서를 포함하는 별도의 하드웨어와 데이터를 송수신하는 인터페이스를 포함할 수도 있다. 본 실시예에서 레이더 센서는 전자기파를 발생시키고, 상술한 전자기파가 물체에 부딪혀 반사되는 반사파 신호를 측정할 수 있다. In step S130, the road surface condition measurement apparatus may transmit an electromagnetic wave signal to the road surface of the target road using a radar sensor. According to some embodiments of the present invention, an apparatus for measuring road conditions may include a radar module. The above-described radar module may include a radar sensor that transmits and receives an electromagnetic wave with respect to a target road area, or may include an interface that transmits and receives data with separate hardware including a radar sensor. In this embodiment, the radar sensor may generate an electromagnetic wave and measure a reflected wave signal reflected by the above-described electromagnetic wave hitting an object.
한편 일 실시예에서 노면 상태 측정 방법을 수행하는 컴퓨팅 장치가 무인 비행체인 경우 무인 비행체를 이용하여 대상 도로의 노면 상태를 측정하는 경우, 무인 비행체의 이동 속도 측정의 정확도가 노면 상태 측정 장치 성능의 주요 변수로 작용할 수 있다. 따라서 본 실시예에 따른 노면 상태 측정 장치는 상기 무인 비행체의 이동 속도를 기초로 도플러 보정을 수행하여 상기 대상 도로 노면에 전자기파 신호를 송신할 수 있다. Meanwhile, if the computing device performing the road surface condition measurement method in one embodiment is an unmanned aerial vehicle, when measuring the road surface condition of the target road using an unmanned aerial vehicle, the accuracy of the movement speed measurement of the unmanned aerial vehicle is a major factor in the performance of the road surface condition measurement device. It can act as a variable. Accordingly, the road surface condition measurement apparatus according to the present embodiment may perform Doppler correction based on the moving speed of the unmanned aerial vehicle and transmit an electromagnetic wave signal to the road surface of the target road.
단계 S140에서 노면 상태 측정 장치는 대상 도로 노면에 대한 전자기파 신호의 반사파 신호를 수신할 수 있다. 반사파 신호를 크기(magnitude or amplitude)속성과 위상(phase)속성을 포함할 수 있다. 본 발명의 몇몇 실시예에 따라 반사파 신호를 수신한 노면 상태 측정 장치는 상술한 반사파 신호를 복소수평면상의 I, Q 값으로 변환할 수 있다.In step S140, the road surface condition measurement apparatus may receive a reflected wave signal of an electromagnetic wave signal for a target road road surface. The reflected wave signal may include a magnitude or amplitude attribute and a phase attribute. According to some embodiments of the present invention, the apparatus for measuring a road surface condition that has received the reflected wave signal may convert the above-described reflected wave signal into I and Q values on a complex horizontal plane.
단계 S150에서 노면 상태 측정 장치는 반사파 신호를 기초로 대상 도로 노면의 상태에 대한 물성 정보를 추정할 수 있다. 본 실시예에서 노면 상태 측정 장치는 상기 반사파 신호를 기초로 상대유전율을 측정하고, 상기 상대유전율을 기초로 상기 대상 도로 노면의 상태에 대한 물성 정보를 획득할 수 있다. 노면 상태 측정 장치에서 대상 도로 영역으로 송신한 전자기파는 물체에 부딪힌 후 맥스웰 방정식으로 해석 가능한 물리량을 전달한다. 따라서, 대상 도료 지표면의 물리량 중 상대유전율(relative permittivity)을 측정함으로써 해당 도로 영역의 표면 상태에 대한 물성 정보 획득이 가능하다. 보다 구체적으로 본 실시예에서 노면 상태 측정 장치는 공기중에서의 유전율을 1로 변환하여 산란점에서의 상대유전율을 측정할 수 있다. 일 실시예에서 노면 상태 측정 장치는 머신러닝 기반 분류기를 이용하여 대상 노로 도면의 상태를 판단하기 위한 정확도를 상승시킬 수 있다.In step S150, the road surface condition measurement apparatus may estimate physical property information on the road surface condition of the target road based on the reflected wave signal. In the present exemplary embodiment, the apparatus for measuring a road surface condition may measure a relative permittivity based on the reflected wave signal, and obtain physical property information on the condition of the road surface of the target road based on the relative permittivity. The electromagnetic wave transmitted from the road surface condition measurement device to the target road area hits an object and delivers a physical quantity that can be interpreted by Maxwell's equation. Therefore, it is possible to obtain physical property information on the surface state of the road area by measuring the relative permittivity among the physical quantities of the target paint surface. More specifically, in this embodiment, the road surface condition measuring apparatus may measure the relative permittivity at the scattering point by converting the permittivity in air to 1. In an embodiment, the road surface condition measurement apparatus may increase accuracy for determining the state of a target furnace drawing using a machine learning-based classifier.
단계 S160에서 노면 상태 측정 장치는 물성 정보를 도로 관리 서버로 송신할 수 있다. 본 발명의 몇몇 실시예에 따른 노면 상태 측정 장치는 도로 표면의 상태를 연속적으로 신뢰성 있게 측정할 수 있다. 이후 노면 상태 측정 장치는 대상 도로 영역의 노면에 대한 물성 정보를 기초로 경보 발령 필요 유무를 판단하고, 경보 발령 정보를 도로 관리 서버로 송신한 수 있다. 또는 다른 실시예에서 노면 상태 측정 장치는 도로 관리 서버로 물성 정보를 송신하고, 도로 관리 서버는 물성 정보를 기초로 경보 발령 정보를 생성할 수 있다. 이후, 도로 관리 서버는 도로 전광 표지로 경보 발령 정보를 송신하여 운전자를 대상으로 노면 상태에 대한 경보를 발령하고 결빙이 관측될 때에는 원격 염수 분사 장치를 작동하여 노면의 상태 이상을 회복시키는 노면 관리 서비스를 구축할 수도 있다.In step S160, the road surface condition measurement device may transmit physical property information to the road management server. The road surface condition measuring apparatus according to some embodiments of the present invention may continuously and reliably measure the condition of the road surface. Thereafter, the road surface condition measurement apparatus may determine whether or not an alarm is issued based on physical property information on the road surface of the target road area, and may transmit the alarm issuance information to the road management server. Alternatively, in another embodiment, the road surface condition measurement apparatus may transmit physical property information to the road management server, and the road management server may generate alert issuance information based on the property information. Thereafter, the road management server transmits the warning issuance information to the road electric sign to issue an alert on the road surface condition to the driver, and when freezing is observed, the road surface management service recovers the abnormality of the road surface by operating the remote salt water spray device. You can also build
도 5는 본 발명의 일 실시예에 따라 무인 비행체를 이용하여 노면 상태를 측정하는 방법을 설명하기 위한 도면이다.5 is a diagram for explaining a method of measuring a road surface condition using an unmanned aerial vehicle according to an embodiment of the present invention.
본 발명의 몇몇 실시예에 따르면 무인 비행체를 이용하여 노면 상태를 측정할 수 있다. 본 실시예에 따른 노면 상태 측정 시스템은 카메라 및 레이더 센서를 포함하는 무인 비행체, 노면 상태를 추정하는 노면 상태 측정 장치 및 노면의 물성 정보를 기초로 후속 조치를 수행하는 도로 관리 서버를 포함하고, 몇몇 실시예에서 무인 비행체 무선 충전 스테이션과 노면 상태 관리 현황을 사용자에게 전달하는 노면 상태 관리 서버를 더 포함할 수 있다.According to some embodiments of the present invention, a road surface condition may be measured using an unmanned aerial vehicle. The road surface condition measurement system according to the present embodiment includes an unmanned aerial vehicle including a camera and a radar sensor, a road surface condition measurement device that estimates the road surface condition, and a road management server that performs follow-up measures based on the property information of the road surface. In the embodiment, it may further include a wireless charging station for the unmanned aerial vehicle and a road surface condition management server for transmitting the road surface condition management status to the user.
일 실시예에서 무인 비행체는 설정된 경로에 대한 운행과 충전을 반복하여 임무를 수행할 수 있다. 또한, 상술한 무인 비행체는 경로 오차에 대한 경로 복구를 수행할 수 있고, 해당 무인 비행체의 GPS 신호의 이상을 판단할 수 있고, 판단된 이상 신호에 따라 무인 비행체의 경로를 변경할 수 있다. 뿐만 아니라 무인 비행체는 통신 두절이 발생한 경우 자동 복귀를 수행함으로써 안정성이 향상될 수 있다.In one embodiment, the unmanned aerial vehicle may perform a mission by repeating operation and charging for a set route. In addition, the above-described unmanned aerial vehicle may perform path recovery for a path error, may determine an abnormality in a GPS signal of the corresponding unmanned aerial vehicle, and change the path of the unmanned aerial vehicle according to the determined abnormal signal. In addition, the stability of the unmanned aerial vehicle can be improved by performing automatic return in case of communication loss.
일 실시예에서 노면 상태 측정 장치는 획득한 카메라 영상 및 레이더 센서 정보를 이용하여 대상 도로의 노면에 대한 물성 정보를 판단할 수 있다. 예를 들어 노면 상태 측정 장치는 대상 노로의 노면 상태에 대하여 마름, 수막, 적설 또는 결빙 중 하나로 분류할 수 있다. 이후 해당 정보를 네트워크 통신을 통해 도로 관리 서버로 전송할 수도 있다.In an embodiment, the apparatus for measuring a road surface may determine physical property information on a road surface of a target road using the acquired camera image and radar sensor information. For example, the road surface condition measuring apparatus may classify the road surface condition of the target furnace as one of dryness, water film, snow cover, or freezing. Then, the information may be transmitted to the road management server through network communication.
일 실시예에 따른 노면 상태 관리 서버는 노면 상태 관리 정보를 수집하여 노면 상태의 이상 경보를 발생시켜 후속 조치를 수행할 수 있다. 또한 노면 상태의 관리 현황을 실시간으로 보여주는 노면 상태 관리 현황판에 출력 신호를 전달할 수 있다.The road surface condition management server according to an embodiment may collect road surface condition management information and generate a road surface condition abnormality alarm to perform follow-up measures. In addition, an output signal can be delivered to the road surface condition management status board that shows the management status of the road surface in real time.
또는 다른 실시예에서 노면 상태 측정 장치는 무인 비행체에 부착될 수 있다. 이 경우 무인 비행체는 지정된 영역을 비행하며 대상 도로 영역에 대한 표면 상태에 대한 정보를 획득할 수 있다. 이 경우, 도 5에 도시된 바에 따라 무인 비행체가 도로를 따라 이동함으로써 노면 상태를 측정하고자 하는 대상 도로 영역이 변경될 수 있다.Or in another embodiment, the road surface condition measurement device may be attached to the unmanned aerial vehicle. In this case, the unmanned aerial vehicle may fly in a designated area and obtain information on the surface condition of the target road area. In this case, as illustrated in FIG. 5, the unmanned aerial vehicle moves along the road, so that the target road area for which the road surface condition is to be measured may be changed.
도 6은 본 발명의 일 실시예에 따라 무인 비행체와 센서 장치간 데이터를 송수신하는 방법을 설명하기 위한 도면이다.6 is a diagram illustrating a method of transmitting and receiving data between an unmanned aerial vehicle and a sensor device according to an embodiment of the present invention.
도시된 바를 참조하면, 본 발명의 몇몇 실시예에 따른 노면 상태 측정 방법은 무인 비행체에 의해 수행될 수 있다. 본 실시예에서 무인 비행체는 카메라와 레이더 센서를 포함할 수 있다. 이 경우 대상 도로 노면의 물성 정보는 카메라에서 획득한 영상 정보 및 레이더 센서 정보를 인공신경망에 입력함으로써 추정될 수 있다. 보다 상세하게 본 발명의 일 실시예에 따른 노면 상태 측정 방법은 상술한 영상 정보 및 레이더 센서 정보를 인공신경망에 입력한 후, 분류기(Classifire)를 통해 분류할 수 있다. 상기 분류된 데이터는 기 지정된 기준에 따른 정형화된 결과 데이터로 출력될 수 있다. 예를 들어 상술한 인공 신경망의 결과 데이터는 정형화된 노면 상태 정보를 포함할 수 있다. 즉, 상술한 대상 도로 노면의 물성 정보는 도로의 표면의 상태에 대한 정보를 포함한다. 예를 들어 물성 정보는 대상 도로의 노면의 상태를 마름, 수막, 적설 또는 결빙 중 어느 하나로 추정할 수 있다.Referring to the diagram, the road surface condition measurement method according to some embodiments of the present invention may be performed by an unmanned aerial vehicle. In this embodiment, the unmanned aerial vehicle may include a camera and a radar sensor. In this case, the physical property information of the road surface of the target road can be estimated by inputting image information and radar sensor information acquired from the camera into the artificial neural network. In more detail, in the road surface condition measurement method according to an embodiment of the present invention, after inputting the above-described image information and radar sensor information into an artificial neural network, they may be classified through a classifire. The classified data may be output as standardized result data according to a predetermined criterion. For example, the result data of the artificial neural network described above may include standardized road surface state information. That is, the above-described physical property information of the road surface of the target road includes information on the state of the road surface. For example, the physical property information may estimate the condition of the road surface of the target road as dry, water, snow, or ice.
일 실시예에서 무인 비행체가 획득한 카메라 영상 및 레이더 센서 정보를 획득한 경우 획득한 정보를 외부 서버로 전송할 수도 있으나, 선택적 실시예에서 무인 비행체가 상술한 카메라 영상 및 레이더 센서 정보를 이용하여 대상 도로 노면의 물성 정보를 추정할 수 있고, 이 경우 무인 비행체는 외부 서버로 상기 추정된 물성 정보를 전송할 수 있다. 외부 서버는 전술한 도로 관리 서버일 수도 있고 노면 상태 관리 서버일 수도 있으며, 사용자 단말과 통신을 수행하는 외부 서버일 수도 있다.In one embodiment, when the camera image and radar sensor information acquired by the unmanned aerial vehicle are acquired, the acquired information may be transmitted to an external server, but in an optional embodiment, the unmanned aerial vehicle uses the above-described camera image and radar sensor information. The property information of the road surface can be estimated, and in this case, the unmanned aerial vehicle can transmit the estimated property information to an external server. The external server may be the aforementioned road management server, a road surface condition management server, or an external server that communicates with a user terminal.
도 7은 본 발명의 일 실시예에 따라 물성에 따라 온도차에 의한 주파수별 상대유전율 변화를 도시한 그래프이고, 도 8은 본 발명의 일 실시예에 따라 물성에 따라 유전상수 실수부의 관측파장에 의한 변화를 도시한 그래프이다.7 is a graph showing a change in relative dielectric constant for each frequency due to a temperature difference according to a physical property according to an embodiment of the present invention, and FIG. 8 is a graph showing an observed wavelength of a real dielectric constant part according to a physical property according to an embodiment of the present invention. It is a graph showing the change.
일 실시예에 따른 노면 상태 측정 장치는 반사파 신호를 기초로 대상 도로 노면의 상태에 대한 물성 정보를 추정할 수 있다. 본 실시예에서 노면 상태 측정 장치는 상기 반사파 신호를 기초로 상대유전율을 측정하고, 상기 상대유전율을 기초로 상기 대상 도로 노면의 상태에 대한 물성 정보를 획득할 수 있다. 노면 상태 측정 장치에서 대상 도로 영역으로 송신한 전자기파는 물체에 부딪힌 후 맥스웰 방정식으로 해석 가능한 물리량을 전달한다. 따라서, 대상 도료 지표면의 물리량 중 상대유전율(relative permittivity)을 측정함으로써 해당 도로 영역의 표면 상태에 대한 물성 정보 획득이 가능하다. 보다 구체적으로 본 실시예에서 노면 상태 측정 장치는 공기중에서의 유전율을 1로 변환하여 산란점에서의 상대유전율을 측정할 수 있다. 일 실시예에서 노면 상태 측정 장치는 머신러닝 기반 분류기를 이용하여 대상 노로 도면의 상태를 판단하기 위한 정확도를 상승시킬 수 있다. 도 7은 얼음과 물의 온도차에 의한 주파수별 상대유전율 변화를 나타낸 그래프이고, 도 8은 물, 얼음 눈의 유전상수 실수부의 관측파장에 따른 변화를 나타낸 그래프이다.The road surface condition measurement apparatus according to an embodiment may estimate physical property information on a road surface condition of a target road based on a reflected wave signal. In the present exemplary embodiment, the apparatus for measuring a road surface condition may measure a relative permittivity based on the reflected wave signal, and obtain physical property information on the condition of the road surface of the target road based on the relative permittivity. The electromagnetic wave transmitted from the road surface condition measurement device to the target road area hits an object and delivers a physical quantity that can be interpreted by Maxwell's equation. Therefore, by measuring the relative permittivity among the physical quantities of the target paint surface, it is possible to obtain physical property information on the surface state of the road area. More specifically, in the present embodiment, the road surface condition measuring apparatus may measure the relative dielectric constant at the scattering point by converting the dielectric constant in air to 1. In an embodiment, the road surface condition measurement apparatus may increase accuracy for determining the state of a target furnace drawing using a machine learning-based classifier. 7 is a graph showing the change in relative dielectric constant by frequency due to the temperature difference between ice and water, and FIG. 8 is a graph showing the change according to the observed wavelength of the real part of the dielectric constant of water and ice.
도 9는 본 발명의 일 실시예에 따라 도플러 에러 보정과 무인 비행체의 이동을 고려한 수평 통합 과정을 도시한 그래프이다.9 is a graph showing a horizontal integration process in consideration of Doppler error correction and movement of an unmanned aerial vehicle according to an embodiment of the present invention.
노면 상태 측정 장치는 레이더 센서를 이용하여 대상 도로 노면에 전자기파 신호를 송신할 수 있다. 본 발명의 몇몇 실시예에 따라 노면 상태 측정 장치는 레이더 모듈을 포함할 수 있다. 상술한 레이더 모듈은 대상 도로 영역에 대하여 전자기파를 송수신하는 레이더 센서를 포함할 수도 있고, 레이더 센서를 포함하는 별도의 하드웨어와 데이터를 송수신하는 인터페이스를 포함할 수도 있다. 본 실시예에서 레이더 센서는 전자기파를 발생시키고, 상술한 전자기파가 물체에 부딪혀 반사되는 반사파 신호를 측정할 수 있다. The road surface condition measurement device may transmit an electromagnetic wave signal to the road surface of a target road using a radar sensor. According to some embodiments of the present invention, an apparatus for measuring road conditions may include a radar module. The above-described radar module may include a radar sensor that transmits and receives an electromagnetic wave with respect to a target road area, or may include an interface that transmits and receives data with separate hardware including a radar sensor. In this embodiment, the radar sensor may generate an electromagnetic wave and measure a reflected wave signal reflected by the above-described electromagnetic wave hitting an object.
한편 일 실시예에서 노면 상태 측정 방법을 수행하는 컴퓨팅 장치가 무인 비행체인 경우 무인 비행체를 이용하여 대상 도로의 노면 상태를 측정하는 경우, 무인 비행체의 이동 속도 측정의 정확도가 노면 상태 측정 장치 성능의 주요 변수로 작용할 수 있다. 따라서 본 실시예에 따른 노면 상태 측정 장치는 상기 무인 비행체의 이동 속도를 기초로 도플러 보정을 수행하여 상기 대상 도로 노면에 전자기파 신호를 송신할 수 있다. 따라서 본 발명의 몇몇 실시예에 따른 노면 상태 측정 방법은 무인 비행체의 이동 "?향?* 따라 도플러 보정을 이용한 신호 보정을 수행할 수 있다. 도 9는 도플러 에러 보정과 무인 비행체의 이동을 고려한 수평 통합 과정을 도시한 그래프이다. 도 9의 (a)는 풋프린트 내의 도플러 오류를 통합한 그래프이고, (b)는 무인 비행체의 이동과 수평 통합한 그래프를 도시한다.Meanwhile, if the computing device performing the road surface condition measurement method in one embodiment is an unmanned aerial vehicle, when measuring the road surface condition of the target road using an unmanned aerial vehicle, the accuracy of the movement speed measurement of the unmanned aerial vehicle is a major factor in the performance of the road surface condition measurement device. It can act as a variable. Accordingly, the road surface condition measurement apparatus according to the present embodiment may perform Doppler correction based on the moving speed of the unmanned aerial vehicle and transmit an electromagnetic wave signal to the road surface of the target road. Accordingly, the road surface condition measurement method according to some embodiments of the present invention may perform signal correction using Doppler correction according to the movement of the unmanned aerial vehicle "? direction?*". FIG. 9 is a horizontal diagram in consideration of Doppler error correction and movement of the unmanned aerial vehicle. Fig. 9(a) is a graph integrating Doppler error within the footprint, and (b) is a graph showing the movement of the unmanned aerial vehicle and horizontal integration.
도 10은 본 발명의 일 실시예에 따른 노면 상태 측정 방법을 이용하여 교통 정보 시스템을 제공하는 방법을 설명하기 위한 도면이다.10 is a view for explaining a method of providing a traffic information system using a road surface condition measurement method according to an embodiment of the present invention.
일 실시예에서 도로 관리 공단 서버는 노면 상태를 관리하기 위한 입출력 인터페이스를 포함할 수 있다. 도 10은 일 실시예에 따른 도로 관리 공단 서버의 통합 관제 센터의 디스플레이의 예시를 도시한 도면이다. 도로 관리 공단 서버는 노면 상태 측정 장치 또는 교통 정보 시스템 솔루션 제공 서버로부터 도로 영역의 물성 정보 및 무인 비행체의 이동 경로 정보를 수신할 수 있다.In an embodiment, the road management industrial complex server may include an input/output interface for managing a road surface condition. 10 is a diagram illustrating an example of a display of an integrated control center of a road management complex server according to an embodiment. The road management complex server may receive physical property information of a road area and movement path information of an unmanned aerial vehicle from a road surface condition measurement device or a traffic information system solution providing server.
일 실시예에서 무인 비행체 비행 경로를 표시하는 영역(210)은 무인 비행체 주행 경로를 실시간으로 표시할 수 있고, 무인 비행체 주행 상태 정보도 표시할 수 있다. 또한, 일 실시예에서 노면 상태 표시 영역(220)은 위치 별 노면 상태 정보를 표시할 수 있으며, 위치 별 노면 상태를 색상/모양 등 다양한 UI 형태의 그래픽으로 표시할 수도 있다. 일 실시예에서 경보 정보를 표시하는 영역(230)은 지정된 기준에 따른 단계별 경보 정보를 표시할 수 있다. 상술한 단계별 경보 정보에 따라 도로전광표시 및 염수분자장치 등이 연동되어 제어될 수 있다. 그리고 도로 영상 표시 영역(240)은 무인 비행체에서 실시간으로 촬영한 도로 영역의 이미지 또는 영상을 표시할 수 있다.In one embodiment, the area 210 displaying the flight path of the unmanned aerial vehicle may display the unmanned aerial vehicle driving path in real time, and may also display the unmanned aerial vehicle driving state information. In addition, in an embodiment, the road surface condition display area 220 may display road surface condition information for each location, and the road surface condition for each location may be displayed in various UI forms such as color/shape. In an embodiment, the area 230 displaying alarm information may display alarm information for each step according to a specified criterion. According to the above-described step-by-step warning information, a road electric light display and a salt water molecular device may be interlocked and controlled. In addition, the road image display area 240 may display an image or image of a road area photographed in real time by the unmanned aerial vehicle.
도 11은 본 발명의 일 실시예에 따라 도로전광표지를 이용하여 노면 상태를 표시하는 방법을 설명하기 위한 도면이다.11 is a view for explaining a method of displaying a road surface condition using an electric road sign according to an embodiment of the present invention.
일 실시예에서 노면 상태 측정 장치(100)에서 대상 도로 영역의 노면이 결빙 상태로 측정한 경우, 교통 정보 시스템 솔루션 제공 서버(200)는 대상 도로 영역이 결빙 상태인 경우에 대응하는 시나리오에 따른 후속 조치를 수행할 수 있다. 예를 들어 도시된 바를 참조하면 교통 정보 시스템 솔루션 제공 서버(200)응 결빙 경보가 발생되는 것에 응답하여 대응되는 대상 도로 영역의 도로전광표지에 "블랙아이스 주의"문구를 표시하여 운전자들에게 경보를 알릴 수 있다.In an embodiment, when the road surface of the target road area is measured in an ice state by the road surface
한편, 도 12에 도시된 바에 따라 도로 관리 공단 서버(300)는 결빙 경보가 발생되는 것에 응답하여 대상 도로 영역에 설치된 염수분사 장치를 가동하여 결빙 상태를 해소할 수 있다. 이와 같이 본 발명의 몇몇 실시예에 따른 노면 상태 측정 장치와의 연동을 통해 도로 영역에 상태에 따른 실시간 대응이 가능해질 수 있다.Meanwhile, as shown in FIG. 12, the road management industrial
도 13은 본 발명의 일 실시예에 따른 노면 상태 측정 방법의 효과를 설명하기 위한 도면이다.13 is a view for explaining the effect of the road surface condition measurement method according to an embodiment of the present invention.
상술한 본 발명의 몇몇 실시예에 따른 노면 상태 측정 방법은 저비용의 실시간 고신뢰성을 갖춘 정형화된 노면 상태 측정 정보의 제공이 가능하다. 또한, 인공신경망을 이용하여 데이터의 축적에 따라 서비스의 발전 및 타 산업으로의 확장이 용이하다. 뿐만 아니라 일 실시예에 따라 무인 비행체에 카메라 및 레이더 센서의 탑재가 가능하므로 추가 비용을 최소화 할 수 있다.The road surface condition measurement method according to some embodiments of the present invention can provide standardized road surface condition measurement information with real-time high reliability at low cost. In addition, it is easy to develop services and expand to other industries according to the accumulation of data using an artificial neural network. In addition, since it is possible to mount a camera and a radar sensor on an unmanned aerial vehicle according to an embodiment, additional costs can be minimized.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited embodiments and drawings, various modifications and variations are possible from the above description by those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and claims and equivalents fall within the scope of the claims to be described later.
Claims (8)
도로 영역을 촬영한 영상을 이용하여 상기 도로 영역에 포함된 대상 도로 노면의 영역을 추정하는 단계;
레이더 센서를 이용하여 상기 대상 도로 노면에 전자기파 신호를 송신하는 단계;
상기 대상 도로 노면에 대한 전자기파 신호의 반사파 신호를 수신하는 단계;
위상 속성을 포함하는 상기 반사파 신호를 복소수평면상의 I, Q 값으로 변환한 후 인공신경망에 입력하여, 상기 대상 도로 노면의 상태에 대한 물성 정보를 추정하는 단계; 및
상기 추정된 물성 정보를 V2X(Vehicle to Everything) 기술을 이용하여 주행차량에게 전송하는 단계;를 포함하는,
노면 상태 측정 방법.
In the road surface condition measurement method performed by a computing device,
Estimating an area of a target road road surface included in the road area by using the image captured by the road area;
Transmitting an electromagnetic wave signal to the road surface of the target road using a radar sensor;
Receiving a reflected wave signal of an electromagnetic wave signal on the target road road surface;
Converting the reflected wave signal including a phase attribute into I and Q values on a complex horizontal plane and inputting it to an artificial neural network to estimate physical property information on the road surface of the target road; And
Transmitting the estimated physical property information to a driving vehicle using V2X (Vehicle to Everything) technology; including,
How to measure road conditions.
상기 대상 도로 노면의 영역을 추정하는 단계는,
상기 도로 영역에 대한 3D 매핑을 수행하여 상기 대상 도로 노면의 영역을 추정하는 단계;를 포함하는,
노면 상태 측정 방법.
The method of claim 1,
The step of estimating the area of the target road road surface,
Estimating the area of the target road road surface by performing 3D mapping on the road area; including,
How to measure road conditions.
상기 노면 상태 측정 방법을 수행하는 컴퓨팅 장치가 무인 비행체인 경우,
상기 대상 도로 노면에 전자기파 신호를 송신하는 단계는,
상기 무인 비행체의 이동 속도를 기초로 도플러 보정을 수행하여 상기 대상 도로 노면에 전자기파 신호를 송신하는 단계를 포함하는,
노면 상태 측정 방법.
The method of claim 1,
When the computing device performing the road surface condition measurement method is an unmanned aerial vehicle,
Transmitting an electromagnetic wave signal to the target road road surface,
Comprising the step of transmitting an electromagnetic wave signal to the road surface of the target road by performing Doppler correction based on the moving speed of the unmanned aerial vehicle,
How to measure road conditions.
상기 반사파 신호를 수신하는 단계는,
상기 반사파 신호가 변환된 I/Q 신호를 수신하는 단계를 포함하는,
노면 상태 측정 방법.
The method of claim 1,
Receiving the reflected wave signal,
Including the step of receiving the I/Q signal converted from the reflected wave signal,
How to measure road conditions.
상기 물성 정보를 추정하는 단계는,
상기 반사파 신호를 기초로 상대유전율을 측정하고, 상기 상대유전율을 기초로 상기 대상 도로 노면의 상태에 대한 물성 정보를 획득하는 단계를 포함하는,
노면 상태 측정 방법.
The method of claim 1,
Estimating the physical property information,
Measuring a relative permittivity based on the reflected wave signal, and acquiring physical property information on a state of the target road road surface based on the relative permittivity,
How to measure road conditions.
상기 반사파 신호를 기초로 상기 대상 도로 노면의 상태에 대한 물성 정보를 추정하는 단계는,
상기 반사파 신호를 인공신경망에 입력하여 상기 대상 도로 노면의 상태에 대한 물성 정보를 분류하는 단계; 및
상기 분류된 물성 정보를 기초로 기 지정된 기준에 따라 정형화된 노면상태정보를 출력하는 단계를 포함하는,
노면 상태 측정 방법.
The method of claim 1,
Estimating physical property information on the state of the road surface of the target road based on the reflected wave signal,
Classifying physical property information on the state of the road surface of the target road by inputting the reflected wave signal to an artificial neural network; And
Including the step of outputting standardized road surface condition information according to a predetermined criterion based on the classified physical property information,
How to measure road conditions.
레이더 센서; 및
프로세서;를 포함하고,
상기 프로세서는,
상기 카메라가 도로 영역을 촬영한 영상을 이용하여 상기 도로 영역에 포함된 대상 도로 노면의 영역을 추정하고, 상기 레이더 센서를 이용하여 대상 도로 노면에 전자기파 신호를 송신하고, 상기 레이더 센서를 이용하여 대상 도로 노면에 대한 전자기파 신호의 반사파 신호를 수신하고, 위상 속성을 포함하는 상기 반사파 신호를 복소수평면상의 I, Q 값으로 변환한 후 인공신경망에 입력하여, 상기 대상 도로 노면의 상태에 대한 물성 정보를 추정하고, 상기 추정된 물성 정보를 V2X(Vehicle to Everything) 기술을 이용하여 주행차량에게 전송하는,
노면 상태 측정 장치.
camera;
Radar sensor; And
Including; a processor;
The processor,
The camera estimates the area of the target road road surface included in the road area using the image captured by the road area, transmits an electromagnetic wave signal to the target road road surface using the radar sensor, and uses the radar sensor to Receives the reflected wave signal of the electromagnetic wave signal on the road surface, converts the reflected wave signal including the phase property into I, Q values on the complex horizontal plane, and inputs it into an artificial neural network, thereby providing physical property information on the state of the target road Estimating, and transmitting the estimated physical property information to a driving vehicle using V2X (Vehicle to Everything) technology,
Road surface condition measurement device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200100495A KR102207816B1 (en) | 2020-08-11 | 2020-08-11 | Method and apparatus for measuring road surface condition using sensor data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200100495A KR102207816B1 (en) | 2020-08-11 | 2020-08-11 | Method and apparatus for measuring road surface condition using sensor data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102207816B1 true KR102207816B1 (en) | 2021-01-26 |
Family
ID=74310038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200100495A KR102207816B1 (en) | 2020-08-11 | 2020-08-11 | Method and apparatus for measuring road surface condition using sensor data |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102207816B1 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102397312B1 (en) | 2021-11-17 | 2022-05-12 | 주식회사 모바휠 | Apparatus for estimating of road surface type using domain transformation of sound waves and method thereof |
| KR102403178B1 (en) * | 2021-07-20 | 2022-05-30 | 한양대학교 산학협력단 | Method and Apparatus for Classifying Road Surface Conditions by Area of Driving Roads Using Artificial Neural Network |
| KR102415195B1 (en) | 2021-11-17 | 2022-06-30 | 주식회사 모바휠 | Apparatus for estimating of road surface type using atmospheric attenuation corrected sound wave and method thereof |
| KR102505159B1 (en) | 2021-11-17 | 2023-03-02 | 주식회사 모바휠 | Apparatus for estimating of road surface type using sound waves and method thereof |
| KR20230108542A (en) * | 2022-01-11 | 2023-07-18 | 한국공학대학교산학협력단 | System for object recognition using radar signal processing |
| CN117107600A (en) * | 2023-10-23 | 2023-11-24 | 四川高速公路建设开发集团有限公司 | Tunnel pavement detection system and method |
| KR102638589B1 (en) | 2023-09-27 | 2024-02-20 | 주식회사 모바휠 | Apparatus for estimating of road surface type using pre-installed sensor of vehicle and method thereof |
| KR102656603B1 (en) | 2023-09-27 | 2024-04-11 | 주식회사 모바휠 | Apparatus for estimating of road surface type using velocity estimation of moving object and method thereof |
| KR20240053377A (en) | 2022-10-17 | 2024-04-24 | 주식회사 모바휠 | Monitoring system for road condition having vision sensor and sound wave sensor and method thereof |
| KR102671468B1 (en) | 2023-09-27 | 2024-05-31 | 주식회사 모바휠 | Apparatus for estimating of road surface type considering speed and 3-axis acceleration of vehicle and method thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005098934A (en) * | 2003-09-26 | 2005-04-14 | Nagoya Electric Works Co Ltd | Road surface state determining device and road surface state determining method |
| JP2009115823A (en) * | 2002-05-13 | 2009-05-28 | Honeywell Internatl Inc | Method and device for radar data processing |
| JP2016151414A (en) * | 2015-02-16 | 2016-08-22 | 国立研究開発法人防災科学技術研究所 | Analysis system for land surface change |
| KR20200026146A (en) * | 2018-08-29 | 2020-03-10 | 한국과학기술원 | Method and apparatus for estimation of tire-road type by using ultrasonic signal |
-
2020
- 2020-08-11 KR KR1020200100495A patent/KR102207816B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009115823A (en) * | 2002-05-13 | 2009-05-28 | Honeywell Internatl Inc | Method and device for radar data processing |
| JP2005098934A (en) * | 2003-09-26 | 2005-04-14 | Nagoya Electric Works Co Ltd | Road surface state determining device and road surface state determining method |
| JP2016151414A (en) * | 2015-02-16 | 2016-08-22 | 国立研究開発法人防災科学技術研究所 | Analysis system for land surface change |
| KR20200026146A (en) * | 2018-08-29 | 2020-03-10 | 한국과학기술원 | Method and apparatus for estimation of tire-road type by using ultrasonic signal |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102403178B1 (en) * | 2021-07-20 | 2022-05-30 | 한양대학교 산학협력단 | Method and Apparatus for Classifying Road Surface Conditions by Area of Driving Roads Using Artificial Neural Network |
| KR102397312B1 (en) | 2021-11-17 | 2022-05-12 | 주식회사 모바휠 | Apparatus for estimating of road surface type using domain transformation of sound waves and method thereof |
| KR102415195B1 (en) | 2021-11-17 | 2022-06-30 | 주식회사 모바휠 | Apparatus for estimating of road surface type using atmospheric attenuation corrected sound wave and method thereof |
| KR102505159B1 (en) | 2021-11-17 | 2023-03-02 | 주식회사 모바휠 | Apparatus for estimating of road surface type using sound waves and method thereof |
| KR20230108542A (en) * | 2022-01-11 | 2023-07-18 | 한국공학대학교산학협력단 | System for object recognition using radar signal processing |
| KR102668317B1 (en) | 2022-01-11 | 2024-05-22 | 한국공학대학교산학협력단 | System for object recognition using radar signal processing |
| KR20240053377A (en) | 2022-10-17 | 2024-04-24 | 주식회사 모바휠 | Monitoring system for road condition having vision sensor and sound wave sensor and method thereof |
| KR102638589B1 (en) | 2023-09-27 | 2024-02-20 | 주식회사 모바휠 | Apparatus for estimating of road surface type using pre-installed sensor of vehicle and method thereof |
| KR102656603B1 (en) | 2023-09-27 | 2024-04-11 | 주식회사 모바휠 | Apparatus for estimating of road surface type using velocity estimation of moving object and method thereof |
| KR102671468B1 (en) | 2023-09-27 | 2024-05-31 | 주식회사 모바휠 | Apparatus for estimating of road surface type considering speed and 3-axis acceleration of vehicle and method thereof |
| CN117107600A (en) * | 2023-10-23 | 2023-11-24 | 四川高速公路建设开发集团有限公司 | Tunnel pavement detection system and method |
| CN117107600B (en) * | 2023-10-23 | 2023-12-19 | 四川高速公路建设开发集团有限公司 | Tunnel pavement detection system and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102207816B1 (en) | Method and apparatus for measuring road surface condition using sensor data | |
| US11422253B2 (en) | Method and system for positioning using tightly coupled radar, motion sensors and map information | |
| JP7186607B2 (en) | Method, apparatus and computer readable storage medium for updating electronic maps | |
| EP3734389B1 (en) | Vehicle positioning method and apparatus | |
| US11506512B2 (en) | Method and system using tightly coupled radar positioning to improve map performance | |
| US9707961B1 (en) | Tracking objects within a dynamic environment for improved localization | |
| EP3283843B1 (en) | Generating 3-dimensional maps of a scene using passive and active measurements | |
| CN108883771B (en) | Method and device for determining the coefficient of friction of a drivable ground surface by means of a vehicle | |
| CN112154330A (en) | System and method for angle measurement | |
| US20220194412A1 (en) | Validating Vehicle Sensor Calibration | |
| CN113874751A (en) | System and method for combining radar data | |
| US11408989B2 (en) | Apparatus and method for determining a speed of a vehicle | |
| US11292481B2 (en) | Method and apparatus for multi vehicle sensor suite diagnosis | |
| RU2767949C2 (en) | Method (options) and system for calibrating several lidar sensors | |
| CN114049767B (en) | Edge computing method and device and readable storage medium | |
| Altekar et al. | Infrastructure-based sensor data capture systems for measurement of operational safety assessment (osa) metrics | |
| CN109029418A (en) | A method of vehicle is positioned in closed area | |
| JP6426674B2 (en) | Road traffic situation estimation system and road traffic situation estimation method | |
| EP4160269A1 (en) | Systems and methods for onboard analysis of sensor data for sensor fusion | |
| CN206671562U (en) | A kind of driver's driving behavior data collecting system based on laser sensor | |
| US20240142575A1 (en) | Method and apparatus with neural network training | |
| CN112946587A (en) | Communication method and device | |
| WO2022266863A1 (en) | Vehicle-road coordination communication method, data processing method, detection system and fusion apparatus | |
| US20240004056A1 (en) | High-resolution point cloud formation in automotive-grade radar signals | |
| Gabb et al. | Probabilistic inference of visibility conditions by means of sensor fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |