KR102615591B1 - 음파 신호를 이용한 도로 정보 수집 장치 및 그를 이용한 노면 관리 방법 - Google Patents
음파 신호를 이용한 도로 정보 수집 장치 및 그를 이용한 노면 관리 방법 Download PDFInfo
- Publication number
- KR102615591B1 KR102615591B1 KR1020220089331A KR20220089331A KR102615591B1 KR 102615591 B1 KR102615591 B1 KR 102615591B1 KR 1020220089331 A KR1020220089331 A KR 1020220089331A KR 20220089331 A KR20220089331 A KR 20220089331A KR 102615591 B1 KR102615591 B1 KR 102615591B1
- Authority
- KR
- South Korea
- Prior art keywords
- road surface
- information
- signal
- sound wave
- present disclosure
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 53
- 230000005540 biological transmission Effects 0.000 claims abstract description 60
- 238000013528 artificial neural network Methods 0.000 claims abstract description 55
- 238000007726 management method Methods 0.000 description 33
- 230000008859 change Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 15
- 230000015654 memory Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000003062 neural network model Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000009434 installation Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008014 freezing Effects 0.000 description 5
- 238000007710 freezing Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000010426 asphalt Substances 0.000 description 3
- 230000000704 physical effect Effects 0.000 description 3
- 150000003839 salts Chemical class 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- 101100370014 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) tof-1 gene Proteins 0.000 description 1
- 239000011358 absorbing material Substances 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
- E01C11/00—Details of pavings
- E01C11/24—Methods or arrangements for preventing slipperiness or protecting against influences of the weather
- E01C11/26—Permanently installed heating or blowing devices ; Mounting thereof
- E01C11/265—Embedded electrical heating elements ; Mounting thereof
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01H—STREET CLEANING; CLEANING OF PERMANENT WAYS; CLEANING BEACHES; DISPERSING OR PREVENTING FOG IN GENERAL CLEANING STREET OR RAILWAY FURNITURE OR TUNNEL WALLS
- E01H10/00—Improving gripping of ice-bound or other slippery traffic surfaces, e.g. using gritting or thawing materials ; Roadside storage of gritting or solid thawing materials; Permanently installed devices for applying gritting or thawing materials; Mobile apparatus specially adapted for treating wintry roads by applying liquid, semi-liquid or granular materials
- E01H10/005—Permanently-installed devices for applying gritting or thawing materials, e.g. for spreading grit, for spraying de-icing liquids
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01H—STREET CLEANING; CLEANING OF PERMANENT WAYS; CLEANING BEACHES; DISPERSING OR PREVENTING FOG IN GENERAL CLEANING STREET OR RAILWAY FURNITURE OR TUNNEL WALLS
- E01H5/00—Removing snow or ice from roads or like surfaces; Grading or roughening snow or ice
- E01H5/10—Removing snow or ice from roads or like surfaces; Grading or roughening snow or ice by application of heat for melting snow or ice, whether cleared or not, combined or not with clearing or removing mud or water, e.g. burners for melting in situ, heated clearing instruments; Cleaning snow by blowing or suction only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Architecture (AREA)
- Mathematical Physics (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Acoustics & Sound (AREA)
- Traffic Control Systems (AREA)
Abstract
다양한 실시예들에 따라서, 음파 신호를 이용하여 노면에 대한 도로 정보를 수집하는 전자 장치는, 음파 신호를 송신하고 수신하도록 설정된 송수신기; 대기 정보를 획득하도록 설정된 대기 센서; 및 상기 송수신기 및 상기 대기 센서와 전자적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 음파 신호를 송신하고, 상기 제1 음파 신호가 노면에 대해 반사된 제1 반사 신호를 수신하고, 제2 음파 신호를 송신하고, 상기 제2 음파 신호가 상기 노면 위를 움직이는 물체에 대해 반사된 제2 반사 신호를 수신하고, 상기 제1 음파 신호의 송신 시점 및 상기 제1 반사 신호의 수신 시점에 기초하여 획득되는 제1 전파 시간과 상기 제2 음파 신호의 송신 시점 및 상기 제2 반사 신호의 수신 시점에 기초하여 획득되는 제2 전파 시간을 비교하여 상기 물체와 관련된 정보를 획득하고, 상기 대기 정보 및 상기 제1 반사 신호에 기초하여 획득한 데이터를 노면 분류 인공 신경망에 입력하여 상기 노면의 종류를 판단하도록 설정될 수 있다. 그 밖의 다양한 실시예가 가능하다.
Description
본 개시는 음파 신호를 이용하여 노면 정보를 수집하는 장치 및 이를 이용한 노면의 관리 방법에 관한 것으로, 보다 상세하게는, 노면에 반사된 음파 신호에 기초하여 인공신경망을 이용하여 노면의 정보를 수집하는 장치 및 이를 이용한 노면의 관리 방법에 관한 것이다.
일반적으로 지면 위를 움직이는 지상이동체는 이동하고 있는 지면, 즉 노면의 마찰계수에 따라 가감속 제어를 수행하게 되므로, 안정성 제어 측면과 최대 운동 성능 제어 측면에서 노면 마찰 계수를 정확히 추정하는 것이 중요하다.
겨울철 급증하고 있는 블랙 아이스 사고는, 이를 인지하지 못한 상황에서 노면 마찰 계수의 급격한 변화로 인하여 발생하는 것이라는 점에서 노면 마찰 계수 추정 기술의 필요성이 잘 드러난 예시라 할 수 있다.
또한, 최근 상용화되고 있는 전기 자동차는 에너지 효율을 증가시키기 위한 회생 제동 기술이 필수적인데, 회생 제동이 적용되는 경우의 주행 안정성 확보를 위한 측면에서 노면의 마찰 계수를 미리 추정하는 기술의 필요성이 확대되고 있다.
이러한 노면 상태 또는 이에 기초한 노면 마찰 계수를 추정하기 위한 방법으로, 종래에는 차량의 동적 정보를 이용하는 방법과 센싱 정보를 이용하는 방법이 주로 사용되어 왔다.
차량의 동적 정보를 이용하는 방법의 경우, 차량에 탑재된 각종 센서의 측정 정보를 차량 동역학 모델에 대입하여 추정한다. 이때 정해진 모델링을 벗어나는 상황에서 정확도가 떨어지는 단점이 있을 뿐만 아니라, 노면을 지나고 나서야 측정이 가능하므로, 노면의 마찰 계수를 미리 추정할 수 없는 한계가 있다.
또한, 영상 정보와 같은 전자기파 센서 기반 방식의 경우에는 노면의 마찰 계수를 원격에서 추정할 수 있으나, 이를 위해 고가의 센서 장비와 이에 대한 신호 처리 장치가 필요하며 센서의 장착 위치나 방향에 따라 결과가 달라질 수 있는 한계가 존재한다.
한편, 음향 정보를 이용한 노면 추정 기술도 활발히 논의되고 있는데, 종래에는 지면과 타이어 간의 마찰음을 기반으로 노면 상태를 추정하는 기술에 초점이 맞춰져 있어, 정확도가 부족할 뿐만 아니라 노면을 통과하기 전에는 전방의 노면 상태를 확인할 수 없는 한계가 있다.
따라서, 기존의 방식으로는 노면 상태를 미리 판단할 수 없거나, 판단 과정이 비경제적이고 부정확하여 전술한 문제를 효율적으로 해결할 수 없는 한계가 있었다.
본 개시는 위와 같은 문제를 해결하기 위하여, 음파 신호를 이용한 노면 종류의 추정 장치 및 그 방법을 제공하고자 한다.
또한, 본 개시에 따른 노면 종류의 추정을 통하여 실시간으로 노면을 제어하고 관리하는 장치 및 그 방법을 제공하고자 한다.
한편, 본 개시에서 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 개시에 포함된 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 다양한 실시예에 따르면, 음파 신호를 이용하여 노면에 대한 도로 정보를 수집하는 전자 장치는, 음파 신호를 송신하고 수신하도록 설정된 송수신기; 대기 정보를 획득하도록 설정된 대기 센서; 및 상기 송수신기 및 상기 대기 센서와 전자적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 음파 신호를 송신하고, 상기 제1 음파 신호가 노면에 대해 반사된 제1 반사 신호를 수신하고, 제2 음파 신호를 송신하고, 상기 제2 음파 신호가 상기 노면 위를 움직이는 물체에 대해 반사된 제2 반사 신호를 수신하고, 상기 제1 음파 신호의 송신 시점 및 상기 제1 반사 신호의 수신 시점에 기초하여 획득되는 제1 전파 시간과 상기 제2 음파 신호의 송신 시점 및 상기 제2 반사 신호의 수신 시점에 기초하여 획득되는 제2 전파 시간을 비교하여 상기 물체와 관련된 정보를 획득하고, 상기 대기 정보 및 상기 제1 반사 신호에 기초하여 획득한 데이터를 노면 분류 인공 신경망에 입력하여 상기 노면의 종류를 판단하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 상기 물체와 관련된 정보는, 상기 제2 전파 시간에 기초하여 추정되는 상기 물체의 높이에 대한 정보를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 물체와 관련된 정보에 기초하여 상기 노면의 교통량과 관련된 정보를 획득할 수 있다.
또한, 상기 적어도 하나의 프로세서는, 상기 판단된 노면의 종류 및 상기 교통량과 관련된 정보에 기초하여 상기 노면의 파손도와 관련된 정보를 획득할 수 있다.
본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 노면 분류 인공 신경망은 상기 전자 장치와 상기 노면 사이의 제1 거리와는 다른 제2 거리의 노면에서 반사된 음파 신호에 기초하여 생성된 주파수 도메인 데이터 셋으로 학습될 수 있다.
이 때, 상기 대기 정보 및 상기 제1 반사 신호에 기초하여 획득한 데이터는 상기 제1 거리에 기초하여 보정된 데이터의 주파수 도메인 정보와 관련될 수 있다.
본 개시의 다양한 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 판단된 노면의 종류에 기초하여, 상기 노면에 설치된 노면 관리 장치를 제어하는 신호를 생성하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 상기 전자 장치는 상기 노면의 온도 정보를 획득하는 IR 센서 또는 상기 노면의 영상 정보를 획득하는 비전 센서 중 적어도 하나를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 온도 정보 또는 상기 영상 정보에 더 기초하여 상기 노면의 종류를 판단하도록 설정될 수 있다.
본 개시의 다양한 실시예에 따른 전자 장치에 의해 수행되는, 음파 신호를 이용하여 노면을 관리하는 방법은, 제1 음파 신호를 송신하는 단계; 상기 제1 음파 신호가 상기 노면에 대해 반사된 제1 반사 신호를 수신하는 단계; 제2 음파 신호를 송신하는 단계; 상기 제2 음파 신호가 상기 노면 위를 움직이는 물체에 대해 반사된 제2 반사 신호를 수신하는 단계; 상기 제1 음파 신호의 송신 시점 및 상기 제1 반사 신호의 수신 시점에 기초하여 제1 전파 시간을 획득하는 단계; 상기 제2 음파 신호의 송신 시점 및 상기 제2 반사 신호의 수신 시점에 기초하여 제2 전파 시간을 획득하는 단계; 상기 제1 전파 시간 및 상기 제2 전파 시간을 비교하여 상기 물체와 관련된 정보를 획득하는 단계; 대기 정보를 획득하는 단계; 및 상기 대기 정보 및 상기 제1 반사 신호에 기초하여 획득한 데이터를 노면 분류 인공 신경망에 입력하여 상기 노면의 종류를 판단하는 단계를 포함할 수 있다.
본 개시에 의하면, 초음파 신호에 기초하여 노면의 종류를 빠르고 정확하게 분류함으로써, 분류된 노면에 따른 노면의 제어 또는 차량의 제어를 통해 미연의 사고를 방지할 수 있다.
또한 본 개시에 의하면, 노면의 분류 정보를 이용하여 노면 관리를 자동으로 제어함으로써 경제적이고 효율적으로 노면을 관리할 수 있다.
또한 본 개시는 노면에 대한 정보를 실시간으로 획득함으로써 사용자에게 더 효과적인 교통망 정보를 제공할 수 있다.
한편, 본 개시의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 개시의 다양한 실시예에 따른 노면 분류 장치의 블록도를 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 노면 분류 장치가 도로 인프라에 설치되어 운용되는 것을 도시한 도면이다.
도 3은 본 개시에 따른 노면 분류 장치에 의해 수행되는 방법을 도시한 순서도이다.
도 4는 본 개시의 다양한 실시예에 따른 노면 분류 장치에서 송신되는 음파 신호를 시간 축에서 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 음파 신호의 송신 구간 및 반사 신호의 수신 구간을 도시한 도면이다.
도 6은 본 개시의 다양한 실시예에 따른 노면 분류 장치가 설치되는 대상을 도시한 도면이다.
도 7은 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망을 학습시키기 위한 데이터 셋을 획득하는 방법을 예시한 도면이다.
도 8은 본 개시의 다양한 실시예에 따른 노면 분류 장치가 수신된 반사 신호를 전처리하는 과정을 도시한 순서도이다.
도 9는 본 개시의 일 실시예에 따른 multi-modal 인공신경망을 도시한 도면이다.
도 10은 본 개시의 일 실시예에 따른 노면 분류 장치가 미리 정해진 제어 변경 트리거에 기초하여 제어 동작을 변경하는 동작을 도시한 순서도이다.
도 11은 본 개시의 일 실시예에 따른 노면 분류 결과가 변화되는 시나리오를 예시한 도면이다.
도 12는 본 개시의 다양한 실시예에 따른 노면 분류 장치에 의한 노면 관리 방법을 도시한 도면이다.
도 13은 본 개시의 일 실시예에 따른 노면 분류 장치가 교통 정보를 수집하는 것을 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 노면 분류 장치가 도로 인프라에 설치되어 운용되는 것을 도시한 도면이다.
도 3은 본 개시에 따른 노면 분류 장치에 의해 수행되는 방법을 도시한 순서도이다.
도 4는 본 개시의 다양한 실시예에 따른 노면 분류 장치에서 송신되는 음파 신호를 시간 축에서 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 음파 신호의 송신 구간 및 반사 신호의 수신 구간을 도시한 도면이다.
도 6은 본 개시의 다양한 실시예에 따른 노면 분류 장치가 설치되는 대상을 도시한 도면이다.
도 7은 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망을 학습시키기 위한 데이터 셋을 획득하는 방법을 예시한 도면이다.
도 8은 본 개시의 다양한 실시예에 따른 노면 분류 장치가 수신된 반사 신호를 전처리하는 과정을 도시한 순서도이다.
도 9는 본 개시의 일 실시예에 따른 multi-modal 인공신경망을 도시한 도면이다.
도 10은 본 개시의 일 실시예에 따른 노면 분류 장치가 미리 정해진 제어 변경 트리거에 기초하여 제어 동작을 변경하는 동작을 도시한 순서도이다.
도 11은 본 개시의 일 실시예에 따른 노면 분류 결과가 변화되는 시나리오를 예시한 도면이다.
도 12는 본 개시의 다양한 실시예에 따른 노면 분류 장치에 의한 노면 관리 방법을 도시한 도면이다.
도 13은 본 개시의 일 실시예에 따른 노면 분류 장치가 교통 정보를 수집하는 것을 도시한 도면이다.
이하, 본 개시의 실시예를 첨부의 도면을 참조하여 상세하게 설명한다. 실시예를 설명함에 있어서 본 개시가 속하는 기술 분야에 익히 알려져 있고 본 개시와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 개시의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부된 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 명확해질 것이다. 그러나, 도면으로부터 개시되는 사항은 다양한 실시예들을 특정하거나 또는 한정하려는 것이 아니며, 다양한 실시예들의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 다양한 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 다양한 실시예들에 따른 설명을 위한 목적으로 예시된 것으로, 본 개시의 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 명시적으로 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
즉, 본 개시의 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 알려주기 위해 제공되는 것이며, 본 개시의 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
"제1" 및/또는 "제2" 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 개시의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
도면에서 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능할 수 있다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능할 수 있다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 개시에서 사용되는 '~부(unit)'라는 용어는 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미한다. '~부'는 특정한 역할들을 수행하지만 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일부 실시예에 따르면 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다. 또한 본 개시의 다양한 실시예에 따르면, '~부'는 하나 이상의 프로세서를 포함할 수 있다.
이하 첨부된 도면을 참조하여 본 개시의 동작 원리를 상세히 설명한다. 하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 개시는 음파 신호를 이용하여 노면을 분류하고, 이를 통해 노면이나 차량 운행을 관리하는 시스템에 관한 것이다.
본 개시의 일 실시예에 따른 노면 분류 장치는 도로 인프라 또는 이동체 등에 설치되어 노면의 종류나 상태를 판단하는 장치를 포함할 수 있다.
본 개시의 또 다른 실시예에 따른 노면 분류 장치는 도로 인프라 또는 이동체 등에 설치된 장치로부터 수신한 정보에 기초하여 노면의 종류나 상태를 판단하는 서버 장치를 포함할 수 있다.
도 1은 본 개시의 다양한 실시예에 따른 노면 분류 장치의 블록도를 도시한 도면이다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 노면 분류 장치(100)는 송수신부(110), 센싱부(120), 및 제어부(130)를 포함할 수 있다. 한편 본 개시의 다양한 실시예에 따른 노면 분류 장치는 전술한 하드웨어 구성요소 이외에도 추가적인 구성요소를 포함할 수 있으며, 도 1에 도시된 구성요소에 제한되지 않는다. 도 1은 본 개시의 노면 분류 장치(100)를 구성하는 하드웨어 구성요소를 예시하기 위한 것으로서, 본 개시의 또 다른 실시예에 따른 노면 분류 장치는 도 1에 도시된 구성요소 중 일부를 생략하여 구성될 수 있다.
송수신부(110)는 음파 신호를 송수신하도록 설정되는 하드웨어 구성요소로서, 송신기(미도시) 및 수신기(미도시) 또는 송수신기(미도시)를 포함할 수 있다. 이하에서는, 송수신부(110)를 구성하는 송신기 및 수신기의 각각에 대해 자세히 설명한다.
송신기는 음파 신호를 생성하여 발사하는 장치로서, 음파 신호가 노면을 향하여 발사되는 방향으로 배치될 수 있다. 이때 발사되는 음파 신호는 고주파의 초음파 신호를 포함할 수 있다.
한편, 생성되는 음파 신호의 주파수는 송신기의 종류에 따라 고정되어 있을 수 있고, 사용자 입력에 의해 설정되거나 가변적일 수 있다. 또한 음파 신호는 사용자 입력, 제어부나 서버의 제어, 또는 미리 정해진 규칙에 따라 단발적으로 송신되거나, 하나의 주기 동안 하나 또는 복수개의 신호를 주기적으로 송신할 수도 있다. 이 때 송신되는 음파의 개수나 송신 주기 등은 가변적일 수 있다.
수신기는 음파 신호를 수신하는 장치로서, 노면으로부터 반사되는 음파 신호를 수신하도록 배치될 수 있다.
한편, 수신기는 반사 신호 이외에도 인접한 송신기로부터 송출된 음파 신호를 직접 수신할 수도 있다. 송신기로부터 직접 수신된 신호는 본 개시의 노면 분류 장치를 통해 판단하고자 하는 노면의 분류와는 무관한 신호이므로 노이즈로 볼 수 있고, 이러한 노이즈 신호를 크로스톡(cross-talk)이라 한다.
본 개시의 일 실시예에 따르면, 크로스톡의 발생을 줄이기 위하여 송신기와 수신기는 이격되어 설치될 수 있다. 또한, 본 개시의 또 다른 실시예에 따르면, 송신기와 수신기 사이에서 발생할 수 있는 신호의 교란(예를 들어, 크로스톡)의 발생을 줄이기 위하여 송신기와 수신기 사이에 흡음재 내지 방음재 등의 구조체가 추가로 배치될 수 있다. 상기 구조체는 음파를 감쇠 또는 흡수하는 물리적 특성을 갖는 소재 또는 구조로 형성될 수 있으며, 그러한 물리적 특성을 구현하도록 구성된 전자 장치일 수 있다.
한편, 송신기와 수신기가 본 개시의 노면 분류 장치 내에서 반드시 물리적으로 구분되어야 하는 것은 아니며, 하나로 일체화된 형태, 이를테면 송수신기로 구현될 수도 있다. 이하의 설명에서 송수신기는 송신기, 수신기 또는 송수신기 모두를 포함하는 용어로서, 송수신기는 송신기와 수신기가 하나로 일체화된 하드웨어 장치를 의미할 수 있고, 물리적으로 구분되는 송신기와 수신기 모두를 포함하여, 또는 그 각각을 지칭하는 것을 의미할 수도 있다.
송수신기는 하드웨어 성능에 따른 지향각(angle of view) 범위 내에서 음파를 송신 또는 수신할 수 있다. 본 개시의 다양한 실시예에 따른 노면 분류 장치(100)는 노면 분류 장치가 설치되는 대상이나 환경을 고려하여 지향각이 다른 송수신기를 사용할 수 있다. 예를 들어, 도로 인프라에 배치되는 노면 분류 장치에 사용되는 송수신기의 지향각은 차량에 설치되는 노면 분류 장치에 사용되는 송수신기의 지향각보다 작을 수 있다.
노면 분류 장치 내에서 송신기와 수신기가 구별되어 구성되는 경우, 본 개시의 다양한 실시예에 따른 송신기와 수신기는 상호 간의 지향각을 고려하여 배치될 수 있다. 본 개시의 일 실시예에 따른 수신기는 송신기의 지향각 범위 밖에 배치될 수 있고, 이를 통해 송신기에서 발사되는 지향각의 최외각 음파 신호가 수신기에 감지되지 않을 수 있다. 본 개시의 또 다른 실시예에 따른 수신기는 수신기에서 감지되는 크로스톡 신호가 기준값 이하가 되도록 송신기의 지향각 중심을 기준으로 외각 쪽에 배치될 수 있다.
한편, 본 개시의 다양한 실시예에 따른 송수신기는 노면에 대한 반사파의 특정 주파수 특성에만 반응하도록 설계되거나 배치될 수 있다.
센싱부(120)는 측정을 통해 본 개시에 따른 노면 분류에 필요한 정보를 획득하는 하드웨어 구성요소로서, 본 개시에 따른 센싱부(120)는 대기 센서, 카메라 및/또는 IR 센서를 포함할 수 있다.
본 개시의 다양한 실시예에 따른 센싱부(120)는 대기 센서를 포함할 수 있다. 대기 센서는 대기 상태와 관련된 정보를 획득하는 하드웨어 장치로서, 대기 센서가 측정 또는 획득하는 대기 정보는 온도, 습도, 또는 기압 중 적어도 하나를 포함할 수 있다. 또한 대기 정보는 바람에 대한 정보를 더 포함할 수 있다. 이때 바람에 대한 정보는 풍속, 풍량, 또는 풍향 등 바람과 관련된 물리량을 포함할 수 있다. 본 명세서에서 대기 센서는 온도 센서, 습도 센서, 또는 기압 센서 중 적어도 하나를 포함하는 장치를 의미할 수 있다. 또한, 대기 센서는 서로 다른 복수의 대기 정보를 센싱할 수 있는 장치를 의미할 수 있다. 본 개시의 일 실시예에 따른 대기 센서는 노면 분류 장치가 위치한 장소의 온도, 습도, 기압 및/또는 풍속을 측정할 수 있다.
본 개시의 다양한 실시예에 따른 센싱부(120)는 카메라 및/또는 IR 센서를 더 포함할 수 있다. 카메라는 이미지를 획득하는 장치로서 노면에 대한 영상 정보를 획득할 수 있으며, IR 센서는 노면으로부터 방출되는 복사열을 감지하여 노면의 온도 정보를 획득할 수 있다. IR 센서가 획득하는 온도 정보는 노면에 대한 온도 정보이고, 대기 센서가 획득하는 온도 정보는 대기에 대한 온도 정보이므로, 서로 다른 센서에 의해 획득되는 각각의 온도 정보가 지시하는 값은 서로 다를 수 있다.
본 개시의 센싱부(120)에 의해 측정 또는 획득되는 다양한 정보는 노면 분류의 정확도를 향상시키기 위해 서로 조합되어 활용될 수 있다. 즉, 본 개시의 다양한 실시예에 따른 노면 분류 장치(100)에 의해 출력되는 노면 분류 결과는 복수의 정보에 기초하여 생성될 수 있으며, 이에 대한 구체적인 실시예는 후술한다.
한편, 본 개시의 실시예에 따라 센싱부(120)에 포함되는 카메라 및/또는 IR 센서는 예시적인 것으로서, 센싱부(120)는 상기의 대기 센서, 카메라 또는 IR 센서 이외에도, 노면을 분류하는데 활용될 수 있는 정보를 획득하는 어떠한 센싱 장치도 더 포함할 수 있다.
제어부(130)는 본 개시의 노면 분류 장치에 의해 수행되는 방법을 수행하도록 설정된 하드웨어로서, 논리 회로와 연산 회로를 포함하는 적어도 하나의 프로세서를 포함할 수 있다. 제어부(130)는 메모리(미도시)로부터 제공된 프로그램 및/또는 인스트럭션에 따라 데이터를 처리하고, 처리 결과에 따라 제어 신호를 생성할 수 있다.
다양한 실시예들에 따르면, 제어부(130)는 예를 들면, 제어부(130)에 연결된 노면 분류 장치(100)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 제어부(130)는 다른 구성요소(예: 수신기(120) 또는 센싱부(120))로부터 수신된 명령 또는 데이터를 휘발성 메모리(미도시)에 저장하고, 휘발성 메모리(미도시)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(미도시)에 저장할 수 있다. 일례로, 수신기(120)를 통해 획득된 신호는 제어부(130)에 포함된 ADC(analog to digital converter) 회로를 통해 디지털 신호로 전환되어 처리될 수 있다. 또한 전환된 디지털 신호는 인공 신경망에 입력하기 위한 입력 데이터로 전 처리될 수 있다. 본 개시의 수신된 신호 및/또는 데이터를 처리하는 구체적인 방법에 대해서는 후술하도록 한다.
일 실시예에 따르면, 제어부(130)는 메인 프로세서(예: 중앙 처리 장치(CPU) 또는 어플리케이션 프로세서(AP)) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치(GPU), 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 노면 분류 장치(100)가 메인 프로세서 및 보조 프로세서를 포함하는 경우, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 통신부(미도시)를 포함할 수 있다. 상기 통신부는 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 수신하거나, 노면 분류 장치에서 생성된 명령 또는 데이터를 외부로 전송하고, 또는 노면 분류 장치의 다른 구성요소(들)로부터 명령 또는 데이터를 송신 또는 수신하는 하드웨어 구성요소를 의미하는 것으로서, 유무선 통신 모듈 및/또는 입출력 인터페이스를 포함할 수 있다. 본 개시의 실시예에 따른 노면 분류 장치는 상기 통신부를 통해 외부 전자 장치(예를 들면, 노면 분류 장치의 외부에 설치되는 제어기(control box)나 관리 서버)로부터 정보를 수신하거나, 상기 외부 전자 장치로 노면 분류 장치가 획득 내지 생성한 정보를 송신할 수 있다. 한편, 상기 통신부는 본 개시의 다양한 실시예에 따른 노면 분류 장치 내에서 제어부(130)와 별개로 구현될 수 있으며, 제어부(130)에 포함되는 회로 요소를 통해 구현되어 제어부(130)에 포함될 수 있다. 즉, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 외부 전자 장치와 연동하여 노면을 분류하는데 필요한 정보를 제공하는 장치일 수 있다.
본 개시의 일 실시예에 따르면, 본 개시의 노면을 분류하기 위한 인공신경망(미도시)은 노면 분류 장치에서 SOC(software-on-chip) 내지 MCU(micro controller unit)로 제어부(130)에 포함되어 제공될 수 있다. 또는 상기 인공신경망은 상기 제어부(130)에 의해 동작하는 소프트웨어의 형태로 제공되어, 외부 서버로부터의 통신 또는 사용자 입력에 의해 업데이트될 수 있다.
한편, 본 개시의 다양한 실시예에 따른 인공신경망은 외부 전자 장치(예를 들어, 상기 제어기 또는 상기 서버)에 구현될 수 있으며, 이 경우 노면 분류 장치의 제어부(130)에서 음파 신호에 기초하여 생성한 데이터 및 대기 정보 등 노면 분류에 필요한 데이터가 외부 전자 장치로 송신되고, 외부 전자 장치는 노면 분류 장치로부터 수신한 데이터에 기초하여 노면을 분류할 수 있다.
본 개시의 또 다른 실시예에 따르면, 노면 분류 장치는 서버 장치일 수 있다. 이 경우, 노면 분류 장치는 음파 송수신부(110) 및 센싱부(120)를 포함하지 않을 수 있으며, 통신부(미도시)를 통해 외부 전자 장치로부터 노면 분류에 필요한 데이터를 수신하고, 수신된 데이터에 기초하여 제어부(130)를 통해 노면을 분류할 수 있다. 또한 분류된 노면 분류 결과 및/또는 이와 관련된 제어 정보를 외부 전자 장치로 송신할 수 있다.
도 2는 본 개시의 일 실시예에 따른 노면 분류 장치가 도로 인프라에 설치되어 운용되는 것을 도시한 도면이다.
도 2를 참조하면, 상기 노면 분류 장치(100)는 도로 인프라(200)에서 분류하고자 하는 노면(230)을 향하도록 설치될 수 있다.
본 개시에서, 도로 인프라(200)는 도로상 또는 도로변에 설치되는 신호등, 가로등, 도로안내표지판, 또는 영상정보처리기기 등의 지주형 구조물(210)을 포함하는 교통 설비를 총칭하는 용어로서, 도로 상에서 노면 분류 장치가 설치될 수 있는 구조물을 의미하며, 전술한 예시에 제한되지 않는다. 본 개시의 일 실시예에 따르면, 노면 분류 장치(100)가 도로 인프라(200)에 설치된다는 것은 지주형 구조물(210)의 상단부에 설치되는 것을 의미할 수 있으나, 이에 제한되지 않는다.
도로 인프라(200)는 지주형 구조물(210)에 설치되는 전자 기기를 제어하기 위한 제어기(220)을 포함할 수 있다. 상기 지주형 구조물(210)에 설치되는 상기 전자 기기는 가로등이나 신호등에 사용되는 발광 장치, CCTV, 교통정보 수집 카메라 또는 본 개시의 노면 분류 장치를 포함할 수 있다.
제어기(220)는 상기 지주형 구조물(210)에 설치되는 전자 기기를 제어하는 장치로서, 예를 들어, 지주형 구조물이 가로등인 경우 가로등의 작동을 제어하는 가로등 제어기일 수 있고, 지주형 구조물이 신호등인 경우 신호등의 신호를 제어하는 교통 신호 제어기일 수 있다.
본 개시의 다양한 실시예에 따른 제어기(220)는 본 개시의 노면 분류 장치(100)의 운영을 제어할 수 있고, 노면 분류 장치(100)로부터 획득한 노면 분류 정보 또는 명령에 기초하여 도로 인프라(200)가 위치한 노면을 제어할 수 있다.
본 개시의 다양한 실시예에 따른 제어기(220)는 노면 분류 장치(100)와 관리 서버(미도시) 사이의 게이트웨이 역할을 수행할 수 있다. 즉, 제어기(220)는 유무선 통신 모듈을 포함할 수 있고, 관리 서버로 노면 분류 장치로부터 획득된 정보를 전송하거나, 관리 서버로부터 노면 분류 장치 또는 도로를 제어하기 위한 명령이나 데이터를 수신할 수 있다.
본 개시의 다양한 실시예에 따른 제어기(220)는 본 개시의 인공신경망을 포함할 수 있고, 이를 통해 노면 분류 장치로부터 획득한 정보에 기초하여 직접 노면을 분류할 수 있다. 이 경우, 제어기(220)에 포함되는 프로세서나 메모리의 성능이 노면 분류 장치의 프로세서나 메모리의 성능보다 우수할 수 있으므로, 제어기(220)에 제공되는 인공신경망은 노면 분류 장치(100)에 제공되는 인공신경망보다 성능이 우수할 수 있다.
본 개시의 다양한 실시예에 따른 제어기(220)는 노면을 관리하기 위하여 분류된 노면에 기초하여 도로에 설비된 노면 관리 장치(250)를 제어할 수 있다.
본 개시의 다양한 실시예에 따른 노면 관리 장치(250)는 도로에 설치되는 열선 또는 염수 분사 장치 등의 제설 장치나, 혹은 배수 시설 등을 포함할 수 있다. 본 개시의 다양한 실시예에 따른 노면 관리 장치의 운영에 대한 구체적인 내용은 후술하기로 한다.
이하에서는, 본 개시에 따른 노면 분류 장치가 노면을 분류하는 방법에 대해 자세히 설명한다.
일반적으로 서로 다른 물질은 서로 다른 음향 임피던스를 갖게 되므로, 동일한 음파 입사 신호에 대한 반사 신호는 물질마다 달라지게 된다. 따라서 이러한 물리적 특성을 이용하여, 반사 신호를 분석하여 물질을 구별할 수 있다. 특히, 음향 임피던스는 주파수 특성을 가지는 물리량이므로, 반사 신호를 주파수 영역에서 분석하면 반사면의 재질을 보다 정교하게 분류할 수 있다.
본 개시의 다양한 실시예에 따른 음파 반사 신호를 이용한 노면 분류 방법을 수행하기 위해 인공신경망이 이용될 수 있다.
본 개시의 다양한 실시예에 따른 인공신경망의 신경망 모델은 복수의 계층 또는 레이어를 포함할 수 있다.
신경망 모델은 노면 분류 정보를 생성하는 분류기(classifier)의 형태로 구현될 수 있다. 분류기는 다중 분류를 수행할 수 있다. 예컨대, 신경망 모델은 입력 데이터에 대한 결과를 복수의 클래스로 분류하는 다중 분류 모델일 수 있다.
본 개시의 일 실시예에 따른 신경망 모델은 입력 레이어, 다수의 은닉 레이어 및 출력 레이어를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망(DNN; Deep Neural Network)을 포함할 수 있다.
본 개시의 또 다른 실시예에 따른 신경망 모델은 합성곱 신경망(CNN; Convolutional Neural Network)을 포함할 수 있다. 수 있다. CNN 구조로서, AlexNet, LENET, NIN, VGGNet, ResNet, WideResnet, GoogleNet, FractaNet, DenseNet, FitNet, RitResNet, HighwayNet, MobileNet, DeeplySupervisedNet 중 적어도 하나가 이용될 수 있다. 신경망 모델은 복수의 CNN 구조를 이용하여 구현될 수 있다.
일 예로, 신경망 모델은 복수의 VGGNet 블록을 포함하도록 구현될 수 있다. 보다 구체적인 예로, 신경망 모델은 3x3 크기의 64개의 필터를 가지는 CNN 레이어, BN(Batch Normalization) 레이어 및 ReLu 레이어가 순차적으로 결합된 제1 구조 및 3x3 크기의 128개의 필터를 가지는 CNN 레이어, ReLu 레이어 및 BN 레이어가 순차적으로 결합된 제2 블록이 결합되어 마련될 수 있다.
신경망 모델은 각 CNN 블록에 이어서, 맥스 풀링 레이어를 포함하고, 종단에는 GAP(Global Average pooling) 레이어, FC(Fully Connected) 레이어 및 활성화 레이어(예컨대, 시그모이드, 소프트맥스 등)를 포함할 수 있다.
본 개시의 다양한 실시예에 따른 인공신경망은 음파 신호의 주파수 변환 신호로부터 특성을 추출하여 노면을 분류하기 위한 신경망 모델을 의미하는 것으로서, 전술한 예시에 제한되지 않는다.
본 개시의 다양한 실시예에 따른 노면 분류 인공신경망은 반사 신호의 주파수 도메인 데이터를 입력값으로 하여 학습될 수 있고, 학습된 인공신경망은 대상 신호의 주파수 도메인 데이터를 입력값으로 하여 대상 신호가 반사된 노면을 분류할 수 있다.
상기 주파수 도메인 데이터는, 반사 신호의 ADC 샘플링을 통해 변환된 디지털 신호에 대해 주파수 도메인 변환을 수행하여 획득한 데이터를 의미할 수 있다.
본 개시의 다양한 실시예에 따른 주파수 도메인 변환 방법으로, STFT(Short-Time Fourier Transform) 변환, FFT(Fast Fourier Transform) 변환, 캡스트럼(cepstruam) 변환, 웨이브렛(wavelet) 변환, cross-correlation 방법, convolution 변환 등이 이용될 수 있다. 전술한 주파수 도메인 변환 방법은 예시적인 것으로서, 나열된 변환 방법에 제한되지 않으며, 시간 영역에서의 음파 신호를 주파수 영역에서 분석하기 위한 다양한 변환 또는 분석 방법이 이용될 수 있다.
본 개시의 다양한 실시예에 따른 주파수 도메인 데이터의 일 예로, STFT 변환을 통해 획득한 스펙트로그램 데이터가 포함될 수 있다.
본 개시의 다양한 실시예에 따른 주파수 도메인 데이터의 또 다른 예로, cross-correlation 방법을 적용하여 획득한 데이터가 포함될 수 있다. 이 경우, 입력 데이터에 대한 cross-correlation 합성은 데이터를 convolution layer에 입력하는 단계와 대응할 수 있으므로 이를 이용해 CNN 기반의 학습 및 분류가 가능할 수 있다.
한편, 학습을 위해 사용되는 주파수 도메인 데이터는 노면 분류에 필요한 정보가 함께 라벨링될 수 있다. 이때 라벨링되는 정보는 노면의 종류, 및/또는 대기 정보를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 노면 분류 인공신경망을 학습시키기 위해, 학습데이터 셋은 주파수 도메인 데이터에 각각의 데이터가 획득된 노면의 종류가 라벨링된 데이터 셋을 포함할 수 있다.
본 개시의 일 실시예에 따른 노면 분류 장치에 의해 분류되는 노면의 종류(클래스)는, 아스팔트, 시멘트, 흙, 얼음, 대리석, 페인트, 슬러시(물과 얼음이 혼합된 상태), 눈, 및 물 등의 클래스를 포함할 수 있다. 나열된 클래스의 종류는 예시적인 것으로서, 본 개시의 다양한 실시예에서 상황에 맞게 분류되어야 할 클래스의 수나 그룹이 달라질 수 있다. 한편 이러한 직접적인 라벨링 방식이나 그룹 명칭을 사용하는 대신 제1 클래스, 제2 클래스와 같이 각각의 입력 데이터가 임의의 방식으로 그룹핑될 수 있다. 이러한 임의 방식의 그룹핑은 학습 데이터에 라벨이 포함되지 않는 비지도 방식의 인공신경망을 이용하는 경우의 분류 결과일 수 있으나, 이에 제한되지 않는다.
도 3은 본 개시에 따른 노면 분류 장치에 의해 수행되는 방법을 도시한 순서도이다. 다양한 실시예들에 따르면, 도 3에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 3에 도시되는 동작들보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 도 4 내지 도 12는 도 3에 도시된 동작들을 부연 설명하기 위한 도면으로 참조될 수 있다.
도 3을 참조하면, 본 개시의 다양한 실시예에 따른 노면 분류 장치는, 301 단계에서, 송신기를 이용하여 분류 대상 노면을 향해 음파 신호를 송신 내지 발사할 수 있다. 301 단계에서 음파 신호는 적어도 한 번 송신될 수 있으며, 사용자의 입력이나 미리 설정된 조건 또는 서버의 제어에 따라 신호의 송신 횟수나 송신 주기 등이 변경될 수 있다. 음파 신호가 하나의 판단 주기 내에서 복수 회 송신되는 경우, 노면의 분류 또는 상태의 판단을 위한 복수의 데이터를 획득할 수 있으므로 노면 분류의 정확도가 향상될 수 있다. 음파 신호를 송신하는 주기 및 하나의 주기 내에서 복수 회 송신하는 동작의 구체적인 실시예에 대해서는 도 4를 참조하여 후술한다.
302 단계에서, 노면 분류 장치는 수신기를 이용하여 대상 노면으로부터 반사되는 신호를 수신할 수 있다. 상기 반사되는 신호는 송신된 음파 신호에 대한 반사 신호이므로, 음파 신호와 반사 신호는 서로 대응될 수 있다. 복수의 음파 신호가 송신되는 경우 이에 대한 반사 신호는 복수 회 수신될 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는, 음파 신호가 송신되는 경우, 센싱부(120)의 대기 센서를 통해 대기 정보를 획득할 수 있다. 이 경우 대기 정보가 획득되는 시점은 반드시 음파 신호의 송신 시점과 일치해야 하는 것은 아니며, 일정한 시간 간격 내에서 서로 대응관계가 존재하는 것을 의미한다. 즉, 노면 분류 장치는 하나의 음파 신호와 대응되는 대기 정보를 획득하거나, 복수의 음파 신호와 대응되는 하나의 대기 정보를 획득할 수 있다. 본 개시의 다양한 실시예에 따른 노면 분류 장치는 발사된 음파 신호와 대응되는 대기 정보에 기초하여, 음파 신호와 대응되는 반사 신호를 처리할 수 있다.
한편, 하나의 음파 신호가 송신기로부터 송신된 때부터 노면에 의해 반사된 후 그 반사 신호가 수신기로 수신될 때까지의 시간을 비행 시간(time of flight, TOF)으로 정의할 수 있다. 특정 기상 조건에서 음파의 대기 중 전파 속도가 결정될 수 있으므로, TOF 및 대기 정보에 기초하여 노면 분류 장치와 대상 노면 사이의 거리를 측정할 수 있다. 역으로, 노면 분류 장치와 대상 노면 사이의 거리를 미리 알고 있는 경우에는 TOF를 추정할 수 있다. 따라서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 송신기로부터 송신되는 음파 신호와 대응되는 수신 신호를 식별할 수 있다. 즉, 송신기로부터 송신되는 음파 신호와 대응되는 수신 신호의 수신 구간을 정하여 해당 시구간에서 수신되는 신호를 송신된 음파 신호에 대한 반사 신호로 결정할 수 있고, 이외의 시구간에서 수신되는 신호는 노이즈로 간주하거나, 다른 음파 신호에 대한 반사 신호로 간주할 수 있다. 이를 이용하여 노이즈 신호를 제어하는 노면 분류 장치의 제어 방법에 대한 자세한 실시예는 도 5를 참조하여 후술한다.
303 단계에서, 노면 분류 장치(100)는 본 개시에 따른 노면 분류 인공신경망에 입력하기 위한 데이터를 획득하기 위해, 수신된 반사 신호를 제어부를 통해 전처리할 수 있다. 본 개시에서, 신호의 전처리란 수신된 반사 신호에 기초하여 인공신경망에 입력하기 위한 데이터를 획득하는 과정 일체를 의미하는 것으로서, 303 단계의 전처리 동작은 아날로그 신호를 디지털 신호로 샘플링하는 동작, 샘플링된 신호에 대한 감쇠량 보정이나 TOF 보정, 주파수 도메인 변환 동작 등을 포함할 수 있다. 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망에 대한 입력 데이터를 획득하기 위한 전처리 과정에 대해서는 도 6 내지 도 8을 참조하여 자세히 설명한다.
304 단계에서, 전처리 과정을 통해 획득한 입력 데이터는 노면 분류 인공신경망에 입력될 수 있다. 한편, 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망은 노면을 분류하기 위해 다양한 노면에 대해 획득된 복수의 데이터로 구성된 학습 데이터 셋으로 학습될 수 있다. 학습된 노면 분류 인공신경망은 입력 데이터를 기초로 결과를 출력할 수 있다.
본 개시의 일 실시예에 따른 출력된 결과는 노면의 분류 클래스 각각에 대한 확률값과 관련된 정보를 포함할 수 있다. 인공신경망 모델이 노면을 복수의 종류로 구분하도록 학습된 경우, 대상 노면이 복수의 노면 종류의 각각에 대하여 해당할 확률이 수치로 표현되어 출력될 수 있다. 이때 출력되는 노면의 클래스는 확률이 높은 순으로 하나 이상의 클래스가 출력될 수 있다.
본 개시의 또 다른 실시예에 따른 출력된 결과는 복수의 클래스 중에서 특정 클래스를 결정하여 출력될 수 있다. 이 경우, 특정 클래스는 해당 클래스에 대한 확률값이 임계값 이상이거나, 2순위 클래스와의 확률 차이가 임계값 이상인 경우일 수 있다.
한편, 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망의 출력 결과는 노면의 재질 또는 상태와 관련된 정보로서, 전술한 예시에 제한되지 않고 인공신경망의 설계에 따라 사용자에게 필요한 형태로 출력될 수 있다.
305 단계에서, 노면 분류 장치는 출력된 결과에 따라 다양한 동작을 수행할 수 있다. 노면 분류 결과에 기초한 제어 동작을 변경 또는 추가함으로써, 결과의 정확도 또는 노면 관리의 효율성을 향상시킬 수 있다.
본 개시의 다양한 실시예에 따르면, 출력된 결과가 직전의 출력 결과와 상이한 경우, 노면 상태의 변화가 기상 상태의 변화에 의한 것인지 출력 오류인지를 구분하기 위해, 출력된 결과에 의한 노면 제어에 앞서 직후의 출력 결과와 비교하는 과정을 수행할 수 있다. 이에 대한 구체적인 실시예는 도 10 및 도 11을 참조하여 자세히 설명한다. 이 경우, 노면 분류 장치는 출력된 결과에 따라 음파 신호의 송신 주기 또는 횟수를 변경시킬 수 있다.
본 개시의 다양한 실시예에 따르면, 출력된 결과가 특정 클래스(예를 들어, 눈, 얼음, 또는 슬러시)와 관련된 경우, 노면 관리 장치를 통해 노면을 제어하도록 하는 명령 또는 신호를 생성하고 이를 송신할 수 있다. 출력 결과에 따라 노면을 관리하는 실시예에 대해서는 도 12를 참조하여 자세히 설명한다.
도 4는 본 개시의 다양한 실시예에 따른 노면 분류 장치에서 송신되는 음파 신호를 시간 축에서 도시한 도면이다.
도 4를 참조하면, 음파 신호는 하나의 송신 주기 내에서 복수 회 발사될 수 있다. 본 개시에서는, 노면 상태를 판단하기 위해 하나의 송신 주기 안에서 송신되는 음파 신호의 집합을 버스트(burst)라고 한다.
하나의 버스트에 포함되는 음파 신호의 수는 사용자 설정 또는 미리 정해진 규칙에 따라 변경될 수 있다. 또한, 하나의 버스트에 포함된 음파 신호 간의 간격은 사용자 설정 또는 미리 설정된 규칙에 따라 변경될 수 있다. 버스트에 포함된 음파 신호 간의 간격은 일정할 수도 있고, 그렇지 않을 수도 있다. 또한 하나의 버스트에 포함된 음파 신호의 세기는 동일하거나 서로 상이할 수 있다.
본 개시에서, 하나의 버스트에 포함된 음파 신호의 수, 간격, 세기 및 버스트의 지속 시간을 버스트 구성이라고 한다. 본 개시에서, 서로 다른 버스트는 버스트 구성이 같거나 상이할 수 있다. 각각의 버스트에 대한 버스트 구성은 사용자 설정 또는 미리 정해진 규칙에 따라 변경될 수 있다.
본 개시의 일 실시예에 따른 버스트에 포함되는 음파 신호의 수는 1개일 수 있다.
본 개시의 또 다른 실시예에 따른 버스트에 포함되는 음파 신호의 수는 복수일 수 있다.
본 개시에서 송신 주기란, 노면 분류 장치가 대상 노면에 대한 상태 또는 재질을 분류하기 위한 버스트의 송신 간격을 의미한다. 버스트가 하나의 신호로 구성된 경우, 즉, 단일 신호만을 송신하는 경우, 송신 주기는 규칙적으로 송신되는 인접한 음파 신호 간의 시간 간격을 의미할 수 있다. 도 4를 참조하면, 송신 주기는 하나의 버스트(burst 1)에 포함된 최초 신호(1a)와 다음 버스트(burst 2)에 포함된 최초 신호(2a) 사이의 시간 간격과 대응될 수 있다. 송신 주기는 사용자 설정 또는 미리 정해진 규칙에 따라 변경될 수 있다.
본 개시의 다양한 실시예에 따르면, 노면 분류의 결과 또는 기상 조건에 따라 버스트에 포함되는 음파 신호의 수 및/또는 송신 주기가 변경될 수 있다. 예를 들어, 눈이 내리거나 기온이 영하인 경우와 같이 특정 기상 조건에서는 노면 분류의 정확도를 향상시키기 위해 송신하는 음파 신호의 수를 증가시키거나 송신 주기를 짧게 변경할 수 있다. 이에 대한 구체적인 실시예는 도 10 및 도 11을 참조하여 자세히 설명한다.
한편, 본 개시의 다양한 실시예에 따르면, 노면 분류 장치가 설치되는 위치 또는 오브젝트에 따라 송신 주기가 달라질 수 있다. 이는 노면에서 대한 반사된 수신 신호와 송신기에서 송신된 신호에 의해 발생하는 크로스톡 신호를 구분하기 위한 것으로서, 도로 인프라에 설치되는 노면 분류 장치의 송신 주기는 차량에 설치되는 노면 분류 장치의 송신 주기보다 길 수 있다. 따라서 도로 인프라에 설치되는 노면 분류 장치의 판단 주기는 차량에 설치되는 노면 분류 장치의 판단 주기보다 길 수 있다.
본 개시의 다양한 실시예에 따르면, 노면 분류 장치는 대상 노면 또는 물체에 대한 TOF를 측정 또는 결정할 수 있다. 예를 들어, 노면 분류 장치는 하나 또는 복수의 음파 신호를 송신하고, 이에 대한 수신 신호에 기초하여 대상 노면 또는 물체에 대한 TOF를 결정할 수 있다. 또는 노면 분류 장치와 대상 노면 사이의 거리에 기초하여 TOF를 결정할 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 결정된 TOF에 기초하여 적절한 송신 주기와 버스트 구성을 결정하고, 결정된 송신 주기와 버스트 구성으로 송신할 수 있다. 본 개시의 일 실시예에 따른 송신 주기는 노면에 대한 TOF보다 길게 설정될 수 있다. 본 개시의 일 실시예에 따른 버스트의 지속 시간은 송신 주기보다 짧게 설정될 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치에 의한 대상 노면에 대한 노면 분류 결과는 하나의 버스트에 대응하는 하나의 결과가 출력될 수 있다. 또는 노면 분류 장치는 하나의 버스트에 포함된 모든 음파 신호에 대한 분류 결과를 표시할 수 있다. 하나의 결과가 출력되는 경우, 해당 결과는 버스트에 포함된 복수의 음파 신호 각각에 대한 복수의 분류 결과에 기초하여 출력될 수 있다.
도 4를 참조하면, 제1 결과(result 1)는 제1 버스트(burst 1)가 노면에 대해 반사된 신호에 기초하여 획득된 노면 분류 결과이다. 이 때 제1 결과는 제1 버스트에 포함된 각각의 신호(1a, 1b, 1c, 1d)의 노면 분류 결과에 기초하여 획득된 결과일 수 있다. 예를 들어, 1a, 1b, 1c, 1d의 결과의 최빈값을 결과로 출력할 수 있다. 또는, 1a, 1b, 1c, 1d의 결과를 합산한 평균값에 기초하여 제1 버스트에 대한 노면 분류 결과를 출력할 수 있다.
본 개시에서, 인접한 버스트의 노면 분류 결과 간의 시간 간격, 즉 제1 결과와 제2 결과의 시간 간격을 노면 분류에 대한 판단 주기라고 할 수 있다. 판단 주기는 송신 주기와 일치할 수 있다. 그러나 판단 과정의 경우, 신호를 처리하는 연산에 따라 그 출력 시점이 불규칙적일 수 있으므로, 판단 주기는 일정하지 않을 수 있고, 송신 주기와 일치하지 않을 수도 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 판단 주기를 변경시키기 위해 송신 주기를 변경할 수 있다. 또는, 판단 주기는 사용자 설정 또는 미리 정해진 규칙에 따라 변경될 수 있다. 판단 주기를 변경하는 구체적인 실시예에 대해서는 도 10 및 도 11을 참조하여 자세히 설명한다.
도 5는 본 개시의 일 실시예에 따른 음파 신호의 송신 구간 및 반사 신호의 수신 구간을 도시한 도면이다.
도 5를 참조하면, 노면 분류 장치는 송신 구간에서 버스트 또는 음파 신호를 송신할 수 있다. 도 5에서는 설명의 편의를 위해 하나의 신호가 송신되는 경우를 예시하였으나, 본 개시는 이에 제한되지 않는다. 즉, 본 개시에서 노면 분류 장치가 음파 신호를 송신하는 것은 1개의 신호를 단발성으로 발사하는 것뿐만 아니라, 복수의 신호로 구성된 버스트를 주기를 가지고 송신하는 것을 포함하는 것으로 이해될 수 있다.
전술한 바와 같이, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 송신된 음파 신호의 노면에 대한 TOF를 결정할 수 있으므로, 하나의 송신 구간에 대하여 대응하는 수신 구간을 미리 결정할 수 있다.
본 개시의 다양한 실시예에 따르면, 수신 구간 이전에 수신기에서 신호가 감지되는 경우, 노면 분류 장치는 이를 노이즈 신호 또는 크로스톡 신호로 간주할 수 있고, 이를 줄이기 위해 노면 분류 장치의 송신기를 제어할 수 있다.
구체적으로, 도 5를 참조하면, 수신 구간 이전에 수신되는 제1 신호의 세기가 제1 임계값보다 크거나, 수신 구간에서 수신되는 제2 신호의 세기와 수신 구간 이전에 수신되는 제1 신호의 세기의 차이가 제2 임계값보다 작은 경우, 이를 제어하기 위해 송신기에 공급되는 전력을 변경할 수 있다. 제1 임계값 및/또는 제2 임계값은 미리 결정되거나, 사용자 입력 또는 외부 장치에 의해 설정될 수 있다.
예를 들어, 제1 신호의 세기가 제1 임계값보다 큰 경우, 크로스톡의 영향이 큰 것으로 판단하여 송신기의 진동을 줄이도록 제어할 수 있다. 또는, 제2 신호의 세기가 제1 신호의 세기에 비해 작은 경우, 수신 신호 대비 외부 환경에 의한 노이즈가 큰 것으로 판단하여 송신기의 진동을 키우도록 제어할 수 있다. 본 개시의 일 실시예에 따르면, 상기 송신기의 진동은 송신기에 공급되는 전력의 크기를 조절하여 제어할 수 있다.
도 6은 본 개시의 다양한 실시예에 따른 노면 분류 장치가 설치되는 대상을 도시한 도면이다.
도 6을 참조하면, 본 개시의 다양한 실시예에 따른 노면 분류 장치(100)는 이동체(610) 또는 도로 인프라(620) 등에 설치될 수 있다. 이때 차량과 같은 이동체(610)에 설치되는 노면 분류 장치(100a)와 도로 인프라(620)에 설치되는 노면 분류 장치(100b)는 노면에 대한 높이가 다르므로, 송신 음파의 TOF도 서로 다르다.
음파는 공간을 통해 전파되므로 파원으로부터 거리가 멀어질수록 진폭이 줄어들 뿐만 아니라, 공기 중에서 진행하는 경우에는 매질에 의한 감쇠가 발생한다. 따라서 서로 다른 TOF를 가지는 노면에 대한 반사 신호의 특성은 동일한 상태의 노면일지라도 서로 달라질 수 있다.
한편, 본 개시의 노면 분류 장치는 노면에 대한 반사 신호에 기초하여 노면을 분류하기 위해 인공신경망을 이용하므로, 인공신경망을 학습시키기 위한 많은 데이터 셋이 필요하다.
도 7은 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망을 학습시키기 위한 데이터 셋을 획득하는 방법을 예시한 도면이다.
도 7을 참조하면, 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망을 학습시키기 위한 학습데이터 셋은 이동형 측정 장비(700)에 포함된 송수신기를 이용하여 노면 분류(클래스) 별로 다양한 노면에 대해 획득될 수 있다. 일반적으로 인공신경망의 분류 성능을 향상시키기 위해서는 다양한 지형과 환경에서 많은 데이터를 수집하는 것이 중요하므로, 이를 위해서는 이동성이 용이한 장비를 이용하여 데이터를 수집하는 것이 중요하다.
본 개시의 이동형 측정 장비(700)는 자전거, 자동차, 또는 스쿠터 등 도로 위를 이동하는 장비에 탑재된 센서 장치를 의미하며, 인간이나 기계 장치에 의해 이동될 수 있는 장비를 포함할 수 있다.
한편, 이동형 측정 장비(700)가 수집하는 학습 데이터의 TOF는 도 6의 차량과 같은 이동체(610)에 설치되는 노면 분류 장치(100a)의 TOF와 유사할 수 있다. 또는 이동형 측정 장비의 지면에 대한 위치는 이동체에 설치되는 노면 분류 장치의 지면에 대한 위치를 고려하여 설치될 수 있다. 이 경우, 본 개시의 다양한 실시예에 따른 이동형 측정 장비에 의해 획득된 학습데이터 셋으로 학습된 노면 분류 인공신경망은 이동체에 설치되는 노면 분류 장치(100a)에서 반사 신호에 대한 별다른 보정없이 바로 사용될 수 있다.
그러나, 도 6에서와 같이 노면 분류 장치가 도로 인프라와 같은 이동체와 다른 높이에 설치되는 경우(100b), 노면 분류 장치가 획득하는 반사 신호를 노면 분류 인공신경망에 그대로 입력하면 대상 노면에 대한 분류 정확도가 떨어질 수 있다.
도 8은 본 개시의 다양한 실시예에 따른 노면 분류 장치가 수신된 반사 신호를 전처리하는 과정을 도시한 순서도이다. 도 8의 전처리 과정은 본 개시의 기술적 사상을 표현하기 위한 예시적인 것으로서, 다양한 실시예들에 따르면 도 8에 도시되는 동작들보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수 있다.
801 단계에서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 수신된 반사 신호에 기초하여 제1 데이터를 획득할 수 있다.
전술한 바와 같이, 수신기를 통해 수신된 반사 신호는 아날로그 신호일 수 있으므로, 본 개시의 노면 분류 장치는 제어부(130)에 포함되는 ADC 회로를 통하여 반사 신호를 디지털 신호로 변환(conversion)할 수 있다. 또는, 본 개시의 일 실시예에 따른 노면 분류 장치에 포함된 송수신기가 노면을 통해 반사된 반사 신호를 디지털 신호의 형태로 처리하여 제1 데이터를 획득할 수 있다.
802 단계에서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 디지털 신호로 변환된 데이터에 대기 보정(atmospheric correction)을 적용하여 제2 데이터를 획득할 수 있다.
음파는 대기 중에서 전파하며 매질의 영향으로 감쇠 되는데, 감쇠량은 전파 거리(propagation distance) 및 감쇠 계수에 의해 결정된다. 한편, 감쇠 계수는 온도, 습도, 기압 및 음파의 진동수에 기초하여 결정되는 수치이므로, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 이에 기초하여 음파의 감쇠량을 계산할 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는, 대기 센서를 통해 획득하는 온도, 습도, 및 기압 등의 대기 정보에 기초하여 수신하는 반사 신호의 감쇠량을 보정한 제2 데이터를 생성할 수 있다.
한편, 대기 보정에 필요한 음파의 전파 거리는 사용자에 의해 미리 입력되거나, TOF에 기초하여 획득할 수 있다. 즉, 노면 분류 장치가 설치되는 위치에 따라, 노면에 대한 거리 정보가 미리 입력되거나, 또는 전술한 바와 같이 노면 분류 장치에 의해 획득되는 TOF 정보 및 대기 정보에 기초하여 노면에 대한 거리 정보가 획득될 수 있다.
803 단계에서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 대기 감쇠량이 보정된 제2 데이터에 대해 거리 보정을 적용하여 제3 데이터를 획득할 수 있다.
전술한 바와 같이, 도 6 및 도 7을 참조하면, 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망의 학습데이터의 기초가 되는 음파 신호는 노면에 대해 d1의 거리에서 반사되어 획득된 신호일 수 있다. 따라서, d1과는 다른 높이(d2)에 설치된 노면 분류 장치(100b)의 분류 성능을 높이기 위해 d2에서 획득된 음파 신호를 d1에서 획득된 음파 신호인 것처럼 보정할 수 있다.
한편, 802 단계와 803 단계는 하나의 절차로 수행될 수 있다. 즉, 본 개시의 다양한 실시예에 따르면, 801 단계에서 획득한 디지털 신호에 대해 대기 정보 및 거리 정보에 기초하여 대기 감쇠량과 노면에 대한 거리가 보정된 음파 데이터를 획득할 수 있다.
또한, 본 개시의 다양한 실시예에 따른 노면 분류 장치의 설치 위치에 따라 802 단계 및/또는 803 단계의 보정 절차는 생략될 수 있다.
804 단계에서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 보정된 음파 데이터를 주파수 영역에서 분석하기 위해 변환(transformation)을 수행하여 주파수 도메인 데이터를 획득할 수 있다. 본 개시의 다양한 실시예에 따른 주파수 도메인 변환 방법은 전술한 바와 같다. 획득된 주파수 도메인 데이터는 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망에 대한 입력 데이터로서, 주파수 도메인 데이터가 노면 분류 인공신경망에 입력되면, 노면 분류 인공신경망은 대상 노면에 대한 노면 분류 결과를 출력할 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 음파 신호 이외의 추가적인 정보에 기초하여 결과를 출력할 수 있다. 음파 신호 이외에 추가적으로 획득할 수 있는 다른 정보는 비전 센서(카메라)를 통해 획득하는 영상 정보, IR 센서를 통해 획득하는 노면 온도 정보, 통신부를 통해 획득하는 환경 정보 등을 포함할 수 있다.
본 개시의 일 실시예에 따르면, 노면 분류 장치는 둘 이상의 서로 다른 판단 기준을 조합할 수 있다.
음파를 통해 확인할 수 있는 영역은 노면의 일부 영역에 해당할 수 있으므로, 보다 넓은 영역의 상태를 확인할 수 있는 영상 정보가 노면 분류 결과에 보조적으로 이용할 수 있다. 예를 들어, 영상 정보를 통해 확인되는 결과와 노면 분류 인공신경망의 출력값이 일치하는 경우에만 유효한 노면 정보로 판단할 수 있다. 한편, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 영상 정보에 대한 노면 분류 결과를 획득하기 위한 별도의 이미지 기반의 노면 분류 인공신경망이 더 포함될 수 있다.
또한 본 개시의 다양한 실시예에 따르면, 노면 분류 장치는 특정 온도 조건을 부가하여 특정 노면 상태에 대한 결과값을 검증할 수 있다. 예를 들어, 노면 온도가 섭씨 0도보다 높은 경우, 대기압 조건에서 물리적으로 얼음이 형성될 수 없으므로 해당 온도 조건에서 노면 분류 결과가 얼음 등으로 분류되는 경우는 오류에 해당하는 것으로 판단할 수 있다. 따라서 센싱부의 IR 센서 또는 대기 센서를 통해 획득한 노면이나 대기 온도가 특정 온도 이상으로 확인되는 경우, 노면 분류 결과가 가리키는 노면의 상태가 얼음과 관련된 것으로 나오면 해당 결과를 출력하는 대신 추가적인 동작을 수행할 수 있다. 또는, 노면 온도가 특정 온도 이상 또는 이하인 경우에 영상 정보에 대한 결과를 더 활용하여 결과를 출력하도록 설정될 수 있다.
또한 본 개시의 다양한 실시예에 따르면, 노면 분류 장치는 기상 환경 정보를 더 고려하여 노면 분류 결과를 출력할 수 있다. 예를 들어, 눈이나 비가 내리는 경우와 같이 날씨와 관련된 기상 환경 정보를 수신한 경우 해당 날씨에서 분류될 가능성이 높은 클래스에 대한 노면 분류 결과의 순위를 조정할 수 있다.
한편, 전술한 영상 정보와 온도 정보는 노면의 상태를 분류하는데 유용한 정보이므로, 노면 분류 인공신경망은 음파 신호에 기초한 데이터로만 학습되는 대신 관련된 추가 데이터를 함께 입력 받음으로써 학습 성능 및 분류 성능을 강화할 수 있다.
도 9는 본 개시의 일 실시예에 따른 multi-modal 인공신경망을 도시한 도면이다.
도 9를 참조하면, 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망은 multi-modal 인공신경망을 포함할 수 있다. multi-modal 인공신경망은 음파 신호와 관련된 입력 데이터 이외에도, 이미지 정보, 대기 정보, 또는 노면 온도 정보 중 적어도 어느 하나를 함께 입력함으로써 서로 다른 정보에 기초한 분류기를 통해 하나의 분류기로 기능할 수 있다. 이러한 대응 학습을 통해 하나의 노면 상태와 관련된 복수의 정보를 함께 입력하여 보다 정확한 노면 분류 결과를 획득할 수 있다. 즉, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 복수의 정보를 조합하여 노면 결과를 출력할 수 있다. 한편, 도 9에 도시된 입력 데이터는 예시적인 것으로서, 이미지 정보, 대기 정보 및/또는 노면 온도 정보의 일부만 활용하거나, 추가적인 정보가 더 활용될 수 있다.
도 10은 본 개시의 일 실시예에 따른 노면 분류 장치가 미리 정해진 제어 변경 트리거에 기초하여 제어 동작을 변경하는 동작을 도시한 순서도이다.
본 개시에서 제어 변경 트리거(trigger)란 본 개시의 다양한 실시예에 따른 노면 분류 장치의 동작을 변경시키는 상황 또는 조건을 의미하는 것으로서, 사용자에 의해 미리 설정되거나 외부 장치로부터의 명령 등에 의해 설정될 수 있다.
한편, 제어 변경 트리거에 의해 노면 분류 장치의 제어 동작이 변경된다는 것은 버스트 구성, 송신 주기, 판단 주기, 노면 분류 결과 출력 방식 등 노면 분류 장치에서 제어 변경 트리거의 발생 이전에 설정된 방식이 변경되는 것을 의미한다.
제어 변경 트리거는 노면 분류 결과(클래스)의 변화 내지 특정 클래스의 출력, 기상 조건, 시간 조건, 또는 지리 조건 등을 포함할 수 있으며, 전술한 예시에 제한되지 않는다.
제어 변경 트리거의 일례로, 노면 분류 결과가 변화되는 경우, 노면 분류 장치의 동작이 변경될 수 있다.
도 11은 본 개시의 일 실시예에 따른 노면 분류 결과가 변화되는 시나리오를 예시한 도면이다.
도 11을 참조하면, 본 개시의 일 실시예에 따른 노면 분류 장치의 노면 분류 결과는 제1 시점(t1)에서 제1 클래스(R1)이고, 제2 시점(t2)에서 제2 클래스(R2)로 변경될 수 있다. 상기 제2 클래스는 상기 제1 클래스와 서로 다른 클래스일 수 있다.
본 개시의 일 실시예에 따르면, 상기 제2 클래스는 얼음과 관련된 노면 상태를 나타내는 것일 수 있고, 상기 제1 클래스는 그 외의 노면 상태와 관련된 분류 결과일 수 있다.
노면의 상태가 변경되는 경우, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 제어 동작의 변경이 필요할 수 있다.
예를 들어, 노면의 분류 결과가 직전 분류 결과와 상이한 경우, 노면 분류 결과에 오류가 생긴 것인지 확인하기 위하여, 노면 분류 장치는 송신 주기를 변경하거나, 버스트 구성을 변경할 수 있다. 즉 송신 주기를 더 짧게 하여 판단 횟수를 증가시키거나, 버스트에 포함되는 음파 신호의 수를 증가시켜 판단 횟수를 증가시킬 수 있다. 또는 송신 주기 또는 버스트 구성을 바로 변경하는 대신 후행 판단에 기초하여 송신 주기 또는 버스트 구성의 변경 여부를 결정할 수 있다.
도 11을 참조하여 위 예를 자세히 설명하면, 제2 시점의 결과가 제1 시점의 결과와 달라져서(R1≠R2), 본 개시의 일 실시예에 따른 노면 분류 장치는 송신 주기를 짧게 변경하도록 제어할 수 있고, 짧은 시간 간격동안(t3~t6) 더 많은 결과를 획득할 수 있다. 한편, 해당 시간 간격동안(t3~t6) 제2 클래스로의 판단 횟수가 제1 클래스로의 판단 횟수보다 많으므로, 노면 분류 장치는 제2 클래스로의 판단이 정확한 것으로 판단하고 다시 송신 주기를 원래 상태로 변경하고 변경된 송신 주기에 의한 시점인 제7 시점(t7)에서 결과를 출력할 수 있다.
본 개시의 다양한 실시예에 따라, 선행 판단이 달라지는 경우 후행 판단에 기초하여 제어 동작을 변경하는 예시로, 제1 시점(t1)에서 제1 클래스(R1)로 판단되고, 제2 시점(t2)에서 제1 클래스와 다른 제2 클래스(R2)로 판단되는 경우, 즉시 송신 주기를 변경하는 대신, 다음 판단 시점인 제3 시점에서 제3 클래스의 결과에 기초하여 제2 클래스에 대한 판단의 정확도나 송신 주기 등의 변경 여부를 결정할 수도 있다. 즉, 제3 클래스의 결과가 R2로 판단되는 경우, 제2 시점에서 변경된 클래스가 정확한 것으로 판단하고, 송신 주기를 변경하지 않을 수 있고, 제3 클래스의 결과가 R2로 판단되지 않는 경우 R2의 판단을 오류로 판단하고, 송신 주기를 변경할 수 있다.
한편, 각 시점에서의 판단 결과는 본 개시의 다양한 실시예에 따른 각각의 버스트에 대응하는 판단 결과일 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 변경된 제어 동작에서의 복수의 판단의 결과에 기초하여, 노면 관리와 관련된 동작을 더 수행할 수 있다. 예를 들어, 변경된 특정 클래스의 정확도에 대한 판단 이후, 해당 클래스에 대한 판단이 맞는 것으로 간주하고 변경된 클래스와 관련된 노면 관리 동작을 수행할 수 있다. 노면 관리 동작과 관련된 자세한 내용에 대해서는 도 12를 참조하여 설명한다.
제어 변경 트리거의 또 다른 예로, 기상 조건이나 시간 조건이 변경되는 경우, 노면 분류 장치의 동작이 변경될 수 있다.
기상 조건의 예시로, 온도가 영하이거나, 영하 온도가 예정된 경우, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 블랙 아이스의 발생 여부를 빠르게 판단하기 위해 송신 주기를 짧게 하거나, 버스트 내 송신 횟수를 늘리는 등으로 제어 동작을 변경할 수 있다. 기상 조건의 또 다른 예시로, 강풍이나 우천, 폭설 등의 기상 환경이 있을 수 있으며, 이러한 기상 환경과 관련된 정보는 노면 분류 장치에 포함된 대기 센서를 통해 획득하거나, 통신부를 통해 외부 장치로부터 획득할 수도 있다.
시간 조건의 예시로, 낮보다 밤에 블랙 아이스가 더 쉽게 발생할 수 있으므로, 이러한 점을 고려하여 특정 시간에서 송신 주기 또는 버스트 구성을 변경할 수 있다. 시간 조건의 또 다른 예시로, 여름철은 겨울철보다 노면 상태의 변화가 적을 수 있으므로 전력 소모를 줄이기 위해 송신 주기를 길게 하거나, 버스트 내 송신 횟수를 줄이는 등으로 제어 동작을 변경할 수 있다.
제어 변경 트리거의 또 다른 예로, 지리 조건이 변경되는 경우, 노면 분류 장치의 동작이 변경될 수 있다. 노면 분류 장치가 도로 인프라에 설치되는 경우 지리 조건의 변경은 있을 수 없으나, 지역적 조건마다 송신 주기 또는 버스트 구성을 다르게 할 수 있다. 노면 분류 장치가 차량 등 이동체에 설치되는 경우, 특정 지역에 진입하는 경우 송신 주기 또는 버스트 구성이 다르게 할 수 있다. 예를 들어, 블랙 아이스가 취약 구간에 진입하는 경우, 노면 분류 장치가 해당 정보를 수신하면 전술한 바와 같이 제어 동작을 변경할 수 있다.
한편, 전술한 기상 조건, 시간 조건, 또는 지리 조건과 관련된 제어 변경 트리거는 예시적인 것으로서 이에 제한되지 않으며, 사용자 입력 또는 서버 장치 등 외부 전자 장치로부터 수신되는 신호에 의해 설정될 수 있다.
도 12는 본 개시의 다양한 실시예에 따른 노면 분류 장치에 의한 노면 관리 방법을 도시한 도면이다.
도 12를 참조하면, 1201 단계에서 노면 분류 장치는 노면의 제어와 관련된 정보를 획득할 수 있다. 본 개시의 다양한 실시예에 따르면, 노면의 제어와 관련된 정보는 도 3의 304 단계에서 획득한 결과 또는 도 10의 제어 동작 변경을 통해 획득한 최종 결과를 포함할 수 있다. 또한 노면의 제어와 관련된 정보는 노면 분류 장치가 획득하는 기상 정보 및/또는 노면 온도 정보를 포함할 수 잇다.
1202 단계에서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 획득한 정보에 기초하여 노면 제어를 위한 가동 조건을 만족하는지 여부를 판단할 수 있다.
예를 들어, 1201 단계에서 획득한 노면 분류 결과가 블랙 아이스와 관련된 경우, 즉 얼음과 관련된 클래스를 획득한 경우, 노면 분류 장치는 노면의 얼음 상태를 해소 또는 방지하기 위해 노면에 설치된 노면 관리 장치를 가동시키기 위한 조건을 만족한 것으로 판단할 수 있다.
또는 획득한 노면 분류 결과와 기상 정보를 조합하여 노면 제어의 가동 조건을 판단할 수 있다. 예를 들어, 기상 정보가 특정 조건을 만족하는 경우 얼음이 발생할 위험성이 높은 것으로 판단하고, 노면의 얼음 상태를 해소 또는 방지하기 위해 노면에 설치된 노면 관리 장치를 가동시키기 위한 조건을 만족한 것으로 판단할 수 있다.
노면 관리 장치를 가동시키기 위한 기상 정보의 예시로 다음과 같은 조건들이 포함될 수 있다.
(1) 눈, 비, 진눈깨비, 또는 서리가 내리거나, 내리는 것이 예보된 경우
(2) 도로의 표면 온도가 영하인 경우
(3) 시간대가 새벽인 경우
(4) 온도가 급격하게 하락하고 있는 경우
(5) 강풍이 불고 있는 경우
상기 기상 조건 중 적어도 하나 이상이 만족될 때, 노면 분류 결과가 특정 클래스(예를 들어, 물, 슬러시, 얼음)로 획득된 경우에는 노면 제어가 필요한 것으로 판단할 수 있다.
본 개시의 다양한 실시예에 따른 노면 관리 장치는 염수 분사 장치 또는 열선을 포함할 수 있으나, 이에 제한되지 않는다.
1203 단계에서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 획득한 정보 및 판단에 기초하여 노면 제어 신호를 생성할 수 있다. 노면 제어 신호는 노면에 설치된 노면 관리 장치를 제어하기 위해 필요한 신호 또는 명령을 포함할 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 도로에 설치된 노면 관리 장치와 연동될 수 있다. 노면 분류 장치가 노면 관리 장치와 직접적으로 연동된 경우, 노면 분류 장치는 노면 관리 장치를 제어하기 위한 명령 신호를 생성하여 이를 노면 관리 장치로 송신할 수 있다. 또는 노면 분류 장치가 외부 서버를 통해 노면 관리 장치와 간접적으로 연동된 경우, 노면 분류 장치는 노면 관리 장치의 제어를 지시하는 신호를 생성하여 이를 외부 서버로 송신할 수 있다.
한편, 노면 관리 장치가 노면 제어 신호를 수신하는 경우, 노면 제어 신호에 기초하여 노면을 제어하는 동작을 수행할 수 있다. 예를 들어, 노면 관리 장치는 노면 제어 신호에 기초하여 염수를 분사하거나, 열선을 가동할 수 있다.
본 개시의 노면 관리에 대한 또 다른 실시예로, 노면 분류 장치는 노면을 통과하는 교통량 또는 노면의 파손 위험성을 판단할 수 있다.
본 개시의 다양한 실시예에 따라 도로 인프라에 설치된 노면 분류 장치는 노면에 대한 TOF를 주기적으로 감지할 수 있으므로, 이에 기초하여 통행 차량 정보 및 통행량 등의 교통 정보를 측정할 수 있다. 한편, 아스팔트는 특정 무게를 초과하는 차량의 반복적인 통행으로 인해 파손될 수 있으므로, 노면으로부터 획득하는 정보에 기초하여 파손도에 대한 정보를 획득할 수 있다. 특히, 한 겨울에 아스팔트 사이로 스며든 물이 얼음으로 어는 경우 부피가 팽창되게 되는데, 이 때 트럭 등의 대형 차량이 통과하면 노면이 파손될 수 있다.
도 13은 본 개시의 일 실시예에 따른 노면 분류 장치가 교통 정보를 수집하는 것을 도시한 도면이다.
도 13을 참조하면, 노면 분류 장치는 TOF의 측정에 기초하여 노면의 교통 정보를 수집할 수 있다. 본 개시의 다양한 실시예에 따른 노면 분류 장치가 수집하는 교통 정보는 노면의 파손 정도 또는 교통량과 관련된 정보를 포함할 수 있다.
전술한 바와 같이, 노면 분류 장치는 노면 분류 장치의 설치 높이에 대한 정보를 획득할 수 있으므로, 노면 분류 장치의 설치 높이에 대응하는 TOF를 기준 TOF로 결정할 수 있다. 즉, 노면으로부터 반사되는 반사 신호의 TOF를 기준 TOF라 할 수 있다.
따라서 본 개시의 일 실시예에 따른 노면 분류 장치는 노면 분류 장치가 획득한 TOF가 기준 TOF와 대응하는 것으로 식별되는 경우, 노면에 차량이 없는 것으로 판단할 수 있다. 또한 획득한 TOF가 기준 TOF보다 짧은 것으로 식별되는 경우, 노면에 차량이 있는 것으로 판단할 수 있다. 또한 획득한 TOF에 기초하여 추정되는 노면 위의 물체의 크기(높이)에 대한 정보를 획득할 수 있다.
TOF 값이 짧을수록 노면으로부터 높은 물체가 있는 것을 의미할 수 있으므로, 노면 분류 장치는 TOF가 짧은 신호에 대해 대형 차량이 지나간 것으로 판단할 수 있다. 대형 차량에 대한 판단 기준은 사용자 입력 또는 외부 장치의 신호에 의해 미리 설정될 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 미리 정해진 시간 간격동안 획득하는 TOF 값에 기초하여 그 시간 동안 노면 위를 지나가는 교통량을 추정할 수 있다. 또한 본 개시의 노면 분류 장치가 획득하는 교통량 정보는 통행한 차량의 크기와 관련된 정보를 더 포함할 수 있다.
도 13을 참조하면, 대형 차량이 지나가고 있는 (a)의 TOF 1은 소형 차량이 지나가고 있는 (b)의 TOF 2보다 작게 측정된다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 노면 상태 정보 및/또는 기상 정보를 획득할 수 있으므로, 획득한 정보와 교통량 정보를 조합하여 노면의 파손 위험성을 판단하고, 이를 외부로 알릴 수 있다. 노면 상태 정보는 노면 분류 결과 및/또는 노면 온도 정보를 포함할 수 있다.
예를 들어, 노면 분류 결과가 얼음과 관련된 클래스로 판단되는 기간 동안 대형 차량의 통행 횟수에 대한 정보를 측정하고, 이와 관련된 정보를 사용자 또는 외부 장치로 제공할 수 있다. 외부 장치는 도로를 관리하는 기관의 서버 장치를 포함할 수 있다. 또는, 노면 온도가 특정 온도 이하로 측정되는 기간 동안 차량의 통행량에 대한 정보를 획득하고, 이를 외부 장치로 송신할 수 있다. 이 경우, 특정 노면 분류 결과 또는 특정 기상 조건에서의 대형 차량의 통행량에 기초하여 노면의 파손 정도를 추정할 수 있다. 또는 획득한 대형 차량의 통행량 정보를 외부 장치로 제공함으로써 노면의 파손 위험성을 관리할 수 있다. 예를 들어, 기상 정보에 기초하여 영하인 날씨로 판단되고, TOF에 기초하여 대형 차량으로 판단된 차량의 누적 통행량이 미리 정해진 횟수를 초과하는 경우에는 노면이 파손되거나, 파손될 위험성이 높다고 판단하고, 노면을 관리하기 위한 제어 정보를 송신할 수 있다.
보다 구체적으로, 본 개시의 다양한 실시예에 따르면, TOF를 판단하기 위하여, 노면 분류 장치는, 제1 음파 신호를 송신하고, 상기 제1 음파 신호가 상기 노면에 대해 반사된 제1 반사 신호를 수신할 수 있다. 송신 시점과 수신 시점에 기초하여 제1 음파 신호의 제1 전파 시간을 획득할 수 있다. 이를 통해 노면에 대한 높이 정보 및 노면의 종류를 판단하기 위한 데이터를 획득할 수 있다.
노면 분류 장치는, 제2 음파 신호를 송신하고, 상기 제2 음파 신호가 상기 노면 위를 움직이는 물체에 대해 반사된 제2 반사 신호를 수신할 수 있다. 송신 시점과 수신 시점에 기초하여 제2 음파 신호의 제2 전파 시간을 획득할 수 있고, 상기 제1 전파 시간과 상기 제2 전파 시간을 비교하여 상기 물체에 대한 정보를 획득할 수 있다.
전술한 바와 같이, 노면 분류 장치는 대기 정보 및 상기 제1 반사 신호에 기초하여 획득한 데이터를 노면 분류 인공 신경망에 입력하여 상기 노면의 종류를 판단할 수 있다.
이 때, 상기 물체와 관련된 정보는, 상기 제2 전파 시간에 기초하여 추정되는 상기 물체의 높이에 대한 정보를 포함할 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는, 상기 물체와 관련된 정보에 기초하여 상기 노면의 교통량과 관련된 정보를 획득할 수 있다. 즉, 음파 신호를 주기적으로 송신하고, 송신 신호의 TOF가 노면에 대한 기준 TOF보다 짧은 것으로 판단될 때마다 노면 위를 통과하는 물체가 있는 것으로 간주하여 교통량을 판단하고 교통량 정보를 다른 전자 장치 또는 서버로 제공할 수 있다.
또한 획득한 대기 정보, 물체와 관련된 정보, 및/또는 교통량 정보에 기초하여 노면의 파손도와 관련된 정보를 획득하고, 이에 대한 정보를 다른 전자 장치 또는 서버로 제공할 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 획득한 수신 신호의 TOF에 기초하여 노면 분류에 활용할지, 또는 교통량 정보를 수집하는데 활용할지 결정할 수 있다. 즉 획득한 수신 신호의 TOF가 기준 TOF와 오차 범위 내인 경우, 이를 노면에 대한 반사 신호로 판단하여 노면 분류에 활용할 수 있고, 획득한 수신 신호의 TOF가 기준 TOF보다 짧은 경우, 차량으로부터 획득한 것으로 판단하여 이에 기초하여 교통 정보를 획득할 수 있다.
교통량 정보를 수집하기 위해서, 노면 분류 장치는 음파 신호의 송신 주기를 노면 분류를 위한 송신 주기보다 짧게 할 수 있다. 즉, 음파 신호의 송신 주기는 사용자의 필요에 따라 다양하게 설정될 수 있고, 획득되는 신호는 목적에 따라 다양하게 처리될 수 있다.
본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치 (device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다 (configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어 (instructions)를 포함한다.
이러한 프로그램 (소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시 (flash) 메모리를 포함하는 불휘발성 (non-volatile) 메모리, 롬 (ROM: Read Only Memory), 전기적 삭제가능 프로그램가능 롬 (EEPROM: Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치 (magnetic disc storage device), 컴팩트 디스크 롬 (CD-ROM: Compact Disc-ROM), 디지털 다목적 디스크 (DVDs: Digital Versatile Discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트 (magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 프로그램은 인터넷 (Internet), 인트라넷 (Intranet), LAN (Local Area Network), WLAN (Wide LAN), 또는 SAN (Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근 (access)할 수 있는 부착 가능한 (attachable) 저장 장치 (storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 개시의 구체적인 실시 예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편, 본 명세서와 도면에 개시된 본 개시의 실시 예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 즉 본 개시의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 개시의 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한 각각의 실시 예는 필요에 따라 서로 조합되어 운용할 수 있다. 예컨대, 본 개시의 일 실시예와 다른 일 실시예의 일부분들이 서로 조합되어 본 명세서 상에 명시되지 않은 실시예의 형태로 실시될 수 있다.
한편, 본 개시의 방법을 설명하는 도면에서 설명의 순서가 반드시 실행의 순서와 대응되지는 않으며, 선후 관계가 변경되거나 병렬적으로 실행될 수 있다.
또는, 본 개시의 방법을 설명하는 도면은 본 개시의 본질을 해치지 않는 범위 내에서 일부의 구성 요소가 생략되고 일부의 구성요소만을 포함할 수 있다.
또한, 본 개시의 방법은 개시의 본질을 해치지 않는 범위 내에서 각 실시 예에 포함된 내용의 일부 또는 전부가 조합되어 실행될 수도 있다.
Claims (16)
- 음파 신호를 이용하여 노면에 대한 도로 정보를 수집하는 전자 장치에 있어서,
음파 신호를 송신하고 수신하도록 설정된 송수신기;
대기 정보를 획득하도록 설정된 대기 센서; 및
상기 송수신기 및 상기 대기 센서와 전자적으로 연결된 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
제1 음파 신호를 송신하고,
상기 제1 음파 신호가 노면에 대해 반사된 제1 반사 신호를 수신하고,
제2 음파 신호를 송신하고,
상기 제2 음파 신호가 상기 노면 위를 움직이는 물체에 대해 반사된 제2 반사 신호를 수신하고,
상기 제1 음파 신호의 송신 시점 및 상기 제1 반사 신호의 수신 시점에 기초하여 획득되는 제1 전파 시간과 상기 제2 음파 신호의 송신 시점 및 상기 제2 반사 신호의 수신 시점에 기초하여 획득되는 제2 전파 시간을 비교하여 상기 물체와 관련된 정보를 획득하고,
상기 대기 정보 및 상기 제1 반사 신호에 기초하여 획득한 데이터를 노면 분류 인공 신경망에 입력하여 상기 노면의 종류를 판단하도록 설정된 것을 특징으로 하는, 전자 장치.
- 제1 항에 있어서,
상기 물체와 관련된 정보는, 상기 제2 전파 시간에 기초하여 추정되는 상기 물체의 높이에 대한 정보를 포함하는 것을 특징으로 하는, 전자 장치.
- 제2 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 물체와 관련된 정보에 기초하여 상기 노면의 교통량과 관련된 정보를 획득하는 것을 특징으로 하는, 전자 장치.
- 제3 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 판단된 노면의 종류 및 상기 교통량과 관련된 정보에 기초하여 상기 노면의 파손도와 관련된 정보를 획득하도록 설정된 것을 특징으로 하는, 전자 장치.
- 제1 항에 있어서,
상기 노면 분류 인공 신경망은 상기 전자 장치와 상기 노면 사이의 제1 거리와는 다른 제2 거리의 노면에서 반사된 음파 신호에 기초하여 생성된 주파수 도메인 데이터 셋으로 학습되는 것을 특징으로 하는, 전자 장치.
- 제5 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 대기 정보 및 상기 제1 반사 신호에 기초하여 획득한 데이터는 상기 제1 거리에 기초하여 보정된 데이터의 주파수 도메인 정보와 관련된 것을 특징으로 하는, 전자 장치.
- 제1 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 판단된 노면의 종류에 기초하여, 상기 노면에 설치된 노면 관리 장치를 제어하는 신호를 생성하도록 설정되는 것을 특징으로 하는, 전자 장치.
- 제1 항에 있어서,
상기 전자 장치는 상기 노면의 온도 정보를 획득하는 IR 센서 또는 상기 노면의 영상 정보를 획득하는 비전 센서 중 적어도 하나를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 온도 정보 또는 상기 영상 정보에 더 기초하여 상기 노면의 종류를 판단하도록 설정되는 것을 특징으로 하는, 전자 장치.
- 전자 장치에 의해 수행되는, 음파 신호를 이용하여 노면을 관리하는 방법에 있어서,
제1 음파 신호를 송신하는 단계;
상기 제1 음파 신호가 상기 노면에 대해 반사된 제1 반사 신호를 수신하는 단계;
제2 음파 신호를 송신하는 단계;
상기 제2 음파 신호가 상기 노면 위를 움직이는 물체에 대해 반사된 제2 반사 신호를 수신하는 단계;
상기 제1 음파 신호의 송신 시점 및 상기 제1 반사 신호의 수신 시점에 기초하여 제1 전파 시간을 획득하는 단계;
상기 제2 음파 신호의 송신 시점 및 상기 제2 반사 신호의 수신 시점에 기초하여 제2 전파 시간을 획득하는 단계;
상기 제1 전파 시간 및 상기 제2 전파 시간을 비교하여 상기 물체와 관련된 정보를 획득하는 단계;
대기 정보를 획득하는 단계; 및
상기 대기 정보 및 상기 제1 반사 신호에 기초하여 획득한 데이터를 노면 분류 인공 신경망에 입력하여 상기 노면의 종류를 판단하는 단계를 포함하는 것을 특징으로 하는, 방법.
- 제9 항에 있어서,
상기 물체와 관련된 정보는, 상기 제2 전파 시간에 기초하여 추정되는 상기 물체의 높이에 대한 정보를 포함하는 것을 특징으로 하는, 방법.
- 제10 항에 있어서,
상기 물체와 관련된 정보에 기초하여 상기 노면의 교통량과 관련된 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는, 방법.
- 제11 항에 있어서,
상기 판단된 노면의 종류 및 상기 교통량과 관련된 정보에 기초하여 상기 노면의 파손도와 관련된 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는, 방법.
- 제9 항에 있어서,
상기 노면 분류 인공 신경망은 상기 전자 장치와 상기 노면 사이의 제1 거리와는 다른 제2 거리의 노면에서 반사된 음파 신호에 기초하여 생성된 주파수 도메인 데이터 셋으로 학습되는 것을 특징으로 하는, 방법.
- 제13 항에 있어서,
상기 대기 정보 및 상기 제1 반사 신호에 기초하여 획득한 데이터는 상기 제1 거리에 기초하여 보정된 데이터의 주파수 도메인 정보와 관련된 것을 특징으로 하는, 방법.
- 제9 항에 있어서,
상기 판단된 노면의 종류에 기초하여, 상기 노면에 설치된 노면 관리 장치를 제어하는 신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는, 방법.
- 제9 항에 있어서,
상기 노면의 온도 정보 또는 상기 노면의 영상 정보를 획득하는 단계; 및
상기 온도 정보 또는 상기 영상 정보에 더 기초하여 상기 노면의 종류를 판단하는 단계를 더 포함하는 것을 특징으로 하는, 방법
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220089331A KR102615591B1 (ko) | 2022-07-20 | 2022-07-20 | 음파 신호를 이용한 도로 정보 수집 장치 및 그를 이용한 노면 관리 방법 |
| CA3229412A CA3229412A1 (en) | 2021-11-17 | 2022-11-11 | A device and method for estimating and managing road surface types using sound signals. |
| PCT/KR2022/017680 WO2023090758A1 (ko) | 2021-11-17 | 2022-11-11 | 음파 신호를 이용하여 노면 종류를 추정하고 관리하는 장치 및 그 방법 |
| US18/439,766 US20240183117A1 (en) | 2021-11-17 | 2024-02-13 | Device and method for estimating and managing road surface types using sound signals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220089331A KR102615591B1 (ko) | 2022-07-20 | 2022-07-20 | 음파 신호를 이용한 도로 정보 수집 장치 및 그를 이용한 노면 관리 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102615591B1 true KR102615591B1 (ko) | 2023-12-20 |
Family
ID=89376801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220089331A KR102615591B1 (ko) | 2021-11-17 | 2022-07-20 | 음파 신호를 이용한 도로 정보 수집 장치 및 그를 이용한 노면 관리 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102615591B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012503192A (ja) * | 2008-09-19 | 2012-02-02 | アールト・ユニバーシティ・ファウンデイション | 摩擦見積り方法 |
| KR20130062034A (ko) * | 2011-12-02 | 2013-06-12 | 주식회사대성엘텍 | 자동차용 노면상태 감지장치 |
| KR20200026146A (ko) * | 2018-08-29 | 2020-03-10 | 한국과학기술원 | 초음파 신호를 이용한 노면 종류 추정 방법 및 장치 |
| JP2021018492A (ja) * | 2019-07-17 | 2021-02-15 | アイシン精機株式会社 | 路面状態通知装置 |
-
2022
- 2022-07-20 KR KR1020220089331A patent/KR102615591B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012503192A (ja) * | 2008-09-19 | 2012-02-02 | アールト・ユニバーシティ・ファウンデイション | 摩擦見積り方法 |
| KR20130062034A (ko) * | 2011-12-02 | 2013-06-12 | 주식회사대성엘텍 | 자동차용 노면상태 감지장치 |
| KR20200026146A (ko) * | 2018-08-29 | 2020-03-10 | 한국과학기술원 | 초음파 신호를 이용한 노면 종류 추정 방법 및 장치 |
| JP2021018492A (ja) * | 2019-07-17 | 2021-02-15 | アイシン精機株式会社 | 路面状態通知装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11775870B2 (en) | Road condition deep learning model | |
| CN104768822B (zh) | 检测公路天气状况的方法和*** | |
| US11662445B2 (en) | Adaptive LiDAR system | |
| EP3845430A1 (en) | Method and apparatus for estimating road surface type by using ultrasonic signal | |
| CN113345237A (zh) | 一种使用路侧激光雷达数据提取车辆轨迹的变道识别与预测方法、***、设备及存储介质 | |
| CN105799740A (zh) | 一种基于物联网技术的轨道异物入侵自动检测与预警方法 | |
| Bystrov et al. | Road surface classification using automotive ultrasonic sensor | |
| US12007474B2 (en) | Autonomous vehicle operation using acoustic modalities | |
| US20240183117A1 (en) | Device and method for estimating and managing road surface types using sound signals | |
| EP4102251A1 (en) | Determination of atmospheric visibility in autonomous vehicle applications | |
| CN114627638A (zh) | 监测***、交通工具的设备、路边单元的设备、交通基础设施***及其方法 | |
| EP4159572A1 (en) | Using audio to detect road conditions | |
| JP2022083710A (ja) | 車両性能評価システム、車両性能評価方法及び車両性能評価プログラム | |
| JP2019083027A (ja) | 交通路の検出範囲を決定するための方法および装置 | |
| KR102615591B1 (ko) | 음파 신호를 이용한 도로 정보 수집 장치 및 그를 이용한 노면 관리 방법 | |
| KR102615586B1 (ko) | 음파 신호를 이용한 노면 종류 추정 장치 및 그 방법 | |
| US11493617B2 (en) | Method and device for detecting a noise generated in a receive signal of an ultrasonic sensor | |
| KR20240012629A (ko) | 음파 신호를 이용한 노면 종류 추정 장치의 송수신기 전력 제어 방법 | |
| KR20240012630A (ko) | 복수의 음파 신호를 이용한 노면 상태 변경을 감지하는 장치 및 그 방법 | |
| KR20210114530A (ko) | 차량 주위에서의 타깃에 대한 신뢰점수를 결정하는 방법 | |
| CN118265994A (zh) | 使用声音信号估计和管理路面类型的装置和方法 | |
| CN117148829A (zh) | 用于自主运载工具的方法和***以及非暂时性存储介质 | |
| Czyżewski et al. | Comparative study on the effectiveness of various types of road traffic intensity detectors | |
| CN216309436U (zh) | 一种汽车测试场景中的激光雷达增程模拟装置 | |
| US20230393280A1 (en) | Retrofit light detection and ranging (lidar)-based vehicle system to operate with vision-based sensor data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |