KR102247023B1

KR102247023B1 - Autonomous driving system based on sound data, mobile moving safety system and method

Info

Publication number: KR102247023B1
Application number: KR1020200055504A
Authority: KR
Inventors: 최기영
Original assignee: 주식회사 사운드에어
Priority date: 2020-05-08
Filing date: 2020-05-08
Publication date: 2021-05-03

Abstract

The present invention provides a sound data-based movement safety system and method for a moving body, which can reduce high costs of vision-centered technology through learning of sound data, using a sense of hearing, which are expected to be much cheaper and exhibit a greater effect than those for which camera sensors are increased repeatedly whenever an accident occurs when being used as technology capable of compensating for incomplete blind spots, and which collect various sound data generated from sidewalks or roads where people or vehicles travel, classify the data according to various driving environments and situations, store the sound data in a database, process the same into data, and provide data, obtained by analyzing the sound data collected from the roads or the sidewalks through microphones worn by users, to the users being on the road or exercising through means of transportation other than a vehicle, to transmit necessary information during the driving or exercising which the users using personal mobilities cannot be aware of, thereby enabling safe driving of moving bodies and safe walking of pedestrians. The sound data-based movement safety system comprises a sound data collection unit and a collected data storage unit.

Description

사운드 데이터 기반 자율주행 시스템, 이동체 이동 안전 시스템 및 방법{Autonomous driving system based on sound data, mobile moving safety system and method}Automatic driving system based on sound data, mobile moving safety system and method}

발명은 사운드 데이터 기반 자율주행 및 이동체의 이동 안전에 관한 것으로, 더욱 상세하게는 전방, 후방, 좌측 및 우측 중 어느 한 방향 이상에 적어도 하나 이상의 지향성 마이크를 배치하고 수집한 사운드 데이터를 이용하여 차량을 포함하는 이동체의 안전한 이동 및 자율주행과 그에 따른 보행자의 안전 보행도 가능하도록 한 사운드 데이터 기반 자율주행 시스템, 이동체 이동 안전 시스템 및 방법에 관한 것이다.The present invention relates to sound data-based autonomous driving and movement safety of a moving object, and more specifically, at least one directional microphone is disposed in one or more of the front, rear, left and right directions, and the vehicle is controlled using the collected sound data. The present invention relates to a sound data-based autonomous driving system, a mobile movement safety system, and a method that enable safe movement and autonomous driving of a mobile object including the vehicle and the safe walking of pedestrians accordingly.

최근 자율주행 자율주행(Autonomous Navigation) 차량이 급속도로 발전하고 상용화되고 있다. 이러한 자율주행 차량은 운전자가 운전에 개입하지 않고 빠르고 안전하게 목적지까지 차량의 주행을 제어한다.Recently, autonomous navigation vehicles are rapidly developing and commercialization. Such an autonomous vehicle quickly and safely controls the driving of the vehicle to the destination without the driver intervening in driving.

이러한 자율주행은 인공지능 SW와, 카메라ㆍ센서에 의존하는 기술로, 사람은 시각과 청각을 활용해 도로 상황을 인지ㆍ파악하는 반면, 자율주행은 카메라ㆍ센서에 의존해 주행상황 판단 및 경로를 결정하고 있다.Such autonomous driving is a technology that relies on artificial intelligence software and cameras and sensors. Humans use sight and hearing to recognize and understand road conditions, while autonomous driving relies on cameras and sensors to determine driving conditions and determine routes. I'm doing it.

이하 첨부된 도면을 참조하여 종래 기술에 따른 차량 자율주행에 대하여 설명하기로 한다.Hereinafter, autonomous vehicle driving according to the prior art will be described with reference to the accompanying drawings.

도 1은 일반적인 자율주행차의 주요 장치를 설명하기 위한 도면이다.1 is a diagram for explaining main devices of a general autonomous vehicle.

일반적인 자율주행차의 주요 장치는 도 1에 나타낸 바와 같이, 자율주행 차량의 전방과 후방에 각각 설치되어 전후방 차량 등 근접 장애물을 인식하는 전후방 레이더 센서와, 차량의 위치를 수신하기 위한 위치정보 안테나인 GPS와, 병렬로 연결된 여러 대의 카메라로 주변 사물과 빛, 사람들을 인식하는 병렬연결 카메라 및 차량의 측면과 후방에 설치되어 자율주행차 후방과 측면 주변의 사물과 빛 사람을 인식하는 측면, 후방 카메라와, 레이저빔을 이용해 주변환경을 360도 인식하는 360도 라이다 및 주로 트렁크에 위치하여 탐지된 정보를 바탕으로 입력된 지도의 위치정보와 비교하여 현재상태를 판단하는 메인 컴퓨터로 구성된다.As shown in FIG. 1, the main devices of a general autonomous vehicle are front and rear radar sensors that are installed in the front and rear of the autonomous vehicle to recognize nearby obstacles such as front and rear vehicles, and a location information antenna for receiving the position of the vehicle. A parallel connection camera that recognizes surrounding objects, lights, and people with GPS and multiple cameras connected in parallel, and a side and rear camera that is installed on the side and rear of the vehicle to recognize objects and lights around the rear and side of the self-driving car. Wow, it consists of a 360 degree lidar that recognizes the surrounding environment 360 degrees using a laser beam, and a main computer that determines the current state by comparing the location information of the input map based on the detected information mainly located in the trunk.

도 2 내지 도 4는 일반적인 종래 자율주행차의 센서와 카메라수를 설명하기 위한 도면이다.2 to 4 are diagrams for explaining the number of sensors and cameras of a typical conventional autonomous vehicle.

일반적인 종래 자율주행차의 센서와 카메라는 도 2 및 도 3에 나타낸 바와 같이 레벨에 따라 센서와 카메라의 개수에는 차이가 있다. 이러한 자율주행기술은 운전자의 눈 역할을 하는 각종 카메라 센서와 인간의 뇌를 대신하는 인공지능이 운전자의 역할을 하는 로봇이 수행한다고 할 수 있다. As shown in Figs. 2 and 3, there are differences in the number of sensors and cameras according to the level of the sensors and cameras of a typical conventional autonomous vehicle. Such autonomous driving technology can be said to be performed by a robot that acts as a driver with various camera sensors that act as the driver's eyes and artificial intelligence that replaces the human brain.

현재의 자율 주행 기술을 개발하는 모든 업체는 여전히 카메라 센서 기반의 비전(Vision) 중심의 기술개발에만 치중하고 있어 현재의 자율주행에 따른 인공지능은 귀머거리 로봇이 운전을 하고 있다고 봐도 무관하다 할 수 있다.All companies that develop the current autonomous driving technology are still focusing only on the development of vision-oriented technology based on camera sensors, so the artificial intelligence of the current autonomous driving is irrelevant even if the deaf robot is driving. .

2017년 이전의 자율주행 기술은 카메라 센서에 의존한 비전기술에만 집중되어있다. 그러나 이와 같은 비전기술만으로 불완전한 자율 주행 기술로 인해 사망자 사고가 계속 되고 있고 또, 이러한 사고가 발생할 때마다 사고 예방을 위해서 카메라나 레이더만으로 해결되지 않는 문제를 위해 2018년부터는 라이더와 각종 센서들을 보완기술로 대체 또는 활용이 증가되고 있다. Autonomous driving technology before 2017 was focused only on vision technology that relyed on camera sensors. However, due to incomplete autonomous driving technology only with such vision technology, accidents of the dead continue to occur, and each time such an accident occurs, the rider and various sensors have been supplemented from 2018 for the problem that cannot be solved with only cameras or radars to prevent accidents. The replacement or utilization is increasing.

즉 현재의 자율주행 기술은 주로 카메라 센서에 의존한 비전에만 집중되어 있다. 그러나 이러한 비전기술만으로 불완전한 자율 주행 기술로 인해 사망자 사고가 계속 되고 있고 또한 이러한 사고가 발생할 때마다 사고 예방을 위해서 카메라나 레이더만으로 해결되지 않는 문제를 위해 라이더와 각종 센서들을 보완기술로 대체 또는 활용하는 기술이 증가되고 있다. 그러나 역광 및 인공지능의 오판으로 인한 사고가 계속되고 있다는 것은 크나큰 문제가 아닐 수 없다.In other words, the current autonomous driving technology is mainly focused on vision that relies on camera sensors. However, due to incomplete autonomous driving technology with only such vision technology, accidents of the fatality continue, and whenever such accidents occur, the rider and various sensors are replaced or utilized as complementary technologies for problems that cannot be solved with only cameras or radars to prevent accidents. Technology is increasing. However, it is a big problem that accidents due to backlighting and misjudgment of artificial intelligence continue.

한편 도 4에서와 같이 향후, 자율주행 레벨이 상승할 때마다 각종 센서와 카메라 개수가 증가하는 만큼 처리해야 하는 데이터량과 복잡도가 증가함에 따라 개발원가도 상승하는 부담이 있다. On the other hand, as shown in FIG. 4, as the number of sensors and cameras increases in the future whenever the level of autonomous driving increases, there is a burden of increasing development costs as the amount of data and complexity to be processed increases.

또한 레벨 3이상의 고가의 자율주행 차량에 이용되는 라이더(Lider)라는 부품은 10여년 전보다 1/10 정도로 가격이 하락되었음에도 불구하고 현재에도 개당 7000달러라는 고가의 부품이다. In addition, the part called Lider, used in high-priced autonomous vehicles of level 3 or higher, is still a high-priced part of $7,000 per piece despite the fact that the price has dropped by about 1/10 from 10 years ago.

완전 자율주행 단계인 레벨5에서는 총 4개의 라이더가 필요하다면 가격만 현재 기준으로 이미 2만 8천 달러로 차량 가격은 이미 시장에서는 현실적 판매가격을 책정하기 어렵다고 봐야 할 것이다.In Level 5, which is a fully autonomous driving stage, if a total of 4 riders are needed, the price alone is already US$28,000, and it is difficult to set a realistic selling price in the market.

한편 도 5는 개인 이동수단인 퍼스널 모빌리티(Personal Mobility : PM)에 대한 도로 규정을 나타낸 도면이고, 도 6은 국내 퍼스널 모빌리티 시장 규모를 나타낸 도면이며, 도 7은 국내 퍼스널 모빌리티에 의한 교통사고 현황을 나타낸 도면이고, 도 8은 국내 총인구 대비 연령대별 비중 및 초등학생 보행사고 현황과 전동보장구 이용자의 사고유형을 나타낸 도면이다.Meanwhile, FIG. 5 is a diagram showing road regulations for personal mobility (PM), which is a personal mobility means, FIG. 6 is a diagram showing the size of the domestic personal mobility market, and FIG. 7 is a view showing the current status of traffic accidents due to personal mobility in Korea. Fig. 8 is a diagram showing the proportion of the total domestic population by age group, the current state of elementary school student walking accidents, and the types of accidents of users of electric security equipment.

개인 이동수단인 퍼스널 모빌리티에 대한 도로 규정은 도 5에 나타낸 바와 같은데, 시장규모는 도 6에 나타낸 바와 같이 점차로 확대되고 있다. 또한 그에 따라 도 7에서와 같이 퍼스널 모빌리티의 교통사고 현황 및 사상사의 현황 역시 점차로 증가하는 추세에 있다. 또한 국내 총인구 대비 연령대별 비중 및 초등학생 보행사고 현황과 전동보장구 이용자의 사고유형에서 보여주는 바와 같이 초등학생의 경우 횡단 중 사고가 많으며, 특히 초등학생의 경우 무단횡단에 의한 사고 비중이 49.3% 정도이다. Road regulations for personal mobility, which is a means of personal transportation, are as shown in FIG. 5, and the market size is gradually expanding as shown in FIG. In addition, accordingly, as shown in FIG. 7, the current status of traffic accidents and casualties of personal mobility is also on the rise gradually. In addition, as shown by the percentage of the total population by age group and the current status of pedestrian accidents in elementary school students and the types of accidents among users of electric security devices, there are many accidents during crossings among elementary school students, and in particular, 49.3% of accidents caused by unauthorized crossings in elementary school students.

또한 도 8에서와 같이 주로 노인이나 장애인들이 많이 이용하는 전동보장구의 경우에도 이용자 사고유형을 보면 차량충돌과 보행자 충돌사고가 비교적 많음을 알 수 있다. 이러한 초등학생이나 노인들의 사고는 5세 이하 연령대는 인구비중이 점차로 줄어들 것으로 예상되므로 사고를 더욱 방지하여야 하고, 65세이상 노년층의 경우 점차로 증가할 것으로 예상되므로 이러한 노년층의 사고 비중 역시 점차로 증가할 것으로 예상되고 있다.In addition, as shown in FIG. 8, it can be seen that vehicle collisions and pedestrian collisions are relatively large in the case of electric security devices that are mainly used by the elderly or the disabled. Accidents among elementary school students and the elderly are expected to gradually decrease as the proportion of the population under the age of 5 is expected to gradually decrease, and accidents should be further prevented.In the case of the elderly over 65, the proportion of accidents among the elderly is expected to increase gradually. Has become.

최근의 자율주행기술의 개발은 기존 전통적인 차량 업체뿐만이 아닌 인공지능 스타트업들의 진출이 활발하다. 특히, 실리콘밸리의 Comma.ai라는 스타트업의 경우 주행환경 데이터 학습만으로 4주만에 자율주행 기본 기능을 구현하는 등 다양한 인공지능 기술 스타트업들이 비전 데이터 학습만으로도 자율주행 기술을 구현하는 실정이다. In the recent development of autonomous driving technology, not only traditional vehicle companies but also artificial intelligence startups are actively entering the market. In particular, in the case of a startup called Comma.ai in Silicon Valley, a variety of artificial intelligence technology startups are implementing autonomous driving technology only by learning vision data, such as implementing basic autonomous driving functions in 4 weeks with only learning the driving environment data.

이처럼 자율주행 시스템 개발에서는 다양한 환경에서의 실제 주행 데이터 수집이 필수이자, 경쟁력의 핵심이라는 걸 알 수 있다. 향후 자율주행 기술의 본격 개발 경쟁에 있어서 실제 주행 데이터 확보가 선두-후발업체간 격차가 심화될 것으로 예상된다.In this way, it can be seen that in the development of an autonomous driving system, collecting actual driving data in various environments is essential and is the key to competitiveness. In the future, in the competition for full-scale development of autonomous driving technology, the gap between leading and latecomers in securing actual driving data is expected to widen.

자율 주행이 기술적으로 혁신적이고 첨단 기술이라 하더라도 시장에서 상품으로 수용하기에는 현실성이 부족하다고 봐야 하고 자율주행 시장은 지금의 예측보다 더 요원하다고 예상된다.Even if autonomous driving is technologically innovative and high-tech, it should be seen that it is not realistic enough to be accepted as a product in the market, and the autonomous driving market is expected to be far worse than the current forecast.

이와 같은 카메라와 센서 데이터 증가에 따라 앞에서도 설명한 바와 같이 실시간 처리를 위해서는 훨씬 더 고가이면서 고성능의 프로세서를 필요로 한다.As the camera and sensor data increases, a much more expensive and high-performance processor is required for real-time processing as described above.

참고로, 사운드 데이터는 비전 데이터보다 훨씬 더 경량화/저비용으로 처리 가능하다. 예를 들어 CD수준의 음악을 저장하는데 10MB/60sec 필요한 반면, 비디오 동영상은 27MB/1sce 저장 용량 필요하다. For reference, sound data can be processed at a much lighter/lower cost than vision data. For example, 10MB/60sec is required to store CD-level music, while 27MB/1sce storage capacity is required for video and video.

최근에는 이러한 사운드 데이터를 차량에 적용하려는 연구가 많이 시도되고 있다.Recently, many studies have been attempted to apply such sound data to vehicles.

대한민국 공개특허 제10-2018-0133704호 - 자율주행 경고 장치, 그를 포함한 시스템 및 그 방법Republic of Korea Patent Application Publication No. 10-2018-0133704-Autonomous driving warning device, system including the same, and method thereof 대한민국 등록특허 제10-2027646호 - 트래픽 사운드 데이터를 처리하여 운전자 보조를 제공하기 위한 시스템 및 방법Korean Patent Registration No. 10-2027646-System and method for providing driver assistance by processing traffic sound data

본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 개발된 것으로, 청각이라는 부분을 활용한 사운드 데이터의 학습을 통해 비전 중심의 고가의 기술 원가를 절감할 수 있으며, 불완전한 사고 사각지대를 보완할 수 있는 기술로 활용할 경우 사고가 발생할 때마다 반복적으로 카메라 센서를 늘이는 것보다 훨씬 저렴하고 그 효과는 더 클 것으로 예상되는 사운드 데이터 기반 자율주행 시스템, 이동체 이동 안전 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention was developed to solve the problems of the prior art as described above, and through learning sound data using a part of hearing, it is possible to reduce the cost of vision-oriented expensive technology, and to compensate for incomplete accident blind spots. The purpose of this is to provide a sound data-based autonomous driving system, a moving vehicle safety system, and a method that is expected to be much cheaper and more effective than repeatedly increasing the camera sensor whenever an accident occurs when used as a technology that can be used. .

또한 본 발명은 도로나 인도를 포함하는 사람이나 차량이 다니는 인도나 도로 등지에서 발생하는 다양한 사운드 데이터를 수집하고, 이를 다양한 주행환경과 상황에 맞게 분류하여 데이터베이스화한 후 이를 데이터로 가공하고, 차량 이외의 이동수단을 통해 도로를 주행 중이거나 운동 중인 이용자에게 이용자가 착용한 마이크를 통해 수집한 도로나 주행중인 길에서 수집되는 사운드 데이터를 분석한 데이터를 제공하여 퍼스널 모빌리티 이용자가 미처 인식하지 못할 수 있는 주행이나 운동 중 필요한 정보를 전달하여 이동체의 안전한 주행은 물론 보행자의 안전 보행도 가능하도록 한 사운드 데이터 기반 이동체 이동 안전 시스템 및 방법을 제공하는데 다른 목적이 있다.In addition, the present invention collects various sound data generated in sidewalks or roads where people or vehicles including roads or sidewalks travel, classifies them according to various driving environments and situations, converts them into a database, and processes them into data. Personal mobility users may not be aware of it by providing data that analyzes sound data collected on the road or driving road collected through a microphone worn by the user to users who are driving or exercising on the road through other means of transportation. Another object is to provide a sound data-based mobile body movement safety system and method that enables safe driving of a moving object as well as safe walking of a pedestrian by transmitting necessary information during driving or exercising.

이러한 목적을 해결하기 위한 본 발명은, 카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100); 핸들, 엑셀레이터, 브레이크, 디스플레이로부터 동작을 감지하는 차량 제어 유닛(200); 상기 핸들, 엑셀레이터, 브레이크, 디스플레이의 거동을 취득하는 로깅 시스템(300); 넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터 및 퀵보드를 포함하는 이동체에 사운드 데이터를 수집하기 위한 마이크가 구비되어 수집되는 것으로, 버스, 덤프트럭, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레, 경찰차, 구급차, 소방차, 견인차의 클락션이나 호루라기 사운드를 포함하는 신호음, 자전거, 보행자나 러닝하는 자의 사운드, 개를 포함하는 동물의 사운드와 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로 주변의 사운드를 포함하는 주변의 환경에 따른 사운드 데이터 및 국가/도시별, 날씨/기후별, 주간/야간별 및 계절 특성별 사운드를 포함하는 사운드 데이터와, 자율주행에 필요한 고정밀 지도 데이터가 저장된 HDMap 데이터베이스(DB)(400); 자율주행 차량(500)의 전방, 후방, 좌측 및 우측방향을 포함하여 해당 방향의 사운드 데이터를 수집하는 사운드 데이터 수집부(610)(620)(630)(640); 상기 인지시스템(100)과 상기 사운드 데이터 수집부(610)(620)(630)(640)로부터 수집된 비전정보와 사운드 데이터 및 HDMap 데이터베이스(DB)(400)의 정보에 따라 차량 제어 유닛(200)을 제어하여 차량에 대한 자율주행을 수행하는 자율주행 알고리즘이 저장된 자율주행 플래닝 시스템(700);을 포함하여 구성되되, 상기 자율주행 플래닝 시스템(700)은, 상기 자율주행 플래닝 시스템(700)은 상기 자율주행에 필요한 고정밀 지도 데이터가 저장된 HDMap 데이터베이스(DB)(400)와, 상기 사운드 데이터 수집부(610)(620)(630)(640)에서 수집된 사운드 데이터와 차량주행방향을 참조하여 자율주행하도록 되고, 차선 변경시 사각지대에서 차량 후방으로 접근하는 이동체의 사운드를 감지하여 차선 변경 주의를 경고하고, 구급차와 소방차를 포함하는 긴급 차량의 사운드가 후방에서 감지되면 긴급차량을 위한 양보운전을 안내하며, 주행중 주변 환경에서 경적사운드가 감지되면 차선 위반, 신호 위반, 문 열림, 타이어 이상을 포함하는 자체 안전운행 시스템의 점검 작동이 수행되는 것을 특징으로 하는 사운드 데이터 기반 자율주행 시스템을 제공한다.The present invention for solving this object, the recognition system 100 for recognizing the data collected from the camera, GPS, LiDAR (LiDAR); A vehicle control unit 200 that detects motion from a steering wheel, an accelerator, a brake, and a display; A logging system (300) for acquiring the behavior of the handle, accelerator, brake, and display; Equipped with a microphone for collecting sound data on moving objects, including neckband type, wrist watch type, electric security equipment for the elderly or the disabled, motorcycles, scooters and quick boards, it is collected. Buses, dump trucks, ready-mixed concrete, sports cars, passengers/ Vans, sweepers, handcarts, police cars, ambulances, fire trucks, towing trucks, signal sounds including clock or whistle sounds, bicycles, sounds of pedestrians or runners, sounds of animals including dogs and construction sites, bridges/piers, tremrails , Railroad crossings, highways, tunnels, overpasses, unpaved roads, coastal roads, sound data according to the surrounding environment including sound around tiled roads, and country/city, weather/climate, day/night and seasonal characteristics HDMap database (DB) 400 in which sound data including star sounds and high-precision map data required for autonomous driving are stored; A sound data collection unit 610, 620, 630, 640 that collects sound data in a corresponding direction, including the front, rear, left and right directions of the autonomous vehicle 500; The vehicle control unit 200 according to the vision information and sound data collected from the recognition system 100 and the sound data collection unit 610, 620, 630, and 640, and information of the HDMap database (DB) 400. The autonomous driving planning system 700 in which an autonomous driving algorithm for performing autonomous driving for a vehicle is stored by controlling ), but the autonomous driving planning system 700 includes the autonomous driving planning system 700. Autonomy by referring to the HDMap database (DB) 400 in which the high-precision map data required for autonomous driving is stored, and the sound data collected from the sound data collection unit 610, 620, 630, and 640, and the vehicle driving direction. When changing lanes, it detects the sound of a moving object approaching the rear of the vehicle from the blind spot to warn of lane change attention, and when the sound of emergency vehicles including ambulances and fire engines is detected from the rear, yield driving for emergency vehicles is performed. Provides a sound data-based autonomous driving system, characterized in that, when a horn sound is detected in the surrounding environment while driving, the inspection operation of the self-safe driving system including lane violation, signal violation, door opening, and tire abnormality is performed.

삭제delete

한편 상기한 목적을 달성하기 위하여 본 발명은 넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터 및 퀵보드를 포함하는 이동체에 사운드 데이터를 수집하기 위한 마이크가 구비되어 수집되는 것으로, 버스, 덤프트럭, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레, 경찰차, 구급차, 소방차, 견인차의 클락션이나 호루라기 사운드를 포함하는 신호음, 자전거의 사운드, 보행자나 러닝하는 자의 사운드, 개를 포함하는 동물의 사운드와 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로 주변의 사운드를 포함하는 주변의 환경에 따라 수집된 사운드 데이터를 입력받되, USB 또는 인터넷을 포함하는 통신망에 연결되는 인터페이스부(910); 인터페이스부(910)를 통해 입력된 사운드 데이터를 수집하는 사운드 데이터 수집부(920); 상기 사운드 데이터 수집부(920)에 수집된 데이터를 저장하는 수집 데이터 저장부(930); 상기 수집 데이터 저장부(930)에 저장된 사운드 데이터를 이동체, 신호음, 환경 및 특성을 포함하는 상황별로 분류하되, 국가/도시별, 날씨/기후별, 주간/야간별 및 계절과 같은 특성별 사운드를 상황별로 분류하는 상황별 분류부(940); 상기 상황별 분류부(940)에서 분류된 사운드 데이터를 케이스별 데이터로 저장하는 케이스별 데이터 저장부(950); 상기 케이스별 데이터 저장부(950)에 저장된 사운드 데이터에서 특징을 MFCC 기법으로 추출하는 특징추출부(960); 상기 특징추출부(960)에서 추출된 사운드 데이터를 CNN 기법으로 학습하는 AI데이터 학습부(970); 및 상기 AI데이터 학습부(970)에서 학습된 데이터가 분류되는 상황 데이터 매핑 테이블부(980);를 포함하여 구성되고, 상기 상황 데이터 매핑 테이블부(980)에 분류된 데이터는 이동체에 실장(탑재)되어 사운드 데이터 기반 자율주행이나 이동체 이동 안전에 이용되되, 상기 자율주행 차량의 경우에는 HDMap 데이터베이스(DB)(400)에 다운로드되고, 이동체의 경우에는 이동체의 종류에 따라서 이동체 이용자의 넥밴드형 헤드폰이나, 손목시계형에 직접 다운로드되거나, 전동보장구의 경우에는 전동보장구에 스피커와 연결되도록 직접 설치되거나, 오토바이, 스쿠터, 퀵보드의 경우에는 헬멧에 설치되며, 상기 수집 데이터 저장부(930)와, 케이스별 데이터 저장부(950)는 데이터베이스(990)로 구성됨을 특징으로 하는 사운드 데이터 수집 및 가공 서버를 제공한다.Meanwhile, in order to achieve the above object, the present invention is provided with a microphone for collecting sound data on a mobile object including a neckband type, a wrist watch type, an electric security tool for the elderly or the disabled, a motorcycle, a scooter, and a quick board. Bus, dump truck, ready-mixed concrete, sports car, passenger/van car, sweeper, handcart, police car, ambulance, fire truck, tow truck clock or whistle sound, bicycle sound, pedestrian or runner sound, animals including dogs Sound and sound data collected according to the surrounding environment including the sound of the construction site, bridges/piers, trails, railroad crossings, highways, tunnels, overpasses, unpaved roads, coastal roads, and tiled roads. , An interface unit 910 connected to a communication network including USB or the Internet; A sound data collection unit 920 that collects sound data input through the interface unit 910; A collection data storage unit 930 for storing data collected in the sound data collection unit 920; The sound data stored in the collected data storage unit 930 is classified by situations including moving objects, signal sounds, environments, and characteristics, and sounds according to characteristics such as country/city, weather/climate, day/night and season A situation classification unit 940 for classifying each situation; A case-specific data storage unit 950 for storing sound data classified by the situation-specific classification unit 940 as case-specific data; A feature extraction unit 960 for extracting features from sound data stored in the case-specific data storage unit 950 using an MFCC technique; An AI data learning unit 970 that learns the sound data extracted from the feature extraction unit 960 using a CNN technique; And a context data mapping table unit 980 in which the data learned by the AI data learning unit 970 is classified, and the data classified in the context data mapping table unit 980 are mounted on a moving object (mounted ) And used for sound data-based autonomous driving or mobile safety, but in the case of the autonomous vehicle, it is downloaded to the HDMap database (DB) 400, and in the case of a mobile object, the neckband type headphones of the mobile user according to the type of the mobile object. However, it is directly downloaded to a wristwatch type, or in the case of an electric guarantee tool, it is installed directly to be connected to the speaker in the electric guarantee tool, or in the case of a motorcycle, a scooter, and a quick board, it is installed on the helmet, and the collection data storage unit 930 and the case The star data storage unit 950 provides a sound data collection and processing server, characterized in that it is composed of a database 990.

삭제delete

한편 상기한 목적을 달성하기 위하여 본 발명은 차량에 대한 자율주행을 수행하는 자율주행 알고리즘이 저장된 자율주행 플래닝 시스템(700)이 포함된 차량 또는 이동체(퍼스널 모빌리티(PM))이 주행을 시작하는 단계(S100); 자율주행 차량 또는 이동체는 각각의 자율주행 차량 또는 이동체에 설치된 마이크를 통해 주행방향의 주변 사운드를 수집하는 단계(S110); 수집된 사운드는 사운드/데이터 변환부에서 사운드 데이터로 변환되는 단계(S120); 변환된 사운드 데이터는 자율주행 차량이나 이동체에 설치된 마이크에 따라 분류되고(S130); 분류된 방향들로부터 특징추출부를 통해 사운드 데이터의 특징이 추출되는 단계(S140); 추출된 사운드 데이터에 대하여 AI 데이터 학습부를 통해 AI 데이터 학습을 수행하는 단계(S150); 학습된 사운드 데이터에 대하여 학습데이터/테이블 검색부는 상황별 데이터 매핑 테이블을 검색하는 단계(S160); 검색결과에 따라 이동체 주행의 경우에는 이용자에게 알릴 수 있도록 사운드 데이터 처리 장치의 출력부를 통해 출력하고, 자율주행 차량의 경우에는 자율주행 차량의 플래닝 시스템으로 전송되는 단계(S170); 자율주행 차량의 플래닝 시스템은 학습데이터/테이블 검색부에서 검색된 상황별 데이터 매핑 테이블 결과값에 대하여 카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100)과, 자율주행에 필요한 고정밀 지도 데이터가 저장된 HDMap 데이터베이스(DB)(400)를 참조하여 차량 제어 유닛(200)의 엑셀레이터, 브레이크를 제어하는 것에 따라 차량 자율주행을 제어하는 단계(S180); 및 상기 사운드 수집(S120) 내지 차량 자율주행 제어(S180)는 주행이 종료될 때까지 반복되는 단계(S190)를 포함하며, 상기 자율주행 플래닝 시스템(700)은 차선 변경시 사각지대에서 차량 후방으로 접근하는 이동체의 사운드를 감지하여 차선 변경 주의를 경고하고, 구급차와 소방차를 포함하는 긴급 차량의 사운드가 후방에서 감지되면 긴급차량을 위한 양보운전을 안내하며, 주행중 주변 환경에서 경적사운드가 감지되면 차선 위반, 신호 위반, 문 열림, 타이어 이상을 포함하는 자체 안전운행 시스템의 점검 작동이 수행되는 것을 특징하는 으로 하는 사운드 데이터 기반 주행 방법을 제공한다.Meanwhile, in order to achieve the above object, the present invention is a step in which a vehicle or a moving object (personal mobility (PM)) including an autonomous driving planning system 700 in which an autonomous driving algorithm for performing autonomous driving for a vehicle is stored starts driving. (S100); The autonomous driving vehicle or the moving object collects ambient sound in the driving direction through a microphone installed in each autonomous driving vehicle or moving object (S110); Converting the collected sound into sound data in a sound/data conversion unit (S120); The converted sound data is classified according to a microphone installed in an autonomous vehicle or a moving object (S130); Extracting features of sound data from the classified directions through a feature extracting unit (S140); Performing AI data learning on the extracted sound data through an AI data learning unit (S150); For the learned sound data, the learning data/table search unit searches a data mapping table for each situation (S160); In the case of driving a mobile object according to the search result, outputting through the output unit of the sound data processing device so as to notify the user, and transmitting it to the planning system of the autonomous vehicle in the case of an autonomous vehicle (S170); The self-driving vehicle planning system includes a recognition system 100 that recognizes data collected from cameras, GPS, and LiDAR with respect to the result value of the data mapping table for each situation searched by the learning data/table search unit, and for autonomous driving. Controlling the vehicle autonomous driving by controlling the accelerator and brake of the vehicle control unit 200 with reference to the HDMap database (DB) 400 in which necessary high-precision map data is stored (S180); And the sound collection (S120) to vehicle autonomous driving control (S180) includes a step (S190) of repeating until the driving is finished, and the autonomous driving planning system 700 from the blind spot to the rear of the vehicle when the lane is changed. It detects the sound of an approaching moving object to warn attention to lane change, and when the sound of emergency vehicles including ambulances and fire engines is detected from the rear, it guides yielding driving for emergency vehicles, and when a horn sound is detected in the surrounding environment while driving It provides a driving method based on sound data, characterized in that the inspection operation of the self-safe driving system including a violation, a signal violation, a door open, and a tire abnormality is performed.

삭제delete

본 발명은 다음과 같은 효과가 있다.The present invention has the following effects.

첫째, 비전 중심의 자율주행 시스템에 청각이라는 부분을 활용한 사운드 데이터의 학습을 통해 비교적 저렴한 비용으로 기술 원가를 절감하면서도 비전만을 이용하던 방식에 비해 불완전한 사고 사각지대를 보완할 수 있어 불필요한 자율주행 차량 사고를 줄이거나 방지할 수 있다.First, the vision-oriented autonomous driving system can reduce technical costs at a relatively low cost by learning sound data using the part of hearing, while compensating for incomplete accident blind spots compared to the method of using only vision, unnecessary autonomous vehicles. Accidents can be reduced or prevented.

둘째, 전방, 후방, 좌측 및 우측을 포함하는 서로 다른 복수의 방향에 복수의 지향성 마이크를 배치하여, 복수의 지향성 마이크로부터 수집한 사운드 데이터를 이용하여 차량의 안전한 자율주행 시 보행자의 안전 보행을 더욱 향상시킬 수 있다.Second, by arranging a plurality of directional microphones in a plurality of different directions including front, rear, left and right, the sound data collected from the plurality of directional microphones is used to further enhance the safe walking of pedestrians when the vehicle is safely autonomously driven. Can be improved.

셋째, 도로나 인도를 포함하는 사람이나 차량이 다니는 인도나 도로 등지에서 발생하는 다양한 사운드 데이터를 수집하고, 이를 다양한 주행환경과 상황에 맞게 분류하여 데이터베이스화한 후 이를 데이터로 가공하고, 차량 이외의 이동수단을 통해 도로를 주행 중이거나 운동 중인 이용자에게 이용자가 착용한 마이크를 통해 수집한 도로나 주행중인 길에서 수집되는 사운드 데이터를 분석한 데이터를 제공하여 퍼스널 모빌리티 이용자가 미처 인식하지 못할 수 있는 주행이나 운동 중 필요한 정보를 전달받도록 하여 이동체의 안전한 주행은 물론 보행자의 안전 보행도 가능하도록 할 수 있다.Third, collects various sound data generated on the sidewalks or roads where people or vehicles, including roads and sidewalks, travel, classifies them according to various driving environments and situations, converts them into a database, and processes them into data. Driving that personal mobility users may not be aware of by providing data that analyzes sound data collected on the road or driving road collected through a microphone worn by the user to a user who is driving or exercising on the road through a means of transportation. In addition, by receiving necessary information during exercise, it is possible to ensure safe driving of moving objects as well as safe walking of pedestrians.

넷째, 보행자의 숨사운드 정보를 포함하는 사운드 데이터와 함께 날씨 정보와 사고다발 지역정보 및 네비게이션 정보를 종합적으로 이용하여 사고다발지역에서 자동적으로 안전한 자율주행을 하도록 하고, 차량대 사람이나 퍼스널 모빌리티와 보행자간의 사고를 예방할 수 있다.Fourth, by comprehensively using weather information, accident-prone area information, and navigation information along with sound data including breath sound information of pedestrians, it is possible to automatically and safely drive autonomously in accident-prone areas. It can prevent accidents in the liver.

도 1은 일반적인 자율주행차의 주요 장치를 설명하기 위한 도면이다.
도 2 내지 도 4는 일반적인 자율주행차의 센서와 카메라수를 설명하기 위한 도면이다.
도 5는 개인 이동수단인 퍼스널 모빌리티에 대한 도로 규정을 나타낸 도면이다.
도 6은 국내 퍼스널 모빌리티 시장 규모를 나타낸 도면이다.
도 7은 국내 퍼스널 모빌리티에 의한 교통사고 현황을 나타낸 도면이다.
도 8은 국내 총인구 대비 연령대별 비중 및 초등학생 보행사고 현황과 전동보장구 이용자의 사고유형을 나타낸 도면이다.
도 9는 사람이 얻는 감각 정보의 비율을 나타낸 도면이다.
도 10은 본 발명에 따른 사운드 데이터 기반 자율주행 시스템을 설명하기 위한 도면이다.
도 11은 본 발명 실시예에 따른 사운드 데이터 기반 자율주행 시스템 및 이동체 이동 안전 시스템을 위한 데이터 수집 및 가공 방법을 개략적으로 설명하기 위한 흐름도이다.
도 12는 본 발명에 따른 사운드 데이터 기반 이동체 이동 안전 시스템에서 사운드 데이터를 수집하기 위한 이동체에 구비되는 마이크 위치의 예를 나타낸 도면이다.
도 13은 본 발명에 따른 사운드 데이터 기반 자율주행 시스템 및 이동체 이동 안전 시스템에서 수집되는 사운드 데이터 세트(data set)의 예를 나타낸 도면이다.
도 14 내지 도 16은 실제수집 사운드 데이터를 스펙트럼으로 나타낸 도면이다.
도 17은 도 11에 나타낸 데이터 수집 및 가공에 따라 자율주행 시스템 및 이동체 이동 안전 시스템에서 사운드 데이터 처리를 수행하는 사운드 데이터 처리 장치의 실시예를 설명하기 위한 도면이다.
도 18은 본 발명 실시예에 따른 사운드 데이터 기반 자율주행과 이동체 이동 안전 주행을 위한 사운드 데이터 수집 및 가공 서버를 설명하기 위한 블록 구성도이다.
도 19는 본 발명에 따른 사운드 데이터 기반 자율주행 방법을 설명하기 위한 흐름도이다.1 is a diagram for explaining main devices of a general autonomous vehicle.
2 to 4 are diagrams for explaining the number of sensors and cameras of a general autonomous vehicle.
5 is a diagram showing road regulations for personal mobility, which is a means of personal transportation.
6 is a diagram showing the size of the domestic personal mobility market.
7 is a diagram showing the current status of traffic accidents due to personal mobility in Korea.
FIG. 8 is a diagram showing the proportion of the total population in Korea by age group, the current status of pedestrian accidents in elementary school students, and the types of accidents of users of electric security devices.
9 is a diagram showing a ratio of sensory information obtained by a person.
10 is a diagram illustrating a sound data-based autonomous driving system according to the present invention.
11 is a flowchart schematically illustrating a method of collecting and processing data for a sound data-based autonomous driving system and a mobile safety system according to an exemplary embodiment of the present invention.
12 is a diagram showing an example of a microphone position provided in a moving object for collecting sound data in the sound data-based moving object safety system according to the present invention.
13 is a diagram showing an example of a sound data set collected in the sound data-based autonomous driving system and the mobile safety system according to the present invention.
14 to 16 are diagrams showing actual collected sound data in a spectrum.
FIG. 17 is a view for explaining an embodiment of a sound data processing apparatus that performs sound data processing in an autonomous driving system and a moving object safety system according to data collection and processing shown in FIG. 11.
18 is a block diagram illustrating a sound data collection and processing server for sound data-based autonomous driving and safe moving of a moving object according to an embodiment of the present invention.
19 is a flowchart illustrating a sound data-based autonomous driving method according to the present invention.

본 발명의 바람직한 실시 예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.The preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 또한 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다. In addition, the terms used in the present invention have selected general terms that are currently widely used as much as possible, but there are terms arbitrarily selected by the applicant in certain cases, and in this case, the meaning of the terms has been described in detail in the description of the corresponding invention. It should be noted that the present invention should be understood as the meaning of the term, not the name of. In addition, in describing the embodiments, descriptions of technical contents that are well known in the technical field to which the present invention pertains and are not directly related to the present invention will be omitted. This is to more clearly convey the gist of the present invention by omitting unnecessary description.

도 9는 사람이 얻는 감각 정보의 비율을 나타낸 도면이다.9 is a diagram showing a ratio of sensory information obtained by a person.

현재의 자율주행기술은 운전자의 눈 역할을 하는 각종 카메라 센서와 인간의 뇌를 대신하는 인공지능이 운전자의 역할을 하는 로봇이다. 현재의 자율 주행 기술을 개발하는 모든 업체는 여전히 카메라 센서 기반의 비전 중심의 기술개발에만 치중하고 있어 현재의 자율주행이 인공지능은 귀머거리 로봇이 운전을 하고 있다고 봐도 무관하다. 하지만 인간의 뇌는 시각 외에도 청각, 후각, 미각, 촉각 등을 이용하여 환경 및 상황을 인지할 수 있는 감각을 가지고 있다. The current autonomous driving technology is a robot in which various camera sensors that act as the driver's eyes and artificial intelligence that replace the human brain act as the driver. All companies developing the current autonomous driving technology are still focusing on the development of vision-oriented technology based on camera sensors, so it is irrelevant to say that artificial intelligence in current autonomous driving is driven by a deaf robot. However, in addition to sight, the human brain has a sense of being able to recognize the environment and situations using hearing, smell, taste, and touch.

마치 시각 장애인이 앞을 보지 못하더라도 청각에만 의존하여 보행을 할 수 있는 것과 같은 원리라고 생각할 수 있다. 다만, 온전한 시각 정보를 가진 사람보다 속도가 느릴 뿐이지만, 충분히 보조적 감각으로 청각의 활용을 보행이라는 기능을 수행할 수 있다. 참고로, 뇌가 인지하는 정보는 시각 80%, 청각 10%, 후각, 촉각, 미각 순서이다. 이때, 시각과 청각을 통해서 90%정도의 정보를 얻는 것을 알 수 있다.It can be thought of as the same principle that a blind person can walk by relying only on hearing even if he cannot see. However, although the speed is only slower than that of a person with complete visual information, it is possible to perform the function of walking through the use of hearing with a sufficient auxiliary sense. For reference, the information that the brain perceives is in the order of 80% vision, 10% hearing, smell, touch, and taste. At this time, it can be seen that 90% of information is obtained through sight and hearing.

따라서, 본 발명에서는 청각이라는 부분을 활용한 사운드 데이터의 학습을 통해 비전 중심의 고가의 기술 원가를 절감할 수 있으며, 불완전한 사고 사각지대를 보완할 수 있는 기술로 활용할 경우 사고가 발생할 때마다 반복적으로 카메라 센서를 늘이는 것보다 훨씬 저렴하고 효과가 클 것이다. Therefore, in the present invention, it is possible to reduce the cost of vision-oriented expensive technology through the learning of sound data using a part called hearing, and when used as a technology that can compensate for incomplete accident blind spots, it is repeated every time an accident occurs. It will be much cheaper and more effective than extending the camera sensor.

이와 같은 경우 테슬라의 T3가 비보호 좌회전을 하려는 흰색 트레일러를 하늘과 오인하여 충돌한 사례에서 보여주듯이 만일 사람처럼 교차로에서 좌회전을 하는 트레일러의 사운드를 인지하고, 속도를 줄이거나, 블레이크를 작동했더라면 자율주행차가 그대로 충돌하여 사망 사고를 일으키는 사건은 발생하지 않을 것이다. 이러한 사운드는 비전이 취약한 구간이나 사각지대에서 발생할 수 있는 사고들을 획기적으로 줄여나갈 수 있을 것이다.In this case, Tesla's T3 misunderstood the sky and collided with a white trailer attempting to make an unprotected left turn. There will not be an incident where a driving vehicle will crash and cause a fatal accident. This sound can dramatically reduce accidents that may occur in areas where vision is weak or in blind spots.

도 10은 본 발명에 따른 사운드 데이터 기반 자율주행 시스템을 설명하기 위한 도면이다.10 is a diagram illustrating a sound data-based autonomous driving system according to the present invention.

본 발명에 따른 사운드 데이터 기반 자율주행 시스템은 도 10에 도시된 바와 같이, 카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100)과, APM(조향핸들, 조향장치), 엑셀레이터, 브레이크, 디스플레이로부터 동작을 감지하는 차량 제어 유닛(200)과, APM, 엑셀레이터, 브레이크, 디스플레이의 거동을 취득하는 로깅 시스템(300)과, 사운드 데이터를 포함하고, 자율주행에 필요한 고정밀 지도 데이터가 저장된 HDMap 데이터베이스(DB)(400)와, 자율주행 차량(500)의 전방, 후방, 좌측 및 우측방향을 포함하여 해당 방향의 사운드 데이터를 수집하는 사운드 데이터 수집부(610)(620)(630)(640)와, 인지시스템(100)과 사운드 데이터 수집부(610)(620)(630)(640)로부터 수집된 비전정보와 사운드 정보 및 HDMap 데이터베이스(DB)(400)의 정보에 따라 차량 제어 유닛(200)을 제어하여 차량에 대한 자율주행을 수행하는 자율주행 알고리즘이 저장된 자율주행 플래닝 시스템(700)을 포함하여 구성된다.As shown in FIG. 10, the sound data-based autonomous driving system according to the present invention includes a recognition system 100 that recognizes data collected from a camera, GPS, and LiDAR, and an APM (steering handle, steering device). , A vehicle control unit 200 that detects motion from an accelerator, a brake, and a display, a logging system 300 that acquires the behavior of an APM, an accelerator, a brake, and a display, and a high-precision map required for autonomous driving, including sound data HDMap database (DB) 400 in which data is stored, and a sound data collection unit 610, 620, ( According to the vision information and sound information collected from the 630) 640 and the recognition system 100 and the sound data collection unit 610, 620, 630, and 640, and the information of the HDMap database (DB) 400 It is configured to include an autonomous driving planning system 700 in which an autonomous driving algorithm for performing autonomous driving for a vehicle by controlling the vehicle control unit 200 is stored.

도 11은 본 발명에 따른 사운드 데이터 기반 자율주행 시스템 및 이동체 이동 안전 시스템을 위한 데이터 수집 및 가공 방법을 개략적으로 설명하기 위한 흐름도이고, 도 12는 본 발명에 따른 사운드 데이터 기반 이동체 이동 안전 시스템에서 사운드 데이터를 수집하기 위한 이동체에 구비되는 마이크 위치의 예를 나타낸 도면이며, 도 13은 본 발명에 따른 사운드 데이터 기반 자율주행 시스템 및 이동체 이동 안전 시스템에서 수집되는 사운드 데이터 세트(data set)의 예를 나타낸 도면이고, 도 14 내지 도 16은 실제수집 사운드 데이터를 스펙트럼으로 나타낸 도면이다.FIG. 11 is a flowchart schematically illustrating a data collection and processing method for a sound data-based autonomous driving system and a mobile movement safety system according to the present invention, and FIG. 12 is a sound data-based mobile movement safety system according to the present invention. A diagram showing an example of the location of a microphone provided in a mobile object for collecting data, and FIG. 13 shows an example of a sound data set collected in the sound data-based autonomous driving system and the mobile safety system according to the present invention. 14 to 16 are diagrams showing actual collected sound data in a spectrum.

본 발명에 따른 사운드 데이터 기반 자율주행 시스템 및 이동체 이동 안전 시스템을 위한 데이터 수집 및 가공 방법은 도 11에 나타낸 바와 같은데, 우선 도 10과 같은 차량과 도 12에서와 같이 차량의 포함하는 다양한 이동체를 통해 구비된 마이크를 통해 사운드 데이터를 수집한다(S10). 이러한 이동체 도 12 및 도 13에 도시된 바와 같이 사람의 목에 거는 넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터, 퀵보드, 승합차, 버스, 덤프트럭, 컨테이너, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레 등이 될 수 있다. 또한 이동체 자체에서 발생되는 사운드뿐 아니라, 앰블란스, 경찰차, 구급차, 소방차, 견인차, 클락션, 호루라기 사운드와 같은 신호음과, 도로뿐 아니라 도로변의 자전거, 보행자나 러닝하는 자의 사운드, 음악이나, 음향, 개를 포함하는 동물의 사운드(지방의 경우 야간에 소나 말, 염소 등의 각종 동물 사운드), 캐리어, 거리 공연 사운드 등을 수집한다. 또한 환경에 따라서 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로, 비보호 신호시 주변의 사운드와 같은 주변의 환경에 따른 사운드 데이터 및 국가/도시별, 날씨/기후별, 주간/야간별 및 계절과 같은 특성별 사운드 데이터를 수집한다. The data collection and processing method for the sound data-based autonomous driving system and the mobile movement safety system according to the present invention is shown in FIG. 11. First, through a vehicle as shown in FIG. 10 and a variety of moving objects including the vehicle as shown in FIG. Sound data is collected through the provided microphone (S10). As shown in Figs. 12 and 13, such a mobile body is a neckband type, a wrist watch type, an electric security tool for the elderly or the disabled, a motorcycle, a scooter, a quick board, a van, a bus, a dump truck, a container, a ready-mixed concrete, and a sports car. , Passenger/van, cleaning car, handcart, etc. In addition, not only the sound generated by the moving object itself, but also beeps such as ambulance, police car, ambulance, fire truck, tow truck, clock, whistle sound, and the sound of bicycles, pedestrians or runners on the road as well as roads, music, sounds, and dogs. Sounds of animals to be included (various animal sounds such as cattle, horses, and goats at night in the case of rural areas), carriers, and street performance sounds are collected. Also, depending on the environment, sound data and sound data according to the surrounding environment, such as the sound of the surrounding construction site, bridge/pier, trail, railroad crossing, highway, tunnel, overpass, unpaved road, coastal road, tile road, and unprotected signal It collects sound data by characteristics such as country/city, weather/climate, day/night and season.

수집한 데이터는 데이터베이스에 저장한다(S20).The collected data is stored in the database (S20).

그리고 데이터베이스에 저장된 사운드 데이터에 대하여 도 13에서와 같은 이동체, 신호음, 도로변, 환경 및 특성별과 같은 상황별로 분류한다(S30). 이와 같은 상황별 분류는 도 14 내지 도 16은 실제수집 사운드 데이터를 스펙트럼으로 나타낸 바와 같이 분류가 가능할 것이다.Then, the sound data stored in the database is classified according to situations such as moving objects, signal sounds, roadsides, environments, and characteristics as shown in FIG. 13 (S30). As for the classification by situation, as shown in the spectrum of actual collected sound data in FIGS. 14 to 16, it is possible to classify.

분류된 상황별 사운드데이터는 상황(케이스별)로 데이터베이스에 저장된다(S40 내지 S70). The classified sound data for each situation is stored in the database as a situation (by case) (S40 to S70).

그리고 저장된 사운드 데이터들로부터 유의미한 이벤트를 추출하며, 추출된 이벤트에 대하여 데이터 학습을 시킨다. 이때, 이벤트 추출 기법으로는 예를 들면 MFCC(Mel-Frequency Cepstral Coefficient) 기법을 이용할 수 있으며, 추출된 MFCC와 분류된 주행환경을 인지하여 인공지능(AI) CNN(Convolutional Neural Network) 기법을 이용한 데이터 학습을 시킨다(S80).In addition, significant events are extracted from the stored sound data, and data is learned on the extracted events. At this time, as an event extraction technique, for example, an MFCC (Mel-Frequency Cepstral Coefficient) technique can be used, and data using an artificial intelligence (AI) CNN (Convolutional Neural Network) technique by recognizing the extracted MFCC and the classified driving environment Lets learn (S80).

이와 같이 학습된 상황판단을 통해 주행 중 마이크를 통해 수집된 사운드 데이터를 해석하고, 해석한 상황에 따라 필요한 정보 및 조작에 보조적 역할을 할 수 있도록 해석상황을 공지(운전자)하거나 자율주행 플래닝 시스템(700)으로 통보한다(S90).Through this learned situation judgment, the sound data collected through the microphone is analyzed while driving, and the analysis situation is notified (driver) or the autonomous driving planning system ( 700) is notified (S90).

이와 같은 공지나 통보로는 차량 주행 기능으로서 구현된 CNN 기능을 웨어러블 기기(예로써 스마트 워치 등)에 탑재하여 도로상에서 차량 또는 이동체로부터 감지된 위험을 알리는 시스템에 활용 가능할 것이다.Such notifications or notifications may be utilized in a system that notifies a danger detected from a vehicle or a moving object on the road by mounting a CNN function implemented as a vehicle driving function on a wearable device (eg, a smart watch).

특히, 위에서 개발된 인공지능 CNN 알고리즘 및 기능을 예를 들어 웨어러블 기기의 마이크에서 외부환경의 사운드를 청취하는 기능, 청취된 사운드에 발생한 사운드를 일정기간(예로써 3~5초)의 사운드 데이터로 쪼개어 학습데이터 포맷으로 메모리에 저장하는 기능, 저장된 사운드 데이터에서 Mel-Frequency Cepstral Coefficient(MFCC)추출 기법, CNN학습과 MFCC 추출 결과에 따른 환경/상황 정보, 상황정보에 따라 웨어러블 기기에서 위험을 진동, 경보음, 점멸 등으로 알리는 기능 구현 등이 가능하며, 이는 도 12와 도 13에 나타낸 차량이나 이동체(퍼스널 모빌리티(PM))에 적용가능하다.In particular, the artificial intelligence CNN algorithm and function developed above, for example, the function of listening to the sound of the external environment from the microphone of the wearable device, and the sound generated in the heard sound as sound data for a certain period (for example, 3 to 5 seconds). The ability to split and store the data in the memory in the format of learning data, the Mel-Frequency Cepstral Coefficient (MFCC) extraction technique from the stored sound data, environment/situation information according to the CNN learning and MFCC extraction results, and vibration in the wearable device according to the situation information, It is possible to implement a function of notifying an alarm sound, flashing, etc., and this is applicable to the vehicle or moving object (personal mobility (PM)) shown in FIGS. 12 and 13.

이와 같은 경우 테슬라의 T3가 비보호 좌회전을 하려는 흰색 트레일러를 하늘과 오인하여 충돌한 사례에서 보여주듯이 만일 사람처럼 교차로에서 좌회전을 하는 트레일러의 사운드를 인지했더라면 자율주행차가 그대로 충돌하여 사망 사고를 일으키는 사건은 발생하지 않을 것이다. 이러한 사운드는 비전이 취약한 구간이나 사각지대에서 발생할 수 있는 사고들을 획기적으로 줄여나갈 수 있을 것이다.In this case, as shown in the case where Tesla's T3 misunderstood the sky and collided with a white trailer attempting to make an unprotected left turn, if the sound of the trailer making a left turn at an intersection like a human was recognized, the autonomous vehicle would crash as it was, causing a fatal accident. Won't happen. This sound can dramatically reduce accidents that may occur in areas where vision is weak or in blind spots.

그 외에도 기본적으로 다음과 같은 상황에 주행 사운드 정보를 활용할 수 있을 것이다. In addition, driving sound information can be used in the following situations.

비보호 좌회전 상황에서, 사거리내 전방/좌우 정지된 차량들의 운행사운드 감지하여 비보호 좌회전 주의 경고 및 진입상황 판단.In the unprotected left turn situation, the driving sound of vehicles that are stopped in front/left/right within the range is detected to warn of unprotected left turn and determine the entry situation.

차선 변경시 사각지대에서, 차량 후방의 접근 이동체(트럭, 오토바이 등) 사운드를 감지하여 차선 변경 주의 경고 및 상황 점검.At the blind spot when changing lanes, it detects the sound of an approaching vehicle (truck, motorcycle, etc.) behind the vehicle to warn of lane changes and checks the situation.

긴급 차량 진입시에는, 후방의 긴급 차량(구급차, 소방차 등) 사운드를 감지하여 긴급 차량을 위한 양보 운전 안내.When entering an emergency vehicle, it detects the sound of an emergency vehicle (ambulance, fire engine, etc.) from the rear to guide the yield driving for the emergency vehicle.

주변 경적사운드 발생시에는, 주행중 주변 환경서 발생한 경적사운드 감지하여 자체 안전운행 시스템(차선 위반, 신호 위반, 문 열림, 타이어 이상 등) 점검 작동.When the surrounding horn sound occurs, it detects the horn sound generated in the surrounding environment while driving and checks and operates the self-safe driving system (lane violation, signal violation, door open, tire abnormality, etc.).

기상환경 변동시에는, 빗길/눈길 사운드 감지하여 감속 및 미끄러짐 방지 기능 작동 등이 있다.When the weather environment fluctuates, there is a function of deceleration and slip prevention by detecting rain/snow road sound.

도 17은 도 11에 나타낸 데이터 수집 및 가공에 따라 자율주행을 포함하는 이동체에서 사운드 데이터 처리를 수행하는 사운드 데이터 처리 장치의 실시예를 설명하기 위한 도면이다.FIG. 17 is a diagram for explaining an embodiment of a sound data processing apparatus that performs sound data processing in a mobile object including autonomous driving according to data collection and processing shown in FIG. 11.

데이터 수집 및 가공에 따라 자율주행을 포함하는 이동체에서 사운드 데이터 처리는 도 17에서와 같이, 마이크부(810), 제어부(820) 및 출력부(830)로 구성된다.The sound data processing in a mobile object including autonomous driving according to data collection and processing is composed of a microphone unit 810, a control unit 820, and an output unit 830, as shown in FIG. 17.

여기서 마이크부(810)는 이동체 주변의 사운드를 입력받는다.Here, the microphone unit 810 receives sound around the moving object.

제어부(820)는 사운드/데이터 변환부(821), 특징추출부(822), AI 데이터 학습부(823), 상황 데이터 매핑 테이블부(824) 및 학습데이터/테이블 검색부(825)로 구성되어 마이크부(810)를 통해 입력된 사운드를 사운드/데이터 변환부(821)에서 사운드 데이터로 변환하고, 특징추출부(822)에서 예를 들면 MFCC 기법으로 특징을 추출하며, 추출된 사운드 데이터를 AI 데이터 학습부(823)에서 인공지능 CNN 기법으로 학습하고, 학습된 데이터에 대하여 학습데이터/테이블 검색부(825)에서 상황 데이터 매핑 테이블부(824)에 저장된 데이터에서 학습 데이터/테이블을 검색하여 출력부(830)로 전송한다.The control unit 820 is composed of a sound/data conversion unit 821, a feature extraction unit 822, an AI data learning unit 823, a context data mapping table unit 824, and a learning data/table search unit 825. The sound input through the microphone unit 810 is converted into sound data in the sound/data conversion unit 821, the feature extraction unit 822 extracts features using, for example, MFCC technique, and the extracted sound data is converted to AI. The data learning unit 823 learns with the artificial intelligence CNN technique, and the learning data/table search unit 825 searches for and outputs the training data/table from the data stored in the context data mapping table unit 824 for the learned data. It is transmitted to the unit 830.

출력부(830)는 제어부(820)의 학습데이터/테이블 검색부(825)에서 전송된 데이터를 통해 설정된 방식(스피커를 통한 음성출력, 진동이나 문자 알림)으로 출력한다.The output unit 830 outputs a set method (voice output through a speaker, vibration or text notification) through the data transmitted from the learning data/table search unit 825 of the control unit 820.

도 18은 본 발명 실시예에 따른 사운드 데이터 기반 자율주행과 이동체 이동 안전 주행을 위한 사운드 데이터 수집 및 가공 서버의 실시예를 설명하기 위한 블록 구성도이다.18 is a block diagram illustrating an embodiment of a sound data collection and processing server for sound data-based autonomous driving and safe moving of a moving object according to an embodiment of the present invention.

본 발명 실시예에 따른 사운드 데이터 기반 자율주행과 이동체 이동 안전 주행을 위한 사운드 데이터 수집 및 가공 서버는 도 18에 나타낸 바와 같이, 인터페이스부(910), 사운드 데이터 수집부(920), 수집 데이터 저장부(930), 데이터베이스(940), 상황별 분류부(950), 케이스별 데이터 저장부(960), 특징추출부(970), AI데이터 학습부(980) 및 상황별 매핑 테이블 생성부(990)를 포함하여 구성된다.As shown in FIG. 18, the sound data collection and processing server for sound data-based autonomous driving and safe moving of a moving object according to an embodiment of the present invention includes an interface unit 910, a sound data collection unit 920, and a collection data storage unit. (930), database 940, classification unit for each situation 950, data storage unit for each case 960, feature extraction unit 970, AI data learning unit 980, and mapping table generation unit 990 for each situation Consists of including.

여기서 인터페이스부(910)는 도 10에 나타낸 사운드 데이터 기반 자율주행 시스템과, 도 11에 나타낸 사운드 데이터 기반 자율주행 시스템 및 이동체 이동 안전 시스템을 위한 사운드 데이터가 수집되면 해당 데이터를 입력받는다. 이는 사운드 데이터 수집 및 가공 서버(900)에 연결된 인터페이스 장치(USB)등을 통해 입력받을 수도 있고, 원격지에서 인터넷을 포함하는 통신망을 통해 전송된 데이터를 입력받는 방식을 취할 수도 있다. Here, the interface unit 910 receives the corresponding data when sound data for the sound data-based autonomous driving system shown in FIG. 10 and the sound data-based autonomous driving system and the moving object safety system shown in FIG. 11 are collected. This may be input through an interface device (USB) connected to the sound data collection and processing server 900, or may take a method of receiving data transmitted from a remote location through a communication network including the Internet.

사운드 데이터 수집부(920)는 인터페이스부(910)를 통해 입력된 사운드 데이터를 수집한다.The sound data collection unit 920 collects sound data input through the interface unit 910.

수집 데이터 저장부(930)는 사운드 데이터 수집부(920)에 수집된 데이터를 저장한다. 이러한 수집 데이터 저장부(930)는 데이터베이스(990)로 구성될 수 있다.The collection data storage unit 930 stores the collected data in the sound data collection unit 920. The collected data storage unit 930 may be configured as a database 990.

상황별 분류부(940)는 도 13에서도 설명한 바와 같이 이동체, 신호음, 도로변, 환경 및 특성별과 같은 상황별로 분류한다.As described in FIG. 13, the classification unit 940 for each situation classifies a moving object, a signal tone, a roadside, an environment, and a situation according to characteristics.

케이스별 데이터 저장부(950)는 상황별 분류부(940)에서 분류된 사운드 데이터를 케이스별 데이터로 저장한다. 물론 케이스별 데이터 저장부(950) 역시 데이터베이스(990)로 구성될 수 있다.The case-specific data storage unit 950 stores sound data classified by the situation-specific classification unit 940 as case-specific data. Of course, the case-specific data storage unit 950 may also be configured as a database 990.

특징추출부(960)는 MFCC 기법으로 특징을 추출하며, AI데이터 학습부(970)는 추출된 사운드 데이터를 인공지능 CNN 기법으로 학습하고, 학습된 데이터에 대하여 상황 데이터 매핑 테이블부(980)에 분류한다.The feature extraction unit 960 extracts features using the MFCC technique, and the AI data learning unit 970 learns the extracted sound data using the artificial intelligence CNN technique, and uses the learned data to the context data mapping table unit 980. Classify.

이와 같이 상황 데이터 매핑 테이블부(980)에 분류된 데이터는 차량을 포함하는 이동체에 실장(탑재)되어 사운드 데이터 기반 자율주행이나 이동체 이동 안전에 이용되게 된다. 여기서 자율주행 차량의 경우에는 HDMap 데이터베이스(DB)(400)에 다운로드되고, 이동체의 경우에는 이동체의 종류에 따라서 이동체 이용자의 넥밴드형 헤드폰이나, 손목시계형에 직접 다운로드되거나, 전동보장구의 경우에는 전동보장구에 스피커와 연결되도록 직접 설치되거나, 오토바이, 스쿠터, 퀵보드의 경우에는 헬멧에 설치될 수 있다. 이러한 실장이나, 다운로드 및 설치는자율주행차량이나 이동체의 종류에 따라 다양한 방식으로 적용될 수 있으며, 이용자의 편의에 따라 적용되는 것으로 이를 특별히 한정할 필요는 없다. The data classified in the context data mapping table unit 980 as described above are mounted (mounted) on a moving object including a vehicle and used for sound data-based autonomous driving or moving safety of a moving object. Here, in the case of an autonomous vehicle, it is downloaded to the HDMap database (DB) 400, and in the case of a mobile object, it is directly downloaded to the neckband type headphones or wristwatch type of the mobile user according to the type of the mobile object, or in the case of an electric guarantee tool. It can be directly installed to connect to the speaker in the power supply, or in the case of a motorcycle, scooter, or quick board, it can be installed on a helmet. Such mounting, downloading, and installation may be applied in various ways depending on the type of autonomous vehicle or moving object, and is applied according to the user's convenience, and there is no need to specifically limit this.

도 19은 본 발명에 따른 사운드 데이터 기반 주행 방법을 설명하기 위한 흐름도이다.19 is a flowchart illustrating a driving method based on sound data according to the present invention.

본 발명에 따른 사운드 데이터 기반 주행 방법은 도 19에 나타낸 바와 같이, 자율주행 차량 또는 이동체(퍼스널 모빌리티(PM))가 주행을 시작한다(S100). In the driving method based on sound data according to the present invention, as shown in FIG. 19, an autonomous vehicle or a moving object (personal mobility PM) starts driving (S100).

그러면 자율주행 차량 또는 이동체는 각각의 자율주행 차량 또는 이동체에 설치된 마이크를 통해 주행방향의 주변 사운드를 수집한다(S110).Then, the autonomous driving vehicle or the moving object collects ambient sound in the driving direction through the microphone installed in each autonomous driving vehicle or moving object (S110).

그리고 수집된 사운드는 사운드/데이터 변환부에서 사운드 데이터로 변환된다(S120).Then, the collected sound is converted into sound data by the sound/data conversion unit (S120).

한편 변환된 사운드 데이터는 자율주행 차량이나 이동체에 설치된 마이크(차량의 경우 복수개, 퀵보드의 경우 한개)에 따라 분류되고(S130), 분류된 방향(들)로부터 특징추출부를 통해 사운드 데이터의 특징이 추출된다(S140). Meanwhile, the converted sound data is classified according to microphones (multiple in the case of a vehicle, one in the case of a quick board) installed in an autonomous vehicle or a moving object (S130), and features of the sound data are extracted from the classified direction(s) through a feature extraction unit. It becomes (S140).

그리고 추출된 사운드 데이터에 대하여 AI 데이터 학습부를 통해 AI 데이터 학습을 수행한다(S150).In addition, AI data learning is performed on the extracted sound data through the AI data learning unit (S150).

그리고 나서 학습된 사운드 데이터에 대하여 학습데이터/테이블 검색부는 상황별 데이터 매핑 테이블을 검색하게 된다(S160).Then, with respect to the learned sound data, the learning data/table search unit searches the context-specific data mapping table (S160).

이어 검색결과에 따라 이동체 주행의 경우에는 이용자에게 알릴 수 있도록 사운드 데이터 처리 장치의 출력부를 통해 출력하고, 자율주행 차량의 경우에는 자율주행 차량의 플래닝 시스템으로 전송한다(S170).Subsequently, according to the search result, in the case of moving a moving object, it is output through the output unit of the sound data processing device so that the user can be notified, and in the case of an autonomous vehicle, it is transmitted to the planning system of the autonomous vehicle (S170).

자율주행 차량의 플래닝 시스템은 학습데이터/테이블 검색부에서 검색된 상황별 데이터 매핑 테이블 결과값에 대하여 카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100)과, 자율주행에 필요한 고정밀 지도 데이터가 저장된 HDMap 데이터베이스(DB)(400)를 참조하여 차량 제어 유닛(200)의 엑셀레이터, 브레이크 등을 제어하는 것에 따라 차량 자율주행을 제어한다(S180).The self-driving vehicle planning system includes a recognition system 100 that recognizes data collected from cameras, GPS, and LiDAR with respect to the result value of the data mapping table for each situation searched by the learning data/table search unit, and for autonomous driving. Autonomous vehicle driving is controlled by controlling the accelerator and brake of the vehicle control unit 200 with reference to the HDMap database (DB) 400 in which necessary high-precision map data is stored (S180).

이러한 사운드 수집(S120) 내지 차량 자율주행 제어(S180)는 주행이 종료될 때까지 반복된다(S190).This sound collection (S120) to vehicle autonomous driving control (S180) is repeated until the driving is finished (S190).

이상과 같은 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다. Although the present invention has been described with the above examples, the present invention is not necessarily limited to these examples, and various modifications may be made without departing from the spirit of the present invention. Therefore, the examples disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these examples. The scope of protection of the present invention should be interpreted by the claims below, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100 : 인지시스템 200 : 차량 제어 유닛
300 : 로깅 시스템 400 : HDMap 데이터베이스(DB)
500 : 자율주행 차량 610, 620, 630, 640 : 사운드 데이터 수집부
700 : 자율주행 플래닝 시스템
810 : 마이크부 820 : 제어부
821 : 사운드/데이터 변환부 822 : 특징추출부
823 : AI 데이터 학습부 824 : 상황 데이터 매핑 테이블부
825 : 학습데이터/테이블 검색부
830 : 출력부 900 : 사운드 데이터 수집 및 가공 서버
910 : 인터페이스부 920 : 사운드 데이터 수집부
930 : 수집 데이터 저장부 940 : 데이터베이스
950 : 상황별 분류부 960 : 케이스별 데이터 저장부
970 : 특징추출부 980 : AI데이터 학습부
990 : 상황별 매핑 테이블 생성부100: recognition system 200: vehicle control unit
300: logging system 400: HDMap database (DB)
500: autonomous vehicle 610, 620, 630, 640: sound data collection unit
700: autonomous driving planning system
810: microphone unit 820: control unit
821: sound/data conversion unit 822: feature extraction unit
823: AI data learning unit 824: Context data mapping table unit
825: learning data/table search unit
830: output unit 900: sound data collection and processing server
910: interface unit 920: sound data collection unit
930: collection data storage unit 940: database
950: classification unit for each situation 960: data storage unit for each case
970: feature extraction unit 980: AI data learning unit
990: Mapping table generation unit for each context

Claims

삭제delete

카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100)과, 핸들, 엑셀레이터, 브레이크, 디스플레이로부터 동작을 감지하는 차량 제어 유닛(200)과, 상기 핸들, 엑셀레이터, 브레이크, 디스플레이의 거동을 취득하는 로깅 시스템(300)과, 넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터 및 퀵보드를 포함하는 이동체에 사운드 데이터를 수집하기 위한 마이크가 구비되어 수집되는 것으로, 버스, 덤프트럭, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레, 경찰차, 구급차, 소방차, 견인차의 클락션이나 호루라기 사운드를 포함하는 신호음, 자전거, 보행자나 러닝하는 자의 사운드, 개를 포함하는 동물의 사운드와 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로 주변의 사운드를 포함하는 주변의 환경에 따른 사운드 데이터 및 국가/도시별, 날씨/기후별, 주간/야간별 및 계절 특성별 사운드를 포함하는 사운드 데이터와, 자율주행에 필요한 고정밀 지도 데이터가 저장되되, 상기 날씨/기후별 사운드 데이터에는 눈길/빗길 사운드가 포함된 HDMap 데이터베이스(DB)(400)와, 자율주행 차량(500)의 전방, 후방, 좌측 및 우측방향을 포함하여 해당 방향의 사운드 데이터를 수집하는 사운드 데이터 수집부(610)(620)(630)(640)과, 상기 인지시스템(100)과 상기 사운드 데이터 수집부(610)(620)(630)(640)로부터 수집된 비전정보와 사운드 데이터 및 HDMap 데이터베이스(DB)(400)의 정보에 따라 차량 제어 유닛(200)을 제어하여 차량에 대한 자율주행을 수행하는 자율주행 알고리즘이 저장된 자율주행 플래닝 시스템(700);을 포함하여 구성되어, 자율주행에 필요한 고정밀 지도 데이터가 저장된 상기 HDMap 데이터베이스(DB)(400)와, 상기 사운드 데이터 수집부(610)(620)(630)(640)에서 수집된 사운드 데이터와 차량주행방향을 참조하여 자율주행하도록 되고, 차선 변경시 사각지대에서 차량 후방으로 접근하는 이동체의 사운드를 감지하여 차선 변경 주의를 경고하고, 구급차와 소방차를 포함하는 긴급 차량의 사운드가 후방에서 감지되면 긴급차량을 위한 양보운전을 안내하며, 주행중 주변 환경에서 경적사운드가 감지되면 차선 위반, 신호 위반, 문 열림, 타이어 이상을 포함하는 자체 안전운행 시스템의 점검 작동이 수행되도록 하는 사운드 데이터 기반 자율주행 시스템에 대하여,
넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터 및 퀵보드를 포함하는 이동체에 사운드 데이터를 수집하기 위한 마이크가 구비되어 수집되는 것으로, 버스, 덤프트럭, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레, 경찰차, 구급차, 소방차, 견인차의 클락션이나 호루라기 사운드를 포함하는 신호음, 자전거의 사운드, 보행자나 러닝하는 자의 사운드, 개를 포함하는 동물의 사운드와 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로 주변의 사운드를 포함하는 주변의 환경에 따라 수집된 사운드 데이터를 입력받되, USB 또는 인터넷을 포함하는 통신망에 연결되는 인터페이스부(910);
인터페이스부(910)를 통해 입력된 사운드 데이터를 수집하는 사운드 데이터 수집부(920);
상기 사운드 데이터 수집부(920)에 수집된 데이터를 저장하는 수집 데이터 저장부(930);
상기 수집 데이터 저장부(930)에 저장된 사운드 데이터를 이동체, 신호음, 환경 및 특성을 포함하는 상황별로 분류하되, 국가/도시별, 날씨/기후별, 주간/야간별 및 계절과 같은 특성별 사운드를 상황별로 분류하는 상황별 분류부(940);
상기 상황별 분류부(940)에서 분류된 사운드 데이터를 케이스별 데이터로 저장하는 케이스별 데이터 저장부(950);
상기 케이스별 데이터 저장부(950)에 저장된 사운드 데이터에서 특징을 MFCC 기법으로 추출하는 특징추출부(960);
상기 특징추출부(960)에서 추출된 사운드 데이터를 CNN 기법으로 학습하는 AI데이터 학습부(970); 및
상기 AI데이터 학습부(970)에서 학습된 데이터가 분류되는 상황 데이터 매핑 테이블부(980);를 포함하여 구성되고, 상기 상황 데이터 매핑 테이블부(980)에 분류된 데이터는 이동체에 실장(탑재)되어 사운드 데이터 기반 자율주행이나 이동체 이동 안전에 이용되되, 상기 자율주행 차량의 경우에는 HDMap 데이터베이스(DB)(400)에 다운로드되고, 이동체의 경우에는 이동체의 종류에 따라서 이동체 이용자의 넥밴드형 헤드폰이나, 손목시계형에 직접 다운로드되거나, 전동보장구의 경우에는 전동보장구에 스피커와 연결되도록 직접 설치되거나, 오토바이, 스쿠터, 퀵보드의 경우에는 헬멧에 설치되며, 상기 수집 데이터 저장부(930)와, 케이스별 데이터 저장부(950)는 데이터베이스(990)로 구성되는 사운드 데이터 수집 및 가공 서버에서 수집된 데이터를 제공하여 운동중인 이용자의 퍼스널 모빌리티인 넥밴드형 헤드폰으로 사운드 데이터 처리하여 스피커를 통한 음성출력으로 이동 안전 사운드 데이터를 제공하는 것을 특징으로 하는 사운드 데이터 수집 및 가공 서버.
A recognition system 100 that recognizes data collected from a camera, GPS, and LiDAR, a vehicle control unit 200 that detects motion from a steering wheel, an accelerator, a brake, and a display, the steering wheel, an accelerator, and a brake, A logging system 300 for acquiring the behavior of the display, a neckband type, a wrist watch type, an electric security tool for the elderly or the disabled, a microphone for collecting sound data on a moving object including a motorcycle, a scooter and a quick board is provided and collected. It is a bus, dump truck, ready-mixed concrete, sports car, passenger/van vehicle, sweeper, handcart, police car, ambulance, fire truck, tow truck clock or whistle sound, bicycle, pedestrian or runner sound, animals including dogs. Sound and sound data according to the surrounding environment including the sound of construction sites, bridges/piers, trails, railroad crossings, highways, tunnels, overpasses, unpaved roads, coastal roads, and tile roads, and by country/city , Sound data including sound for each weather/climate, day/night and seasonal characteristics, and high-precision map data necessary for autonomous driving are stored, but the sound data for each weather/climate includes snow/rain sound. (DB) 400 and a sound data collection unit 610, 620, 630, 640 that collects sound data in a corresponding direction, including the front, rear, left and right directions of the autonomous vehicle 500 And, the vehicle control unit according to the vision information and sound data collected from the recognition system 100 and the sound data collection unit 610, 620, 630, 640 and information of the HDMap database (DB) 400 The HDMap database (DB) 400, which is configured to include, and stores high-precision map data required for autonomous driving, including; an autonomous driving planning system 700 in which an autonomous driving algorithm that performs autonomous driving for a vehicle by controlling 200 is stored. ) And the sound data collected by the sound data collection unit 610, 620, 630, and 640 and the vehicle driving direction. Autonomous driving is performed with reference to the vehicle.When a lane is changed, the sound of a moving object approaching from the blind spot to the rear of the vehicle is detected to warn of lane change attention, and when the sound of an emergency vehicle including an ambulance and a fire engine is detected from the rear, Regarding the sound data-based autonomous driving system that guides yielding driving and enables inspection operations of the self-safe driving system including lane violations, signal violations, door openings, and tire abnormalities when a horn sound is detected in the surrounding environment while driving,
Equipped with a microphone for collecting sound data on moving objects, including neckband type, wrist watch type, electric security equipment for the elderly or the disabled, motorcycles, scooters and quick boards, it is collected. Buses, dump trucks, ready-mixed concrete, sports cars, passengers/ Vans, sweepers, carts, police cars, ambulances, fire trucks, towing trucks, beeps including clock or whistle sounds, bicycle sounds, pedestrians or runners, animals including dogs and construction sites, bridges/piers, It receives sound data collected according to the surrounding environment including the sound around the trail, railroad crossing, highway, tunnel, overpass, unpaved road, coastal road, and tile road, but is connected to a communication network including USB or the Internet. An interface unit 910;
A sound data collection unit 920 that collects sound data input through the interface unit 910;
A collection data storage unit 930 for storing data collected in the sound data collection unit 920;
The sound data stored in the collected data storage unit 930 is classified by situations including moving objects, signal sounds, environments, and characteristics, and sounds according to characteristics such as country/city, weather/climate, day/night and season A situation classification unit 940 for classifying each situation;
A case-specific data storage unit 950 that stores sound data classified by the situation-specific classification unit 940 as case-specific data;
A feature extraction unit 960 for extracting features from the sound data stored in the case-specific data storage unit 950 using an MFCC technique;
An AI data learning unit 970 that learns the sound data extracted from the feature extraction unit 960 using a CNN technique; And
A context data mapping table unit 980 in which the data learned by the AI data learning unit 970 is classified, and the data classified in the context data mapping table unit 980 is mounted (mounted) on a moving object. It is used for sound data-based autonomous driving or safety of moving objects, but in the case of the autonomous vehicle, it is downloaded to the HDMap database (DB) 400, and in the case of a mobile object, the neckband type headphones or headphones of the mobile user are used according to the type of the moving object. , Directly downloaded to a wristwatch type, or installed directly to connect to a speaker in the case of an electric guarantee tool, or installed on a helmet in the case of a motorcycle, scooter, and quick board, and the collection data storage unit 930 and case-by-case The data storage unit 950 provides the data collected from the sound data collection and processing server composed of the database 990, processes the sound data with the neckband type headphones, which is the personal mobility of the user who is exercising, and moves it to the voice output through the speaker. Sound data collection and processing server, characterized in that to provide safety sound data.

삭제delete

차량이나 퍼스널 모빌리티를 포함하는 이동체에 부착된 마이크로부터 사운드 데이터를 수집하는 단계(S10);
상기 수집한 데이터를 데이터베이스에 저장하는 단계(S20);
상기 데이터베이스에 저장된 사운드 데이터에 대하여 상황별 분류부에서 이동체, 신호음, 환경 및 특성을 포함하는 상황별로 분류하는 단계(S30);
상기 분류된 상황별 사운드데이터는 상황(케이스별)별로 데이터베이스에 저장되는 단계(S40 내지 S70);
상기 저장된 사운드 데이터들로부터 특징추출부에서 미리 설정된 이벤트를 추출하고, 추출된 이벤트에 대하여 AI 데이터 학습부에서는 추출된 데이터와 상기 차량이나 퍼스널 모빌리티를 포함하는 이동체의 주행환경을 인지하여 인공지능(AI) 기법을 이용한 데이터 학습을 시키는 단계(S80);를 포함하여 차량에 대한 자율주행을 수행하는 자율주행 알고리즘이 저장된 자율주행 플래닝 시스템(700)이 포함된 차량 또는 이동체(퍼스널 모빌리티(PM))가 주행을 시작하는 단계(S100);
자율주행 차량 또는 이동체는 각각의 자율주행 차량 또는 이동체에 설치된 마이크를 통해 주행방향의 주변 사운드를 수집하는 단계(S110);
수집된 사운드는 사운드/데이터 변환부에서 사운드 데이터로 변환되는 단계(S120);
변환된 사운드 데이터는 자율주행 차량이나 이동체에 설치된 마이크에 따라 분류되고(S130);
분류된 방향들로부터 특징추출부를 통해 사운드 데이터의 특징이 추출되는 단계(S140);
추출된 사운드 데이터에 대하여 AI 데이터 학습부를 통해 AI 데이터 학습을 수행하는 단계(S150);
학습된 사운드 데이터에 대하여 학습데이터/테이블 검색부는 상황별 데이터 매핑 테이블을 검색하는 단계(S160);
검색결과에 따라 이동체 주행의 경우에는 이용자에게 알릴 수 있도록 사운드 데이터 처리 장치의 출력부를 통해 출력하고, 자율주행 차량의 경우에는 자율주행 차량의 플래닝 시스템으로 전송되는 단계(S170);
자율주행 차량의 플래닝 시스템은 학습데이터/테이블 검색부에서 검색된 상황별 데이터 매핑 테이블 결과값에 대하여 카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100)과, 자율주행에 필요한 고정밀 지도 데이터가 저장된 HDMap 데이터베이스(DB)(400)를 참조하여 차량 제어 유닛(200)의 엑셀레이터, 브레이크를 제어하는 것에 따라 차량 자율주행을 제어하는 단계(S180); 및
상기 사운드 수집(S110) 내지 차량 자율주행 제어(S180)는 주행이 종료될 때까지 반복되는 단계(S190)를 포함하며,
상기 자율주행 플래닝 시스템(700)은 차선 변경시 사각지대에서 차량 후방으로 접근하는 이동체의 사운드를 감지하여 차선 변경 주의를 경고하고, 구급차와 소방차를 포함하는 긴급 차량의 사운드가 후방에서 감지되면 긴급차량을 위한 양보운전을 안내하며, 주행중 주변 환경에서 경적사운드가 감지되면 차선 위반, 신호 위반, 문 열림, 타이어 이상을 포함하는 자체 안전운행 시스템의 점검 작동이 수행되며,
상기 안전운행 시스템은 카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100)과, 핸들, 엑셀레이터, 브레이크, 디스플레이로부터 동작을 감지하는 차량 제어 유닛(200)과, 상기 핸들, 엑셀레이터, 브레이크, 디스플레이의 거동을 취득하는 로깅 시스템(300)과, 넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터 및 퀵보드를 포함하는 이동체에 사운드 데이터를 수집하기 위한 마이크가 구비되어 수집되는 것으로, 버스, 덤프트럭, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레, 경찰차, 구급차, 소방차, 견인차의 클락션이나 호루라기 사운드를 포함하는 신호음, 자전거, 보행자나 러닝하는 자의 사운드, 개를 포함하는 동물의 사운드와 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로 주변의 사운드를 포함하는 주변의 환경에 따른 사운드 데이터 및 국가/도시별, 날씨/기후별, 주간/야간별 및 계절 특성별 사운드를 포함하는 사운드 데이터와, 자율주행에 필요한 고정밀 지도 데이터가 저장되되, 상기 날씨/기후별 사운드 데이터에는 눈길/빗길 사운드가 포함된 HDMap 데이터베이스(DB)(400)와, 자율주행 차량(500)의 전방, 후방, 좌측 및 우측방향을 포함하여 해당 방향의 사운드 데이터를 수집하는 사운드 데이터 수집부(610)(620)(630)(640)과, 상기 인지시스템(100)과 상기 사운드 데이터 수집부(610)(620)(630)(640)로부터 수집된 비전정보와 사운드 데이터 및 HDMap 데이터베이스(DB)(400)의 정보에 따라 차량 제어 유닛(200)을 제어하여 차량에 대한 자율주행을 수행하는 자율주행 알고리즘이 저장된 자율주행 플래닝 시스템(700);을 포함하여 구성되어, 자율주행에 필요한 고정밀 지도 데이터가 저장된 상기 HDMap 데이터베이스(DB)(400)와, 상기 사운드 데이터 수집부(610)(620)(630)(640)에서 수집된 사운드 데이터와 차량주행방향을 참조하여 자율주행하도록 되고, 차선 변경시 사각지대에서 차량 후방으로 접근하는 이동체의 사운드를 감지하여 차선 변경 주의를 경고하고, 구급차와 소방차를 포함하는 긴급 차량의 사운드가 후방에서 감지되면 긴급차량을 위한 양보운전을 안내하며, 주행중 주변 환경에서 경적사운드가 감지되면 차선 위반, 신호 위반, 문 열림, 타이어 이상을 포함하는 자체 안전운행 시스템의 점검 작동이 수행되도록 하는 사운드 데이터 기반 자율주행 시스템에 대하여,
넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터 및 퀵보드를 포함하는 이동체에 사운드 데이터를 수집하기 위한 마이크가 구비되어 수집되는 것으로, 버스, 덤프트럭, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레, 경찰차, 구급차, 소방차, 견인차의 클락션이나 호루라기 사운드를 포함하는 신호음, 자전거의 사운드, 보행자나 러닝하는 자의 사운드, 개를 포함하는 동물의 사운드와 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로 주변의 사운드를 포함하는 주변의 환경에 따라 수집된 사운드 데이터를 입력받되, USB 또는 인터넷을 포함하는 통신망에 연결되는 인터페이스부(910);
인터페이스부(910)를 통해 입력된 사운드 데이터를 수집하는 사운드 데이터 수집부(920);
상기 사운드 데이터 수집부(920)에 수집된 데이터를 저장하는 수집 데이터 저장부(930);
상기 수집 데이터 저장부(930)에 저장된 사운드 데이터를 이동체, 신호음, 환경 및 특성을 포함하는 상황별로 분류하되, 국가/도시별, 날씨/기후별, 주간/야간별 및 계절과 같은 특성별 사운드를 상황별로 분류하는 상황별 분류부(940);
상기 상황별 분류부(940)에서 분류된 사운드 데이터를 케이스별 데이터로 저장하는 케이스별 데이터 저장부(950);
상기 케이스별 데이터 저장부(950)에 저장된 사운드 데이터에서 특징을 MFCC 기법으로 추출하는 특징추출부(960);
상기 특징추출부(960)에서 추출된 사운드 데이터를 CNN 기법으로 학습하는 AI데이터 학습부(970); 및
상기 AI데이터 학습부(970)에서 학습된 데이터가 분류되는 상황 데이터 매핑 테이블부(980);를 포함하여 구성되고, 상기 상황 데이터 매핑 테이블부(980)에 분류된 데이터는 이동체에 실장(탑재)되어 사운드 데이터 기반 자율주행이나 이동체 이동 안전에 이용되되, 상기 자율주행 차량의 경우에는 HDMap 데이터베이스(DB)(400)에 다운로드되고, 이동체의 경우에는 이동체의 종류에 따라서 이동체 이용자의 넥밴드형 헤드폰이나, 손목시계형에 직접 다운로드되거나, 전동보장구의 경우에는 전동보장구에 스피커와 연결되도록 직접 설치되거나, 오토바이, 스쿠터, 퀵보드의 경우에는 헬멧에 설치되며, 상기 수집 데이터 저장부(930)와, 케이스별 데이터 저장부(950)는 데이터베이스(990)로 구성되는 사운드 데이터 수집 및 가공 서버에서 수집된 데이터가 이용되는 것을 특징으로 하는 사운드 데이터 기반 주행 방법.Collecting sound data from a microphone attached to a vehicle or a moving object including personal mobility (S10);
Storing the collected data in a database (S20);
Classifying the sound data stored in the database for each situation including a moving object, a signal sound, an environment, and a characteristic by a situation classification unit (S30);
Storing the classified sound data for each situation in a database for each situation (for each case) (S40 to S70);
The feature extraction unit extracts a preset event from the stored sound data, and for the extracted event, the AI data learning unit recognizes the extracted data and the driving environment of the vehicle or a moving object including personal mobility. ) A vehicle or a moving object (Personal Mobility (PM)) including the autonomous driving planning system 700 in which the autonomous driving algorithm for performing autonomous driving for the vehicle is stored, including the step of learning data using the technique (S80). Starting driving (S100);
The autonomous driving vehicle or the moving object collects ambient sound in the driving direction through a microphone installed in each autonomous driving vehicle or moving object (S110);
Converting the collected sound into sound data in a sound/data conversion unit (S120);
The converted sound data is classified according to a microphone installed in an autonomous vehicle or a moving object (S130);
Extracting features of sound data from the classified directions through a feature extracting unit (S140);
Performing AI data learning on the extracted sound data through an AI data learning unit (S150);
For the learned sound data, the learning data/table search unit searches a data mapping table for each situation (S160);
In the case of driving a mobile object according to the search result, outputting through the output unit of the sound data processing device so as to notify the user, and transmitting it to the planning system of the autonomous vehicle in the case of an autonomous vehicle (S170);
The self-driving vehicle planning system includes a recognition system 100 that recognizes data collected from cameras, GPS, and LiDAR with respect to the result value of the data mapping table for each situation searched by the learning data/table search unit, and for autonomous driving. Controlling the vehicle autonomous driving by controlling the accelerator and brake of the vehicle control unit 200 with reference to the HDMap database (DB) 400 in which necessary high-precision map data is stored (S180); And
The sound collection (S110) to vehicle autonomous driving control (S180) includes a repeating step (S190) until the driving ends,
The autonomous driving planning system 700 detects the sound of a moving object approaching the rear of the vehicle from the blind spot when the lane is changed to warn of lane change attention, and when the sound of an emergency vehicle including an ambulance and a fire engine is detected from the rear, the emergency vehicle When a horn sound is detected in the surrounding environment while driving, an inspection operation of the self-safe driving system including lane violation, signal violation, door open, and tire abnormality is performed.
The safe driving system includes a recognition system 100 that recognizes data collected from a camera, GPS, and LiDAR, a vehicle control unit 200 that detects motion from a steering wheel, an accelerator, a brake, and a display, and the steering wheel. , A logging system 300 for acquiring the behavior of an accelerator, a brake, and a display, and a neckband type, a wrist watch type, a microphone for collecting sound data on a moving body including a motorbike, a scooter, and a quick board Is equipped and collected, such as buses, dump trucks, ready-mixed concrete, sports cars, passengers/vans, sweepers, handcarts, police cars, ambulances, fire trucks, towing trucks, beeps including clocks and whistle sounds, bicycles, sounds of pedestrians or runners Sound data according to the surrounding environment, including sounds of animals including dogs and sounds of construction sites, bridges/piers, trails, railroad crossings, highways, tunnels, overpasses, unpaved roads, coastal roads, and tiled roads And sound data including sounds for each country/city, weather/climate, day/night and seasonal characteristics, and high-precision map data necessary for autonomous driving, but the weather/climate sound data contains snow/rain sound. HDMap database (DB) 400 including, and a sound data collection unit 610, 620, for collecting sound data in a corresponding direction, including the front, rear, left and right directions of the autonomous vehicle 500 630) 640, vision information and sound data collected from the recognition system 100 and the sound data collection unit 610, 620, 630, 640, and information of the HDMap database (DB) 400 An autonomous driving planning system 700 in which an autonomous driving algorithm for performing autonomous driving for a vehicle is stored by controlling the vehicle control unit 200 according to the HDMap database, including, and storing high-precision map data required for autonomous driving. (DB) 400, and the sound collected by the sound data collection unit 610, 620, 630, 640 Autonomous driving is performed by referring to the data and vehicle driving direction.When a lane is changed, the sound of a moving object approaching the rear of the vehicle is detected to warn of lane change attention, and the sound of emergency vehicles including ambulances and fire engines is transmitted from the rear. When detected, it guides yielding driving for emergency vehicles, and when a horn sound is detected in the surrounding environment while driving, it is sound data-based autonomy that checks and operates the self-safe driving system including lane violations, signal violations, door openings, and tire abnormalities. About the driving system,
Equipped with a microphone for collecting sound data on moving objects including neckband type, wrist watch type, electric security equipment for the elderly or the disabled, motorcycles, scooters, and quick boards, buses, dump trucks, ready-mixed concrete, sports cars, passengers/ Vans, sweepers, carts, police cars, ambulances, fire trucks, towing trucks, beeps including clock or whistle sounds, bicycle sounds, pedestrians or runners, animals including dogs and construction sites, bridges/piers, It receives sound data collected according to the surrounding environment including the sound around the trail, railroad crossing, highway, tunnel, overpass, unpaved road, coastal road, and tile road, but connected to a communication network including USB or the Internet. An interface unit 910;
A sound data collection unit 920 that collects sound data input through the interface unit 910;
A collection data storage unit 930 for storing data collected in the sound data collection unit 920;
The sound data stored in the collected data storage unit 930 is classified by situations including moving objects, signal sounds, environments, and characteristics, and sounds according to characteristics such as country/city, weather/climate, day/night and season A situation classification unit 940 for classifying each situation;
A case-specific data storage unit 950 for storing sound data classified by the situation-specific classification unit 940 as case-specific data;
A feature extraction unit 960 for extracting features from sound data stored in the case-specific data storage unit 950 using an MFCC technique;
An AI data learning unit 970 that learns the sound data extracted from the feature extraction unit 960 using a CNN technique; And
A context data mapping table unit 980 in which the data learned by the AI data learning unit 970 is classified, and the data classified in the context data mapping table unit 980 is mounted (mounted) on a moving object. It is used for sound data-based autonomous driving or mobile movement safety, but in the case of the autonomous vehicle, it is downloaded to the HDMap database (DB) 400, and in the case of a mobile object, the neckband type headphones or headphones of the mobile user are used according to the type of the mobile object. , Directly downloaded to a wristwatch type, or installed directly to connect to a speaker in the case of an electric guarantee tool, or installed on a helmet in the case of a motorcycle, scooter, and quick board, and the collection data storage unit 930 and case-by-case The data storage unit 950 is a sound data-based driving method, characterized in that the data collected from the sound data collection and processing server consisting of the database 990 is used.

삭제delete