KR102247023B1

KR102247023B1 - 사운드 데이터 기반 자율주행 시스템, 이동체 이동 안전 시스템 및 방법

Info

Publication number: KR102247023B1
Application number: KR1020200055504A
Authority: KR
Inventors: 최기영
Original assignee: 주식회사 사운드에어
Priority date: 2020-05-08
Filing date: 2020-05-08
Publication date: 2021-05-03

Abstract

발명은 청각이라는 부분을 활용한 사운드 데이터의 학습을 통해 비전 중심의 고가의 기술 원가를 절감할 수 있으며, 불완전한 사고 사각지대를 보완할 수 있는 기술로 활용할 경우 사고가 발생할 때마다 반복적으로 카메라 센서를 늘이는 것보다 훨씬 저렴하고 그 효과는 더 클 것으로 예상되고, 도로나 인도를 포함하는 사람이나 차량이 다니는 인도나 도로 등지에서 발생하는 다양한 사운드 데이터를 수집하고, 이를 다양한 주행환경과 상황에 맞게 분류하여 데이터베이스화한 후 이를 데이터로 가공하고, 차량 이외의 이동수단을 통해 도로를 주행 중이거나 운동 중인 이용자에게 이용자가 착용한 마이크를 통해 수집한 도로나 주행중인 길에서 수집되는 사운드 데이터를 분석한 데이터를 제공하여 퍼스널 모빌리티 이용자가 미처 인식하지 못할 수 있는 주행이나 운동 중 필요한 정보를 전달하여 이동체의 안전한 주행은 물론 보행자의 안전 보행도 가능하도록 한 사운드 데이터 기반 이동체 이동 안전 시스템 및 방법을 제공하고자 한다.

Description

사운드 데이터 기반 자율주행 시스템, 이동체 이동 안전 시스템 및 방법{Autonomous driving system based on sound data, mobile moving safety system and method}

발명은 사운드 데이터 기반 자율주행 및 이동체의 이동 안전에 관한 것으로, 더욱 상세하게는 전방, 후방, 좌측 및 우측 중 어느 한 방향 이상에 적어도 하나 이상의 지향성 마이크를 배치하고 수집한 사운드 데이터를 이용하여 차량을 포함하는 이동체의 안전한 이동 및 자율주행과 그에 따른 보행자의 안전 보행도 가능하도록 한 사운드 데이터 기반 자율주행 시스템, 이동체 이동 안전 시스템 및 방법에 관한 것이다.

최근 자율주행 자율주행(Autonomous Navigation) 차량이 급속도로 발전하고 상용화되고 있다. 이러한 자율주행 차량은 운전자가 운전에 개입하지 않고 빠르고 안전하게 목적지까지 차량의 주행을 제어한다.

이러한 자율주행은 인공지능 SW와, 카메라ㆍ센서에 의존하는 기술로, 사람은 시각과 청각을 활용해 도로 상황을 인지ㆍ파악하는 반면, 자율주행은 카메라ㆍ센서에 의존해 주행상황 판단 및 경로를 결정하고 있다.

이하 첨부된 도면을 참조하여 종래 기술에 따른 차량 자율주행에 대하여 설명하기로 한다.

도 1은 일반적인 자율주행차의 주요 장치를 설명하기 위한 도면이다.

일반적인 자율주행차의 주요 장치는 도 1에 나타낸 바와 같이, 자율주행 차량의 전방과 후방에 각각 설치되어 전후방 차량 등 근접 장애물을 인식하는 전후방 레이더 센서와, 차량의 위치를 수신하기 위한 위치정보 안테나인 GPS와, 병렬로 연결된 여러 대의 카메라로 주변 사물과 빛, 사람들을 인식하는 병렬연결 카메라 및 차량의 측면과 후방에 설치되어 자율주행차 후방과 측면 주변의 사물과 빛 사람을 인식하는 측면, 후방 카메라와, 레이저빔을 이용해 주변환경을 360도 인식하는 360도 라이다 및 주로 트렁크에 위치하여 탐지된 정보를 바탕으로 입력된 지도의 위치정보와 비교하여 현재상태를 판단하는 메인 컴퓨터로 구성된다.

도 2 내지 도 4는 일반적인 종래 자율주행차의 센서와 카메라수를 설명하기 위한 도면이다.

일반적인 종래 자율주행차의 센서와 카메라는 도 2 및 도 3에 나타낸 바와 같이 레벨에 따라 센서와 카메라의 개수에는 차이가 있다. 이러한 자율주행기술은 운전자의 눈 역할을 하는 각종 카메라 센서와 인간의 뇌를 대신하는 인공지능이 운전자의 역할을 하는 로봇이 수행한다고 할 수 있다.

현재의 자율 주행 기술을 개발하는 모든 업체는 여전히 카메라 센서 기반의 비전(Vision) 중심의 기술개발에만 치중하고 있어 현재의 자율주행에 따른 인공지능은 귀머거리 로봇이 운전을 하고 있다고 봐도 무관하다 할 수 있다.

2017년 이전의 자율주행 기술은 카메라 센서에 의존한 비전기술에만 집중되어있다. 그러나 이와 같은 비전기술만으로 불완전한 자율 주행 기술로 인해 사망자 사고가 계속 되고 있고 또, 이러한 사고가 발생할 때마다 사고 예방을 위해서 카메라나 레이더만으로 해결되지 않는 문제를 위해 2018년부터는 라이더와 각종 센서들을 보완기술로 대체 또는 활용이 증가되고 있다.

즉 현재의 자율주행 기술은 주로 카메라 센서에 의존한 비전에만 집중되어 있다. 그러나 이러한 비전기술만으로 불완전한 자율 주행 기술로 인해 사망자 사고가 계속 되고 있고 또한 이러한 사고가 발생할 때마다 사고 예방을 위해서 카메라나 레이더만으로 해결되지 않는 문제를 위해 라이더와 각종 센서들을 보완기술로 대체 또는 활용하는 기술이 증가되고 있다. 그러나 역광 및 인공지능의 오판으로 인한 사고가 계속되고 있다는 것은 크나큰 문제가 아닐 수 없다.

한편 도 4에서와 같이 향후, 자율주행 레벨이 상승할 때마다 각종 센서와 카메라 개수가 증가하는 만큼 처리해야 하는 데이터량과 복잡도가 증가함에 따라 개발원가도 상승하는 부담이 있다.

또한 레벨 3이상의 고가의 자율주행 차량에 이용되는 라이더(Lider)라는 부품은 10여년 전보다 1/10 정도로 가격이 하락되었음에도 불구하고 현재에도 개당 7000달러라는 고가의 부품이다.

완전 자율주행 단계인 레벨5에서는 총 4개의 라이더가 필요하다면 가격만 현재 기준으로 이미 2만 8천 달러로 차량 가격은 이미 시장에서는 현실적 판매가격을 책정하기 어렵다고 봐야 할 것이다.

한편 도 5는 개인 이동수단인 퍼스널 모빌리티(Personal Mobility : PM)에 대한 도로 규정을 나타낸 도면이고, 도 6은 국내 퍼스널 모빌리티 시장 규모를 나타낸 도면이며, 도 7은 국내 퍼스널 모빌리티에 의한 교통사고 현황을 나타낸 도면이고, 도 8은 국내 총인구 대비 연령대별 비중 및 초등학생 보행사고 현황과 전동보장구 이용자의 사고유형을 나타낸 도면이다.

개인 이동수단인 퍼스널 모빌리티에 대한 도로 규정은 도 5에 나타낸 바와 같은데, 시장규모는 도 6에 나타낸 바와 같이 점차로 확대되고 있다. 또한 그에 따라 도 7에서와 같이 퍼스널 모빌리티의 교통사고 현황 및 사상사의 현황 역시 점차로 증가하는 추세에 있다. 또한 국내 총인구 대비 연령대별 비중 및 초등학생 보행사고 현황과 전동보장구 이용자의 사고유형에서 보여주는 바와 같이 초등학생의 경우 횡단 중 사고가 많으며, 특히 초등학생의 경우 무단횡단에 의한 사고 비중이 49.3% 정도이다.

또한 도 8에서와 같이 주로 노인이나 장애인들이 많이 이용하는 전동보장구의 경우에도 이용자 사고유형을 보면 차량충돌과 보행자 충돌사고가 비교적 많음을 알 수 있다. 이러한 초등학생이나 노인들의 사고는 5세 이하 연령대는 인구비중이 점차로 줄어들 것으로 예상되므로 사고를 더욱 방지하여야 하고, 65세이상 노년층의 경우 점차로 증가할 것으로 예상되므로 이러한 노년층의 사고 비중 역시 점차로 증가할 것으로 예상되고 있다.

최근의 자율주행기술의 개발은 기존 전통적인 차량 업체뿐만이 아닌 인공지능 스타트업들의 진출이 활발하다. 특히, 실리콘밸리의 Comma.ai라는 스타트업의 경우 주행환경 데이터 학습만으로 4주만에 자율주행 기본 기능을 구현하는 등 다양한 인공지능 기술 스타트업들이 비전 데이터 학습만으로도 자율주행 기술을 구현하는 실정이다.

이처럼 자율주행 시스템 개발에서는 다양한 환경에서의 실제 주행 데이터 수집이 필수이자, 경쟁력의 핵심이라는 걸 알 수 있다. 향후 자율주행 기술의 본격 개발 경쟁에 있어서 실제 주행 데이터 확보가 선두-후발업체간 격차가 심화될 것으로 예상된다.

자율 주행이 기술적으로 혁신적이고 첨단 기술이라 하더라도 시장에서 상품으로 수용하기에는 현실성이 부족하다고 봐야 하고 자율주행 시장은 지금의 예측보다 더 요원하다고 예상된다.

이와 같은 카메라와 센서 데이터 증가에 따라 앞에서도 설명한 바와 같이 실시간 처리를 위해서는 훨씬 더 고가이면서 고성능의 프로세서를 필요로 한다.

참고로, 사운드 데이터는 비전 데이터보다 훨씬 더 경량화/저비용으로 처리 가능하다. 예를 들어 CD수준의 음악을 저장하는데 10MB/60sec 필요한 반면, 비디오 동영상은 27MB/1sce 저장 용량 필요하다.

최근에는 이러한 사운드 데이터를 차량에 적용하려는 연구가 많이 시도되고 있다.

대한민국 공개특허 제10-2018-0133704호 - 자율주행 경고 장치, 그를 포함한 시스템 및 그 방법 대한민국 등록특허 제10-2027646호 - 트래픽 사운드 데이터를 처리하여 운전자 보조를 제공하기 위한 시스템 및 방법

본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 개발된 것으로, 청각이라는 부분을 활용한 사운드 데이터의 학습을 통해 비전 중심의 고가의 기술 원가를 절감할 수 있으며, 불완전한 사고 사각지대를 보완할 수 있는 기술로 활용할 경우 사고가 발생할 때마다 반복적으로 카메라 센서를 늘이는 것보다 훨씬 저렴하고 그 효과는 더 클 것으로 예상되는 사운드 데이터 기반 자율주행 시스템, 이동체 이동 안전 시스템 및 방법을 제공하는데 그 목적이 있다.

또한 본 발명은 도로나 인도를 포함하는 사람이나 차량이 다니는 인도나 도로 등지에서 발생하는 다양한 사운드 데이터를 수집하고, 이를 다양한 주행환경과 상황에 맞게 분류하여 데이터베이스화한 후 이를 데이터로 가공하고, 차량 이외의 이동수단을 통해 도로를 주행 중이거나 운동 중인 이용자에게 이용자가 착용한 마이크를 통해 수집한 도로나 주행중인 길에서 수집되는 사운드 데이터를 분석한 데이터를 제공하여 퍼스널 모빌리티 이용자가 미처 인식하지 못할 수 있는 주행이나 운동 중 필요한 정보를 전달하여 이동체의 안전한 주행은 물론 보행자의 안전 보행도 가능하도록 한 사운드 데이터 기반 이동체 이동 안전 시스템 및 방법을 제공하는데 다른 목적이 있다.

이러한 목적을 해결하기 위한 본 발명은, 카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100); 핸들, 엑셀레이터, 브레이크, 디스플레이로부터 동작을 감지하는 차량 제어 유닛(200); 상기 핸들, 엑셀레이터, 브레이크, 디스플레이의 거동을 취득하는 로깅 시스템(300); 넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터 및 퀵보드를 포함하는 이동체에 사운드 데이터를 수집하기 위한 마이크가 구비되어 수집되는 것으로, 버스, 덤프트럭, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레, 경찰차, 구급차, 소방차, 견인차의 클락션이나 호루라기 사운드를 포함하는 신호음, 자전거, 보행자나 러닝하는 자의 사운드, 개를 포함하는 동물의 사운드와 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로 주변의 사운드를 포함하는 주변의 환경에 따른 사운드 데이터 및 국가/도시별, 날씨/기후별, 주간/야간별 및 계절 특성별 사운드를 포함하는 사운드 데이터와, 자율주행에 필요한 고정밀 지도 데이터가 저장된 HDMap 데이터베이스(DB)(400); 자율주행 차량(500)의 전방, 후방, 좌측 및 우측방향을 포함하여 해당 방향의 사운드 데이터를 수집하는 사운드 데이터 수집부(610)(620)(630)(640); 상기 인지시스템(100)과 상기 사운드 데이터 수집부(610)(620)(630)(640)로부터 수집된 비전정보와 사운드 데이터 및 HDMap 데이터베이스(DB)(400)의 정보에 따라 차량 제어 유닛(200)을 제어하여 차량에 대한 자율주행을 수행하는 자율주행 알고리즘이 저장된 자율주행 플래닝 시스템(700);을 포함하여 구성되되, 상기 자율주행 플래닝 시스템(700)은, 상기 자율주행 플래닝 시스템(700)은 상기 자율주행에 필요한 고정밀 지도 데이터가 저장된 HDMap 데이터베이스(DB)(400)와, 상기 사운드 데이터 수집부(610)(620)(630)(640)에서 수집된 사운드 데이터와 차량주행방향을 참조하여 자율주행하도록 되고, 차선 변경시 사각지대에서 차량 후방으로 접근하는 이동체의 사운드를 감지하여 차선 변경 주의를 경고하고, 구급차와 소방차를 포함하는 긴급 차량의 사운드가 후방에서 감지되면 긴급차량을 위한 양보운전을 안내하며, 주행중 주변 환경에서 경적사운드가 감지되면 차선 위반, 신호 위반, 문 열림, 타이어 이상을 포함하는 자체 안전운행 시스템의 점검 작동이 수행되는 것을 특징으로 하는 사운드 데이터 기반 자율주행 시스템을 제공한다.

삭제

한편 상기한 목적을 달성하기 위하여 본 발명은 넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터 및 퀵보드를 포함하는 이동체에 사운드 데이터를 수집하기 위한 마이크가 구비되어 수집되는 것으로, 버스, 덤프트럭, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레, 경찰차, 구급차, 소방차, 견인차의 클락션이나 호루라기 사운드를 포함하는 신호음, 자전거의 사운드, 보행자나 러닝하는 자의 사운드, 개를 포함하는 동물의 사운드와 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로 주변의 사운드를 포함하는 주변의 환경에 따라 수집된 사운드 데이터를 입력받되, USB 또는 인터넷을 포함하는 통신망에 연결되는 인터페이스부(910); 인터페이스부(910)를 통해 입력된 사운드 데이터를 수집하는 사운드 데이터 수집부(920); 상기 사운드 데이터 수집부(920)에 수집된 데이터를 저장하는 수집 데이터 저장부(930); 상기 수집 데이터 저장부(930)에 저장된 사운드 데이터를 이동체, 신호음, 환경 및 특성을 포함하는 상황별로 분류하되, 국가/도시별, 날씨/기후별, 주간/야간별 및 계절과 같은 특성별 사운드를 상황별로 분류하는 상황별 분류부(940); 상기 상황별 분류부(940)에서 분류된 사운드 데이터를 케이스별 데이터로 저장하는 케이스별 데이터 저장부(950); 상기 케이스별 데이터 저장부(950)에 저장된 사운드 데이터에서 특징을 MFCC 기법으로 추출하는 특징추출부(960); 상기 특징추출부(960)에서 추출된 사운드 데이터를 CNN 기법으로 학습하는 AI데이터 학습부(970); 및 상기 AI데이터 학습부(970)에서 학습된 데이터가 분류되는 상황 데이터 매핑 테이블부(980);를 포함하여 구성되고, 상기 상황 데이터 매핑 테이블부(980)에 분류된 데이터는 이동체에 실장(탑재)되어 사운드 데이터 기반 자율주행이나 이동체 이동 안전에 이용되되, 상기 자율주행 차량의 경우에는 HDMap 데이터베이스(DB)(400)에 다운로드되고, 이동체의 경우에는 이동체의 종류에 따라서 이동체 이용자의 넥밴드형 헤드폰이나, 손목시계형에 직접 다운로드되거나, 전동보장구의 경우에는 전동보장구에 스피커와 연결되도록 직접 설치되거나, 오토바이, 스쿠터, 퀵보드의 경우에는 헬멧에 설치되며, 상기 수집 데이터 저장부(930)와, 케이스별 데이터 저장부(950)는 데이터베이스(990)로 구성됨을 특징으로 하는 사운드 데이터 수집 및 가공 서버를 제공한다.

삭제

한편 상기한 목적을 달성하기 위하여 본 발명은 차량에 대한 자율주행을 수행하는 자율주행 알고리즘이 저장된 자율주행 플래닝 시스템(700)이 포함된 차량 또는 이동체(퍼스널 모빌리티(PM))이 주행을 시작하는 단계(S100); 자율주행 차량 또는 이동체는 각각의 자율주행 차량 또는 이동체에 설치된 마이크를 통해 주행방향의 주변 사운드를 수집하는 단계(S110); 수집된 사운드는 사운드/데이터 변환부에서 사운드 데이터로 변환되는 단계(S120); 변환된 사운드 데이터는 자율주행 차량이나 이동체에 설치된 마이크에 따라 분류되고(S130); 분류된 방향들로부터 특징추출부를 통해 사운드 데이터의 특징이 추출되는 단계(S140); 추출된 사운드 데이터에 대하여 AI 데이터 학습부를 통해 AI 데이터 학습을 수행하는 단계(S150); 학습된 사운드 데이터에 대하여 학습데이터/테이블 검색부는 상황별 데이터 매핑 테이블을 검색하는 단계(S160); 검색결과에 따라 이동체 주행의 경우에는 이용자에게 알릴 수 있도록 사운드 데이터 처리 장치의 출력부를 통해 출력하고, 자율주행 차량의 경우에는 자율주행 차량의 플래닝 시스템으로 전송되는 단계(S170); 자율주행 차량의 플래닝 시스템은 학습데이터/테이블 검색부에서 검색된 상황별 데이터 매핑 테이블 결과값에 대하여 카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100)과, 자율주행에 필요한 고정밀 지도 데이터가 저장된 HDMap 데이터베이스(DB)(400)를 참조하여 차량 제어 유닛(200)의 엑셀레이터, 브레이크를 제어하는 것에 따라 차량 자율주행을 제어하는 단계(S180); 및 상기 사운드 수집(S120) 내지 차량 자율주행 제어(S180)는 주행이 종료될 때까지 반복되는 단계(S190)를 포함하며, 상기 자율주행 플래닝 시스템(700)은 차선 변경시 사각지대에서 차량 후방으로 접근하는 이동체의 사운드를 감지하여 차선 변경 주의를 경고하고, 구급차와 소방차를 포함하는 긴급 차량의 사운드가 후방에서 감지되면 긴급차량을 위한 양보운전을 안내하며, 주행중 주변 환경에서 경적사운드가 감지되면 차선 위반, 신호 위반, 문 열림, 타이어 이상을 포함하는 자체 안전운행 시스템의 점검 작동이 수행되는 것을 특징하는 으로 하는 사운드 데이터 기반 주행 방법을 제공한다.

삭제

본 발명은 다음과 같은 효과가 있다.

첫째, 비전 중심의 자율주행 시스템에 청각이라는 부분을 활용한 사운드 데이터의 학습을 통해 비교적 저렴한 비용으로 기술 원가를 절감하면서도 비전만을 이용하던 방식에 비해 불완전한 사고 사각지대를 보완할 수 있어 불필요한 자율주행 차량 사고를 줄이거나 방지할 수 있다.

둘째, 전방, 후방, 좌측 및 우측을 포함하는 서로 다른 복수의 방향에 복수의 지향성 마이크를 배치하여, 복수의 지향성 마이크로부터 수집한 사운드 데이터를 이용하여 차량의 안전한 자율주행 시 보행자의 안전 보행을 더욱 향상시킬 수 있다.

셋째, 도로나 인도를 포함하는 사람이나 차량이 다니는 인도나 도로 등지에서 발생하는 다양한 사운드 데이터를 수집하고, 이를 다양한 주행환경과 상황에 맞게 분류하여 데이터베이스화한 후 이를 데이터로 가공하고, 차량 이외의 이동수단을 통해 도로를 주행 중이거나 운동 중인 이용자에게 이용자가 착용한 마이크를 통해 수집한 도로나 주행중인 길에서 수집되는 사운드 데이터를 분석한 데이터를 제공하여 퍼스널 모빌리티 이용자가 미처 인식하지 못할 수 있는 주행이나 운동 중 필요한 정보를 전달받도록 하여 이동체의 안전한 주행은 물론 보행자의 안전 보행도 가능하도록 할 수 있다.

넷째, 보행자의 숨사운드 정보를 포함하는 사운드 데이터와 함께 날씨 정보와 사고다발 지역정보 및 네비게이션 정보를 종합적으로 이용하여 사고다발지역에서 자동적으로 안전한 자율주행을 하도록 하고, 차량대 사람이나 퍼스널 모빌리티와 보행자간의 사고를 예방할 수 있다.

도 1은 일반적인 자율주행차의 주요 장치를 설명하기 위한 도면이다.
도 2 내지 도 4는 일반적인 자율주행차의 센서와 카메라수를 설명하기 위한 도면이다.
도 5는 개인 이동수단인 퍼스널 모빌리티에 대한 도로 규정을 나타낸 도면이다.
도 6은 국내 퍼스널 모빌리티 시장 규모를 나타낸 도면이다.
도 7은 국내 퍼스널 모빌리티에 의한 교통사고 현황을 나타낸 도면이다.
도 8은 국내 총인구 대비 연령대별 비중 및 초등학생 보행사고 현황과 전동보장구 이용자의 사고유형을 나타낸 도면이다.
도 9는 사람이 얻는 감각 정보의 비율을 나타낸 도면이다.
도 10은 본 발명에 따른 사운드 데이터 기반 자율주행 시스템을 설명하기 위한 도면이다.
도 11은 본 발명 실시예에 따른 사운드 데이터 기반 자율주행 시스템 및 이동체 이동 안전 시스템을 위한 데이터 수집 및 가공 방법을 개략적으로 설명하기 위한 흐름도이다.
도 12는 본 발명에 따른 사운드 데이터 기반 이동체 이동 안전 시스템에서 사운드 데이터를 수집하기 위한 이동체에 구비되는 마이크 위치의 예를 나타낸 도면이다.
도 13은 본 발명에 따른 사운드 데이터 기반 자율주행 시스템 및 이동체 이동 안전 시스템에서 수집되는 사운드 데이터 세트(data set)의 예를 나타낸 도면이다.
도 14 내지 도 16은 실제수집 사운드 데이터를 스펙트럼으로 나타낸 도면이다.
도 17은 도 11에 나타낸 데이터 수집 및 가공에 따라 자율주행 시스템 및 이동체 이동 안전 시스템에서 사운드 데이터 처리를 수행하는 사운드 데이터 처리 장치의 실시예를 설명하기 위한 도면이다.
도 18은 본 발명 실시예에 따른 사운드 데이터 기반 자율주행과 이동체 이동 안전 주행을 위한 사운드 데이터 수집 및 가공 서버를 설명하기 위한 블록 구성도이다.
도 19는 본 발명에 따른 사운드 데이터 기반 자율주행 방법을 설명하기 위한 흐름도이다.

본 발명의 바람직한 실시 예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 또한 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

도 9는 사람이 얻는 감각 정보의 비율을 나타낸 도면이다.

현재의 자율주행기술은 운전자의 눈 역할을 하는 각종 카메라 센서와 인간의 뇌를 대신하는 인공지능이 운전자의 역할을 하는 로봇이다. 현재의 자율 주행 기술을 개발하는 모든 업체는 여전히 카메라 센서 기반의 비전 중심의 기술개발에만 치중하고 있어 현재의 자율주행이 인공지능은 귀머거리 로봇이 운전을 하고 있다고 봐도 무관하다. 하지만 인간의 뇌는 시각 외에도 청각, 후각, 미각, 촉각 등을 이용하여 환경 및 상황을 인지할 수 있는 감각을 가지고 있다.

마치 시각 장애인이 앞을 보지 못하더라도 청각에만 의존하여 보행을 할 수 있는 것과 같은 원리라고 생각할 수 있다. 다만, 온전한 시각 정보를 가진 사람보다 속도가 느릴 뿐이지만, 충분히 보조적 감각으로 청각의 활용을 보행이라는 기능을 수행할 수 있다. 참고로, 뇌가 인지하는 정보는 시각 80%, 청각 10%, 후각, 촉각, 미각 순서이다. 이때, 시각과 청각을 통해서 90%정도의 정보를 얻는 것을 알 수 있다.

따라서, 본 발명에서는 청각이라는 부분을 활용한 사운드 데이터의 학습을 통해 비전 중심의 고가의 기술 원가를 절감할 수 있으며, 불완전한 사고 사각지대를 보완할 수 있는 기술로 활용할 경우 사고가 발생할 때마다 반복적으로 카메라 센서를 늘이는 것보다 훨씬 저렴하고 효과가 클 것이다.

이와 같은 경우 테슬라의 T3가 비보호 좌회전을 하려는 흰색 트레일러를 하늘과 오인하여 충돌한 사례에서 보여주듯이 만일 사람처럼 교차로에서 좌회전을 하는 트레일러의 사운드를 인지하고, 속도를 줄이거나, 블레이크를 작동했더라면 자율주행차가 그대로 충돌하여 사망 사고를 일으키는 사건은 발생하지 않을 것이다. 이러한 사운드는 비전이 취약한 구간이나 사각지대에서 발생할 수 있는 사고들을 획기적으로 줄여나갈 수 있을 것이다.

도 10은 본 발명에 따른 사운드 데이터 기반 자율주행 시스템을 설명하기 위한 도면이다.

본 발명에 따른 사운드 데이터 기반 자율주행 시스템은 도 10에 도시된 바와 같이, 카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100)과, APM(조향핸들, 조향장치), 엑셀레이터, 브레이크, 디스플레이로부터 동작을 감지하는 차량 제어 유닛(200)과, APM, 엑셀레이터, 브레이크, 디스플레이의 거동을 취득하는 로깅 시스템(300)과, 사운드 데이터를 포함하고, 자율주행에 필요한 고정밀 지도 데이터가 저장된 HDMap 데이터베이스(DB)(400)와, 자율주행 차량(500)의 전방, 후방, 좌측 및 우측방향을 포함하여 해당 방향의 사운드 데이터를 수집하는 사운드 데이터 수집부(610)(620)(630)(640)와, 인지시스템(100)과 사운드 데이터 수집부(610)(620)(630)(640)로부터 수집된 비전정보와 사운드 정보 및 HDMap 데이터베이스(DB)(400)의 정보에 따라 차량 제어 유닛(200)을 제어하여 차량에 대한 자율주행을 수행하는 자율주행 알고리즘이 저장된 자율주행 플래닝 시스템(700)을 포함하여 구성된다.

도 11은 본 발명에 따른 사운드 데이터 기반 자율주행 시스템 및 이동체 이동 안전 시스템을 위한 데이터 수집 및 가공 방법을 개략적으로 설명하기 위한 흐름도이고, 도 12는 본 발명에 따른 사운드 데이터 기반 이동체 이동 안전 시스템에서 사운드 데이터를 수집하기 위한 이동체에 구비되는 마이크 위치의 예를 나타낸 도면이며, 도 13은 본 발명에 따른 사운드 데이터 기반 자율주행 시스템 및 이동체 이동 안전 시스템에서 수집되는 사운드 데이터 세트(data set)의 예를 나타낸 도면이고, 도 14 내지 도 16은 실제수집 사운드 데이터를 스펙트럼으로 나타낸 도면이다.

본 발명에 따른 사운드 데이터 기반 자율주행 시스템 및 이동체 이동 안전 시스템을 위한 데이터 수집 및 가공 방법은 도 11에 나타낸 바와 같은데, 우선 도 10과 같은 차량과 도 12에서와 같이 차량의 포함하는 다양한 이동체를 통해 구비된 마이크를 통해 사운드 데이터를 수집한다(S10). 이러한 이동체 도 12 및 도 13에 도시된 바와 같이 사람의 목에 거는 넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터, 퀵보드, 승합차, 버스, 덤프트럭, 컨테이너, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레 등이 될 수 있다. 또한 이동체 자체에서 발생되는 사운드뿐 아니라, 앰블란스, 경찰차, 구급차, 소방차, 견인차, 클락션, 호루라기 사운드와 같은 신호음과, 도로뿐 아니라 도로변의 자전거, 보행자나 러닝하는 자의 사운드, 음악이나, 음향, 개를 포함하는 동물의 사운드(지방의 경우 야간에 소나 말, 염소 등의 각종 동물 사운드), 캐리어, 거리 공연 사운드 등을 수집한다. 또한 환경에 따라서 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로, 비보호 신호시 주변의 사운드와 같은 주변의 환경에 따른 사운드 데이터 및 국가/도시별, 날씨/기후별, 주간/야간별 및 계절과 같은 특성별 사운드 데이터를 수집한다.

수집한 데이터는 데이터베이스에 저장한다(S20).

그리고 데이터베이스에 저장된 사운드 데이터에 대하여 도 13에서와 같은 이동체, 신호음, 도로변, 환경 및 특성별과 같은 상황별로 분류한다(S30). 이와 같은 상황별 분류는 도 14 내지 도 16은 실제수집 사운드 데이터를 스펙트럼으로 나타낸 바와 같이 분류가 가능할 것이다.

분류된 상황별 사운드데이터는 상황(케이스별)로 데이터베이스에 저장된다(S40 내지 S70).

그리고 저장된 사운드 데이터들로부터 유의미한 이벤트를 추출하며, 추출된 이벤트에 대하여 데이터 학습을 시킨다. 이때, 이벤트 추출 기법으로는 예를 들면 MFCC(Mel-Frequency Cepstral Coefficient) 기법을 이용할 수 있으며, 추출된 MFCC와 분류된 주행환경을 인지하여 인공지능(AI) CNN(Convolutional Neural Network) 기법을 이용한 데이터 학습을 시킨다(S80).

이와 같이 학습된 상황판단을 통해 주행 중 마이크를 통해 수집된 사운드 데이터를 해석하고, 해석한 상황에 따라 필요한 정보 및 조작에 보조적 역할을 할 수 있도록 해석상황을 공지(운전자)하거나 자율주행 플래닝 시스템(700)으로 통보한다(S90).

이와 같은 공지나 통보로는 차량 주행 기능으로서 구현된 CNN 기능을 웨어러블 기기(예로써 스마트 워치 등)에 탑재하여 도로상에서 차량 또는 이동체로부터 감지된 위험을 알리는 시스템에 활용 가능할 것이다.

특히, 위에서 개발된 인공지능 CNN 알고리즘 및 기능을 예를 들어 웨어러블 기기의 마이크에서 외부환경의 사운드를 청취하는 기능, 청취된 사운드에 발생한 사운드를 일정기간(예로써 3~5초)의 사운드 데이터로 쪼개어 학습데이터 포맷으로 메모리에 저장하는 기능, 저장된 사운드 데이터에서 Mel-Frequency Cepstral Coefficient(MFCC)추출 기법, CNN학습과 MFCC 추출 결과에 따른 환경/상황 정보, 상황정보에 따라 웨어러블 기기에서 위험을 진동, 경보음, 점멸 등으로 알리는 기능 구현 등이 가능하며, 이는 도 12와 도 13에 나타낸 차량이나 이동체(퍼스널 모빌리티(PM))에 적용가능하다.

이와 같은 경우 테슬라의 T3가 비보호 좌회전을 하려는 흰색 트레일러를 하늘과 오인하여 충돌한 사례에서 보여주듯이 만일 사람처럼 교차로에서 좌회전을 하는 트레일러의 사운드를 인지했더라면 자율주행차가 그대로 충돌하여 사망 사고를 일으키는 사건은 발생하지 않을 것이다. 이러한 사운드는 비전이 취약한 구간이나 사각지대에서 발생할 수 있는 사고들을 획기적으로 줄여나갈 수 있을 것이다.

그 외에도 기본적으로 다음과 같은 상황에 주행 사운드 정보를 활용할 수 있을 것이다.

비보호 좌회전 상황에서, 사거리내 전방/좌우 정지된 차량들의 운행사운드 감지하여 비보호 좌회전 주의 경고 및 진입상황 판단.

차선 변경시 사각지대에서, 차량 후방의 접근 이동체(트럭, 오토바이 등) 사운드를 감지하여 차선 변경 주의 경고 및 상황 점검.

긴급 차량 진입시에는, 후방의 긴급 차량(구급차, 소방차 등) 사운드를 감지하여 긴급 차량을 위한 양보 운전 안내.

주변 경적사운드 발생시에는, 주행중 주변 환경서 발생한 경적사운드 감지하여 자체 안전운행 시스템(차선 위반, 신호 위반, 문 열림, 타이어 이상 등) 점검 작동.

기상환경 변동시에는, 빗길/눈길 사운드 감지하여 감속 및 미끄러짐 방지 기능 작동 등이 있다.

도 17은 도 11에 나타낸 데이터 수집 및 가공에 따라 자율주행을 포함하는 이동체에서 사운드 데이터 처리를 수행하는 사운드 데이터 처리 장치의 실시예를 설명하기 위한 도면이다.

데이터 수집 및 가공에 따라 자율주행을 포함하는 이동체에서 사운드 데이터 처리는 도 17에서와 같이, 마이크부(810), 제어부(820) 및 출력부(830)로 구성된다.

여기서 마이크부(810)는 이동체 주변의 사운드를 입력받는다.

제어부(820)는 사운드/데이터 변환부(821), 특징추출부(822), AI 데이터 학습부(823), 상황 데이터 매핑 테이블부(824) 및 학습데이터/테이블 검색부(825)로 구성되어 마이크부(810)를 통해 입력된 사운드를 사운드/데이터 변환부(821)에서 사운드 데이터로 변환하고, 특징추출부(822)에서 예를 들면 MFCC 기법으로 특징을 추출하며, 추출된 사운드 데이터를 AI 데이터 학습부(823)에서 인공지능 CNN 기법으로 학습하고, 학습된 데이터에 대하여 학습데이터/테이블 검색부(825)에서 상황 데이터 매핑 테이블부(824)에 저장된 데이터에서 학습 데이터/테이블을 검색하여 출력부(830)로 전송한다.

출력부(830)는 제어부(820)의 학습데이터/테이블 검색부(825)에서 전송된 데이터를 통해 설정된 방식(스피커를 통한 음성출력, 진동이나 문자 알림)으로 출력한다.

도 18은 본 발명 실시예에 따른 사운드 데이터 기반 자율주행과 이동체 이동 안전 주행을 위한 사운드 데이터 수집 및 가공 서버의 실시예를 설명하기 위한 블록 구성도이다.

본 발명 실시예에 따른 사운드 데이터 기반 자율주행과 이동체 이동 안전 주행을 위한 사운드 데이터 수집 및 가공 서버는 도 18에 나타낸 바와 같이, 인터페이스부(910), 사운드 데이터 수집부(920), 수집 데이터 저장부(930), 데이터베이스(940), 상황별 분류부(950), 케이스별 데이터 저장부(960), 특징추출부(970), AI데이터 학습부(980) 및 상황별 매핑 테이블 생성부(990)를 포함하여 구성된다.

여기서 인터페이스부(910)는 도 10에 나타낸 사운드 데이터 기반 자율주행 시스템과, 도 11에 나타낸 사운드 데이터 기반 자율주행 시스템 및 이동체 이동 안전 시스템을 위한 사운드 데이터가 수집되면 해당 데이터를 입력받는다. 이는 사운드 데이터 수집 및 가공 서버(900)에 연결된 인터페이스 장치(USB)등을 통해 입력받을 수도 있고, 원격지에서 인터넷을 포함하는 통신망을 통해 전송된 데이터를 입력받는 방식을 취할 수도 있다.

사운드 데이터 수집부(920)는 인터페이스부(910)를 통해 입력된 사운드 데이터를 수집한다.

수집 데이터 저장부(930)는 사운드 데이터 수집부(920)에 수집된 데이터를 저장한다. 이러한 수집 데이터 저장부(930)는 데이터베이스(990)로 구성될 수 있다.

상황별 분류부(940)는 도 13에서도 설명한 바와 같이 이동체, 신호음, 도로변, 환경 및 특성별과 같은 상황별로 분류한다.

케이스별 데이터 저장부(950)는 상황별 분류부(940)에서 분류된 사운드 데이터를 케이스별 데이터로 저장한다. 물론 케이스별 데이터 저장부(950) 역시 데이터베이스(990)로 구성될 수 있다.

특징추출부(960)는 MFCC 기법으로 특징을 추출하며, AI데이터 학습부(970)는 추출된 사운드 데이터를 인공지능 CNN 기법으로 학습하고, 학습된 데이터에 대하여 상황 데이터 매핑 테이블부(980)에 분류한다.

이와 같이 상황 데이터 매핑 테이블부(980)에 분류된 데이터는 차량을 포함하는 이동체에 실장(탑재)되어 사운드 데이터 기반 자율주행이나 이동체 이동 안전에 이용되게 된다. 여기서 자율주행 차량의 경우에는 HDMap 데이터베이스(DB)(400)에 다운로드되고, 이동체의 경우에는 이동체의 종류에 따라서 이동체 이용자의 넥밴드형 헤드폰이나, 손목시계형에 직접 다운로드되거나, 전동보장구의 경우에는 전동보장구에 스피커와 연결되도록 직접 설치되거나, 오토바이, 스쿠터, 퀵보드의 경우에는 헬멧에 설치될 수 있다. 이러한 실장이나, 다운로드 및 설치는자율주행차량이나 이동체의 종류에 따라 다양한 방식으로 적용될 수 있으며, 이용자의 편의에 따라 적용되는 것으로 이를 특별히 한정할 필요는 없다.

도 19은 본 발명에 따른 사운드 데이터 기반 주행 방법을 설명하기 위한 흐름도이다.

본 발명에 따른 사운드 데이터 기반 주행 방법은 도 19에 나타낸 바와 같이, 자율주행 차량 또는 이동체(퍼스널 모빌리티(PM))가 주행을 시작한다(S100).

그러면 자율주행 차량 또는 이동체는 각각의 자율주행 차량 또는 이동체에 설치된 마이크를 통해 주행방향의 주변 사운드를 수집한다(S110).

그리고 수집된 사운드는 사운드/데이터 변환부에서 사운드 데이터로 변환된다(S120).

한편 변환된 사운드 데이터는 자율주행 차량이나 이동체에 설치된 마이크(차량의 경우 복수개, 퀵보드의 경우 한개)에 따라 분류되고(S130), 분류된 방향(들)로부터 특징추출부를 통해 사운드 데이터의 특징이 추출된다(S140).

그리고 추출된 사운드 데이터에 대하여 AI 데이터 학습부를 통해 AI 데이터 학습을 수행한다(S150).

그리고 나서 학습된 사운드 데이터에 대하여 학습데이터/테이블 검색부는 상황별 데이터 매핑 테이블을 검색하게 된다(S160).

이어 검색결과에 따라 이동체 주행의 경우에는 이용자에게 알릴 수 있도록 사운드 데이터 처리 장치의 출력부를 통해 출력하고, 자율주행 차량의 경우에는 자율주행 차량의 플래닝 시스템으로 전송한다(S170).

자율주행 차량의 플래닝 시스템은 학습데이터/테이블 검색부에서 검색된 상황별 데이터 매핑 테이블 결과값에 대하여 카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100)과, 자율주행에 필요한 고정밀 지도 데이터가 저장된 HDMap 데이터베이스(DB)(400)를 참조하여 차량 제어 유닛(200)의 엑셀레이터, 브레이크 등을 제어하는 것에 따라 차량 자율주행을 제어한다(S180).

이러한 사운드 수집(S120) 내지 차량 자율주행 제어(S180)는 주행이 종료될 때까지 반복된다(S190).

이상과 같은 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

100 : 인지시스템 200 : 차량 제어 유닛
300 : 로깅 시스템 400 : HDMap 데이터베이스(DB)
500 : 자율주행 차량 610, 620, 630, 640 : 사운드 데이터 수집부
700 : 자율주행 플래닝 시스템
810 : 마이크부 820 : 제어부
821 : 사운드/데이터 변환부 822 : 특징추출부
823 : AI 데이터 학습부 824 : 상황 데이터 매핑 테이블부
825 : 학습데이터/테이블 검색부
830 : 출력부 900 : 사운드 데이터 수집 및 가공 서버
910 : 인터페이스부 920 : 사운드 데이터 수집부
930 : 수집 데이터 저장부 940 : 데이터베이스
950 : 상황별 분류부 960 : 케이스별 데이터 저장부
970 : 특징추출부 980 : AI데이터 학습부
990 : 상황별 매핑 테이블 생성부

Claims

삭제
삭제
삭제
삭제
삭제
삭제
카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100)과, 핸들, 엑셀레이터, 브레이크, 디스플레이로부터 동작을 감지하는 차량 제어 유닛(200)과, 상기 핸들, 엑셀레이터, 브레이크, 디스플레이의 거동을 취득하는 로깅 시스템(300)과, 넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터 및 퀵보드를 포함하는 이동체에 사운드 데이터를 수집하기 위한 마이크가 구비되어 수집되는 것으로, 버스, 덤프트럭, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레, 경찰차, 구급차, 소방차, 견인차의 클락션이나 호루라기 사운드를 포함하는 신호음, 자전거, 보행자나 러닝하는 자의 사운드, 개를 포함하는 동물의 사운드와 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로 주변의 사운드를 포함하는 주변의 환경에 따른 사운드 데이터 및 국가/도시별, 날씨/기후별, 주간/야간별 및 계절 특성별 사운드를 포함하는 사운드 데이터와, 자율주행에 필요한 고정밀 지도 데이터가 저장되되, 상기 날씨/기후별 사운드 데이터에는 눈길/빗길 사운드가 포함된 HDMap 데이터베이스(DB)(400)와, 자율주행 차량(500)의 전방, 후방, 좌측 및 우측방향을 포함하여 해당 방향의 사운드 데이터를 수집하는 사운드 데이터 수집부(610)(620)(630)(640)과, 상기 인지시스템(100)과 상기 사운드 데이터 수집부(610)(620)(630)(640)로부터 수집된 비전정보와 사운드 데이터 및 HDMap 데이터베이스(DB)(400)의 정보에 따라 차량 제어 유닛(200)을 제어하여 차량에 대한 자율주행을 수행하는 자율주행 알고리즘이 저장된 자율주행 플래닝 시스템(700);을 포함하여 구성되어, 자율주행에 필요한 고정밀 지도 데이터가 저장된 상기 HDMap 데이터베이스(DB)(400)와, 상기 사운드 데이터 수집부(610)(620)(630)(640)에서 수집된 사운드 데이터와 차량주행방향을 참조하여 자율주행하도록 되고, 차선 변경시 사각지대에서 차량 후방으로 접근하는 이동체의 사운드를 감지하여 차선 변경 주의를 경고하고, 구급차와 소방차를 포함하는 긴급 차량의 사운드가 후방에서 감지되면 긴급차량을 위한 양보운전을 안내하며, 주행중 주변 환경에서 경적사운드가 감지되면 차선 위반, 신호 위반, 문 열림, 타이어 이상을 포함하는 자체 안전운행 시스템의 점검 작동이 수행되도록 하는 사운드 데이터 기반 자율주행 시스템에 대하여,
넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터 및 퀵보드를 포함하는 이동체에 사운드 데이터를 수집하기 위한 마이크가 구비되어 수집되는 것으로, 버스, 덤프트럭, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레, 경찰차, 구급차, 소방차, 견인차의 클락션이나 호루라기 사운드를 포함하는 신호음, 자전거의 사운드, 보행자나 러닝하는 자의 사운드, 개를 포함하는 동물의 사운드와 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로 주변의 사운드를 포함하는 주변의 환경에 따라 수집된 사운드 데이터를 입력받되, USB 또는 인터넷을 포함하는 통신망에 연결되는 인터페이스부(910);
인터페이스부(910)를 통해 입력된 사운드 데이터를 수집하는 사운드 데이터 수집부(920);
상기 사운드 데이터 수집부(920)에 수집된 데이터를 저장하는 수집 데이터 저장부(930);
상기 수집 데이터 저장부(930)에 저장된 사운드 데이터를 이동체, 신호음, 환경 및 특성을 포함하는 상황별로 분류하되, 국가/도시별, 날씨/기후별, 주간/야간별 및 계절과 같은 특성별 사운드를 상황별로 분류하는 상황별 분류부(940);
상기 상황별 분류부(940)에서 분류된 사운드 데이터를 케이스별 데이터로 저장하는 케이스별 데이터 저장부(950);
상기 케이스별 데이터 저장부(950)에 저장된 사운드 데이터에서 특징을 MFCC 기법으로 추출하는 특징추출부(960);
상기 특징추출부(960)에서 추출된 사운드 데이터를 CNN 기법으로 학습하는 AI데이터 학습부(970); 및
상기 AI데이터 학습부(970)에서 학습된 데이터가 분류되는 상황 데이터 매핑 테이블부(980);를 포함하여 구성되고, 상기 상황 데이터 매핑 테이블부(980)에 분류된 데이터는 이동체에 실장(탑재)되어 사운드 데이터 기반 자율주행이나 이동체 이동 안전에 이용되되, 상기 자율주행 차량의 경우에는 HDMap 데이터베이스(DB)(400)에 다운로드되고, 이동체의 경우에는 이동체의 종류에 따라서 이동체 이용자의 넥밴드형 헤드폰이나, 손목시계형에 직접 다운로드되거나, 전동보장구의 경우에는 전동보장구에 스피커와 연결되도록 직접 설치되거나, 오토바이, 스쿠터, 퀵보드의 경우에는 헬멧에 설치되며, 상기 수집 데이터 저장부(930)와, 케이스별 데이터 저장부(950)는 데이터베이스(990)로 구성되는 사운드 데이터 수집 및 가공 서버에서 수집된 데이터를 제공하여 운동중인 이용자의 퍼스널 모빌리티인 넥밴드형 헤드폰으로 사운드 데이터 처리하여 스피커를 통한 음성출력으로 이동 안전 사운드 데이터를 제공하는 것을 특징으로 하는 사운드 데이터 수집 및 가공 서버.
삭제
삭제
삭제
차량이나 퍼스널 모빌리티를 포함하는 이동체에 부착된 마이크로부터 사운드 데이터를 수집하는 단계(S10);
상기 수집한 데이터를 데이터베이스에 저장하는 단계(S20);
상기 데이터베이스에 저장된 사운드 데이터에 대하여 상황별 분류부에서 이동체, 신호음, 환경 및 특성을 포함하는 상황별로 분류하는 단계(S30);
상기 분류된 상황별 사운드데이터는 상황(케이스별)별로 데이터베이스에 저장되는 단계(S40 내지 S70);
상기 저장된 사운드 데이터들로부터 특징추출부에서 미리 설정된 이벤트를 추출하고, 추출된 이벤트에 대하여 AI 데이터 학습부에서는 추출된 데이터와 상기 차량이나 퍼스널 모빌리티를 포함하는 이동체의 주행환경을 인지하여 인공지능(AI) 기법을 이용한 데이터 학습을 시키는 단계(S80);를 포함하여 차량에 대한 자율주행을 수행하는 자율주행 알고리즘이 저장된 자율주행 플래닝 시스템(700)이 포함된 차량 또는 이동체(퍼스널 모빌리티(PM))가 주행을 시작하는 단계(S100);
자율주행 차량 또는 이동체는 각각의 자율주행 차량 또는 이동체에 설치된 마이크를 통해 주행방향의 주변 사운드를 수집하는 단계(S110);
수집된 사운드는 사운드/데이터 변환부에서 사운드 데이터로 변환되는 단계(S120);
변환된 사운드 데이터는 자율주행 차량이나 이동체에 설치된 마이크에 따라 분류되고(S130);
분류된 방향들로부터 특징추출부를 통해 사운드 데이터의 특징이 추출되는 단계(S140);
추출된 사운드 데이터에 대하여 AI 데이터 학습부를 통해 AI 데이터 학습을 수행하는 단계(S150);
학습된 사운드 데이터에 대하여 학습데이터/테이블 검색부는 상황별 데이터 매핑 테이블을 검색하는 단계(S160);
검색결과에 따라 이동체 주행의 경우에는 이용자에게 알릴 수 있도록 사운드 데이터 처리 장치의 출력부를 통해 출력하고, 자율주행 차량의 경우에는 자율주행 차량의 플래닝 시스템으로 전송되는 단계(S170);
자율주행 차량의 플래닝 시스템은 학습데이터/테이블 검색부에서 검색된 상황별 데이터 매핑 테이블 결과값에 대하여 카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100)과, 자율주행에 필요한 고정밀 지도 데이터가 저장된 HDMap 데이터베이스(DB)(400)를 참조하여 차량 제어 유닛(200)의 엑셀레이터, 브레이크를 제어하는 것에 따라 차량 자율주행을 제어하는 단계(S180); 및
상기 사운드 수집(S110) 내지 차량 자율주행 제어(S180)는 주행이 종료될 때까지 반복되는 단계(S190)를 포함하며,
상기 자율주행 플래닝 시스템(700)은 차선 변경시 사각지대에서 차량 후방으로 접근하는 이동체의 사운드를 감지하여 차선 변경 주의를 경고하고, 구급차와 소방차를 포함하는 긴급 차량의 사운드가 후방에서 감지되면 긴급차량을 위한 양보운전을 안내하며, 주행중 주변 환경에서 경적사운드가 감지되면 차선 위반, 신호 위반, 문 열림, 타이어 이상을 포함하는 자체 안전운행 시스템의 점검 작동이 수행되며,
상기 안전운행 시스템은 카메라, GPS, 라이다(LiDAR)로부터 수집되는 데이터를 인지하는 인지시스템(100)과, 핸들, 엑셀레이터, 브레이크, 디스플레이로부터 동작을 감지하는 차량 제어 유닛(200)과, 상기 핸들, 엑셀레이터, 브레이크, 디스플레이의 거동을 취득하는 로깅 시스템(300)과, 넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터 및 퀵보드를 포함하는 이동체에 사운드 데이터를 수집하기 위한 마이크가 구비되어 수집되는 것으로, 버스, 덤프트럭, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레, 경찰차, 구급차, 소방차, 견인차의 클락션이나 호루라기 사운드를 포함하는 신호음, 자전거, 보행자나 러닝하는 자의 사운드, 개를 포함하는 동물의 사운드와 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로 주변의 사운드를 포함하는 주변의 환경에 따른 사운드 데이터 및 국가/도시별, 날씨/기후별, 주간/야간별 및 계절 특성별 사운드를 포함하는 사운드 데이터와, 자율주행에 필요한 고정밀 지도 데이터가 저장되되, 상기 날씨/기후별 사운드 데이터에는 눈길/빗길 사운드가 포함된 HDMap 데이터베이스(DB)(400)와, 자율주행 차량(500)의 전방, 후방, 좌측 및 우측방향을 포함하여 해당 방향의 사운드 데이터를 수집하는 사운드 데이터 수집부(610)(620)(630)(640)과, 상기 인지시스템(100)과 상기 사운드 데이터 수집부(610)(620)(630)(640)로부터 수집된 비전정보와 사운드 데이터 및 HDMap 데이터베이스(DB)(400)의 정보에 따라 차량 제어 유닛(200)을 제어하여 차량에 대한 자율주행을 수행하는 자율주행 알고리즘이 저장된 자율주행 플래닝 시스템(700);을 포함하여 구성되어, 자율주행에 필요한 고정밀 지도 데이터가 저장된 상기 HDMap 데이터베이스(DB)(400)와, 상기 사운드 데이터 수집부(610)(620)(630)(640)에서 수집된 사운드 데이터와 차량주행방향을 참조하여 자율주행하도록 되고, 차선 변경시 사각지대에서 차량 후방으로 접근하는 이동체의 사운드를 감지하여 차선 변경 주의를 경고하고, 구급차와 소방차를 포함하는 긴급 차량의 사운드가 후방에서 감지되면 긴급차량을 위한 양보운전을 안내하며, 주행중 주변 환경에서 경적사운드가 감지되면 차선 위반, 신호 위반, 문 열림, 타이어 이상을 포함하는 자체 안전운행 시스템의 점검 작동이 수행되도록 하는 사운드 데이터 기반 자율주행 시스템에 대하여,
넥밴드형, 손목시계형, 노인이나 장애인용 전동보장구, 오토바이, 스쿠터 및 퀵보드를 포함하는 이동체에 사운드 데이터를 수집하기 위한 마이크가 구비되어 수집되는 것으로, 버스, 덤프트럭, 레미콘, 스포츠카, 승용/승합차, 청소차, 손수레, 경찰차, 구급차, 소방차, 견인차의 클락션이나 호루라기 사운드를 포함하는 신호음, 자전거의 사운드, 보행자나 러닝하는 자의 사운드, 개를 포함하는 동물의 사운드와 건설공사 현장, 대교/교각, 트렘레일, 철도건널목, 고속도로, 터널, 고가차도, 비포장도로, 해안도로, 타일도로 주변의 사운드를 포함하는 주변의 환경에 따라 수집된 사운드 데이터를 입력받되, USB 또는 인터넷을 포함하는 통신망에 연결되는 인터페이스부(910);
인터페이스부(910)를 통해 입력된 사운드 데이터를 수집하는 사운드 데이터 수집부(920);
상기 사운드 데이터 수집부(920)에 수집된 데이터를 저장하는 수집 데이터 저장부(930);
상기 수집 데이터 저장부(930)에 저장된 사운드 데이터를 이동체, 신호음, 환경 및 특성을 포함하는 상황별로 분류하되, 국가/도시별, 날씨/기후별, 주간/야간별 및 계절과 같은 특성별 사운드를 상황별로 분류하는 상황별 분류부(940);
상기 상황별 분류부(940)에서 분류된 사운드 데이터를 케이스별 데이터로 저장하는 케이스별 데이터 저장부(950);
상기 케이스별 데이터 저장부(950)에 저장된 사운드 데이터에서 특징을 MFCC 기법으로 추출하는 특징추출부(960);
상기 특징추출부(960)에서 추출된 사운드 데이터를 CNN 기법으로 학습하는 AI데이터 학습부(970); 및
상기 AI데이터 학습부(970)에서 학습된 데이터가 분류되는 상황 데이터 매핑 테이블부(980);를 포함하여 구성되고, 상기 상황 데이터 매핑 테이블부(980)에 분류된 데이터는 이동체에 실장(탑재)되어 사운드 데이터 기반 자율주행이나 이동체 이동 안전에 이용되되, 상기 자율주행 차량의 경우에는 HDMap 데이터베이스(DB)(400)에 다운로드되고, 이동체의 경우에는 이동체의 종류에 따라서 이동체 이용자의 넥밴드형 헤드폰이나, 손목시계형에 직접 다운로드되거나, 전동보장구의 경우에는 전동보장구에 스피커와 연결되도록 직접 설치되거나, 오토바이, 스쿠터, 퀵보드의 경우에는 헬멧에 설치되며, 상기 수집 데이터 저장부(930)와, 케이스별 데이터 저장부(950)는 데이터베이스(990)로 구성되는 사운드 데이터 수집 및 가공 서버에서 수집된 데이터가 이용되는 것을 특징으로 하는 사운드 데이터 기반 주행 방법.
삭제