KR20230107306A

KR20230107306A - 내비게이션 세션 중 주행 이벤트 사운드 검출 및 처리

Info

Publication number: KR20230107306A
Application number: KR1020237019596A
Authority: KR
Inventors: 매튜 샤리피; 빅터 카분
Original assignee: 구글 엘엘씨
Priority date: 2020-11-18
Filing date: 2020-11-18
Publication date: 2023-07-14
Also published as: JP2023548675A; US20240034344A1; EP4204767A1; US20220355814A1; CN116391216A; US11814062B2; JP7513841B2; WO2022108580A1

Abstract

내비게이션 중에 주행 이벤트 사운드를 식별하기 위해, 차량의 클라이언트 디바이스는 경로를 따라 시작 위치에서 목적지 위치로 이동하기 위한 내비게이션 길안내들의 세트를 제공한다. 목적지 위치로 내비게이션하는 동안 클라이언트 디바이스는 차량 내부 또는 차량 주변 영역의 주행 이벤트 사운드를 포함하는 오디오를 식별한다. 상기 오디오가 상기 주행 이벤트 사운드를 포함한다는 결정에 응답하여, 클라이언트 디바이스는 상기 주행 이벤트 사운드가 인공적인지 여부를 결정한다. 상기 주행 이벤트 사운드가 인공적이라는 결정에 응답하여, 클라이언트 디바이스는 상기 주행 이벤트 사운드가 인공적이라는 알림을 운전자에게 제시하거나, 상기 주행 이벤트 사운드를 상기 운전자가 듣지 못하도록 상기 주행 이벤트 사운드를 마스킹한다.

Description

내비게이션 세션 중 주행 이벤트 사운드 검출 및 처리

본 발명은 주행 이벤트 사운드 검출에 관한 것으로, 보다 상세하게는 전자 디바이스들에서 생성되는 인공적인 주행 이벤트 사운드의 효과를 마스킹하여 운전자의 주의 분산을 방지하는 것에 관한 것이다.

본 명세서에 제공된 배경기술은 본 발명의 컨텍스트를 일반적으로 제시하기 위한 목적이다. 본 배경기술 섹션에서 기술되는 범위까지 현재 명명된 발명자들의 성과 뿐만 아니라 출원 시점에 선행기술로서 인정되지 않는 기술의 양태들은 본 발명에 대한 선행기술로서 명시적으로 또는 묵시적으로도 인정되지 않는다.

오늘날 컴퓨터, 스마트폰 등에서 실행되는 소프트웨어 애플리케이션 또는 임베디드 디바이스는 단계별 내비게이션 길안내를 생성한다. 일반적으로, 사용자는 출발 위치 및 목적지를 특정하고, 소프트웨어 애플리케이션은 길안내를 즉시 및/또는 사용자가 출발 위치로부터 목적지로 이동함에 따라 디스플레이 및/또는 오디오 포맷으로 제시한다.

내비게이션 중에는 운전자에게 많은 방해 요소가 있을 수 있다. 산만함의 한 유형은 운전 관련 소음(예: 긴급 차량 사이렌, 자동차 경적, 차량 충돌 등)이 차량 내에서 재생되는 경우일 수 있다. 이러한 주행 관련 소음은 차량 내부의 디바이스에서 발생하는 인공적인 소리가 아니라 외부에서 발생하는 실제 소음이라고 운전자를 속일 수 있다. 결과적으로 운전자는 예를 들어 불필요하게 감속하거나 차를 세우는 등 운전 관련 소음에 반응할 수 있다.

일부 구현예에서, 차량 내에서 동작하는 지도 애플리케이션은 차량 내에서 또는 차량 주변 영역으로부터의 주행 이벤트 사운드를 식별할 수 있다. 예를 들어, 지도 애플리케이션은 운전자가 출발 위치에서 목적지 위치로 이동할 수 있도록 내비게이션 길안내를 제시하면서 주행 이벤트 사운드를 식별할 수 있다. 주행 이벤트 사운드는 긴급 차량 사이렌, 자동차 경적, 차량 충돌음 등일 수 있다.

지도 애플리케이션은 예를 들어 애플리케이션 프로그래밍 인터페이스(API)를 통해 클라이언트 디바이스에서 실행되는 다른 애플리케이션과 통신함으로써 주행 이벤트 사운드를 식별할 수 있다. 클라이언트 디바이스에서 실행되는 다른 애플리케이션은 현재 또는 향후 오디오 콘텐츠에 대한 오디오 스트림 또는 오디오 콘텐츠를 설명하는 메타데이터(예: 오디오 콘텐츠의 제목, 오디오 콘텐츠의 설명, 오디오 콘텐츠에 포함된 용어, 문구 또는 사운드, 오디오 콘텐츠의 길이, 오디오 콘텐츠의 언어 등)와 같은 다른 애플리케이션에 의해 재생되고 있는 오디오 콘텐츠의 특성을 제공할 수 있다. 추가로, 지도 애플리케이션은 예를 들어, 단거리 통신 링크를 통해 차량 내의 다른 디바이스(예를 들어, 차량 헤드 유닛)와 통신할 수 있다. 다른 디바이스도 오디오 콘텐츠의 특성을 지도 애플리케이션에 제공할 수 있다. 또한, 지도 애플리케이션은 미리 결정된 주행 이벤트 사운드의 오디오 지문을 주변 영역의 주변 오디오와 비교함으로써 주행 이벤트 사운드를 식별할 수 있다.

어떠한 경우든, 주행 이벤트 사운드가 식별되면, 지도 애플리케이션은 주행 이벤트 사운드가 실제인지(즉, 주행 이벤트 사운드가 차량으로부터 또는 다른 차량 또는 긴급 차량과 같은 차량 밖의 외부 소스로부터 제공되었고 운전자의 주의를 요구함) 또는 인공적인지(즉, 주행 이벤트 사운드가 차량 내 전자 디바이스에서 발생하며 운전자의 주의가 필요하지 않음) 여부를 결정할 수 있다. 지도 애플리케이션은 주행 이벤트 사운드가 클라이언트 디바이스 또는 다른 디바이스에서 실행되는 다른 애플리케이션과 같은 차량 내의 전자 소스로부터 식별되는 경우 주행 이벤트 사운드가 인공적이라고 결정할 수 있다. 다른 구현예에서, 지도 애플리케이션은 실제 주행 이벤트 사운드와 인공 주행 이벤트 사운드를 구별하도록 트레이닝된 기계 학습 모델에 주행 이벤트 사운드의 특성을 적용함으로써 주행 이벤트 사운드가 실제인지 인공인지 여부를 결정할 수 있다. 주행 이벤트 사운드의 특성은 주행 이벤트 사운드의 오디오 특성뿐만 아니라 차량 문이 열렸는지 여부와 같이 차량 문 경고음이 발생할 수 있는 주행 이벤트 사운드 시점의 차량의 환경적 특성을 포함할 수 있다.

지도 애플리케이션이 인공적인 주행 이벤트 사운드를 식별하는 경우, 지도 애플리케이션은 운전자가 주행 이벤트 사운드에 의해 주의가 산만해지는 것을 실질적으로 방지하기 위해 운전자에 대한 주행 이벤트 사운드의 효과를 마스킹하려고 시도한다. 예를 들어, 지도 애플리케이션은 클라이언트 디바이스에 주행 이벤트 사운드가 인공적이라는 알림을 표시하고 운전자에게 이를 무시하도록 지시할 수 있다. 지도 애플리케이션은 유사한 지침으로 오디오 알림을 재생할 수 있다. 추가적으로 또는 대안적으로, 지도 애플리케이션은 주행 이벤트 사운드의 적어도 일부가 재생되는 것을 방지할 수 있다. 예를 들어, 지도 애플리케이션은 주행 이벤트 사운드 동안 오디오를 음소거하거나 볼륨을 낮출 수 있다. 다른 구현예에서, 지도 애플리케이션은 예를 들어 대역 통과 필터를 통해 주행 이벤트 사운드 동안 상기 오디오를 필터링할 수 있다.

지도 애플리케이션이 실제 주행 이벤트 사운드를 식별하면, 지도 애플리케이션은 소리가 실제임을 운전자에게 경고하여 운전자가 주행 이벤트 사운드를 무시하지 않도록 할 수 있다. 예를 들어, 지도 애플리케이션은 주행 이벤트 사운드가 실제임을 나타내고 운전자에게 적절하게 응답하도록 지시하는 알림을 클라이언트 디바이스에 디스플레이할 수 있다. 지도 애플리케이션은 유사한 지침으로 오디오 알림을 재생할 수 있다.

이러한 방식으로, 지도 애플리케이션은 운전자에 대한 산만함의 정도를 감소시켜 운전자 안전을 향상시킬 수 있다. 이러한 산만함의 감소는 주행 이벤트와 관련된 인공적 사운드를 필터링하거나 마스킹함으로써 달성된다. 본 명세서에 개시된 바와 같이, 이 필터링은 그러한 인공적 사운드의 볼륨을 감소시키거나, 그러한 인공적 사운드의 일부 또는 전부를 제거하거나, 인공적 사운드가 실제가 아님을 운전자에게 알리기 위해 하나 이상의 알림을 제공할 수 있다. 이러한 방식으로, 운전자는 인공적 사운드를 듣지 않거나 인공적 사운드가 실제가 아니라는 정보를 받음으로써 반응하거나 차량 제어를 변경(즉, 소리에 반응)하지 않는다. 이와 같이 본 명세서에 개시된 지도 어플리케이션은 내비게이션 안내에 대한 인공적인 주행 사운드의 영향을 적극적으로 줄여 안전성을 크게 향상시킨다. 지도 애플리케이션은 또한 긴급 차량, 차량 충돌 또는 차량 오작동을 식별하는데 있어 운전자를 지원하고 운전자가 적절하게 대응하도록 도울 수 있다.

본 개시의 기법의 일 예시적 실시예는 내비게이션 세션 동안 주행 이벤트 사운드를 식별하기 위한 방법이다. 상기 방법은 경로를 따라 출발 위치로부터 목적지 위치까지 이동하기 위한 내비게이션 길안내들의 세트를 제공하는 단계를 포함한다. 목적지 위치로 내비게이션하는 동안, 상기 방법은 차량 내부 또는 차량 주변 영역의 주행 이벤트 사운드를 포함하는 오디오를 식별하는 단계를 포함한다. 상기 오디오가 상기 주행 이벤트 사운드를 포함한다는 결정에 응답하여, 상기 방법은 상기 주행 이벤트 사운드가 인공적인지 여부를 결정하는 단계를 포함한다. 상기 주행 이벤트 사운드가 인공적이라는 결정에 응답하여, 상기 방법은 상기 주행 이벤트 사운드가 인공적이라는 알림을 운전자에게 제시하는 단계 또는 상기 주행 이벤트 사운드를 상기 운전자가 듣지 못하도록 상기 주행 이벤트 사운드를 마스킹하는 단계를 포함한다.

본 개시의 기법의 다른 예시적 실시예는 주행 이벤트 사운드를 식별하기 위한 클라이언트 디바이스이다. 클라이언트 디바이스는 하나 이상의 프로세서들 및 상기 하나 이상의 프로세서들에 결합되고 명령어들을 저장하는 비일시적 컴퓨터 판독가능 메모리를 포함한다. 명령어들은 하나 이상의 프로세서들에 의해 실행될 때 클라이언트 디바이스가 차량 내부 또는 차량 주변 영역으로부터의 주행 이벤트 사운드를 포함하는 오디오를 식별하게 한다. 상기 오디오가 상기 주행 이벤트 사운드를 포함한다는 결정에 응답하여, 상기 명령어들은 클라이언트 디바이스로 하여금 상기 주행 이벤트 사운드가 인공적인지 여부를 결정하게 한다. 상기 주행 이벤트 사운드가 인공적이라는 결정에 응답하여, 상기 명령어들은 상기 클라이언트 디바이스로 하여금 상기 주행 이벤트 사운드가 인공적이라는 알림을 운전자에게 제시하거나, 상기 주행 이벤트 사운드를 상기 운전자가 듣지 못하도록 상기 주행 이벤트 사운드를 마스킹하게 한다.

본 발명의 기법의 또 다른 실시예는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 메모리이다. 명령어들은 하나 이상의 프로세서들에 의해 실행될 때 하나 이상의 프로세서들로 하여금 차량 내부 또는 차량 주변 영역으로부터의 주행 이벤트 사운드를 포함하는 오디오를 식별하게 한다. 상기 오디오가 상기 주행 이벤트 사운드를 포함한다는 결정에 응답하여, 상기 명령어들은 하나 이상의 프로세서들로 하여금 상기 주행 이벤트 사운드가 인공적인지 여부를 결정하게 한다. 상기 주행 이벤트 사운드가 인공적이라는 결정에 응답하여, 상기 명령어들은 상기 하나 이상의 프로세서들로 하여금 상기 주행 이벤트 사운드가 인공적이라는 알림을 운전자에게 제시하거나, 상기 주행 이벤트 사운드를 상기 운전자가 듣지 못하도록 상기 주행 이벤트 사운드를 마스킹하게 한다.

도 1은 본 개시의 기법이 주행 이벤트 사운드를 검출하는데 사용될 수 있는 예시적 차량을 도시한다.
도 2는 주행 이벤트 사운드를 검출하기 위한 기법들이 구현될 수 있는 예시적 시스템의 블록도이다.
도 3은 제1 기계 학습 모델을 사용하여 오디오 스트림의 특성에 기초하여 주행 이벤트 사운드를 식별하는 프로세스를 나타내는 결합된 블록 및 논리도이다.
도 4는 제2 기계 학습 모델을 사용하여 주행 이벤트 사운드의 특성에 기초하여 주행 이벤트 사운드가 실제인지 인공인지 식별하는 프로세스를 나타내는 결합된 블록 및 논리도이다.
도 5a 내지 도 5c는 주행 이벤트 사운드를 검출한 것에 응답하여 운전자에게 알림을 포함하는 예시적 내비게이션 디스플레이이다.
도 6은 클라이언트 디바이스에서 구현될 수 있는 내비게이션 세션 동안 주행 이벤트 사운드를 식별하기 위한 예시적 방법의 흐름도이다.

개요

일반적으로, 주행 이벤트 사운드를 식별하기 위한 기법은 하나 이상의 클라이언트 디바이스, 차량 헤드 유닛, 하나 이상의 네트워크 서버 또는 이들 디바이스의 조합을 포함하는 시스템에서 구현될 수 있다. 그러나 명확성을 위해 아래의 예는 주로 지도 애플리케이션을 실행하는 클라이언트 디바이스가 클라이언트 디바이스에서 실행되는 다른 애플리케이션 또는 클라이언트 디바이스에 통신 가능하게 연결된 디바이스로부터 오디오 재생 데이터를 얻는 실시예에 중점을 둔다. 클라이언트 디바이스는 (예를 들어, API를 통해) 클라이언트 디바이스에서 실행되는 다른 애플리케이션 또는 차량 헤드 유닛 또는 기타 클라이언트 디바이스와 같은 클라이언트 디바이스 부근의 다른 디바이스(예를 들어, 단거리 통신 링크)와 통신할 수 있다. 클라이언트 디바이스는 또한 영역 내 오디오의 주변 오디오 지문을 얻거나 계산할 수 있다. 어느 경우이든, 클라이언트 디바이스는 오디오 재생 데이터의 오디오 또는 주변 오디오 지문이 주행 이벤트 사운드를 포함하는지 여부를 결정한다. 구체적으로, 클라이언트 디바이스는 주변 오디오 지문 또는 오디오 재생 데이터에 포함된 오디오 스트림의 오디오 지문과 미리 결정된 주행 이벤트 사운드의 오디오 지문을 비교할 수 있다. 일치하는 경우, 클라이언트 디바이스는 오디오가 주행 이벤트 사운드를 포함한다고 결정할 수 있다.

다른 구현예에서, 클라이언트 디바이스는 주변 오디오 또는 오디오 지문과 같은 다른 오디오 스트림으로부터 임의의 도출된 피처를 포함하는 오디오 재생 데이터로부터의 주변 오디오 또는 오디오 스트림을 주행 이벤트 사운드를 식별하기 위해 트레이닝된 기계 학습 모델에 대한 입력으로서 적용할 수 있다. 보다 구체적으로, 서버 디바이스는 오디오 스트림들의 세트에 대한 오디오 피처 및 각 오디오 스트림에 대한 주행 이벤트 사운드의 대응 여부에 대한 표시를 사용하여 기계 학습 모델을 트레이닝시켜 트레이닝된 기계 학습 모델을 생성할 수 있다. 오디오 스트림들은 주행 이벤트 사운드를 포함하거나 포함하지 않는 것으로 분류될 수 있다. 일부 구현예에서, 오디오 스트림은 긴급 차량 사이렌, 차량 충돌 소리, 차량 오작동 경보 또는 차량 경적과 같은 특정 유형의 주행 이벤트 사운드에 따라 분류될 수 있다. 어느 경우이든, 서버 디바이스는 트레이닝된 기계 학습 모델을 클라이언트 디바이스에 제공할 수 있다. 그런 다음 클라이언트 디바이스는 주변 오디오 피처 또는 오디오 재생 데이터에 포함된 오디오 스트림들의 오디오 피처를 트레이닝된 기계 학습 모델에 지속적으로 또는 주기적으로 적용하여 주행 이벤트 사운드를 식별할 수 있다.

주행 이벤트 사운드가 식별되면, 클라이언트 디바이스는 주행 이벤트 사운드가 실제인지 또는 인공적인지를 결정할 수 있다. 클라이언트 디바이스는 주행 이벤트 사운드가 클라이언트 디바이스 또는 다른 디바이스에서 실행되는 다른 애플리케이션과 같은 차량 내의 소스로부터 식별되는 경우 주행 이벤트 사운드가 인공적이라고 결정할 수 있다. 다른 구현예에서, 클라이언트 디바이스는 주변 오디오 지문 또는 오디오 재생 데이터에 포함된 오디오 스트림으로부터의 오디오 지문을 미리 결정된 인공 주행 이벤트 사운드의 오디오 지문과 비교함으로써 주행 이벤트 사운드가 인공적이라고 결정할 수 있다. 일치하는 경우, 클라이언트 디바이스는 오디오가 인공적 주행 이벤트 사운드를 포함한다고 결정할 수 있다. 클라이언트 디바이스는 주변 오디오 지문 또는 오디오 재생 데이터에 포함된 오디오 스트림의 오디오 지문과 미리 결정된 실제 주행 이벤트 사운드의 오디오 지문을 비교할 수 있다. 일치하는 경우, 클라이언트 디바이스는 오디오가 실제 주행 이벤트 사운드를 포함한다고 결정할 수 있다. 다른 구현예에서, 클라이언트 디바이스는 실제 주행 이벤트 사운드와 인공 주행 이벤트 사운드를 구별하도록 트레이닝된 기계 학습 모델에 주행 이벤트 사운드의 특성을 적용함으로써 주행 이벤트 사운드가 실제인지 인공인지 여부를 결정할 수 있다. 서버 디바이스는 주행 이벤트 사운드의 특성 및 각 주행 이벤트 사운드가 실제인지 인공인지에 대한 표시를 사용하여 기계 학습 모델을 트레이닝함으로써 주행 이벤트 사운드를 실제인지 인공인지를 분류하기 위한 트레이닝된 기계 학습 모델을 생성할 수 있다. 각 주행 이벤트 사운드의 특성은 주행 이벤트 사운드의 오디오 특성뿐만 아니라 주행 이벤트 사운드 시점의 차량의 환경적 특성을 포함할 수 있다. 어느 경우이든, 서버 디바이스는 트레이닝된 기계 학습 모델을 클라이언트 디바이스에 제공할 수 있다. 그런 다음 클라이언트 디바이스는 검출된 주행 이벤트 사운드의 특성을 트레이닝된 기계 학습 모델에 대한 입력으로 적용하여 주행 이벤트 사운드가 실제인지 인공적인지 여부를 결정할 수 있다.

클라이언트 디바이스가 인공적인 주행 이벤트 사운드를 식별한 경우, 클라이언트 디바이스는 운전자에게 주행 이벤트 사운드가 인공적임을 알리고 무시하도록 지시할 수 있다. 클라이언트 디바이스는 또한 오디오를 음소거하거나, 오디오 볼륨을 줄이거나, 오디오에서 주행 이벤트 사운드를 필터링할 수 있다. 클라이언트 디바이스가 실제 주행 이벤트 사운드를 식별하는 경우, 클라이언트 디바이스는 소리가 실제임을 운전자에게 경고하여 운전자가 적절하게 대응할 수 있도록 할 수 있다.

일부 구현예에서, 클라이언트 디바이스는 지도 애플리케이션에 의해 제공되는 내비게이션 세션 동안 주행 이벤트 사운드를 식별한다. 예를 들어, 운전자와 같은 사용자가 출발지에서 목적지까지의 내비게이션 방향을 요청하면, 지도 애플리케이션은 내비게이션 데이터 서버에 요청을 제공할 수 있다. 내비게이션 데이터 서버는 지도 애플리케이션에 의해 제공될 수 있는 내비게이션 길안내 세트를 클라이언트 디바이스에 제공할 수 있다. 지도 애플리케이션이 내비게이션 길안내 세트를 사용자에게 제공하는 동안 클라이언트 디바이스는 주행 이벤트 사운드를 식별하고 운전자에 대한 인공적 주행 이벤트 사운드의 영향을 마스킹할 수 있다. 다른 구현예에서, 클라이언트 디바이스는 활성 내비게이션 세션이 있는지 여부에 관계없이 클라이언트 디바이스가 차량 내에 있을 때마다 주행 이벤트 사운드를 식별한다. 클라이언트 디바이스의 사용자는 내비게이션 세션 동안 또는 사용자가 차량 내에 있을 때 언제든지 지도 애플리케이션이 주행 이벤트 사운드를 식별하도록 요청할 수 있다. 따라서 유익하게, 본 명세서에 개시된 지도 애플리케이션은 내비게이션의 사용 여부에 관계없이 운전 안전을 향상시킬 수 있다.

예시적 하드웨어 및 소프트웨어 컴포넌트들

도 1을 참조하면, 상술한 기법이 구현될 수 있는 예시적 환경(1)은 휴대용 디바이스(10) 및 헤드 유닛(14)을 가진 차량(12)을 포함한다. 휴대용 디바이스(10)는 예를 들어 스마트폰, 태블릿 컴퓨터 또는 차량용 내비게이션 시스템일 수 있다. 휴대용 디바이스(10)는 유선(예: USB(Universal Serial Bus)) 또는 무선(예: Bluetooth, Wi-Fi Direct)일 수 있는 통신 링크(16)를 통해 차량(12)의 헤드 유닛(14)과 통신한다. 휴대용 디바이스(10)는 또한 4세대 또는 3세대 셀룰러 네트워크(각각 4G 또는 3G)와 같은 무선 통신 네트워크를 통해 다양한 컨텐츠 제공자, 서버 등과 통신할 수 있다.

헤드 유닛(14)은 디지털 지도와 같은 내비게이션 정보를 제시하기 위한 디스플레이(18)를 포함할 수 있다. 일부 구현예에서 디스플레이(18)는 터치 스크린이고, 목적지의 이름 또는 주소, 출발지 등을 포함할 수 있는 텍스트 입력을 위한 소프트웨어 키보드를 포함한다. 헤드 유닛(14) 및 스티어링휠의 하드웨어 입력 제어(20 및 22)는 각각 영숫자 문자를 입력하거나 내비게이션 길안내를 요청하는 다른 기능을 수행하는데 사용될 수 있다. 헤드 유닛(14)은 또한 예를 들어 마이크로폰(24) 및 스피커(26)와 같은 오디오 입력 및 출력 컴포넌트를 포함할 수 있다. 스피커(26)는 휴대용 디바이스(10)로부터 전송된 오디오 지시 또는 오디오 알림을 재생하는데 사용될 수 있다.

주행 이벤트 사운드 검출 시스템이 구현될 수 있는 예시적 통신 시스템(100)이 도 2에 도시된다. 통신 시스템(100)은 "지도 애플리케이션(122)"으로도 지칭될 수 있는 지리적 애플리케이션(122)을 실행하도록 구성된 클라이언트 디바이스(10)를 포함한다. 구현예에 따라, 애플리케이션(122)은 인터렉티브 디지털 지도를 디스플레이하고, 운전, 도보 또는 오디오 내비게이션 길안내를 포함하는 다른 내비게이션 길안내를 제공하기 위해 라우팅 데이터를 요청 및 수신하고, 다양한 지리적 위치를 제공하는 컨텐츠 등을 제공할 수 있다. 클라이언트 디바이스(10)는 사용자(본 명세서에서 "운전자"라고도 함)에 의해 동작되어 다양한 위치로 내비게이션하는 동안 디지털 지도를 디스플레이한다. 통신 시스템(100)은 또한 블루투스, 와이파이 다이렉트 등과 같은 단거리 통신 링크를 통해 클라이언트 디바이스(10)와 통신할 수 있는 차량 헤드 유닛(14)을 포함한다. 또한, 통신 시스템(100)은 클라이언트 디바이스(10) 부근 이내의 다른 컴퓨팅 디바이스(92)를 포함할 수 있다. 예를 들어, 클라이언트 디바이스(10)가 운전자의 스마트폰일 때, 다른 컴퓨팅 디바이스(92)는 차량(12) 내의 승객의 스마트폰 또는 운전자의 태블릿 또는 웨어러블 디바이스를 포함할 수 있다.

클라이언트 디바이스(10)에 추가하여, 통신 시스템(100)은 클라이언트 디바이스(10)에 트레이닝된 기계 학습 모델을 제공하도록 구성된 서버 디바이스(60)를 포함한다. 서버 디바이스(60)는 예시적 구현예에서 주행 이벤트 사운드를 식별하기 위한 제1 기계 학습 모델을 저장하는 데이터베이스(80)에 통신가능하게 연결될 수 있다. 제1 기계 학습 모델에 대한 트레이닝 입력으로 사용되는 트레이닝 데이터는 오디오 스트림들의 세트에 대한 오디오 피처(즉, 주파수, 피치, 톤, 진폭 등과 같은 각 오디오 스트림의 특성) 및 각 오디오 스트림에 주행 이벤트 사운드가 포함되어 있는지 여부의 표시를 포함할 수 있다. 오디오 스트림들은 주행 이벤트 사운드를 포함하거나 포함하지 않는 것으로 분류될 수 있다. 일부 구현예에서, 오디오 스트림은 긴급 차량 사이렌, 차량 충돌 소리, 차량 오작동 경보 또는 차량 경적과 같은 특정 유형의 주행 이벤트 사운드에 따라 분류될 수 있다. 트레이닝 데이터는 도 3을 참조하여 아래에서 더 자세히 기술된다. 또한, 데이터베이스(80)는 주행 이벤트 사운드가 실제인지 인공인지 결정하기 위한 제2 기계 학습 모델을 저장할 수 있다. 제2 기계 학습 모델에 대한 트레이닝 입력으로 사용되는 트레이닝 데이터는 주행 이벤트 사운드의 특성 및 각 주행 이벤트 사운드가 실제인지 인공인지에 대한 표시를 포함할 수 있다. 트레이닝 데이터는 도 4을 참조하여 아래에서 더 자세히 기술된다.

보다 일반적으로, 서버 디바이스(60)는 지리적 컨텍스트와 링크될 수 있는 임의의 유형의 적합한 지리 공간 정보 또는 정보를 저장하는 하나 이상의 데이터베이스와 통신할 수 있다. 통신 시스템(100)은 예를 들어, 운전, 도보, 자전거 또는 대중 교통 길안내와 같은 내비게이션 길안내를 제공하는 내비게이션 데이터 서버(34)를 포함할 수 있다. 또한, 통신 시스템(100)은 지도 디스플레이를 생성하기 위한 지도 데이터를 서버 디바이스(60)에 제공하는 지도 데이터 서버(50)를 포함할 수 있다. 통신 시스템(100)에서 동작하는 디바이스는 통신 네트워크(30)를 통해 상호 연결될 수 있다.

다양한 구현예에서, 클라이언트 디바이스(10)는 스마트폰 또는 태블릿 컴퓨터일 수 있다. 클라이언트 디바이스(10)는 메모리(120), 하나 이상의 프로세서(CPU)(116), GPU(graphics processing unit)(112), 마이크로폰 및 스피커를 포함하는 I/O 모듈(14), 사용자 인터페이스(UI)(32) 및 GPS 모듈을 포함하는 하나 이상의 센서(19)를 포함할 수 있다. 메모리(120)는 비일시적 메모리일 수 있으며, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 플래시 메모리, 다른 유형의 영구적 메모리 등과 같은 하나 이상의 적절한 메모리 모듈을 포함할 수 있다. I/O 모듈(114)은 예를 들어 터치 스크린일 수 있다. 다양한 구현예에서, 클라이언트 디바이스(10)는 도 2에 도시된 것보다 적은 수의 컴포넌트를 포함하거나 반대로 추가적 컴포넌트를 포함할 수 있다. 다른 실시예에서, 클라이언트 디바이스(10)는 임의의 적절한 휴대용 또는 비휴대용 컴퓨팅 디바이스일 수 있다. 예를 들어, 클라이언트 디바이스(10)는 랩톱 컴퓨터, 데스크톱 컴퓨터, 스마트 워치 또는 스마트 글래스와 같은 웨어러블 디바이스 등일 수 있다.

메모리(120)는 임의의 유형의 적합한 모바일 또는 범용 운영 체제일 수 있는 운영 체제(OS)(126)를 저장한다. OS(126)는 애플리케이션이 센서 판독 값을 검색할 수 있게 하는 애플리케이션 프로그래밍 인터페이스(API) 기능을 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(10)에서 실행하도록 구성된 소프트웨어 애플리케이션은 그 순간에 클라이언트 디바이스(10)의 현재 위치를 검색하기 위해 OS(126) API를 호출하는 명령어를 포함할 수 있다. API는 API가 추정치에 얼마나 확실한지에 대한 정량적 표시를 반환할 수 있다(예: 백분율).

메모리(120)는 또한 상기 표시된 바와 같이 인터렉티브 디지털 지도를 생성하고 및/또는 다른 지리적 기능을 수행하도록 구성된 지도 애플리케이션(122)을 저장한다. 지도 애플리케이션(122)은 오디오 내비게이션 지시를 포함하는 내비게이션 지시를 수신하고 내비게이션 지시를 제시할 수 있다. 지도 애플리케이션(122)은 운전, 도보 또는 대중 교통 길안내를 디스플레이할 수 있고, 일반적으로 지리, 지리위치 내비게이션 등과 관련된 기능을 제공한다. 또한, 지도 애플리케이션(122)은 주행 이벤트 사운드 검출기(134)를 통해 주행 이벤트 사운드를 검출할 수 있다. 주행 이벤트 사운드 검출기(134)는 검출된 주행 이벤트 사운드가 실제인지 인공적인지 여부를 결정할 수 있다. 검출된 주행 이벤트 사운드가 인공적인 경우, 주행 이벤트 사운드 검출기(134)는 사운드가 인공적임을 운전자에게 표시하는 및/또는 운전자에게 무시하도록 지시하는 알림을 제시할 수 있다. 주행 이벤트 사운드 검출기(134)는 또한 또는 대신에 주행 이벤트 사운드가 재생될 때 클라이언트 디바이스 또는 주행 이벤트 사운드를 재생하는 다른 디바이스의 볼륨을 음소거하거나 낮출 수 있다. 또한, 주행 이벤트 사운드 검출기(134)는 오디오 스트림이 주행 이벤트 사운드를 재생하지 않도록 오디오 스트림을 필터링할 수 있다. 검출된 주행 이벤트 사운드가 실제인 경우, 주행 이벤트 사운드 검출기(134)는 소리가 실제임을 운전자에게 표시하는 및/또는 운전자에게 적절하게 응답(예를 들어, 차를 세우거나, 도움을 요청하거나, 서비스를 위한 차량 등)하도록 지시하는 알림을 제시할 수 있다.

비록 도 2가 지도 애플리케이션(122)을 독립형 애플리케이션으로서 도시하지만, 지도 애플리케이션(122)의 기능은 또한 클라이언트 디바이스(10) 상에서 실행되는 웹 브라우저를 통해 액세스 가능한 온라인 서비스의 형태로 클라이언트 디바이스(10) 상에서 실행되는 다른 소프트웨어 애플리케이션에 대한 플러그인 또는 확장으로서 제공될 수 있다. 맵핑 애플리케이션(122)은 일반적으로 상이한 각각의 운영 체제에 대해 상이한 버전으로 제공될 수 있다. 예를 들어, 클라이언트 디바이스(10)의 제조사는 Android™ 플랫폼용 맵핑 애플리케이션(122), iOS™ 플랫폼용 다른 SDK 등을 포함하는 SDK(Software Development Kit)를 제공할 수 있다.

지도 애플리케이션(122)에 더하여, 메모리(120)는 오디오 콘텐츠를 재생하는 음악 애플리케이션, 비디오 애플리케이션, 게임 애플리케이션, 스트리밍 애플리케이션, 라디오 애플리케이션, 소셜 미디어 애플리케이션 등과 같은 다른 클라이언트 애플리케이션(132)을 저장한다. 이들 애플리케이션(132)은 지도 애플리케이션(122)과 통신하기 위해 API를 노출할 수 있다.

일부 구현예에서, 서버 디바이스(60)는 하나 이상의 프로세서(62) 및 메모리(64)를 포함한다. 메모리(64)는 유형적, 비일시적 메모리일 수 있으며, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 플래시 메모리, 다른 유형의 영구적 메모리 등과 같은 임의의 유형의 적절한 메모리 모듈을 포함할 수 있다. 메모리(64)는 운전 이벤트 사운드 기계 학습(ML) 모델 생성기(68)를 구성하는 프로세서(62)에서 실행 가능한 명령어들을 저장하고, 이는 운전 이벤트 사운드를 식별하기 위한 제1 기계 학습 모델 및 식별된 운전 이벤트 사운드가 실제 또는 인공인지 여부를 결정하기 위한 제2 기계 학습 모델을 생성할 수 있다.

주행 이벤트 사운드 ML 모델 생성기(68) 및 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드 검출 시스템의 컴포넌트들로서 동작할 수 있다. 대안적으로, 주행 이벤트 사운드 검출 시스템은 서버측 컴포넌트만을 포함할 수 있고 단순히 알림을 제시하거나 오디오를 조정하기 위한 명령어들을 주행 이벤트 사운드 검출기(134)에 제공할 수 있다. 다시 말해서, 이들 실시예에서의 주행 이벤트 사운드 검출 기법은 주행 이벤트 사운드(134)에 투명하게 구현될 수 있다. 다른 대안으로서, 주행 이벤트 사운드 ML 모델 생성기(68)의 전체 기능은 주행 이벤트 사운드 검출기(134)에서 구현될 수 있다.

간단히 하기 위해, 도 2은 서버의 단지 하나의 인스턴스로서 서버 디바이스(60)를 도시한다. 그러나, 일부 구현예에 따른 서버 디바이스(60)는 각각 하나 이상의 프로세서를 구비하고 다른 서버 디바이스와 독립적으로 동작할 수 있는 하나 이상의 서버 디바이스의 그룹을 포함한다. 이러한 그룹에서 동작하는 서버 디바이스는 요청을 프로세싱하는 것과 연관된 하나의 동작이 하나의 서버 디바이스에서 수행되고, 동일한 요청을 프로세싱하는 것과 연관된 다른 동작은 다른 서버 디바이스에서 수행되거나 또는 임의의 기타 적절한 기법에 따라 수행되는 분산 방식으로 클라이언트 디바이스(10)로부터의 요청을 개별적으로(예를 들어, 가용성에 기초하여) 프로세싱할 수 있다. 이 논의의 목적상, "서버 디바이스"라는 용어는 개별 서버 디바이스 또는 둘 이상의 서버 디바이스의 그룹을 지칭할 수 있다.

동작시, 클라이언트 디바이스(10)에서 동작하는 주행 이벤트 사운드 검출기(134)는 데이터를 수신하고 서버 디바이스(60) 및/또는 내비게이션 데이터 서버(34)에 전송한다. 따라서, 일례에서, 클라이언트 디바이스(10)는 출발 위치로부터 목적지까지의 내비게이션 길안내를 요청하는 내비게이션 데이터 서버(34)에 통신을 전송할 수 있다. 따라서, 내비게이션 데이터 서버(34)는 내비게이션 길안내의 세트를 생성하고 내비게이션 길안내의 세트를 클라이언트 디바이스(10)에 제공한다. 클라이언트 디바이스(10)는 또한 주행 이벤트 사운드를 식별하기 위한 제1 기계 학습 모델 및 식별된 주행 이벤트 사운드가 실제 또는 인공인지 여부를 결정하기 위한 제2 기계 학습 모델에 대한 통신을 주행 이벤트 사운드 ML 모델 생성기(68)(서버 디바이스(60)에 구현됨)에 전송할 수 있다.

클라이언트 디바이스(10)는 제1 기계 학습 모델에 오디오 피처들을 적용하여 주행 이벤트 사운드를 검출할 수 있고, 검출된 주행 이벤트 사운드의 특성을 제2 기계 학습 모델에 적용하여 주행 이벤트 사운드가 실제인지 인공인지를 결정할 수 있다.

일부 실시예에서, 주행 이벤트 사운드 ML 모델 생성기(68)는 주행 이벤트 사운드의 유형별로 별도의 기계 학습 모델을 생성할 수 있다. 예를 들어, 주행 이벤트 사운드 ML 모델 생성기(68)는 경찰 사이렌을 식별하기 위한 하나의 기계 학습 모델, 소방차 사이렌을 식별하기 위한 또 다른 기계 학습 모델, 구급차 사이렌을 식별하기 위한 또 다른 기계 학습 모델, 차량 경적을 식별하기 위한 또 다른 기계 학습 모델, 차량 충돌 소리를 식별하기 위한 또 다른 기계 학습 모델, 차량 오작동 경보를 식별하기 위한 또 다른 기계 학습 모델 등을 생성할 수 있다. 다른 구현예에서, 주행 이벤트 사운드 ML 모델 생성기(68)는 주행 이벤트 사운드의 각 유형별로 상이한 출력 클래스를 갖는 단일의 기계 학습 모델을 생성할 수 있다.

도 3은 주행 이벤트 사운드를 검출하기 위한 제1 기계 학습 모델(310)을 트레이닝하고, 오디오 스트림에서 주행 이벤트 사운드를 검출하기 위해 오디오 스트림의 오디오 피처들을 제1 기계 학습 모델(310)에 적용하는 예시적 프로세스를 개략적으로 도시한다. 상술한 바와 같이, 서버 디바이스(60)의 주행 이벤트 사운드 ML 모델 생성기(68)는 제1 기계 학습 모델(310)을 생성할 수 있다. 제1 기계 학습 모델(310)은 회귀 분석(예: 로지스틱 회귀, 선형 회귀 또는 다항 회귀), k- 최근접 이웃, 결정 트리, 랜덤 포레스트, 부스팅(예: 급경사 부스팅) 부스팅, 신경 네트워크(예: 컨벌루션 신경 네트워크), 지원 벡터 머신, 딥 러닝, 강화 학습, 베이지안 네트워크 등과 같은 다양한 기계 학습 기법을 사용하여 생성될 수 있다. 제1 기계 학습 모델(310)을 생성하기 위해, 주행 이벤트 사운드 ML 모델 생성기(68)는 오디오 특성들(304a)(예를 들어, 오디오 피처들)의 제1 세트를 갖는 제1 오디오 스트림(302a) 및 제1 오디오 스트림(302a)이 주행 이벤트 사운드(306a)를 포함하는지 여부의 제1 표시를 포함하는 트레이닝 데이터를 수신한다. 또한, 제1 표시(306a)는 주행 이벤트 사운드의 유형(예: 긴급 차량 사이렌, 차량 충돌음, 차량 오작동 경보 또는 차량 경적)을 포함할 수 있다. 트레이닝 데이터는 또한 오디오 특성들(304b)의 제2 세트를 갖는 제2 오디오 스트림(302b) 및 제2 오디오 스트림(302b)이 주행 이벤트 사운드(306b)를 포함하는지 여부의 제2 표시를 포함한다. 또한, 트레이닝 데이터는 오디오 특성들(304c)의 제3 세트를 갖는 제3 오디오 스트림(302c) 및 제3 오디오 스트림(302c)이 주행 이벤트 사운드(306c)를 포함하는지 여부의 제3 표시를 포함한다. 또한, 트레이닝 데이터는 오디오 특성들의 n 번째 세트(304n)를 갖는 n번째 오디오 스트림(302n) 및 n번째 오디오 스트림(302n)이 주행 이벤트 사운드(306n)를 포함하는지 여부의 n번째 표시를 포함한다.

예시적 트레이닝 데이터는 4개의 오디오 스트림들(302a-302n)을 포함하지만, 이는 단지 설명의 용이성을 위한 예시일 뿐이다. 트레이닝 데이터는 임의의 수의 오디오 스트림들 및 대응하는 오디오 특성들 및 오디오 스트림들이 주행 이벤트 사운드를 포함하는지 여부에 대한 표시를 포함할 수 있다.

주행 이벤트 사운드 ML 모델 생성기(68)는 트레이닝 데이터를 분석하여 주행 이벤트 사운드를 검출하기 위한 제1 기계 학습 모델(310)을 생성한다. 일부 구현예에서, 주행 이벤트 사운드 ML 모델 생성기(68)는 주행 이벤트 사운드의 유형별로 별도의 기계 학습 모델을 생성한다. 제1 기계 학습 모델(310)이 선형 회귀 모델로 예시되어 있지만, 제1 기계 학습 모델(310)은 로지스틱 회귀 모델, 결정 트리, 신경망, 초평면 또는 임의의 다른 적절한 기계 학습 모델과 같은 또 다른 유형의 회귀 모델일 수 있다.

예를 들어, 기계 학습 기법이 신경 네트워크인 경우, 주행 이벤트 사운드 ML 모델 생성기(68)는 입력 노드, 중간 또는 "히든" 노드, 에지 및 출력 노드를 갖는 그래프를 생성할 수 있다. 노드는 오디오 특성들에 대해 수행되는 테스트 또는 함수를 나타낼 수 있으며 에지는 노드 간의 연결을 나타낼 수 있다. 일부 실시예에서, 출력 노드는 오디오 스트림이 주행 이벤트 사운드를 포함하는지 여부 및/또는 주행 이벤트 사운드의 유형에 대한 표시를 포함할 수 있다. 표시는 오디오 스트림이 주행 이벤트 사운드를 포함할 가능성 및/또는 오디오 스트림이 특정 유형의 주행 이벤트 사운드를 포함할 가능성일 수 있다.

예를 들어, 신경 네트워크는 각각 여러 히든 노드에 연결된 오디오 특성들을 나타내는 4개의 입력 노드를 포함할 수 있다. 히든 노드는 오디오 스트림이 주행 이벤트 사운드를 포함하는지 여부를 나타내는 출력 노드에 연결된다. 연결은 할당된 가중치가 있을 수 있으며, 히든 노드는 오디오 특성들에 대해 수행되는 테스트 또는 함수를 포함할 수 있다.

일부 실시예에서, 히든 노드는 주행 이벤트 사운드의 유형을 각각 나타내는 여러 개의 출력 노드와 연결될 수 있다. 이 예에서, 4개의 입력 노드는 오디오 스트림의 주파수, 진폭, 피치 및 톤을 포함할 수 있다. 히든 노드의 입력 값에 테스트 또는 함수를 적용할 수 있다. 그런 다음 오디오 스트림이 주행 이벤트 사운드를 포함할 가능성을 결정하기 위해 테스트 또는 함수의 결과가 가중화 및/또는 집계될 수 있다. 가능성이 임계 가능성보다 높은 경우, 신경 네트워크는 오디오 스트림이 주행 이벤트 사운드를 포함한다고 결정할 수 있다.

그러나 이는 주행 이벤트 사운드를 검출하기 위한 신경 네트워크의 입력 및 결과 출력의 한 예일 뿐이다. 다른 예에서, 임의의 수의 입력 노드는 오디오 스트림에 대한 임의의 적절한 오디오 특성들을 포함할 수 있다. 또한, 임의의 수의 출력 노드가 주행 이벤트 사운드를 포함하는 오디오 스트림의 가능성 또는 특정 유형의 주행 이벤트 사운드를 포함하는 오디오 스트림의 가능성을 결정할 수 있다.

추가 트레이닝 데이터가 수집되면, 가중치, 노드 및/또는 연결이 조정될 수 있다. 이러한 방식으로 기계 학습 모델은 지속적으로 또는 주기적으로 업데이트된다.

어느 경우이든, 주행 이벤트 사운드 ML 모델 생성기(68)는 제1 기계 학습 모델(310)을 클라이언트 디바이스(10)에 제공할 수 있다. 그런 다음, 내비게이션 세션 동안과 같이 주행 이벤트 사운드 검출기(134)가 오디오 스트림(314)을 획득할 때, 주행 이벤트 사운드 검출기(134)는 제1 기계 학습 모델(310)에 대한 입력으로서 오디오 스트림(314)의 특성들을 적용하여 오디오 스트림(314)이 주행 이벤트 사운드(318)를 포함하는지 여부를 결정할 수 있다. 그러한 결정은 제1 기계 학습 모델(310)의 출력으로서 제공될 수 있다. 주행 이벤트 사운드 검출기(134)는 제1 기계 학습 모델(310)을 사용하여 주행 이벤트 사운드(318)의 유형을 결정할 수 있고, 그러한 결정을 출력으로 제공할 수 있다. 예를 들어, 클라이언트 디바이스(10)에서 실행되는 다른 애플리케이션에서의 오디오 재생 데이터로부터 획득된 제1 오디오 스트림에 대해, 제1 기계 학습 모델(310)은 제1 오디오 스트림이 주행 이벤트 사운드를 포함한다고 결정한다. 클라이언트 디바이스(10)에 통신가능하게 연결된 디바이스(14, 92)에서 오디오 재생 데이터로부터 획득된 제2 오디오 스트림에 대해, 제1 기계 학습 모델(310)은 제2 오디오 스트림이 경찰 사이렌을 포함한다고 결정한다. 차량(12) 영역 내의 주변 오디오로부터 획득된 제3 오디오 스트림에 대해, 기계 학습 모델(310)은 제3 오디오 스트림이 주행 이벤트 사운드를 포함하지 않는다고 결정한다.

상술한 바와 같이 기계 학습은 주행 이벤트 사운드를 검출하기 위한 하나의 예시적인 기법일 뿐이다. 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 미리 결정된 주행 이벤트 사운드의 오디오 지문을 차량(12) 영역 내의 주변 오디오 또는 클라이언트 디바이스에서 실행되는 다른 애플리케이션으로부터 또는 클라이언트 디바이스(10)에 통신적으로 연결된 디바이스(14, 92)로부터의 오디오 재생 데이터로부터의 오디오 스트림과 비교함으로써 주행 이벤트 사운드를 검출할 수 있다. 일치하는 경우, 주행 이벤트 사운드 검출기(134)는 오디오가 주행 이벤트 사운드를 포함한다고 결정할 수 있다. 구체적으로, 주행 이벤트 사운드 검출기(134)는 주변 오디오 또는 오디오 스트림에서 지문을 추출하고, 주변 오디오 또는 오디오 스트림 지문의 피처들을 식별하고, 주변 오디오 또는 오디오 스트림 지문의 피처들과 미리 결정된 주행 이벤트 사운드로부터의 오디오 지문의 피처들을 비교할 수 있다. 예를 들어 주파수, 피치, 톤, 진폭 등이 오디오 지문 피처들로 저장될 수 있다. 그런 다음 미리 결정된 주행 이벤트 사운드에 대한 이러한 오디오 지문 피처들의 각각은 주변 오디오 또는 오디오 스트림 지문의 피처들과 비교될 수 있다.

일부 실시예에서, 미리 결정된 주행 이벤트 사운드에 대한 오디오 지문 피처들은 최근접 이웃 알고리즘을 사용하여 주변 오디오 또는 오디오 스트림 지문에 대한 피처들과 비교될 수 있다. 최근접 이웃 알고리즘은 주변 오디오 또는 오디오 스트림 지문의 피처들에 가장 근접한 미리 결정된 주행 이벤트 사운드에 대한 오디오 지문 피처들을 식별할 수 있다. 주행 이벤트 사운드 검출기(134)는 주변 오디오 또는 오디오 스트림 지문 피처들이 미리 결정된 주행 이벤트 사운드들 중 하나에 대한 오디오 지문 피처들과 일치하거나 임계값 이상의 유사성을 가질 때 주변 오디오 또는 오디오 스트림이 주행 이벤트 사운드를 포함한다고 결정할 수 있다. 주행 이벤트 사운드 검출기(134)는 또한 주변 오디오 또는 오디오 스트림 지문과 일치하거나 임계값 이상의 유사성을 갖는 주변 오디오 또는 오디오 스트림이 미리 결정된 주행 이벤트 사운드에서 특정 유형의 주행 이벤트 사운드를 포함한다고 결정할 수 있다.

또 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 클라이언트 디바이스(10)에서 실행되는 다른 애플리케이션 또는 클라이언트 디바이스(10)에 통신적으로 연결된 디바이스(14, 92)로부터의 오디오 콘텐츠를 설명하는 메타데이터에 기초하여 주행 이벤트 사운드를 검출할 수 있다. 메타데이터는 오디오 콘텐츠가 주행 이벤트 사운드, 주행 이벤트 사운드의 유형 및/또는 주행 이벤트 사운드가 재생될 시점을 포함함을 나타낼 수 있다.

주행 이벤트 사운드가 검출되면, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드가 실제인지 인공인지 결정할 수 있다. 도 4는 주행 이벤트 사운드가 실제인지 인공인지를 식별하고 검출된 주행 이벤트 사운드의 특성을 제2 기계 학습 모델(410)에 적용하여 검출된 주행 이벤트 사운드가 실제 또는 인공인지 여부를 결정하기 위한 제2 기계 학습 모델(410)을 트레이닝하는 예시적 프로세스를 개략적으로 도시한다. 상술한 바와 같이, 서버 디바이스(60)의 주행 이벤트 사운드 ML 모델 생성기(68)는 제2 기계 학습 모델(410)을 생성할 수 있다. 제2 기계 학습 모델(410)은 회귀 분석(예: 로지스틱 회귀, 선형 회귀 또는 다항 회귀), k- 최근접 이웃, 결정 트리, 랜덤 포레스트, 부스팅(예: 급경사 부스팅) 부스팅, 신경 네트워크(예: 컨벌루션 신경 네트워크), 지원 벡터 머신, 딥 러닝, 강화 학습, 베이지안 네트워크 등과 같은 다양한 기계 학습 기법을 사용하여 생성될 수 있다. 제2 기계 학습 모델(410)을 생성하기 위해, 주행 이벤트 사운드 ML 모델 생성기(68)는 주행 이벤트 사운드 특성들(304a)의 제1 세트를 갖는 제1 주행 이벤트 사운드(402a) 및 제1 주행 이벤트 사운드(402a)이 실제 또는 인공(406a)인지 여부의 제1 표시를 포함하는 트레이닝 데이터를 수신한다.

주행 이벤트 사운드의 특성들은 주행 이벤트 사운드의 오디오 특성들뿐만 아니라 주행 이벤트 사운드 시점의 차량(12)의 환경적 특성을 포함할 수 있다. 주행 이벤트 사운드의 오디오 특성들은 주파수, 피치, 톤, 진폭, 파장 등을 포함할 수 있다. 일부 구현예에서, 주행 이벤트 사운드의 오디오 특성들은 주파수의 변화 또는 도플러 효과를 나타낼 수 있는 시간에 따른 파장의 변화를 포함할 수 있다. 도플러 효과는 주행 이벤트 사운드가 실제이고 차량(12)에 대해 이동하고 있던 외부 소스로부터 온 것임을 나타낼 수 있다. 환경 특성들은 차량(12) 내의 카메라로부터의 센서 데이터, 타이어 압력 센서, 차량 도어 센서, 시트 벨트 센서, 가속도계, 자이로스코프, 포지셔닝 센서 등과 같은 차량(12)으로부터의 센서 데이터를 포함할 수 있다. 추가적으로, 주행 이벤트 사운드 특성들은 경찰차 사이렌, 소방차 사이렌, 구급차 사이렌, 차량 경적, 차량 충돌음, 차량 오작동 경고음 등과 같은 주행 이벤트 사운드의 유형의 표시를 포함할 수 있다. 또한, 주행 이벤트 사운드 특성들은 동승자가 차량(12)에서 전자 게임을 하고 있는지 여부, 플레이하고 있는 전자 게임의 유형, 전자 게임의 이름, 차량(12)에서 라디오가 재생 중인지 여부, 현재 재생되고 있는 노래 또는 콘텐츠의 이름과 같은 미디어 콘텐츠 특성들을 포함할 수 있다. 미디어 컨텐츠 특성들은 API를 통해 클라이언트 디바이스(10)에서 실행되는 다른 애플리케이션(132)에 의해 또는 단거리 통신 링크를 통해 다른 디바이스(92)에 의해 제공된 메타데이터로부터 결정될 수 있다.

트레이닝 데이터는 또한 주행 이벤트 사운드 특성들(404b)의 제2 세트를 갖는 제2 주행 이벤트 사운드(402b) 및 제2 주행 이벤트 사운드(402b)가 실제인지 인공인지에 대한 제2 표시(406b)를 포함한다. 또한, 트레이닝 데이터는 주행 이벤트 사운드 특성들(404c)의 제3 세트를 갖는 제3 주행 이벤트 사운드(402c) 및 제3 주행 이벤트 사운드(402c)가 실제인지 인공인지에 대한 제3 표시(406c)를 포함한다. 또한, 트레이닝 데이터는 주행 이벤트 사운드 특성들(404n)의 제n 세트를 갖는 n번째 주행 이벤트 사운드(402n) 및 n번째 주행 이벤트 사운드(402n)가 실제인지 인공인지에 대한 n번째 표시(406n)를 포함한다.

예시적 트레이닝 데이터는 4개의 주행 이벤트 사운드(402a-402n)를 포함하지만, 이는 단지 설명의 용이성을 위한 예시일 뿐이다. 트레이닝 데이터는 임의의 수의 주행 이벤트 사운드 및 대응하는 주행 이벤트 사운드 특성들 및 주행 이벤트 사운드가 실제인지 인공인지의 표시를 포함할 수 있다.

주행 이벤트 사운드 ML 모델 생성기(68)는 트레이닝 데이터를 분석하여 주행 이벤트 사운드가 실제 또는 인공인지 여부를 결정하기 위한 제2 기계 학습 모델(410)을 생성한다. 일부 구현예에서, 주행 이벤트 사운드 ML 모델 생성기(68)는 주행 이벤트 사운드의 유형별로 별도의 기계 학습 모델을 생성한다. 제2 기계 학습 모델(410)이 선형 회귀 모델로 예시되어 있지만, 제2 기계 학습 모델(410)은 로지스틱 회귀 모델, 결정 트리, 신경망, 초평면 또는 임의의 다른 적절한 기계 학습 모델과 같은 또 다른 유형의 회귀 모델일 수 있다.

어느 경우이든, 주행 이벤트 사운드 ML 모델 생성기(68)는 제2 기계 학습 모델(410)을 클라이언트 디바이스(10)에 제공할 수 있다. 그런 다음, 내비게이션 세션 동안과 같이 주행 이벤트 사운드 검출기(134)가 주행 이벤트 사운드(414)를 검출하면, 주행 이벤트 사운드 검출기(134)는 제2 기계 학습 모델(410)에 대한 입력으로서 주행 이벤트 사운드(414)의 특성들을 적용하여 주행 이벤트 사운드(314)가 실제 또는 인공인지 여부(418)를 결정할 수 있다. 그러한 결정은 제2 기계 학습 모델(410)의 출력으로서 제공될 수 있다.

상술한 바와 같이 기계 학습은 주행 이벤트 사운드가 실제 또는 인공인지 여부를 결정하기 위한 하나의 예시적인 기법일 뿐이다. 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드의 소스가 클라이언트 디바이스(10) 또는 다른 디바이스(14, 92)에서 실행되는 애플리케이션인 경우 주행 이벤트 사운드가 인공적이라고 결정할 수 있다. 또 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드의 지리적 소스를 결정하고 지리적 소스를 차량(12)의 현재 위치와 비교함으로써 주행 이벤트 사운드가 인공적인지 결정할 수 있다. 예를 들어, 다른 국가의 긴급 차량 사이렌은 다른 오디오 특성들을 가질 수 있다. 주행 이벤트 음향 검출기(134)는 주행 이벤트 사운드의 오디오 특성들과 상이한 국가의 긴급 차량 사이렌의 오디오 특성들을 비교하여 주행 이벤트 사운드의 발생 영역을 결정할 수 있다. 주행 이벤트 사운드의 발생 영역이 차량(12)의 현재 위치와 다른 경우, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드가 인공적이라고 결정할 수 있다. 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 시간에 따른 주행 이벤트 사운드의 주파수 변화에 기초하여 주행 이벤트 사운드가 인공적이라고 결정할 수 있다. 주행 이벤트 사운드의 주파수가 시간에 따라 도플러 편이를 나타내는 임계량 이상 변화하지 않는 경우, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드의 소스가 차량(12)에 대해 움직이지 않는 것으로 결정할 수 있고, 따라서 주행 이벤트 사운드는 인공적이라고 결정할 수 있다. 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 주변 오디오 지문 또는 오디오 재생 데이터에 포함된 오디오 스트림으로부터의 오디오 지문을 미리 결정된 인공 주행 이벤트 사운드의 오디오 지문과 비교함으로써 주행 이벤트 사운드가 인공적이라고 결정할 수 있다. 일치하는 경우, 주행 이벤트 사운드 검출기(134)는 오디오가 인공적 주행 이벤트 사운드를 포함한다고 결정할 수 있다. 주행 이벤트 사운드 검출기(134)는 주변 오디오 지문 또는 오디오 재생 데이터에 포함된 오디오 스트림의 오디오 지문과 미리 결정된 실제 주행 이벤트 사운드의 오디오 지문을 비교할 수 있다. 일치하는 경우, 주행 이벤트 사운드 검출기(134)는 오디오가 실제 주행 이벤트 사운드를 포함한다고 결정할 수 있다.

주행 이벤트 사운드가 검출되고 실제 또는 인공적인 것으로 결정되면, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드가 실제 또는 인공인지 여부를 나타내는 알림을 운전자에게 제공할 수 있다. 알림은 클라이언트 디바이스(10)의 디스플레이 상에 제시될 수 있거나 클라이언트 디바이스(10) 또는 차량 헤드 유닛(14)의 스피커를 통해 제시되는 오디오 알림일 수 있다. 도 5a 내지 도 5c는 주행 이벤트 사운드를 검출한 것에 응답하여 운전자에 대한 알림을 포함하는 예시적 내비게이션 디스플레이(500-560)를 도시한다. 도 5a의 예시적 내비게이션 디스플레이(500)에 도시된 바와 같이, 시각적 알림(510)은 내비게이션 디스플레이(500) 내의 배너로서 제시될 수 있다. 시각적 알림(510)은 "저 자동차 경적 소리는 미디어 스트림의 일부입니다."라고 말함으로써 주행 이벤트 사운드가 인공적임을 나타낸다. 일부 구현예에서, 시각적 알림(510)은 주행 이벤트 사운드를 무시하라는 지시를 더 제공할 수 있다. 시각적 알림(510)에 추가하여 또는 대안으로서, 클라이언트 디바이스(10)는 자동차 경적 소리가 미디어 스트림의 일부임을 나타내는 오디오 알림(512)을 스피커를 통해 제시할 수 있다.

다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 이어콘을 사용하여 운전자에게 주행 이벤트 사운드가 인공적임을 알릴 수 있다. 이어콘은 전자 메일 메시지 도착과 같은 특정 이벤트를 나타내는 짧고 독특한 소리이다. 도 5b는 이어콘 형태의 오디오 알림(532)을 포함하는 예시적 내비게이션 디스플레이(530)를 도시한다. 이어콘은 주행 이벤트 사운드가 인공적임을 운전자에게 알리는 비프음, 긴 비프음 또는 비프음의 세트와 같은 특정한 소리일 수 있다. 이어콘은 운전자가 이어콘을 주행 이벤트 사운드의 연속으로 착각하지 않도록 주행 이벤트 사운드와 구별되도록 생성될 수 있다.

도 5c는 주행 이벤트 사운드가 실제일 때 제시되는 다른 예시적 내비게이션 디스플레이(560)를 도시한다. 이 시나리오에서, 주행 이벤트 사운드 검출기(134)는 운전자에게 주행 이벤트 사운드가 실제임을 알리고, 운전자에게 주행 이벤트 사운드가 나타내는 긴급 차량에 주의할 것을 지시하는 시각적 알림(570)을 제공할 수 있다. 시각적 알림(570)은 내비게이션 디스플레이(560) 내에 배너로 제시될 수 있다. 일부 구현예에서, 시각적 알림(570)은 차를 세우는 것과 같이 실제 주행 이벤트 사운드에 응답하는 방법에 대한 지시를 추가로 제공할 수 있다. 시각적 알림(570)에 추가하여 또는 대안으로서, 클라이언트 디바이스(10)는 스피커를 통해 운전자가 긴급 차량에 대해 주의를 기울여야 함을 나타내는 오디오 알림(572)을 제시할 수 있다. 이해할 수 있는 바와 같이, 주행 이벤트 사운드가 실제라는 확인으로서 임의의 유형의 시각적 알림(570)이 제공될 수 있다.

주행 이벤트 사운드를 식별하기 위한 예시적 방법

도 6은 내비게이션 세션 동안 주행 이벤트 사운드를 식별하기 위한 예시적 방법(600)의 흐름도이다. 이 방법은 컴퓨터 판독가능 메모리에 저장되고 차량(12) 내에서 클라이언트 디바이스(10)의 하나 이상의 프로세서에서 실행 가능한 명령어의 세트로 구현될 수 있다. 예를 들어, 방법은 주행 이벤트 사운드 검출기(134) 및/또는 지도 애플리케이션(122)에 의해 구현될 수 있다.

블록(602)에서, 출발 위치로부터 목적지 위치로의 내비게이션 지시들의 세트가 제공된다. 예를 들어, 운전자와 같은 사용자가 출발지에서 목적지까지의 내비게이션 방향을 요청하면, 지도 애플리케이션(122)은 내비게이션 데이터 서버(34)에 요청을 제공할 수 있다. 내비게이션 데이터 서버(34)는 지도 애플리케이션(122)에 의해 제공될 수 있는 내비게이션 길안내 세트를 클라이언트 디바이스(10)에 제공할 수 있다.

그 다음 블록(604)에서, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드를 포함하는 차량(12) 내부 또는 주변의 오디오를 식별할 수 있다. 보다 구체적으로 주행 이벤트 사운드 검출기(134)는 (예를 들어, API를 통해) 클라이언트 디바이스(10)에서 실행되는 다른 애플리케이션(132) 또는 차량 헤드 유닛(14) 또는 기타 클라이언트 디바이스(92)와 같은 클라이언트 디바이스(10) 부근의 다른 디바이스(예를 들어, 단거리 통신 링크)와 통신함으로써 오디오 재생 데이터를 획득할 수 있다. 주행 이벤트 사운드 검출기(134)는 오디오 재생 데이터로부터 오디오 스트림을 획득할 수 있다. 주행 이벤트 사운드 검출기(134)는 또한 예를 들어 마이크로폰을 통해 영역 내 오디오의 주변 오디오 지문을 캡처할 수 있다. 그런 다음 주행 이벤트 사운드 검출기(134)는 주변 오디오 지문 또는 오디오 재생 데이터에 포함된 오디오 스트림의 오디오 지문과 미리 결정된 주행 이벤트 사운드의 오디오 지문을 비교할 수 있다. 일치하는 경우, 주행 이벤트 사운드 검출기(134)는 오디오가 주행 이벤트 사운드를 포함한다고 결정할 수 있다. 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 주변 오디오 피처들 또는 오디오 스트림으로부터의 오디오 피처들을 도 3에 도시된 바와 같은 제1 기계 학습 모델(310)과 같은 주행 이벤트 사운드를 식별하기 위한 트레이닝된 기계 학습 모델에 적용할 수 있다.

주행 이벤트 사운드를 포함하는 차량(12) 내부 또는 주변의 오디오를 식별하는 것에 응답하여, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드가 실제인지 인공인지를 결정할 수 있다(블록 606). 구체적으로, 주행 이벤트 음향 검출기(134)는 오디오 특성, 주행 이벤트 사운드 발생 시점의 차량(12)에서의 환경적 특성, 주행 이벤트 사운드의 유형 등과 같은 주행 이벤트 음향의 특성들을 식별할 수 있다. 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드의 특성들을 도 4에 도시된 제2 기계 학습 모델(410)과 같이 주행 이벤트 사운드가 실제인지 인공인지 결정하기 위한 트레이닝된 기계 학습 모델에 적용할 수 있다.

다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드의 소스가 클라이언트 디바이스(10) 또는 다른 디바이스(14, 92)에서 실행되는 애플리케이션인 경우 주행 이벤트 사운드가 인공적이라고 결정할 수 있다. 또 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드의 지리적 소스를 결정하고 지리적 소스를 차량(12)의 현재 위치와 비교함으로써 주행 이벤트 사운드가 인공적인지 결정할 수 있다. 주행 이벤트 사운드의 발생 영역이 차량(12)의 현재 위치와 다른 경우, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드가 인공적이라고 결정할 수 있다. 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 시간에 따른 주행 이벤트 사운드의 주파수 변화에 기초하여 주행 이벤트 사운드가 인공적이라고 결정할 수 있다. 주행 이벤트 사운드의 주파수가 시간에 따라 도플러 편이를 나타내는 임계량 이상 변화하지 않는 경우, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드의 소스가 차량(12)에 대해 움직이지 않는 것으로 결정할 수 있고, 따라서 주행 이벤트 사운드는 인공적이라고 결정할 수 있다.

또 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 주변 오디오 지문 또는 오디오 재생 데이터에 포함된 오디오 스트림으로부터의 오디오 지문을 미리 결정된 인공 주행 이벤트 사운드의 오디오 지문과 비교함으로써 주행 이벤트 사운드가 인공적이라고 결정할 수 있다. 일치하는 경우, 주행 이벤트 사운드 검출기(134)는 오디오가 인공적 주행 이벤트 사운드를 포함한다고 결정할 수 있다. 주행 이벤트 사운드 검출기(134)는 주변 오디오 지문 또는 오디오 재생 데이터에 포함된 오디오 스트림의 오디오 지문과 미리 결정된 실제 주행 이벤트 사운드의 오디오 지문을 비교할 수 있다. 일치하는 경우, 주행 이벤트 사운드 검출기(134)는 오디오가 실제 주행 이벤트 사운드를 포함한다고 결정할 수 있다.

주행 이벤트 사운드가 실제인 경우, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드에 응답하도록 운전자에게 경고하거나(블록 610) 그렇지 않으면 주행 이벤트 사운드가 실제라고 확인할 수 있다. 예를 들어, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드가 실제임을 나타내는 도 5c에 도시된 알림(570, 572)과 같은 시각적 또는 오디오 알림을 운전자에게 제공할 수 있다. 알림은 또한 운전자에게 주행 이벤트 사운드에 적절하게 응답하도록 지시하거나 정차, 감속, 도움 요청, 수리를 위해 차량을 가져가는 등 운전자 이벤트 사운드에 응답하는 방법에 대한 명시적 지침을 제공할 수 있다.

한편, 주행 이벤트 사운드가 인공적인 경우, 주행 이벤트 사운드 검출기(134)는 운전자에게 알림을 제시하거나 주행 이벤트 사운드를 마스킹하여 운전자가 주행 이벤트 사운드를 듣고 불필요하게 주의를 분산시키는 것을 실질적으로 방지한다(블록 612). 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드가 인공임을 나타내는 도 5a에 도시된 알림(510, 512)과 같은 시각적 또는 오디오 알림을 운전자에게 제공할 수 있다. 알림은 운전자에게 주행 이벤트 사운드를 무시하도록 지시할 수 있다.

주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드 중 오디오의 음량을 줄이거나 음소거하여 주행 이벤트 사운드를 마스킹할 수 있다. 예를 들어, 주행 이벤트 사운드가 클라이언트 디바이스(10)에서 실행되는 애플리케이션(132)에 의해 제공되는 경우, 주행 이벤트 사운드 검출기(134)는 API를 통해 애플리케이션(132)과 통신하여 애플리케이션(132)에 주행 이벤트 사운드 동안 오디오 볼륨을 줄이거나 음소거하도록 지시할 수 있다. 주행 이벤트 사운드가 클라이언트 디바이스(10)에 통신적으로 결합된 다른 디바이스(14, 92)에 의해 제공되는 경우, 주행 이벤트 사운드 검출기(134)는 근거리 통신 링크를 통해 다른 디바이스(14, 92)와 통신하여 주행 이벤트 사운드 동안 오디오의 볼륨을 줄이거나 음소거하기 위한 요청을 다른 디바이스(14, 92)에게 전송할 수 있다.

일부 구현예에서, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드가 재생되기 전에 능동적으로 볼륨을 음소거하거나 감소시키기로 결정한다. 예를 들어, 주행 이벤트 사운드 검출기(134)는 인공 주행 이벤트 사운드가 재생되기 전에 오디오 콘텐츠를 기술하는 메타데이터를 통해 식별되면, 인공 주행 이벤트 사운드를 음소거하거나 볼륨을 낮출 것을 능동적으로 결정할 수 있다. 이는 운전자가 인공 주행 이벤트 사운드의 일부를 듣지 못하도록 하는 이점이 있다. 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드가 재생됨에 따라 운전자가 주행 이벤트 사운드의 적어도 일부를 듣지 못하도록 주행 이벤트 사운드에 대한 볼륨을 감소시키거나 음소거하도록 결정한다.

다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 오디오 스트림으로부터 주행 이벤트 사운드를 필터링함으로써 주행 이벤트 사운드를 마스킹할 수 있다. 보다 구체적으로, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드를 필터링하기 위한 대역 통과 필터 또는 기계 학습 모델과 같은 필터가 오디오 스트림에 제공되도록 할 수 있다. 주행 이벤트 사운드 검출기(134)는 오디오 스트림으로부터 주행 이벤트 사운드를 필터링하기 위해 클라이언트 디바이스(10) 또는 클라이언트 디바이스(10)에 통신가능하게 결합된 다른 디바이스(14, 92) 상에서 실행되는 다른 애플리케이션(132)에 필터를 제공할 수 있다.

일부 구현예에서, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드가 재생되기 전에 능동적으로 필터링을 수행한다. 예를 들어, 주행 이벤트 사운드 검출기(134)는 인공 주행 이벤트 사운드가 재생되기 전에 오디오 콘텐츠를 기술하는 메타데이터를 통해 식별되면, 인공 주행 이벤트 사운드를 능동적으로 필터링할 수 있다. 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드의 적어도 일부를 필터링하기 위해 주행 이벤트 사운드가 재생됨에 따라 필터링을 수행한다.

또 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 클라이언트 디바이스(10)의 스피커를 통해 노이즈 캔슬링 사운드를 방출하거나 차량(12) 내의 스피커가 노이즈 캔슬링 사운드를 방출하게 함으로써 주행 이벤트 사운드를 마스킹하여 주행 이벤트 사운드에 파괴적으로 간섭하고 주행 이벤트 사운드를 덮거나 제거한다. 노이즈 캔슬링 사운드는 주행 이벤트 사운드와 진폭/주파수가 동일하거나 유사할 수 있으며, 주행 이벤트 사운드와 위상이 반전될 수 있다.

주행 이벤트 사운드 검출기(134)는 주행 이벤트 사운드를 포함하는 오디오 스트림의 특성들에 기초하여 주행 이벤트 사운드의 진폭 및 위상을 결정할 수 있다. 다른 구현예에서, 주행 이벤트 사운드 검출기(134)는 특정 유형의 주행 이벤트 사운드(예를 들어, 구급차 사이렌)에 대한 미리 결정된 특성들의 세트에 기초하여 주행 이벤트 사운드의 진폭 및 위상을 결정할 수 있다.

그러면 주행 이벤트 음향 검출기(134)는 주행 이벤트 사운드와 동일 또는 유사한 진폭과 주행 이벤트 사운드의 위상으로부터 반전된 위상을 갖는 오디오 신호를 생성하여 노이즈 캔슬링 사운드를 생성할 수 있다. 주행 이벤트 사운드 검출기(134)는 클라이언트 디바이스(10)의 스피커를 통해 노이즈 캔슬링 사운드를 재생하거나 노이즈 캔슬링 사운드의 표시를 차량 헤드 유닛(14)에 전송하여 차량(12) 내의 스피커(26)를 통해 노이즈 캔슬링 사운드를 재생할 수 있다.

추가 고려 사항

전술한 논의에는 다음의 추가 고려 사항이 적용된다. 본 명세서 전체에 걸쳐, 복수의 인스턴스는 단일 인스턴스로서 기술된 컴포넌트, 동작 또는 구조를 구현할 수 있다. 하나 이상의 방법의 개별 동작이 별도의 동작으로 도시되고 설명되었지만, 하나 이상의 개별 동작이 동시에 수행될 수 있으며, 동작이 도시된 순서대로 수행될 필요는 없다. 예시적 구성에서 개별 컴포넌트로서 제시된 구조 및 기능은 결합된 구조 또는 컴포넌트로서 구현될 수 있다. 유사하게, 단일 컴포넌트로서 제시된 구조 및 기능은 별도의 컴포넌트로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 본 발명의 주제의 범위 내에 속한다.

추가적으로, 특정 실시예는 본 명세서에서 로직 또는 다수의 컴포넌트, 모듈 또는 메커니즘을 포함하는 것으로 설명된다. 모듈은 소프트웨어 모듈(예를 들어, 기계 판독가능 매체 상에 저장된 코드) 또는 하드웨어 모듈 중 하나를 구성할 수 있다. 하드웨어 모듈은 특정 동작을 수행할 수 있는 유형의 유닛이고, 특정 방식으로 구성 또는 배열될 수 있다. 예시적 실시예에서, 하나 이상의 컴퓨터 시스템(예를 들어, 독립형, 클라이언트 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 모듈(예를 들어, 프로세서 또는 프로세서 그룹)은 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 본 명세서에 기술된 바와 같은 특정 동작을 수행하도록 동작하는 하드웨어 모듈로서 구성될 수 있다.

다양한 실시예들에서, 하드웨어 모듈은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 특정 동작을 수행하기 위해 영구적으로 구성되는 전용 회로 또는 로직을 포함할 수 있다(예를 들어, FPGA(Field Programmable Gate Array) 또는 ASIC(application-specific integrated circuit)와 같은 특수 목적 프로세서). 하드웨어 모듈은 또한 특정 동작을 수행하기 위해 소프트웨어에 의해 일시적으로 구성되는 프로그램 가능 로직 또는 회로(예를 들어, 범용 프로세서 또는 다른 프로그램 가능 프로세서 내에 포함되는)를 포함할 수 있다. 기계적으로, 전용으로 그리고 영구적으로 구성된 회로 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성된)에서 하드웨어 모듈을 구현하기로 한 결정은 비용 및 시간 고려 사항에 의해 유도될 수 있다는 것이 이해될 것이다.

따라서, 하드웨어라는 용어는 유형적 개체, 물리적으로 구성, 영구적으로 구성(예를 들어, 유선) 또는 일시적으로 구성(예를 들어, 프로그래밍)되어 특정 방식으로 동작하거나 본 명세서에 기술된 특정 동작을 수행하는 개체를 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용되는 "하드웨어 구현 모듈"은 하드웨어 모듈을 지칭한다. 하드웨어 모듈이 일시적으로 구성(예를 들어, 프로그래밍)되는 실시예를 고려하면, 각각의 하드웨어 모듈은 임의의 하나의 인스턴스에서 구성되거나 인스턴스화될 필요가 없다. 예를 들어, 하드웨어 모듈이 소프트웨어를 사용하여 구성된 범용 프로세서를 포함하는 경우, 범용 프로세서는 상이한 시간에 각각 상이한 하드웨어 모듈로서 구성될 수 있다. 따라서, 소프트웨어는 예를 들어 한 시점에서 특정 하드웨어 모듈을 구성하고 다른 시점에서 다른 하드웨어 모듈을 구성하도록 프로세서를 구성할 수 있다.

하드웨어 모듈은 다른 하드웨어에 정보를 제공하고 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 모듈은 통신적으로 연결된 것으로 간주될 수 있다. 그러한 하드웨어 모듈의 다수가 동시에 존재하는 경우, 통신은 하드웨어 모듈을 연결하는 신호 전송(예를 들어, 적절한 회로 및 버스를 통해)을 통해 달성될 수 있다. 다수의 하드웨어 모듈이 상이한 시간에 구성되거나 인스턴스화되는 실시예에서, 이러한 하드웨어 모듈 간의 통신은 예를 들어 다수의 하드웨어 모듈이 액세스하는 메모리 구조에서의 정보의 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 모듈은 동작을 수행하고, 그 동작의 출력을 통신적으로 연결된 메모리 디바이스에 저장할 수 있다. 그 다음, 추가 하드웨어 모듈은 나중에 메모리 디바이스에 액세스하여 저장된 출력을 검색하고 프로세싱할 수 있다. 하드웨어 모듈은 또한 입력 또는 출력 디바이스와의 통신을 개시할 수 있고, 리소스(예를 들어, 정보 수집)에서 동작할 수 있다.

방법(600)은 비일시적 컴퓨터 판독가능 저장 매체에 저장되고 컴퓨팅 디바이스(예를 들어, 서버 디바이스, 개인용 컴퓨터, 스마트폰, 태블릿 컴퓨터, 스마트 워치, 모바일 컴퓨팅 디바이스 또는 본 명세서에 기술된 다른 클라이언트 디바이스)의 프로세서를 사용하여 실행되는 유형의 컴퓨터 실행 가능 명령어 형태의 하나 이상의 기능 블록, 모듈, 개별 기능 또는 루틴을 포함할 수 있다. 방법(600)은 임의의 백엔드 서버(예를 들어, 지도 데이터 서버, 내비게이션 서버 또는 본 명세서에 기술된 임의의 다른 유형의 서버 컴퓨팅 디바이스), 예시적 환경의 클라이언트 디바이스 모듈의 일부로서, 예를 들어, 또는 그러한 환경 외부에 있는 모듈의 일부로서 포함될 수 있다. 설명의 편의를 위해 도면이 다른 도면을 참조하여 설명될 수 있지만, 방법(600)은 다른 객체 및 사용자 인터페이스와 함께 이용될 수 있다. 또한, 위의 설명은 특정 디바이스(예: 서버 디바이스(60) 또는 클라이언트 디바이스(10))에 의해 수행되는 방법(600)의 단계를 설명하지만, 이는 예시 목적으로만 수행된다. 방법(600)의 블록은 하나 이상의 디바이스 또는 환경의 다른 부분에 의해 수행될 수 있다.

본 명세서에 기술된 예시적 방법의 다양한 동작은 적어도 부분적으로, 관련 동작을 수행하도록 일시적으로 구성되거나(예를 들어, 소프트웨어에 의해) 영구적으로 구성된 하나 이상의 프로세서에 의해 수행될 수 있다. 일시적으로 또는 영구적으로 구성되든, 이러한 프로세서는 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서 구현 모듈을 구성할 수 있다. 본 명세서에서 언급된 모듈은 일부 예시적 실시예에서 프로세서 구현 모듈을 포함할 수 있다.

유사하게, 본 명세서에 기술된 방법 또는 루틴은 적어도 부분적으로 프로세서로 구현될 수 있다. 예를 들어, 방법의 동작 중 적어도 일부는 하나 이상의 프로세서 또는 프로세서로 구현된 하드웨어 모듈에 의해 수행될 수 있다. 특정 동작의 수행은 단일 기계 내에 상주하는 하나 이상의 프로세서에 분산될 수 있을 뿐만 아니라 다수의 컴퓨터에 걸쳐 배포될 수 있다. 일부 예시적 실시예에서, 프로세서(들)는 단일 위치(예를 들어, 가정 환경, 사무실 환경 내에 또는 서버 팜으로서)에 위치될 수 있고, 다른 실시예에서 프로세서는 다수의 위치에 걸쳐 분산될 수 있다.

하나 이상의 프로세서는 또한 "클라우드 컴퓨팅” 환경에서 또는 SaaS로서 관련 동작의 수행을 지원하도록 동작할 수 있다. 예를 들어, 전술한 바와 같이, 적어도 일부 동작은(프로세서를 포함하는 기계의 예로서) 컴퓨터 그룹에 의해 수행될 수 있으며, 이들 동작은 네트워크(예: 인터넷) 및 하나 이상의 적절한 인터페이스를 통해 액세스 가능하다(예: API).

더 나아가, 도면은 단지 예시의 목적으로 예시적 환경의 일부 실시예를 도시한다. 통상의 기술자는 본 명세서에 설명된 원리를 벗어나지 않고 본 명세서에 예시된 구조 및 방법의 대체 실시예가 채용될 수 있다는 것을 다음 논의로부터 쉽게 인식할 것이다.

본 개시를 읽을 때, 통상의 기술자는 본 명세서에 개시된 원리를 통해 주행 이벤트 사운드를 식별하기 위한 추가의 대안적 구조적 및 기능적 설계를 이해할 것이다. 따라서, 특정 실시예 및 적용예가 도시되고 설명되었지만, 개시된 실시예는 본 명세서에 개시된 정확한 구성 및 컴포넌트에 한정되지 않는 것으로 이해되어야 한다. 통상의 기술자에게 명백할 다양한 수정, 변경 및 변형이 첨부된 청구범위에 정의된 사상 및 범위를 벗어나지 않고 본 명세서에 개시된 방법 및 장치의 구성, 동작 및 세부 사항 내에서 이루어질 수 있다.

Claims

내비게이션 세션 중 주행 이벤트 사운드를 식별하는 방법에 있어서,
차량에서 하나 이상의 프로세서들에 의해, 경로를 따라 출발 위치로부터 목적지 위치까지 이동하기 위한 내비게이션 길안내들의 세트를 제공하는 단계;
상기 목적지 위치로의 내비게이션 동안:
상기 하나 이상의 프로세서들에 의해, 상기 차량 내부 또는 상기 차량 주변 영역으로부터의 주행 이벤트 사운드를 포함하는 오디오를 식별하는 단계;
상기 오디오가 상기 주행 이벤트 사운드를 포함한다는 결정에 응답하여, 상기 하나 이상의 프로세서들에 의해, 상기 주행 이벤트 사운드가 인공적인지 여부를 결정하는 단계; 및
상기 주행 이벤트 사운드가 인공적이라는 결정에 응답하여:
상기 하나 이상의 프로세서들에 의해, 상기 주행 이벤트 사운드가 인공적이라는 알림을 운전자에게 제시하거나, 상기 주행 이벤트 사운드를 상기 운전자가 듣지 못하도록 상기 주행 이벤트 사운드를 마스킹하는 단계를 포함하는, 방법.
청구항 1에 있어서, 주행 이벤트 사운드를 포함하는 오디오를 식별하는 단계는:
상기 하나 이상의 프로세서들에 의해, 클라이언트 디바이스에서 실행되는 애플리케이션으로부터 오디오 재생 데이터를 획득하는 단계;
상기 하나 이상의 프로세서들에 의해, 상기 클라이언트 디바이스에 통신 가능하게 연결된 디바이스로부터 오디오 재생 데이터를 획득하는 단계; 또는
상기 하나 이상의 프로세서들에 의해, 주변 오디오를 획득하는 단계를 포함하는, 방법.
청구항 2에 있어서,
상기 하나 이상의 프로세서들에 의해, 상기 애플리케이션 또는 상기 디바이스로부터의 상기 오디오 재생 데이터 또는 상기 주변 오디오에 포함된 오디오 지문과 미리 결정된 주행 이벤트 사운드의 하나 이상의 오디오 지문을 비교하는 단계를 더 포함하는, 방법.
청구항 2에 있어서,
(i) 오디오 스트림들의 세트 및 (ii) 상기 오디오 스트림들의 세트에서 오디오 스트림들 중 적어도 일부에 대응하는 주행 이벤트 사운드의 표시를 사용하여 기계 학습 모델을 트레이닝하는 단계; 및
상기 하나 이상의 프로세서들에 의해, 상기 오디오가 주행 이벤트 사운드를 포함하는지 여부를 결정하기 위해 상기 애플리케이션 또는 상기 디바이스로부터의 상기 오디오 재생 데이터 또는 상기 주변 오디오를 상기 기계 학습 모델에 적용하는 단계를 더 포함하는, 방법.
청구항 2 내지 4 중 어느 한 항에 있어서, 상기 주행 이벤트 사운드가 인공적인지 여부를 결정하는 단계는:
상기 하나 이상의 프로세서들에 의해, 상기 애플리케이션 또는 상기 디바이스로부터의 오디오 재생 데이터에 상기 주행 이벤트 사운드가 포함되어 있다고 결정하는 것에 응답하여 상기 주행 이벤트 사운드가 인공적이라고 결정하는 단계를 포함하는, 방법.
청구항 2 내지 4 중 어느 한 항에 있어서, 상기 주행 이벤트 사운드가 인공적인지 여부를 결정하는 단계는:
(i) 주행 이벤트 사운드에 대응하는 오디오 스트림들의 세트 및 상기 오디오 스트림들의 세트에서 각 오디오 스트림에 대해 (ii) 상기 주행 이벤트 사운드가 실제 소스인지 인공 소스인지 여부의 표시를 사용하여 기계 학습 모델을 트레이닝하는 단계; 및
상기 하나 이상의 프로세서들에 의해, 상기 오디오 내의 주행 이벤트 사운드가 인공적인지 여부를 결정하기 위해 상기 애플리케이션 또는 상기 디바이스로부터의 오디오 재생 데이터 또는 상기 주변 오디오를 기계 학습 모델에 적용하는 단계를 포함하는, 방법.
청구항 2 내지 4 중 어느 한 항에 있어서, 상기 주행 이벤트 사운드가 인공적인지 여부를 결정하는 단계는:
상기 하나 이상의 프로세서들에 의해, 상기 주행 이벤트 사운드의 지리적 소스를 결정하는 단계;
상기 하나 이상의 프로세서들에 의해, 상기 주행 이벤트 사운드의 지리적 소스를 상기 차량의 현재 위치와 비교하는 단계; 및
상기 하나 이상의 프로세서들에 의해, 상기 주행 이벤트 사운드의 지리적 소스가 상기 차량의 현재 위치와 다른 경우 상기 주행 이벤트 사운드가 인공적이라고 결정하는 단계를 포함하는, 방법.
임의의 선행하는 청구항에 있어서, 상기 주행 이벤트 사운드를 마스킹하는 단계는:
상기 하나 이상의 프로세서들에 의해, 상기 애플리케이션 또는 상기 디바이스로부터의 오디오 재생 데이터로부터 상기 주행 이벤트 사운드를 필터링하는 단계를 포함하는, 방법.
임의의 선행하는 청구항에 있어서, 상기 주행 이벤트 사운드는 긴급 차량 사이렌, 차량 충돌음, 차량 고장 경보 또는 차량 경적 중 적어도 하나를 포함하는, 방법.
주행 이벤트 사운드를 식별하기 위한 클라이언트 디바이스에 있어서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 결합되고 상기 하나 이상의 프로세서들에 의해 실행될 때 상기 클라이언트 디바이스로 하여금 동작들을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 메모리를 포함하며, 상기 동작들은:
상기 차량 내부 또는 상기 차량 주변 영역으로부터의 주행 이벤트 사운드를 포함하는 오디오를 식별하는 동작;
상기 오디오가 상기 주행 이벤트 사운드를 포함한다는 결정에 응답하여, 상기 주행 이벤트 사운드가 인공적인지 여부를 결정하는 동작; 및
상기 주행 이벤트 사운드가 인공적이라는 결정에 응답하여:
상기 주행 이벤트 사운드가 인공적이라는 알림을 운전자에게 제시하거나, 상기 주행 이벤트 사운드를 상기 운전자가 듣지 못하도록 상기 주행 이벤트 사운드를 마스킹하는 동작을 포함하는, 클라이언트 디바이스.
청구항 10에 있어서, 주행 이벤트 사운드를 포함하는 오디오를 식별하는 동작은:
클라이언트 디바이스에서 실행되는 애플리케이션으로부터 오디오 재생 데이터를 획득하는 동작;
상기 클라이언트 디바이스에 통신 가능하게 연결된 디바이스로부터 오디오 재생 데이터를 획득하는 동작; 또는
주변 오디오를 획득하는 동작을 포함하는, 클라이언트 디바이스.
청구항 11에 있어서, 상기 동작들은:
상기 애플리케이션 또는 상기 디바이스로부터의 상기 오디오 재생 데이터 또는 상기 주변 오디오에 포함된 오디오 지문과 미리 결정된 주행 이벤트 사운드의 하나 이상의 오디오 지문을 비교하는 동작을 더 포함하는, 클라이언트 디바이스.
청구항 11에 있어서, 상기 동작들은:
상기 애플리케이션 또는 상기 디바이스로부터의 상기 오디오 재생 데이터 또는 상기 주변 오디오를 트레이닝된 기계 학습 모델에 적용하는 동작을 더 포함하며, 상기 트레이닝된 기계 학습 모델은 오디오가 주행 이벤트 사운드를 포함하는지 여부를 결정하기 위해 트레이닝되며, 상기 트레이닝된 기계 학습 모델은 (i) 오디오 스트림들의 세트 및 (ii) 상기 오디오 스트림들의 세트에서 오디오 스트림들 중 적어도 일부에 대응하는 주행 이벤트 사운드의 표시를 포함하는 트레이닝 데이터를 사용하여 트레이닝되는, 클라이언트 디바이스.
청구항 11 내지 13 중 어느 한 항에 있어서, 상기 주행 이벤트 사운드가 인공적인지 여부를 결정하는 동작은:
상기 애플리케이션 또는 상기 디바이스로부터의 오디오 재생 데이터에 상기 주행 이벤트 사운드가 포함되어 있다고 결정하는 것에 응답하여 상기 주행 이벤트 사운드가 인공적이라고 결정하는 동작을 포함하는, 클라이언트 디바이스.
청구항 11 내지 13 중 어느 한 항에 있어서, 상기 주행 이벤트 사운드가 인공적인지 여부를 결정하는 동작은:
상기 애플리케이션 또는 상기 디바이스로부터의 상기 오디오 재생 데이터 또는 상기 주변 오디오를 트레이닝된 기계 학습 모델에 적용하는 동작을 더 포함하며, 상기 트레이닝된 기계 학습 모델은 오디오의 주행 이벤트 사운드가 실제 소스인지 인공 소스인지 여부를 결정하기 위해 트레이닝되며, 상기 트레이닝된 기계 학습 모델은 (i) 주행 이벤트 사운드에 대응하는 오디오 스트림들의 세트 및 상기 오디오 스트림들의 세트에서 각 오디오 스트림에 대해 (ii) 상기 주행 이벤트 사운드가 실제 소스인지 인공 소스인지 여부의 표시를 포함하는 트레이닝 데이터를 사용하여 트레이닝되는, 클라이언트 디바이스.
청구항 11 내지 13 중 어느 한 항에 있어서, 상기 주행 이벤트 사운드가 인공적인지 여부를 결정하는 동작은:
상기 주행 이벤트 사운드의 지리적 소스를 결정하는 동작;
상기 주행 이벤트 사운드의 지리적 소스를 상기 차량의 현재 위치와 비교하는 동작; 및
상기 주행 이벤트 사운드의 지리적 소스가 상기 차량의 현재 위치와 다른 경우 상기 주행 이벤트 사운드가 인공적이라고 결정하는 동작을 포함하는, 클라이언트 디바이스.
상기 하나 이상의 프로세서들에 결합되고 상기 하나 이상의 프로세서들에 의해 실행될 때 상기 하나 이상의 프로세서들로 하여금 동작들을 수행하게 하는 명령어를 저장하는 비일시적 컴퓨터 판독가능 메모리에 있어서, 상기 동작들은:
상기 차량 내부 또는 상기 차량 주변 영역으로부터의 주행 이벤트 사운드를 포함하는 오디오를 식별하는 동작;
상기 오디오가 상기 주행 이벤트 사운드를 포함한다는 결정에 응답하여, 상기 주행 이벤트 사운드가 인공적인지 여부를 결정하는 동작; 및
상기 주행 이벤트 사운드가 인공적이라는 결정에 응답하여:
상기 주행 이벤트 사운드가 인공적이라는 알림을 운전자에게 제시하거나, 상기 주행 이벤트 사운드를 상기 운전자가 듣지 못하도록 상기 주행 이벤트 사운드를 마스킹하는 동작을 포함하는, 비일시적 컴퓨터 판독가능 메모리.
청구항 17에 있어서, 주행 이벤트 사운드를 포함하는 오디오를 식별하는 동작은:
클라이언트 디바이스에서 실행되는 애플리케이션으로부터 오디오 재생 데이터를 획득하는 동작;
상기 클라이언트 디바이스에 통신 가능하게 연결된 디바이스로부터 오디오 재생 데이터를 획득하는 동작; 또는
주변 오디오를 획득하는 동작을 포함하는, 비일시적 컴퓨터 판독가능 메모리.
청구항 18에 있어서, 상기 동작들은:
상기 애플리케이션 또는 상기 디바이스로부터의 상기 오디오 재생 데이터 또는 상기 주변 오디오에 포함된 오디오 지문과 미리 결정된 주행 이벤트 사운드의 하나 이상의 오디오 지문을 비교하는 동작을 더 포함하는, 비일시적 컴퓨터 판독가능 메모리.
청구항 18에 있어서, 상기 동작들은:
상기 애플리케이션 또는 상기 디바이스로부터의 상기 오디오 재생 데이터 또는 상기 주변 오디오를 트레이닝된 기계 학습 모델에 적용하는 동작을 더 포함하며, 상기 트레이닝된 기계 학습 모델은 오디오가 주행 이벤트 사운드를 포함하는지 여부를 결정하기 위해 트레이닝되며, 상기 트레이닝된 기계 학습 모델은 (i) 오디오 스트림들의 세트 및 (ii) 상기 오디오 스트림들의 세트에서 오디오 스트림들 중 적어도 일부에 대응하는 주행 이벤트 사운드의 표시를 포함하는 트레이닝 데이터를 사용하여 트레이닝되는, 비일시적 컴퓨터 판독가능 메모리.