KR20220091146A - 차량용 음향 제어 장치 및 그 제어 방법 - Google Patents

차량용 음향 제어 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20220091146A
KR20220091146A KR1020200182397A KR20200182397A KR20220091146A KR 20220091146 A KR20220091146 A KR 20220091146A KR 1020200182397 A KR1020200182397 A KR 1020200182397A KR 20200182397 A KR20200182397 A KR 20200182397A KR 20220091146 A KR20220091146 A KR 20220091146A
Authority
KR
South Korea
Prior art keywords
control
head position
sound
vehicle
head
Prior art date
Application number
KR1020200182397A
Other languages
English (en)
Inventor
김중관
이명옥
이강덕
유정근
오치성
조문환
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200182397A priority Critical patent/KR20220091146A/ko
Priority to CN202111569499.4A priority patent/CN114666720A/zh
Priority to US17/560,574 priority patent/US20220194389A1/en
Publication of KR20220091146A publication Critical patent/KR20220091146A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0217—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 탑승자의 머리 위치 변화에 대응하여 독립 음장 구현이 가능한 차량용 음향 제어 장치 및 그 제어 방법에 관한 것이다. 본 발명의 일 실시예에 따른 차량용 독립 음장 제어 방법은, 탑승자의 현재 머리 위치를 판단하는 단계; 및 상기 판단된 현재 머리 위치가 이전 스텝에서 예측된 적어도 하나의 머리 위치 중 어느 하나에 해당할 경우, 상기 이전 스텝에서 연산된 적어도 하나의 출력음 데이터 중 상기 해당하는 머리 위치에 대응되는 출력음 데이터가 복수의 스피커를 통해 출력되는 단계를 포함하되, 상기 적어도 하나의 출력음 데이터는 상기 예측된 적어도 하나의 머리 위치 각각에 대응되는 독립 음장을 형성하는 제어 필터 세트에 음원 데이터 샘플을 적용한 것일 수 있다.

Description

차량용 음향 제어 장치 및 그 제어 방법{IN_VEHICLE SOUND CONTROL APPARATUS AND METHOD OF CONTROLLING THE SAME}
본 발명은 탑승자의 머리 위치 변화에 대응하여 독립 음장 구현이 가능한 차량용 음향 제어 장치 및 그 제어 방법에 관한 것이다.
차량에서 구현되는 독립 음장이란 차량 각 좌석의 공간에서 독립된 음향을 들을 수 있도록 음장(SSZ: Separated Sound Zone)을 형성하는 기술을 의미한다. 이를 도 1을 참조하여 설명한다.
도 1은 일반적인 차량용 독립 음장 기술을 설명하기 위한 도면이다.
도 1을 참조하면, 4개의 좌석(T1, T2, T3, T4)을 구비한 차량 내에서 서로 다른 위치에 복수의 스피커(S1, S2, S3, S4, S5, S6)가 배치된다. 이러한 상황에서 독립 음장 기술을 적용할 경우 원하는 공간에 스피커 출력이 집중되도록 할 수 있다. 이를 위해, 차량 오디오 시스템에서는 음향 출력 대상 공간을 결정하고, 해당 공간에서는 복수의 스피커(S1, S2, S3, S4, S5, S6) 각각에서 출력되는 음향이 보강 간섭을 일으키도록 하며, 해당 공간을 제외한 나머지 공간에서는 복수의 스피커(S1, S2, S3, S4, S5, S6) 각각에서 출력되는 음향이 상쇄 간섭을 일으키도록 설계된 스피커별 필터 세트를 원본 음원에 적용할 수 있다. 이러한 필터의 설계에는 복수의 스피커(S1, S2, S3, S4, S5, S6)들 간의 상대적인 위치 차이에 의한 음향 간의 위상차를 이용하게 된다.
예컨대, 좌측 전석(T1)에 대응되는 제1 존(Z1)에 각 스피커(S1, S2, S3, S4, S5, S6)로부터 출력되는 음향이 서로 보강 간섭을 일으켜 집중되고, 우측 후석(T4)에 대응되는 제4 존(Z4)에는 음향간 상쇄 간섭이 일어나 음향 전달이 최소화되도록 할 수 있다.
그런데, 상술한 독립 음장 기술은 좌석이라는 비교적 큰 기준에 따라 영역을 구분하도록 설계되나, 영역 내에서도 탑승자의 신체 조건, 탑승 자세 등의 변화에 따라 탑승자의 귀 위치가 변동됨에 따라 분리 특성이 크게 변화한다. 즉, 일반적인 독립 음장 기술은 영역별로 단일 위치에 대한 단일 제어 필터 세트만 이용하기 때문에 탑승자의 귀 위치에 따라서는 독립 음장 기술의 효과를 체감하기 어렵다는 문제점이 있다.
본 발명은 보다 효과적으로 독립 음장을 구현할 수 있는 차량용 음향 제어 장치 및 그 제어 방법을 제공하기 위한 것이다.
특히, 본 발명은 탑승자의 머리 위치 변화에 대응하여 독립 음장 제어를 수행할 수 있는 차량용 음향 제어 장치 및 그 제어 방법을 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 차량용 독립 음장 제어 방법은, 탑승자의 현재 머리 위치를 판단하는 단계; 및 상기 판단된 현재 머리 위치가 이전 스텝에서 예측된 적어도 하나의 머리 위치 중 어느 하나에 해당할 경우, 상기 이전 스텝에서 연산된 적어도 하나의 출력음 데이터 중 상기 해당하는 머리 위치에 대응되는 출력음 데이터가 복수의 스피커를 통해 출력되는 단계를 포함하되, 상기 적어도 하나의 출력음 데이터는 상기 예측된 적어도 하나의 머리 위치 각각에 대응되는 독립 음장을 형성하는 제어 필터 세트에 음원 데이터 샘플을 적용한 것일 수 있다.
또한, 본 발명의 일 실시예에 따른 독립 음장을 구현하는 차량용 음향 제어 장치는, 탑승자의 머리 위치를 기반으로 독립 음장 구현을 위한 출력음 데이터를 생성하는 제어기; 및 상기 제어기가 생성한 출력음 데이터에 대응되는 음향을 출력하는 복수의 스피커를 포함하되, 상기 제어기는 상기 탑승자의 현재 머리 위치를 판단하는 위치 판단부; 및 상기 판단된 현재 머리 위치가 이전 스텝에서 예측된 적어도 하나의 머리 위치 중 어느 하나에 해당할 경우, 상기 이전 스텝에서 연산된 적어도 하나의 출력음 데이터 중 상기 해당하는 머리 위치에 대응되는 출력음 데이터를 출력하는 출력 제어부를 포함하고, 상기 적어도 하나의 출력음 데이터는 상기 예측된 적어도 하나의 머리 위치 각각에 대응되는 독립 음장을 형성하는 제어 필터 세트에 음원 데이터 샘플을 적용한 것일 수 있다.
상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 차량용 음향 제어 장치는 보다 효과적인 독립 음장 구현이 가능하다.
특히, 본 발명은 본 발명은 탑승자의 머리 위치를 추적 및 예측하여 최적의 필터 세트를 적용하되, 병렬 연산을 기반으로 복수의 머리 위치에 대한 스피커 출력값을 미리 준비하므로 머리 위치 변화에 효과적으로 대응할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일반적인 차량용 독립 음장 기술을 설명하기 위한 도면이다.
도 2a는 머리 이동에 따른 제어 영역 변화를 나타내기 위한 도면이고, 도 2b는 일 실시예에 따른 좌석별 제어 영역 구성의 일례를 나타낸다.
도 3은 일 실시예에 따른 차량용 음향 제어 장치 구성의 일례를 나타낸다.
도 4는 일 실시예에 따른 탑승자 머리 위치의 평균 속도 벡터를 설명하기 위한 도면이다.
도 5a는 일 실시예에 따른 탑승자 머리 위치 추정 개념을 설명하기 위한 도면이고, 도 5b는 도 5a의 510 영역을 확대한 도면이다.
도 6은 일 실시예에 따른 출력음 연산부의 구성 및 동작 형태의 일례를 나타낸다.
도 7은 일 실시예에 따른 독립 음장 제어의 효과를 나타낸다.
도 8은 일 실시예에 따른 크로스 페이딩 적용 형태의 일례를 나타낸다.
도 9는 일 실시예에 따른 차량용 음향 제어 장치의 동작 과정의 일례를 나타내는 순서도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소들을 의미한다.
본 발명의 일 실시예에서는 탑승자의 머리 위치를 추적하고, 추적된 탑승자의 머리 위치에 대응되는 제어 필터 세트가 적용된 음향이 출력되도록 하여 최적화된 독립 음장 기능이 구현되도록 할 것을 제안한다. 또한, 머리 위치의 추적은 실시간 위치 판단과 함께, 다음 스텝에서 머리 위치를 예상하여 미리 예상된 머리 위치에 대응되는 제어 필터 세트 연산을 수행하도록 하여, 스피커 출력음 생성의 지연 시간을 최소화할 것을 제안한다.
도 2a는 머리 이동에 따른 제어 영역 변화를 나타내기 위한 도면이고, 도 2b는 일 실시예에 따른 좌석별 제어 영역 구성의 일례를 나타낸다.
일반적인 차량용 독립 음장 기술에서는 좌석 단위로 제어 영역을 설정하여 해당 좌석의 특정 포인트에서 최적의 효과를 보이는 필터 세트를 적용하였으나, 도 2a에 도시된 바와 같이 본 실시예에서는 동일 좌석 내에서 탑승자의 머리 위치가 변하면 제어 영역이 변하는 것으로 처리할 수 있다. 그에 따라, 도 2b에 도시된 바와 같이, 해당 좌석의 헤드레스트 전방(-x축 방향)으로 3차원 공간에 복수의 제어 영역(1 내지 12)을 설정할 수 있다. 보다 상세히, 복수의 제어 영역은 x-y 평면을 따라 복수의 제어 영역을 설정함은 물론, z축을 따라서도 영역이 구분되도록 할 수 있다. 물론, 이러한 영역 구분의 단위와 형태는 예시적인 것으로, 반드시 이에 한정되는 것은 아니다.
이하에서는 도 3을 참조하여 머리 위치 추적을 통한 독립 음장 구현을 위한 장치 구성을 설명한다.
도 3은 일 실시예에 따른 차량용 음향 제어 장치 구성의 일례를 나타낸다.
도 3을 참조하면, 일 실시예에 따른 음향 제어 장치는 좌석별 탑승자의 머리 위치를 판단하기 위한 정보를 획득하는 카메라(110), 카메라(110)를 통해 획득된 정보를 기반으로 탑승자의 머리 위치를 추적 및 예측하고, 그에 대응되는 제어 필터 세트를 적용하여 출력 신호를 생성하는 제어기(120) 및 제어기(120)의 출력 신호에 따른 음향을 출력하는 스피커(130)를 포함할 수 있다.
카메라(110)는 좌석별 탑승자의 머리 위치를 판단하기 위한 정보를 획득하기 위해, 룸 미러 부근이나 루프에 배치된 단일 카메라가 적용될 수도 있고, 둘 이상의 카메라를 통해 좌석이나 제어 영역별로 마련될 수도 있다. 또한, 카메라(110)는 일반적인 동영상 촬영을 위한 카메라일 수도 있고, 거리 변화의 탐지가 가능한 TOF(Time of Flight) 방식 카메라일 수도 있으나 반드시 이에 한정되는 것은 아니다.
제어기(120)는 위치 판단부(121), 음원 획득부(122), 저장부(123), 출력음 연산부(124) 및 최종출력 제어부(125)를 포함할 수 있다.
위치 판단부(121)는 카메라(110)를 통해 획득된 정보를 기반으로 좌석별 탑승자의 머리 위치 변화를 실시간으로 추적하고, 다음 위치를 예측할 수 있다. 구체적인 위치 추적 및 예측 방법은 도 4 내지 도 5b를 참조하여 후술하기로 한다.
음원 획득부(122)는 독립 음장 제어의 대상이 되는 음원 데이터를 획득한다. 예를 들어, 음원 획득부(122)는 광매체(CD, DVD, LD 등) 재생기, 스트리밍(BT 스트리밍, IP 기반 데이터 스트리밍 등) 데이터 수신기, 라디오 튜너, AUX 입력부, 음원 파일(MP3, WAV 등) 재생기 등을 포함할 수 있으나, 반드시 이에 한정되는 것은 아니다.
저장부(123)는 복수의 제어 영역별 제어 필터 세트를 저장할 수 있으며, 후술할 병렬 연산 처리된 출력음을 캐싱하는 기능을 수행할 수 있다.
출력음 연산부(124)는 현재 머리 위치 및 예측된 적어도 하나의 다음 머리 위치 각각에 대응되는 제어 필터 세트를 음원 데이터에 적용하는 컨볼루션 연산을 수행할 수 있다. 이때, 출력음 연산부(124)는 병렬연산이 가능하도록 구현되어, 현재 머리 위치에 대응되는 제어 필터 세트에 대한 연산은 물론, 적어도 하나의 다음 머리 위치에 대응되는 제어 필터 세트 각각에 대한 연산도 동시에 병렬 처리할 수 있다. 이와 같이 예측된 적어도 하나의 다음 머리 위치에 대한 제어 필터 세트 적용을 위한 연산을 미리 수행해 둠으로써, 머리 위치 변화에 따른 반응성이 향상된다.
최종 출력 제어부(125)는 위치 판단부(121)에서 판단된 현재 머리 위치가 적어도 하나의 예측된 다음 머리 위치에 대응되는지 여부에 따라, 출력음 연산부(124)가 미리 연산하여 저장부(123)에 저장한 출력음 데이터들 중 어느 하나 또는 현재 머리 위치에 대응되는 출력음 데이터에 해당하는 출력 신호를 선택적으로 스피커(130)로 전달할 수 있다. 이를 위해, 최종 출력 제어부(125)는 적어도 하나의 출력 필터, 디지털-아날로그 변환기(DAC) 및 오디오 앰프 등을 포함할 수 있으나, 반드시 이에 한정되는 것은 아니다.
스피커(130)는 차량의 서로 다른 위치에 배치된 복수의 스피커(131, 132, 133,...)를 포함할 수 있으며, 개별 스피커(131, 132, 133,...)는 제어기(120)가 출력하는 출력음 신호에 따라 음향 출력이 가능하다. 즉, 제어 필터 세트는 서로 다른 위치에 배치되는 복수의 스피커(131, 132, 133,...) 각각에 대한 제어 필터로 구성되며, 출력음 데이터는 독립 음장 구현을 위해 복수의 스피커(131, 132, 133,...) 각각이 출력할 출력음 데이터를 포함한다.
이하에서는 도 4 내지 도 5b를 참조하여, 위치 판단부(121)의 머리 위치 추적 및 예측 방법을 설명한다.
탑승자의 현재 머리 위치는 카메라(110)를 통해 촬영된 영상을 기반으로 실시간으로 판단될 수 있으나, 다음 스텝에서의 위치를 예측하기 위해서는 머리 위치의 속도 벡터를 이용할 수 있다. 머리 위치의 속도 벡터는 도 4를 참조하여 설명한다.
도 4는 일 실시예에 따른 탑승자 머리 위치의 평균 속도 벡터를 설명하기 위한 도면이다.
도 4를 참조하면, 탑승자의 머리 위치가 이전 스텝 위치(p1)에서 현재 스텝 위치(p2)로 변경된 경우를 가정한다. 이러한 경우 위치 판단부(121)는 머리 위치의 평균 속도 벡터를 구하기 위해, 소정의 원점(0)으로부터 이전 스텝 위치(p1)로의 벡터(
Figure pat00001
)와, 원점(0)으로부터 현재 스텝 위치(p2)로의 벡터(
Figure pat00002
)를 기반으로 이전 스텝 위치(p1)에서 현재 스텝 위치(p2)로의 벡터(
Figure pat00003
)를 구할 수 있다. 따라서, 해당 벡터(
Figure pat00004
)를 아래 수학식 1과 같이 시간에 대하여 미분하여 평균 속도 벡터(
Figure pat00005
)가 구해질 수 있다.
Figure pat00006
도 5a는 일 실시예에 따른 탑승자 머리 위치 추정 개념을 설명하기 위한 도면이고, 도 5b는 도 5a의 510 영역을 확대한 도면이다. 설명의 편의를 위해, 도 5a 및 도 5b에서는 z축을 생략하고, 2차원 직교좌표계로 도시하였다.
평균 속도 벡터(
Figure pat00007
)가 구해지면, 도 5a와 같이 머리의 현재 스텝 위치를 중심으로 평균 속도 벡터(
Figure pat00008
)를 대입하면 위치 판단부(121)에서 해당 벡터와 중첩되는 제어 영역(zone)이 판단될 수 있다.
평균 속도 벡터와 중첩되는 제어 영역이 복수개인 경우, 위치 판단부(121)는 중첩되는 복수의 제어 영역별로 우선 순위를 선정할 수 있다. 예컨대, 도 5b에 도시된 구역(510)에서 5개의 제어 영역(1, 2, 3, 4, 5)이 평균 속도 벡터와 중첩될 경우, 위치 판단부(121)는 각 제어 영역별로 현재 스텝 머리 위치(0)에서부터 제어 영역의 중심까지의 거리와, 평균 속도 벡터가 해당 제어 영역과 중첩되는 길이를 기반으로 우선 순위를 결정할 수 있다. 예컨대, 4번 제어 영역의 경우 현재 스텝 머리 위치(0)에서부터 제어 영역의 중심까지의 벡터(
Figure pat00009
)와 평균 속도 벡터가 해당 제어 영역과 중첩되는 부분의 벡터(
Figure pat00010
)를 기반으로 아래 수학식 2와 같이 우선 순위 점수(
Figure pat00011
)가 판단될 수 있다.
Figure pat00012
즉, 수학식 2를 참조하면, 우선 순위 점수는 머리 위치(0)에서부터 제어 영역의 중심까지의 거리가 가까울수록, 속도 벡터와 제어 영역이 중첩되는 길이가 클수록 높아지게 된다. 여기서,
Figure pat00013
와
Figure pat00014
는 각각 머리 위치(0)에서부터 제어 영역의 중심까지의 거리 및 속도 벡터와 제어 영역이 중첩되는 길이에 부여되는 가중치로, 다양하게 설정될 수 있다.
정리하면, 위치 판단부(121)는 상술한 방식을 통해 머리 위치의 평균 속도 벡터를 구하고, 평균 속도 벡터와 중첩되는 제어 영역을 다음 스텝에서 머리 위치로 예측하며, 평균 속도 벡터와 중첩되는 제어 영역이 복수개인 경우 중첩되는 제어 영역별로 우선 순위를 판단할 수 있다.
한편, 우선 순위가 판단되면, 위치 판단부(121)는 평균 속도 벡터와 중첩되는 복수개의 제어 영역 중 우선 순위 점수 순으로 기 설정된 개수의 제어 영역을 선택하여 이를 출력음 연산부(124)에 통지할 수 있다. 여기서, 기 설정된 개수는 출력음 연산부(124)의 병렬 연산 능력을 고려하여 결정될 수 있다.
도 6은 일 실시예에 따른 출력음 연산부의 구성 및 동작 형태의 일례를 나타낸다.
도 6을 참조하면, 출력음 연산부(124)는 복수의 연산 단위 프로세서(SM 1, SM 2, SM 3,... SM J)를 구비할 수 있다. 각 연산 단위 프로세서는 GPU 코어, 예컨대, 스트리밍 멀티프로세서(SM: Streaming Multiprocessor)의 형태로 구현될 수 있으나, 이는 예시적인 것으로 반드시 이에 한정되는 것은 아니고, 복수의 연산 대상을 동시에 병렬적으로 연산할 수 있는 연산 단위라면 그 종류에 한정되지 아니한다.
출력음 연산부(124)는 복수의 연산 단위 프로세서를 구비함으로써, 현재 머리 위치 및/또는 위치 판단부(121)가 다음 스텝에서의 머리 위치로 예측한 복수의 제어 영역 각각에 대응되는 제어 필터 세트와 음원 데이터 간 컨볼루션 연산을 동시에 수행할 수 있게 된다. 따라서, 일반적인 음향 처리 장치가 갖는 DSP(digital signal processor) 방식의 연산부 대비 동시 연산 성능이 향상된다.
예를 들어, 음원 데이터가 K개의 샘플로 나뉘어지고, 제어 필터 세트가 N개이며, 연산 단위 프로세서가 J개일 경우, 도 6에 도시된 바와 같이 음원 데이터의 매 샘플이 별도의 GPU 코어에서 병렬적으로 컨볼루션을 수행함으로써 연산 가속이 가능하게 된다.
도 7은 일 실시예에 따른 독립 음장 제어의 효과를 나타낸다.
도 6과 같은 구조의 출력음 연산부(124)와 머리 위치 추적(Head Tracking)을 함께 적용할 경우, 도 7에 도시된 바와 같이 일반적인 DSP를 통한 연산을 수행하는 경우 대비, 낮은 주파수 영역에서는 병렬 연산 효과로 인해, 높은 주파수 영역에서는 머리 위치 추적에 의한 효과로 인해 다크존-브라이트존 간 컨트라스트 성능이 향상됨을 알 수 있다.
도 8은 일 실시예에 따른 크로스 페이딩 적용 형태의 일례를 나타낸다.
최종출력 제어부(125)는 위치 판단부(121)의 판단에 따라 머리 위치 변화를 인지한 경우, 제어 필터 세트의 변경으로 인한 스피커 출력의 불연속을 방지하기 위하여, 도 8에 도시된 바와 같이 이전 위치에 대응되는 출력음 데이터에는 "1-a"의 가중치를, 변경 위치에 대응되는 출력음 데이터에는 "a"의 가중치를 각각 적용하고, 이를 합성하여 최종 출력음 데이터로 스피커(130)에 전달하는 크로스 페이딩 효과를 적용할 수 있다. 여기서 a는 시간의 흐름에 따라 0에서 시작하여 1로 증가하는 값이며, 시간의 흐름에 따른 증가율은 기 설정된 값을 이용할 수도 있고, 머리 위치의 평균 속도 벡터에 비례하도록 할 수도 있다.
지금까지 설명한 실시예들에 따른 동작 과정을 순서도로 정리하면 도 9와 같다.
도 9는 일 실시예에 따른 차량용 음향 제어 장치의 동작 과정의 일례를 나타내는 순서도이다.
도 9를 참조하면, 먼저 위치 판단부(121)가 카메라(110)를 통해 획득된 정보를 기반으로 현재 머리 위치를 판단하고, 다음 스텝에서 머리 위치를 예측할 수 있다(S910). 여기서 스텝이란, 위치 판단부(121)의 머리 위치 판단/예측의 단위 시간일 수도 있고, 오디오 음원 데이터를 연산함에 있어 분할된 샘플 길이에 해당할 수도 있으나, 이는 예시적인 것으로 반드시 이에 한정되는 것은 아니다.
최종출력 제어부(125)는 현재 판단된 머리 위치가 이전 스텝에서 예측된 머리 위치에 해당하는지 여부를 판단할 수 있다(S920). 즉, 본 단계는 이전 스텝에서 현재 스텝을 대하여 예측된 적어도 하나의 머리 위치 중 우선 순위가 높아 출력음 연산부(124)에서 출력음 데이터의 생성 대상이 되는 제어 영역 중 현재 머리 위치에 해당하는 제어 영역이 있는지를 판단하는 과정을 의미할 수 있다.
만일, 현재 머리 위치가 이전 스텝에서 예측된 위치 중 어느 하나에 해당할 경우(S920의 Yes), 출력음 연산부(124)가 이전 스텝에서 미리 연산해둔 출력음 데이터가 저장부(123)에 저장되어 있을 것이므로, 최종출력 제어부(125)는 해당 데이터를 읽어와서(S930) 스피커(130)를 통해 출력되도록 할 수 있다(S980).
이와 달리, 현재 머리 위치가 이전 스텝에서 예측된 위치 중 어느 하나에도 해당하지 않는 경우(S920의 No), 출력음 연산부(124)는 즉시 현재 머리 위치에 대응되는 제어 필터 세트를 선택하고(S940), 음원 데이터와 컨볼루션 연산을 수행할 수 있다(S950). 연산 결과는 최종출력 제어부(125)를 통해 스피커(130)로 전달될 수 있다(S980).
한편, 현재 스텝에 대한 처리 방안이 결정되면(즉, S930 또는 S940), 위치 판단부(121)는 다음 스텝의 머리 위치에 대한 예측을 수행하고, 그에 따라 출력음 연산부(124)는 기 설정된 개수 만큼의 우선 순위 점수가 높은 위치 각각에 대응되는 제어 필터 세트를 선정할 수 있다(S960). 출력음 연산부(124)는 병렬 연산을 통해 선정된 제어 필터 세트 각각에 대하여 다음 스텝에 대응되는 음원 데이터를 적용하여 출력음 데이터를 연산하고, 이를 저장부(123)에 저장해둘 수 있다(S970). 이러한 과정은 전술한 바와 같이, 현재 스텝에서 예측된 다음 스텝에 대한 예측 위치에 대한 출력음 데이터를 미리 준비해두고, 다음 스텝 시점에서 판단된 머리 위치가 현재 스텝에서 예측된 위치 중 어느 하나에 해당할 경우 미리 생성해둔 출력음 데이터를 바로 출력할 수 있기 때문이다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (19)

  1. 탑승자의 현재 머리 위치를 판단하는 단계; 및
    상기 판단된 현재 머리 위치가 이전 스텝에서 예측된 적어도 하나의 머리 위치 중 어느 하나에 해당할 경우, 상기 이전 스텝에서 연산된 적어도 하나의 출력음 데이터 중 상기 해당하는 머리 위치에 대응되는 출력음 데이터가 복수의 스피커를 통해 출력되는 단계를 포함하되,
    상기 적어도 하나의 출력음 데이터는,
    상기 예측된 적어도 하나의 머리 위치 각각에 대응되는 독립 음장을 형성하는 제어 필터 세트에 음원 데이터 샘플을 적용한 것인, 차량용 독립 음장 제어 방법.
  2. 제1 항에 있어서,
    상기 탑승자의 다음 스텝에서의 머리 위치를 예측하는 단계를 더 포함하는, 차량용 독립 음장 제어 방법.
  3. 제2 항에 있어서,
    상기 예측하는 단계는,
    상기 탑승자의 머리에 대한 평균 속도 벡터를 구하는 단계;
    복수의 제어 영역 중 상기 평균 속도 벡터와 중첩되는 적어도 하나의 제어 영역을 판단하는 단계; 및
    상기 중첩되는 적어도 하나의 제어 영역 중 기 설정된 개수의 제어 영역을 상기 다음 스텝에서의 머리 위치로 판단하는 단계를 포함하는, 차량용 독립 음장 제어 방법.
  4. 제3 항에 있어서,
    상기 다음 스텝에서의 머리 위치로 판단하는 단계는,
    상기 중첩되는 적어도 하나의 제어 영역 각각에 대하여 우선 순위 점수를 판단하는 단계;
    상기 판단된 우선 순위 점수가 높은 순으로 상기 기 설정된 개수의 제어 영역을 상기 다음 스텝에서의 머리 위치로 판단하는 단계를 포함하는, 차량용 독립 음장 제어 방법.
  5. 제4 항에 있어서,
    상기 우선 순위 점수를 판단하는 단계는,
    상기 중첩되는 적어도 하나의 제어 영역 각각에 대하여, 상기 판단된 현재 머리 위치로부터의 거리 및 상기 평균 속도 벡터의 중첩 길이를 기반으로 수행되는, 차량용 독립 음장 제어 방법.
  6. 제2 항에 있어서,
    상기 예측된 다음 스텝에서의 머리 위치 각각에 대하여, 해당하는 제어 필터 세트와 상기 다음 스텝에 대응되는 음원 데이터 샘플을 이용하여 출력음 데이터를 미리 생성하는 단계를 더 포함하는, 차량용 독립 음장 제어 방법.
  7. 제6 항에 있어서,
    상기 미리 생성하는 단계는,
    병렬 연산을 통해 상기 예측된 다음 스텝에서의 머리 위치 각각에 대하여 동시에 수행되는, 차량용 독립 음장 제어 방법.
  8. 제1 항에 있어서,
    상기 판단된 현재 머리 위치가 이전 스텝에서 예측된 적어도 하나의 머리 위치에 해당하지 않을 경우, 상기 현재 머리 위치에 대응되는 제어 필터 세트를 선택하여 출력음 데이터를 생성하는 단계를 포함하는, 차량용 독립 음장 제어 방법.
  9. 제1 항에 있어서,
    상기 복수의 스피커는 차량에서 서로 다른 위치에 배치되고,
    제어 필터 세트는 상기 서로 다른 위치에 배치되는 복수의 스피커 각각에 대한 제어 필터를 포함하며,
    상기 적어도 하나의 출력음 데이터 각각은,
    상기 서로 다른 위치에 배치되는 복수의 스피커 각각에 대한 출력음을 포함하는, 차량용 독립 음장 제어 방법.
  10. 제1 항 내지 제9 항 중 어느 한 항에 따른 차량용 독립 음장 제어 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능 기록 매체.
  11. 탑승자의 머리 위치를 기반으로 독립 음장 구현을 위한 출력음 데이터를 생성하는 제어기; 및
    상기 제어기가 생성한 출력음 데이터에 대응되는 음향을 출력하는 복수의 스피커를 포함하되,
    상기 제어기는,
    상기 탑승자의 현재 머리 위치를 판단하는 위치 판단부; 및
    상기 판단된 현재 머리 위치가 이전 스텝에서 예측된 적어도 하나의 머리 위치 중 어느 하나에 해당할 경우, 상기 이전 스텝에서 연산된 적어도 하나의 출력음 데이터 중 상기 해당하는 머리 위치에 대응되는 출력음 데이터를 출력하는 출력 제어부를 포함하되,
    상기 적어도 하나의 출력음 데이터는,
    상기 예측된 적어도 하나의 머리 위치 각각에 대응되는 독립 음장을 형성하는 제어 필터 세트에 음원 데이터 샘플을 적용한 것인, 독립 음장을 구현하는 차량용 음향 제어 장치.
  12. 제11 항에 있어서,
    상기 위치 판단부는,
    상기 탑승자의 다음 스텝에서의 머리 위치를 예측하는, 독립 음장을 구현하는 차량용 음향 제어 장치.
  13. 제12 항에 있어서,
    상기 위치 판단부는,
    상기 탑승자의 머리에 대한 평균 속도 벡터를 구하고, 복수의 제어 영역 중 상기 평균 속도 벡터와 중첩되는 적어도 하나의 제어 영역을 판단하여, 상기 중첩되는 적어도 하나의 제어 영역 중 기 설정된 개수의 제어 영역을 상기 다음 스텝에서의 머리 위치로 판단하는, 독립 음장을 구현하는 차량용 음향 제어 장치.
  14. 제13 항에 있어서,
    상기 위치 판단부는,
    상기 중첩되는 적어도 하나의 제어 영역 각각에 대하여 우선 순위 점수를 판단하고, 상기 판단된 우선 순위 점수가 높은 순으로 상기 기 설정된 개수의 제어 영역을 상기 다음 스텝에서의 머리 위치로 판단하는, 독립 음장을 구현하는 차량용 음향 제어 장치.
  15. 제14 항에 있어서,
    상기 위치 판단부는,
    상기 중첩되는 적어도 하나의 제어 영역 각각에 대하여, 상기 판단된 현재 머리 위치로부터의 거리 및 상기 평균 속도 벡터의 중첩 길이를 기반으로 상기 우선 순위 점수를 판단하는, 독립 음장을 구현하는 차량용 음향 제어 장치.
  16. 제12 항에 있어서,
    상기 제어기는,
    상기 예측된 다음 스텝에서의 머리 위치 각각에 대하여, 해당하는 제어 필터 세트와 상기 다음 스텝에 대응되는 음원 데이터 샘플을 이용하여 출력음 데이터를 미리 연산하는 생성하는 출력음 연산부를 더 포함하는, 독립 음장을 구현하는 차량용 음향 제어 장치.
  17. 제16 항에 있어서,
    상기 출력음 연산부는,
    상기 출력음 데이터를 미리 연산함에 있어 병렬 연산을 통해 상기 예측된 다음 스텝에서의 머리 위치 각각에 대하여 동시에 수행하는, 독립 음장을 구현하는 차량용 음향 제어 장치.
  18. 제16 항에 있어서,
    상기 출력음 연산부는,
    상기 판단된 현재 머리 위치가 이전 스텝에서 예측된 적어도 하나의 머리 위치에 해당하지 않을 경우, 상기 현재 머리 위치에 대응되는 제어 필터 세트를 선택하여 출력음 데이터를 생성하는, 독립 음장을 구현하는 차량용 음향 제어 장치.
  19. 제11 항에 있어서,
    상기 복수의 스피커는 차량에서 서로 다른 위치에 배치되고,
    제어 필터 세트는 상기 서로 다른 위치에 배치되는 복수의 스피커 각각에 대한 제어 필터를 포함하며,
    상기 적어도 하나의 출력음 데이터 각각은,
    상기 서로 다른 위치에 배치되는 복수의 스피커 각각에 대한 출력음을 포함하는, 독립 음장을 구현하는 차량용 음향 제어 장치.
KR1020200182397A 2020-12-23 2020-12-23 차량용 음향 제어 장치 및 그 제어 방법 KR20220091146A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200182397A KR20220091146A (ko) 2020-12-23 2020-12-23 차량용 음향 제어 장치 및 그 제어 방법
CN202111569499.4A CN114666720A (zh) 2020-12-23 2021-12-21 用于车辆的声音控制装置和控制该声音控制装置的方法
US17/560,574 US20220194389A1 (en) 2020-12-23 2021-12-23 Sound control apparatus for vehicles and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200182397A KR20220091146A (ko) 2020-12-23 2020-12-23 차량용 음향 제어 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220091146A true KR20220091146A (ko) 2022-06-30

Family

ID=82024026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200182397A KR20220091146A (ko) 2020-12-23 2020-12-23 차량용 음향 제어 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20220194389A1 (ko)
KR (1) KR20220091146A (ko)
CN (1) CN114666720A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022039310A1 (ko) * 2020-08-21 2022-02-24 엘지전자 주식회사 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법
CN115691490A (zh) * 2022-10-09 2023-02-03 蔚来汽车科技(安徽)有限公司 动态切换音区的方法、语音交互方法、设备、介质及车辆
US11930082B1 (en) * 2022-12-15 2024-03-12 Amazon Technologies, Inc. Multiple zone communications and controls

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4305333B2 (ja) * 2004-08-30 2009-07-29 トヨタ自動車株式会社 音場制御装置及びその方法
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
CA3053668A1 (en) * 2017-03-01 2018-09-07 Soltare Inc. Systems and methods for detection of a target sound
KR102459237B1 (ko) * 2018-01-05 2022-10-26 현대자동차주식회사 차량 및 그 제어방법
KR102526081B1 (ko) * 2018-07-26 2023-04-27 현대자동차주식회사 차량 및 그 제어방법
CN111341313A (zh) * 2020-03-04 2020-06-26 北京声智科技有限公司 一种车载多音区声源检测方法、装置及***

Also Published As

Publication number Publication date
US20220194389A1 (en) 2022-06-23
CN114666720A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
KR20220091146A (ko) 차량용 음향 제어 장치 및 그 제어 방법
KR102226420B1 (ko) 다채널 오디오 신호 생성 방법 및 이를 수행하기 위한 장치
JP5198530B2 (ja) 音声付き動画像呈示装置、方法およびプログラム
JP4300194B2 (ja) 音響再生装置、音響再生方法および音響再生プログラム
JP5890523B2 (ja) オーディオ信号処理装置及びオーディオ信号処理方法
EP1587064A1 (en) Method of and apparatus for reducing noise
CN108064014B (zh) 声音处理装置
US20190251948A1 (en) Signal processing device, signal processing method, and program
KR20130134815A (ko) 오디오 신호 처리 방법 및 장치, 오디오 재생 시스템
CN111373471A (zh) 声响信号控制装置及方法、以及程序及记录介质
WO2011070956A1 (ja) オーディオデータ処理装置、オーディオ装置、オーディオデータ処理方法、プログラム及び当該プログラムを記録した記録媒体
JP2020053792A (ja) 情報処理装置、および情報処理方法、プログラム、情報処理システム
JP6329679B1 (ja) オーディオコントローラ、超音波スピーカ、オーディオシステム、及びプログラム
US10747492B2 (en) Signal processing apparatus, signal processing method, and storage medium
JP6355049B2 (ja) 音響信号処理方法、及び音響信号処理装置
JP6330098B1 (ja) オーディオコントローラ、プログラム、超音波スピーカ、音源装置
JP7095863B2 (ja) 音響システム、音響処理方法、及びプログラム
WO2020004460A1 (ja) 超音波コントローラ、超音波スピーカ、及び、プログラム
JPH0622389A (ja) 音場再生装置
JP4714508B2 (ja) 車両室内における音声再生制御装置
JP2020053791A (ja) 情報処理装置、および情報処理方法、プログラム、情報処理システム
KR101885887B1 (ko) 사운드 트레이싱 장치, 방법 및 기록매체
JP7474548B2 (ja) オーディオデータの再生の制御
WO2023203756A1 (ja) 表示制御装置、制御方法、及び制御プログラム
EP4213505A1 (en) Acoustic processing device and method, and program