JP2021535648A - バイノーラル録音を取得及び再生するための方法 - Google Patents

バイノーラル録音を取得及び再生するための方法 Download PDF

Info

Publication number
JP2021535648A
JP2021535648A JP2021506926A JP2021506926A JP2021535648A JP 2021535648 A JP2021535648 A JP 2021535648A JP 2021506926 A JP2021506926 A JP 2021506926A JP 2021506926 A JP2021506926 A JP 2021506926A JP 2021535648 A JP2021535648 A JP 2021535648A
Authority
JP
Japan
Prior art keywords
binaural
head
recording
sound source
listener
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021506926A
Other languages
English (en)
Other versions
JP7272708B2 (ja
Inventor
ネーゲル、セバスチャン
ジャックス、ピーター
Original Assignee
ライニッシュ−ヴェストファーレン テクニシェ ホーホシューレ （アールダブリューティーエイチ） アーヘン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライニッシュ−ヴェストファーレン テクニシェ ホーホシューレ （アールダブリューティーエイチ） アーヘン filed Critical ライニッシュ−ヴェストファーレン テクニシェ ホーホシューレ （アールダブリューティーエイチ） アーヘン
Publication of JP2021535648A publication Critical patent/JP2021535648A/ja
Application granted granted Critical
Publication of JP7272708B2 publication Critical patent/JP7272708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/041—Adaptation of stereophonic signal reproduction for the hearing impaired
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • Stereophonic Arrangements (AREA)

Abstract

本発明は、頭部（３８）に聴取システム（１２）を適用して聴き手（３４）にバイノーラル録音を提供するための方法を提供する。バイノーラル録音は、聴取デバイス（３６）を用いて聴かれ、バイノーラル録音は聴き手（３４）の左耳用の左側のバイノーラル耳信号と聴き手（３４）の右耳用の右側のバイノーラル耳信号とで構成される。方法は、頭部方向（１８）を決定する段階と、頭部方向（１８）に対するバイノーラル録音の音源方向（２４）を決定する段階と、頭部方向（２８）の新しい頭部方向（３０）への変更を検出する段階と、バイノーラル録音の音源方向（２４）及び新しい頭部方向（３０）を考慮してバイノーラル録音を適応する段階とを備える。本発明はまた、聴取システム（１２）に適用されるバイノーラル録音を録音するための方法を提供する。バイノーラル録音は録音係（１０）の頭部（２０）に搭載される録音デバイス（１４）を用いて録音され、方法は上述の方法と同一の段階を備える。本発明はまた、上述の方法の組み合わせを提供する。さらに、本発明は、上述の方法を実行するよう構成される聴取システム（１２）を提供する。

Description

人間の聴き手は、検出された音の位置又は発生源を方向及び距離で識別するのが得意である。この目的のために、人間は、１つの耳から算出されるキュー（モノラルキュー）を得て、両耳で受信したキュー（ディファレンスキュー又はバイノーラルキュー）を比較することによって、音源の位置を推定する。これらのキューは、両耳間の時間差及びレベル差、スペクトル情報、タイミング分析、相関関係の分析、及びパターンマッチングを含む。
頭部伝達関数（ＨＲＴＦ）は、どうやって耳が空間におけるポイントから音を受信するかを特徴付ける応答である。音は聴き手に達すると、頭部、耳、外耳道のサイズと形状、頭部の密度が全て音に変換し、どうやってそれが感知されるかに影響を与え、いくつかの周波数を増加させ、他の周波数を減衰させる。ＨＲＴＦは、人によって大きく異なり得る。両耳用の一組のＨＲＴＦは、空間における特定のポイントから聞こえてくるようであるバイノーラル音を統合するために用いられ得る。したがって、ヘッドフォンを用いてバイノーラル録音を聴く聴き手のために、３Ｄステレオ音感覚が生成され、聴き手がまるで音源のある部屋に実際にいるかのように音を感知する。
人工的な頭部又はインイヤー型のマイクロホンで作られて、ヘッドフォンで再生されるバイノーラル録音は、音響シーンにおいて人間によって感知される多くの空間的なキューをキャプチャして再現する確立された技術である。しかしながら、通常のヘッドフォンで聴くと、信号は頭部の運きと共に変化せず、その結果、音響シーンにおける音源は聴き手の頭部と共に回転するように思われ、聴取体験を減少させる。これは、聴き手が音源の位置を特定するときに問題に直面し、音源が頭部の内側にあるとして感知する、という影響を有する。
バイノーラル録音を再生するための２つのラウドスピーカを用いるとき、１つのスピーカの信号はまた、反対側の耳によって聞こえ（クロストーク）、バイノーラル録音の望ましい効果を減少させる。したがって、この影響を減少させ、リアルな音の感覚を確立するために、クロストークキャンセルフィルタが適用される。原則として、クロストークキャンセル方法は、左スピーカ用の一部の信号を取り、右スピーカ用の信号にそれを供給し、それが左耳によって聞こえる一部の信号をキャンセルするようにそれを右スピーカの信号と組み合わせ、その逆も同様である。しかしながら、ヘッドフォンで聴くことと同様に、信号が聴き手の頭部の運きと共に変化せず、これは、聴取体験を考慮すると、同等の有害な影響を引き起こす。
さらに、バイノーラル録音がインイヤー型のマイクロホンで作られた場合、録音している間の録音係の頭部の動きは、バイノーラル録音に混ぜ合わせられる。したがって、それが静的であると感知されないので、そのようなバイノーラル録音の聴き手は、音源の位置を特定するときに問題に直面する。
米国９,８４８,２７３号公報は、ユーザによって着用されるよう構成された１又は複数の聴取デバイスを含む聴取システムを説明する。各聴取デバイスは、仮想音源の音を表す入力電気信号を提供する信号源を含む。フィルタは、頭部伝達関数（ＨＲＴＦ）を実装して、仮想音源の仮想位置と関連する空間化キューを電気信号に追加し、空間化キューを含むフィルタ処理された電気信号を出力する。
米国７,３３３,６２２号公報は、ライブの立体音又は録音された立体音のいずれかをキャプチャして再生する異なるアプローチを説明する。方法は、いくつかのマイクロホン、ヘッドトラッカー、及び特別な信号処理手順を用いて、マイクロホンで捕えた信号を組み合わせる。
バイノーラル録音に対する聴き手のよりリアルで改善された聴取体験を作り出すことが、本発明の目的である。特に、限定された音源定位及び具体化の欠如、すなわち、聴き手の頭部の内側に音源を感知することのような従来技術の欠点を克服することが、本発明の目的である。
この目的は、独立請求項によって実現される。有利な実施形態が従属請求項で示される。
特に、本発明は、頭部に聴取システムを適用して聴き手にバイノーラル録音を提供するための方法を提供する。バイノーラル録音は聴取デバイスを用いて聴かれ、バイノーラル録音は聴き手の左耳用の左側のバイノーラル耳信号と聴き手の右耳用の右側のバイノーラル耳信号とで構成される。方法は、頭部方向を決定する段階と、頭部方向に対するバイノーラル録音の音源方向を決定する段階と、頭部方向の新しい頭部方向への変更を検出する段階と、バイノーラル録音の音源方向及び新しい頭部方向を考慮してバイノーラル録音を適応する段階とを備える。要するに、方法は、聴き手の頭部の方向及び聴き手の頭部の方向の変更を決定し、それに応じてバイノーラル録音を適応する。
本発明はまた、聴取システムに適用されるバイノーラル録音を録音するための方法を提供する。バイノーラル録音は録音係の頭部に搭載される録音デバイスを用いて録音され、バイノーラル録音は録音係の左耳の近く及び／又は左耳で録音デバイスによって受信される左側のバイノーラル耳信号と録音係の右耳の近く及び／又は右耳で録音デバイスによって受信される右側のバイノーラル耳信号とで構成される。方法は、頭部方向を決定する段階と、頭部方向に対するバイノーラル録音の音源方向を決定する段階と、頭部方向の新しい頭部方向への変更を検出する段階と、バイノーラル録音の音源方向及び新しい頭部方向を考慮してバイノーラル録音を適応する段階とを備える。要するに、方法は、録音係の頭部の方向及び録音係の頭部の方向の変更を決定し、それに応じてバイノーラル録音を適応する。
さらに、本発明はまた、聴き手にバイノーラル録音を提供するための方法を提供する。バイノーラル録音は２番目の上記の方法によって録音され、バイノーラル録音は１番目の上記の方法によって聴き手に提供される。言い換えれば、方法は、上記の方法の組み合わせである。
本発明の基本的な考え方は、元のシーンにおける音源方向を決定するためにバイノーラル録音を分析することである。その後、音源方向を考慮して、バイノーラル録音が、聴き手及び／又は録音係の頭部方向における変化を説明するために修正される。
この基本的な考え方は、バイノーラル録音を聴くプロセスに組み込まれ得、これは、よりリアルで改善された聴取体験を導く。たとえ聴き手が聴きながら頭部を動かしていても、聴き手とって、感知される音源方向は環境に対して固定されているようである。したがって、バイノーラル録音の音源定位、具体化、及びリアリズムが改善される。
さらに、基本的な考え方は、録音係の頭部に搭載される録音デバイスを用いてバイノーラル録音を録音するプロセスに組み込まれ得る。代替的に、録音デバイスはまた、移動可能及び／又は回転可能なダミーヘッドに搭載され得る。この場合において、方法は、録音係の頭部の動き及び／又は回転のトレース又は付随物を除去する方法を提供する。たとえ録音係が録音しながら頭部／ダミーヘッドを動かしても、そのようなバイノーラル録音の聴き手にとって、感知される音源方向は環境に対して固定されているようである。これは、聴取体験を改善する。さらに、方法は、より安易で、且つ、安価なバイノーラル録音技術のための道を開く。
基本的な考え方がバイノーラル録音を録音するプロセス及びバイノーラル録音を聴くプロセスに組み込まれることも可能であり、したがって、両方の利点を組み合わせる。たとえ容易で安価な録音技術が用いられても、改善されて、且つ、よりリアルな聴取体験が生成され得る。
方法は、コンピューター的に単純であり、リアルタイムに適用され得る。方法は、録音されるポイント及び／又は聴き手がバイノーラル録音を聴くポイントのいずれかでバイノーラル録音を適応するので、方法は、録音プロセスと聴取プロセスとの間における特別な信号処理又は格納技術を生じさせない。特別な音源カード、データフォーマット、ソフトウェア、及び／又はコンピュータプラットフォームは、録音することと聴くこととの間に必要ない。バイノーラル録音は、スマートフォンのような一般的な電子デバイス、又は、ＵＳＢフラッシュドライブ、メモリカード、若しくは、コンパクトディスクのような他のストレージ媒体に、一般的なステレオフォーマット、例えば、ＭＰ３で格納され得る。したがって、ウェブサイト及び／又はサーバを介してバイノーラル録音を共有することも可能である。さらに、方法は、録音中の音場をサンプリングするために用いられる、２つより多くマイクロホンを有するマイクロホンアレイを含む、特別録音技術を必要としない。したがって、方法は容易に適合でき、追加のコストを発生させない。方法は改善された聴取体験を導く。聴取体験は、聴き手が音を感知する方法である。それは、音源の位置を決定することを含み得る。聴き手の脳は、両耳間の音の大きさ、トーン及びタイミングのわずかな差を利用して、音源の位置の特定を可能にする。ミュージックホールでコンサートを聴くような実環境における聴取体験は、しばしば、ヘッドフォン又はステレオのような聴取デバイスでコンサートの録音を聴くより好まれている。
本発明による聴き手は、音、例えば、音楽、スピーチ又はノイズを聴く任意の種類の人間であり得る。
バイノーラル録音は、バイノーラル録音を聴くときに、リアルな聴取体験を生成する音響信号を録音することである。リアルな聴取体験は、音源の位置を特定することを含み得る。本発明によれば、バイノーラル録音は、任意の種類の音を録音することであり得る。例えば、それは、コンサートのような音楽、オーディオブック若しくは電話会談のようなスピーチ、ノイズ、又は、映画に伴う音のようなこれらの組み合わせを録音することであり得る。
バイノーラル録音は、左側のバイノーラル耳信号と右側のバイノーラル耳信号とで構成される。バイノーラル録音は、聴き手の頭部に搭載される聴取デバイスによって聴かれ得る。したがって、聴き手の右耳及び左耳に異なる音響信号が提供されることが可能であり、聴き手がリアルな聴取体験を感知することを可能にする。聴き手の頭部に搭載される典型的な聴取デバイスは、ヘッドフォン、イヤホン、インイヤー型又はオンイヤー型の電話等である。聴取デバイスが例えば、電話用のヘッドセットの一部であること、又はバーチャルリアリティヘッドセットの一部であることも可能である。さらに、バイノーラル録音は、クロストークキャンセルフィルタを用いるラウドスピーカを通じて聴かれ得る。クロストークキャンセルフィルタが、バイノーラル録音に直接適用され得る。バイノーラル録音を聴くとき、左側のバイノーラル耳信号は、左スピーカに、及び／又は、聴き手の左耳に近いイヤホンに供給されている信号であり、したがって、聴き手の左耳用の信号である。右側のバイノーラル耳信号は、右スピーカに、及び／又は、聴き手の右耳に近いイヤホンに供給される信号であり、したがって、聴き手の右耳用の信号である。
バイノーラル録音は、例えば、ダミーヘッド、Ｊｅｃｋｌｉｎディスク、及び／又は一組のインイヤー型又はオンイヤー型のマイクロホンを用いて、異なるバイノーラル録音技術によって生成され得る。本発明によれば、２つより多くマイクロホンを用いる特別な録音技術を用いる必要がない。バイノーラル録音を録音するとき、左側のバイノーラル耳信号は、録音係若しくはダミーヘッドの左耳の近く及び／又は左耳で、又はＪｅｃｋｌｉｎディスクの左側のマイクロホンから録音デバイスによって受信される信号である。右側のバイノーラル耳信号は、録音係若しくはダミーヘッドの右耳の近く及び／又は右耳で、又はＪｅｃｋｌｉｎディスクの右側のマイクロホンから録音デバイスによって受信される信号である。
本発明による録音係は、録音係の頭部に搭載される録音デバイスを用いてバイノーラル録音を録音する任意の種類の人間であり得る。本発明による録音係はまた、録音デバイスが取り付けられたダミーヘッド又は２つのマイクロホンを有するＪｅｃｋｌｉｎディスクであり得る。ダミーヘッド又はＪｅｃｋｌｉｎディスクは、三脚、スタンド、又は回転デバイスに搭載され得る。重要な特徴は、録音係の頭部又はダミーヘッド／Ｊｅｃｋｌｉｎディスク上の録音デバイスが、頭部と共に移動及び／又は回転できることである。ダミーヘッド又はＪｅｃｋｌｉｎディスクの場合、回転／移動は、ダミーヘッド又はＪｅｃｋｌｉｎディスクをそれぞれ移動又は回転させることによって実現され得る。
録音係の頭部に搭載される典型的な録音デバイスは、インイヤー型又はオンイヤー型のマイクロホンである。録音デバイスがダミーヘッド及び／又はダミーヘッドが搭載される三脚に搭載されるカメラの一部であることも可能である。代替的に、Ｊｅｃｋｌｉｎディスクのそれぞれの側の２つのマイクロホンが用いられ得る。
本発明によれば、頭部方向は、聴いている間の聴き手の頭部の方向、及び／又は、録音している間の録音係、ダミーヘッド、Ｊｅｃｋｌｉｎディスクの頭部の方向である。方向は、頭部の外部環境に対する、又は他の基準系に対する頭部の任意の軸を指し得る。好ましくは、頭部方向は、頭部の耳間の接続と垂直な軸の方向である。人間の頭部にとって、この軸は、図の軸に対応する。ダミーヘッドにとって及びＪｅｃｋｌｉｎディスクにとって、耳間の接続は、録音のために用いられる２つのマイクロホン間の接続を指す。
音源方向は、音源の方向である。バイノーラル録音を録音している間、環境における音源方向は、バイノーラル録音の音源方向に対応する。バイノーラル録音を聴くとき、音源方向は、音の感知される方向である。音源方向は、単一の音源の方向であり得る。ここでは、１つの音源のみが音を放出している。音源方向が複数の音源シーンの組み合わせられた方向であることも可能である。ここでは、いくつかの音源が音を放出している。概して、音源が聴き手及び／又は録音係と独立して配置されることが可能である。したがって、それは、聴き手及び／又は録音係の後方に、聴き手及び／又は録音係に隣接して、又は聴き手及び／又は録音係の前にあり得る。
好ましくは、音源は、聴き手及び／又は録音係の前にある。
方法は、頭部方向を決定する段階を備える。この頭部方向は、聴き手又は録音係の外部環境に対する方向であり得る。しかしながら、頭部方向を決定する段階はまた、頭部の内部基準座標系を定義することであり得る。好ましくは、最初の頭部方向は、発生源を定義する。全てのさらなる頭部方向は、この方向に対して測定され得る。代替的に、特定の時間間隔にわたる異なる頭部方向の平均値は、発生源を定義するために用いられ得る。
方法のさらなる段階において、頭部方向に対するバイノーラル録音の音源方向が決定される。聴き手の場合、音源方向は、感知された音源方向である。録音係の場合、バイノーラル録音の音源方向は、環境における音源方向に対応する。バイノーラル録音の音源方向は、バイノーラル録音を分析することによって決定され得る。音源方向を決定することは、録音係の環境又は聴き手の環境に関するあらゆる知識から独立している。この段階の後、頭部方向に対する音源方向が知られている。
方法は、その後、頭部方向の新しい頭部方向への変更を検出する。概して、これは、方向のわずかな変更であり得、又は、それは大きな変更であり得る。変更は高速又は低速であり得る。頭部方向の変更は、あらゆる方向であり得る。変更が、時間間隔の一定期間の後、頭部方向を測定することによって検出されることが可能である。この段階の後、頭部方向の変更量及び頭部の内部基準座標系に対する新しい頭部方向が知られている。代替的に又は追加的に、頭部方向の変更量及び以前の頭部方向に対する新しい頭部方向が知られている。この段階の後、頭部方向の変更量及び外部基準座標系に対する新しい頭部方向が知られていることも可能である。
さらなる段階において、方法は、バイノーラル録音の音源方向及び新しい頭部方向を考慮して、バイノーラル録音を適応する。この段階は、バイノーラル録音が頭部の動き及び決定された音源方向に従って修正される、という効果を有する。
当該段階が録音プロセスで実装される場合において、効果は以下のとおりである。録音係が録音の間に頭部を動かした場合、又は、録音デバイスを搭載するダミーヘッドが録音の間に動いた場合、この動きはバイノーラル録音に反映される。方法の最後の段階は、バイノーラル録音におけるこの動きを説明することを可能にする。バイノーラル録音を適応することによって、バイノーラル録音に対する動きの影響が相殺され得る。したがって、まるで録音係の頭部が録音の間に動いていないかのように聞こえるバイノーラル録音が生成される。
当該段階が聴取プロセスで実装される場合において、効果は以下のとおりである。聴き手が頭部を動かすとき、通常、音は、頭部と共に動き、音が聴き手の頭部の内側にある印象を生み出す。方法の最後の段階は、バイノーラル録音における頭部の運きを説明し、当該動きを反映することを可能にする。バイノーラル録音を適応することによって、動きの影響が考慮され得る。したがって、まるで音源方向が聴き手の環境に固定されているかのように聞こえるバイノーラル録音が生成され、改善された聴取体験が確保される。
本発明の好適な実施形態によれば、頭部方向の新しい頭部方向への変更を検出する段階は、頭部の回転運動を検出する段階を備える。聴き手又は録音係の頭部は、原理上、横方向に動いてよく、回転してもよい。しかしながら，頭部の回転は、頭部の横方向の動きよりバイノーラル録音に対して大きな影響を与える。好ましくは、頭部の回転は、地面と垂直な軸を中心にした回転である。言い換えれば、それは、急勾配の道路を横断するとき、又は、不一致で頭部を振るときの頭部の動きに相当する頭部の回転である。代替的に又は追加的に、他の軸を中心とした回転、例えば、頭部のうなずきも、考慮され得る。
本発明の好適な実施形態によれば、頭部方向に対するバイノーラル録音の音源方向を決定する段階、並びに、バイノーラル録音の音源方向及び新しい頭部方向を考慮してバイノーラル録音を適応する段階は、頭部方向を与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルを参照する段階を備える。バイノーラル録音の音源方向を決定する段階及びバイノーラル録音の音源方向及び新しい頭部方向を考慮してバイノーラル録音を適応する段階の両方は、マッピングテーブルを参照する段階を含む。本発明によるマッピングテーブルは、多次元テーブル又は複合体構造におけるデータの配列であり得る。マッピングテーブルは、頭部方向とバイノーラル録音との間のリンクを生成する。バイノーラル録音は、お互いに異なる左側のバイノーラル耳信号と右側のバイノーラル耳信号で構成される。左側のバイノーラル耳信号及び右側のバイノーラル耳信号がお互いに異なる方法は、音源方向に対する頭部の方向に依存する。この情報は、マッピングテーブルに格納され得る。マッピングテーブルは、両耳間のレベル差（
Figure 2021535648
 ）と称される、振幅又はレベルの差、及び／又は両耳間の位相差（
Figure 2021535648
 ）と称される、位相の差に関する情報を提供し得る。したがって、マッピングテーブルは、録音係の環境又は聴き手の環境に関するあらゆる知識から独立して、頭部方向に対する音源方向を決定することを可能にする。それは、バイノーラル録音及びマッピングテーブルのみを含む。
この目的のために、本発明の好適な実施形態によれば、聴き手又は録音係の頭部方向に対するバイノーラル録音の音源方向を決定する段階は、左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差を決定する段階と、この差を、頭部方向を与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルと比較する段階を備える。音源方向を決定するために、方法は、左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差を決定する。これは、バイノーラル録音の両耳間のレベル差（ＩＬＤ）及び／又はバイノーラル録音の両耳間の位相差（ＩＰＤ）であり得る。この差は、その後、マッピングテーブルにおける
Figure 2021535648
 及び／又は
Figure 2021535648
 と比較され得る。したがって、音源方向を決定することが実現され得る。好ましくは、音源方向のこの決定は、最小化アプローチを含む。ここでは、バイノーラル録音のＩＬＤ及び／又はＩＰＤに最も適合する、マッピングテーブルにおける
Figure 2021535648
 及び／又は
Figure 2021535648
 が決定される。これは、音源方向の高速で、且つ、信頼性の高い決定を可能にする。
バイノーラル録音の音源方向及び新しい頭部方向を考慮してバイノーラル録音を適応する段階は、好ましくは、マッピングテーブルを参照する段階を含む。この目的のために、本発明の好適な実施形態によれば、バイノーラル録音の音源方向及び新しい頭部方向を考慮してバイノーラル録音を適応する段階は、バイノーラル録音の音源方向に対する新しい頭部方向を決定する段階と、頭部方向のこの値を、頭部方向を与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルと比較する段階とを備える。録音係又は聴き手の頭部の動きを説明するためのバイノーラル録音を適応する方法を決定するために、バイノーラル録音の音源方向に対する新しい頭部方向が決定される。この値は、その後、バイノーラル録音を適応する方法を決定するために、マッピングテーブルと比較され得る。マッピングテーブルは、異なる頭部方向に対する
Figure 2021535648
 及び／又は
Figure 2021535648
 を含み得、したがって、頭部の運きを説明するためにバイノーラル録音がどうやって適応され得るかに関する情報を含む。
本発明の好適な実施形態によれば、頭部方向を与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルは、頭部方向を、右側のバイノーラル耳信号及び左側のバイノーラル耳信号の周波数の範囲で、且つ、与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の振幅の差に、及び／又は位相の差に関連付ける。好ましくは、マッピングテーブルは、頭部方向と、左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の振幅の差（
Figure 2021535648
 ）及び／又は位相の差（
Figure 2021535648
 ）との間のリンクを作成する。好ましくは、マッピングテーブルは両方の情報を含み、
Figure 2021535648
 及び
Figure 2021535648
 は、音源方向のより良い決定を可能にし、バイノーラル録音のより良い適応も可能にする。
Figure 2021535648
 及び／又は
Figure 2021535648
 は、バイノーラル耳信号の異なる周波数によって異なり得、したがって、マッピングテーブルは、大部分の人間の音響範囲をカバーする、例えば、１０Ｈｚから２０ｋＨｚの範囲の周波数の範囲に対する
Figure 2021535648
 及び／又は
Figure 2021535648
 を含む。マッピングテーブルは、与えられた音源方向に対する頭部方向の関数として
Figure 2021535648
 及び／又は
Figure 2021535648
 を含む。音源方向は、聴き手又は録音係の頭部の内部基準座標系に対して与えられ得る。例えば、マッピングテーブルは、０度の音源方向であり得、これは、音の音源が頭部の内部基準座標系の原点と一致することを意味する。マッピングテーブルにおける
Figure 2021535648
 及び／又は
Figure 2021535648
 の値は、０度に近い頭部方向に対して小さい。０度の頭部方向に対して、
Figure 2021535648
 及び／又は
Figure 2021535648
 の値はゼロである。これは、新しい頭部方向を考慮してバイノーラル録音を適応する段階において、新しい頭部方向が方法の最初の段階で決定された頭部方向と同一である場合、バイノーラル録音が全く修正されないことを意味する。言い換えれば、聴き手又は録音係が頭部を動かさない場合、バイノーラル録音が修正されない。
本発明の好適な実施形態によれば、頭部方向を与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルは、聴き手若しくは録音係の頭部に、及び／又は、聴き手若しくは録音係の耳に、及び／又は、聴き手若しくは録音係の環境に適応可能である。マッピングテーブルを参照する段階を含む２つの段階が方法に存在する。
Figure 2021535648
 及び
Figure 2021535648
 に関するマッピングテーブルに格納されている情報は、音源方向を決定するために、及びバイノーラル録音を適応するために重要である。マッピングテーブルに格納されている
Figure 2021535648
 及び
Figure 2021535648
 に対する特定の値は、分析球形ヘッドモデルによって、及び／又は、以前に測定された頭部伝達関数によって生成され得る。頭部伝達関数の測定は、ダミーヘッド及び／又は録音係及び／又は聴き手の頭部上で実現され得る。これにより、マッピングテーブルを聴き手若しくは録音係の特定の頭部及び／又は耳の形態に適応する可能性が広がる。特に、外耳（耳介）の形態は重要であり、音の感知に影響を与える。したがって、マッピングテーブルにおける情報が聴き手又は録音係に特に適応される場合、聴取体験が大きく改善される。マッピングテーブルを聴き手又は録音係の環境に適応することも可能であり、よりリアルな聴取体験を実現する。
本発明はまた、上記の方法を実行するよう構成される聴取システムであって、聴取デバイス及び／又は録音デバイスと、頭部方向及び／又は聴き手及び／又は録音係の頭部方向の変更を決定するよう構成される頭部運動トラッキングデバイスとを備える、聴取システムを提供する。聴取デバイスは、バイノーラル録音を聴くことに適した任意の種類の聴取デバイスであり得る。例えば、聴取デバイスは、クロストークキャンセルフィルタを適用するラウドスピーカ、ヘッドフォン、イヤホン、インイヤー型又はオンイヤー型の電話である。録音デバイスは、録音係の右耳及び左耳の近く及び／又は録音係の右耳及び左耳で異なる音響信号を録音できる任意の種類の録音デバイスであり得る。録音係は、録音デバイスが取り付けられた人間若しくはダミーヘッド、又は２つのマイクロホンを有するＪｅｃｋｌｉｎディスクであり得る。例えば、録音デバイスは、インイヤー型又はオンイヤー型のマイクロホンである。代替的に、録音デバイスは、ダミーヘッド又はＪｅｃｋｌｉｎディスクのそれぞれの側の２つのマイクロホンで構成された録音デバイスに搭載されたカメラの一部である。
聴取システムはまた、頭部運動トラッキングデバイスを備える。例えば、これは、６自由度の電磁気トラッキングシステム、消費者向けバーチャルリアリティヘッドセット、又は慣性測定ユニットに基づくトラッキングデバイスであり得る。光学頭部運動トラッキングデバイス、例えば、カメラ又は一組のカメラを用いることも可能である。それらのいくつかは頭部の方向を計算できる絶対位置を決定し、他は頭部の方向を決定する。頭部運動トラッキングデバイスが音響頭部トラッキングデバイスであることも可能である。
音響頭部トラッキングデバイスは、いくつかのマイクロホンを有するヘッドマウントマイクロホンアレイで構成される。好ましくは、アレイは、４面体の頂点上に配置される４つのマイクロホンを有する。音響頭部トラッキングデバイスは、音響領域における頭部の動きをトラッキングし、これは、音響頭部トラッキングデバイスが頭部方向を決定するためにマイクロホンによって受信された音響信号の差を用いることを意味する。音響信号の差は、マイクロホンの異なる信号間の時間遅延であり得る。マイクロホンアレイの配列に関する情報と共に、音響信号の音源位置及び頭部方向が決定され得る。
本発明の好適な実施形態によれば、聴取デバイス及び／又は録音デバイスが、聴き手及び／又は録音係によって着用されるよう構成される。聴取デバイスは、聴き手によって着用でき、聴き手の右耳及び左耳に異なる音響信号を提供できる任意の種類の聴取デバイスであり得る。例えば、聴取デバイスは、ヘッドフォン、イヤホン、インイヤー型又はオンイヤー型の電話である。録音デバイスの例は、インイヤー型又はオンイヤー型のマイクロホンである。録音デバイス及び聴取デバイスが同一のデバイスに統合されることも可能である。さらに、録音係及び聴き手が同一の人間であることが可能である。
本発明の好適な実施形態によれば、聴取システムは、頭部方向を与えられた音源方向に対する左側のバイノーラル耳信号と右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルを格納するためのストレージデバイスを備える。マッピングテーブルを参照する段階を含み得る２つの段階が上記の方法に存在する。
Figure 2021535648
 及び
Figure 2021535648
 に関するマッピングテーブルに格納される情報は、音源方向を決定するために及びバイノーラル録音を適応するために用いられ得る。したがって、聴取システムは、このマッピングテーブルを格納するためのストレージデバイスを備える。いくつかの異なるマッピングテーブルが格納されることも可能である。異なるマッピングテーブルは、聴取システムを用いて、聴き手及び／又は録音係に特有であり得る。代替的に又は追加的に、異なるマッピングテーブルは、バイノーラル録音が録音及び／又は聴かれる異環境に特有であり得る。マッピングテーブルがサーバ上に格納されて、聴取システムが無線通信技術を介してサーバに接続されることも可能である。
本発明のこれらの態様及び他の態様は、以下で説明される実施形態から明らかであり、以下で説明される実施形態を参照して解明される。実施形態で開示される個々の特徴は、本発明の態様を単独で又は組み合わせて構成できる。異なる実施形態の特徴が１つの実施形態から他の実施形態に引き継がれ得る。
本発明の好適な実施形態による、方法の段階のフローチャートを示す。 本発明の好適な実施形態による、２つの異なる頭部方向を有するバイノーラル録音を録音する録音デバイスを有する録音係を示す。 本発明の好適な実施形態による、２つの異なる頭部方向を有するバイノーラル録音を聴く聴取デバイスを有する聴き手を示す。 本発明の好適な実施形態による、方法の機能図を示す。 本発明の好適な実施形態による、２つの異なるマッピングテーブルの図を示す。
図１は、本発明の好適な実施形態による、聴取システムに適用される聴き手にバイノーラル録音を提供するための方法の段階のフローチャートを示す。また、図１は、本発明の好適な実施形態による、聴取システムに適用されるバイノーラル録音を録音するための方法の段階を示す。２つ方法の段階は同一であり、バイノーラル録音を聴くプロセスへの組み込みから、又は、バイノーラル録音を録音するプロセスへの組み込みから独立している。
図２は、本発明の好適な実施形態による、聴取システム１２を有する録音係１０を示す。聴取システム１２は録音デバイス１４を備え、本発明のこの実施形態において、ヘッドセットは２つのインイヤー型のマイクロホンを有する。ヘッドセットに組み込まれているのは、録音係１０の頭部２０の方向１８を決定するよう構成されている頭部トラッキングデバイス１６である。録音係１０は、聴取システム１２を用いて音源２２によって放出される音のバイノーラル録音を録音するプロセスにある。図２における録音係１０は頭部２０の２つの異なる方向を有する。
以下では、バイノーラル録音を録音するための方法の個々の段階が、図１におけるフローチャート及び図２における録音係１０を参照して簡潔に説明される。
方法の最初の段階、Ｓ１００、は、録音係１０の頭部２０の方向１８を決定することである。録音係１０の頭部２０のこの方向１８は、図２の左側に示される。本発明のこの好適な実施形態において、方向１８は基準座標系の原点を定義し、したがって、ゼロ度である。
方法の次の段階、Ｓ２００、において、録音係１０の頭部方向１８に対するバイノーラル録音の音源方向２４が決定される。音源方向２４は、音源２２への方向である。それは、録音係１０の環境の知識が全くなくても、バイノーラル録音を分析することによって決定される。この段階の後、録音係１０の頭部２０の方向１８と音源方向２４との間の角度２６が知られている。
方法のさらなる段階、Ｓ３００、において、頭部方向２８の変更が検出される。頭部方向２８のこの変更は、録音係１０の頭部２０の新しい方向３０を導く。録音係１０の頭部２０のこの新しい方向３０は、図２の右側に示される。
方法の最終段階、Ｓ４００において、バイノーラル録音が、バイノーラル録音の音源方向２４及び新しい頭部方向３０を考慮して適応される。したがって、この段階は、新しい頭部方向３０と音源方向２４との間の角度３２を決定する段階を含む。
図３は、本発明の他の好適な実施形態による、聴取システム１２を有する聴き手３４を示す。聴取システム１２は聴取デバイス３６を備え、本発明のこの実施形態において、ヘッドセットである。ヘッドセットに組み込まれているのは、聴き手３４の頭部３８の方向１８を決定するよう構成されている頭部トラッキングデバイス１６である。聴き手３４は、バイノーラル録音を聴くプロセスにある。図３における聴き手３４は、頭部３８の２つの異なる方向を有する。
以下では、聴き手３４にバイノーラル録音を提供するための方法の個々の段階が、図１におけるフローチャート、図３における聴き手３４、図４における機能図、及び図５におけるマッピングテーブルを参照して説明される。
方法の最初の段階、Ｓ１００、において聴き手３４の頭部３８の方向１８が決定された後、図３の左側に示される ように、次の段階、Ｓ２００、において、バイノーラル録音の音源方向２４が聴き手３４の頭部方向１８に対して決定される。音源方向２４は、感知された音源２２への方向である。それは、バイノーラル録音を分析することによって決定される。
図４を参照すると、バイノーラル録音を分析する目的のために、聴き手３４の左耳用の時間領域信号ｘｌ（ｋ）及びバイノーラル録音の聴き手３４の右耳用の時間領域信号ｘｒ（ｋ）が、離散フーリエ変換（ＤＦＴ）によって、最初に周波数領域信号に変換される。周波数領域における信号は、Ｘｒ（λ，μ）及びＸｌ（λ，μ）で表される。
分析は、バイノーラル録音の両耳間のレベル差（ＩＬＤ）及び両耳間の位相差（ＩＰＤ）を決定することを含む。
Figure 2021535648
 ここでは、Ｘｒ,l（λ，μ）は、時間インスタンスλでの周波数ビンμにおけるバイノーラル耳信号を表す。
ＩＬＤ（λ，μ）及びＩＰＤ（λ，μ）は、マッピングテーブル４０における
Figure 2021535648
 及び
Figure 2021535648
 と比較され得る。
図５を参照すると、マッピングテーブル４０は、頭部方向１８、３０と、振幅の差（
Figure 2021535648
 ）と位相の差（
Figure 2021535648
 ）との間のリンクを作成する。マッピングテーブル４０に格納されている
Figure 2021535648
 及び
Figure 2021535648
 に対する特定の値は、分析球形ヘッドモデルによって、及び／又は、以前に測定された頭部伝達関数（ＨＲＴＦ）によって生成され得る。ＨＲＴＦは、音の入射の方向に応じて、聴き手３４の頭部３８及び／又は耳による信号の修正を説明する。
Figure 2021535648
 ここでは、ｉ∈｛ｌ，ｒ｝であるＨｉ（λ，μ）は、左耳及び右耳に対するＨＲＴＦを表し、これは、
Figure 2021535648
 として大きさ成分及び位相成分に分割され得る。
マッピングテーブル４０は、頭部の方向１８、３０と音源方向２４との間の角度φの関数として測定された及び／又は分析的に計算されたＨＲＴＦの情報を含む。
Figure 2021535648
結果として生じる
Figure 2021535648
 及び
Figure 2021535648
 だけでなくＨＲＴＦも同様にマッピングテーブル４０に格納され得る。
図５は、マッピングテーブル４０の２つの例を示す。左側は、測定されたＨＲＴＦから決定された
Figure 2021535648
 （上）及び
Figure 2021535648
 （下）である。右側は、分析モデルから決定された
Figure 2021535648
 （上）及び
Figure 2021535648
 （下）である。
音源方向２４を決定する段階、Ｓ２００、は、最小化アプローチを含む。ここでは、バイノーラル録音のＩＬＤ及びＩＰＤに最も適合する、マッピングテーブル４０における
Figure 2021535648
 及び
Figure 2021535648
 が決定される。特に、最小化は、以下の形式を有する。
Figure 2021535648
 ここでは、φｏｒｉｇは、聴き手３４の頭部３８の方向１８と音源方向２４との間の角度２６に対応する。
方法のさらなる段階、Ｓ３００、において、頭部方向２８の聴き手３４の頭部３８の新しい方向３０への変更が検出される。したがって、新しい頭部方向３０と音源方向２４との間の角度３２が知られている。聴き手３４の頭部３８のこの新しい方向３０は、図３の右側に示される。
方法の最終段階、Ｓ４００、において、バイノーラル録音が、バイノーラル録音の音源方向２４及び新しい頭部方向３０を考慮して適応される。したがって、マッピングテーブル４０も参照される。バイノーラル録音は、以下のとおり修正される。
Figure 2021535648
 ここでは、Ｇｉ（λ，μ）は、
Figure 2021535648
 に従ってバイノーラル録音Ｘｉ（λ，μ）のＩＬＤ及びＩＰＤを操作する複素係数である。
位相の修正は、
Figure 2021535648
 である。ここでは、ΔＩＰＤ（λ，μ）の値は、マッピングテーブル４０を参照することによって
Figure 2021535648
 と決定される。φｄｅｓｔは、新しい頭部方向３０と音源方向２４との間の角度３２を表し、これは、方法の以前の段階（Ｓ３００）で決定される。
複素係数の大きさは、バイノーラル録音のＩＬＤを修正し、
Figure 2021535648
 に従って、マッピングテーブルのＨＲＴＦから直接取得される。
修正は、Δφの値がより小さいほどより低侵襲的になり、Δφ＝０の場合、信号は全く修正されない。
バイノーラル信号を適応した後、修正された信号Ｙｉ（λ，μ）は、逆離散フーリエ変換（ＩＤＦＴ）を適用することによって時間領域に変換される。
１０ 録音係
１２ 聴取システム
１４ 録音デバイス
１６ 頭部トラッキングデバイス
１８ 頭部の方向
２０ 録音係の頭部
２２ 音源
２４ 音源方向
２６ 頭部方向と音源方向との間の角度
２８ 頭部方向の変更
３０ 新しい頭部方向
３２ 新しい頭部方向と音源方向との間の角度
３４ 聴き手
３６ 聴取デバイス
３８ 聴き手の頭部
４０ マッピングテーブル

Claims (12)

  1. 頭部に聴取システムを適用して聴き手にバイノーラル録音を提供するための方法であって、前記バイノーラル録音は聴取デバイスを用いて聴かれ、前記バイノーラル録音は前記聴き手の左耳用の左側のバイノーラル耳信号と前記聴き手の右耳用の右側のバイノーラル耳信号とで構成され、前記方法は、
    頭部方向を決定する段階と、
    前記頭部方向に対する前記バイノーラル録音の音源方向を決定する段階と、
    前記頭部方向の新しい頭部方向への変更を検出する段階と、
    前記バイノーラル録音の前記音源方向及び前記新しい頭部方向を考慮して前記バイノーラル録音を適応する段階と
    を備える、方法。
  2. 聴取システムに適用されるバイノーラル録音を録音するための方法であって、前記バイノーラル録音は録音係の頭部に搭載される録音デバイスを用いて録音され、前記バイノーラル録音は前記録音係の左耳の近く及び／又は前記左耳で前記録音デバイスによって受信される左側のバイノーラル耳信号と前記録音係の右耳の近く及び／又は前記右耳で前記録音デバイスによって受信される右側のバイノーラル耳信号とで構成され、前記方法は、
    頭部方向を決定する段階と、
    前記頭部方向に対する前記バイノーラル録音の音源方向を決定する段階と、
    前記頭部方向の新しい頭部方向への変更を検出する段階と、
    前記バイノーラル録音の前記音源方向及び前記新しい頭部方向を考慮して前記バイノーラル録音を適応する段階と
    を備える、方法。
  3. 前記頭部方向の新しい頭部方向への変更を検出する前記段階は、前記頭部の回転運動を検出する段階を有する、請求項１又は２に記載の方法。
  4. 前記頭部方向に対する前記バイノーラル録音の音源方向を決定する前記段階、並びに、前記バイノーラル録音の前記音源方向及び前記新しい頭部方向を考慮して前記バイノーラル録音を適応する前記段階は、前記頭部方向を与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルを参照する段階を有する、請求項１から３のいずれか一項に記載の方法。
  5. 前記頭部方向に対する前記バイノーラル録音の音源方向を決定する前記段階は、前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の差を決定する段階と、この差を、前記頭部方向を与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の前記差に関連付けるマッピングテーブルと比較する段階とを有する、請求項１から４のいずれか一項に記載の方法。
  6. 前記バイノーラル録音の前記音源方向及び前記新しい頭部方向を考慮して前記バイノーラル録音を適応する前記段階は、前記バイノーラル録音の前記音源方向に対する前記新しい頭部方向を決定する段階と、頭部方向のこの値を、前記頭部方向を与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルと比較する段階とを有する、請求項１から５のいずれか一項に記載の方法。
  7. 前記頭部方向を与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の前記差に関連付ける前記マッピングテーブルは、前記頭部方向を、前記右側のバイノーラル耳信号及び前記左側のバイノーラル耳信号の周波数の範囲で、且つ、与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の振幅の前記差に、及び／又は位相の前記差に関連付ける、請求項４から６のいずれか一項に記載の方法。
  8. 前記頭部方向を与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の前記差に関連付ける前記マッピングテーブルは、前記聴き手若しくは録音係の前記頭部に、及び／又は、前記聴き手若しくは録音係の耳に、及び／又は、前記聴き手若しくは録音係の環境に適応可能である、請求項４から７のいずれか一項に記載の方法。
  9. 聴き手にバイノーラル録音を提供するための方法であって、前記バイノーラル録音は請求項２から８のいずれか一項に記載の方法によって録音され、前記バイノーラル録音は請求項１及び３から８のいずれか一項に記載の方法によって前記聴き手に提供される、方法。
  10. 請求項１から９のいずれか一項に記載の方法を実行するよう構成される聴取システムであって、聴取デバイス及び／又は録音デバイスと、頭部方向及び／又は前記聴き手及び／又は録音係の前記頭部方向の変更を決定するよう構成される頭部運動トラッキングデバイスとを備える、聴取システム。
  11. 前記聴取デバイス及び／又は録音デバイスは、聴き手及び／又は録音係によって着用されるよう構成される、請求項１０に記載の聴取システム。
  12. 聴取システムは、前記頭部方向を与えられた音源方向に対する前記左側のバイノーラル耳信号と前記右側のバイノーラル耳信号との間の差に関連付けるマッピングテーブルを格納するためのストレージデバイスを備える、請求項１０又は１１に記載の聴取システム。
JP2021506926A 2018-08-16 2019-08-02 バイノーラル録音を取得及び再生するための方法 Active JP7272708B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
DE102018006450 2018-08-16
DE102018006450.7 2018-08-16
DE102018007201.1 2018-09-12
DE102018007201 2018-09-12
DE102019107302.2 2019-03-21
DE102019107302.2A DE102019107302A1 (de) 2018-08-16 2019-03-21 Verfahren zum Erzeugen und Wiedergeben einer binauralen Aufnahme
PCT/EP2019/070949 WO2020035335A1 (en) 2018-08-16 2019-08-02 Methods for obtaining and reproducing a binaural recording

Publications (2)

Publication Number Publication Date
JP2021535648A true JP2021535648A (ja) 2021-12-16
JP7272708B2 JP7272708B2 (ja) 2023-05-12

Family

ID=69320665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021506926A Active JP7272708B2 (ja) 2018-08-16 2019-08-02 バイノーラル録音を取得及び再生するための方法

Country Status (6)

Country Link
US (1) US11546703B2 (ja)
EP (1) EP3837863A1 (ja)
JP (1) JP7272708B2 (ja)
CN (1) CN113196805B (ja)
DE (1) DE102019107302A1 (ja)
WO (1) WO2020035335A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11617050B2 (en) 2018-04-04 2023-03-28 Bose Corporation Systems and methods for sound source virtualization
US11356795B2 (en) 2020-06-17 2022-06-07 Bose Corporation Spatialized audio relative to a peripheral device
US11982738B2 (en) * 2020-09-16 2024-05-14 Bose Corporation Methods and systems for determining position and orientation of a device using acoustic beacons
CN113709654A (zh) * 2021-08-27 2021-11-26 维沃移动通信（杭州）有限公司 录音方法、录音装置、录音设备和可读存储介质
WO2023059838A1 (en) * 2021-10-08 2023-04-13 Dolby Laboratories Licensing Corporation Headtracking adjusted binaural audio

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5458402A (en) * 1977-10-18 1979-05-11 Torio Kk Binaural signal corrector
US20130114821A1 (en) * 2010-06-21 2013-05-09 Nokia Corporation Apparatus, Method and Computer Program for Adjustable Noise Cancellation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333622B2 (en) * 2002-10-18 2008-02-19 The Regents Of The University Of California Dynamic binaural sound capture and reproduction
US20080056517A1 (en) * 2002-10-18 2008-03-06 The Regents Of The University Of California Dynamic binaural sound capture and reproduction in focued or frontal applications
CA2732079C (en) * 2008-07-31 2016-09-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Signal generation for binaural signals
CN117376809A (zh) * 2013-10-31 2024-01-09 杜比实验室特许公司 使用元数据处理的耳机的双耳呈现
WO2016074734A1 (en) 2014-11-13 2016-05-19 Huawei Technologies Co., Ltd. Audio signal processing device and method for reproducing a binaural signal
EP3657822A1 (en) * 2015-10-09 2020-05-27 Sony Corporation Sound output device and sound generation method
EP3280154B1 (en) * 2016-08-04 2019-10-02 Harman Becker Automotive Systems GmbH System and method for operating a wearable loudspeaker device
CN109691139B (zh) 2016-09-01 2020-12-18 安特卫普大学 确定个性化头部相关传递函数和耳间时间差函数的方法和设备
US9848273B1 (en) * 2016-10-21 2017-12-19 Starkey Laboratories, Inc. Head related transfer function individualization for hearing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5458402A (en) * 1977-10-18 1979-05-11 Torio Kk Binaural signal corrector
US20130114821A1 (en) * 2010-06-21 2013-05-09 Nokia Corporation Apparatus, Method and Computer Program for Adjustable Noise Cancellation

Also Published As

Publication number Publication date
CN113196805B (zh) 2023-04-04
JP7272708B2 (ja) 2023-05-12
EP3837863A1 (en) 2021-06-23
CN113196805A (zh) 2021-07-30
WO2020035335A1 (en) 2020-02-20
DE102019107302A1 (de) 2020-02-20
US20210314710A1 (en) 2021-10-07
US11546703B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
JP7272708B2 (ja) バイノーラル録音を取得及び再生するための方法
US11785413B2 (en) Media content playback based on an identified geolocation of a target venue
JP6446068B2 (ja) ルーム最適化された伝達関数の決定および使用
KR102502647B1 (ko) 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들
CN106134223B (zh) 重现双耳信号的音频信号处理设备和方法
CN112005559B (zh) 改进环绕声的定位的方法
JP2017532816A (ja) 音声再生システム及び方法
KR20130114162A (ko) 녹음된 사운드 신호에 기초한 머리 추적을 위한 시스템, 방법, 장치 및 컴퓨터 판독가능 매체
US11221820B2 (en) System and method for processing audio between multiple audio spaces
Roginska Binaural audio through headphones
TW202028929A (zh) 多音訊串流之空間重定位
US11115773B1 (en) Audio system and method of generating an HRTF map
US11683654B2 (en) Audio content format selection
JP2023530479A (ja) モバイル周辺デバイスに対する空間化されたオーディオ
US10142760B1 (en) Audio processing mechanism with personalized frequency response filter and personalized head-related transfer function (HRTF)
EP3713256A1 (en) Sound processing system of ambisonic format and sound processing method of ambisonic format
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US12010494B1 (en) Audio system to determine spatial audio filter based on user-specific acoustic transfer function
KR102534802B1 (ko) 멀티-채널 바이노럴 기록 및 동적 재생
WO2024089036A1 (en) Audio signal processor and related method and computer program for generating a two-channel audio signal using a smart determination of the single-channel acoustic data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230420

R150 Certificate of patent or registration of utility model

Ref document number: 7272708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150