JP2020046657A - オーディオレンダリングシステム - Google Patents
オーディオレンダリングシステム Download PDFInfo
- Publication number
- JP2020046657A JP2020046657A JP2019143112A JP2019143112A JP2020046657A JP 2020046657 A JP2020046657 A JP 2020046657A JP 2019143112 A JP2019143112 A JP 2019143112A JP 2019143112 A JP2019143112 A JP 2019143112A JP 2020046657 A JP2020046657 A JP 2020046657A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- buffer
- rendering device
- frame
- audio rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/552—Binaural
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
- G06F12/0815—Cache consistency protocols
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/17—Embedded application
- G06F2212/171—Portable consumer electronics, e.g. mobile phone
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
- G11B2020/10675—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
- G11B2020/10694—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control output interface, i.e. the way data leave the buffer, e.g. by adjusting the clock rate
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B2020/10935—Digital recording or reproducing wherein a time constraint must be met
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
- H04M1/6041—Portable telephones adapted for handsfree use
- H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
- H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
- H04R2227/003—Digital PA systems using, e.g. LAN or internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Otolaryngology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Neurosurgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Mobile Radio Communication Systems (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
【課題】既存の無線通信デバイスの使用を可能にするマルチチャンネルオーディオ出力のレンダリングを同期させるオーディオレンダリングシステムを提供する。【解決手段】オーディオレンダリングシステムは、無線通信デバイス50と、第1オーディオレンダリングデバイス10Lと、第2オーディオレンダリングデバイス10Rとを含む。第1オーディオレンダリングデバイス10Lは、受信したオーディオデータのフレームの第1バッファを維持およびそれぞれの第1バッファリリースタイムにレンダリングのために第1バッファからオーディオデータのフレームをリリースする。第2オーディオレンダリングデバイス10Rは、受信したオーディオデータのフレームの第2バッファを維持およびそれぞれの第2バッファリリースタイムにレンダリングのために第2バッファからオーディオデータのフレームをリリースする。【選択図】図1
Description
本開示は、無線通信デバイスと、第1オーディオレンダリングデバイスと、第2オーディオレンダリングデバイスとを含むオーディオレンダリングシステムに関する。特に、本発明は、当該無線通信デバイスが、第1の複数オーディオパケットを当該第1オーディオレンダリングデバイスに、および第2の複数オーディオパケットを当該第2オーディオレンダリングデバイスに送信するように構成され、当該第1の複数オーディオパケットが、1つ以上のオーディオチャンネルのセットにおける第1オーディオチャンネルのためのオーディオデータを含み、当該第2の複数オーディオパケットが、1つ以上のオーディオチャンネルの当該セットにおける第2オーディオチャンネルのためのオーディオデータを含む、そのようなシステムに関する。本開示は、そのようなシステムに関連するさらなる態様に関する。
無線通信デバイスからの1組のオーディオレンダリングデバイスによるオーディオデータの無線ストリーミングは、非常に望ましい。しかしながら、オーディオレンダリングデバイスのための実現可能な解決策を提供するために対処しなければならない、先行技術の無線データ通信方法、プロトコル、およびデバイスによる、電力消費、信頼性、送信の待ち時間および/または遅延、構成部品のサイズなどに関する多くの技術的問題がある。これらの課題は、オーディオレンダリングデバイスが小さい形状因子および/または少ない量のみ利用可能な電力を有する場合に特に顕著である。特に、これは、1組のオーディオレンダリングデバイスが1組の聴覚機器を形成する場合の事例である。
標準化された無線データ通信プロトコル、例えば、Bluetooth(登録商標) Core Specification 5.0または前バージョンによって規定されるBluetooth(登録商標) LE(BLE)等では、リアルタイムオーディオ転送を行うことができない。
リアルタイム転送の手段の欠如は、2つのペアリングされたオーディオシンク(例えば、補聴器など)の間のステレオ同期を実現することが困難であることも意味する。
米国特許第9712266号明細書では、ある特定の時間長によってオーディオデータのレンダリングを遅延させるように無線通信デバイスがオーディオレンダリングデバイスの1つに指示を無線送信する、マルチチャンネルオーディオ出力のレンダリングを同期させるための技術が開示されている。
しかしながら、この解決策は、無線通信デバイスの変更を必要とする。したがって、無線通信デバイスの特定の変更または構成を必要としないシステムを提供することは望ましい。特に、システムの一部として既存の無線通信デバイスの使用を可能にする、および/または無線通信デバイスの選択に関してより大きな融通性を提供する、システムを提供することは望ましくい。
先行技術の無線データ通信の方法、プロトコル、およびデバイスの、上記において言及した問題および短所の1つ以上を克服すること、および/またはそれらの代替手段を提供することは、概して望ましい。
第1態様により、本明細書において、無線通信デバイスと、第1オーディオレンダリングデバイスと、第2オーディオレンダリングデバイスとを含む、オーディオレンダリングシステムの実施形態が開示される。無線通信デバイスが、第1の複数オーディオパケットを第1オーディオレンダリングデバイスに送信するように、及び、第2の複数オーディオパケットを第2オーディオレンダリングデバイスに送信するように構成され、第1の複数オーディオパケットが、1つ以上のオーディオチャンネルのセットにおける第1オーディオチャンネルのためのオーディオデータのフレームを含み、第2の複数オーディオパケットが、1つ以上のオーディオチャンネルのセットにおける第2オーディオチャンネルのためのオーディオデータのフレームを含む。第1オーディオレンダリングデバイスが、第1オーディオチャンネルのための受信したオーディオデータのフレームの第1バッファを維持するように、及び、それぞれの第1バッファリリースタイムに、レンダリングのために第1バッファから第1オーディオチャンネルのためのオーディオデータのフレームをリリースするように構成される。第2オーディオレンダリングデバイスが、第2オーディオチャンネルのための受信したオーディオデータのフレームの第2バッファを維持するように、及び、それぞれの第2バッファリリースタイムに、レンダリングのために第2バッファから第2オーディオチャンネルのためのオーディオデータのフレームをリリースするように構成される。第1オーディオレンダリングデバイスが、第2オーディオレンダリングデバイスから1つ以上のメッセージを受信するように構成され、少なくとも第1オーディオレンダリングデバイスが、受信した1つ以上のメッセージに基づいて、第1バッファリリースタイムと第2バッファリリースタイムとを同期させるように構成される。
したがって、第1および第2オーディオレンダリングデバイスにそれぞれのバッファを導入することによって、第1および第2オーディオレンダリングデバイスの間の通信に基づいて、当該バッファからフレームをリリースするためのリリースタイムを同期させることによって、同期した方法において2つのデバイスにオーディオ内容をレンダリングするための効率的なシステムが提供される。
当該同期は、当該オーディオレンダリングデバイスの間の通信に基づいているため、無線通信デバイスからの特定の同期情報に依存しない。したがって、当該無線通信デバイスは、そのような情報を提供することができる必要がない。
さらに、オーディオレンダリングデバイスでのそれぞれのバッファの用意およびバッファリリースタイムを同期することにより、当該同期されたレンダリングは、無線通信デバイスとそれぞれのオーディオレンダリングデバイスとの間の信頼性の低い通信に対してロバストである。特に、当該システムは、同期されたオーディオレンダリングを少なくともかなりの程度維持しつつ、個々の通信チャンネルにおけるオーディオパケット送信の失敗を担い得る。
当該オーディオデータは、複数のステレオオーディオチャンネルを含むステレオオーディオ出力のためのものであり得る。したがって、第1および第2オーディオチャンネルは、異なるオーディオチャンネル、例えば、それぞれ、左および右のステレオオーディオチャンネルであり得る。いくつかの実施形態において、当該第1および第2オーディオチャンネルは、複数のオーディオレンダリングデバイスによる同期されたレンダリングを対象とする同じチャンネルであってもよい。
当該オーディオデータは、デジタルオーディオ信号の複数のサンプルまたは値、例えば、アコースティックサウンドに変換することができるアナログオーディオ信号の連続時間および連続振幅値を表す離散時間および離散振幅のデジタルオーディオ信号値のシーケンス等を含み得る。オーディオサンプルまたは値は、固定長または可変長のフレーム内に整列され得る。当該オーディオデータは、エンコードされたオーディオデータであってもよく、すなわち、当該オーディオデータは、エンコードされた形態において受信され得る。換言すれば、当該オーディオデータおよびフレームは、ストリーミングオーディオの分野において周知のようなオーディオレンダリングデバイスによるサウンドへの変換を対象とするエンコードされたデジタルデータを含み得る。現在の説明の目的の場合、サウンドへのオーディオデータの変換は、レンダリングとも呼ばれる。当該変換は、例えば、オーディオデータが好適な符号化スキームに従ってエンコードされる場合のデコードステップを含むいくつかの処理ステップを含み得る。したがって、オーディオデータという用語は、エンコードされたオーディオデータおよびエンコードされていない/デコードされたオーディオデータを包含することを意図する。
いくつかの実施形態により、無線通信デバイスと各オーディオレンダリングデバイスの間の無線通信チャンネル及び/又は第1および第2オーディオレンダリングデバイスの間の通信チャンネルは、例えば、産業科学医療用(industrial scientific medical:ISM)無線周波数域、例えば、2.40〜2.50GHz帯域または902〜928MHz帯域等に位置される1つ以上の周波数帯域を使用する無線周波数通信を利用し得る。あるいは、当該無線通信は、別の好適な周波数帯を使用してもよい。いくつかの実施形態において、当該無線通信デバイスと各オーディオレンダリングデバイスの間の無線通信ならびに第1および第2オーディオレンダリングデバイスの間の無線通信は、同じ周波数帯域またはそれぞれの周波数帯域を利用し得る。
当該無線通信デバイスは、当該無線通信デバイスと第1オーディオレンダリングデバイスの間の第1無線通信リンクを介して、特に、ダイレクトな無線通信リンクを介して、あるいは、第2オーディオレンダリングデバイスの関与しない無線通信リンクを介して、第1の複数オーディオパケットを第1オーディオレンダリングデバイスに送信するように構成され得る。例えば、オーディオ使用可能なBluetooth(登録商標) LEプロトコルにおいて、またはオーディオデータを通信するための他の好適な通信プロトコルにおいて、無線通信デバイスと第1オーディオレンダリングデバイスの間でデータを通信する場合、当該無線通信デバイスは、マスターデバイスとして作動するように構成することができ、ならびに第1オーディオレンダリングデバイスは、第1スレーブデバイスとして作動するように構成され得る。
同様に、当該無線通信デバイスは、当該無線通信デバイスと第2オーディオレンダリングデバイスの間の第2無線通信リンクを介して、特に、ダイレクトな無線通信リンクを介して、あるいは、第1オーディオレンダリングデバイスの関与しない無線通信リンクを介して、第2の複数オーディオパケットを第2オーディオレンダリングデバイスに送信するように構成され得る。例えば、オーディオ使用可能なBluetooth(登録商標) LEプロトコルにおいて、またはオーディオデータを通信するための他の好適な通信プロトコルにおいて、無線通信デバイスと第2オーディオレンダリングデバイスの間においてデータを通信する場合、当該無線通信デバイスは、マスターデバイスとして作動するように構成することができ、ならびに第2オーディオレンダリングデバイスは、第2スレーブデバイスとして作動するように構成され得る。
いくつかの実施形態において、各オーディオレンダリングデバイスは、無線通信デバイスによる通信ならびに他のオーディオレンダリングデバイスとの通信を実践する1つ以上のハードウェア部品を含み得る。これは、無線通信デバイスとそれぞれのオーディオレンダリングデバイスの間の無線通信が、第1オーディオレンダリングデバイスと第2オーディオレンダリングデバイスの間の無線通信と同じ一般的な通信技術を使用する場合に、特に実現可能かつ有利であり得る。特に、それぞれの通信チャンネルは、通信スタックの少なくともいくつかの層、例えば、通信スタックの最も低い1つ以上の層の同一または同様の周波数帯域を使用、および/または同一または同様の実践形態を共有するRF通信を使用し得る。例えば、当該オーディオレンダリングデバイスは、単一のアンテナおよび/または単一のトランシーバおよび/または同一の通信コントローラを含んでいてよく、その結果として、当該オーディオレンダリングデバイスが小さい形状因子を維持することを可能にする。
いくつかの実施形態において、当該無線通信デバイスは、Bluetooth(登録商標)通信、例えば、Bluetooth(登録商標) LE通信等を使用して、オーディオパケットをそれぞれのオーディオレンダリングデバイスに通信し得る。
いくつかの実施形態において、第1および第2オーディオレンダリングデバイス間の無線通信チャンネルは、第1および第2オーディオレンダリングデバイスの誘導コイル間の近接場磁気カップリングに基づき得る。後者の実施形態において、離間された複数の周波数帯域は、2GHz未満、例えば、1GHz未満、または500MHz未満等の無線周波数域に配置され得る。
第1および第2オーディオレンダリングデバイス間の通信は、単方向または双方向であり得る。当該通信は、例えば、無線周波数通信、誘導通信などを使用する無線であり得る。当該通信は、直接的または間接的であり得る。当該通信は、データパケットの形態であり得る。当該通信は、制御データを含むメッセージを運び得る。特に、本明細書において説明されるように同期が実施される第1および第2オーディオレンダリングデバイス間において交換されるメッセージは、オーディオデータを有し得ない。したがって、当該メッセージは、本明細書においてさらに詳細に説明されるような、第1および第2オーディオレンダリングデバイスの作動の整合または同期のための1つ以上のタイプの制御データのみを含み得る。あるいは、第1および第2オーディオレンダリングデバイス間において通信されるデータの少なくとも幾つかは、オーディオチャンネルのレンダリングを同期させる以外の目的のために使用されるオーディオデータおよび/または制御データを含み得る。第1および第2オーディオレンダリングデバイス間の通信は、無線通信デバイスから第1オーディオレンダリングデバイスへ第1の複数オーディオパケットを通信するために使用される第1通信リンクとは別々の異なる、及び、無線通信デバイスから第2オーディオレンダリングデバイスへ第2の複数オーディオパケットを通信するために使用される第2通信リンクとは別々の異なる、通信リンクを介して実施され得る。したがって、第1の複数オーディオパケットも第2の複数オーディオパケットも、第1および第2オーディオレンダリングデバイス間において通信される必要がない。
第1および第2オーディオレンダリングデバイスは、長時間に亘って互いに通信リンクを維持し得る。あるいは、それらは、介在するアイドル期間の際に通信を切断しつつ、それぞれの複数の連続した接続イベントの際に通信リンクを断続的に確立し得る。したがって、当該複数の連続する接続イベントは、第1および第2オーディオレンダリングデバイス間でのデータ交換のない切断またはアイドル期間を介在させることによって分離され得る。したがって、それぞれの対となる連続した接続イベントは、切断期間またはアイドル期間によって分離され得る。同様に、第1および第2オーディオレンダリングデバイスが通信リンクを維持する場合であっても、当該第1および第2オーディオレンダリングデバイスは、アイドル時間によって分離される連続した通信イベントにおいて、当該通信リンクによってデータを通信し得る。対となる隣接する接続イベントまたは通信イベントの間の時間分離または送信間隔は、5msから500msの間、例えば、10msから200msの間、例えば、10msから100msの間等であり得る。当該時間分離または送信間隔は、例えば、利用可能な帯域幅および/またはより高いプライオリティのデータ送信に応じて、時間経過において固定され得るかまたは変わり得る。いくつかの実施形態において、各接続イベントまたは通信イベントにおいて、一方のオーディオレンダリングデバイスから他方のオーディオレンダリングデバイスへのメッセージは、逆方向においてメッセージを通信することなく送られる。その後の通信イベントまたは接続イベントにおいて、メッセージが逆方向に送られることができ、すなわち、任意の所定の通信イベントまたは接続イベントにおいて、各デバイスは、メッセージを受信するかまたは送信するかのどちらかのみである。送信および受信の役割は、交互の接続イベントまたは通信イベントにおいて逆転され得る。しかしながら、他の実施形態は他の通信プロトコルを使用し得ることは理解されるであろう。当該メッセージは、好適な通信プロトコルに従ってデータパケットとして通信され得る。
当該無線通信デバイスは、送信スケジュールに従って、オーディオパケットをそれぞれのオーディオレンダリングデバイスに送信し得る。特に、当該無線通信デバイスは、規則的に離間された通信イベントにおいてオーディオパケットを第1オーディオレンダリングデバイスに送信することができ、すなわち、第1の複数オーディオパケットにおけるオーディオパケットは、後続の送信の間の同じ時間間隔において送られる。同様に、当該無線通信デバイスは、規則的に離間された通信イベントにおいてオーディオパケットを第2オーディオレンダリングデバイスに送信することができ、すなわち、第2の複数オーディオパケットにおけるオーディオパケットは、後続の送信の間の同じ時間間隔において送られる。送信の間の時間間隔は、両方のチャンネルで同じであり得る。
第1および第2オーディオレンダリングデバイスのそれぞれと無線通信デバイスの間の通信は、相方向であり得る。特に、いくつかの実施形態において、第1および第2オーディオレンダリングデバイスは、第1または第2の複数オーディオパケットのそれぞれの成功した受信に応じて、それぞれの受信確認メッセージを当該無線通信デバイスに送信するように構成され得る。このために、当該第1および第2の複数オーディオパケットのそれぞれは、パケットエラー検出および/またはパケットエラー訂正コードを含む好適なデータ検査セクションを含み得る。当該パケットエラー検出および/またはエラー訂正コードは、例えば、巡回冗長検査(CRC)コードを含み得る。
いくつかの実施形態において、当該無線通信デバイスは、対応するオーディオレンダリングデバイスからの成功した受信の確認を受け取っていないオーディオパケットを再送信するように構成され得る。いくつかの実施形態において、再送信は、成功した受信の確認を受け取るまで行われる。しかしながら、いくつかの実施形態において、再送信は、最大N回まで繰り返される。ここで、Nは正の整数である。N回の再送信に達し、無線通信デバイスが、依然として、対応するオーディオレンダリングデバイスによるオーディオパケットの成功した受信を示す受信確認インジケータを受け取っていない場合、当該無線通信デバイスは、N回の再送信に失敗しているかさらには通信リンクを完全にリセットしているため、続いて、当該オーディオパケットをフラシュ(flush)するか、削除するか、または破棄することへと進み得る。あるいは、N回の再送信に達していない場合、無線通信デバイスは、オーディオパケットのさらなる再送信を試みることができ、その後、オーディオパケットが送られた対応するオーディオレンダリングデバイスからの受信確認インジケータを待つ無線通信チャンネルを監視することへと進み得る。一般的に、オーディオパケットが送られたオーディオレンダリングデバイスによるオーディオパケットの受信の成功を示す受信確認インジケータを受信すると、無線通信デバイスは、送信スケジュールに従って別のオーディオパケットを送信することによって継続し得る。いくつかの実施形態において、例えば、多数の再送信などによって、前のオーディオパケットの送信が過度に遅延した場合、当該無線通信デバイスは、1つ以上の後続のオーディオパケットをスキップすることができ、当該シーケンスにおける後のオーディオパケットにより続行し得る。例えば、オーディオパケットKが、成功した受信の受信確認を受け取る前に複数回再送信された場合、当該無線通信デバイスは、オーディオパケットK+1の代わりにオーディオパケットK+1+k(kは、正の整数)を送信することによって続行し得る。
失敗したオーディオパケットおよび/または送信されていない後続のオーディオパケットのフラッシングは、無線通信デバイスがより最新のまたは現在のオーディオフレームによって続行するのを可能にする。失われたまたは遅延したオーディオパケットに関するこのフラッシング手順は、無線通信チャンネルによるオーディオ送信が、特定のオーディオパケットの多数の、原則として無限数の、再送信の試みによって阻止または保留されるのを回避する。オーディオパケットをフラッシュする代わりに、いくつかの実施形態は、送信を試みる場合に、再送信の数が最大数を越えたとき、通信リンク全体をリセットし得る。
それぞれのオーディオレンダリングデバイスにおけるフレームバッファの提供は、オーディオチャンネルの効率的な同期を可能にする。第1および/または第2バッファは、フレーム単位でオーディオデータをバッファするように構成されたフレームバッファであり得る。いくつかの実施形態において、受信された各オーディオパケットは、単一のフレームを含む。他の実施形態において、いくつかまたは全てのオーディオパケットは、2つ以上のフレームを含み得る。オーディオレンダリングデバイスは、受信したオーディオデータを、例えば、無線通信デバイスから受信されるようなエンコードされた形態においてバッファし得ることは理解されるであろう。他の実施形態において、当該オーディオレンダリングデバイスは、受信したオーディオデータを、それをバッファする前に処理し得る。例えば、オーディオデータが、エンコードされたオーディオデータとして、オーディオレンダリングデバイスによって受信される場合、当該オーディオレンダリングデバイスは、当該オーディオデータをエンコードされた形態においてバッファし得るか、または当該エンコードされたオーディオデータを最初にデコードし、デコードされた形態において当該オーディオデータをバッファし得る。エンコードされた形態においてオーディオデータをバッファする場合、典型的に、バッファの必要サイズを減じる。デコードした後にオーディオデータをバッファする場合、バッファからリリースされたフレームのレンダリングステップの待ち時間を減じ得る。概して、当該オーディオレンダリングデバイスは、いくつかの実施形態において、受信したオーディオデータをバッファする前に処理することができ、その一方、他の実施形態において、当該オーディオレンダリングデバイスは、前処理することなく、当該受信したオーディオデータをバッファし得る。
当該バッファは、複数のフレームを保持するように構成され得る。オーディオレンダリングデバイスが、オーディオデータの新しいフレームを受信したとき、当該受信されたオーディオデータのフレームは、バッファに入れられる。当該オーディオレンダリングデバイスはさらに、レンダリングのためにオーディオデータの最も古いフレームを、例えば、出力トランスデューサに転送することができるオーディオ信号を作成するためにオーディオデータの当該フレームをデコードするように構成された信号処理回路へとリリースするように構成される。当該オーディオレンダリングデバイスは、規則的に離間され得るバッファリリースタイム、例えば、オーディオデータの1つのフレームによってエンコードされるオーディオ信号の持続時間に対応する間隔によって離間され得るバッファリリースタイムにおいて、バッファからオーディオデータのフレームをリリースするように構成され得る。第1バッファリリースタイムは第1間隔によって規則的に離間され、第2バッファリリースタイムは第1間隔に等しい第2間隔によって規則的に離間されることは概して好ましい。このために、当該オーディオレンダリングデバイスは、オーディオデータの新しいフレームの受信に応じて、バッファ内のオーディオデータの最も古いフレームのリリースを行うことができ、当該オーディオデータの新しいフレームは、当該バッファに入れられる。したがって、当該バッファリリースタイムは、無線通信デバイスからのオーディオパケットの受信の時間から決定することができ、当該受信の時間は、当該無線通信デバイスの送信スケジュールおよび送信の任意の待ち時間によって決定される。
特に、いくつかの実施形態において、無線通信デバイスは、第1の複数オーディオパケットのオーディオパケットが第1オーディオレンダリングデバイスへの送信をスケジュールされ、第1の複数オーディオパケットにおける対応するオーディオパケットが送信をスケジュールされた後に、第2の複数オーディオパケットの各オーディオパケットが、特定の遅延間隔において第2オーディオレンダリングデバイスへの送信をスケジュールされるような送信スケジュールに従って、第1の複数のオーディオパケットおよび第2の複数のオーディオパケットを送信するように構成され、少なくとも第1オーディオレンダリングデバイスが、交換されたメッセージの少なくとも1つに基づいて遅延間隔を決定するように構成される。
例えば、各オーディオレンダリングデバイスへの連続したオーディオパケットの送信の間の時間間隔は、10msから20msの間であり得る。一方のオーディオレンダリングデバイスへのオーディオパケットの送信と他方のオーディオレンダリングデバイスへの対応するオーディオパケットの送信との間の遅延は、1msから当該時間間隔の長さまでの間、例えば、10msから20msの間までであり得る。
したがって、オーディオパケットが、規則的な間隔において、ならびに当該間隔の長さが両方のオーディオレンダリングデバイスに対して同一になるようにそれぞれのオーディオレンダリングデバイスに送信される場合、当該オーディオレンダリングデバイスも、当該バッファリリースタイムが両方のオーディオレンダリングデバイスに対して同じ間隔で離間される規則的に離間されたリリースタイムにおいて、それらのそれぞれのバッファからフレームをリリースし、結果として、オーディオチャンネルの同期を容易にする。
さらに、当該オーディオレンダリングデバイスが、それぞれ、第1および第2オーディオレンダリングデバイスへのオーディオパケットの送信の相対的遅延を、当該オーディオレンダリングデバイスの間において通信されるメッセージに基づいて特定する場合、適切な同期は、無線通信からの追加のスケジュール情報を必要とすることなく実施され得る。さらに、当該同期は、オーディオレンダリングデバイスの間で交換される少量のデータのみを必要とする。
従って、いくつかの実施形態において、第1オーディオレンダリングデバイスは、無線通信デバイスからの第1の複数のオーディオパケットにおけるオーディオパケットの受信のそれぞれの時間を示す第1パケット受信タイムを特定し、特定された第1パケット受信タイムおよび遅延間隔から、第1バッファリリースタイムを特定するように構成される。
いくつかの実施形態において、第1オーディオレンダリングデバイスは、遅延間隔を含む1つ以上の遅延を補うように構成されたバッファ遅延によって遅延された特定されたパケット受信タイムにおいて、第1バッファからオーディオパケットをリリースするように構成される。
第1オーディオレンダリングデバイスへのオーディオパケットの送信が、第2オーディオレンダリングデバイスへの対応するオーディオパケットの送信に対して遅延する場合、第2オーディオレンダリングデバイスが、対応するプロセスを実施し得ることは理解されるであろう。いずれのイベントにおいても、対応するオーディオパケットを受信する他のオーディオレンダリングデバイスより遅くオーディオパケットを受信するオーディオレンダリングデバイスは、無線通信デバイスによる送信の相対的遅延を補うために、新しいオーディオフレームの受信の時間に対してバッファからのオーディオフレームのリリースをさらに遅延させる必要はない。
いくつかの実施形態において、少なくとも第1オーディオレンダリングデバイスは、第2の複数オーディオパケットの前の1つの第2オーディオレンダリングデバイスによる受信の時間を示すメッセージを第2オーディオレンダリングデバイスから受信し、受信したメッセージおよび第1オーディオレンダリングデバイスによる第1の複数オーディオパケットの前の1つの受信の時間から遅延間隔を特定するように構成される。
したがって、第1オーディオレンダリングデバイスは、オーディオレンダリングデバイスの間で多量のデータを交換することを必要とせずに、適切な遅延を効率的に決定し得る。例えば、それぞれのオーディオレンダリングデバイスの内部クロックの同期を必要としない。さらに、送信遅延は、概して、通信セッションの間一定であるため、例えば、初期オーディオパケットに基づいて、通信セッションの開始時にのみ遅延間隔の特定を実施すれば十分であり得る。それでもなお、いくつかの実施形態において、遅延間隔の特定を、通信セッションの間、例えば、周期的に繰り返してもよい。いくつかの実施形態において、両方のオーディオレンダリングデバイスは、対応する他のオーディオレンダリングデバイスからの1つ以上のメッセージ、例えば、対応する他のオーディオレンダリングデバイスによる、対応する複数のオーディオパケットの前の1つの受信の時間を示すメッセージ等を受信することも理解されるであろう。したがって、当該デバイスは、2つのデバイスのどちらが、他方のオーディオレンダリングデバイスに対して遅延したオーディオパケットを受信するかを特定し得る。
ただし、一方または両方のオーディオレンダリングデバイスが、他の待ち時間要因を補うために、追加のまたは代替のバッファリリース遅延を加え得ることは理解されるであろう。
上記において説明したように、いくつかの実施形態において、当該無線通信デバイスは、対応するオーディオレンダリングデバイスから受信の成功を示す受信確認指示を受信できなかったことに応じて、オーディオパケットを再送信するように構成される。そのような再送信は、特に、あるオーディオパケットに対して複数の再送信が生じた場合、後続のオーディオパケットの送信に遅延を生じ得ることは理解されるであろう。そのような遅延は、受信するオーディオレンダリングデバイスによりバッファによって補われ得る。いくつかの実施形態において、当該無線通信デバイスは、後続のスケジュールされた送信時間に2つ以上のオーディオパケットを送信するように、および/または当該受信するオーディオレンダリングデバイスがそのバッファを補充できるようにするために、スケジュールされた送信時間の間に追加のオーディオパケットを送信するように構成され得る。
概して、オーディオデータのフレームは、同期されたレンダリングのために構成される。この目的において、第2オーディオチャンネルのためのオーディオデータの各フレームに対して、第1オーディオチャンネルのためのオーディオデータのフレームは、オーディオデータにおける対応するフレームを含み、第2オーディオチャンネルのためのフレームにおけるオーディオデータおよび第1オーディオチャンネルのための対応するフレームにおけるオーディオデータは、それぞれ、第1オーディオチャンネルおよび第2オーディオチャンネルの一部として同時レンダリングのために構成される。
一実施形態において、第1オーディオチャンネルのためのオーディオデータの各フレームは、フレームインデックスとも呼ばれ得る関連シーケンス番号を有しており、この場合、第2オーディオチャンネルのためのオーディオデータの各フレームは、第1オーディオチャンネルのためのオーディオデータの各フレームが第2オーディオチャンネルのためのオーディオデータにおける対応するフレームのそれぞれのシーケンス番号に等しいシーケンス番号を有するような関連シーケンス番号を有する。例えば、第1オーディオチャンネルのためのフレームK(Kは正の整数)は、第2オーディオチャンネルのためのフレームKに対応し、第1オーディオチャンネルのためのフレームK+1は、第2オーディオチャンネルのためのフレームK+1に対応する。
第1および第2オーディオレンダリングデバイスにおけるそれぞれのバッファの提供はさらに、フレームレベルでの同期を可能にし、すなわち、第1オーディオチャンネルのためのフレームが、第2オーディオチャンネルのための対応するフレームと同時にレンダリングされることを確実にする。この目的において、いくつかの実施形態において、第1オーディオレンダリングデバイスは、次のバッファリリースタイムにおいて第2フレームバッファからリリースするようにスケジュールされたフレームのシーケンス番号を示すメッセージを第2オーディオレンダリングデバイスから受信するように構成されている。従って、第1オーディオレンダリングデバイスは、受信したメッセージに応じて第1バッファを維持するように構成される。特に、受信したメッセージに応じて第1バッファを維持することは、第1バッファのバッファ深さを選択すること、第1バッファからオーディオデータのフレームを破棄すること、第1バッファからのオーディオデータのフレームのリリースを遅延させること、第1バッファをリセットすることのうちの1つ以上を含む。
バッファのバッファ深さは、バッファが現在収容するフレームの数として表現され得る。より小さいバッファ深さは、システムの待ち時間全体ならびに必要メモリを減じ、その一方で、より大きいバッファ深さは、失敗または遅延したパケットの送信を補うデバイスの能力を増加させることを可能にすることは理解されるであろう。他のオーディオレンダリングデバイスのバッファの現在の状態に関する情報に基づいてバッファ深さを動的に適合させるメカニズムを提供することは、バッファ深さの改善された最適化を可能にする。5フレームから6フレームの間の典型的なバッファ深さが好適であることが分かっており、その一方で、8フレームの最大バッファ深さは、多くの状況において十分であることが分かっている。いくつかの実施形態において、第1オーディオレンダリングデバイスは、バッファ深さ、すなわち、バッファに現在収容されているフレーム数を適合させるように構成され得る。例えば、第1オーディオレンダリングデバイスは、最大バッファ深さまでバッファ深さを変えることができ得る。バッファ深さは、例えば、バッファ中のフレームの現在の数として、または所定の時間間隔にわたって平均されたバッファ中のフレームの平均数として表現され得る。
どのフレームがバッファからリリースされるようにスケジュールされているかに関する情報の交換は、オーディオレンダリングデバイスが、フレームがデバイスの1つによって受信されていないまたは受信が遅すぎてリアルタイムオーディオレンダリングに含ませられないような状況を扱うことを可能にする。そのような状況において、オーディオレンダリングデバイスの一方は、他方のオーディオレンダリングデバイスによってレンダリングされるフレームのシーケンスでそのレンダリングを再編成するために、1つ以上のフレームを破棄し得る。あるいは、当該デバイスの一方は、他方のオーディオレンダリングデバイスが再編成するのを待つために、フレームのリリースを遅延させ得る。フレームのリリースを遅延させる場合、当該オーディオレンダリングデバイスは、コンシールメントフレーム、例えば、サイレントフレームまたは、オーディオサンプルが前のフレームと次の遅延したフレームとの間で補間されるフレームを挿入し得る。
選択的にまたは追加的に、第1および第2オーディオレンダリングデバイスは、それぞれのバッファを維持するためおよびオーディオフレームのフレームのそれぞれのシーケンスのリリースを同期させるために使用され得る他の情報を交換し得ることは理解されるであろう。
例えば、いくつかの実施形態において、第2オーディオレンダリングデバイスから受信したメッセージはさらに、次のバッファリリースタイムにおいて第2フレームバッファからリリースするようにスケジュールされたフレームの第2オーディオレンダリングデバイスによる受信からの経過時間を示す。選択的にまたは追加的に、第2オーディオレンダリングデバイスから受信したメッセージはさらに、第2バッファの第2バッファ深さを示す。再び、この情報は、第1オーディオレンダリングデバイスによって、そのバッファ深さを適合させるために使用され得る。上記のように、第2オーディオレンダリングデバイスは、対応する情報を第1オーディオレンダリングデバイスから受信し得ることは理解されるであろう。
いくつかの実施形態において、一方または両方のオーディオレンダリングデバイスは、例えば、上記において言及した動作の1つ以上、すなわち、バッファ深さの変更、フレームの破棄、フレームの遅延、および/または他の動作を要求するために、対応する他方のオーディオレンダリングデバイスに命令または要求を送るように構成される。いくつかの実施形態において、当該動作が両方のオーディオレンダリングデバイスにおいて同期していることを確実にするために、当該動作は、例えば、アルゴリズムによって予め決定された、あるいは命令または要求の一部として指定された、特定のフレームインデックスにおいて生じるようにスケジュールされ得る。
概して、通信セッションの開始時に、当該無線通信デバイスは、例えば、ある特定の通信パラメータをネゴシエートするため、通信リンクをセットアップするために1つ以上の初期データパケットをそれぞれのオーディオレンダリングデバイスと交換し得る。
各オーディオパケットは、1つ以上のヘッダセクションおよびペイロードセクションを含み得る。当該ペイロードセクションは、オーディオデータ、例えば、エンコードされたオーディオデータ等のフレームを含み得る。当該オーディオパケットは、オーディオデータの当該フレームに関連付けられたシーケンス番号を含み得る。
当該無線通信デバイスは、オーディオ使用可能な通信デバイス、例えば、スマートフォンまたは携帯電話、オーディオ使用可能なタブレット、コードレスフォン、TVセット、ポータブルマイクロホンアレイ等であり得る。特に、当該無線通信デバイスは、オーディオ使用可能な携帯通信デバイスであり得る。
当該無線通信デバイスは、オーディオレンダリングデバイスへのオーディオパケットの通信を実践するための、アンテナ、トランシーバ、および通信コントローラ、例えば、Bluetooth(登録商標) LEコントローラ等を含み得る。当該無線通信デバイスはさらに、デジタルオーディオサンプルのフレームを作成するために、オーディオ信号を受信し処理するように構成された信号処理ユニットを含み得る。選択的にまたは追加的に、当該無線通信デバイスは、デジタルオーディオサンプルのフレームをエンコードするデジタルオーディオファイルを保存するためのデータストレージを含み得る。
同様に、いくつかの実施形態において、第1オーディオレンダリングデバイスは、第1トランシーバおよび第1アンテナを含む。さらに、第2オーディオレンダリングデバイスは、第2トランシーバおよび第2アンテナを含む。第1オーディオレンダリングデバイスは、無線通信を制御して本明細書において開示される方法のステップを実行するように構成された第1通信コントローラを含み得る。特に、当該通信コントローラは、好適な通信プロトコルの1つ以上の層を実践するように構成され得る。
第1オーディオレンダリングデバイスはさらに、通信コントローラから受信したオーディオデータを処理して当該受信したオーディオデータを反映するオーディオ信号を発生させるように構成された信号処理回路を含み得る。
第1オーディオレンダリングデバイスはさらに、デジタル処理回路に作動的に連結されかつ当該オーディオ信号に応じたサウンドを発生させるように作動可能な出力トランスデューサを含み得る。
第1および第2オーディオレンダリングデバイスのそれぞれは、例えば、共同で無線両耳補聴システムを形成する聴覚機器または補聴器を含み得る。他の実施形態において、第1および第2オーディオレンダリングデバイスの一方または両方は、電池式のオーディオ使用可能デバイス、例えば、イヤホン、ヘッドセット、スマートフォン、リモートマイクロフォンアレイ、リモート信号プロセッサ等を含む。概して、第1オーディオレンダリングデバイスおよび/または第2オーディオレンダリングデバイスは、ユーザ装着デバイス、例えば、ユーザの耳、耳の後ろ、および/または耳内に装着されるデバイス等であり得る。特に、第1および第2オーディオレンダリングデバイスは、ユーザのそれぞれの耳に、それぞれの耳の後ろに、および/またはそれぞれの耳内に装着されるように構成され得る。
特に、いくつかの実施形態において、当該オーディオレンダリングシステムは、第1および第2聴覚機器または補聴器を含む。当該第1および第2聴覚機器または補聴器のそれぞれは、バイノーラル処理された聴力損失補償オーディオ信号を受信し、添付の図面を参照しながら以下においてより詳細に説明されるそれぞれのラウドスピーカまたはレシーバによってユーザまたは患者に提供し得る。当該第1および第2聴覚機器または補聴器のそれぞれは、BTE、RIE、ITE、ITC、CICなどのタイプの聴覚機器を含み得る。典型的には、非常に限定された量の電力のみが、聴覚機器の電力供給から利用可能である。例えば、電力は、典型的に、補聴器における従来のZnO2バッテリーから供給される。補聴器の設計において、サイズおよび電力消費は重要な考慮事項である。
第1および第2聴覚機器のそれぞれは、入力トランスデューサに適用されたサウンドを表す信号に基づいて、オーディオ信号を出力するように構成された当該入力トランスデューサ、例えば、1つまたはいくつかのマイクロフォン等を含み得る。当該第1および第2聴覚機器のそれぞれは、補聴器のユーザの聴力損失を補って聴力損失補償オーディオ信号を出力するように構成された聴力損失プロセッサを含み得る。当該聴力損失補償オーディオ信号は、健聴者によって知覚された場合の当該適用される信号の音量が、当該ユーザによって知覚される聴力損失補償信号の音量に実質的に一致するように、音量を復元するように適合され得る。第1および第2聴覚機器または補聴器のそれぞれは、追加的に、聴力損失補償オーディオ信号に基づいて人の聴覚器が受け取ることのできる聴覚出力信号を出力するように構成された、ユーザがサウンドを聞くための出力トランスデューサ、例えば、レシーバまたはラウドスピーカ、インプラントされたトランスデューサ等を含み得る。当該入力トランスデューサはさらに、テレコイルにおける時変磁界を対応する様々なアナログオーディオ信号に変換するテレコイルを含むことができ、その場合、当該オーディオ信号の瞬間電圧は、テレコイルにおける変動する磁界強度によって連続的に変わる。テレコイルは、公共の場所、例えば、教会、講堂、シアター、シネマ等において多くの人々に演説するスピーカからのスピーチ、または駅、空港、ショッピングモールなどにおける拡声システムによるスピーチの信号対雑音比を増加させるために使用され得る。スピーカからのスピーチは、誘導ループシステム(「ヒアリングループ」とも呼ばれる)によって磁場に変換され、磁気的に伝達されたスピーチ信号を磁気的にピックアップするためにテレコイルが使用される。入力トランスデューサはさらに、少なくとも2つの離間されたマイクロフォンと、当該2つの離間されたマイクロフォンのマイクロフォン出力信号を指向性マイクロフォン信号と組み合わせるために構成されたビーム成形器とを含み得る。当該入力トランスデューサは、1つ以上のマイクロフォンと、テレコイルと、例えば、オーディオ信号として、単独または任意の組み合わせのどちらかにおいて、全方向のマイクロフォン信号、または指向性マイクロフォン信号、またはテレコイル信号を選択するためのスイッチを含み得る。典型的には、当該アナログオーディオ信号は、アナログオーディオ信号の振幅を2進数で表すためのアナログ−デジタルコンバーターでの対応するデジタルオーディオ信号への変換によるデジタル信号処理に適するように作成される。この方法において、デジタル値のシーケンスの形態での離散時間および離散振幅のデジタルオーディオ信号は、連続時間および連続振幅のオーディオ信号を表す。本開示全体を通して、「オーディオ信号」は、入力トランスデューサの出力から聴力損失プロセッサの入力までの信号経路の一部を形成する任意のアナログ信号またはデジタル信号を識別するために使用され得る。本開示全体を通して、「聴力損失補償オーディオ信号」は、聴力損失プロセッサの出力から、おそらくデジタル−アナログコンバーターを介した、出力トランスデューサの入力までの信号経路の一部を形成する任意のアナログ信号またはデジタル信号を識別するために使用され得る。
第1および第2無線トランシーバのそれぞれは、無線送信器および無線受信機の両方を含み得る。当該送信機および受信機は、共通の回路部品および/または単一の筐体を共有し得る。あるいは、当該送信機および受信機は、回路部品を共有し得ず、無線通信ユニットは、それぞれ送信機および受信機を伴う別々のデバイスを含んでもよい。第1および第2オーディオレンダリングデバイスのそれぞれにおける信号処理は、専用ハードウェアによって実施され得るか、あるいは1つ以上の信号プロセッサにおいて実施され得るか、あるいは、専用ハードウェアと1つ以上の信号プロセッサとの組み合わせにおいて実施され得る。同様に、第1および第2通信コントローラのそれぞれによって実施される操作は、専用ハードウェアによって実施され得るか、あるいは1つ以上のプロセッサにおいて実施され得るか、あるいは専用ハードウェアと1つ以上のプロセッサとの組み合わせにおいて実施され得る。本明細書において使用される場合、用語「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」などは、マイクロプロセッサまたはCPU関連エンティティ、あるいはハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、または実行中ソフトウェアのいずれかを意味することが意図される。例えば、「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」などは、これらに限定されるわけではないが、プロセッサ上で実行されているプロセス、プロセッサ、オブジェクト、実行ファイル、実行のスレッド、および/またはプログラムであり得る。実例として、用語「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」などは、プロセッサ上で実行されているアプリケーションおよびハードウェアプロセッサの両方を表す。1つ以上の「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」など、またはそれらの任意の組み合わせは、プロセスおよび/または実行のスレッド内に存在することができ、及び1つ以上の「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」など、またはそれらの任意の組み合わせは、おそらく他のハードウェア回路部品との組み合わせにおいて、1つのハードウェアプロセッサにローカライズさえることができ、および/またはおそらく他のハードウェア回路部品との組み合わせにおいて、2つ以上のハードウェアプロセッサの間において分散され得る。さらに、プロセッサ(または同様の用語)は、信号処理を実施することができる任意の部品または部品の任意の組み合わせであり得る。例えば、信号プロセッサは、ASICプロセッサ、FPGAプロセッサ、汎用プロセッサ、マイクロプロセッサ、回路部品、または集積回路であり得る。
本開示は、上記および以下において説明されるシステム、対応する機器、システム、方法、および/または製造物、を含む様々な態様に関し、各態様は、1つ以上の他の態様との関連において説明される恩恵および利点の1つ以上をもたらし、ならびに各態様は、1つ以上の他の態様との関連において説明されるおよび/または添付の特許請求の範囲において開示される実施形態に対応する1つ以上の実施形態を有する。
特に、一形態によると、本明細書のオーディオレンダリングデバイスは、少なくとも1つの無線通信インターフェースと、単一のプロセッサとを含んでいる。少なくとも1つの無線通信インターフェースは、1つ以上のオーディオチャンネルのセットの第1オーディオチャンネルのためのオーディオデータのフレームを含む第1の複数オーディオパケットを無線通信デバイスから受信するように構成されており、別のオーディオレンダリングデバイスとメッセージを交換するように構成され、他方のオーディオレンダリングデバイスが無線通信デバイスから第2の複数オーディオパケットを受信するように構成されており、第2の複数オーディオパケットが1つ以上のオーディオチャンネルのセットの第2オーディオチャンネルのためのオーディオデータのフレームを含み、単一のプロセッサは、第1オーディオレンダリングデバイスによるレンダリングのために、第1の複数オーディオパケットに含まれるオーディオデータのフレームを処理するように構成されており、少なくとも1つの無線通信インターフェースは、さらに、受信されたオーディオデータのフレームの第1バッファを維持し、それぞれの第1バッファリリースタイムにおいて、レンダリングのために、単一のプロセッサに第1バッファからオーディオデータのフレームをリリースし、他方のオーディオレンダリングデバイスから1つ以上のメッセージを受信し、受信した1つ以上のメッセージに基づいて、第1バッファリリースタイムと第2バッファリリースタイムを同期するように構成されおり、第2バッファリリースタイムが、他方のオーディオレンダリングデバイスによって維持された受信されたオーディオデータのフレームの第2バッファからオーディオデータのフレームをリリースする他方のオーディオレンダリングデバイスである。
当該無線通信インターフェースは、無線通信デバイスからのオーディオパケットの受信および他のオーディオレンダリングデバイスからのメッセージの受信を実践するために、単一のアンテナおよび/または単一のトランシーバおよび/または単一の通信コントローラを含み得る。あるいは、当該オーディオレンダリングデバイスは、無線通信デバイスからのオーディオパケットの受信および他のオーディオレンダリングデバイスからのメッセージの受信を実践するために、別々のアンテナおよび/または別々のトランシーバおよび/または別々の通信コントローラを含み得る。
さらに、他の一形態によると、本明細書に開示する方法は、第1オーディオレンダリングデバイスと第2オーディオレンダリングデバイスとを含む1組のオーディオレンダリングデバイスによって実践される1組のオーディオレンダリングデバイスによってレンダリングされるオーディオ内容を同期させる方法であって、1つ以上のオーディオチャンネルのセットの第1オーディオチャンネルのためのオーディオデータのフレームを含む第1の複数のオーディオパケットを、第1オーディオレンダリングデバイスによって、無線通信デバイスから受信することと、1つ以上のオーディオチャンネルのセットの第2オーディオチャンネルのためのオーディオデータのフレームを含む第2の複数のオーディオパケットを、第2オーディオレンダリングデバイスによって、無線通信デバイスから受信することと、第1オーディオレンダリングデバイスによって、受信したオーディオデータのフレームの第1バッファを維持し、それぞれの第1バッファリリースタイムにレンダリングのために第1バッファからオーディオデータのフレームをリリースすることと、第2オーディオレンダリングデバイスによって、受信したオーディオデータのフレームの第2バッファを維持し、それぞれの第2バッファリリースタイムにレンダリングのために第2バッファからオーディオデータのフレームをリリースすることと、第1オーディオレンダリングデバイスによって、第2オーディオレンダリングデバイスから1つ以上のメッセージを受信することと、少なくとも第1オーディオレンダリングデバイスによって、受信した1つ以上のメッセージに基づいて第1バッファリリースタイムと第2バッファリリースタイムとを同期させることを含む。
さらなる他の態様により、本明細書において、無線通信デバイスから第1の複数オーディオパケットを受信するように構成された第1通信インターフェースであって、当該第1の複数オーディオパケットが、1つ以上のオーディオチャンネルのセットの第1オーディオチャンネルのためのオーディオデータを含む、第1通信インターフェースと、別のオーディオレンダリングデバイスと無線通信するように構成された第2通信インターフェースであって、他方のオーディオレンダリングデバイスが、当該無線通信デバイスから第2の複数オーディオパケットを受信するように構成され、当該第2の複数オーディオパケットが、1つ以上のオーディオチャンネルの当該セットの第2オーディオチャンネルのためのオーディオデータを含み、当該第1の複数オーディオパケットにおける各オーディオパケットに対して、当該第2の複数オーディオパケットは、対応するオーディオパケットを含み、それにより、当該第1の複数オーディオパケットにおけるオーディオパケットのオーディオデータおよび当該第2の複数オーディオパケットからの対応するオーディオパケットのオーディオデータが、それぞれ第1オーディオチャンネルおよび第2オーディオチャンネルの一部として、同時のレンダリングのために構成され;この場合、第1の複数オーディオパケットおよび第2の複数オーディオパケットは、第1の複数オーディオパケットからのオーディオパケットがオーディオレンダリングデバイスへの送信をスケジュールされ、ならびに第1の複数オーディオパケットからの対応するオーディオパケットが、送信をスケジュールされた後に第2の複数オーディオパケットの各オーディオパケットが、遅延間隔での送信をスケジュールされるような送信スケジュールに従って、無線通信デバイスによって送信される、第2通信インターフェースと、当該第1の複数オーディオパケットに含まれるオーディオデータに基づいてオーディオ内容をレンダリングするように構成された信号プロセッサを含み、当該オーディオレンダリングデバイスは、他のオーディオレンダリングデバイスとの通信に基づいて、遅延間隔を決定するように、ならびに、当該決定された遅延間隔によって第1の複数オーディオパケットのそれぞれのレンダリングを遅延させるように構成される、オーディオレンダリングデバイスが開示される。
以下において、本明細書において開示される様々な態様の好ましい実施形態を、添付の図面を参照しながらより詳細に説明する。
オーディオレンダリングシステムの実施形態を図式的に示す。
オーディオレンダリングシステムの別の実施形態を図式的に示す。
オーディオレンダリングシステムの実施形態のデバイスの間の通信のタイミングの態様を図式的に示す。
本明細書において説明されるオーディオレンダリングシステムのオーディオレンダリングデバイスの1つによって実施されるプロセスの概略フローダイアグラムを示す。
オーディオパケットの実施例を図式的に示す。
本明細書において説明されるオーディオレンダリングシステムの無線通信デバイスによるオーディオデータのフレームの送信の操作の実施例を示す。
以下において、本明細書において開示される様々な態様の好ましい実施形態を、添付の図面を参照しながら、聴覚機器との関連において、より詳細に説明する。以下の実施形態において、第1および第2オーディオレンダリングデバイスの一方またはそれぞれは、以下においてより詳細に説明されるような、それぞれの聴覚機器を含む。添付の図面は、明瞭化のために概略的であり単純化されており、したがって、本発明の理解に不可欠な詳細を単に示しているものであって、他の詳細は省かれていることを、当業者は理解するであろう。同じ符号は、全体を通じて同じ要素を意味する。したがって、同じ要素は、各図に関して、必ずしも詳細に説明されるわけではないであろう。
図1は、オーディオレンダリングシステムの実施形態を図式的に示している。特に、当該オーディオレンダリングシステムは、無線通信デバイス50と、第1オーディオレンダリングデバイス10Lと、第2オーディオレンダリングデバイス10Rとを含む。無線通信デバイス50は、第1無線通信リンク12Lを介して第1オーディオレンダリングデバイス10Lに通信可能に接続され、ならびに第2無線通信リンク12Rを介して第2オーディオレンダリングデバイス10Rに通信可能に接続される。したがって、当該無線通信デバイスは、それぞれ、オーディオレンダリングデバイスのそれぞれと双方向通信接続を確立する。第1無線通信リンク12Lは、無線通信デバイス50と第1オーディオレンダリングデバイス10Lとの間のダイレクトな双方向リンクであり、特に、無線通信デバイス50と第1オーディオレンダリングデバイス10Lとの間の通信に、第2オーディオレンダリングデバイス10Rは関与しない。同様に、第2無線通信リンク12Rは、無線通信デバイス50と第2オーディオレンダリングデバイス10Rとの間のダイレクトな双方向リンクであり、特に、無線通信デバイス50と第2オーディオレンダリングデバイス10Rとの間の通信に、第1オーディオレンダリングデバイス10Lは関与しない。その上、第1オーディオレンダリングデバイス10Lは、ダイレクトな無線通信リンク13を介して第2オーディオレンダリングデバイス10Rに通信可能に接続される。特に、第1オーディオレンダリングデバイス10Lと第2オーディオレンダリングデバイス10Rの間の通信リンク13に、無線通信デバイス50は関与しない。無線通信デバイス50は、スマートフォンまたは携帯電話、オーディオ使用可能なタブレット、コードレスフォン、TVセット、ポータブルマイクロホンアレイ等であり得る。第1および第2オーディオレンダリングデバイスは、以下においてより詳細に説明される、それぞれの聴覚機器または補聴器であり得る。
図2は、オーディオレンダリングシステムの実施形態を図式的に示している。前の実施形態におけるように、当該オーディオレンダリングシステムは、無線通信デバイス50と、第1オーディオレンダリングデバイスと、第2オーディオレンダリングデバイスとを含む。当該第1および第2オーディオレンダリングデバイスは、左耳補聴器または聴覚機器10Lと右耳補聴器または聴覚機器10Rとを含む無線両耳補聴器システムを形成し、この場合、左耳補聴器または聴覚機器10Lおよび右耳補聴器または聴覚機器10Rのそれぞれは、無線通信デバイス50への接続およびそれぞれの他の聴覚機器への接続のための無線通信ユニットを含む。本実施形態において、左耳および右耳補聴器10L、10Rは、双方向無線通信チャンネルまたはリンク13を介してお互いに接続される。左耳および右耳補聴器10L、10Rのそれぞれに、固有IDが関連付けられ得る。あるいは、左耳および右耳補聴器は、別の無線通信チャンネルまたは有線通信チャンネル、例えば、磁気誘導リンク等を介してお互いに接続され得る。
各補聴器はさらに、それぞれ、無線通信リンク12Lおよび12Rを介して、無線通信デバイス50に通信可能に接続される。したがって、当該無線通信デバイス50は、当該補聴器のそれぞれとそれぞれの双方向通信接続を確立する。
図示された両耳補聴器システムのそれぞれのデバイスの間の無線通信は、いくつかの離間された周波数帯域またはチャンネルを含み得る2.4GHzの産業科学医療用(ISM)帯域を介して実施され得る。当該離間された周波数帯域またはチャンネルのそれぞれは、0.5〜2.0MHzの間の帯域幅、例えば、約1.0MHz等を有し得る。補聴器10L、10Rは、例えば、Bluetooth(登録商標) Core Specification Version 4.1、4.2、または5に準拠するBluetooth(登録商標) Low Energy(Bluetooth(登録商標) LE)によって、無線通信デバイス50と通信するように構成される。ただし、左耳および右耳補聴器10L、10Rのそれぞれの無線通信ユニットの通信コントローラは、受信されたオーディオデータの同期されたレンダリングのための、以下においてより詳細に説明されるような無線通信リンク12L、12Rのそれぞれによるリアルタイムオーディオデータセットの受信を可能にするように適合されている。このために、当該補聴器10L、10Rの通信コントローラはさらに、無線通信リンク13を介した当該補聴器の間の通信を可能にするように適合されている。通信リンク13を介した通信も、2.4GHzのISM帯域において実施されるが、Bluetooth(登録商標)以外の通信プロトコルを用いてもよい。
いくつかの実施形態において、左補聴器10Lおよび右補聴器10Rは、上記において説明した固有IDを除いて実質的に同一であり得る。したがって、左補聴器10Lの機能についての以下の説明は、右補聴器10Rにも適用される。左補聴器10Lは、補聴器回路14に電力を供給するために接続されたZnO2バッテリー(図示されず)を含み得る。左補聴器10Lは、マイクロフォン16の形態の入力トランスデューサを含む。マイクロフォン16は、左補聴器10Lが作動しているときにマイクロフォン16に届いたアコースティックサウンド信号に基づくアナログまたはデジタルオーディオ信号を出力する。マイクロフォン16が、アナログオーディオ信号を出力する場合、補聴器回路14は、補聴器回路14でのデジタル信号処理のために、アナログオーディオ信号を対応するデジタルオーディオ信号に変換するアナログ−デジタルコンバーター(図示されず)を含み得る。特に、左補聴器10のユーザの聴力損失を補うように構成される聴力損失プロセッサ24Lにおいて。好ましくは、聴力損失プロセッサ24Lは、当技術分野においてしばしば聴覚補充現象(recruitment)と呼ばれる、ユーザのダイナミックレンジの周波数依存性損失を補うために、当技術分野において周知のダイナミックレンジコンプレッサを含む。したがって、聴覚損失プロセッサ24Lは、聴覚損失補償オーディオ信号をラウドスピーカまたは受信機32Lに出力する。ラウドスピーカまたは受信機32は、ユーザの鼓膜に向けた伝達のために、当該聴覚損失補償オーディオ信号を対応するアコースティック信号に変換する。その結果、ユーザはマイクロフォンに届くサウンドを聞くが、ただし、ユーザの個々の聴力損失を補ったサウンドである。補聴器は、音量を復元するように構成することができ、それにより、補聴器10を装着したユーザによって知覚される聴力損失補償信号の音量は、正常な聴力を有する聴取者によって知覚された場合の、マイクロフォン16に届くアコースティックサウンド信号の音量に実質的に一致する。
補聴器回路14Lはさらに、右または第2補聴器10Rおよび無線通信デバイス50と無線によって通信するように構成された無線部分またはトランシーバ34Lを含む無線通信ユニットを含む。当該無線通信ユニットは、通信プロトコルに関連付けられた様々なタスクおよび場合により他のタスクを実行する第1通信コントローラ26Lを含む。聴力損失プロセッサ24Lは、ソフトウェアでプログラム可能なマイクロプロセッサ、例えば、Digital Signal Processor等を含み得る。左補聴器10Lの作動は、当該ソフトウェアでプログラム可能なマイクロプロセッサ上において実行される好適なオペレーティングシステムによって制御され得る。当該オペレーティングシステムは、例えば、聴力損失プロセッサ24Lおよび場合により他のプロセッサおよび関連する信号処理アルゴリズム、無線通信ユニット、ある特定のメモリリソース等を含む、補聴器ハードウェアおよびソフトウェアのリソースを管理するように構成され得る。当該オペレーティングシステムは、補聴器リソースの効率的な使用のためにタスクをスケジュールすることができ、さらに、電力消費、プロセッサ時間、記憶域、無線送信、および他のリソースを含む、コスト配分のための計算ソフトウェアを含み得る。当該オペレーティングシステムは、本方法またはオーディオデータを受信し同期させるためのプロトコルにより、右または第2補聴器10R、および無線通信デバイス50と双方向無線通信を実施するために、第1通信コントローラ26Lと協力して無線トランシーバ34Lを制御する。無線通信デバイス50は、マスターデバイスとして作動することができ、ならびに左および右補聴器10L、10Rは、オーディオ使用可能なBluetooth(登録商標) LEプロトコルの下においてデバイス間の双方向データ通信に関してそれぞれのスレーブとして作動し得る。
無線通信デバイス50は、それぞれ、左および右補聴器10Lおよび10Rにおける対応する無線部分または無線回路34L、34Rと無線で通信するように構成された無線部分または無線回路54を含む。無線通信デバイス50は、オーディオ使用可能なBluetooth(登録商標) LEプロトコルによる様々な通信プロトコルに関連するタスクおよび場合により他のタスクを実施するBluetooth(登録商標) LEコントローラ56を含む無線通信ユニットも含む。無線通信リンク12L、12Rによる送信のためのオーディオパケットまたは他のデータパケットまたはデータセットは、Bluetooth(登録商標) LEコントローラ56によって無線回路54に供給される。RFアンテナ53を介して無線部分または無線回路54によって受信されたデータパケットは、さらなるデータ処理のためにBluetooth(登録商標) LEコントローラ56へと送られる。無線通信デバイス50は、典型的には、携帯電話の技術分野において周知の、図式的に示されたものに加えて、多数のさらなるハードウェアおよびソフトウェアのリソースを含むであろうことは当業者は理解するであろう。
無線通信デバイス50によって発生され送信されるオーディオパケットは、各補聴器が、オーディオデータを受信することができ、それぞれのラウドスピーカまたはレシーバ32L、32Rを介してユーザまたは患者にオーディオ信号を提供し得るような、オーディオデータのそれぞれのフレームを含む。任意選択により、当該補聴器は、聴力損失を補うため、例えば、両耳用に処理された聴力損失補償オーディオ信号を提供するために、受信したオーディオデータを処理し得る。補聴器10L、Rはさらに、それぞれの無線トランシーバ34L、34Rおよびアンテナ44L、44Rを使用して、メッセージまたは他の制御データを含むデータパケットをお互いに交換するように構成される。交換されるメッセージは、例えば、以下においてより詳細に説明される左および右の補聴器10L、10Rの間の作動を同期させるために制御情報またはデータを含み得る。
無線通信デバイス50によるオーディオパケットの送信は、典型的には、各オーディオパケットの送信が最初の送信の試みまたは最初の送信において成功し得るような、利用される周波数帯域での低レベルの干渉性電磁ノイズの環境条件に対応するであろう。後者の状況において、オーディオパケットの再送信の必要はない。しかしながら、無線通信デバイス50は、送信されたオーディオパケットにおけるある特定の誤り率に対処するように構成され得る。この特徴は、特に、ユーザの頭のシャドーイング効果が比較的高いパケット誤り率(PER)を生じ得るような無線両耳聴覚機器システムでのオーディオパケット送信にとって有用である。当該データパケット送信方法は、失われたオーディオパケットの再送信を可能にし得る。オーディオパケットの再送信の数は、対応する補聴器からの成功した受信の受信確認を無線通信デバイスが受け取られるまで実施され得る。いくつかの実施形態において、再送信の数は、ある特定の最大回数に制限され得ることは理解されるであろう。いくつかの実施形態において、オーディオパケットが最大回数において再送信された場合、結果として生じる遅延は、例えば、図6に示されるように、1つ以上の後続のオーディオフレームをスキップすることによって、および/または一時的により多くの数のフレームを送信することによって、無線通信デバイスによって補われ得る。概して、オーディオパケットのそれぞれのオーディオデータまたはフレームが、左および/または右の補聴器10L、10Rのリアルタイムオーディオ信号を表す場合、オーディオパケット送信待ち時間は、送信方法またはプロトコルの重要な特徴である。特定のオーディオパケットが最大回数の再送信に失敗した場合の随時のオーディオフレームの損失、または複数の再送信によって増加した送信待ち時間は、補聴器によって補われ得るか、または少なくとも緩和され得る。オーディオパケットの損失は、好適なオーディオコーディックを補聴器回路14L、14Rに加えることによって緩和され得る。当該オーディオコーディックは、第1または第2通信コントローラ26L、26Rから入ってくるリアルタイムオーディオデータストリームにおけるある特定の量のオーディオフレームの損失を扱うことができ得る。当該オーディオコーディックは、例えば、入ってくるリアルタイムオーディオデータストリームにおける失われたオーディオフレームを知覚的にマスクするパケットロスコンシールメント(Packet Loss Concealment)アルゴリズムを実行するように構成され得る。
さらに、当該通信コントローラ26Lおよび26Rは、それぞれ、それぞれのフレームバッファ261Lおよび261Rを含む。あるいは、当該バッファは、それぞれのトランシーバ回路34L、34Rにおいて実践され得る。以下においてより詳細に説明されるように、受信したオーディオフレームの信号処理のために、当該通信コントローラが対応する聴力損失プロセッサ24L、24Rのそれぞれに一定の割合でオーディオフレームを送ることができるようにするために、各フレームバッファは、オーディオデータの1つ以上の受信したフレームを一時的にバッファするように構成される。
図3は、オーディオレンダリングシステムの実施形態、例えば、図1または図2との関連において説明したシステムの1つの動作を示している。
特に、無線通信デバイス50は、オーディオパケットが規則的に離間された送信イベントにおいて送信されるような送信スケジュールに従って、オーディオパケットを送信する。第1の複数オーディオパケットのパケットP1L、P2Lなどは、左補聴器に送信され、その一方で、第2の複数オーディオパケットのオーディオパケットP1R、P2Rなどは、右補聴器に送信される。パケットP1L、P2Lの送信時間は、パケットP1RおよびP2Rの送信時間と同じ間隔によって離間される。しかしながら、パケットP1Rの送信は、対応するパケットP1Lの送信に対して、遅延間隔Δだけ遅延される。典型的には、遅延間隔Δは、所定の通信セッションに対して一定であり、すなわち、オーディオストリームの全てのオーディオパケットに対して一定である。
左補聴器10Lは、一定間隔においてパケットP1L、P2Lなどを受信し、その一方、右補聴器10Rは、同じ間隔の長さの一定間隔においてパケットP1R、P2Rなどを受信する。しかしながら、遅延された送信により、右補聴器は、左補聴器が対応するパケットを受信するよりも遅く、各パケットを受信する。この遅延はさらに、他の待ち時間要因によって影響され得ることは理解されるであろう。さらに、代わりに、状況によっては、左補聴器へのパケットが、右補聴器の対応するパケットに対して遅延されるであろうことは理解されるであろう。
オーディオパケットのそれぞれは、オーディオデータのフレームを含み、当該フレームは、フレームインデックスとも呼ばれる関連するシーケンス番号を含む。正常な送信の間、オーディオパケットP1Lは、左オーディオチャンネルのフレーム番号1を有し、その一方で、P1Rは、右オーディオチャンネルなどのフレーム番号1を有する。
オーディオパケットの受信の際、各補聴器は、オーディオパケットにおける対応するオーディオデータのフレームを、最新のフレームとしてそのフレームバッファに入れる。当該補聴器はさらに、聴力損失回路の信号処理回路によって処理するために、ならびにレシーバによる後続のレンダリングのために、フレームバッファから最も古いフレームをリリースする。当該バッファは、限られた数のフレームを保持するように構成され、当該フレームの数はバッファ深さとも呼ばれる。典型的なバッファ深さは、3フレームから8フレームの間で変わり、例えば、5〜6フレームである。
各補聴器のフレームバッファからのリリースは、新しいオーディオパケットの受信のタイミングによって引き起こされるため、両方の補聴器によるオーディオフレームの同期されたレンダリングは、無線通信デバイスの送信スケジュールにおける固有の遅延Δおよび可能性のある他の待ち時間要因を補うために、補聴器の一方(図3の例では、左補聴器)が、追加の遅延だけバッファからの各オーディオフレームのリリースを遅延させることを必要とする。
このために、左および右補聴器は、受信したオーディオデータのレンダリングを同期させるための制御データを交換するために、メッセージ33および34を交換する。メッセージ33および34は、例えば、各通信イベントにおいて、単一のメッセージのみが、右補聴器から左補聴器へ(矢印33によって示される)、または左補聴器から右補聴器へ(矢印34によって示される)のどちらかにおいて送信されるようにより低い優先度のデータパケットとして交換される。さらに、制御メッセージ33、34は、オーディオパケットの通信速度より低い速度において交換され得る。オーディオレンダリングシステムの他の実施形態は、交換されるメッセージのために他の送信プロトコルを使用してもよいことは理解されるであろう。例えば、他の実施形態は、各通信イベントにおいて、両方向においてメッセージを交換し得る。
交換されるメッセージは、オーディオデータのレンダリングの同期のためにそれぞれの補聴器によって使用される制御データを含む。
特に、交換されるメッセージは、補聴器が遅延Δを決定するための情報を含む。特定の実施形態において、制御メッセージ33を送信する補聴器10Rは、当該補聴器10Rによる最新のオーディオパケットP1Rの受信から経過した時間T2に関する情報を含む。したがって、制御メッセージ33を受信する補聴器10Lは、その最新のオーディオパケットP1Lを受信してから経過した時間T1を特定することができ、ならびに、この時間から適切な遅延Δを、例えば、Δ=T1−T2として特定し得る。他方の補聴器も、対応する情報を含む対応する逆の制御メッセージ34から適切な遅延を特定し得る。制御メッセージは、繰り返し交換されるが、いくつかの実施形態において、オーディオ送信の開始に向けて交換される制御メッセージのみが、遅延Δの決定のための上記のタイミング情報を含むことは理解されるであろう。無線通信デバイスによる送信遅延は安定したままであるため、当該遅延に対して特定された値は、送信全体を通じて用いられ得る。それでもなお、他の実施形態において、例えば、送信環境において起こり得る変化およびそれぞれの送信チャンネルの送信待ち時間において起こり得る変化を緩和するために、例えば、補聴器が当該遅延を調節することができるように、上記のタイミング情報は繰り返し交換される。図3の実施例において、右補聴器へのオーディオパケットは、左補聴器への対応するオーディオパケットに対して遅延されるが、当該相対的シフトは逆もあり、すなわち、左補聴器へのオーディオパケットが、右補聴器への対応するオーディオパケットに対して遅延される場合もあることは理解されるであろう。したがって、そのような状況では、左補聴器は、そのバッファリリースタイムを遅延させる必要があり得るが、その一方で、右補聴器は、送信遅延に対応するためにバッファリリースタイムに遅延を加え得ない。
上記のタイミング情報に加えて、交換される制御メッセージのいくつかまたは全ては、それぞれの制御メッセージを送信している補聴器のフレームバッファのステータスに関する情報も含む。
特に、補聴器は、他の補聴器に、フレームバッファ中の最も古いフレーム、すなわち、次のバッファリリースイベントにおいてバッファからリリースされるようにスケジュールされたフレームのシーケンス番号に関する情報を送信し得る。さらに、当該補聴器は、当該最も古いフレームが当該バッファにおいてどのくらい長く待っていたかに関する情報および/または他の情報、例えば、バッファ深さ等を送信し得る。
受信する補聴器は、フレームバッファからのフレームの同期されたリリースを確実にするために、様々な方法においてこの情報を使用し得る。例えば、他の補聴器から当該他の補聴器のフレームバッファ中の最も古いフレームのシーケンス番号を示す制御メッセージを受信する補聴器は、自身のフレームバッファ中の最も古いフレームのシーケンス番号とこの番号を比較し得る。通常、当該シーケンス番号は同じであるが、パケット損失、破棄されたオーディオパケット、遅延などにより、それぞれのバッファ中の最も古いフレームのシーケンス番号がお互いに異なる場合が生じ得る。そのような状況において、フレームバッファ中の最も古いフレームが他の補聴器のフレームバッファ中の最も古いフレームよりも低いシーケンス番号を有する補聴器は、同期を再確立するために、当該最も古いフレームをスキップすることができ、代わりに、バッファから後続のフレームをリリースし得る。
あるいは、バッファ中の最も古いフレームとしてより高いシーケンス番号のフレームを有する補聴器は、最も古いフレームのリリースを遅延させることができ、代わりに、コンシールメントフレームを作成し得る。
いくつかの実施形態において、補聴器は、例えば、送信環境の変化に応じて、そのフレームバッファのバッファ深さを動的に変化させ得る。
例えば、補聴器が、他の補聴器から、当該他の補聴器がより高いバッファ深さおよびより低いフレームインデックスを有するという情報を受信する場合、当該補聴器は、その第1エントリを複製することによって自身のバッファ深さを増加させるように作動可能であり得る。反対にも当てはまる場合、すなわち、当該補聴器が、そのバッファにおいてより少ないフレームおよびより高いフレームインデックスを有する場合、この補聴器は、エントリ、例えば、第1エントリを除去することによって自身のバッファ深さを減じるように作動可能であり得る。
いくつかの実施形態において、補聴器は、例えば、受信したフレームインデックスのシーケンスにおけるギャップを監視する等によって、無線通信デバイスへの通信リンクの品質を監視し得る。例えば、補聴器が、送信側でスキップされるフレームに関する大きなギャップを検出した場合、送信側においてより多くのバッファを使用して通信リンクを再構成するように作動可能であり得る。例えば、図6の実施例において、2から4へのバッファの増加は、フレーム6および7がスキップされるのを防ぐであろう。
したがって、補聴器の間で交換されるメッセージに基づいて、および/または無線通信デバイスへの通信リンクにおける検出された品質に基づいて、補聴器は、現在処理されているフレームのシーケンス番号およびフレームの処理の正確なタイミングの両方について受信したオーディオフレームの処理を同期させ得る。シーケンス番号の同期は、補聴器によって処理されるオーディオデータのフレームがお互いに対応する(すなわち、同じシーケンス番号を有する)ことを確実にしようとする。フレームの処理のタイミングの同期は、他の補聴器に対して、受信されたフレームの処理における任意のシフト/遅延を低減、さらには排除しようとする。
このために、当該交換されたメッセージは、1つ以上のパラメータを含むことができ、当該パラメータは、必要に応じて、例えば、静的または動的な方法において、組み合わされ得る。当該メッセージに含まれる交換されたパラメータは、以下のパラメータおよび/または他のパラメータの1つ以上であり得る。ConnectionOffset:次の接続イベント、例えば、次のBLE接続イベント、までの現在のメッセージのタイムスタンプからオフセットされた時間。このパラメータは、フレーム内でのサンプル同期のために使用される。MaxDepth:最大バッファ深さ、すなわち、バッファに保存することができるフレームの最大数。CurrentDepth:バッファに保存されたフレームの現在の数。AverageDepth:バッファに保存されたフレームの平均数、当該平均は、好適な期間、例えば、予め決められた期間に対して定義される。NextAudFrameIdxAvailable(レンダリングのための):バッファ中の「最も古い」オーディオフレームのインデックス。NextAudFrameIdxExpected(レンダリングのための):レンダリングシステムによって予想される次のオーディオフレームインデックス。フレームが挿入または除去される場合を除いて、この値は、通常、各オーディオフレーム間隔に対して増加される。
図4は、本明細書において説明されるオーディオレンダリングシステム、例えば、図1または図2に関連して説明されるようなシステムのオーディオレンダリングデバイスの1つによって実施されるプロセスの概略フローダイアグラムを示している。
最初のステップS1において、オーディオレンダリングデバイスは、無線通信デバイスおよび他のオーディオレンダリングデバイスとのそれぞれの通信リンクをセットアップする。このステップの一部として、オーディオレンダリングデバイスは、当技術分野において周知のように、無線通信デバイスおよび/または他のオーディオレンダリングデバイスからの/へのセットアップメッセージを受信および/または送信し得る。当該オーディオレンダリングデバイスはさらに、例えば、フレームバッファの初期化などのその内部処理をセットアップする。
通信リンクがセットアップされると、プロセスは、ステップS2へと進行し、無線通信デバイスからオーディオパケットを受信する。当該オーディオパケットは、オーディオデータのフレームを含む。
ステップS3において、当該オーディオレンダリングデバイスは、受信したオーディオフレームを、最新のフレームとしてフレームバッファに入れる。
ステップS4において、当該オーディオレンダリングデバイスは、デジタル信号処理回路による処理およびラウドスピーカによるレンダリングのためにフレームバッファ内の最も古いフレームをリリースする。オーディオレンダリングデバイスが当該フレームをリリースするタイミングは、新しいフレームの受信のタイミングによって、およびそれぞれのオーディオレンダリングデバイスへのパケット送信の送信時間の相対的シフト/遅延を補うように特定された遅延によって決定され得る。
当該プロセスが、他のオーディオレンダリングデバイスからの制御メッセージを受け取った場合、当該プロセスは、ステップS5へと進み、そうでない場合、当該プロセスは、ステップS6へと進む。ステップS5において、当該プロセスは、バッファを管理するためにおよび/またはバッファリリースタイムの適切な遅延を決定するために、受信した制御メッセージを処理する。
ステップS6において、当該プロセスは、他のオーディオレンダリングデバイスに制御メッセージを送信すべきか否かを決定する。制御メッセージの送信は、例えば、バッファステータスの変化または他のオペレーショナルトリガイベントによって引き起こされ得るか、または規則的な間隔で送られ得る。制御メッセージが送られる場合、当該プロセスはステップS7へと進み、そうでない場合、当該プロセスはステップS8へと進む。
ステップS7において、当該プロセスは、制御メッセージを作成し、当該システムの他のオーディオレンダリングデバイスへ送信する。上記において説明したように、当該制御メッセージは、1つ以上の制御パラメータを含み得る。
ステップS8において、当該プロセスは、オーディオデータのストリームが完了しているか否かを特定する。完了している場合、当該プロセスはステップS9へと進み、バッファに残っているフレームの処理を済ませて終了し、そうでない場合、当該プロセスはステップS2へと戻る。
図5は、オーディオパケットの実施例を図式的に示している。オーディオパケット60は、オーディオデータのフレーム62およびフレーム62に関連付けられたシーケンス番号61(フレームインデックス)を含む。当該オーディオパケットは、追加のセクション、例えば、CRC、ヘッダ情報等を含み得ることは理解されるであろう。
図6は、本明細書において説明されるオーディオレンダリングシステム、例えば、図1または図2に関連して説明されるようなシステムの無線通信デバイスによるオーディオデータのフレームの送信の作動の実施例を示している。
概して、オーディオパケットの送信は、Bluetooth(登録商標)仕様において説明されるようなBluetooth(登録商標)プロトコルに従って実施され得る。当該図面は、オーディオレンダリングデバイスの1つへの送信のために周期的に発生されるオーディオデータ60のフレームを示している。図6の実施例のフレームは、フレームインデックス1〜12によって連続して並べられている。発生されたフレームは、送信のために、1つ以上の送信バッファ65において待ち行列に入れられる。無線通信デバイスは、本明細書において説明されるようなそれぞれの接続イベントにおいて、待ち行列に入れられたフレームをバッファから対応するオーディオレンダリングデバイスへと送信する。無線通信デバイスが受信したデバイスから送信されたフレームに関する送信確認68を受け取ると、当該無線通信デバイスは、対応するフレームをバッファから除去し、その結果、後続のフレームを収容するためにバッファスロットを再び利用可能にする。当該無線通信デバイスは、いつでも、バッファされたフレームの最大数まで許容し得る。図6の実施例では、接続は、送信のために2つのフレームまで待ち行列に入れるように構成されていることが想定される。利用可能なバッファスロット(または別々のバッファ)は、随時、タイムライン66の下のそれぞれのバッファカウント67として図6に示される。フレームが送信のために待ち行列に入れられたとき、当該バッファカウントは減じられ、成功したフレームの送信が確認された場合、バッファカウントは増やされる。全てのバッファスロットが占められた場合、すなわち、利用可能なバッファスロットのバッファカウントがゼロの場合、発生されたフレームは、待ち行列に入れられずスキップされる。図6の実施例において、このことは、フレーム4および5に起因してスキップされ、まだ確認されていないフレーム6および7によって示される。オーディオパケットの送信における遅延の場合、無線通信デバイスは、フレームの周期的発生に追いつくために、一時的により短い間隔においてオーディオパケットを送信し得る。図6において、この追いつきは、例えば、フレーム間隔より短い間隔において送信(および確認)されるフレーム2および3に対して示されている(これは、図6のフレーム4、5、8、および9、10にも当てはまる)。
上記の実施形態は、主に、ある特定の実施例を参照しながら説明されているが、添付される特許請求の範囲において概説される本発明の趣旨および範囲から逸脱することなく、その様々な変更は当業者に明らかであろう。例えば、本明細書において開示される様々な態様は、主に、補聴器との関連において説明されているが、それらは、他のタイプのオーディオレンダリングデバイスにも適用可能であり得る。同様に、本明細書において開示される様々な態様は、主に、オーディオレンダリングデバイスの間の短距離RF通信との関連において説明されているが、オーディオレンダリングデバイスの間の当該通信は、他の通信技術、例えば、他の無線技術、さらには有線技術等を使用してもよいことは理解されるであろう。一実施例において、当該オーディオレンダリングデバイス、例えば、1組の補聴器は、磁気誘導リンクを介してお互いに通信し得る。
本明細書において開示される実施形態の少なくともいくつかは、以下のようにまとめることができる。
実施形態1
無線通信デバイスと、第1オーディオレンダリングデバイスと、第2オーディオレンダリングデバイスと、を備えるオーディオレンダリングシステムであって、
無線通信デバイスが、第1の複数オーディオパケットを第1オーディオレンダリングデバイスに送信するように、及び、第2の複数オーディオパケットを第2オーディオレンダリングデバイスに送信するように構成され、
第1の複数オーディオパケットが、1つ以上のオーディオチャンネルのセットにおける第1オーディオチャンネルのためのオーディオデータのフレームを含み、
第2の複数オーディオパケットが、1つ以上のオーディオチャンネルのセットにおける第2オーディオチャンネルのためのオーディオデータのフレームを含み、
第1オーディオレンダリングデバイスが、第1オーディオチャンネルのための受信したオーディオデータのフレームの第1バッファを維持するように、及び、それぞれの第1バッファリリースタイムに、レンダリングのために第1バッファから第1オーディオチャンネルのためのオーディオデータのフレームをリリースするように構成され、
第2オーディオレンダリングデバイスが、第2オーディオチャンネルのための受信したオーディオデータのフレームの第2バッファを維持するように、及び、それぞれの第2バッファリリースタイムに、レンダリングのために第2バッファから第2オーディオチャンネルのためのオーディオデータのフレームをリリースするように構成され、
第1オーディオレンダリングデバイスが、第2オーディオレンダリングデバイスから1つ以上のメッセージを受信するように構成され、
少なくとも第1オーディオレンダリングデバイスが、受信した1つ以上のメッセージに基づいて、第1バッファリリースタイムと第2バッファリリースタイムとを同期させるように構成される、オーディオレンダリングシステム。
実施形態2
第1バッファリリースタイムは、第1間隔によって規則的に離間され、
第2バッファリリースタイムは、第1間隔に等しい第2間隔によって規則的に離間される、実施形態1に記載のオーディオレンダリングシステム。
実施形態3
無線通信デバイスは、第1の複数オーディオパケットのオーディオパケットが第1オーディオレンダリングデバイスへの送信をスケジュールされ、第1の複数オーディオパケットにおける対応するオーディオパケットが送信をスケジュールされた後に、第2の複数オーディオパケットの各オーディオパケットが、特定の遅延間隔において第2オーディオレンダリングデバイスへの送信をスケジュールされるような送信スケジュールに従って、第1の複数のオーディオパケットおよび第2の複数のオーディオパケットを送信するように構成され、
少なくとも第1オーディオレンダリングデバイスが、交換されたメッセージの少なくとも1つに基づいて遅延間隔を決定するように構成される、実施形態1または2に記載のオーディオレンダリングシステム。
実施形態4
第1オーディオレンダリングデバイスは、無線通信デバイスからの第1の複数のオーディオパケットにおけるオーディオパケットの受信のそれぞれの時間を示す第1パケット受信タイムを特定し、特定された第1パケット受信タイムおよび遅延間隔から、第1バッファリリースタイムを特定するように構成される、実施形態3に記載のオーディオレンダリングシステム。
実施形態5
第1オーディオレンダリングデバイスは、遅延間隔を含む1つ以上の遅延を補うように構成されたバッファ遅延によって遅延された特定されたパケット受信タイムにおいて、第1バッファからオーディオパケットをリリースするように構成される、実施形態4に記載のオーディオレンダリングシステム。
実施形態6
少なくとも第1オーディオレンダリングデバイスは、第2の複数オーディオパケットの前の1つの第2オーディオレンダリングデバイスによる受信の時間を示すメッセージを第2オーディオレンダリングデバイスから受信し、
受信したメッセージおよび第1オーディオレンダリングデバイスによる第1の複数オーディオパケットの前の1つの受信の時間から遅延間隔を特定するように構成される、実施形態3から5のいずれかに記載のオーディオレンダリングシステム。
実施形態7
第2オーディオチャンネルのためのオーディオデータの各フレームに対して、第1オーディオチャンネルのためのオーディオデータのフレームは、オーディオデータにおける対応するフレームを含み、
第2オーディオチャンネルのためのフレームにおけるオーディオデータおよび第1オーディオチャンネルのための対応するフレームにおけるオーディオデータは、それぞれ、第1オーディオチャンネルおよび第2オーディオチャンネルの一部として同時レンダリングのために構成される、実施形態1から6のいずれかに記載のオーディオレンダリングシステム。
実施形態8
第1オーディオチャンネルのためのオーディオデータの各フレームは、関連シーケンス番号を有し、
第2オーディオチャンネルのためのオーディオデータの各フレームは、第1オーディオチャンネルのためのオーディオデータの各フレームが第2オーディオチャンネルのためのオーディオデータにおける対応するフレームのそれぞれのシーケンス番号に等しいシーケンス番号を有するような関連シーケンス番号を有する、実施形態7に記載のオーディオレンダリングシステム。
実施形態9
第1オーディオレンダリングデバイスは、次のバッファリリースタイムにおいて第2フレームバッファからリリースするようにスケジュールされたフレームのシーケンス番号を示すメッセージを第2オーディオレンダリングデバイスから受信するように構成されている、実施形態8に記載のオーディオレンダリングシステム。
実施形態10
第1オーディオレンダリングデバイスは、受信したメッセージに応じて第1バッファを維持するように構成される、実施形態9に記載のオーディオレンダリングシステム。
実施形態11
受信したメッセージに応じて第1バッファを維持することは、第1バッファのバッファ深さを選択すること、第1バッファからオーディオデータのフレームを破棄すること、第1バッファからのオーディオデータのフレームのリリースを遅延させること、第1バッファをリセットすること、のうちの1つ以上を含む、実施形態10に記載のオーディオレンダリングシステム。
実施形態12
第2オーディオレンダリングデバイスから受信したメッセージはさらに、次のバッファリリースタイムにおいて第2フレームバッファからリリースするようにスケジュールされたフレームの第2オーディオレンダリングデバイスによる受信からの経過時間を示す、実施形態9から11のいずれかに記載のオーディオレンダリングシステム。
実施形態13
第2オーディオレンダリングデバイスから受信したメッセージはさらに、第2バッファの第2バッファ深さを示す、実施形態9から12のいずれかに記載のオーディオレンダリングシステム。
実施形態14
オーディオデータは、複数のステレオオーディオチャンネルを含むステレオオーディオ出力のためのものである、実施形態1から13のいずれかに記載のオーディオレンダリングシステム。
実施形態15
第1および第2オーディオレンダリングデバイスが、それぞれ、右および左聴覚機器である、実施形態1から14のいずれかに記載のオーディオレンダリングシステム。
実施形態16
無線通信デバイスが、それぞれのコネクション型通信(connection−oriented communication)チャンネルを介して第1および第2の複数オーディオパケットを送信するように構成される、実施形態1から15のいずれかに記載のオーディオレンダリングシステム。
実施形態17
無線通信デバイスが、それぞれのBLE通信リンクを介して第1および第2の複数オーディオパケットを送信するように構成される、実施形態1から16のいずれかに記載のオーディオレンダリングシステム。
実施形態18
第1オーディオレンダリングデバイスが、無線通信デバイス及び第2オーディオレンダリングデバイスと無線通信を実現するための第1トランシーバ及び/又は第1アンテナを有する、実施形態1から17のいずれかに記載のオーディオレンダリングシステム。
実施形態19
少なくとも1つの無線通信インターフェースと、単一のプロセッサとを含み、
少なくとも1つの無線通信インターフェースは、
1つ以上のオーディオチャンネルのセットの第1オーディオチャンネルのためのオーディオデータのフレームを含む第1の複数オーディオパケットを無線通信デバイスから受信するように構成されており、
別のオーディオレンダリングデバイスとメッセージを交換するように構成され、他方のオーディオレンダリングデバイスが無線通信デバイスから第2の複数オーディオパケットを受信するように構成されており、
第2の複数オーディオパケットが1つ以上のオーディオチャンネルのセットの第2オーディオチャンネルのためのオーディオデータのフレームを含み、
単一のプロセッサは、
第1オーディオレンダリングデバイスによるレンダリングのために、第1の複数オーディオパケットに含まれるオーディオデータのフレームを処理するように構成されており、
少なくとも1つの無線通信インターフェースは、さらに、
受信されたオーディオデータのフレームの第1バッファを維持し、それぞれの第1バッファリリースタイムにおいて、レンダリングのために、単一のプロセッサに第1バッファからオーディオデータのフレームをリリースし、
他方のオーディオレンダリングデバイスから1つ以上のメッセージを受信し、
受信した1つ以上のメッセージに基づいて、第1バッファリリースタイムと第2バッファリリースタイムを同期するように構成されおり、第2バッファリリースタイムが、他方のオーディオレンダリングデバイスによって維持された受信されたオーディオデータのフレームの第2バッファからオーディオデータのフレームをリリースする他方のオーディオレンダリングデバイスである、オーディオレンダリングデバイス。
実施形態20
第1オーディオレンダリングデバイスと第2オーディオレンダリングデバイスとを含む1組のオーディオレンダリングデバイスによって実践される1組のオーディオレンダリングデバイスによってレンダリングされるオーディオ内容を同期させる方法であって、
1つ以上のオーディオチャンネルのセットの第1オーディオチャンネルのためのオーディオデータのフレームを含む第1の複数のオーディオパケットを、第1オーディオレンダリングデバイスによって、無線通信デバイスから受信することと、
1つ以上のオーディオチャンネルのセットの第2オーディオチャンネルのためのオーディオデータのフレームを含む第2の複数のオーディオパケットを、第2オーディオレンダリングデバイスによって、無線通信デバイスから受信することと、
第1オーディオレンダリングデバイスによって、受信したオーディオデータのフレームの第1バッファを維持し、それぞれの第1バッファリリースタイムにレンダリングのために第1バッファからオーディオデータのフレームをリリースすることと、
第2オーディオレンダリングデバイスによって、受信したオーディオデータのフレームの第2バッファを維持し、それぞれの第2バッファリリースタイムにレンダリングのために第2バッファからオーディオデータのフレームをリリースすることと、
第1オーディオレンダリングデバイスによって、第2オーディオレンダリングデバイスから1つ以上のメッセージを受信することと、
少なくとも第1オーディオレンダリングデバイスによって、受信した1つ以上のメッセージに基づいて第1バッファリリースタイムと第2バッファリリースタイムとを同期させること、を含む方法。
実施形態1
無線通信デバイスと、第1オーディオレンダリングデバイスと、第2オーディオレンダリングデバイスと、を備えるオーディオレンダリングシステムであって、
無線通信デバイスが、第1の複数オーディオパケットを第1オーディオレンダリングデバイスに送信するように、及び、第2の複数オーディオパケットを第2オーディオレンダリングデバイスに送信するように構成され、
第1の複数オーディオパケットが、1つ以上のオーディオチャンネルのセットにおける第1オーディオチャンネルのためのオーディオデータのフレームを含み、
第2の複数オーディオパケットが、1つ以上のオーディオチャンネルのセットにおける第2オーディオチャンネルのためのオーディオデータのフレームを含み、
第1オーディオレンダリングデバイスが、第1オーディオチャンネルのための受信したオーディオデータのフレームの第1バッファを維持するように、及び、それぞれの第1バッファリリースタイムに、レンダリングのために第1バッファから第1オーディオチャンネルのためのオーディオデータのフレームをリリースするように構成され、
第2オーディオレンダリングデバイスが、第2オーディオチャンネルのための受信したオーディオデータのフレームの第2バッファを維持するように、及び、それぞれの第2バッファリリースタイムに、レンダリングのために第2バッファから第2オーディオチャンネルのためのオーディオデータのフレームをリリースするように構成され、
第1オーディオレンダリングデバイスが、第2オーディオレンダリングデバイスから1つ以上のメッセージを受信するように構成され、
少なくとも第1オーディオレンダリングデバイスが、受信した1つ以上のメッセージに基づいて、第1バッファリリースタイムと第2バッファリリースタイムとを同期させるように構成される、オーディオレンダリングシステム。
実施形態2
第1バッファリリースタイムは、第1間隔によって規則的に離間され、
第2バッファリリースタイムは、第1間隔に等しい第2間隔によって規則的に離間される、実施形態1に記載のオーディオレンダリングシステム。
実施形態3
無線通信デバイスは、第1の複数オーディオパケットのオーディオパケットが第1オーディオレンダリングデバイスへの送信をスケジュールされ、第1の複数オーディオパケットにおける対応するオーディオパケットが送信をスケジュールされた後に、第2の複数オーディオパケットの各オーディオパケットが、特定の遅延間隔において第2オーディオレンダリングデバイスへの送信をスケジュールされるような送信スケジュールに従って、第1の複数のオーディオパケットおよび第2の複数のオーディオパケットを送信するように構成され、
少なくとも第1オーディオレンダリングデバイスが、交換されたメッセージの少なくとも1つに基づいて遅延間隔を決定するように構成される、実施形態1または2に記載のオーディオレンダリングシステム。
実施形態4
第1オーディオレンダリングデバイスは、無線通信デバイスからの第1の複数のオーディオパケットにおけるオーディオパケットの受信のそれぞれの時間を示す第1パケット受信タイムを特定し、特定された第1パケット受信タイムおよび遅延間隔から、第1バッファリリースタイムを特定するように構成される、実施形態3に記載のオーディオレンダリングシステム。
実施形態5
第1オーディオレンダリングデバイスは、遅延間隔を含む1つ以上の遅延を補うように構成されたバッファ遅延によって遅延された特定されたパケット受信タイムにおいて、第1バッファからオーディオパケットをリリースするように構成される、実施形態4に記載のオーディオレンダリングシステム。
実施形態6
少なくとも第1オーディオレンダリングデバイスは、第2の複数オーディオパケットの前の1つの第2オーディオレンダリングデバイスによる受信の時間を示すメッセージを第2オーディオレンダリングデバイスから受信し、
受信したメッセージおよび第1オーディオレンダリングデバイスによる第1の複数オーディオパケットの前の1つの受信の時間から遅延間隔を特定するように構成される、実施形態3から5のいずれかに記載のオーディオレンダリングシステム。
実施形態7
第2オーディオチャンネルのためのオーディオデータの各フレームに対して、第1オーディオチャンネルのためのオーディオデータのフレームは、オーディオデータにおける対応するフレームを含み、
第2オーディオチャンネルのためのフレームにおけるオーディオデータおよび第1オーディオチャンネルのための対応するフレームにおけるオーディオデータは、それぞれ、第1オーディオチャンネルおよび第2オーディオチャンネルの一部として同時レンダリングのために構成される、実施形態1から6のいずれかに記載のオーディオレンダリングシステム。
実施形態8
第1オーディオチャンネルのためのオーディオデータの各フレームは、関連シーケンス番号を有し、
第2オーディオチャンネルのためのオーディオデータの各フレームは、第1オーディオチャンネルのためのオーディオデータの各フレームが第2オーディオチャンネルのためのオーディオデータにおける対応するフレームのそれぞれのシーケンス番号に等しいシーケンス番号を有するような関連シーケンス番号を有する、実施形態7に記載のオーディオレンダリングシステム。
実施形態9
第1オーディオレンダリングデバイスは、次のバッファリリースタイムにおいて第2フレームバッファからリリースするようにスケジュールされたフレームのシーケンス番号を示すメッセージを第2オーディオレンダリングデバイスから受信するように構成されている、実施形態8に記載のオーディオレンダリングシステム。
実施形態10
第1オーディオレンダリングデバイスは、受信したメッセージに応じて第1バッファを維持するように構成される、実施形態9に記載のオーディオレンダリングシステム。
実施形態11
受信したメッセージに応じて第1バッファを維持することは、第1バッファのバッファ深さを選択すること、第1バッファからオーディオデータのフレームを破棄すること、第1バッファからのオーディオデータのフレームのリリースを遅延させること、第1バッファをリセットすること、のうちの1つ以上を含む、実施形態10に記載のオーディオレンダリングシステム。
実施形態12
第2オーディオレンダリングデバイスから受信したメッセージはさらに、次のバッファリリースタイムにおいて第2フレームバッファからリリースするようにスケジュールされたフレームの第2オーディオレンダリングデバイスによる受信からの経過時間を示す、実施形態9から11のいずれかに記載のオーディオレンダリングシステム。
実施形態13
第2オーディオレンダリングデバイスから受信したメッセージはさらに、第2バッファの第2バッファ深さを示す、実施形態9から12のいずれかに記載のオーディオレンダリングシステム。
実施形態14
オーディオデータは、複数のステレオオーディオチャンネルを含むステレオオーディオ出力のためのものである、実施形態1から13のいずれかに記載のオーディオレンダリングシステム。
実施形態15
第1および第2オーディオレンダリングデバイスが、それぞれ、右および左聴覚機器である、実施形態1から14のいずれかに記載のオーディオレンダリングシステム。
実施形態16
無線通信デバイスが、それぞれのコネクション型通信(connection−oriented communication)チャンネルを介して第1および第2の複数オーディオパケットを送信するように構成される、実施形態1から15のいずれかに記載のオーディオレンダリングシステム。
実施形態17
無線通信デバイスが、それぞれのBLE通信リンクを介して第1および第2の複数オーディオパケットを送信するように構成される、実施形態1から16のいずれかに記載のオーディオレンダリングシステム。
実施形態18
第1オーディオレンダリングデバイスが、無線通信デバイス及び第2オーディオレンダリングデバイスと無線通信を実現するための第1トランシーバ及び/又は第1アンテナを有する、実施形態1から17のいずれかに記載のオーディオレンダリングシステム。
実施形態19
少なくとも1つの無線通信インターフェースと、単一のプロセッサとを含み、
少なくとも1つの無線通信インターフェースは、
1つ以上のオーディオチャンネルのセットの第1オーディオチャンネルのためのオーディオデータのフレームを含む第1の複数オーディオパケットを無線通信デバイスから受信するように構成されており、
別のオーディオレンダリングデバイスとメッセージを交換するように構成され、他方のオーディオレンダリングデバイスが無線通信デバイスから第2の複数オーディオパケットを受信するように構成されており、
第2の複数オーディオパケットが1つ以上のオーディオチャンネルのセットの第2オーディオチャンネルのためのオーディオデータのフレームを含み、
単一のプロセッサは、
第1オーディオレンダリングデバイスによるレンダリングのために、第1の複数オーディオパケットに含まれるオーディオデータのフレームを処理するように構成されており、
少なくとも1つの無線通信インターフェースは、さらに、
受信されたオーディオデータのフレームの第1バッファを維持し、それぞれの第1バッファリリースタイムにおいて、レンダリングのために、単一のプロセッサに第1バッファからオーディオデータのフレームをリリースし、
他方のオーディオレンダリングデバイスから1つ以上のメッセージを受信し、
受信した1つ以上のメッセージに基づいて、第1バッファリリースタイムと第2バッファリリースタイムを同期するように構成されおり、第2バッファリリースタイムが、他方のオーディオレンダリングデバイスによって維持された受信されたオーディオデータのフレームの第2バッファからオーディオデータのフレームをリリースする他方のオーディオレンダリングデバイスである、オーディオレンダリングデバイス。
実施形態20
第1オーディオレンダリングデバイスと第2オーディオレンダリングデバイスとを含む1組のオーディオレンダリングデバイスによって実践される1組のオーディオレンダリングデバイスによってレンダリングされるオーディオ内容を同期させる方法であって、
1つ以上のオーディオチャンネルのセットの第1オーディオチャンネルのためのオーディオデータのフレームを含む第1の複数のオーディオパケットを、第1オーディオレンダリングデバイスによって、無線通信デバイスから受信することと、
1つ以上のオーディオチャンネルのセットの第2オーディオチャンネルのためのオーディオデータのフレームを含む第2の複数のオーディオパケットを、第2オーディオレンダリングデバイスによって、無線通信デバイスから受信することと、
第1オーディオレンダリングデバイスによって、受信したオーディオデータのフレームの第1バッファを維持し、それぞれの第1バッファリリースタイムにレンダリングのために第1バッファからオーディオデータのフレームをリリースすることと、
第2オーディオレンダリングデバイスによって、受信したオーディオデータのフレームの第2バッファを維持し、それぞれの第2バッファリリースタイムにレンダリングのために第2バッファからオーディオデータのフレームをリリースすることと、
第1オーディオレンダリングデバイスによって、第2オーディオレンダリングデバイスから1つ以上のメッセージを受信することと、
少なくとも第1オーディオレンダリングデバイスによって、受信した1つ以上のメッセージに基づいて第1バッファリリースタイムと第2バッファリリースタイムとを同期させること、を含む方法。
Claims (15)
- 無線通信デバイスと、第1オーディオレンダリングデバイスと、第2オーディオレンダリングデバイスと、を備えるオーディオレンダリングシステムであって、
前記無線通信デバイスが、第1の複数オーディオパケットを前記第1オーディオレンダリングデバイスに送信するように、及び、第2の複数オーディオパケットを前記第2オーディオレンダリングデバイスに送信するように構成され、
前記第1の複数オーディオパケットが、1つ以上のオーディオチャンネルのセットにおける第1オーディオチャンネルのためのオーディオデータのフレームを含み、
前記第2の複数オーディオパケットが、1つ以上のオーディオチャンネルの前記セットにおける第2オーディオチャンネルのためのオーディオデータのフレームを含み、
前記第1オーディオレンダリングデバイスが、前記第1オーディオチャンネルのための受信したオーディオデータのフレームの第1バッファを維持するように、及び、それぞれの第1バッファリリースタイムに、レンダリングのために前記第1バッファから前記第1オーディオチャンネルのためのオーディオデータのフレームをリリースするように構成され、
前記第2オーディオレンダリングデバイスが、前記第2オーディオチャンネルのための受信したオーディオデータのフレームの第2バッファを維持するように、及び、それぞれの第2バッファリリースタイムに、レンダリングのために前記第2バッファから前記第2オーディオチャンネルのためのオーディオデータのフレームをリリースするように構成され、
前記第1オーディオレンダリングデバイスが、前記第2オーディオレンダリングデバイスから1つ以上のメッセージを受信するように構成され、
少なくとも前記第1オーディオレンダリングデバイスが、前記受信した1つ以上のメッセージに基づいて、前記第1バッファリリースタイムと前記第2バッファリリースタイムとを同期させるように構成される、オーディオレンダリングシステム。 - 前記第1バッファリリースタイムは、第1間隔によって規則的に離間され、
前記第2バッファリリースタイムは、前記第1間隔に等しい第2間隔によって規則的に離間される、請求項1に記載のオーディオレンダリングシステム。 - 前記無線通信デバイスは、前記第1の複数オーディオパケットのオーディオパケットが前記第1オーディオレンダリングデバイスへの送信をスケジュールされ、前記第1の複数オーディオパケットにおける対応するオーディオパケットが送信をスケジュールされた後に、前記第2の複数オーディオパケットの各オーディオパケットが、特定の遅延間隔において前記第2オーディオレンダリングデバイスへの送信をスケジュールされるような送信スケジュールに従って、前記第1の複数のオーディオパケットおよび前記第2の複数のオーディオパケットを送信するように構成され、
少なくとも前記第1オーディオレンダリングデバイスが、前記交換されたメッセージの少なくとも1つに基づいて前記遅延間隔を決定するように構成される、請求項1または2に記載のオーディオレンダリングシステム。 - 前記第1オーディオレンダリングデバイスは、
前記無線通信デバイスからの前記第1の複数のオーディオパケットにおけるオーディオパケットの受信のそれぞれの時間を示す第1パケット受信タイムを特定し、
特定された前記第1パケット受信タイムおよび前記遅延間隔から、前記第1バッファリリースタイムを特定するように構成される、請求項3に記載のオーディオレンダリングシステム。 - 前記第1オーディオレンダリングデバイスは、前記遅延間隔を含む1つ以上の遅延を補うように構成されたバッファ遅延によって遅延された前記特定されたパケット受信タイムにおいて、前記第1バッファからオーディオパケットをリリースするように構成される、請求項4に記載のオーディオレンダリングシステム。
- 少なくとも前記第1オーディオレンダリングデバイスは、前記第2の複数オーディオパケットの前の1つの前記第2オーディオレンダリングデバイスによる受信の時間を示すメッセージを前記第2オーディオレンダリングデバイスから受信し、
前記受信したメッセージおよび前記第1オーディオレンダリングデバイスによる前記第1の複数オーディオパケットの前の1つの受信の時間から前記遅延間隔を特定するように構成される、請求項3から5のいずれか一項に記載のオーディオレンダリングシステム。 - 前記第2オーディオチャンネルのためのオーディオデータの各フレームに対して、前記第1オーディオチャンネルのためのオーディオデータの前記フレームは、オーディオデータにおける対応するフレームを含み、
前記第2オーディオチャンネルのための前記フレームにおける前記オーディオデータおよび前記第1オーディオチャンネルのための前記対応するフレームにおけるオーディオデータは、それぞれ、前記第1オーディオチャンネルおよび前記第2オーディオチャンネルの一部として、同時レンダリングのために構成される、請求項1から6のいずれか一項に記載のオーディオレンダリングシステム。 - 前記第1オーディオチャンネルのためのオーディオデータの各フレームは、関連シーケンス番号を有し、
前記第2オーディオチャンネルのためのオーディオデータの各フレームは、前記第1オーディオチャンネルのためのオーディオデータの各フレームが前記第2オーディオチャンネルのためのオーディオデータにおける対応する前記フレームのそれぞれの前記シーケンス番号に等しいシーケンス番号を有するような関連シーケンス番号を有する、請求項7に記載のオーディオレンダリングシステム。 - 前記第1オーディオレンダリングデバイスは、次のバッファリリースタイムにおいて前記第2フレームバッファからリリースするようにスケジュールされたフレームのシーケンス番号を示すメッセージを前記第2オーディオレンダリングデバイスから受信するように構成されている、請求項8に記載のオーディオレンダリングシステム。
- 前記第1オーディオレンダリングデバイスは、前記受信したメッセージに応じて前記第1バッファを維持するように構成される、請求項9に記載のオーディオレンダリングシステム。
- 前記受信したメッセージに応じて前記第1バッファを維持することは、
前記第1バッファのバッファ深さを選択すること、
前記第1バッファからオーディオデータのフレームを破棄すること、
前記第1バッファからのオーディオデータのフレームのリリースを遅延させること、
前記第1バッファをリセットすること、のうちの1つ以上を含む、請求項10に記載のオーディオレンダリングシステム。 - 前記第2オーディオレンダリングデバイスから受信した前記メッセージはさらに、次のバッファリリースタイムにおいて前記第2フレームバッファからリリースするようにスケジュールされた前記フレームの前記第2オーディオレンダリングデバイスによる受信からの経過時間を示す、請求項9から11のいずれか一項に記載のオーディオレンダリングシステム。
- 前記第2オーディオレンダリングデバイスから受信した前記メッセージはさらに、前記第2バッファの第2バッファ深さを示す、請求項9から12のいずれか一項に記載のオーディオレンダリングシステム。
- 少なくとも1つの無線通信インターフェースと、単一のプロセッサとを含み、
前記少なくとも1つの無線通信インターフェースは、
1つ以上のオーディオチャンネルのセットの第1オーディオチャンネルのためのオーディオデータのフレームを含む第1の複数オーディオパケットを無線通信デバイスから受信するように構成されており、
別のオーディオレンダリングデバイスとメッセージを交換するように構成され、他方のオーディオレンダリングデバイスが前記無線通信デバイスから第2の複数オーディオパケットを受信するように構成されており、
前記第2の複数オーディオパケットが1つ以上のオーディオチャンネルの前記セットの第2オーディオチャンネルのためのオーディオデータのフレームを含み、
前記単一のプロセッサは、
前記第1オーディオレンダリングデバイスによるレンダリングのために、前記第1の複数オーディオパケットに含まれるオーディオデータの前記フレームを処理するように構成されており、
前記少なくとも1つの無線通信インターフェースは、さらに、
受信されたオーディオデータのフレームの第1バッファを維持し、それぞれの第1バッファリリースタイムにおいて、レンダリングのために、前記単一のプロセッサに前記第1バッファからオーディオデータのフレームをリリースし、
前記他方のオーディオレンダリングデバイスから1つ以上のメッセージを受信し、
前記受信した1つ以上のメッセージに基づいて、前記第1バッファリリースタイムと第2バッファリリースタイムを同期するように構成されおり、第2バッファリリースタイムが、前記他方のオーディオレンダリングデバイスによって維持された受信されたオーディオデータのフレームの第2バッファからオーディオデータのフレームをリリースする前記他方のオーディオレンダリングデバイスである、オーディオレンダリングデバイス。 - 第1オーディオレンダリングデバイスと第2オーディオレンダリングデバイスとを含む1組のオーディオレンダリングデバイスによって実践される前記1組のオーディオレンダリングデバイスによってレンダリングされるオーディオ内容を同期させる方法であって、
1つ以上のオーディオチャンネルのセットの第1オーディオチャンネルのためのオーディオデータのフレームを含む第1の複数のオーディオパケットを、前記第1オーディオレンダリングデバイスによって、無線通信デバイスから受信することと、
1つ以上のオーディオチャンネルの前記セットの第2オーディオチャンネルのためのオーディオデータのフレームを含む第2の複数のオーディオパケットを、前記第2オーディオレンダリングデバイスによって、前記無線通信デバイスから受信することと、
前記第1オーディオレンダリングデバイスによって、受信したオーディオデータのフレームの第1バッファを維持し、それぞれの第1バッファリリースタイムにレンダリングのために前記第1バッファからオーディオデータのフレームをリリースすることと、
前記第2オーディオレンダリングデバイスによって、受信したオーディオデータのフレームの第2バッファを維持し、それぞれの第2バッファリリースタイムにレンダリングのために前記第2バッファからオーディオデータのフレームをリリースすることと、
前記第1オーディオレンダリングデバイスによって、前記第2オーディオレンダリングデバイスから1つ以上のメッセージを受信することと、
少なくとも前記第1オーディオレンダリングデバイスによって、前記受信した1つ以上のメッセージに基づいて前記第1バッファリリースタイムと前記第2バッファリリースタイムとを同期させること、を含む方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DKPA201870518 | 2018-08-07 | ||
DKPA201870518 | 2018-08-07 | ||
EP18189208.4A EP3609207B1 (en) | 2018-08-07 | 2018-08-15 | An audio rendering system |
EP18189208.4 | 2018-08-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020046657A true JP2020046657A (ja) | 2020-03-26 |
Family
ID=63442396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019143112A Pending JP2020046657A (ja) | 2018-08-07 | 2019-08-02 | オーディオレンダリングシステム |
Country Status (5)
Country | Link |
---|---|
US (3) | US10904666B2 (ja) |
EP (3) | EP4221278A1 (ja) |
JP (1) | JP2020046657A (ja) |
CN (1) | CN110825338A (ja) |
DK (2) | DK3883276T3 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022054451A1 (ja) * | 2020-09-10 | 2022-03-17 | ソニーグループ株式会社 | 情報処理装置、情報処理システム、情報処理方法 |
JP2023531314A (ja) * | 2020-09-01 | 2023-07-21 | 深▲セン▼市中科藍訊科技股▲フン▼有限公司 | 無線デバイスの通信方法、無線デバイス及びコンピュータ読み取り可能な記憶媒体 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11544032B2 (en) * | 2019-01-24 | 2023-01-03 | Dolby Laboratories Licensing Corporation | Audio connection and transmission device |
EP4070571A1 (en) | 2019-12-03 | 2022-10-12 | Starkey Laboratories, Inc. | Audio synchronization for hearing devices |
US11304006B2 (en) * | 2020-03-27 | 2022-04-12 | Bose Corporation | Systems and methods for broadcasting audio |
EP3930348A3 (en) * | 2020-06-25 | 2022-03-23 | Oticon A/s | A hearing system comprising a hearing aid and a processing device |
DK180923B1 (en) | 2020-07-27 | 2022-06-27 | Gn Hearing As | MAIN PORTABLE HEARING INSTRUMENT WITH ENHANCED COEXISTENCE BETWEEN MULTIPLE COMMUNICATION INTERFACES |
CN111918176A (zh) * | 2020-07-31 | 2020-11-10 | 北京全景声信息科技有限公司 | 音频处理方法、装置、无线耳机以及存储介质 |
CN111918177A (zh) * | 2020-07-31 | 2020-11-10 | 北京全景声信息科技有限公司 | 音频处理方法、装置、***以及存储介质 |
US11627546B2 (en) * | 2020-09-02 | 2023-04-11 | Semiconductor Components Industries, Llc | Delaying rendering time for audio computing systems |
US11758434B2 (en) * | 2020-10-20 | 2023-09-12 | Harman International Industries, Incorporated | Dynamic buffer allocation for bluetooth low energy isochronous transmissions |
EP4109928A1 (en) * | 2021-06-21 | 2022-12-28 | Sonova AG | Method and system for streaming a multichannel audio signal to a binaural hearing system |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080226103A1 (en) * | 2005-09-15 | 2008-09-18 | Koninklijke Philips Electronics, N.V. | Audio Data Processing Device for and a Method of Synchronized Audio Data Processing |
US20070086601A1 (en) | 2005-10-17 | 2007-04-19 | Mitchler Dennis W | Flexible wireless air interface system |
US8041051B2 (en) | 2008-03-24 | 2011-10-18 | Broadcom Corporation | Dual streaming with exchange of FEC streams by audio sinks |
US20090298420A1 (en) * | 2008-05-27 | 2009-12-03 | Sony Ericsson Mobile Communications Ab | Apparatus and methods for time synchronization of wireless audio data streams |
US8768252B2 (en) * | 2010-09-02 | 2014-07-01 | Apple Inc. | Un-tethered wireless audio system |
US20140233527A1 (en) * | 2011-08-09 | 2014-08-21 | Phonak Ag | Wireless sound transmission system and method |
US8718806B2 (en) * | 2011-09-02 | 2014-05-06 | Apple Inc. | Slave mode transmit with zero delay for audio interface |
US20130266152A1 (en) * | 2012-04-06 | 2013-10-10 | Koss Corporation | Synchronizing wireless earphones |
US9712266B2 (en) | 2013-05-21 | 2017-07-18 | Apple Inc. | Synchronization of multi-channel audio communicated over bluetooth low energy |
US9661425B2 (en) * | 2014-01-15 | 2017-05-23 | Starkey Laboratories, Inc. | Method and apparatus for rendering audio in wireless hearing instruments |
GB2518921B (en) * | 2014-03-24 | 2016-02-17 | Imagination Tech Ltd | High definition timing synchronisation function |
EP3149963B1 (en) | 2014-05-28 | 2018-03-07 | Sonova AG | Hearing assistance system and method |
TWI545971B (zh) * | 2014-10-03 | 2016-08-11 | 絡達科技股份有限公司 | 藍牙發聲裝置的音頻同步方法 |
JP6582589B2 (ja) * | 2015-06-16 | 2019-10-02 | ヤマハ株式会社 | オーディオ機器 |
EP3116239B1 (en) * | 2015-07-08 | 2018-10-03 | Oticon A/s | Method for selecting transmission direction in a binaural hearing aid |
US10003896B2 (en) * | 2015-08-18 | 2018-06-19 | Gn Hearing A/S | Method of exchanging data packages of different sizes between first and second portable communication devices |
US10397684B2 (en) * | 2016-01-05 | 2019-08-27 | Voxx International Corporation | Wireless speaker system |
JP6645272B2 (ja) | 2016-03-02 | 2020-02-14 | コニカミノルタ株式会社 | 静電荷像現像用トナーの製造方法 |
US10191715B2 (en) * | 2016-03-25 | 2019-01-29 | Semiconductor Components Industries, Llc | Systems and methods for audio playback |
EP3440527A4 (en) * | 2016-04-05 | 2019-11-27 | Hewlett-Packard Development Company, L.P. | AUDIO INTERFACE FOR MULTIPLE MICROPHONES AND LOUDSPEAKER SYSTEMS FOR INTERFACING WITH A HOST |
US9742471B1 (en) | 2016-06-17 | 2017-08-22 | Nxp B.V. | NFMI based synchronization |
US10206084B2 (en) | 2016-12-27 | 2019-02-12 | Avago Technologies International Sales Pte. Limited | Power-efficient, balanced, and reliable true wireless bluetooth stereo audio solution |
US20190387320A1 (en) * | 2016-12-28 | 2019-12-19 | Sony Corporation | Audio signal reproduction apparatus and reproduction method, sound pickup apparatus and sound pickup method, and program |
US10492001B1 (en) * | 2018-05-10 | 2019-11-26 | Microchip Technology Incorporated | Data packet compensation in multi-device media systems |
-
2018
- 2018-08-15 DK DK21172984.3T patent/DK3883276T3/da active
- 2018-08-15 DK DK18189208.4T patent/DK3609207T3/da active
- 2018-08-15 EP EP23164299.2A patent/EP4221278A1/en active Pending
- 2018-08-15 EP EP18189208.4A patent/EP3609207B1/en active Active
- 2018-08-15 EP EP21172984.3A patent/EP3883276B1/en active Active
-
2019
- 2019-06-24 US US16/450,545 patent/US10904666B2/en active Active
- 2019-07-22 CN CN201910660506.8A patent/CN110825338A/zh active Pending
- 2019-08-02 JP JP2019143112A patent/JP2020046657A/ja active Pending
-
2021
- 2021-01-06 US US17/143,103 patent/US11689852B2/en active Active
-
2022
- 2022-12-30 US US18/091,370 patent/US20230145928A1/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023531314A (ja) * | 2020-09-01 | 2023-07-21 | 深▲セン▼市中科藍訊科技股▲フン▼有限公司 | 無線デバイスの通信方法、無線デバイス及びコンピュータ読み取り可能な記憶媒体 |
JP7449521B2 (ja) | 2020-09-01 | 2024-03-14 | 深▲セン▼市中科藍訊科技股▲フン▼有限公司 | 無線デバイスの通信方法、無線デバイス及びコンピュータ読み取り可能な記憶媒体 |
WO2022054451A1 (ja) * | 2020-09-10 | 2022-03-17 | ソニーグループ株式会社 | 情報処理装置、情報処理システム、情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3609207B1 (en) | 2021-05-19 |
US20200053460A1 (en) | 2020-02-13 |
US20210127207A1 (en) | 2021-04-29 |
US10904666B2 (en) | 2021-01-26 |
DK3609207T3 (da) | 2021-06-28 |
EP3883276A1 (en) | 2021-09-22 |
US20230145928A1 (en) | 2023-05-11 |
EP4221278A1 (en) | 2023-08-02 |
EP3609207A1 (en) | 2020-02-12 |
EP3883276B1 (en) | 2023-05-10 |
US11689852B2 (en) | 2023-06-27 |
DK3883276T3 (da) | 2023-07-10 |
CN110825338A (zh) | 2020-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3883276B1 (en) | An audio rendering system | |
US11463824B2 (en) | Method of exchanging data packages of different sizes between first and second portable communication devices | |
US9813815B2 (en) | Method of wireless transmission of digital audio | |
US9819705B2 (en) | Method of exchanging data packages between first and second portable communication devices using a favoured frequency band | |
US9831988B2 (en) | Method of exchanging data packages between first and second portable communication devices | |
JP6891242B2 (ja) | デジタル・オーディオのワイヤレス送信の新規な方法 | |
EP3327969B1 (en) | A new method of wireless transmission of digital audio | |
JP2017076956A (ja) | 第1のポータブル通信デバイスと第2のポータブル通信デバイスの間で異なるサイズのデータ・パッケージを交換する方法 | |
CN106658320B (zh) | 使用中意频段在第一便携式通信设备和第二便携式通信设备之间交换数据包的方法 | |
JP6870935B2 (ja) | 第1のポータブル通信デバイスと第2のポータブル通信デバイスの間でデータ・パッケージを交換する方法 |