JP2022009071A - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2022009071A JP2022009071A JP2021167855A JP2021167855A JP2022009071A JP 2022009071 A JP2022009071 A JP 2022009071A JP 2021167855 A JP2021167855 A JP 2021167855A JP 2021167855 A JP2021167855 A JP 2021167855A JP 2022009071 A JP2022009071 A JP 2022009071A
- Authority
- JP
- Japan
- Prior art keywords
- rendering
- viewpoint
- unit
- audio
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 21
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000009877 rendering Methods 0.000 claims abstract description 392
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000013500 data storage Methods 0.000 abstract description 24
- 238000010586 diagram Methods 0.000 description 36
- 230000004807 localization Effects 0.000 description 30
- 238000009826 distribution Methods 0.000 description 18
- 230000005236 sound signal Effects 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 12
- 230000001755 vocal effect Effects 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Stereophonic System (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【解決手段】再生装置において、オーディオ再生部33は、レンダリングパラメータ選択部51、オブジェクトデータ記憶部52及びレンダリング部54を備える。オブジェクトデータ記憶部52は、各オーディオオブジェクトの波形データ、視点情報、複数の視点に対する各オーディオオブジェクトのレンダリングパラメータを記憶する。レンダリングパラメータ選択部51は、入力された選択視点情報に対応するレンダリングパラメータをオブジェクトデータ記憶部52から選択し、レンダリング部54に出力する。レンダリング部54は、各オーディオオブジェクトの波形データをオブジェクトデータ記憶部52から読み出し、レンダリングパラメータ選択部51からのレンダリングパラメータに従って各オーディオオブジェクトの波形データをレンダリングする。
【選択図】図9
Description
・第1の実施の形態
1.コンテンツについて
2.再生装置の構成と動作
3.再生装置の他の構成例
4.レンダリングパラメータの例
5.自由視点の例
6.コンテンツ生成装置の構成と動作
7.変形例
・第2の実施の形態
1.配信システムの構成例
2.レンダリングパラメータの生成例
3.配信システムの他の構成例
<1.コンテンツについて>
図1は、本技術の一実施形態に係る再生装置が再生するコンテンツの1シーンを示す図である。
図7は、再生装置の構成例を示すブロック図である。
図11は、オーディオ再生部33の他の構成例を示すブロック図である。
特に音楽コンテンツの制作において、各楽器の音作りは、定位やゲインによる調整以外にも、例えばイコライザによって音質を調整したり、リバーブによって残響成分を付加したりして行われる。音作りに用いられるこのようなパラメータについても、定位情報やゲイン情報と共にメタデータとしてオーディオデータに付加され、レンダリングに用いられるようにしてもよい。
以上においては、視点の選択が、レンダリングパラメータが用意された複数の視点を対象として行うことができるものとしたが、任意の視点を自由に選択することができるようにしてもよい。ここでいう任意の視点は、レンダリングパラメータが用意されていない視点である。
図22は、以上のような教則ビデオなどのコンテンツを生成するコンテンツ生成装置101の機能構成例を示すブロック図である。
再生装置1により再生されるコンテンツが、ビデオデータと、オブジェクトベースのオーディオデータとを含むものであるとしたが、ビデオデータを含まずに、オブジェクトベースのオーディオデータからなるコンテンツであってもよい。レンダリングパラメータが用意されている聴取位置の中から所定の聴取位置が選択された場合、選択された聴取位置に対するレンダリングパラメータを用いて、各オーディオオブジェクトの再生が行われる。
<1.配信システムの構成例>
図24は、レンダリングパラメータが視点毎に用意される上述したようなオブジェクトオーディオを含むコンテンツを配信する配信システムの構成例を示す図である。
ここで、レンダリングパラメータ生成部233によるレンダリングパラメータの生成について説明する。
オブジェクトのオーディオデータは下のように定義される。
x(n,i) i=0,1,2,…,L-1
各視点に対応するオブジェクトのレンダリング情報は下のように定義される。
r(i,j) j=0,1,2,…,M-1
r(obj_type, obj_loc_x, obj_loc_y, obj_loc_z, lis_loc_x, lis_loc_y, lis_loc_z, date_time)
ベースの座標 :x=-20, y=0, z=0
ドラムの座標 :x=0, y=-10, z=0
ギターの座標 :x=20, y=0, z=0
ボーカルの座標:x=0, y=10, z=0
視点1:x=0, y=50, z=-1
視点2:x=-20, y=30, z=-1
視点3:x=20, y=30, z=-1
視点4:x=-20, y=70, z=-1
視点5:x=20, y=70, z=-1
ベースのレンダリング情報
:r(0, -20, 0, 0, 0, 50, -1, 2014.11.5.18.34.50)
ドラムのレンダリング情報
:r(1, 0, -10, 0, 0, 50, -1, 2014.11.5.18.34.50)
ギターのレンダリング情報
:r(2, 20, 0, 0, 0, 50, -1, 2014.11.5.18.34.50)
ボーカルのレンダリング情報
:r(3, 0, 10, 0, 0, 50, -1, 2014.11.5.18.34.50)
ベース :obj_type=0
ドラム :obj_type=1
ギター :obj_type=2
ボーカル:obj_type=3
i=0:ベースのオブジェクト
i=1:ドラムのオブジェクト
i=2:ギターのオブジェクト
i=3:ボーカルのオブジェクト
視点6:x=0, y=30, z=-1
視点2A:x=-20, y=40, z=-1
視点3A:x=20, y=40, z=-1
ベース :obj_type=0
ドラム :obj_type=1
ギター :obj_type=2
ボーカル:obj_type=3
パラメータ推定器233Aに対しては、以下の情報が入力される。
・視点1~5のパラメータ情報とレンダリング情報(図30、図31)
・視点2A,3Aのパラメータ情報とレンダリング情報(図34)
・視点6のパラメータ情報(図35)
ベース(obj_type=0)のレンダリング情報
:r(0, -20, 0, 0, 0, 30, -1, 2014.11.5.18.34.50)
ドラム(obj_type=1)のレンダリング情報
:r(1, 0, -10, 0, 0, 30, -1, 2014.11.5.18.34.50)
ギター(obj_type=2)のレンダリング情報
:r(2, 20, 0, 0, 0, 30, -1, 2014.11.5.18.34.50)
ボーカル(obj_type=3)のレンダリング情報
:r(3, 0, 10, 0, 0, 30, -1, 2014.11.5.18.34.50)
レンダリングパラメータ生成部233は、メタデータエンコーダ212から送信され、蓄積部234に蓄積されたレンダリングパラメータを学習用データとして用いて、パラメータ推定器233Aの学習を行う。
図36は、配信システムの他の構成例を示す図である。上述した構成と同じ構成には同じ符号を付してある。重複する説明については省略する。図37以降についても同様である。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
本技術は、以下のような構成をとることもできる。
(1)
それぞれのオーディオオブジェクトの音声データと、複数の想定聴取位置のそれぞれに対する、前記音声データのレンダリングパラメータとを含むコンテンツを取得する取得部と、
選択された所定の前記想定聴取位置に対する前記レンダリングパラメータに基づいて前記音声データのレンダリングを行い、音声信号を出力するレンダリング部と
を備える再生装置。
(2)
前記コンテンツには、あらかじめ設定された前記想定聴取位置に関する情報がさらに含まれ、
前記想定聴取位置に関する情報に基づいて、前記想定聴取位置の選択に用いられる画面を表示させる表示制御部をさらに備える
前記(1)に記載の再生装置。
(3)
それぞれの前記想定聴取位置に対する前記レンダリングパラメータには、前記オーディオオブジェクトを定位させる位置を表す定位情報と、前記音声データのゲイン調整用のパラメータであるゲイン情報が含まれる
前記(1)または(2)に記載の再生装置。
(4)
前記レンダリング部は、音源位置を固定させる前記オーディオオブジェクトとして選択された前記オーディオオブジェクトの前記音声データのレンダリングを、選択された前記想定聴取位置に対する前記レンダリングパラメータとは異なる前記レンダリングパラメータに基づいて行う
前記(1)乃至(3)のいずれかに記載の再生装置。
(5)
前記レンダリング部は、前記コンテンツの音声を構成する複数の前記オーディオオブジェクトのうち、所定の前記オーディオオブジェクトの前記音声データのレンダリングを行わない
前記(1)乃至(4)のいずれかに記載の再生装置。
(6)
前記想定聴取位置に対する前記レンダリングパラメータに基づいて、それぞれの前記オーディオオブジェクトの、前記レンダリングパラメータが用意されていない前記想定聴取位置に対する前記レンダリングパラメータを生成する生成部をさらに備え、
前記レンダリング部は、それぞれの前記オーディオオブジェクトの前記音声データのレンダリングを、前記生成部により生成された前記レンダリングパラメータを用いて行う
前記(1)乃至(5)のいずれかに記載の再生装置。
(7)
前記生成部は、前記レンダリングパラメータが用意されている近傍の複数の前記想定聴取位置に対する前記レンダリングパラメータに基づいて、前記レンダリングパラメータが用意されていない前記想定聴取位置に対する前記レンダリングパラメータを生成する
前記(6)に記載の再生装置。
(8)
前記生成部は、過去に取得された前記コンテンツに含まれる前記レンダリングパラメータに基づいて、前記レンダリングパラメータが用意されていない前記想定聴取位置に対する前記レンダリングパラメータを生成する
前記(6)に記載の再生装置。
(9)
前記生成部は、前記レンダリングパラメータが用意されていない前記想定聴取位置に対する前記レンダリングパラメータを、推定器を用いて生成する
前記(6)に記載の再生装置。
(10)
前記取得部は、前記コンテンツの収録が行われる会場に応じた前記推定器を取得し、
前記生成部は、前記取得部により取得された前記推定器を用いて前記レンダリングパラメータを生成する
前記(9)に記載の再生装置。
(11)
前記推定器は、少なくとも過去に取得された前記コンテンツに含まれる前記レンダリングパラメータを用いた学習によって構成される
前記(9)または(10)に記載の再生装置。
(12)
前記コンテンツには、前記想定聴取位置を視点位置とした映像の表示に用いられるビデオデータがさらに含まれ、
前記ビデオデータを再生し、選択された所定の前記想定聴取位置を視点位置とする映像を表示させるビデオ再生部をさらに備える
前記(1)乃至(11)のいずれかに記載の再生装置。
(13)
それぞれのオーディオオブジェクトの音声データと、複数の想定聴取位置のそれぞれに対する、前記音声データのレンダリングパラメータとを含むコンテンツを取得し、
選択された所定の前記想定聴取位置に対する前記レンダリングパラメータに基づいて前記音声データのレンダリングを行い、音声信号を出力する
ステップを含む再生方法。
(14)
コンピュータに、
それぞれのオーディオオブジェクトの音声データと、複数の想定聴取位置のそれぞれに対する、前記音声データのレンダリングパラメータとを含むコンテンツを取得し、
選択された所定の前記想定聴取位置に対する前記レンダリングパラメータに基づいて前記音声データのレンダリングを行い、音声信号を出力する
ステップを含む処理を実行させるプログラム。
(15)
複数の想定聴取位置のそれぞれに対する、それぞれのオーディオオブジェクトの音声データのレンダリングパラメータを生成するパラメータ生成部と、
それぞれの前記オーディオオブジェクトの前記音声データと、生成された前記レンダリングパラメータとを含むコンテンツを生成するコンテンツ生成部と
を備える情報処理装置。
(16)
前記パラメータ生成部は、あらかじめ設定された前記想定聴取位置に関する情報をさらに生成し、
前記コンテンツ生成部は、前記想定聴取位置に関する情報をさらに含む前記コンテンツを生成する
前記(15)に記載の情報処理装置。
(17)
前記想定聴取位置を視点位置とした映像の表示に用いられるビデオデータを生成するビデオ生成部をさらに備え、
前記コンテンツ生成部は、前記ビデオデータをさらに含む前記コンテンツを生成する
前記(15)または(16)に記載の情報処理装置。
(18)
前記レンダリングパラメータが生成された複数の前記想定聴取位置以外の位置を聴取位置としたときの前記レンダリングパラメータの生成に用いられる推定器を生成する学習部をさらに備える
前記(15)乃至(17)のいずれかに記載の情報処理装置。
(19)
前記コンテンツの再生を行う再生装置に前記推定器を提供する提供部をさらに備える
前記(18)に記載の情報処理装置。
(20)
複数の想定聴取位置のそれぞれに対する、それぞれのオーディオオブジェクトの音声データのレンダリングパラメータを生成し、
それぞれの前記オーディオオブジェクトの前記音声データと、生成された前記レンダリングパラメータとを含むコンテンツを生成する
ステップを含む情報処理方法。
Claims (7)
- 複数の想定聴取位置のそれぞれに対する、それぞれのオーディオオブジェクトの音声データのレンダリングパラメータを生成するパラメータ生成部と、
それぞれの前記オーディオオブジェクトの前記音声データと、生成された前記レンダリングパラメータとを含むコンテンツを生成するコンテンツ生成部と
を備える情報処理装置。 - 前記パラメータ生成部は、あらかじめ設定された前記想定聴取位置に関する情報をさらに生成し、
前記コンテンツ生成部は、前記想定聴取位置に関する情報をさらに含む前記コンテンツを生成する
請求項1に記載の情報処理装置。 - 前記想定聴取位置を視点位置とした映像の表示に用いられるビデオデータを生成するビデオ生成部をさらに備え、
前記コンテンツ生成部は、前記ビデオデータをさらに含む前記コンテンツを生成する
請求項1または2に記載の情報処理装置。 - 前記レンダリングパラメータが生成された複数の前記想定聴取位置以外の位置を聴取位置としたときの前記レンダリングパラメータの生成に用いられる推定器を生成する学習部をさらに備える
請求項1乃至3のいずれかに記載の情報処理装置。 - 前記コンテンツの再生を行う再生装置に前記推定器を提供する提供部をさらに備える
請求項4に記載の情報処理装置。 - 情報処理装置が、
複数の想定聴取位置のそれぞれに対する、それぞれのオーディオオブジェクトの音声データのレンダリングパラメータを生成し、
それぞれの前記オーディオオブジェクトの前記音声データと、生成された前記レンダリングパラメータとを含むコンテンツを生成する
情報処理方法。 - コンピュータに、
複数の想定聴取位置のそれぞれに対する、それぞれのオーディオオブジェクトの音声データのレンダリングパラメータを生成し、
それぞれの前記オーディオオブジェクトの前記音声データと、生成された前記レンダリングパラメータとを含むコンテンツを生成する
処理を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023045329A JP7517500B2 (ja) | 2016-11-25 | 2023-03-22 | 再生装置、再生方法、およびプログラム |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016228598 | 2016-11-25 | ||
JP2016228598 | 2016-11-25 | ||
JP2017062303 | 2017-03-28 | ||
JP2017062303 | 2017-03-28 | ||
JP2018552505A JP7014176B2 (ja) | 2016-11-25 | 2017-11-10 | 再生装置、再生方法、およびプログラム |
PCT/JP2017/040617 WO2018096954A1 (ja) | 2016-11-25 | 2017-11-10 | 再生装置、再生方法、情報処理装置、情報処理方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018552505A Division JP7014176B2 (ja) | 2016-11-25 | 2017-11-10 | 再生装置、再生方法、およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023045329A Division JP7517500B2 (ja) | 2016-11-25 | 2023-03-22 | 再生装置、再生方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022009071A true JP2022009071A (ja) | 2022-01-14 |
JP7251592B2 JP7251592B2 (ja) | 2023-04-04 |
Family
ID=62195023
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018552505A Active JP7014176B2 (ja) | 2016-11-25 | 2017-11-10 | 再生装置、再生方法、およびプログラム |
JP2021167855A Active JP7251592B2 (ja) | 2016-11-25 | 2021-10-13 | 情報処理装置、情報処理方法、およびプログラム |
JP2023045329A Active JP7517500B2 (ja) | 2016-11-25 | 2023-03-22 | 再生装置、再生方法、およびプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018552505A Active JP7014176B2 (ja) | 2016-11-25 | 2017-11-10 | 再生装置、再生方法、およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023045329A Active JP7517500B2 (ja) | 2016-11-25 | 2023-03-22 | 再生装置、再生方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US11259135B2 (ja) |
EP (2) | EP4322551A3 (ja) |
JP (3) | JP7014176B2 (ja) |
CN (2) | CN114466279A (ja) |
WO (1) | WO2018096954A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11096004B2 (en) * | 2017-01-23 | 2021-08-17 | Nokia Technologies Oy | Spatial audio rendering point extension |
KR20210151792A (ko) | 2019-04-11 | 2021-12-14 | 소니그룹주식회사 | 정보 처리 장치 및 방법, 재생 장치 및 방법, 그리고 프로그램 |
JP7235590B2 (ja) * | 2019-05-21 | 2023-03-08 | 日本放送協会 | 音声配信システム、配信サーバ、再生装置、及びプログラム |
CN110602424A (zh) * | 2019-08-28 | 2019-12-20 | 维沃移动通信有限公司 | 视频处理方法及电子设备 |
WO2021140951A1 (ja) * | 2020-01-09 | 2021-07-15 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
US20230215102A1 (en) * | 2020-05-25 | 2023-07-06 | Sony Group Corporation | Media distribution device, media distribution method, and program |
BR112023005988A2 (pt) * | 2020-10-06 | 2023-05-02 | Sony Group Corp | Dispositivo e método de processamento de informação, e, programa |
WO2022113289A1 (ja) * | 2020-11-27 | 2022-06-02 | ヤマハ株式会社 | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 |
WO2022113288A1 (ja) * | 2020-11-27 | 2022-06-02 | ヤマハ株式会社 | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 |
CN115278350A (zh) * | 2021-04-29 | 2022-11-01 | 华为技术有限公司 | 一种渲染方法及相关设备 |
WO2023026555A1 (ja) | 2021-08-25 | 2023-03-02 | ソニーグループ株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
CN114520950B (zh) * | 2022-01-06 | 2024-03-01 | 维沃移动通信有限公司 | 音频输出方法、装置、电子设备及可读存储介质 |
CN116437284A (zh) * | 2023-06-13 | 2023-07-14 | 荣耀终端有限公司 | 空间音频合成方法、电子设备及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011138151A (ja) * | 2011-02-15 | 2011-07-14 | Sony Corp | 音声信号処理方法、音場再現システム |
JP2014520491A (ja) * | 2011-07-01 | 2014-08-21 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 向上した3dオーディオ作成および表現のためのシステムおよびツール |
WO2015073454A2 (en) * | 2013-11-14 | 2015-05-21 | Dolby Laboratories Licensing Corporation | Screen-relative rendering of audio and encoding and decoding of audio for such rendering |
WO2015107926A1 (ja) * | 2014-01-16 | 2015-07-23 | ソニー株式会社 | 音声処理装置および方法、並びにプログラム |
JP2016134769A (ja) * | 2015-01-20 | 2016-07-25 | ヤマハ株式会社 | オーディオ信号処理装置 |
JP2016523001A (ja) * | 2013-03-15 | 2016-08-04 | ディーティーエス・インコーポレイテッドDTS,Inc. | 複数のオーディオステムからの自動マルチチャネル音楽ミックス |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5714997A (en) | 1995-01-06 | 1998-02-03 | Anderson; David P. | Virtual reality television system |
US6591084B1 (en) * | 1998-04-27 | 2003-07-08 | General Dynamics Decision Systems, Inc. | Satellite based data transfer and delivery system |
JP2000244487A (ja) | 1999-02-18 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 多人数参加型仮想空間コミュニケーションシステム |
US20030007648A1 (en) * | 2001-04-27 | 2003-01-09 | Christopher Currell | Virtual audio system and techniques |
US6662154B2 (en) * | 2001-12-12 | 2003-12-09 | Motorola, Inc. | Method and system for information signal coding using combinatorial and huffman codes |
JP2003284196A (ja) | 2002-03-20 | 2003-10-03 | Sony Corp | 音像定位信号処理装置および音像定位信号処理方法 |
US7526790B1 (en) * | 2002-03-28 | 2009-04-28 | Nokia Corporation | Virtual audio arena effect for live TV presentations: system, methods and program products |
KR20050047085A (ko) * | 2002-07-31 | 2005-05-19 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 처리 시스템 |
US6919892B1 (en) * | 2002-08-14 | 2005-07-19 | Avaworks, Incorporated | Photo realistic talking head creation system and method |
US20060247918A1 (en) * | 2005-04-29 | 2006-11-02 | Microsoft Corporation | Systems and methods for 3D audio programming and processing |
JP5114981B2 (ja) * | 2007-03-15 | 2013-01-09 | 沖電気工業株式会社 | 音像定位処理装置、方法及びプログラム |
JP4221035B2 (ja) | 2007-03-30 | 2009-02-12 | 株式会社コナミデジタルエンタテインメント | ゲーム音出力装置、音像定位制御方法、および、プログラム |
JP2009206691A (ja) * | 2008-02-27 | 2009-09-10 | Sony Corp | 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置 |
EP2661907B8 (en) * | 2011-01-04 | 2019-08-14 | DTS, Inc. | Immersive audio rendering system |
NL2006997C2 (en) | 2011-06-24 | 2013-01-02 | Bright Minds Holding B V | Method and device for processing sound data. |
KR102185941B1 (ko) * | 2011-07-01 | 2020-12-03 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 적응형 오디오 신호 생성, 코딩 및 렌더링을 위한 시스템 및 방법 |
WO2013181272A2 (en) * | 2012-05-31 | 2013-12-05 | Dts Llc | Object-based audio system using vector base amplitude panning |
US9401684B2 (en) * | 2012-05-31 | 2016-07-26 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for synthesizing sounds using estimated material parameters |
KR20150064027A (ko) * | 2012-08-16 | 2015-06-10 | 터틀 비치 코포레이션 | 다차원 파라메트릭 오디오 시스템 및 방법 |
JP6085029B2 (ja) * | 2012-08-31 | 2017-02-22 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 種々の聴取環境におけるオブジェクトに基づくオーディオのレンダリング及び再生のためのシステム |
WO2014046916A1 (en) * | 2012-09-21 | 2014-03-27 | Dolby Laboratories Licensing Corporation | Layered approach to spatial audio coding |
WO2014160717A1 (en) * | 2013-03-28 | 2014-10-02 | Dolby Laboratories Licensing Corporation | Using single bitstream to produce tailored audio device mixes |
CN105229731B (zh) * | 2013-05-24 | 2017-03-15 | 杜比国际公司 | 根据下混的音频场景的重构 |
EP3014609B1 (en) * | 2013-06-27 | 2017-09-27 | Dolby Laboratories Licensing Corporation | Bitstream syntax for spatial voice coding |
KR20150005431A (ko) * | 2013-07-05 | 2015-01-14 | 한국전자통신연구원 | 음원 위치정보 변환 방법 및 장치 |
US9769585B1 (en) * | 2013-08-30 | 2017-09-19 | Sprint Communications Company L.P. | Positioning surround sound for virtual acoustic presence |
CN105556598B (zh) * | 2013-09-12 | 2019-05-17 | Oppo广东移动通信有限公司 | 多通道音频的通道的选择性加水印 |
CN109068263B (zh) * | 2013-10-31 | 2021-08-24 | 杜比实验室特许公司 | 使用元数据处理的耳机的双耳呈现 |
EP2879131A1 (en) * | 2013-11-27 | 2015-06-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder, encoder and method for informed loudness estimation in object-based audio coding systems |
WO2015080967A1 (en) * | 2013-11-28 | 2015-06-04 | Dolby Laboratories Licensing Corporation | Position-based gain adjustment of object-based audio and ring-based channel audio |
EP3092824B1 (en) * | 2014-01-10 | 2017-11-01 | Dolby Laboratories Licensing Corporation | Calibration of virtual height speakers using programmable portable devices |
US9621963B2 (en) * | 2014-01-28 | 2017-04-11 | Dolby Laboratories Licensing Corporation | Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier |
WO2015134658A1 (en) * | 2014-03-06 | 2015-09-11 | Dolby Laboratories Licensing Corporation | Structural modeling of the head related impulse response |
KR101926013B1 (ko) * | 2014-09-26 | 2018-12-07 | 애플 인크. | 구성가능한 구역을 구비한 오디오 시스템 |
EP3048818B1 (en) * | 2015-01-20 | 2018-10-10 | Yamaha Corporation | Audio signal processing apparatus |
US9602947B2 (en) * | 2015-01-30 | 2017-03-21 | Gaudi Audio Lab, Inc. | Apparatus and a method for processing audio signal to perform binaural rendering |
JP6522105B2 (ja) * | 2015-03-04 | 2019-05-29 | シャープ株式会社 | 音声信号再生装置、音声信号再生方法、プログラム、および記録媒体 |
US10529383B2 (en) * | 2015-04-09 | 2020-01-07 | Avid Technology, Inc. | Methods and systems for processing synchronous data tracks in a media editing system |
EP3145220A1 (en) * | 2015-09-21 | 2017-03-22 | Dolby Laboratories Licensing Corporation | Rendering virtual audio sources using loudspeaker map deformation |
US9640158B1 (en) * | 2016-01-19 | 2017-05-02 | Apple Inc. | Dynamic music authoring |
US20170293461A1 (en) * | 2016-04-07 | 2017-10-12 | VideoStitch Inc. | Graphical placement of immersive audio sources |
US10074205B2 (en) * | 2016-08-30 | 2018-09-11 | Intel Corporation | Machine creation of program with frame analysis method and apparatus |
US10848899B2 (en) * | 2016-10-13 | 2020-11-24 | Philip Scott Lyren | Binaural sound in visual entertainment media |
US9998847B2 (en) * | 2016-11-17 | 2018-06-12 | Glen A. Norris | Localizing binaural sound to objects |
-
2017
- 2017-11-10 EP EP23168782.3A patent/EP4322551A3/en active Pending
- 2017-11-10 WO PCT/JP2017/040617 patent/WO2018096954A1/ja active Application Filing
- 2017-11-10 CN CN202210123474.XA patent/CN114466279A/zh active Pending
- 2017-11-10 JP JP2018552505A patent/JP7014176B2/ja active Active
- 2017-11-10 CN CN201780071306.8A patent/CN109983786B/zh active Active
- 2017-11-10 EP EP17874691.3A patent/EP3547718A4/en not_active Ceased
- 2017-11-10 US US16/340,791 patent/US11259135B2/en active Active
-
2021
- 2021-10-13 JP JP2021167855A patent/JP7251592B2/ja active Active
-
2022
- 2022-02-01 US US17/590,188 patent/US11785410B2/en active Active
-
2023
- 2023-03-22 JP JP2023045329A patent/JP7517500B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011138151A (ja) * | 2011-02-15 | 2011-07-14 | Sony Corp | 音声信号処理方法、音場再現システム |
JP2014520491A (ja) * | 2011-07-01 | 2014-08-21 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 向上した3dオーディオ作成および表現のためのシステムおよびツール |
JP2016523001A (ja) * | 2013-03-15 | 2016-08-04 | ディーティーエス・インコーポレイテッドDTS,Inc. | 複数のオーディオステムからの自動マルチチャネル音楽ミックス |
WO2015073454A2 (en) * | 2013-11-14 | 2015-05-21 | Dolby Laboratories Licensing Corporation | Screen-relative rendering of audio and encoding and decoding of audio for such rendering |
WO2015107926A1 (ja) * | 2014-01-16 | 2015-07-23 | ソニー株式会社 | 音声処理装置および方法、並びにプログラム |
JP2016134769A (ja) * | 2015-01-20 | 2016-07-25 | ヤマハ株式会社 | オーディオ信号処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7251592B2 (ja) | 2023-04-04 |
US11785410B2 (en) | 2023-10-10 |
CN114466279A (zh) | 2022-05-10 |
US20220159400A1 (en) | 2022-05-19 |
JP7517500B2 (ja) | 2024-07-17 |
US20200053499A1 (en) | 2020-02-13 |
JP7014176B2 (ja) | 2022-02-01 |
CN109983786B (zh) | 2022-03-01 |
WO2018096954A1 (ja) | 2018-05-31 |
EP4322551A3 (en) | 2024-04-17 |
US11259135B2 (en) | 2022-02-22 |
EP4322551A2 (en) | 2024-02-14 |
JPWO2018096954A1 (ja) | 2019-10-17 |
CN109983786A (zh) | 2019-07-05 |
JP2023075334A (ja) | 2023-05-30 |
EP3547718A1 (en) | 2019-10-02 |
EP3547718A4 (en) | 2019-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7014176B2 (ja) | 再生装置、再生方法、およびプログラム | |
EP2974010B1 (en) | Automatic multi-channel music mix from multiple audio stems | |
JP2021168505A (ja) | 高次アンビソニックス・オーディオ信号の再生のための方法および装置 | |
RU2617553C2 (ru) | Система и способ для генерирования, кодирования и представления данных адаптивного звукового сигнала | |
EP2382803B1 (en) | Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction | |
KR101381396B1 (ko) | 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법 | |
CN110447071B (zh) | 信息处理装置、信息处理方法和记录程序的可拆卸介质 | |
JP7192786B2 (ja) | 信号処理装置および方法、並びにプログラム | |
JPWO2019078034A1 (ja) | 信号処理装置および方法、並びにプログラム | |
CN103733249B (zh) | 信息***、信息再现装置、信息生成方法及记录介质 | |
KR101235832B1 (ko) | 실감 멀티미디어 서비스 제공 방법 및 장치 | |
JP5338053B2 (ja) | 波面合成信号変換装置および波面合成信号変換方法 | |
WO2021140959A1 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
JP5743003B2 (ja) | 波面合成信号変換装置および波面合成信号変換方法 | |
JP2018028646A (ja) | 会場別カラオケ | |
Lawrence | Producing Music for Immersive Audio Experiences | |
JP5590169B2 (ja) | 波面合成信号変換装置および波面合成信号変換方法 | |
Malyshev | Sound production for 360 videos: in a live music performance case study | |
Lundén | Comparison of sound field microphone techniques for classical music recordings in virtual reality | |
Devonport et al. | Full Reviewed Paper at ICSA 2019 | |
Bates | Composing and Producing Spatial Music for Virtual Reality and 360 Media | |
KR20190082055A (ko) | 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션 | |
KR20190081160A (ko) | 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션 | |
Waldrep | Creating and Delivering High-Resolution Multiple 5.1 Surround Music Mixes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230306 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7251592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |