JP2009278381A - 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 - Google Patents

音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 Download PDF

Info

Publication number
JP2009278381A
JP2009278381A JP2008127600A JP2008127600A JP2009278381A JP 2009278381 A JP2009278381 A JP 2009278381A JP 2008127600 A JP2008127600 A JP 2008127600A JP 2008127600 A JP2008127600 A JP 2008127600A JP 2009278381 A JP2009278381 A JP 2009278381A
Authority
JP
Japan
Prior art keywords
sound
acoustic
signal
sound image
acoustic signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008127600A
Other languages
English (en)
Other versions
JP5174527B2 (ja
Inventor
Kaoru Watanabe
馨 渡辺
Kimio Hamazaki
公男 濱崎
Yasushige Nakayama
靖茂 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2008127600A priority Critical patent/JP5174527B2/ja
Publication of JP2009278381A publication Critical patent/JP2009278381A/ja
Application granted granted Critical
Publication of JP5174527B2 publication Critical patent/JP5174527B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】臨場感の高い音の再生を可能にする、音響信号多重伝送システム、制作装置及び再生装置を提供する。
【解決手段】
本発明の音響信号多重伝送システムは、標準制作条件で制作された音響信号に、所定の音像定位音響メタ情報を多重して伝送する制作装置と、音響信号を受信し、音像定位音響メタ情報に基づいて新たな音響信号に変換して再生する再生装置とを備える。再生装置は、制作装置から受信した音像定位音響メタ情報に基づいて、復号した音響信号についてフレーム単位で映像と音源位置の一致が必要な音か否かを識別し(S2)、映像と音源位置の一致が必要な音である場合にのみ、新たな音像位置を決定し、音源毎に受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換し(S5)、変換した所定のチャンネルの音響信号と、映像と音源位置の一致が必要な音でない該所定のチャンネルの音響信号とを合成して(S6)、スピーカーから音を再生する。
【選択図】図4

Description

本発明は、超高精細テレビシステムの受信視聴において、臨場感の高い音響再生を行う技術に関し、特に、放送局から映像とともに伝送される音像定位音響メタ情報を用いて、映像に対して音像位置の一致を必要とする音を識別し、受信側の映像ディスプレイのサイズに合わせて音像定位の制御を可能にする、音響信号多重伝送システム、制作装置及び再生装置に関する。
映像とともに放送されるマルチチャンネルの音響信号を、受信側において用いられる映像音響システム(以下、受信視聴環境とも称する)に適用する場合に、マルチチャンネルの音響信号は、視聴者の周囲に配置した複数のスピーカーへサラウンド音響再生をするのに用いられる。例えば、デジタル方式のサラウンド音響再生であれば、前方左(FL:Front Left)、前方中央(C:Center)、前方右(FR:Front Right)、左後方及び左側方に配置するサラウンド左(SL:Surround Left)、右後方及び右側方に配置するサラウンド右(SR:Surround Right)、低音を再生するサブウーハ(SW:Sub Woofer)の5.1チャンネルの音響信号が知られている。
また、大画面・高精細の映像システムに対応した音響方式として、5.1チャンネルサラウンド音響方式よりもさらに臨場感の高い音響を再生することができる、前方5チャンネル+側方・後方5チャンネル音響方式も知られている。
また、更に高さ方向にもチャンネルを階層的に拡張し、高さ方向の音像定位を可能にした3次元(立体)音響方式もある(例えば、非特許文献1参照)。図7に示すように、この超高精細・高臨場感映像音響システム(以下、超高精細テレビシステムと称する)の番組制作においては、大画面映像ディスプレイ(例えば、7680×4320画素)と多数のスピーカーとを配置した標準制作条件下で番組制作を行う。即ち、この標準制作条件下では、大画面のディスプレイ18aを前方に、低域効果音用スピーカーLFE1,LFE2を除き、立体式の上位レイヤU1〜U9、中間レイヤM1〜M10、下位レイヤL1〜L3の22チャンネルで音響信号が制作され、スクリーン上の映像位置とスピーカー再生した音像の位置を一致させるように番組制作を行う。
一方、受信側においては、番組制作と同一の標準制作条件で映像ディスプレイ・音響用スピーカーを設置することは困難な場合が多く、受信環境に応じた映像ディスプレイ(通常、制作側のものに対して小型サイズであり、例えば1920×1080画素)と所定数のスピーカーとが設置される(図8参照)。
安藤彰男、"高臨場感音響"、NHK放送技術研究所、[検索日:平成20年4月20日]、インターネット〈http://www.nhk.or.jp/strl/group/ningen_joho/ningen_joho06.html〉
標準制作条件下で制作された番組では、幾つかの音源(仮想音源)としてシーンに現れる多数のオブジェクトに合わせて音圧レベルや音の方向を考慮したマルチチャンネルの音響信号が映像信号とともに提供される。この場合、標準制作条件より小さいサイズの映像ディスプレイを設置した受信視聴環境において、提供された映像信号及び音響信号をそのまま再生すると、番組制作者が意図した臨場感の高い音の再生を実現することができないことがある。従って、受信側では、受信視聴環境に応じて、そのまま臨場感の高い音の再生を保持しつつ、且つ映像と音像位置の一致が必要な音については、映像ディスプレイのサイズに合わせるように音像位置を制御して再生するような、臨場感の高い超高精細テレビシステムの音響再生を行うことを可能とすることが望まれる。
また、制作される番組音には、俳優のせりふやオブジェクトから放射される音のように、画面の中の映像から発音される様に聞かせる「映像と音像位置の一致が望ましい音」のほかに、番組全体の臨場感を高めるための効果音など「映像と直接的な関連が無い効果的な音」も多数存在する。従って、制作者が意図する映像及び音声の情報を、受信視聴環境でより忠実に再現するのを試みるのであれば、これらの音の識別が受信側で行われるようにするのが望ましい。
このように、従来の受信環境(例えば、家庭)でのテレビ視聴では、制作側で規定したスピーカー配置に依存して番組制作され、伝送された音響チャンネル信号を、チャンネルごとに割り当てられたスピーカーから受信視聴環境でそのまま再生するため、映像と音像位置の一致制御を行うことができなかった。
また、音響チャンネル間の音像定位の情報を表す従来の音像定位音響メタ情報は、伝送チャンネル数や伝送ビットレートの削減にのみ用いられるように専用化され、この音像定位音響メタ情報を映像と音像位置の一致制御を行うのに使用することはできなかった。
本発明の目的は、臨場感の高い超高精細テレビシステムの音響再生を行うことを可能とするために、標準制作条件より小さいサイズの映像ディスプレイを設置した受信視聴環境においても、臨場感の高い音の再生を保持しつつ、且つ映像と音像位置の一致が必要な音については、受信側の映像ディスプレイのサイズに合わせて音像定位の制御を可能にする、音響信号多重伝送システム、制作装置及び再生装置を提供することにある。
即ち、本発明による音響信号多重伝送システムは、標準制作条件で制作された音響信号に、所定の音像定位音響メタ情報を多重して伝送する制作装置と、前記音響信号を受信し、前記音像定位音響メタ情報に基づいて新たな音響信号に変換して再生する再生装置とを備える音響信号多重伝送システムであって、前記制作装置は、標準制作条件となる番組制作時のディスプレイに表示される映像と同期したマルチチャンネルの音響信号を所定数のスピーカー向けにミキシングする際に、映像と音源位置の一致が必要な音か否か、映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置、及び該音像定位に関わる音響特徴メタ情報を含む、音の属性を示す音像定位音響メタ情報を、前記音響信号のフレーム単位で生成する手段と、前記標準制作条件における音響信号を前記音像定位音響メタ情報とともに符号化して伝送する手段とを有し、前記再生装置は、前記制作装置から、符号化された音響信号及び音像定位音響メタ情報を受信してそれぞれ復号する手段と、復号した音像定位音響メタ情報に基づいて、復号した音響信号についてフレーム単位で映像と音源位置の一致が必要な音か否かを識別する手段と、映像と音源位置の一致が必要な音である場合にのみ、前記標準制作条件と予め対応付けた受信視聴環境におけるディスプレイ及び所定数のスピーカーに適合する音像位置を、前記標準制作条件における音像定位の位置の情報から座標変換して決定する手段と、前記該音像定位に関わる音響特徴メタ情報に基づいて、前記座標変換した音像定位の位置に適合する音響信号を、音源毎に前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段と、前記変換した所定のチャンネルの音響信号と、映像と音源位置の一致が必要な音でない該所定のチャンネルの音響信号とを合成して、当該所定のチャンネルに対応するスピーカーから音を再生する手段とを有し、標準制作条件と異なるサイズのディスプレイを設置した受信視聴環境において、映像と音像位置の一致が必要な音について、該ディスプレイのサイズに合わせるように音像位置を制御するようにしたことを特徴とする。
また、本発明による音響信号多重伝送システムにおいて、前記音像定位音響メタ情報は、前記音響特徴メタ情報として、「伝送チャンネル・音響主要周波数成分」、「音響周波数コンター」、「チャンネル間レベル差(ICLD:Inter−Channel Level Differences)」、及び「チャンネル間時間差(ICTD:Inter−Channel Time Differences)」の情報を含み、前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段は、前記「伝送チャンネル・音響主要周波数成分」、「音響周波数コンター」、「ICTD」、及び「ICLD」の組み合わせの情報を用いて、チャンネル毎の映音一致音源の信号を決定することを特徴とする。
また、本発明による音響信号多重伝送システムにおいて、前記音像定位音響メタ情報は、前記音響特徴メタ情報として、「音響周波数コンター」、「音像位置」、及び「チャンネル間相関(ICC:Inter−Channel Coherence)」の情報を含み、
前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段は、前記「音響周波数コンター」、「音像位置」、及び「ICC」の組み合わせの情報を用いて、チャンネル毎の映音一致音源の信号を決定することを特徴とする。
また、本発明による音響信号多重伝送システムにおいて、前記音像定位音響メタ情報は、前記音響特徴メタ情報として、「音響周波数コンター」、「伝送チャンネル番号情報」、及び「チャンネル間相関(ICC:Inter−Channel Coherence)」の情報を含み、前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段は、前記「音響周波数コンター」、「音像位置」、「伝送チャンネル番号情報」、及び「ICC」の組み合わせの情報を用いて、チャンネル毎の映音一致音源の信号を決定することを特徴とする。
更に、本発明による制作装置は、標準制作条件で制作された音響信号に、所定の音像定位音響メタ情報を多重して伝送する制作装置であって、標準制作条件となる番組制作時のディスプレイに表示される映像と同期したマルチチャンネルの音響信号を所定数のスピーカー向けにミキシングする際に、映像と音源位置の一致が必要な音か否か、映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置、及び該音像定位に関わる音響特徴メタ情報を含む、音の属性を示す音像定位音響メタ情報を、前記音響信号のフレーム単位で生成する手段と、前記標準制作条件における音響信号を前記音像定位音響メタ情報とともに符号化して伝送する手段とを備えることを特徴とする。
更に、本発明による再生装置は、所定の標準制作条件に従って制作された音響信号を受信し、該音響信号に付された音像定位音響メタ情報に基づいて新たな音響信号に変換して再生する再生装置であって、符号化された音響信号及び音像定位音響メタ情報を受信してそれぞれ復号する手段と、復号した音像定位音響メタ情報に基づいて、復号した音響信号についてフレーム単位で映像と音源位置の一致が必要な音か否かを識別する手段と、映像と音源位置の一致が必要な音である場合にのみ、前記標準制作条件と予め対応付けた受信視聴環境におけるディスプレイ及び所定数のスピーカーに適合する音像位置を、前記標準制作条件における音像定位の位置の情報から座標変換する手段と、前記該音像定位に関わる音響特徴メタ情報に基づいて、前記座標変換した音像定位の位置に適合する音響信号を、音源毎に前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段と、前記変換した所定のチャンネルの音響信号と、映像と音源位置の一致が必要な音でない該所定のチャンネルの音響信号とを合成して、当該所定のチャンネルに対応するスピーカーから音を再生する手段とを備えることを特徴とする。
これにより、映像と音像位置の一致が必要な音については、映像ディスプレイにあわせるように適切な音像位置の制御を可能とする。
本発明によれば、標準制作条件より小さいサイズの映像ディスプレイを設置した受信視聴環境においても、臨場感の高い音の再生を保持しつつ、且つ映像と音像位置の一致が必要な音については、映像ディスプレイに合わせるように音像位置を制御して再生することで、臨場感の高い超高精細・高臨場感テレビの音響再生が可能になる。
以下、本発明による一実施例の音響信号多重伝送システムを説明する。また、実施例の音響信号多重伝送システムは、本発明による一実施例の制作装置、及び再生装置から構成される。
[システム構成]
本実施例の音響信号多重伝送システムは、標準制作条件で制作された音響信号に、所定の音像定位音響メタ情報を多重して伝送する制作装置と、音響信号を受信し、音像定位音響メタ情報に基づいて新たな音響信号に変換して再生する再生装置とを備える音響信号多重伝送システムとして構成される。本実施例の音響信号多重伝送システムは、標準制作条件より小さいサイズの映像ディスプレイを設置した受信視聴環境においても、映像と音像位置の一致が必要な音については、映像ディスプレイのサイズに合わせるように音像位置を制御し、臨場感の高い超高精細・高臨場感テレビの音響再生を行うようにするためのシステムである。
本実施例の制作装置は、音像定位音響メタ情報を付加した音響信号の多重・伝送する装置であり、音響信号及び音像定位音響メタ情報を符号化し、1つのビットストリームに多重する。この「音像定位音響メタ情報」を付加した多重化・音響信号を、電波又はIP回線等で家庭など遠隔地に伝送する。
即ち、本実施例の制作装置は、標準制作条件となる番組制作時のディスプレイに表示される映像と同期したマルチチャンネルの音響信号を所定数のスピーカー向けにミキシングする際に、映像と音源位置の一致が必要な音か否か、映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置、及び該音像定位に関わる音響特徴メタ情報を含む、音の属性を示す音像定位音響メタ情報を、音響信号のフレーム単位で生成し、標準制作条件における音響信号を音像定位音響メタ情報とともに符号化して伝送する。
この制作時においては、番組音の制作及び収録を行う際に、映像と音源位置の一致が必要な音か否か、また映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置(又はスクリーン上の位置)、及び定位に関わる音響特徴メタ情報など、音の属性を示す音像定位音響メタ情報を作成する。一方、映像と音像位置の一致を必要としない音について、音像定位音響メタ情報で識別可能にする。
本実施例の再生装置は、音像定位音響メタ情報が付加された音響信号を受信し、標準制作条件より小さいサイズの映像ディスプレイを設置した受信視聴環境に合わせて、映像と音像位置の一致が必要な音を映像ディスプレイに適した音像位置に制御する。
即ち、本実施例の再生装置は、制作装置から、符号化された音響信号及び音像定位音響メタ情報を受信してそれぞれ復号し、復号した音像定位音響メタ情報に基づいて、復号した音響信号についてフレーム単位で映像と音源位置の一致が必要な音か否かを識別し、映像と音源位置の一致が必要な音である場合にのみ、標準制作条件と予め対応付けた受信視聴環境におけるディスプレイ及び所定数のスピーカーに適合する音像位置を、標準制作条件における音像定位の位置の情報から座標変換(尚、XYZ座標の変換には、sin/cosを用いた変換としてもよい)して決定し、該音像定位に関わる音響特徴メタ情報に基づいて、座標変換した音像定位の位置に適合する音響信号を、音源毎に前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換し、変換した所定のチャンネルの音響信号と、映像と音源位置の一致が必要な音でない該所定のチャンネルの音響信号とを合成して、当該所定のチャンネルに対応するスピーカーから音を再生する。
後述するように、本実施例の再生装置は、標準制作条件より小さいサイズの映像ディスプレイを設置した受信視聴環境において、映像と音像位置の一致が必要な音については、受信した各音響チャンネル信号と分離された「音像定位音響メタ情報」に基づいて、後述する一例の「映音一致音源の音響主要周波数成分の抜き出し」、「映音一致音源の音響主要周波数成分及び音響周波数コンターの合成」の処理を施して、映像ディスプレイのサイズに合わせるように音像の位置を制御する。更に、本実施例の再生装置は、映像と音像位置の一致を必要としない音については特別な処理は行わず、従来と同様の処理を施すようにする。受信視聴環境に応じて生成された各スピーカー毎の出力信号は、映像と音像位置の一致の場合と一致しない場合との組み合わせで、即ち合成されて各スピーカーから再生される。
図1は、伝送する音響信号に音像定位音響メタ情報を付随させて多重伝送する制作装置を示す図である。尚、多重伝送する音響信号は、例えばデジタル放送などでは、対象の映像信号と同期して多重伝送することは既知であり、図1では、その多重伝送する音響信号についてのみ示している。制作装置は、音響収録再生装置1と、音響ミキシング卓2と、音響信号制作伝送チャンネル変換装置3と、音響信号符号化装置4と、音響定位音響メタ情報多重装置5と、音響信号・メタ情報多重装置6と、音響ミキシング制御譜面データ生成装置7と、シーンに合わせてせりふを収音するマイクロホン8とを備える。
音響収録再生装置1は、音響ミキシング制御譜面データ生成装置7により生成された譜面データに基づく音響信号の発生又は終了を指示する制御信号(音響信号発生・終了制御信号)に従って、所定の音声を収録し、又は収録した複数チャンネルの音響信号を再生し、音響ミキシング卓2に出力する。
音響ミキシング卓2は、音響ミキシング制御譜面データ生成装置7により生成された譜面データに基づく音響信号のミキシングを指示する制御信号(音響ミキシング制御信号)に従って、マイクロホン8を介して収録したせりふの信号と、音響収録再生装置1から再生された音響信号とをミキシングして、前述した標準制作条件で制作した複数のチャンネル毎の制作音響信号を音響信号制作伝送チャネル変換装置3に出力する。
音響信号制作伝送チャネル変換装置3は、制作された音響信号を伝送チャネル用のフレーム単位の音響信号に変換し、変換した伝送用の音響信号(伝送音響信号)を音響信号符号化装置4に出力する。
音響信号符号化装置4は、所定の音響符号化方式に従って伝送音響信号を符号化し、フレーム単位の符号化伝送音響信号を音響信号・メタ情報多重装置6に出力する。
音響定位音響メタ情報多重装置5は、音響収録再生装置1からの音響信号と、音響ミキシング卓2からの制作音響信号とを用いて、映像と音源位置の一致が必要な音か否かの識別、映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置(又はスクリーン上の位置)、及び定位に関わる音響特徴メタ情報など、音の属性を示す音像定位音響メタ情報をフレーム単位で作成し(後述する)、所定の音響符号化方式に従って音像定位音響メタ情報を符号化して音響信号・メタ情報多重装置6に送出する。
音響信号・メタ情報多重装置6は、フレーム単位の符号化伝送音響信号と、フレーム単位で音響定位音響メタ情報多重装置5から出力される符号化された音響定位音響メタ情報とを多重して電波又はIP回線等で再生装置に向けて出力する。
音響ミキシング制御譜面データ生成装置7は、音響制作技術者の操作によって、譜面データを生成し、音響収録再生装置1への音響信号発生・終了制御信号、及び音響ミキシング卓2への音響ミキシング制御信号を出力する。
このように、本実施例の制作装置は、番組制作者の意図、即ち音響制作技術者の操作する情報に基づいて、映像と音像位置の一致が必要な音か否か、また映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置情報や音像定位に関わる音像定位音響メタ情報など、音の属性を示す情報をつけて番組音の制作及び収録を行い、音響信号及び音像定位音響メタ情報を符号化し、1つのビットストリームに多重して伝送する。
図2は、音像定位音響メタ情報を利用して受信環境用の音響信号に変換し、再生する再生装置を示す図である。尚、再生する音響信号は、例えばデジタル放送などでは、対象の映像信号と同期して再生することは既知であり、図2では、その再生する音響信号についてのみ示している。本実施例の再生装置は、音響信号・メタ情報多重分離装置11と、音響定位音響メタ情報分離装置12と、音響信号復号装置13と、音響信号定位変換器14と、音響信号定位変換制御部15と、音響信号再生装置16と、スピーカーセット17とを備える。
音響信号・メタ情報多重分離装置11は、制作装置からフレーム単位で多重化され、符号化された伝送音響信号及び音響定位音響メタ情報を受信して、符号化された伝送音響信号及び音響定位音響メタ情報を分離し、それぞれ音響信号復号装置13及び音響定位音響メタ情報分離装置12に送出する。
音響定位音響メタ情報分離装置12は、フレーム単位で音像定位音響メタ情報の有無を監視し、音像定位音響メタ情報が有る場合に、符号化された音響定位音響メタ情報を復号するとともに、後述する各項目ごとのメタ情報に分離して音響信号定位変換制御部15に送出する。
音響信号復号装置13は、符号化された伝送音響信号を復号し、制作時の複数のチャンネル毎の音響信号を音響信号定位変換器14に送出する。
音響信号定位変換器14は、音響信号定位変換制御部15の制御信号により、制作時の複数のチャンネル毎の音響信号を、受信視聴環境に応じた複数のチャンネル毎の音響信号に変換し、音響信号再生装置16に送出する。
音響信号定位変換制御部15は、音響定位音響メタ情報分離装置12から受信した各項目ごとに分離した音響定位音響メタ情報を解析して、対応するフレームの制作時の音響信号を、映像ディスプレイのサイズを含む受信視聴環境に応じた複数のチャンネル毎の音響信号に変換するための制御信号を音響信号定位変換器14に送出する。この変換制御は、詳細に後述する。尚、音響信号定位変換制御部15は、各項目ごとに分離したメタ情報を解析した結果を、受信視聴環境における位置座標に応じたスピーカーに対応するように、操作者によって随意選定し、設定することが可能である。
音響信号再生装置16は、受信視聴環境に応じた複数のチャンネル毎の音響信号を、再生信号としてスピーカーセット17におけるそれぞれのスピーカーに向けて送出する。
スピーカーセット17は、受信視聴環境における複数のチャンネル毎の音響信号にそれぞれ対応した再生信号を、複数のスピーカーSp1〜Sp7で再生する。尚、図2に示すスピーカーセット17は、7つのスピーカーのみを図示しているが、例示にすぎず、例えば、5.1チャンネルのスピーカーセット、前方5チャンネル+側方・後方5チャンネル音響方式のスピーカーセット、又は3次元(立体)音響方式のスピーカーセットとすることができ、これらの各スピーカーのうち、音像定位変換するスピーカーは、音響定位音響メタ情報に対応する位置座標に配置するのが好適である。即ち、再生装置側では、制作装置側の音響定位音響メタ情報に対応する位置座標について、音響信号定位変換制御部15に予め設定しておく。
このように、再生装置は、音像定位音響メタ情報を利用して受信視聴環境に応じた音響信号に変換して再生する。即ち、受信視聴環境において、臨場感の高い音の再生を保持するために、制作側で意図した映像と音像位置との一致が必要な「映音一致音源」について、音像定位音響メタ情報を利用して、映像ディスプレイのサイズに合わせるように制作側での音像位置を適切な音像位置に変換制御した音響チャンネル信号を生成し、各スピーカーから再生を行う。
以下、音響信号定位変換制御部15における音像位置変換制御の処理について説明する。
図3に、標準制作条件より小さいディスプレイでの受信視聴環境における中間レイヤのスピーカー配置例を示す。ここでは、標準制作条件と同様のスピーカー配置で受信視聴環境が構成され、受信視聴環境では、標準制作条件であるディスプレイ18aよりも小さいサイズのディスプレイ18bによって映像が映し出されるものとして説明する。
即ち、標準制作条件と同様の受信視聴環境のスピーカー配置を構成したとしても、標準制作条件より小さいディスプレイである場合には、幾つかの音源(仮想音源)としてシーンに現れる多数のオブジェクトに合わせて音圧レベルや音の方向を考慮したマルチチャンネルの音響信号が映像信号とともに提供されるため、制作側で映音一致で提供されていた場合には、音像位置変換制御が必要となる。
そこで、制作時においては、通常の番組音の制作に合わせて、番組制作者の意図及び音響制作技術者の操作する情報に基づいて、音の属性を示す音像定位音響情報をつけて番組音の制作及び収録を行う。
ここで、「映音一致音源」に付随させる音像定位音響メタ情報について説明する。送信側では、制作側の音像定位音響メタ情報について、音響時間サンプル値を一定の時間単位に分割したフレームごとに伝送するために収録を行う。受信側では、この音像定位音響メタ情報をフレーム毎に抽出し、映像及び音声を受信側の受信環境の映像音響システムに適合させるための演算を行って再生する。尚、送信側で、音響時間サンプルを表すフレームごとに、メタ情報の有無を表すフラグ(例えば、メタ情報があるときは1、無いときは0)を付すようにし、受信側ではこのフラグを監視して、対応するフレームの音像定位音響メタ情報を抽出する。
[音像定位音響メタ情報]
音像定位音響メタ情報は、「使用音響信号チャンネル番号」及び「映音一致音源フラグ」を少なくとも含み、「音源連続フラグ」、「音像位置」、「伝送チャンネル番号情報」、「音響周波数コンター」、「伝送チャンネル・音響主要周波数成分」、「チャンネル間レベル差(ICLD:Inter−Channel Level Differences)」、「チャンネル間時間差(ICTD:Inter−Channel Time Differences)」、及び「チャンネル間相関(ICC:Inter−Channel Coherence)」のうち、受信側で必要な情報項目を少なくとも1つ以上選択的に含めることができる。尚、「音響周波数コンター」、「伝送チャンネル・音響主要周波数成分」、「チャンネル間レベル差(ICLD)」、「チャンネル間時間差(ICTD)」、及び「チャンネル間相関(ICC)」は、聴覚の臨界帯域幅か、又は聴覚の1/2臨界帯域幅毎に作成される情報であり、映音一致音源ごとに作成される音響特徴メタ情報として位置付けられる。
「使用音響信号チャンネル番号」は、番組制作の番組音に使用されている(無音でない)音響信号のチャンネル番号を示す。標準制作条件と異なる受信視聴環境のスピーカー配置である場合にも、再生装置側で、この情報を元に、受信視聴環境における世界座標に対応付けられたチャンネル番号に変換することができる。
「映音一致音源フラグ」は、番組制作時の情報として映像と音像位置とを一致させた音源を受信側で識別させるために、映像と音像位置との一致が必要な音源の有無を示す。このフラグは、例えば一致音源の開始時に1、終了時に0とする。
「音源連続フラグ」は、映像と音像位置の一致が必要な番号の音源(以下、映音一致音源と称する)が、隣接フレーム間で連続していることを示すものであり、フレーム単位で「映音一致音源フラグ」を判別する際の参考情報として用いられることができる。例えば、受信側で隣接フレーム間での音の連続性を、よりスムーズにするフィルタを用いて補正する場合に、この音源連続フラグを用いるのが好適である。このフラグは、例えば隣接フレーム間で連続している場合に1、終了時にフラグを0とする。
「音像位置」は、映音一致音源ごとに作成される音響特徴メタ情報の1つとして、番組制作の音像の位置を示す。例えば、制作者側で用いた番組制作環境(スクリーンサイズ、スピーカーの種類ごとの配置、設定される視聴位置を含む)における世界座標X,Y,Zの座標情報とすることができる。
「伝送チャンネル番号情報」は、映音一致音源ごとに作成される音響特徴メタ情報の1つとして、音響信号が伝送されるスピーカーチャンネル番号を示す。スピーカー間に音像位置がある場合、制作時のスクリーンを囲む音響チャンネルを示す。尚、この情報は、「音像位置」の情報により、伝送チャンネルは一般的に特定することができるが、参考として、及び/又は処理の便宜のために、送信する情報である。例えば、受信側でこの伝送チャンネル番号情報を用いれば、スピーカーチャンネル番号を直ちに特定することができるためチャンネル割り当ての処理速度を向上させることができる。
「音響周波数コンター」は、映音一致音源ごとに作成される音響特徴メタ情報の1つとして、音源の周波数毎のレベル情報を示す。
「伝送チャンネル・音響主要周波数成分」は、映音一致音源ごとに作成される音響特徴メタ情報の1つとして、音響信号が伝送されるチャンネルにおける当該映音一致音源の主要周波数成分を示す。
「チャンネル間レベル差(ICLD)」は、音響信号が伝送されるチャンネル間のレベル差を示す。
「チャンネル間時間差(ICTD)」は、映音一致音源ごとに作成される音響特徴メタ情報の1つとして、音響信号が伝送されるチャンネル間の時間差を示す。
「チャンネル間相関(ICC)」は、映音一致音源ごとに作成される音響特徴メタ情報の1つとして、音響信号が伝送されるチャンネル間の相関を示す。例えば、0〜24の番号で付されたチャンネルがある場合に、隣接チャンネル間で生成される音像の隣接チャンネルの信号レベルの比率を表す。
尚、「チャンネル間レベル差(ICLD)」、「チャンネル間時間差(ICTD)」、及び「チャンネル間相関(ICC)」は、「使用音響信号チャンネル番号」の情報により、再生装置側で特定することができるが、再生装置側での処理負荷量が大きくなる場合に有効な情報であり、必ずしも必要とされる情報ではないことに留意する。しかしながら、再生装置の処理コストを考慮し、送信側で伝送するのが好ましい。
次に、再生装置で行う音響チャンネル信号の処理手法を説明する。
[再生装置の処理手法]
図4に、再生装置で行う音響チャンネル信号の処理手法のフローチャートを示す。再生装置は、受信視聴環境において、臨場感の高い音の再生を保持しつつ、且つ映像と音像位置の一致が必要な音については、ディスプレイのサイズに合わせて音像位置を制御して再生する。
本実施例の説明において、映像と音像位置の一致を必要とする音源を「映音一致音源」、必要としない音源を「効果用音源」と称する。
再生装置における音像位置制御処理手法を説明するに、水平面内にある音像を、映像ディスプレイ位置に移動させる場合について説明する。尚、同様な手法で、垂直(上下)方向に音像を移動させることが可能である。
ステップS1で、再生装置の音響定位音響メタ情報分離装置12により、フレーム単位で音像定位音響メタ情報の有無を監視する。例えば、フラグ値「1」であれば、音像定位音響メタ情報が付され、処理すべきフレームであると識別し、フラグ値「0」であれば、音像定位音響メタ情報が付されておらず、処理を要しないフレームであると識別する。音像定位音響メタ情報が有る場合に、符号化された音響定位音響メタ情報を復号するとともに、各項目ごとのメタ情報に分離し、ステップS2に進む。
ステップS2で、再生装置の音響信号定位変換制御部15により、情報項目「使用音響信号チャンネル番号」で使用音のチャンネルを特定し、情報項目「映音一致音源フラグ」で映像と音像位置の一致が必要な音源の有無を識別する。「効果用音源」であると識別した場合、音響信号定位変換を施すことなく、特定した使用音のチャンネルに対応する音響信号を出力するように、音響信号定位変換器14を制御する。一方、「映音一致音源」であると識別した場合、音響信号定位変換を施すように音響信号定位変換器14を制御するため、ステップS3に進む。
ステップS3で、再生装置の音響信号定位変換制御部15により、「映音一致音源」であると識別した場合、情報項目「音像位置」又は「伝送チャンネル番号情報」に基づいて制作時の音像位置を特定し、情報項目「伝送チャンネル・音響主要周波数成分」から、映音一致音源の音響主要周波数成分の抜き出す。
ステップS4で、再生装置の音響信号定位変換制御部15により、抜き出した映音一致音源の音響主要周波数成分と、情報項目「音響周波数コンター」から抜き出した音源の周波数毎のレベル情報とを合成し、「映音一致音源の生成」を行う。
ステップS5で、映像と音像位置の一致が必要な音源の個数が全て終了した場合、ステップS6に移る。残りの音源がある場合はステップS3に戻る。
ステップS6で、再生装置の音響信号定位変換制御部15により、生成した「映音一致音源」と、映像と音像位置の一致を必要としない音である「効果用音源」とを合成するように、音響信号定位変換器14を制御する。
ステップS7で、音響信号定位変換器14により、音響信号再生装置16を経て合成音を各スピーカーから出力するチャンネル音響信号として出力する。
また、ステップS3の「映音一致音源の抜き出し」、ステップS4の「映音一致音源の生成」の方法の例を説明する。
音像の抜き出し手法として、映音一致音源の音像定位音響メタ情報のうち、情報項目「伝送チャンネル・音響主要周波数成分」を用い、これに示される周波数帯域をゼロ又は抑圧することで元の位置の音像成分の抜き出しを行う。
映音一致音源の生成手法として、映音一致音源の周波数帯域の抑圧は、音響主要周波数成分に隣接する周波数帯域の信号レベルと同程度以下とすることにより映音一致音源の音響主要周波数成分の信号の抑圧を行う。
そこで、受信視聴環境におけるディスプレイのサイズにー致させる音像の生成手法として、まず、映音一致音源の音像定位音響メタ情報のうち、「伝送チャンネル・音響主要周波数成分」、「音響周波数コンター」、「ICTD」、及び「ICLD」の組み合わせか、又は「音響周波数コンター」、「音像位置」、「ICC」の組み合わせを用いて、チャンネル毎の映音一致音源の信号を決定する。
次に、受信視聴環境における新たな音像位置を求める。受信視聴環境におけるスピーカー及びディスプレイは、随意、再生装置側の音響信号定位変換制御部15に世界座標X,Y,Zで設定されるものとする。即ち、制作側の世界座標X,Y,Zと再生装置側の世界座標X,Y,Zは、予め対応するように定められている。
例えば、図5(a)に示すように、制作時のディスプレイ18aの周囲に位置する中間レイヤのスピーカーM1〜M5により、それぞれの音像定位関数100M1〜100M5の音像定位関数として表される信号レベルの音響信号を出力させ、「映音一致音源」P,Pを形成するとともに、「効果音音源」Eを形成するように意図して制作していたとする。受信視聴環境におけるディスプレイ18bは、制作時のディスプレイ18aよりも小型であるため、中間レイヤのスピーカーM3〜M5により、それぞれ音像定位関数100M3〜100M5の音像定位関数として表される信号レベルの音響信号を出力させ、新たな音像位置となる「映音一致音源」P’,P’を形成し、「効果音音源」E’は、映像と音源の一致が必要ない情報として識別し、「効果音音源」Eと同様の音源として形成する。尚、図5は、水平面内にある音像を移動させる場合の例である。
実際には、主に、情報項目「音像位置」又は「伝送チャンネル・音響主要周波数成分」に基づいて、受信視聴環境における新たな音像位置となる「映音一致音源」P’,P’を求め、図5に示す100M3〜100M5の各スピーカーから出力する映音一致音源の周波数ごとの信号レベルを算出することになる。
映音一致音源の周波数ごとの信号レベルを算出するには幾つかの例がある。
(例1)
音響信号が伝送されるチャンネルにおける映音一致音源の音像定位音響メタ情報のうち、「音響周波数コンター」、「ICTD」、「ICLD」、及び「伝送チャンネル・音響主要周波数成分」に基づいて、チャンネル毎の映音一致音源の信号を決定する。具体的には、例えば、音響信号が伝送されるチャンネルの周波数成分ごとに映音一致音源の「音響周波数コンター」を乗算し、各チャンネルの映音一致音源の周波数成分をまず求める。次にチャンネル間の周波数ごとのICTD,ICLDを算出し、音像定位音響メタ情報の「ICTD,ICLD」と比較して周波数レベルを補正する。これにより、チャンネル毎の映音一致音源の信号を決定する。この場合、各フレーム単位で制作時の音像定位位置を受信環境の音像定位位置へと確実に変換することができる。
(例2)
音響信号が伝送されるチャンネルにおける映音一致音源の音像定位音響メタ情報のうち、「音響周波数コンター」、「音像位置」、及び「ICC」に基づいて、映音一致音源の信号を決定する。具体的には、例えば、音響信号が伝送されるチャンネルの周波数成分ごとに映音一致音源の「音響周波数コンター」を乗算し、各チャンネルの映音一致音源の周波数成分をまず求める。次に、「音像位置」情報から伝送チャンネル番号を特定し、「音像位置」情報と該伝送チャンネル番号とに基づいて、各チャンネルの混合比を算出し、映音一致音源の各チャンネルの混合比により、映音一致音源の信号を決定する。また、この決定信号と音像定位音響メタ情報の「ICC」と比較して周波数レベルを補正する。これにより、チャンネル毎の映音一致音源の信号を決定する。この場合、各フレーム単位で先の音響信号に基づいて順次計算すればよく、再生装置側の処理負担を軽減させることができる。
(例3)
音響信号が伝送されるチャンネルにおける映音一致音源の音像定位音響メタ情報のうち、「音響周波数コンター」、「音像位置」、「伝送チャンネル番号情報」、及び「ICC」に基づいて、映音一致音源の信号を決定する。具体的には、例えば、音響信号が伝送されるチャンネルの周波数成分ごとに映音一致音源の「音響周波数コンター」を乗算し、各チャンネルの映音一致音源の周波数成分をまず求める。次に、「音像位置」情報から伝送チャンネル番号を特定することなく、伝送チャンネル番号情報を用いる。次に、「音像位置」情報と該伝送チャンネル番号情報に基づいて、各チャンネルの混合比を算出し、映音一致音源の各チャンネルの混合比により、映音一致音源の信号を決定する。また、この決定信号と音像定位音響メタ情報の「ICC」と比較して周波数レベルを補正する。これにより、チャンネル毎の映音一致音源の信号を決定する。この場合、各フレーム単位で先の音響信号に基づいて順次計算すればよく、再生装置側の処理負担をより一層軽減させることができる。
これらの3つの例から、音像定位音響メタ情報を用いて受信視聴環境に応じた音像定位を実現する他の組み合わせがあることが分かる。一方、制作側で意図した音像位置を受信視聴環境で再現するために、音像定位音響メタ情報のうちの幾つかを用いて実現する例である。しかしながら、例えば、これらの音像定位音響メタ情報のうち、受信視聴環境で必要としない(例えば、制作側のものと対応するスピーカーを再生装置側で用意していない)音響信号がある場合には、再生装置側で随意所望のチャンネルの音響信号で再構成するように設定することもできる。従って、再生装置側は、これに伴って必要とされる音像定位音響メタ情報のみを選択的に用いるようにしてもよい。
こうして決定したチャンネル毎の映音一致音源の信号は、新たな信号レベルの音響信号として、各スピーカーから出力される。例えば、図5を参照するに、制作時のディスプレイ18aの周囲に位置する中間レイヤのスピーカーM1〜M5により出力される、それぞれ音像定位関数100M1〜100M5の音像定位関数として表される信号レベルの音響信号について、この水平面内にある音像を移動させるように、中間レイヤのスピーカーM3〜M5により新たな信号レベルの音響信号として出力する。
図5では、特定のチャンネルのスピーカーについてのみ説明したが、制作時の標準制作条件は、図7に示すように、大画面のディスプレイ18aを前方に低域効果音用スピーカーLFE,LFEを除き、立体式の上位レイヤU1〜U9、中間レイヤM1〜M10、下位レイヤL1〜L3の22チャンネルで制作するため、例えば、図8に示すように、受信視聴環境において、ディスプレイ18aよりも小さいディスプレイ18bとともに制作時と同一の世界座標で構成した22チャンネルの音響信号は、それぞれフレーム単位で音像定位変換が施される(図6参照)。
これにより、本実施例の制作装置及び再生装置からなる、本実施例の音響信号多重伝送システムによれば、番組制作時の映像ディスプレイ・音響用スピーカー条件と受信視聴環境との差異が大きい場合においても、映音一致音源の度合いが好適に適合するようになり、より臨場感の高い音の再生が可能となる。
上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。例えば、受信視聴環境における中央の3個のスピーカーの開き角度が番組制作時の開き角度(例えば60度)と異なる場合には、映像ディスプレイの両脇に左右スピーカーを設置することで、実施例と同一の処理で近似的に高音質の再生を実現することも可能である。即ち、受信視聴環境において、制作時と同一の世界座標でスピーカーを構成しない場合には、制作時のスピーカー配置の情報(「音像位置」)から、受信視聴環境において出力すべきスピーカー及び音響信号の変換を世界座標に従って変換可能であることは、当業者に明らかである。また、前述した実施例において、固定のフレーム長の音響信号を扱うものとして説明したが、可変のフレーム長としてもよい。この場合には、各フレーム長が識別可能な付加情報を予め送付するか、又は各フレームヘッダに付加するようにする。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。
本発明は、臨場感の高い超高精細テレビシステムの音響再生を行うことが可能となるため、映像・音響信号多重伝送システムに有用である。
本発明による実施例の音像定位音響メタ情報を付随した音響信号多重伝送システムにおける制作装置を示す図である。 本発明による実施例の音像定位音響メタ情報を付随した音響信号多重伝送システムにおける再生装置を示す図である。 本発明による実施例の標準制作条件より小さいディスプレイでの受信視聴環境における中間レイヤのスピーカー配置例を示す図である。 本発明による実施例の再生装置で行う音響チャンネル信号の処理手法のフローチャートである。 本発明による実施例の音像定位関数に基づく音像定位変換の概略図である。 本発明による実施例のフレーム単位の音響信号の概略図である。 制作時の標準制作条件におけるディスプレイ及びスピーカーの配置例を示す図である。 受信視聴環境におけるディスプレイ及びスピーカーの配置例を示す図である。
符号の説明
1 音響収録再生装置
2 音響ミキシング卓
3 音響信号制作伝送チャンネル変換装置
4 音響信号符号化装置
5 音響定位音響メタ情報多重装置
6 音響信号・メタ情報多重装置
7 音響ミキシング制御譜面データ生成装置
8 マイクロホン
11 音響信号・メタ情報多重分離装置
12 音響定位音響メタ情報分離装置
13 音響信号復号装置
14 音響信号定位変換器
15 音響信号定位変換制御部
16 音響信号再生装置
17 スピーカーセット
18a 制作時のディスプレイ
18b 受信環境のディスプレイ
LFE,LFE 低域効果音用スピーカー
U1〜U9 上位レイヤのスピーカー
M1〜M10 中間レイヤのスピーカー
L1〜L3 下位レイヤのスピーカー
100M3〜100M5 音像定位関数
,P 受信環境の「映音一致音源」の音像位置
受信環境の「効果音音源」の音像位置
’,P’ 受信環境の「映音一致音源」の音像位置
’ 受信環境の「効果音音源」の音像位置

Claims (6)

  1. 標準制作条件で制作された音響信号に、所定の音像定位音響メタ情報を多重して伝送する制作装置と、前記音響信号を受信し、前記音像定位音響メタ情報に基づいて新たな音響信号に変換して再生する再生装置とを備える音響信号多重伝送システムであって、
    前記制作装置は、
    標準制作条件となる番組制作時のディスプレイに表示される映像と同期したマルチチャンネルの音響信号を所定数のスピーカー向けにミキシングする際に、映像と音源位置の一致が必要な音か否か、映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置、及び該音像定位に関わる音響特徴メタ情報を含む、音の属性を示す音像定位音響メタ情報を、前記音響信号のフレーム単位で生成する手段と、
    前記標準制作条件における音響信号を前記音像定位音響メタ情報とともに符号化して伝送する手段とを有し、
    前記再生装置は、
    前記制作装置から、符号化された音響信号及び音像定位音響メタ情報を受信してそれぞれ復号する手段と、
    復号した音像定位音響メタ情報に基づいて、復号した音響信号についてフレーム単位で映像と音源位置の一致が必要な音か否かを識別する手段と、
    映像と音源位置の一致が必要な音である場合にのみ、前記標準制作条件と予め対応付けた受信視聴環境におけるディスプレイ及び所定数のスピーカーに適合する音像位置を、前記標準制作条件における音像定位の位置の情報から座標変換して決定する手段と、
    前記該音像定位に関わる音響特徴メタ情報に基づいて、前記座標変換した音像定位の位置に適合する音響信号を、音源毎に前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段と、
    前記変換した所定のチャンネルの音響信号と、映像と音源位置の一致が必要な音でない該所定のチャンネルの音響信号とを合成して、当該所定のチャンネルに対応するスピーカーから音を再生する手段とを有し、
    標準制作条件と異なるサイズのディスプレイを設置した受信視聴環境において、映像と音像位置の一致が必要な音について、該ディスプレイのサイズに合わせるように音像位置を制御するようにしたことを特徴とする、音響信号多重伝送システム。
  2. 前記音像定位音響メタ情報は、前記音響特徴メタ情報として、「伝送チャンネル・音響主要周波数成分」、「音響周波数コンター」、「チャンネル間レベル差(ICLD:Inter−Channel Level Differences)」、及び「チャンネル間時間差(ICTD:Inter−Channel Time Differences)」の情報を含み、
    前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段は、前記「伝送チャンネル・音響主要周波数成分」、「音響周波数コンター」、「ICTD」、及び「ICLD」の組み合わせの情報を用いて、チャンネル毎の映音一致音源の信号を決定することを特徴とする、請求項1に記載の音響信号多重伝送システム。
  3. 前記音像定位音響メタ情報は、前記音響特徴メタ情報として、「音響周波数コンター」、「音像位置」、及び「チャンネル間相関(ICC:Inter−Channel Coherence)」の情報を含み、
    前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段は、前記「音響周波数コンター」、「音像位置」、及び「ICC」の組み合わせの情報を用いて、チャンネル毎の映音一致音源の信号を決定することを特徴とする、請求項1に記載の音響信号多重伝送システム。
  4. 前記音像定位音響メタ情報は、前記音響特徴メタ情報として、「音響周波数コンター」、「音像位置」、「伝送チャンネル番号情報」、及び「チャンネル間相関(ICC:Inter−Channel Coherence)」の情報を含み、
    前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段は、前記「音響周波数コンター」、「音像位置」、「伝送チャンネル番号情報」、及び「ICC」の組み合わせの情報を用いて、チャンネル毎の映音一致音源の信号を決定することを特徴とする、請求項1に記載の音響信号多重伝送システム。
  5. 標準制作条件で制作された音響信号に、所定の音像定位音響メタ情報を多重して伝送する制作装置であって、
    標準制作条件となる番組制作時のディスプレイに表示される映像と同期したマルチチャンネルの音響信号を所定数のスピーカー向けにミキシングする際に、映像と音源位置の一致が必要な音か否か、映像と音像位置の一致が必要な音の場合には標準制作条件における音像定位の位置、及び該音像定位に関わる音響特徴メタ情報を含む、音の属性を示す音像定位音響メタ情報を、前記音響信号のフレーム単位で生成する手段と、
    前記標準制作条件における音響信号を前記音像定位音響メタ情報とともに符号化して伝送する手段とを備えることを特徴とする制作装置。
  6. 所定の標準制作条件に従って制作された音響信号を受信し、該音響信号に付された音像定位音響メタ情報に基づいて新たな音響信号に変換して再生する再生装置であって、
    符号化された音響信号及び音像定位音響メタ情報を受信してそれぞれ復号する手段と、
    復号した音像定位音響メタ情報に基づいて、復号した音響信号についてフレーム単位で映像と音源位置の一致が必要な音か否かを識別する手段と、
    映像と音源位置の一致が必要な音である場合にのみ、前記標準制作条件と予め対応付けた受信視聴環境におけるディスプレイ及び所定数のスピーカーに適合する音像位置を、前記標準制作条件における音像定位の位置の情報から座標変換する手段と、
    前記該音像定位に関わる音響特徴メタ情報に基づいて、前記座標変換した音像定位の位置に適合する音響信号を、音源毎に前記受信視聴環境におけるスピーカーに対応する所定のチャンネルの音響信号に変換する手段と、
    前記変換した所定のチャンネルの音響信号と、映像と音源位置の一致が必要な音でない該所定のチャンネルの音響信号とを合成して、当該所定のチャンネルに対応するスピーカーから音を再生する手段とを備えることを特徴とする再生装置。
JP2008127600A 2008-05-14 2008-05-14 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 Active JP5174527B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008127600A JP5174527B2 (ja) 2008-05-14 2008-05-14 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008127600A JP5174527B2 (ja) 2008-05-14 2008-05-14 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置

Publications (2)

Publication Number Publication Date
JP2009278381A true JP2009278381A (ja) 2009-11-26
JP5174527B2 JP5174527B2 (ja) 2013-04-03

Family

ID=41443390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008127600A Active JP5174527B2 (ja) 2008-05-14 2008-05-14 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置

Country Status (1)

Country Link
JP (1) JP5174527B2 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216963A (ja) * 2010-03-31 2011-10-27 Sony Corp 信号処理装置および方法、並びにプログラム
JP2013523006A (ja) * 2010-03-19 2013-06-13 サムスン エレクトロニクス カンパニー リミテッド 立体音響の再生方法及びその装置
JP2013187908A (ja) * 2012-03-06 2013-09-19 Thomson Licensing 高次アンビソニックス・オーディオ信号の再生のための方法および装置
WO2014115222A1 (en) * 2013-01-23 2014-07-31 Nippon Hoso Kyokai Sound signal description method, sound signal production equipment, and sound signal reproduction equipment
JP2014522181A (ja) * 2011-07-29 2014-08-28 サムスン エレクトロニクス カンパニー リミテッド オーディオ信号処理方法及びそれによるオーディオ信号処理装置
JP2014222852A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
JP2014222859A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
JP2014222856A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
WO2016039287A1 (ja) * 2014-09-12 2016-03-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2016072973A (ja) * 2014-09-24 2016-05-09 韓國電子通信研究院Electronics and Telecommunications Research Institute 動的フォーマット変換をサポートするオーディオメタデータ提供装置及びオーディオデータ再生装置、前記装置が行う方法、並びに前記動的フォーマット変換が記録されたコンピュータで読み出し可能な記録媒体
CN106463128A (zh) * 2014-03-26 2017-02-22 弗劳恩霍夫应用研究促进协会 屏幕相关的音频对象重映射的设备和方法
JP2017212731A (ja) * 2016-05-24 2017-11-30 日本放送協会 音響処理装置、音響処理方法およびプログラム
JP2017215595A (ja) * 2017-07-06 2017-12-07 日本放送協会 音響信号再生装置
WO2018047667A1 (ja) * 2016-09-12 2018-03-15 ソニー株式会社 音声処理装置および方法
CN109147813A (zh) * 2018-09-21 2019-01-04 神思电子技术股份有限公司 一种基于影音定位技术的服务机器人降噪方法
WO2019098022A1 (ja) * 2017-11-14 2019-05-23 ソニー株式会社 信号処理装置および方法、並びにプログラム
US10587975B2 (en) 2014-09-24 2020-03-10 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
JP2022058569A (ja) * 2011-07-01 2022-04-12 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号処理システム及び方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05300597A (ja) * 1992-04-18 1993-11-12 Yamaha Corp 映像連動音像定位装置
JPH0772875A (ja) * 1993-09-02 1995-03-17 Sega Enterp Ltd 画像及び音声処理装置
JPH10304321A (ja) * 1997-04-24 1998-11-13 Nippon Hoso Kyokai <Nhk> テレビジョン放送システムおよびテレビジョン放送システム用受信装置
JPH11331997A (ja) * 1998-05-21 1999-11-30 Toshiba Corp 音声出力装置
JP2003284196A (ja) * 2002-03-20 2003-10-03 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
JP2006128816A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
JP2006295592A (ja) * 2005-04-12 2006-10-26 Nippon Hoso Kyokai <Nhk> スピーカ装置
JP2007158527A (ja) * 2005-12-01 2007-06-21 Sony Corp 信号処理装置、信号処理方法、再生装置、記録装置
JP2007266967A (ja) * 2006-03-28 2007-10-11 Yamaha Corp 音像定位装置およびマルチチャンネルオーディオ再生装置
JP2008005193A (ja) * 2006-06-22 2008-01-10 Nec Electronics Corp シリアル伝送システム、伝送装置、及びシリアル伝送方法
WO2008039045A1 (en) * 2006-09-29 2008-04-03 Lg Electronics Inc., Apparatus for processing mix signal and method thereof
WO2008039042A1 (en) * 2006-09-29 2008-04-03 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05300597A (ja) * 1992-04-18 1993-11-12 Yamaha Corp 映像連動音像定位装置
JPH0772875A (ja) * 1993-09-02 1995-03-17 Sega Enterp Ltd 画像及び音声処理装置
JPH10304321A (ja) * 1997-04-24 1998-11-13 Nippon Hoso Kyokai <Nhk> テレビジョン放送システムおよびテレビジョン放送システム用受信装置
JPH11331997A (ja) * 1998-05-21 1999-11-30 Toshiba Corp 音声出力装置
JP2003284196A (ja) * 2002-03-20 2003-10-03 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
JP2006128816A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
JP2006295592A (ja) * 2005-04-12 2006-10-26 Nippon Hoso Kyokai <Nhk> スピーカ装置
JP2007158527A (ja) * 2005-12-01 2007-06-21 Sony Corp 信号処理装置、信号処理方法、再生装置、記録装置
JP2007266967A (ja) * 2006-03-28 2007-10-11 Yamaha Corp 音像定位装置およびマルチチャンネルオーディオ再生装置
JP2008005193A (ja) * 2006-06-22 2008-01-10 Nec Electronics Corp シリアル伝送システム、伝送装置、及びシリアル伝送方法
WO2008039045A1 (en) * 2006-09-29 2008-04-03 Lg Electronics Inc., Apparatus for processing mix signal and method thereof
WO2008039042A1 (en) * 2006-09-29 2008-04-03 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9113280B2 (en) 2010-03-19 2015-08-18 Samsung Electronics Co., Ltd. Method and apparatus for reproducing three-dimensional sound
JP2013523006A (ja) * 2010-03-19 2013-06-13 サムスン エレクトロニクス カンパニー リミテッド 立体音響の再生方法及びその装置
US9622007B2 (en) 2010-03-19 2017-04-11 Samsung Electronics Co., Ltd. Method and apparatus for reproducing three-dimensional sound
JP2011216963A (ja) * 2010-03-31 2011-10-27 Sony Corp 信号処理装置および方法、並びにプログラム
US9661437B2 (en) 2010-03-31 2017-05-23 Sony Corporation Signal processing apparatus, signal processing method, and program
JP2022058569A (ja) * 2011-07-01 2022-04-12 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号処理システム及び方法
JP7348320B2 (ja) 2011-07-01 2023-09-20 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号処理システム及び方法
US11962997B2 (en) 2011-07-01 2024-04-16 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering
US9554227B2 (en) 2011-07-29 2017-01-24 Samsung Electronics Co., Ltd. Method and apparatus for processing audio signal
JP2014522181A (ja) * 2011-07-29 2014-08-28 サムスン エレクトロニクス カンパニー リミテッド オーディオ信号処理方法及びそれによるオーディオ信号処理装置
US11228856B2 (en) 2012-03-06 2022-01-18 Dolby Laboratories Licensing Corporation Method and apparatus for screen related adaptation of a higher-order ambisonics audio signal
JP2019193292A (ja) * 2012-03-06 2019-10-31 ドルビー・インターナショナル・アーベー 高次アンビソニックス・オーディオ信号の再生のための方法および装置
JP2013187908A (ja) * 2012-03-06 2013-09-19 Thomson Licensing 高次アンビソニックス・オーディオ信号の再生のための方法および装置
US11895482B2 (en) 2012-03-06 2024-02-06 Dolby Laboratories Licensing Corporation Method and apparatus for screen related adaptation of a Higher-Order Ambisonics audio signal
US10771912B2 (en) 2012-03-06 2020-09-08 Dolby Laboratories Licensing Corporation Method and apparatus for screen related adaptation of a higher-order ambisonics audio signal
US10299062B2 (en) 2012-03-06 2019-05-21 Dolby Laboratories Licensing Corporation Method and apparatus for playback of a higher-order ambisonics audio signal
JP2018137799A (ja) * 2012-03-06 2018-08-30 ドルビー・インターナショナル・アーベー 高次アンビソニックス・オーディオ信号の再生のための方法および装置
JP2021168505A (ja) * 2012-03-06 2021-10-21 ドルビー・インターナショナル・アーベー 高次アンビソニックス・オーディオ信号の再生のための方法および装置
JP7254122B2 (ja) 2012-03-06 2023-04-07 ドルビー・インターナショナル・アーベー 高次アンビソニックス・オーディオ信号の再生のための方法および装置
US11570566B2 (en) 2012-03-06 2023-01-31 Dolby Laboratories Licensing Corporation Method and apparatus for screen related adaptation of a Higher-Order Ambisonics audio signal
JP2017175632A (ja) * 2012-03-06 2017-09-28 ドルビー・インターナショナル・アーベー 高次アンビソニックス・オーディオ信号の再生のための方法および装置
JP2014142475A (ja) * 2013-01-23 2014-08-07 Nippon Hoso Kyokai <Nhk> 音響信号記述法、音響信号作成装置、音響信号再生装置
WO2014115222A1 (en) * 2013-01-23 2014-07-31 Nippon Hoso Kyokai Sound signal description method, sound signal production equipment, and sound signal reproduction equipment
KR101682323B1 (ko) * 2013-01-23 2016-12-02 닛폰호소쿄카이 음향 신호 기술 방법, 음향 신호 생성 장치 및 음향 신호 재생 장치
KR20150093794A (ko) * 2013-01-23 2015-08-18 닛폰호소쿄카이 음향 신호 기술 방법, 음향 신호 생성 장치 및 음향 신호 재생 장치
JP2014222856A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
JP2014222852A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
JP2014222859A (ja) * 2013-05-14 2014-11-27 日本放送協会 音響信号再生装置、音響信号作成装置
CN106463128B (zh) * 2014-03-26 2020-02-21 弗劳恩霍夫应用研究促进协会 屏幕相关的音频对象重映射的设备和方法
JP2017513390A (ja) * 2014-03-26 2017-05-25 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン スクリーン関連オーディオオブジェクトリマッピングのための装置および方法
JP2019036987A (ja) * 2014-03-26 2019-03-07 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン スクリーン関連オーディオオブジェクトリマッピングのための装置および方法
US10192563B2 (en) 2014-03-26 2019-01-29 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for screen related audio object remapping
US11900955B2 (en) 2014-03-26 2024-02-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for screen related audio object remapping
CN106463128A (zh) * 2014-03-26 2017-02-22 弗劳恩霍夫应用研究促进协会 屏幕相关的音频对象重映射的设备和方法
US11527254B2 (en) 2014-03-26 2022-12-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for screen related audio object remapping
US10854213B2 (en) 2014-03-26 2020-12-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for screen related audio object remapping
JP2020182227A (ja) * 2014-03-26 2020-11-05 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン スクリーン関連オーディオオブジェクトリマッピングのための装置および方法
JP2022065098A (ja) * 2014-09-12 2022-04-26 ソニーグループ株式会社 受信装置および受信方法
JP7294472B2 (ja) 2014-09-12 2023-06-20 ソニーグループ株式会社 受信装置および受信方法
JP2020170183A (ja) * 2014-09-12 2020-10-15 ソニー株式会社 受信装置および受信方法
US10878828B2 (en) 2014-09-12 2020-12-29 Sony Corporation Transmission device, transmission method, reception device, and reception method
WO2016039287A1 (ja) * 2014-09-12 2016-03-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN112951250A (zh) * 2014-09-12 2021-06-11 索尼公司 发送装置、发送方法、接收装置以及接收方法
CN113077800A (zh) * 2014-09-12 2021-07-06 索尼公司 发送装置、发送方法、接收装置以及接收方法
JPWO2016039287A1 (ja) * 2014-09-12 2017-06-22 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10587975B2 (en) 2014-09-24 2020-03-10 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
JP2020092439A (ja) * 2014-09-24 2020-06-11 韓國電子通信研究院Electronics and Telecommunications Research Institute 動的フォーマット変換をサポートするオーディオメタデータ提供装置及びオーディオデータ再生装置、前記装置が行う方法、並びに前記動的フォーマット変換が記録されたコンピュータで読み出し可能な記録媒体
JP2016072973A (ja) * 2014-09-24 2016-05-09 韓國電子通信研究院Electronics and Telecommunications Research Institute 動的フォーマット変換をサポートするオーディオメタデータ提供装置及びオーディオデータ再生装置、前記装置が行う方法、並びに前記動的フォーマット変換が記録されたコンピュータで読み出し可能な記録媒体
US10904689B2 (en) 2014-09-24 2021-01-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
US11671780B2 (en) 2014-09-24 2023-06-06 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
JP2017212731A (ja) * 2016-05-24 2017-11-30 日本放送協会 音響処理装置、音響処理方法およびプログラム
WO2018047667A1 (ja) * 2016-09-12 2018-03-15 ソニー株式会社 音声処理装置および方法
JP2017215595A (ja) * 2017-07-06 2017-12-07 日本放送協会 音響信号再生装置
JP7192786B2 (ja) 2017-11-14 2022-12-20 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
WO2019098022A1 (ja) * 2017-11-14 2019-05-23 ソニー株式会社 信号処理装置および方法、並びにプログラム
US11722832B2 (en) 2017-11-14 2023-08-08 Sony Corporation Signal processing apparatus and method, and program
CN113891233A (zh) * 2017-11-14 2022-01-04 索尼公司 信号处理设备和方法、及计算机可读存储介质
CN111316671B (zh) * 2017-11-14 2021-10-22 索尼公司 信号处理设备和方法以及程序
JPWO2019098022A1 (ja) * 2017-11-14 2020-11-19 ソニー株式会社 信号処理装置および方法、並びにプログラム
CN113891233B (zh) * 2017-11-14 2024-04-09 索尼公司 信号处理设备和方法、及计算机可读存储介质
CN111316671A (zh) * 2017-11-14 2020-06-19 索尼公司 信号处理设备和方法以及程序
CN109147813A (zh) * 2018-09-21 2019-01-04 神思电子技术股份有限公司 一种基于影音定位技术的服务机器人降噪方法

Also Published As

Publication number Publication date
JP5174527B2 (ja) 2013-04-03

Similar Documents

Publication Publication Date Title
JP5174527B2 (ja) 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置
JP6486995B2 (ja) オーディオコンテンツのオーサリング及びレンダリング方法及び装置
JP5688030B2 (ja) 三次元音場の符号化および最適な再現の方法および装置
US7877156B2 (en) Audio reproducing apparatus, audio reproducing method, and program
US20180091917A1 (en) Method and device for processing audio signal by using metadata
JP2014525048A (ja) 3次元オーディオサウンドトラックの符号化及び再生
KR101381396B1 (ko) 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법
KR101682323B1 (ko) 음향 신호 기술 방법, 음향 신호 생성 장치 및 음향 신호 재생 장치
JP2009260458A (ja) 音響再生装置、および、これを含む映像音声視聴システム
JP5338053B2 (ja) 波面合成信号変換装置および波面合成信号変換方法
JP6204683B2 (ja) 音響信号再生装置、音響信号作成装置
JP6204680B2 (ja) 音響信号再生装置、音響信号作成装置
JP5743003B2 (ja) 波面合成信号変換装置および波面合成信号変換方法
JP5590169B2 (ja) 波面合成信号変換装置および波面合成信号変換方法
JP6228389B2 (ja) 音響信号再生装置
RU2820838C2 (ru) Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала
US20240163629A1 (en) Adaptive sound scene rotation
Baume et al. Scaling New Heights in Broadcasting using Ambisonics
JP2008147840A (ja) 音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラム
Mróz et al. A commonly-accessible toolchain for live streaming music events with higher-order ambisonic audio and 4k 360 vision
KR20220030983A (ko) 오디오 메타데이터 제공 장치 및 방법, 오디오 데이터 제공 장치 및 방법, 오디오 데이터 재생 장치 및 방법
Liebetrau et al. Digital Cinema and Object Oriented Sound Reproduction
JP2017215595A (ja) 音響信号再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121228

R150 Certificate of patent or registration of utility model

Ref document number: 5174527

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250