JP6204682B2 - 音響信号再生装置 - Google Patents

Description

この発明は、複数の音響空間層を持つマルチチャンネル音響方式の音響信号再生装置に関する。

現在番組制作が行われている2チャンネル音響方式、5.1チャンネル音響方式に加え、7.1チャンネルや22.2チャンネルなどの5.1チャンネル音響方式を超えた「3次元(立体)音響方式」など複数の音響方式が提案されている。オーディオ関連の国際標準化団体であるITU-Rでは、ITU-R勧告として5.1チャンネル音響方式を超えた3次元音響方式（advanced multichannel audio system）に対する要求条件（非特許文献１）を定めており、今後も複数の音響方式が提案されることが予測される。これらの音響方式を共通のフォーマットで表現することで、次世代オーディオシステムに適用可能であり種々の方面への活用が可能な柔軟なシステムとすることができる。

"Performance requirements for an advanced multichannel stere ophonic sound system for use with or without accompanying picture", ITU-R勧告BS. 1909

種々の音響方式を表現可能な共通のフォーマットとして、「単一の音響空間層を持つ音響信号」の検討は進んでいる。ここで、空間的に配置された複数のチャンネル信号によって構築される音を単一の音響空間層とする。これまでの番組制作では番組に必要な音を全て単一の音響空間層に配置している。これまで一つにまとめていた音響空間層を幾つかの層に分割して音響番組制作を行い、「複数の音響空間層を持つ音響信号」の形式を用いることで、番組交換時の受取先や家庭の環境に合わせて受信した音響信号の変形・変換・入替を容易に行うことができるようになる。これ以降、「マルチチャンネル音響方式」とは「複数の音響空間層を持つ音響方式」を意図するものとして説明を行う。

例えば、マルチチャンネル音響方式を用いて放送される放送番組は、様々な音響方式によって制作され、様々な再生環境において再生される。スピーカ数が増えることで、より詳細な間接音（反射音などの残響成分）の制御が要求される。一方、制作環境はある規格に基づいて最適な残響時間など音環境が実現されているが、受信側の再生環境は規格に基づいて作られていない。制作環境と再生環境の違いによって、制作者の意図とは異なる再生音となる場合があった。

したがって、かかる点に鑑みてなされた本発明の目的は、複数の音響空間層を持つマルチチャンネル音響方式に対応し、再生環境に合わせて間接音を調節可能な音響信号再生装置を提供することにある。

上述した諸課題を解決すべく、本発明に係る音響信号再生装置は、少なくとも１つの間接音の音響空間層を含む、複数の音響空間層を持つマルチチャンネル音響信号の再生装置であって、前記マルチチャンネル音響信号に含まれるメタデータは、音響空間層の数と、制作環境の音響に関する特徴量と、各音響空間層が直接音か間接音かを示す記述と、それぞれの音響空間層における各音響チャンネル信号の配置と、直接音の音響空間層と間接音の音響空間層との再生バランスを示すそれぞれの推奨ラウドネスと、を含み、前記制作環境の前記特徴量と、再生環境の前記特徴量とに基づき、再生時に前記制作環境に近い前記特徴量を実現するように前記間接音の音響空間層の音量を調整して、前記直接音の音響空間層と前記間接音の音響空間層とを合成する音量調整部を備える。

また、マルチチャンネル音響信号全体の音量を調整する場合に、前記音量調整部は、前記制作環境の前記特徴量と前記再生環境の前記特徴量とに基づき、前記推奨ラウドネスからのラウドネスの変更幅を音響空間層毎に変えて、前記直接音の音響空間層及び前記間接音の音響空間層の音量を調整して合成することが好ましい。

また、マルチチャンネル音響信号を復号化する復号化部を備え、前記復号化部は、前記マルチチャンネル音響信号が間接音の音響空間層を複数含む場合、複数含まれる間接音の音響空間層のうち、前記メタデータに記載された前記制作環境の前記特徴量と前記再生環境の前記特徴量との差が最も小さくなる間接音の音響空間層のみを復号化することが好ましい。

また、前記制作環境の前記特徴量は、前記制作環境において各音響空間層を推奨ラウドネスで再生したときの残響時間、両耳間相互相関度、両耳間レベル差、及び両耳間時間差のうち少なくとも一つを含むことが好ましい。

本発明に係る音響信号再生装置によれば、複数の音響空間層を持つマルチチャンネル音響方式に対応し、再生環境に合わせて間接音を調節することが可能となる。

本発明の一実施形態に係る音響信号再生装置の構成を示す図である。 マルチチャンネル音響信号に含まれる音響空間層の一例を示す図である。 マルチチャンネル音響信号におけるメタデータの一例を示す図である。 本発明の一実施形態に係る音響信号作成装置の構成を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、本発明は、「複数の音響空間層を持つ音響信号」であるマルチチャンネル音響信号に対応するものである。本件出願人は、「単一の音響空間層を持つ音響信号」について韓国特許出願（10-2012-0112984）を行っており、また、「複数の音響空間層を持つ音響信号」について日本国特許出願（特願2013-010544）を行っている。

図１は、本発明の一実施形態に係る音響信号再生装置の構成を示す図である。音響信号再生装置１０は、デマルチプレクサ１１（ＤＥＭＵＸ）と、復号化部１２と、再生チャンネル変換部１３と、音量調整部１５とを備え、音響信号再生装置１０の出力信号はスピーカ１４により音として再生される。

デマルチプレクサ１１は、入力されたマルチチャンネル音響データストリームをメタデータと音響チャンネル信号に分離する。デマルチプレクサ１１は、音響チャンネル信号を復号化部１２に出力し、メタデータを復号化部１２、音量調整部１５及び再生チャンネル変換部１３に出力する。

図２は、本実施形態におけるマルチチャンネル音響信号（音響データストリーム）に含まれる音響空間層の一例を示す図である。本実施形態におけるマルチチャンネル音響信号は、音源から直接届く直接音と、部屋の反射音（残響音）などの間接音とを、それぞれ独立した音響空間層として含むものである。第１の音響空間層２００は、直接音からなる音響空間層であり、利用者１００を中心に５チャンネル（２１０〜２５０）が配置される。また、第２の音響空間層３００は、間接音の音響空間層であり、利用者１００を中心に５チャンネル（３１０〜３５０）が配置される。なお、本実施形態におけるマルチチャンネル音響信号は、間接音の音響空間層を複数含み、再生環境の特徴量（例えば残響時間）に応じて間接音の音響空間層を切り替えることができる。

図３は、図２に示す音響空間層を表すメタデータの一例を示す図である。図３のメタデータ（Sound Essence 000）には、マルチチャンネル音響信号について、音響空間層の数（直接音と間接音との２層）、制作環境の特徴量である残響時間（２秒）、マルチチャンネル音響信号の種類（音楽：Music）が記載されている。さらに、メタデータでは、直接音である第１の音響空間層２００（Sound Field 01）と、間接音である第２の音響空間層３００（Sound Field 02）又は第３の音響空間層４００（Sound Field 03）とがリンクされマルチチャンネル音響信号を構成することが記載される。ここで、間接音である第２の音響空間層３００及び第３の音響空間層４００は、それぞれ異なるパターンの間接音であり、再生環境の特徴量（例えば残響時間）に応じて音響信号再生装置により適宜選択されるものである。なお、間接音として３層以上の音響空間層を含めることも可能である。また、制作環境の特徴量は残響時間に限られず、両耳間相互相関度、両耳間レベル差、両耳間時間差など別の基準を用いても良く、さらに、各特徴量の周波数帯域ごとの算出値を制作環境の特徴量とすることができる。また、直接音と間接音との割合は、後述の通り推奨ラウドネスとして各音響空間層で記載されている。

直接音である第１の音響空間層２００は、５ｃｈで構成され、推奨ラウドネスは−１８ＬＫＦＳであり、音響チャンネル信号２１０（Channel 01）がＬｃｈ、音響チャンネル信号２２０（Channel 02）がＲｃｈ、音響チャンネル信号２３０（Channel 03）がＣｃｈ、音響チャンネル信号２４０（Channel 04）がＢＬｃｈ、音響チャンネル信号２５０（Channel 05）がＢＲｃｈより再生されることが記載されている。さらに、第１の音響空間層２００には、直接音（Direct）であることと、間接音である第２の音響空間層３００又は第３の音響空間層４００へのリンクが記載される。

間接音である第２の音響空間層３００は、５ｃｈで構成され、推奨ラウドネスは−２５ＬＫＦＳであり、音響チャンネル信号３１０（Channel 06）がＬｃｈ、音響チャンネル信号３２０（Channel 07）がＲｃｈ、音響チャンネル信号３３０（Channel 08）がＣｃｈ、音響チャンネル信号３４０（Channel 09）がＢＬｃｈ、音響チャンネル信号３５０（Channel 10）がＢＲｃｈより再生されることが記載されている。さらに、第２の音響空間層３００には、間接音（Reverberation D）であることと、直接音である第１の音響空間層２００へのリンクが記載される。

また、第２の音響空間層３００とは異なるパターンの間接音である第３の音響空間層４００は、５ｃｈで構成され、推奨ラウドネスは−２５ＬＫＦＳであり、音響チャンネル信号４１０（Channel 11）がＬｃｈ、音響チャンネル信号４２０（Channel 12）がＲｃｈ、音響チャンネル信号４３０（Channel 13）がＣｃｈ、音響チャンネル信号４４０（Channel 14）がＢＬｃｈ、音響チャンネル信号４５０（Channel 15）がＢＲｃｈより再生されることが記載されている。さらに、第３の音響空間層４００には、間接音（Reverberation W）であることと、直接音である第１の音響空間層２００へのリンクが記載される。

復号化部１２は、予め記憶されている再生環境の特徴量と、デマルチプレクサ１１からのメタデータとに基づいて、必要な音響空間層の音響チャンネル信号を復号化する。より詳細には、復号化部１２は、直接音である第１の音響空間層２００の各音響チャンネル信号と、間接音である第２の音響空間層３００又は第３の音響空間層４００のいずれか一方の各音響チャンネル信号を復号化する。復号化部１２は、メタデータに記載された制作環境の特徴量と、再生環境の特徴量とに基づき、間接音として第２の音響空間層３００又は第３の音響空間層４００のいずれを復号化するかを選択して復号化する。例えば、復号化部１２は、再生環境の特徴量に基づき、間接音の音響空間層のうち、当該再生環境で再生した際により制作環境に近い再生音が得られる音響空間層を選択して復号化する。これにより、より制作環境に近い再生音を聴取することが可能となる。なお、間接音の音響空間層が１つである場合は、復号化部１２は当該間接音の音響空間層を復号化することは言うまでもない。

音量調整部１５は、メタデータに記載された制作環境の特徴量と、再生環境の特徴量とに基づき、間接音の音響空間層（第２の音響空間層３００又は第３の音響空間層４００）を調整して直接音の第１の音響空間層２００と合成する。例えば、音量調整部１５は、復号化された間接音の音響空間層の制作環境の特徴量と、再生環境の特徴量とが異なる場合、制作環境の特徴量及び再生環境の特徴量に基づき、間接音の音響空間層の音量を調整して直接音の音響空間層と合成する。例えば、音量調整部１５は、制作環境よりも再生環境の残響時間が短い場合、間接音の音響空間層の再生レベルを推奨ラウドネスよりも大きくなるように調整して直接音の音響空間層と合成する。これにより、制作環境より残響時間が短い再生環境において、制作環境に近い残響時間を実現することが可能となる。すなわち、制作環境に近い再生音が得られる間接音の音響空間層を選択してもなお制作環境と再生環境との再生音に差がある場合でも、より制作環境に近い再生音を聴取することが可能となる。なお、制作環境と再生環境との特徴量が一致するか又は差が所定の許容範囲内である場合、音量調整部１５は、間接音の音響空間層（第２の音響空間層３００又は第３の音響空間層４００）をそのまま直接音の第１の音響空間層２００と合成してもよい。

また、マルチチャンネル音響信号全体の音量を調整する場合、音量調整部１５は、メタデータに記載されている各音響空間層の推奨ラウドネスに基づき、直接音である第１の音響空間層２００の各音響チャンネル信号と、間接音である第２の音響空間層３００又は第３の音響空間層４００のいずれか一方の各音響チャンネル信号のラウドネスの変更幅を音響空間層毎に変えて音量を調整することができる。例えば図３の場合、音量調整部１５は、残響時間の短い再生環境で全体の音量を−２４ＬＫＦＳから−２８ＬＫＦＳへと下げるとき、第１の音響空間層２００（直接音）は−１８ＬＫＦＳから−２４ＬＫＦＳへと比較的下げ幅を大きくし、第２の音響空間層３００又は第３の音響空間層４００（間接音）は−２５ＬＫＦＳから−２７ＬＫＦＳへと比較的下げ幅を小さくするなど、音響空間層の役割に応じて各音響空間層の音量を調整する。制作環境により近い再生音でコンテンツを聴取することが可能となる。なお、残響時間が長い再生環境では、間接音を抑えることで、より聞き取りやすい音量調整が可能となる。

再生チャンネル変換部１３は、複数の音響空間層を一つの音響空間にまとめ、再生環境に合わせ、各再生スピーカに入力する音響チャンネル信号を生成する。

このように、本実施形態によれば、音量調整部１５は、マルチチャンネル音響信号に含まれるメタデータに記載された制作環境の特徴量と、再生環境の特徴量とに基づき、間接音の音響空間層を調整して直接音の音響空間層と合成する。これにより、複数の音響空間層を持つマルチチャンネル音響方式に対応し、再生環境合わせて間接音を調節することが可能となる。特に、放送番組を構成する音響区間を直接音と間接音に分離して伝送することによって、再生環境に合わせて反射音を調整することが可能になり、制作者の意図通りの音響空間を再生することが可能となる。

また、音量調整部１５は、推奨ラウドネスに基づき直接音の音響空間層及び間接音の音響空間層の音量を調整して合成する。もし制作環境と再生環境が大きく異なる場合、再生環境の残響時間が極端に短い場合など、推奨ラウドネスよりも再生レベルが大きくなるように音量を調整して合成する。これにより、より制作環境で聴取したときに近い音響品質で番組聴取が可能となる。

また、復号化部１２は、マルチチャンネル音響信号が間接音の音響空間層を複数含む場合、メタデータに記載された制作環境の特徴量と再生環境の特徴量とに基づき選択した間接音の音響空間層の復号化を行う。これにより、再生環境に合わせて反射音を切り替えることが可能になり、制作者の意図通りの音響空間を再生することが可能となる。また、選択した間接音の音響空間層以外の復号化を省略できるため、復号化に係る処理負荷を低減することが可能となる。

また、制作環境の特徴量は、残響時間、両耳間相互相関度、両耳間レベル差、及び両耳間時間差のうち少なくとも一つを含むものである。これにより、残響時間に限られず、種々の基準により複数の間接音の音響空間層を構築し、より再生環境に適した間接音の音響空間層を選択することが可能になる。即ち、かかる特徴量により、より制作環境に近い音響品質で番組聴取が可能となる。なお、上記説明では残響時間を例示しているが、制作環境の特徴量として両耳間相互相関度、両耳間レベル差、及び両耳間時間差を用いる場合、メタデータには該当する特徴量の情報が記載され、また、間接音の音響空間層は各特徴量に応じて準備された音響チャンネル信号を含むものであることは言うまでもない。

図４は、本発明の一実施形態に係る音響信号作成装置の構成を示す図である。音響信号作成装置２０は、ミキサ２１と、符号化部２２と、マルチプレクサ２３（ＭＵＸ）とを備える。

ミキサ２１は、複数の音響信号をミキシングして、音響空間層毎の音響チャンネル信号として符号化部２２に出力する。ここで、ミキサ２１に入力される音響信号は、直接音の音響空間層及び間接音の音響空間層の音響チャンネル信号を含むものである。

符号化部２２は、ミキサ２１からの各音響空間層の音響チャンネル信号を符号化してマルチプレクサ２３に出力する。

マルチプレクサ２３（多重化部）は、直接音の音響空間層及び間接音の音響空間層の音響チャンネル信号と、制作環境の特徴量を含むメタデータとを多重化するものであり、番組制作者等により入力されるメタデータと、符号化された音響チャンネル信号を多重化して複数の音響空間層を持つマルチチャンネル音響信号を作成する。ここで、制作環境の特徴量は、残響時間、両耳間相互相関度、両耳間レベル差、及び両耳間時間差のうち少なくとも一つを含むものである。また、マルチプレクサ２３は、直接音の音響空間層及び間接音の音響空間層それぞれの推奨ラウドネスを含むメタデータを多重化することができる。また、マルチプレクサ２３は、複数の間接音の音響空間層の音響チャンネル信号を多重化することができる。マルチプレクサ２３は、放送又は伝送によりマルチチャンネル音響信号を伝えるため、マルチチャンネル音響信号を多重化して電波またはＩＰ回線等で家庭など遠隔地に伝送する。

このように、本実施形態によれば、マルチプレクサ２３は、直接音の音響空間層及び間接音の音響空間層の音響チャンネル信号と、制作環境の特徴量を含むメタデータとを多重化する。これにより、音響信号再生装置側で、複数の音響空間層を持つマルチチャンネル音響方式に対応し、再生環境合わせて間接音を調節することが可能となる。特に、放送番組を構成する音響区間を直接音と間接音に分離して伝送することによって、再生環境に合わせて反射音を調整することが可能になり、制作者の意図通りの音響空間を再生することが可能となる。

また、マルチプレクサ２３は、直接音の音響空間層及び間接音の音響空間層それぞれの推奨ラウドネスを含むメタデータを多重化する。これにより、音響信号再生装置側で、より制作環境に近い音響品質で番組聴取が可能となる。

また、マルチプレクサ２３は、複数の間接音の音響空間層の音響チャンネル信号を多重化する。これにより、音響信号再生装置側で、再生環境に合わせて反射音を切り替えることが可能になり、制作者の意図通りの音響空間を再生することが可能となる。

また、再生環境の特徴量は、残響時間、両耳間相互相関度、両耳間レベル差、及び両耳間時間差のうち少なくとも一つを含む。これにより、音響信号再生装置側で、残響時間に限られず、種々の基準でより再生環境に適した間接音の音響空間層を選択することが可能になる。即ち、かかる特徴量により、より制作環境に近い音響品質で番組聴取が可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

１０ 音響信号再生装置
１１ デマルチプレクサ
１２ 復号化部
１３ 再生チャンネル変換部
１４ スピーカ
１５ 音量調整部
２０ 音響信号作成装置
２１ ミキサ
２２ 符号化部
２３ マルチプレクサ（多重化部）

Claims (4)

1. 少なくとも１つの間接音の音響空間層を含む、複数の音響空間層を持つマルチチャンネル音響信号の再生装置であって、
   前記マルチチャンネル音響信号に含まれるメタデータは、音響空間層の数と、制作環境の音響に関する特徴量と、各音響空間層が直接音か間接音かを示す記述と、それぞれの音響空間層における各音響チャンネル信号の配置と、直接音の音響空間層と間接音の音響空間層との再生バランスを示すそれぞれの推奨ラウドネスと、を含み、
   前記制作環境の前記特徴量と、再生環境の前記特徴量とに基づき、再生時に前記制作環境に近い前記特徴量を実現するように前記間接音の音響空間層の音量を調整して、前記直接音の音響空間層と前記間接音の音響空間層とを合成する音量調整部を備える音響信号再生装置。
2. 請求項１に記載の音響信号再生装置において、マルチチャンネル音響信号全体の音量を調整する場合に、
   前記音量調整部は、前記制作環境の前記特徴量と前記再生環境の前記特徴量とに基づき、前記推奨ラウドネスからのラウドネスの変更幅を音響空間層毎に変えて、前記直接音の音響空間層及び前記間接音の音響空間層の音量を調整して合成することを特徴とする、音響信号再生装置。
3. 請求項１又は２に記載の音響信号再生装置において、
   マルチチャンネル音響信号を復号化する復号化部を備え、
   前記復号化部は、前記マルチチャンネル音響信号が間接音の音響空間層を複数含む場合、複数含まれる間接音の音響空間層のうち、前記メタデータに記載された前記制作環境の前記特徴量と前記再生環境の前記特徴量との差が最も小さくなる間接音の音響空間層のみを復号化することを特徴とする、音響信号再生装置。
4. 請求項１乃至３のいずれか一項に記載の音響信号再生装置において、
   前記制作環境の前記特徴量は、前記制作環境において各音響空間層を推奨ラウドネスで再生したときの残響時間、両耳間相互相関度、両耳間レベル差、及び両耳間時間差のうち少なくとも一つを含むことを特徴とする、音響信号再生装置。

Images