JP6204684B2

JP6204684B2 - 音響信号再生装置

Info

Publication number: JP6204684B2
Application number: JP2013079623A
Authority: JP
Inventors: 大出　訓史; 訓史大出; 靖茂中山
Original assignee: Japan Broadcasting Corp; NHK Engineering System Inc
Current assignee: Japan Broadcasting Corp; NHK Engineering System Inc
Priority date: 2013-04-05
Filing date: 2013-04-05
Publication date: 2017-09-27
Anticipated expiration: 2033-04-05
Also published as: JP2014204323A

Description

この発明は、複数の音響空間層を持つマルチチャンネル音響方式の音響信号再生装置に関する。

現在番組制作が行われている2チャンネル音響方式、5.1チャンネル音響方式に加え、7.1チャンネルや22.2チャンネルなどの5.1チャンネル音響方式を超えた「3次元(立体)音響方式」など複数の音響方式が提案されている。オーディオ関連の国際標準化団体であるITU-Rでは、ITU-R勧告として5.1チャンネル音響方式を超えた3次元音響方式（advanced multichannel audio system）に対する要求条件（非特許文献１）を定めており、今後も複数の音響方式が提案されることが予測される。これらの音響方式を共通のフォーマットで表現することで、次世代オーディオシステムに適用可能であり種々の方面への活用が可能な柔軟なシステムとすることができる。

"Performance requirements for an advanced multichannel stere ophonic sound system for use with or without accompanying picture", ITU-R勧告BS. 1909

種々の音響方式を表現可能な共通のフォーマットとして、「単一の音響空間層を持つ音響信号」の検討は進んでいる。ここで、空間的に配置された複数のチャンネル信号によって構築される音を単一の音響空間層とする。これまでの番組制作では番組に必要な音を全て単一の音響空間層に配置している。これまで一つにまとめていた音響空間層を幾つかの層に分割して音響番組制作を行い、「複数の音響空間層を持つ音響信号」の形式を用いることで、番組交換時の受取先や家庭の環境に合わせて受信した音響信号の変形・変換・入替を容易に行うことができるようになる。これ以降、「マルチチャンネル音響方式」とは「複数の音響空間層を持つ音響方式」を意図するものとして説明を行う。

例えば、マルチチャンネル音響方式を用いて放送される放送番組は、様々な音響方式によって制作され、様々な再生環境において再生される。生活音が大きい環境や屋外など、音声の音量だけを大きくするなど、放送番組として完成される前の情報を使ったサービスも求められる。しかし、制御したい音がある時刻からある時刻間だけでそれ以外の時間が無音である場合、番組中長い時間、無音である音響チャンネル信号を伝送するのは、伝送コストがかかってしまう。また、ナレーションや音楽など番組内でも求められる音響品質は異なり、常に計算コストの高い音響方式を伝送するのはコストがかかる。

したがって、かかる点に鑑みてなされた本発明の目的は、複数の音響空間層を持つマルチチャンネル音響方式に対応し、１つの音響空間層を時分割して必要最小限のデータにより当該音響空間層を再生可能な音響信号再生装置を提供することにある。

上述した諸課題を解決すべく、本発明に係る音響信号再生装置は、複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、前記マルチチャンネル音響信号に含まれるメタデータは、音響空間層の数と、各音響空間層のチャンネル数及び内容と、それぞれの音響空間層における各音響チャンネル信号の配置と、各音響空間層の時分割された複数の再生時間と、を含み、前記メタデータに記載された各音響空間層の前記再生時間に基づき、時分割して送信される前記音響空間層のうち、前記再生時間に対応する音響チャンネル信号のみを復号化する復号化部と、前記復号化された音響チャンネル信号を再生時間に合わせて再生する再生時間調整部を備える。

また、前記メタデータに含まれる各音響空間層の前記内容に基づいて、同一内容の音響空間層がグループとして規定され、前記復号化部は、前記グループのうち選択された音響空間層に含まれる音響チャンネル信号のみを復号化することが好ましい。

また、前記復号化部は、前記選択された音響空間層の音響チャンネル信号が無音となる区間は、前記グループに含まれる他の音響空間層の音響チャンネル信号を復号化することが好ましい。

本発明に係る音響信号再生装置によれば、複数の音響空間層を持つマルチチャンネル音響方式に対応し、１つの音響空間層を時分割して必要最小限のデータにより当該音響空間層を再生することが可能となる。

本発明の一実施形態に係る音響信号再生装置の構成を示す図である。マルチチャンネル音響信号に含まれる音響空間層の一例を示す図である。マルチチャンネル音響信号における音響チャンネル信号及びメタデータの一例を示す図である。マルチチャンネル音響信号における音響チャンネル信号及びメタデータの一例を示す図である。マルチチャンネル音響信号における音響チャンネル信号及びメタデータの一例を示す図である。本発明の一実施形態に係る音響信号作成装置の構成を示す図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、本発明は、「複数の音響空間層を持つ音響信号」であるマルチチャンネル音響信号に対応するものである。本件出願人は、「単一の音響空間層を持つ音響信号」について韓国特許出願（10-2012-0112984）を行っており、また、「複数の音響空間層を持つ音響信号」について日本国特許出願（特願2013-010544）を行っている。

図１は、本発明の一実施形態に係る音響信号再生装置の構成を示す図である。音響信号再生装置１０は、デマルチプレクサ１１（ＤＥＭＵＸ）と、復号化部１２と、再生時間調整部１５と、再生チャンネル変換部１３とを備え、音響信号再生装置１０の出力信号はスピーカ１４により音として再生される。

デマルチプレクサ１１は、入力されたマルチチャンネル音響データストリームをメタデータと音響チャンネル信号に分離する。デマルチプレクサ１１は、音響チャンネル信号を復号化部１２に出力し、メタデータを復号化部１２、再生時間調整部１５及び再生チャンネル変換部１３に出力する。

図２は、本実施形態におけるマルチチャンネル音響信号（音響データストリーム）に含まれる音響空間層の一例を示す図である。図２のマルチチャンネル音響信号は、２つの音響空間層を含んで構成される。第１の音響空間層２００はステレオ方式（２ｃｈ）の音響チャンネル（Ｌｃｈ２１０、Ｒｃｈ２２０）であり、Ｍｕｓｉｃ（背景音、環境音、音楽など）を再生する。第２の音響空間層３００はステレオ方式（２ｃｈ）の音響チャンネル（Ｌｃｈ３１０、Ｒｃｈ３２０）であり、Ｄｉａｌｏｇｕｅ（俳優のせりふ、会話など）を再生する。

図３は、図２に示すマルチチャンネル音響信号における音響チャンネル信号及びメタデータの一例を示す図である。図３のメタデータ（Sound Essence 000）には、当該マルチチャンネル音響信号が２層の音響空間層（Sound Field）を持つことが記載されている。第１の音響空間層２００（Sound Field 01）は、２ｃｈのステレオ方式で構成され、音響チャンネル信号２１０（Channel 01）がＬｃｈ、音響チャンネル信号２２０（Channel 02）がＲｃｈである旨が記載されている。第２の音響空間層３００（Sound Field 02）は、２ｃｈのステレオ方式で構成されるが、音響チャネル信号はDialogue 01（３１０、３２０）とDialogue 02（３３０、３４０）とに時分割され、各音響チャンネル信号の再生時間がメタデータに記載されている。即ち、第２の音響空間層３００は、無音区間（ｎｕｌｌ区間）を除いて時分割された音響チャンネル信号を含む音響空間層であって、時刻０：００：００より、音響チャンネル信号３１０（Channel 01）をＬｃｈ、音響チャンネル信号３２０（Channel 02）をＲｃｈより再生し、時刻０：０１：００より、音響チャンネル信号３３０（Channel 01）をＬｃｈ、音響チャンネル信号３４０（Channel 02）をＲｃｈより再生する旨が記載されている。メタデータに再生時間を記載することにより、各チャンネルにおける無音区間（ｎｕｌｌ区間）の伝送が不用となり、伝送コストを低減することができる。

復号化部１２は、マルチチャンネル音響信号に含まれるメタデータに記載された音響空間層の再生時間に基づき、各音響空間層の音響チャンネル信号を復号化し、メタデータに基づいて、音響チャンネル信号を音響空間層毎にグルーピングする。なお、復号化部１２は、メタデータを参照し、再生対象となる時間、チャンネル以外の各音響チャンネル信号の復号化は行わなくてもよい。これにより、復号化に関する消費電力を低減することができる。

再生時間調整部１５は、マルチチャンネル音響信号に含まれるメタデータに記載された音響空間層の再生時間に基づき、復号化された音響チャンネル信号の再生時間を調整するものである。再生時間調整部１５は、グルーピングされた音響チャンネル信号を一時的にメモリに格納し、メタデータに書かれた再生時刻まで時間的遅らせることで音響チャンネル信号の再生時間を調整する。

再生チャンネル変換部１３は、再生時刻が調整された音響チャンネル信号を再生チャンネルごとに加算し、各再生スピーカに入力する音響チャンネル信号を生成する。

このように、本実施形態によれば、復号化部１２は、マルチチャンネル音響信号に含まれるメタデータに記載された音響空間層の再生時間に基づき、時分割して送信される音響空間層の音響チャンネル信号を復号化し、再生時間調整部１５は復号化された音響チャンネル信号の再生時間を調整する。これにより、複数の音響空間層を持つマルチチャンネル音響方式に対応し、１つの音響空間層を時分割して必要最小限のデータにより当該音響空間層を再生することが可能となる。また、必要最小限の音響信号データを伝送し、所望の時間から再生することができるため、伝送コストを抑えることが可能となる。さらに、情報がない時間の音響チャンネル信号を伝送しないことで、少ない伝送コストで所望の放送番組の伝送、番組交換が実現可能となる。

図４は、マルチチャンネル音響信号における音響チャンネル信号及びメタデータの他の例を示す図である。図４のメタデータ（Sound Essence 000）には、当該マルチチャンネル音響信号が２層の音響空間層（Sound Field）を持ち、第１の音響空間層２００（Sound Field 01）がＭｕｓｉｃ（背景音、環境音、音楽など）を再生し、また、第２の音響空間層３００（Sound Field 02）及び第３の音響空間層４００（Sound Field 03）がＤｉａｌｏｇｕｅ（俳優のせりふ、会話など）グループとして規定され、第２の音響空間層３００と第１の音響空間層４００のうちどちらか選択された音響空間層が再生されることが記載されている。この場合、例えば、第２の音響空間層３００は日本語の音声であり、第３の音響空間層４００は解説放送や英語の音声などである。復号化部１２は、第２の音響空間層３００及び第３の音響空間層４００のうち、通常は、第２の音響空間層３００を復号するが、メタデータの設定やユーザからの入力に応じて第３の音響空間層４００の音声に切り替えて復号化を行うことができる。この例では、視聴者が第３の音響空間層４００を選択した場合は、復号化部１２は、２番目の区間（Dialogue B2）のみ第３の音響空間層４００の復号化を行い、再生時間調整部１５は、第３の音響空間層４００の再生時間を調整する。それ以外の区間（第３の音響空間層４００が無音となる区間）はグループの他の音響空間層である第２の音響空間層３００の音響チャンネル信号が再生される。なお、２番目の区間であるDialogue A2とDialogue B2とはそれぞれ長さが異なるため、再生時間は異なる時刻が設定される。このように、番組中の再生時刻が分かっていることで、映像信号と音響信号の時間的なずれを補正することにも応用することができる。

このように、メタデータにより時分割して送信される音響チャネル信号を含む音響空間層のグループを規定し、復号化部１２が選択された音響空間層の音響チャンネル信号を復号化し、再生時間調整部１５がグループのうち選択された音響空間層の音響チャンネル信号の再生時間を調整することにより、例えば、異なる言語を話す出演者にインタビューを行った場合、メタデータに再生時間を記載することにより、音声が含まれない時間帯は伝送を行わず、音声が含まれる時間帯のみ伝送を行うことにより、必要最小限のデータだけを伝送することが可能となる。

また、再生時間調整部１５が選択された音響空間層の音響チャンネル信号が無音となる区間はグループの他の音響空間層の音響チャンネル信号の再生時間を調整することにより、例えば、複数言語番組など、切り替え可能な音響空間層のうち、有効な音声データを含む音響空間層に自動的に切り替えて番組を放送することが可能となる。

図５は、マルチチャンネル音響信号における音響チャンネル信号及びメタデータの他の例を示す図である。図５は、一つの番組中に、音響方式を切り替える例を示すものである。ナレーションなど特にマルチチャンネル音響方式でなくてもよい場面や、音楽やスポーツ中継など高い臨場感が求められる場面では、同じ番組内でも求められる音響品質は異なる。図５のように、主に音声の場合は２チャンネルの音響空間層（Sound field 01、Sound field 03）とし、音楽演奏の場面では５チャンネルの音響空間層（Sound field 02）というように、一つの番組内で伝送する音響空間を切り替えることも可能である。このように、番組中のある時刻にどの音源が再生されるかをメタデータとして記述することで、効率的に音響信号を伝送することが可能となる。

図６は、本発明の一実施形態に係る音響信号作成装置の構成を示す図である。音響信号作成装置２０は、ミキサ２１と、符号化部２２と、マルチプレクサ２３（ＭＵＸ）とを備える。

ミキサ２１は、複数の音響信号をミキシングして、音響空間層毎の音響チャンネル信号として符号化部２２に出力する。

符号化部２２は、ミキサ２１からの各音響空間層の音響チャンネル信号を符号化してマルチプレクサ２３に出力する。

マルチプレクサ２３（多重化部）は、時分割された音響空間層の音響チャンネル信号と、音響空間層の再生時間を含むメタデータとを多重化するものであり、番組制作者等により入力されるメタデータと、符号化された音響チャンネル信号を多重化して複数の音響空間層を持つマルチチャンネル音響信号を作成する。マルチプレクサ２３は、放送又は伝送によりマルチチャンネル音響信号を伝えるため、マルチチャンネル音響信号を多重化して電波またはＩＰ回線等で家庭など遠隔地に伝送する。なお、マルチプレクサ２３は、メタデータに、時分割して送信される音響チャネル信号を含む音響空間層のグループを規定してもよい。

このように、本実施形態によれば、マルチプレクサ２３は、音響空間層の音響信号を表す音響チャンネル信号と、音響空間層の再生時間を含むメタデータとを多重化する。これにより、音響信号再生装置側で、複数の音響空間層を持つマルチチャンネル音響方式に対応し、１つの音響空間層を時分割して必要最小限のデータにより当該音響空間層を再生することが可能となる。また、必要最小限の音響信号データを伝送し、所望の時間から再生することができるため、伝送コストを抑えることが可能となる。さらに、情報がない時間の音響チャンネル信号を伝送しないことで、少ない伝送コストで所望の放送番組の伝送、番組交換が実現可能となる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の機能部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

１０音響信号再生装置
１１デマルチプレクサ
１２復号化部
１３再生チャンネル変換部
１４スピーカ
１５再生時間調整部
２０音響信号作成装置
２１ミキサ
２２符号化部
２３マルチプレクサ（多重化部）

Claims

複数の音響空間層を含むマルチチャンネル音響信号の再生装置であって、
前記マルチチャンネル音響信号に含まれるメタデータは、音響空間層の数と、各音響空間層のチャンネル数及び内容と、それぞれの音響空間層における各音響チャンネル信号の配置と、各音響空間層の時分割された複数の再生時間と、を含み、
前記メタデータに記載された各音響空間層の前記再生時間に基づき、時分割して送信される前記音響空間層のうち、前記再生時間に対応する音響チャンネル信号のみを復号化する復号化部と、
前記復号化された音響チャンネル信号を再生時間に合わせて再生する再生時間調整部と、
を備える音響信号再生装置。
前記メタデータに含まれる各音響空間層の前記内容に基づいて、同一内容の音響空間層がグループとして規定され、前記復号化部は、前記グループのうち選択された音響空間層に含まれる音響チャンネル信号のみを復号化する、請求項１に記載の音響信号再生装置。
前記復号化部は、前記選択された音響空間層の音響チャンネル信号が無音となる区間は、前記グループに含まれる他の音響空間層の音響チャンネル信号を復号化する、請求項２に記載の音響信号再生装置。