JPWO2009050903A1 - オーディオミキシング装置 - Google Patents

Abstract

入力信号の性質に依存せずに処理が簡単で確実なオーディオミキシング装置を提供する。オーディオミキシング装置は、主音声データ、従音声データおよび制御データを含む音声データを受け取って、音声データから各々を分離する解析回路と、分離された主音声データおよび従音声データを、複数チャンネルの主音声信号および従音声信号にそれぞれ復号する再生回路と、チャンネルごとに従音声信号を主音声信号に加算してＭチャンネルの合成音声信号を生成し、設定されたミキシング係数群に基づいて、Ｍチャンネルの合成音声信号をＮチャンネル（Ｎ＜Ｍ）の音声信号に変換するミキシング回路と、従音声データの存在の有無にかかわらず、分離された制御データ中の、従音声の存在の有無を示す複数のパラメータの各々に基づいて従音声の存在の有無を判定し、判定結果に応じて、係数記憶回路に記憶されている複数種類のミキシング係数群の中から１つのミキシング係数群を選択し、ミキシング回路に設定する判定回路とを備えている。

Description

本発明は、主音声に対して、主音声に関係する音声である副音声や、使用者の操作を反映する効果音を加算する、オーディオミキシング装置に関する。

近年、２チャンネルよりも多いチャンネル数の音声信号が記録されたコンテンツの普及が進んでいる。たとえば、６チャンネル分の音声信号が記録されている映画コンテンツのＤＶＤが入手可能である。

音声信号は、通常、そのチャンネル数に相当する数のスピーカから出力されることが想定されている。たとえば、図１は、聴取者１７を囲むように配置された６チャンネルの音声信号用のスピーカ１１〜１６を示している。図１には、左チャンネルスピーカ（Ｌ）１１と、中央チャンネルスピーカ（Ｃ）１２と、右チャンネルスピーカ（Ｒ）１３と、左後方チャンネルスピーカ（ＬＳ）１４と、右後方チャンネルスピーカ（ＲＳ）１５と、低域効果チャンネルスピーカ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ；ＬＦＥ）１６とが示されている。

なお、ＬＦＥ１６が出力する音声の周波数帯域は、他のスピーカのそれの１０分の１以下であるため、ＬＦＥ用音声信号を「０．１チャンネル」と数えることがある。その結果、図１に示すスピーカシステムは「５．１チャンネルサラウンドスピーカーシステム」と呼ばれることも多い。ただし、本願明細書においては、ＬＦＥ用音声信号は１チャンネルと数え、「５．１チャンネル」という表現は使わないこととする。

たとえば６チャンネルの音声信号を含むコンテンツをテレビ番組で放送するときには、放送局は、２チャンネルの音声信号に変換して送信することがある。これは２つのスピーカを有するアナログテレビで視聴されることを想定しているためである。このような、音声信号のチャンネル数を減少させる処理を「ダウンミキシング」という。２スピーカを有するテレビは受信した２チャンネルの音声信号の各々に基づいて音声を出力することができる。

一方、スピーカ数が２より多いオーディオ機器も存在する。多くのスピーカから音声が出力できるほど映像の臨場感は増すため、より多くのスピーカから独立した音声を出力できることが好ましい。そこで現在は、２チャンネルの音声信号を受信した機器が、自らの出力性能に応じて２チャンネルよりも多いチャンネルデータを擬似的に生成する、擬似サラウンド処理を行うのが一般的である。

数１および数２は、一般的なダウンミキシング方法を示す計算式である。
Ｌｄｍ＝ＫＬＬ×Ｌｍ＋ＫＬＣ×Ｃｍ＋ＫＬＲ×Ｒｍ＋ＫＬＬＳ×ＬＳｍ＋ＫＬＲＳ×ＲＳｍ＋ＫＬＬＦＥ×ＬＦＥｍ （数１）
Ｒｄｍ＝ＫＲＬ×Ｌｍ＋ＫＲＣ×Ｃｍ＋ＫＲＲ×Ｒｍ＋ＫＲＬＳ×ＬＳｍ＋ＫＲＲＳ×ＲＳｍ＋ＫＲＬＦＥ×ＬＦＥｍ （数２）

数式中の記号の意味は、Ｌｄｍ：生成される左出力信号、Ｒｄｍ：生成される右出力信号、Ｃｍ、ＬｍおよびＲｍ：元の音声信号のうちのセンター信号、左信号および右信号、ＬＳｍおよびＲＳｍ：元の音声信号のうちの左後方信号および右後方信号、ＬＦＥｍ：元の音声信号のうちの低域効果信号、である。数１および２により、音声信号は、６チャンネル（Ｍ＝６）から２チャンネル（Ｎ＝２）にダウンミキシングされる。左出力信号Ｌｄｍおよび右出力信号Ｒｄｍを受信した２スピーカのテレビは、これらの音声信号をそれぞれのスピーカから出力する。

数１および２のＣｍ、Ｌｍ、Ｒｍ、ＬＳｍ、ＲＳｍおよびＬＦＥｍに乗じられた係数は、それぞれ以下の通りである。係数（Ａ１）は左ミキシング係数と呼ばれ、係数（Ａ２）は右ミキシング係数と呼ばれる。
（Ａ１） ＫＬＬ＝１．０， ＫＬＣ＝０．７０７， ＫＬＲ＝０．０， ＫＬＬＳ＝−０．７０７， ＫＬＲＳ＝−０．７０７， ＫＬＬＦＥ＝０．０
（Ａ２） ＫＲＬ＝０．０， ＫＲＣ＝０．７０７， ＫＲＲ＝１．０， ＫＲＬＳ＝０．７０７， ＫＲＲＳ＝０．７０７， ＫＲＬＦＥ＝０．０

このような値のミキシング係数を設定する理由は、数３および数４に示すように、擬似的な後方チャンネル信号と擬似的な中央チャンネル信号を得るためである。
Ｒｄｍ−Ｌｄｍ＝−Ｌｍ＋Ｒｍ＋１．４１４×（ＬＳｍ＋ＲＳｍ）
（数３）
Ｒｄｍ＋Ｌｄｍ＝Ｌｍ＋１．４１４×Ｃｍ＋Ｒｍ
（数４）

数３によれば、左出力信号Ｌｄｍおよび右出力信号Ｒｄｍを受け取った機器がＲｄｍからＬｄｍを差し引くことにより、擬似的に強調された後方チャンネル信号（ＬＳｍ＋ＲＳｍ）を得ることができる。また数４によれば、左出力信号Ｌｄｍおよび右出力信号Ｒｄｍを受け取った機器がＲｄｍにＬｄｍを加えることにより、擬似的に強調された中央チャンネル信号（Ｃｍ）を得ることができる。つまり数３および数４のような簡単な演算により、機器は２チャンネルの出力信号ＬｄｍおよびＲｄｍを使って擬似的な中央チャンネル信号および後方チャンネル信号を生成して、合計４チャンネルの音声を再生することが可能になる。

特許文献１から３は、ダウンミキシングを行うオーディオミキシング装置において、６チャンネルの音声信号を２チャンネルの音声信号にダウンミキシングするときに用いる係数（パラメータ）の設定を切り替える技術を開示している。

また特許文献４は、マルチチャネル・ミックスの所期の方向及び信号エネルギーを維持するオーディオミキシング装置を開示している。この文献では、入力信号の信号エネルギーと所期の方向とが出力信号において実質的に維持されるように、生成された左および右チャネル混合係数ｍｌおよびｍｒに応答してマルチチャネル入力信号を出力信号にダウンミキシングする方法を用いている。
日本国特開平６−１６５０７９号公報 日本国特開２００４−２４１８５３号公報 日本国特表２００１−５１８２６７号公報 日本国特表２００５−５２３６７２号公報

数１および数２に示すミキシング係数を使用して２チャンネル（Ｎ＝２）の音声信号ＬｄｍおよびＲｄｍを生成すると、音像が当初の６チャンネル（Ｍ＝６）の信号の音像と全く異なってしまうことがある。

たとえば、図１の６チャンネルのスピーカシステムにおいて聴取者１７の位置に音像を定位させるためには、Ｃチャンネルから振幅０．５の信号を出力し、ＲＳチャンネルおよびＬＳチャンネルからそれぞれ振幅０．２５の信号を出力すれば良い。その音声信号を２チャンネルにダウンミキシングすると、数５および数６に示す出力信号が得られる（数１および数２にＣｍ＝０．５、ＬＳｍ＝ＲＳｍ＝０．２５を代入する）。
Ｌｄｍ＝０．０＋０．７０７×０．５−０．７０７×０．２５−０．７０７×０．２５＝０．０ （数５）
Ｒｄｍ＝０．７０７×０．５＋０．０＋０．７０７×０．２５＋０．７０７×０．２５＝０．７０７ （数６）

数５から明らかなとおり、左出力信号Ｌｄｍによれば音声は出力されない。よって、ダウンミキシングされた出力信号ＬｄｍおよびＲｄｍを受けた機器は、音像が右に偏った音声を出力することになる。

このような不自然な音像は、パニング（ｐａｎｎｉｎｇ）操作などにより、複数のチャンネルを利用して、６チャンネルの信号に含まれる副音声信号や効果音信号の音像を移動させる場合においては顕著に認識される。なお「パニング」とは、たとえば図１のＬスピーカ１１、Ｃスピーカ１２、Ｒスピーカ１３、ＲＳスピーカ１５、ＬＳスピーカ１４から順に音声を出力することにより、図１に示す円上で音像を時計方向に回転させる音声出力方法をいう。

また、特許文献１から３においては、パラメータの設定を切り替えるための基準は、たとえば、ユーザの嗜好にあった音質を得ることや、プログラムソースに応じた最適な音質を得ることである。これでは、予め設定することが必要であったり、プログラムソースの内容を予め把握しておく必要があり、柔軟性を欠く。

特許文献４においては、入力信号のエネルギーに基づいて混合係数ｍｌおよびｍｒを求める必要があるために、オーディオミキシング装置のハードウェア規模が大きくなる、もしくはソフトウェアの処理が多くなる。よって、コストが嵩むという問題が生じる。同じような機能を民生用機器で実現するためには、特許文献４の技術とは異なる、処理がより簡単で、エネルギーのような入力信号の性質に依存しない確実な方法が要求されている。

なお、特許文献２および３のオーディオミキシング装置は、ＤＶＤの再生機器への内蔵を想定したものであり、その次の世代のブルーレイディスク（ＢＤ）の再生機器への応用は不可能である。ブルーレイディスク規格（Ｂｌｕ−ｒａｙ Ｄｉｓｃ Ｆｏｒｍａｔ）では、ボタン音（従音声）を主音声にミキシングできるよう規定されているため、従音声をパニングさせて音像を積極的に動かすことができる。ところが、従音声には映像を伴っていない場合があり、必ずしも音像定位に映像情報を補助的に用いることができない。したがってブルーレイディスク規格に準拠した製品においては、従音声が存在する場合にはミキシングしても従音声の音像定位を保つ方法が要求されている。

本発明の目的は、入力信号の性質に依存せずに処理が簡単で確実なオーディオミキシング装置を提供することである。

本発明によるオーディオミキシング装置は、主音声データ、従音声データおよび制御データを含む音声データを受け取って、前記音声データから各々を分離する解析回路であって、前記制御データは従音声の存在の有無を示す複数のパラメータを含む、解析回路と、分離された前記主音声データを、複数チャンネルの主音声信号に復号する主音声再生回路と、分離された前記従音声データを、複数チャンネルの従音声信号に復号する従音声再生回路と、チャンネルごとに前記従音声信号を前記主音声信号に加算してＭチャンネルの合成音声信号を生成し、設定されたミキシング係数群に基づいて、前記Ｍチャンネルの合成音声信号をＮチャンネル（Ｎ＜Ｍ）の音声信号に変換するミキシング回路と、前記ミキシング回路に設定されるミキシング係数群を複数種類記憶する係数記憶回路と、前記従音声データの存在の有無にかかわらず、分離された前記制御データに含まれる前記複数のパラメータの各々に基づいて前記従音声の存在の有無を判定し、判定結果に応じて、前記係数記憶回路に記憶されている複数種類のミキシング係数群の中から１つのミキシング係数群を選択し、前記ミキシング回路に設定する判定回路とを備えている。

前記従音声は、副音声および効果音の少なくとも一方であり、前記複数のパラメータの各々は、前記副音声の存在の有無または効果音の存在の有無を示しており、前記判定回路は、前記複数のパラメータの各々によって、前記副音声および前記効果音が存在しないことが示されているときに、前記従音声が存在しないと判定してもよい。

前記従音声は、副音声および効果音の少なくとも一方であり、前記複数のパラメータは、前記効果音を格納したファイルの有無を示すパラメータ、前記従音声の存在を示すフラグ、インタラクティブ映像の有無を示すパラメータ、および、前記従音声のうちの前記副音声のデータの有無を示すパラメータを含んでおり、前記判定回路は、（ａ）前記従音声の存在を示すフラグが前記従音声の存在を示していないとき、（ｂ）前記従音声の存在を示すフラグが前記従音声の存在を示しており、前記副音声のデータの有無を示すパラメータが前記副音声のデータの存在を示しておらず、かつ、前記インタラクティブ映像の有無を示すパラメータが、前記インタラクティブ映像の存在を示していないとき、または、（ｃ）前記従音声の存在を示すフラグが前記従音声の存在を示しており、前記副音声のデータの有無を示すパラメータが前記副音声のデータの存在を示しておらず、前記インタラクティブ映像の有無を示すパラメータが前記インタラクティブ映像の存在を示しておらず、かつ、前記効果音を格納したファイルの有無を示すパラメータが前記効果音の存在を示していないときは、前記従音声が存在しないと判定してもよい。

前記インタラクティブ映像の有無を示すパラメータによって、前記インタラクティブ映像の存在が示されていないときは、前記判定回路は前記効果音が存在しないと判定し、前記インタラクティブ映像の有無を示すパラメータによって、前記インタラクティブ映像の存在が示されているときは、前記判定回路は前記効果音が存在すると判定してもよい。

前記従音声は、副音声および効果音の少なくとも一方であり、前記複数のパラメータは、前記効果音を格納したファイルの有無を示すパラメータ、前記従音声の存在を示すフラグ、インタラクティブ映像の有無を示すパラメータ、および、前記従音声のうちの前記副音声のデータの有無を示すパラメータのうちの少なくともひとつを含んでおり、前記判定回路は、前記複数のパラメータの各々によって、前記副音声および前記効果音の存在が示されていないときに、前記従音声が存在しないと判定してもよい。

電源投入後に前記解析回路が前記音声データを最初に受信した時、前記判定部は前記ミキシング係数群を前記ミキシング回路に設定してもよい。

前記解析回路が、新たに音声データを受信した時、前記判定部は前記ミキシング係数群を前記ミキシング回路に設定してもよい。

本発明のオーディオミキシング装置は、解析回路が出力した制御データに基づいて、判定回路が入力データに従音声データが存在すると判断した場合には、判定回路が係数記憶回路から従音声データが存在する場合のミキシング係数を読み出して、ミキシング回路に設定し、それ以外の場合は係数記憶回路から従音声データが存在しない場合のミキシング係数を読み出して、ミキシング回路に設定するので、入力データ中の制御データに基づいて判定回路が判断するために処理が簡単で、従音声が存在する場合には方向性が維持されるミキシング係数を係数記憶回路から読み出すようにすることで、確実に音像定位が維持されたまま主音声と従音声をミキシングした出力音声信号が得られる。

さらに判定回路が、入力データに従音声データが存在するか否かの判定を、入力信号そのものでなく解析回路が出力した制御データに基づいて行うため、入力信号の性質が急激に変わったりした場合でも、ミキシング回路は影響を受けることなく、安定かつ確実なミキシングを行うことができる。

聴取者１７を囲むように配置された６チャンネルの音声信号用のスピーカ１１〜１６を示す図である。 本発明の本実施形態によるオーディオミキシング装置１００のブロック図である。 加算回路１１０（図２）の詳細な構成を示すブロック図である。 ミキシング回路１０９（図２）の詳細な構成を示すブロック図である。 判定回路１０２によって副音声および効果音が存在しないと識別される条件を示す図である。 判定回路１０２の判断処理の手順を示すフローチャートである。

符号の説明

１０１ 解析回路
１０２ 判定回路
１０３ 主音声再生回路
１０４ 副音声再生回路
１０５ 効果音再生回路
１０６ 副音声加算回路
１０７ 効果音加算回路
１０８ 係数記憶回路
１０９ ミキシング回路
１１０ 加算回路
１１１ 従音声再生回路

以下、添付の図面を参照しながら、本発明によるオーディオミキシング装置の実施形態を説明する。

図２は、本発明の本実施形態によるオーディオミキシング装置１００のブロック図である。オーディオミキシング装置１００は、解析回路１０１と、判定回路１０２と、主音声再生回路１０３と、係数記憶回路１０８と、ミキシング回路１０９と、加算回路１１０と、従音声再生回路１１１とを備えている。

解析回路１０１は、音声データを受け取る。この音声データには、主音声データ、少なくとも１つの従音声データ、および、制御データが重畳されている。解析回路１０１は、受け取った音声データを、主音声データ、従音声データおよび制御データに分離する。

なお、副音声は一般的に主音声に付随する補助的な音声で、効果音は一般的に使用者の操作を反映させる音声である。映画の音声を例に挙げると、「主音声データ」は本編の音声（主音声）のデータであり、「副音声データ」は他国語の吹き替え音声や映画スタッフのコメンタリーの音声（副音声）のデータであり、効果音データとは、表示されたメニューの選択、決定時の効果音のデータである。

音声データは、たとえばブルーレイディスクに記録され、ＢＤプレーヤ（図示せず）によって読み出された音声データである。この音声データがにトランスポートストリーム形式で記録されていたとすると、音声データは、複数のパケットから構成されたデータである。解析回路１０１は、主音声データ、従音声データ（副音声データおよび効果音データ）および制御データを格納した各パケットに別個に付された異なる識別子（パケットＩＤ；ＰＩＤ）に基づいて、各データを分離する。

判定回路１０２は、解析回路１０１が出力する制御データに基づいて従音声データが存在する場合と従音声データが存在しない場合とを識別する。そして、識別結果に応じて、後述する係数記憶回路１０８に記憶されている複数のミキシング係数群のうちのひとつの群を選択してミキシング回路１０９に設定する。判定回路１０２は、たとえばコンピュータである中央処理ユニット（ＣＰＵ）が図示しないメモリに格納されたコンピュータプログラムを実行することによって実現される。当該コンピュータプログラムは、後述する図６に示す処理手順に従って作成されている。

主音声再生回路１０３は、主音声データを少なくとも１チャンネルの主音声信号に復号する。一方、従音声再生回路１１１は、副音声再生回路１０４と効果音再生回路１０５とを有しており、従音声データを少なくとも１チャンネルの従音声信号に復号する。

加算回路１１０は、副音声加算回路１０６および効果音加算回路１０７を有しており、主音声信号に対し、少なくとも１つの従音声信号を加算する。なお、図２では加算回路１１０は１つのみ示されているが、加算回路１１０は複数でもよい。複数の加算回路１１０を設けることにより、たとえば副音声信号のチャンネル数が多いときであっても、処理の高速化を図ることが可能である。

係数記憶回路１０８は、ミキシング回路１０９でＭチャンネルの信号をＮチャンネルに変換するミキシング係数を複数種類記憶している。たとえば係数記憶回路１０８は、先に説明した数１および数２に対応するミキシング係数群（Ａ１）および（Ａ２）（以下、「ミキシング係数群（Ａ）」と記述する。）を保持している。さらに係数記憶回路１０８は、後述する数７および数８に対応するミキシング係数群（Ｂ１）および（Ｂ２）（以下、「ミキシング係数群（Ｂ）」と記述する。）を保持している。係数記憶回路１０８は、判定回路１０２からの指示に基づいて、ミキシング係数群（Ａ）、または、ミキシング係数群（Ｂ）のいずれかを出力する。

ミキシング回路１０９は、少なくとも１つの従音声信号が加算されたＭチャンネルの前記主音声信号をＭチャンネルよりも少ないチャンネル数Ｎ（Ｎ＜Ｍ）に変換する。たとえばミキシング回路１０９は、入力された６チャンネルの音声信号に対し、ミキシング係数に応じたダウンミキシングを行い、２チャンネルの音声信号を出力する。

なお、オーディオミキシング装置１００は、ミキシング回路１０９に入力される前の６チャンネルの信号を、ミキシング回路１０９を通さずに外部に出力することが可能である。

図３は、加算回路１１０（図２）の詳細な構成を示すブロック図である。加算回路１１０の副音声加算回路１０６は、チャンネルごとの加算回路２０１−２０６を有している。加算回路２０１−２０６は、６チャンネルの主音声信号（Ｌｐ、Ｃｐ、Ｒｐ、ＬＳｐ、ＲＳｐ、ＬＦＥｐ）と、６チャンネルの副音声信号（Ｌｓ、Ｃｓ、Ｒｓ、ＬＳｓ、ＲＳｓ、ＬＦＥｓ）とをそれぞれ加算する。

効果音加算回路１０７もまた、チャンネルごとの加算回路２０７−２１２を有している。加算回路２０７−２１２は、副音声加算回路１０６による加算処理によって得られた、主音声および副音声が合成された６チャンネルの音声信号と、６チャンネルの効果音信号（Ｌｉ、Ｃｉ、Ｒｉ、ＬＳｉ、ＲＳｉ、ＬＦＥｉ）とをそれぞれ加算する。その結果、効果音加算回路１０７は、主音声、副音声および効果音が合成された６チャンネルの音声信号（Ｌｍ、Ｃｍ、Ｒｍ、ＬＳｍ、ＲＳｍ、ＬＦＥｍ）を出力する。

なお、添え字“ｐ”、“ｓ”、“ｉ”、“ｍ”が付された記号Ｌ、Ｃ、Ｒ、ＬＳ、ＲＳ、ＬＦＥの意味は、背景技術の欄において図１に関連して説明したとおりである。

図４は、ミキシング回路１０９（図２）の詳細な構成を示すブロック図である。ミキシング回路１０９は、左チャンネル乗算回路３０１−３０６と、右チャンネル乗算回路３０７−３１２と、左チャンネル加算回路３１３と、右チャンネル加算回路３１４とを有している。

左チャンネル乗算回路３０１−３０６は、加算回路１１０（図３）の効果音加算回路１０７から出力された各チャンネルＬｍ、Ｃｍ、Ｒｍ、ＬＳｍ、ＲＳｍ、ＬＦＥｍに対して、左ミキシング係数（ＫＬＬ， ＫＬＣ， ＫＬＲ， ＫＬＬＳ， ＫＬＲＳ， ＫＬＬＦＥ）をそれぞれ乗じる。右チャンネル乗算回路３０７−３１２は、効果音加算回路１０７から出力された各チャンネルＬｍ、Ｃｍ、Ｒｍ、ＬＳｍ、ＲＳｍ、ＬＦＥｍに対して右ミキシング係数（ＫＲＬ， ＫＲＣ， ＫＲＲ， ＫＲＬＳ， ＫＲＲＳ， ＫＲＬＦＥ）をそれぞれ乗じる。

左チャンネル乗算回路３０１−３０６および右チャンネル乗算回路３０７−３１２が乗算する際に利用する左ミキシング係数および右ミキシング係数は、外部から変更することが可能である。後述のように、これらのミキシング係数は係数記憶回路１０８に格納されており、判定回路１０２からの指示に基づいて変更される。

左チャンネル加算回路３１３は、左ミキシング係数を乗じられた各チャンネルの信号の総和を求める。右チャンネル加算回路３１４は、右ミキシング係数を乗じられた各チャンネルの信号の総和を求める。この結果、ミキシング回路１０９は、チャンネル数２の音声信号（ＬｄｍおよびＲｄｍ）を出力する。これにより、６チャンネル（Ｍ＝６）の信号を２チャンネル（Ｎ＝２）の信号にダウンミキシングされる。

次に、オーディオミキシング装置１００（図２）の動作を説明する。上述の例ではチャンネル数を６としたが、以下ではより一般的に説明するため、チャンネル数はＭ以下とする。チャンネル数がＭより小さいときは、信号値０の信号が出力されているとして取り扱うことにより、下記のチャンネル数Ｍの演算処理が行われるとする。

解析回路１０１は、入力された音声データを受け取って、その音声データを、主音声データ、従音声データおよび制御データに分離する。上述のように、従音声データは副音声データと効果音データとを包含する。解析回路１０１は、副音声データおよび効果音データについても分離する。

主音声再生回路１０３は、主音声データに基づいて、最大Ｍチャンネルの主音声信号を復号する。そして副音声再生回路１０４は副音声データに基づいて、最大Ｍチャンネルの副音声信号を復号する。そして効果音再生回路１０５は効果音データに基づいて最大Ｍチャンネルの効果音信号を復号する。

次に、副音声加算回路１０６は、主音声再生回路１０３から出力されたＭチャンネルの主音声信号に、副音声再生回路１０４から出力されたＭチャンネルの副音声信号を加算する。加算は、対応するチャンネル毎に行われる。また効果音加算回路１０７は、副音声加算回路１０６から出力された、副音声が加算されたＭチャンネルの主音声信号に、効果音再生回路１０５から出力されたＭチャンネルの効果音信号を加算する。ここでも加算は、対応するチャンネル毎に行われる。

一方、上述した処理と並行して、判定回路１０２は、解析回路１０１によって分離され、出力された制御データに基づいて、入力データに副音声データまたは効果音データが存在するか否かを識別する。係数記憶回路１０８には、副音声データおよび効果音データが存在しない場合のミキシング係数群Ａと、入力データに副音声データもしくは効果音データが存在する場合のミキシング係数群Ｂとが記憶されている。判定回路１０２は、識別結果に基づいて、係数記憶回路１０８に記憶されているミキシング係数群Ａか、ミキシング係数群Ｂかを選択し、係数記憶回路１０８に対してそれらをミキシング回路１０９に出力するよう指示する。その結果、ミキシング回路１０９にはいずれかのミキシング係数群が設定される。判定回路１０２は、識別結果に応じてミキシング係数群Ａかミキシング係数群Ｂかを選択し、ミキシング回路１０９に設定しているといえる。

ミキシング回路１０９は、効果音加算回路１０７から出力されたＭチャンネルの音声信号を、係数記憶回路１０８に格納されているミキシング係数を使ってＭチャンネルよりも少ないチャンネル数Ｎ（Ｎ＜Ｍ）に変換する。

ミキシング回路１０９には、複数のミキシング係数群が設定され得る。そのうちのひとつが、数１および数２による演算を実現するミキシング係数群Ａである。ミキシング係数群Ａを改めて示すと以下のとおりである。
（Ａ１） ＫＬＬ＝１．０， ＫＬＣ＝０．７０７， ＫＬＲ＝０．０， ＫＬＬＳ＝−０．７０７， ＫＬＲＳ＝−０．７０７， ＫＬＬＦＥ＝０．０
（Ａ２） ＫＲＬ＝０．０， ＫＲＣ＝０．７０７， ＫＲＲ＝１．０， ＫＬＬＳ＝０．７０７， ＫＬＲＳ＝０．７０７， ＫＬＬＦＥ＝０．０

この上述のミキシング係数群Ａのみでは、ダウンミキシングによって生成されるＮチャンネルによる音像が、当初のＭチャンネルの信号の音像と全く異なってしまうことがある。そこで本実施形態では、ミキシング係数群Ａとは異なるミキシング係数群Ｂを設け、条件に応じていずれかのミキシング係数群を選択して、ミキシング回路１０９に設定するようにした。

本実施形態において設定した条件とは、入力データに副音声データまたは効果音データが存在するか、副音声データおよび効果音データが存在しないかである。なお、副音声データおよび効果音データが両方存在するときは、入力データに副音声データが存在することをもって上述の条件に該当するとして処理している。この処理は後に図６を参照しながら詳述する。

ＢＤにおいては、副音声信号や効果音信号の音像をチャンネル内で移動させることが可能であるため、入力データに副音声データまたは効果音データが存在する場合には、そのような音像の移動が想定される。したがって、副音声信号や効果音信号の音像をチャンネル内で移動させるような場合には、不自然な音像が生じにくいミキシング係数を適用して、ダウンミキシングを行えばよい。

たとえば、ダウンミキシング後のチャンネル数がＮ＝２のときには、中央（Ｃ）チャンネル、左後方（ＬＳ）チャンネルおよび右後方（ＲＳ）チャンネルは存在しないチャンネルである。このような、Ｎチャンネル（Ｎ＝２）には存在しないＭチャンネル（Ｍ＝６）中のチャンネルの音声信号については、そのチャンネル配置上の距離が最も近いＮチャンネル内の１個ないし複数のチャンネルに同位相で加算する。このような演算を可能にするミキシング係数を設定すればよい。これにより、Ｍチャンネル信号をＮチャンネルにミキシングしても、音像定位を極力保つことができる。

下記数７および数８は、６チャンネルの入力データに副音声データまたは効果音データが存在する場合の、２チャンネルへのダウンミキシング方法を示す計算式である。
Ｌｄｍ’＝Ｌｍ＋０．７０７×Ｃｍ＋０．７０７×ＬＳｍ
（数７）
Ｒｄｍ’＝０．７０７×Ｃｍ＋Ｒｍ＋０．７０７×ＲＳｍ
（数８）

数７および数８に利用されたミキシング係数Ｂ１およびＢ２は以下のとおりである。
（Ｂ１） ＫＬＬ＝１．０， ＫＬＣ＝０．７０７， ＫＬＲ＝０．０， ＫＬＬＳ＝０．７０７， ＫＬＲＳ＝０．０， ＫＬＬＦＥ＝０．０
（Ｂ２） ＫＲＬ＝０．０， ＫＲＣ＝０．７０７， ＫＲＲ＝１．０， ＫＬＬＳ＝０．０， ＫＬＲＳ＝０．７０７， ＫＬＬＦＥ＝０．０

数７では、左（Ｌ）チャンネルの信号Ｌｍと、中央（Ｃ）チャンネルの信号Ｃｍにミキシング係数を乗じた０．７０７×Ｃｍと、左後方（ＬＳ）チャンネルの信号ＬＳｍにミキシング係数を乗じた０．７０７×ＬＳｍとを加算（ミキシング）している。これにより、左出力信号Ｌｄｍ’が得られる。

また、数８では、中央（Ｃ）チャンネルの信号Ｃｍにミキシング係数を乗じた０．７０７×Ｃｍと、右（Ｒ）チャンネルの信号Ｒｍと、右後方（ＲＳ）チャンネルの信号ＲＳｍにミキシング係数を乗じた０．７０７×ＲＳｍとを加算（ミキシング）している。これにより、右出力信号Ｒｄｍ’が得られる。

上述のミキシング係数群Ｂ（Ｂ１およびＢ２）は、図４に示すミキシング回路１０９に入力される。

なお、副音声データおよび効果音データが存在しない場合には、不自然な音像が生じる可能性を考慮する必要はない。よって、従来用いられていた、数１および数２に示すダウンミキシングを行えばよい。

次に、図５および図６を参照しながら、判定回路１０２の動作を詳細に説明する。

まず、図５は、判定回路１０２によって副音声および効果音が存在しないと識別される条件を示す。

図５の見方を説明する。図５の最上段に示されている、「Ｓｏｕｎｄ．ｂｄｍｖ」、「ａｕｄｉｏ＿ｍｉｘ＿ａｐｐ＿ｆｌａｇ」、「Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈｉｃｓ」および「Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏ」は、それぞれ、ＢＤ規格において規定されているパラメータである。

最上段に示されている「Ｓｏｕｎｄ．ｂｄｍｖの有無」とは、効果音格納ファイル（Ｓｏｕｎｄ．ｂｄｍｖ）が存在するか否かを示している。このファイルは、ＢＤ規格の「インタラクティブグラフィックストリームアプリケーション」または「ＢＤ−Ｊアプリケーション」に関連する音声データの情報を格納している。列の下方向に沿って、ＨＤＭＶ（１）は不定、ＨＤＭＶ（２）は無し、ＨＤＭＶ（３）は有り、ＨＤＭＶ（４）は不定、を示している。

次の「ａｕｄｉｏ＿ｍｉｘ＿ａｐｐ＿ｆｌａｇ」は、従音声存在フラグとも呼ばれている。従音声存在フラグは、副音声（Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏ）ミキシングおよび／またはインタラクティブ音声ミキシングがプレイリスト（ＰｌａｙＬｉｓｔ）に適用されるかどうかのプレイリストの状態を示している。「プレイリスト」とは、１以上の動画ストリームの一部または全部の再生順序を規定した情報である。プレイリストによる映像再生時に、副音声（Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏ）ミキシングおよび／またはインタラクティブ音声ミキシングが同期して再生される場合には「１」が設定され、再生されない場合には「０」が設定される。フラグが「０」の場合は、副音声も効果音も存在しないことを意味している。

次の「Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈｉｃｓの有無」はインタラクティブ映像（たとえば特典映像）の有無を示している。列の下方向に沿って、「不定」、「不定」、「無し」および「不定」である。

最後の「Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏの有無」とは、従音声のうちの副音声の実体であるデータが存在するか否かを示している。

上述の説明から明らかなとおり、「Ｓｏｕｎｄ．ｂｄｍｖ」、「ａｕｄｉｏ＿ｍｉｘ＿ａｐｐ＿ｆｌａｇ」および「Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏ」は、いずれも従音声の存在の有無を示している。一方、「Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈｉｃｓ」は、従音声の存在を直接示すものではない。しかしながら、このパラメータは従音声の存在を示唆していると言える。その理由は、インタラクティブグラフィックスが存在すれば、多くの場合、それに付随して効果音も存在していると推測されるためである。そこで本実施形態においては、「Ｓｏｕｎｄ．ｂｄｍｖ」、「ａｕｄｉｏ＿ｍｉｘ＿ａｐｐ＿ｆｌａｇ」、「Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈｉｃｓ」および「Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏ」の各パラメータを、従音声の存在の有無を示すパラメータであるとして取り扱う。

上述した「Ｓｏｕｎｄ．ｂｄｍｖの有無」、「ａｕｄｉｏ＿ｍｉｘ＿ａｐｐ＿ｆｌａｇ」、「Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈｉｃｓの有無」および「Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏの有無」は、解析回路１０１によって分離された制御データによって判断される。よって、制御データを参照すれば各パラメータを特定することができる。なお、各パラメータはＢＤ規格において規定されているものであり、それぞれが異なる目的で設けられている。相互の関連付けはされておらず、互いに独立して設定されている。

以下、判定回路１０２によるミキシング係数を判定する処理を説明する。

まず判定回路１０２は、解析回路１０１が分離した制御データに基づいて、図６に示す判断を行って、入力された音声データに副音声データまたは効果音データが存在するか、それとも、副音声データおよび効果音データがいずれも存在しないかを判定する。

図６は、判定回路１０２の判断処理の手順を示す。

ステップＳ１において、判定回路１０２は、ａｕｄｉｏ＿ｍｉｘ＿ａｐｐ＿ｆｌａｇに基づいて、従音声存在フラグが「０」であるか否かを判定する。フラグが「０」のとき、すなわち副音声も効果音も存在しないときは処理はステップＳ５に進み、「１」のときは処理はステップＳ２に進む。図５の例では、ＨＤＭＶ（１）およびＢＤ−ＪについてはステップＳ５に進み、ＨＤＭＶ（２）および（３）についてはステップＳ２に進む。

ステップＳ２において、判定回路１０２は、「Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏの有無」に基づいて副音声の有無を判定する。副音声が存在しないとき（ステップＳ２でＮＯ）のときは、処理はステップＳ３に進み、それ以外のとき（ステップＳ２でＹＥＳ）は、処理はステップＳ６に進む。

図５の例に関してステップＳ２の条件を判断すると、ＨＤＭＶ（２）および（３）については副音声が存在しないことが明示されているため、処理はステップＳ３に進む。一方、ＨＤＭＶ（１）およびＢＤ−Ｊについては、処理はステップＳ６に進む。ＨＤＭＶ（１）およびＢＤ−Ｊでは副音声の存在は不定とされている。「不定」では、存在しないことが明示されているとは言えないため、本実施形態においては副音声が存在するとして取り扱っている。

ステップＳ３では、判定回路１０２は「Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈｉｃｓの有無」に基づいてインタラクティブグラフィックスの有無を判定する。インタラクティブグラフィックスが存在しないとき（ステップＳ３でＮＯ）は、処理はステップＳ５に進み、それ以外のとき（ステップＳ３でＹＥＳ）は、処理はステップＳ４に進む。インタラクティブグラフィックスの有無に基づく処理は、ミキシング係数を判定する基準として適切である。上述した通り、インタラクティブグラフィックスが存在すれば効果音の存在を推測できるからである。これにより、効果音がパニング操作された場合に不自然な音像の発生を確実に防ぐことが可能になる。

図５の例に関してステップＳ３の条件を判断すると、ＨＤＭＶ（３）についてはインタラクティブグラフィックスが存在しないことが明示されているため、処理はステップＳ５に進む。このとき判定回路１０２は、ＨＤＭＶ（３）には副音声も効果音も存在しないと識別する。一方、ＨＤＭＶ（１）、（２）およびＢＤ−Ｊについては、処理はステップＳ４に進む。これは先の例と同様、「不定」では、存在しないことが明示されているとは言えないためである。

ステップＳ４において、判定回路１０２は「Ｓｏｕｎｄ．ｂｄｍｖの有無」に基づいて効果音格納ファイルの有無を判定する。ファイルが存在しないとき（ステップＳ４でＮＯ）は、処理はステップＳ５に進み、それ以外のとき（ステップＳ４でＹＥＳ）は、処理はステップＳ６に進む。

図５の例に関してステップＳ４の条件を判断すると、ＨＤＭＶ（２）については効果音格納ファイルが存在しないことが明示されているため、処理はステップＳ５に進む。一方、ＨＤＭＶ（１）、（３）およびＢＤ−Ｊについては、処理はステップＳ６に進む。その理由は先の例と同様である。

ステップＳ５では、判定回路１０２は係数記憶回路１０８に対して、数１および数２に示す演算を行うためのミキシング係数群を出力するように制御する。たとえばステップＳ４におけるＨＤＭＶ（３）のように、副音声も効果音も存在しないと識別したときは、判定回路１０２は係数記憶回路１０８に対して上述したミキシング係数群Ａを出力するように制御する。この結果、ミキシング回路１０９にはミキシング係数群Ａが設定され、ミキシング回路１０９において数１および数２に対応するダウンミキシングが行われる。

一方ステップＳ６では、判定回路１０２は係数記憶回路１０８に対して、上述したミキシング係数群Ｂを出力するように制御する。この結果、ミキシング回路１０９にはミキシング係数群Ｂが設定され、ミキシング回路１０９において数７および数８に示す演算により、ダウンミキシングが行われる。

上述の判定処理は、たとえばＢＤからのコンテンツ（たとえば映画）の再生開始時に行われる。再生開始時とは、たとえば、オーディオミキシング装置１００がＢＤプレーヤに内蔵されているときにおいて、ＢＤプレーヤおよびオーディオミキシング装置１００への電源投入後に解析回路１０１がＢＤから再生された音声データを最初に受信した時である。または、ＢＤがＢＤプレーヤに挿入された後、解析回路１０１がそのＢＤから再生された音声データを最初に受信した時である。これは解析回路１０１が新たに音声データを受信した時と同じ意味である。さらに、再生中であっても判定回路１０２が常時または一定の時間間隔で制御データの内容を監視し、上述したパラメータに変化があったときは判定処理を再実行し、ミキシング係数群を再度決定してもよい。これらのタイミングで判定を行い、制御データに基づいてミキシング係数群を設定しておくことにより、聴取者はその後再生される音声の音像に対して違和感を覚えることはない。

なお、上述の例では４つのパラメータを利用して説明したが、この数は例である。たとえば４つのうちの少なくともひとつで従音声の存在の有無を判定してもよい。

以上のように本実施形態によれば、解析回路１０１が出力した制御データに基づいて、判定回路１０２が入力された音声データに副音声データまたは効果音データが存在するか否かを判定する。

判定の結果、いずれかのデータが存在すると判定した場合には、判定回路１０２は、係数記憶回路１０８に記憶された、ＮチャンネルにミキシングしてもＭチャンネル信号の音像位置を極力保つことができるミキシング係数群Ｂ（数７および数８参照）を、ミキシング回路１０９に設定する。それ以外の場合には、判定回路１０２は、係数記憶回路１０８に記憶された、ミキシング係数群Ａ（数１および数２参照）を、ミキシング回路１０９に設定する。判定回路１０２は、入力データ中の制御データに基づいて、予め複数種類用意されていたミキシング係数群のうちからひとつを選択してミキシング回路１０９に設定する。ミキシング係数群の設定は、ミキシング回路１０９に保持された各ミキシング係数を書き換えるだけで実現されるため、処理が簡単であるとともに、大規模なハードウェアも不要である。そして、副音声データまたは効果音データが存在する場合には、音像の位置や音像変化の方向性が維持されるミキシング係数がミキシング回路１０９に設定されるため、音像位置が良好に維持されたまま副音声データまたは効果音データを主音声にミキシングした出力音声信号を得ることができる。

本発明によるオーディオミキシング装置は、たとえば再生専用のＢＤ（ＢＤ−ＲＯＭ）の再生機やＨＤ−ＤＶＤの再生機に内蔵されてもよい。これにより、副音声や効果音においてミキシングしても元来の音像位置を極力保つことできるので、その効果は非常に大きい。これにより、視聴者は、パニング操作で音像を積極的に動かした映画監督の声などの副音声や効果音（たとえば「ヒューン」）をオーサリング制作者の意図通りに視聴できる。もちろん、本発明によるオーディオミキシング装置を、たとえば放送局の機器に内蔵することもできる。上述した処理により、Ｍチャンネルの音声信号を含むコンテンツをＮ（Ｍ＞Ｎ）チャンネルにダウンミキシングして放送することにより、受信した機器に特別の処理を要求することなく、コンテンツ製作者が意図した音像位置を再現できる。

さらに判定回路１０２が、入力データに副音声データもしくは効果音データが存在するか否かの判定を、入力信号そのものでなく解析回路１０１が出力した制御データに基づいて行う。これにより、入力信号の性質が急激に変わった場合でも影響を受けず、ミキシング回路１０９は、数１および数２、または、数７および数８の演算によってミキシングするので、安定した確実なミキシングを行うことができる。

なお、上述の処理は、常に行われなくてもよい。たとえば使用者等が強制的に副音声と効果音のミキシングをしないように設定したときは、数１および数２に示す通常のミキシング方法のみを行ってもよい。これにより、音像定位が保たれる必要が高い副音声や効果音が存在してもミキシングしない場合には、たとえば、外部機器で数３および数４に示す演算でダウンミキシング処理を施すことにより、２チャンネル信号をマルチチャンネル信号に変換できるようになる。本実施形態においては判定回路１０２は、ミキシング係数群Ａかミキシング係数群Ｂかを選択していた。しかしながら、上述の説明から明らかなように、選択対象のミキシング係数群は２つに限られず、３つまたはそれ以上設けてもよい。図６に示す条件分岐の数をより多くしたり、分岐先を３以上に変更することにより、きめ細かいダウンミキシングが可能になる。

本発明に係るオーディオミキシング装置は、従音声を再生する機能があり、かつ、出力先の接続機器の条件により出力チャンネル数を変える必要がある機器、たとえばＢＤ−ＲＯＭ録画再生機、ＨＤ−ＤＶＤ再生機等の一般民生機器や、放送向けの業務用機器の用途に適用できる。

本発明は、主音声に対して、主音声に関係する音声である副音声や、使用者の操作を反映する効果音を加算する、オーディオミキシング装置に関する。

近年、２チャンネルよりも多いチャンネル数の音声信号が記録されたコンテンツの普及が進んでいる。たとえば、６チャンネル分の音声信号が記録されている映画コンテンツのＤＶＤが入手可能である。

音声信号は、通常、そのチャンネル数に相当する数のスピーカから出力されることが想定されている。たとえば、図１は、聴取者１７を囲むように配置された６チャンネルの音声信号用のスピーカ１１〜１６を示している。図１には、左チャンネルスピーカ（Ｌ）１１と、中央チャンネルスピーカ（Ｃ）１２と、右チャンネルスピーカ（Ｒ）１３と、左後方チャンネルスピーカ（ＬＳ）１４と、右後方チャンネルスピーカ（ＲＳ）１５と、低域効果チャンネルスピーカ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ；ＬＦＥ）１６とが示されている。

なお、ＬＦＥ１６が出力する音声の周波数帯域は、他のスピーカのそれの１０分の１以下であるため、ＬＦＥ用音声信号を「０．１チャンネル」と数えることがある。その結果、図１に示すスピーカシステムは「５．１チャンネルサラウンドスピーカーシステム」と呼ばれることも多い。ただし、本願明細書においては、ＬＦＥ用音声信号は１チャンネルと数え、「５．１チャンネル」という表現は使わないこととする。

たとえば６チャンネルの音声信号を含むコンテンツをテレビ番組で放送するときには、放送局は、２チャンネルの音声信号に変換して送信することがある。これは２つのスピーカを有するアナログテレビで視聴されることを想定しているためである。このような、音声信号のチャンネル数を減少させる処理を「ダウンミキシング」という。２スピーカを有するテレビは受信した２チャンネルの音声信号の各々に基づいて音声を出力することができる。

一方、スピーカ数が２より多いオーディオ機器も存在する。多くのスピーカから音声が出力できるほど映像の臨場感は増すため、より多くのスピーカから独立した音声を出力できることが好ましい。そこで現在は、２チャンネルの音声信号を受信した機器が、自らの出力性能に応じて２チャンネルよりも多いチャンネルデータを擬似的に生成する、擬似サラウンド処理を行うのが一般的である。

数１および数２は、一般的なダウンミキシング方法を示す計算式である。
Ｌｄｍ＝ＫＬＬ×Ｌｍ＋ＫＬＣ×Ｃｍ＋ＫＬＲ×Ｒｍ＋ＫＬＬＳ×ＬＳｍ＋ＫＬＲＳ×ＲＳｍ＋ＫＬＬＦＥ×ＬＦＥｍ （数１）
Ｒｄｍ＝ＫＲＬ×Ｌｍ＋ＫＲＣ×Ｃｍ＋ＫＲＲ×Ｒｍ＋ＫＲＬＳ×ＬＳｍ＋ＫＲＲＳ×ＲＳｍ＋ＫＲＬＦＥ×ＬＦＥｍ （数２）

数式中の記号の意味は、Ｌｄｍ：生成される左出力信号、Ｒｄｍ：生成される右出力信号、Ｃｍ、ＬｍおよびＲｍ：元の音声信号のうちのセンター信号、左信号および右信号、ＬＳｍおよびＲＳｍ：元の音声信号のうちの左後方信号および右後方信号、ＬＦＥｍ：元の音声信号のうちの低域効果信号、である。数１および２により、音声信号は、６チャンネル（Ｍ＝６）から２チャンネル（Ｎ＝２）にダウンミキシングされる。左出力信号Ｌｄｍおよび右出力信号Ｒｄｍを受信した２スピーカのテレビは、これらの音声信号をそれぞれのスピーカから出力する。

数１および２のＣｍ、Ｌｍ、Ｒｍ、ＬＳｍ、ＲＳｍおよびＬＦＥｍに乗じられた係数は、それぞれ以下の通りである。係数（Ａ１）は左ミキシング係数と呼ばれ、係数（Ａ２）は右ミキシング係数と呼ばれる。
（Ａ１） ＫＬＬ＝１．０， ＫＬＣ＝０．７０７， ＫＬＲ＝０．０， ＫＬＬＳ＝−０．７０７， ＫＬＲＳ＝−０．７０７， ＫＬＬＦＥ＝０．０
（Ａ２） ＫＲＬ＝０．０， ＫＲＣ＝０．７０７， ＫＲＲ＝１．０， ＫＲＬＳ＝０．７０７， ＫＲＲＳ＝０．７０７， ＫＲＬＦＥ＝０．０

このような値のミキシング係数を設定する理由は、数３および数４に示すように、擬似的な後方チャンネル信号と擬似的な中央チャンネル信号を得るためである。
Ｒｄｍ−Ｌｄｍ＝−Ｌｍ＋Ｒｍ＋１．４１４×（ＬＳｍ＋ＲＳｍ）
（数３）
Ｒｄｍ＋Ｌｄｍ＝Ｌｍ＋１．４１４×Ｃｍ＋Ｒｍ
（数４）

数３によれば、左出力信号Ｌｄｍおよび右出力信号Ｒｄｍを受け取った機器がＲｄｍからＬｄｍを差し引くことにより、擬似的に強調された後方チャンネル信号（ＬＳｍ＋ＲＳｍ）を得ることができる。また数４によれば、左出力信号Ｌｄｍおよび右出力信号Ｒｄｍを受け取った機器がＲｄｍにＬｄｍを加えることにより、擬似的に強調された中央チャンネル信号（Ｃｍ）を得ることができる。つまり数３および数４のような簡単な演算により、機器は２チャンネルの出力信号ＬｄｍおよびＲｄｍを使って擬似的な中央チャンネル信号および後方チャンネル信号を生成して、合計４チャンネルの音声を再生することが可能になる。

特許文献１から３は、ダウンミキシングを行うオーディオミキシング装置において、６チャンネルの音声信号を２チャンネルの音声信号にダウンミキシングするときに用いる係数（パラメータ）の設定を切り替える技術を開示している。

また特許文献４は、マルチチャネル・ミックスの所期の方向及び信号エネルギーを維持するオーディオミキシング装置を開示している。この文献では、入力信号の信号エネルギーと所期の方向とが出力信号において実質的に維持されるように、生成された左および右チャネル混合係数ｍｌおよびｍｒに応答してマルチチャネル入力信号を出力信号にダウンミキシングする方法を用いている。

特開平６−１６５０７９号公報 特開２００４−２４１８５３号公報 特表２００１−５１８２６７号公報 特表２００５−５２３６７２号公報

数１および数２に示すミキシング係数を使用して２チャンネル（Ｎ＝２）の音声信号ＬｄｍおよびＲｄｍを生成すると、音像が当初の６チャンネル（Ｍ＝６）の信号の音像と全く異なってしまうことがある。

たとえば、図１の６チャンネルのスピーカシステムにおいて聴取者１７の位置に音像を定位させるためには、Ｃチャンネルから振幅０．５の信号を出力し、ＲＳチャンネルおよびＬＳチャンネルからそれぞれ振幅０．２５の信号を出力すれば良い。その音声信号を２チャンネルにダウンミキシングすると、数５および数６に示す出力信号が得られる（数１および数２にＣｍ＝０．５、ＬＳｍ＝ＲＳｍ＝０．２５を代入する）。
Ｌｄｍ＝０．０＋０．７０７×０．５−０．７０７×０．２５−０．７０７×０．２５＝０．０ （数５）
Ｒｄｍ＝０．７０７×０．５＋０．０＋０．７０７×０．２５＋０．７０７×０．２５＝０．７０７ （数６）

数５から明らかなとおり、左出力信号Ｌｄｍによれば音声は出力されない。よって、ダウンミキシングされた出力信号ＬｄｍおよびＲｄｍを受けた機器は、音像が右に偏った音声を出力することになる。

このような不自然な音像は、パニング（ｐａｎｎｉｎｇ）操作などにより、複数のチャンネルを利用して、６チャンネルの信号に含まれる副音声信号や効果音信号の音像を移動させる場合においては顕著に認識される。なお「パニング」とは、たとえば図１のＬスピーカ１１、Ｃスピーカ１２、Ｒスピーカ１３、ＲＳスピーカ１５、ＬＳスピーカ１４から順に音声を出力することにより、図１に示す円上で音像を時計方向に回転させる音声出力方法をいう。

また、特許文献１から３においては、パラメータの設定を切り替えるための基準は、たとえば、ユーザの嗜好にあった音質を得ることや、プログラムソースに応じた最適な音質を得ることである。これでは、予め設定することが必要であったり、プログラムソースの内容を予め把握しておく必要があり、柔軟性を欠く。

特許文献４においては、入力信号のエネルギーに基づいて混合係数ｍｌおよびｍｒを求める必要があるために、オーディオミキシング装置のハードウェア規模が大きくなる、もしくはソフトウェアの処理が多くなる。よって、コストが嵩むという問題が生じる。同じような機能を民生用機器で実現するためには、特許文献４の技術とは異なる、処理がより簡単で、エネルギーのような入力信号の性質に依存しない確実な方法が要求されている。

なお、特許文献２および３のオーディオミキシング装置は、ＤＶＤの再生機器への内蔵を想定したものであり、その次の世代のブルーレイディスク（ＢＤ）の再生機器への応用は不可能である。ブルーレイディスク規格（Ｂｌｕ−ｒａｙ Ｄｉｓｃ Ｆｏｒｍａｔ）では、ボタン音（従音声）を主音声にミキシングできるよう規定されているため、従音声をパニングさせて音像を積極的に動かすことができる。ところが、従音声には映像を伴っていない場合があり、必ずしも音像定位に映像情報を補助的に用いることができない。したがってブルーレイディスク規格に準拠した製品においては、従音声が存在する場合にはミキシングしても従音声の音像定位を保つ方法が要求されている。

本発明の目的は、入力信号の性質に依存せずに処理が簡単で確実なオーディオミキシング装置を提供することである。

本発明によるオーディオミキシング装置は、主音声データ、従音声データおよび制御データを含む音声データを受け取って、前記音声データから各々を分離する解析回路であって、前記制御データは従音声の存在の有無を示す複数のパラメータを含む、解析回路と、分離された前記主音声データを、複数チャンネルの主音声信号に復号する主音声再生回路と、分離された前記従音声データを、複数チャンネルの従音声信号に復号する従音声再生回路と、チャンネルごとに前記従音声信号を前記主音声信号に加算してＭチャンネルの合成音声信号を生成し、設定されたミキシング係数群に基づいて、前記Ｍチャンネルの合成音声信号をＮチャンネル（Ｎ＜Ｍ）の音声信号に変換するミキシング回路と、前記ミキシング回路に設定されるミキシング係数群を複数種類記憶する係数記憶回路と、前記従音声データの存在の有無にかかわらず、分離された前記制御データに含まれる前記複数のパラメータの各々に基づいて前記従音声の存在の有無を判定し、判定結果に応じて、前記係数記憶回路に記憶されている複数種類のミキシング係数群の中から１つのミキシング係数群を選択し、前記ミキシング回路に設定する判定回路とを備えている。

前記従音声は、副音声および効果音の少なくとも一方であり、前記複数のパラメータの各々は、前記副音声の存在の有無または効果音の存在の有無を示しており、前記判定回路は、前記複数のパラメータの各々によって、前記副音声および前記効果音が存在しないことが示されているときに、前記従音声が存在しないと判定してもよい。

前記従音声は、副音声および効果音の少なくとも一方であり、前記複数のパラメータは、前記効果音を格納したファイルの有無を示すパラメータ、前記従音声の存在を示すフラグ、インタラクティブ映像の有無を示すパラメータ、および、前記従音声のうちの前記副音声のデータの有無を示すパラメータを含んでおり、前記判定回路は、（ａ）前記従音声の存在を示すフラグが前記従音声の存在を示していないとき、（ｂ）前記従音声の存在を示すフラグが前記従音声の存在を示しており、前記副音声のデータの有無を示すパラメータが前記副音声のデータの存在を示しておらず、かつ、前記インタラクティブ映像の有無を示すパラメータが、前記インタラクティブ映像の存在を示していないとき、または、（ｃ）前記従音声の存在を示すフラグが前記従音声の存在を示しており、前記副音声のデータの有無を示すパラメータが前記副音声のデータの存在を示しておらず、前記インタラクティブ映像の有無を示すパラメータが前記インタラクティブ映像の存在を示しておらず、かつ、前記効果音を格納したファイルの有無を示すパラメータが前記効果音の存在を示していないときは、前記従音声が存在しないと判定してもよい。

前記インタラクティブ映像の有無を示すパラメータによって、前記インタラクティブ映像の存在が示されていないときは、前記判定回路は前記効果音が存在しないと判定し、前記インタラクティブ映像の有無を示すパラメータによって、前記インタラクティブ映像の存在が示されているときは、前記判定回路は前記効果音が存在すると判定してもよい。

前記従音声は、副音声および効果音の少なくとも一方であり、前記複数のパラメータは、前記効果音を格納したファイルの有無を示すパラメータ、前記従音声の存在を示すフラグ、インタラクティブ映像の有無を示すパラメータ、および、前記従音声のうちの前記副音声のデータの有無を示すパラメータのうちの少なくともひとつを含んでおり、前記判定回路は、前記複数のパラメータの各々によって、前記副音声および前記効果音の存在が示されていないときに、前記従音声が存在しないと判定してもよい。

電源投入後に前記解析回路が前記音声データを最初に受信した時、前記判定部は前記ミキシング係数群を前記ミキシング回路に設定してもよい。

前記解析回路が、新たに音声データを受信した時、前記判定部は前記ミキシング係数群を前記ミキシング回路に設定してもよい。

本発明のオーディオミキシング装置は、解析回路が出力した制御データに基づいて、判定回路が入力データに従音声データが存在すると判断した場合には、判定回路が係数記憶回路から従音声データが存在する場合のミキシング係数を読み出して、ミキシング回路に設定し、それ以外の場合は係数記憶回路から従音声データが存在しない場合のミキシング係数を読み出して、ミキシング回路に設定するので、入力データ中の制御データに基づいて判定回路が判断するために処理が簡単で、従音声が存在する場合には方向性が維持されるミキシング係数を係数記憶回路から読み出すようにすることで、確実に音像定位が維持されたまま主音声と従音声をミキシングした出力音声信号が得られる。

さらに判定回路が、入力データに従音声データが存在するか否かの判定を、入力信号そのものでなく解析回路が出力した制御データに基づいて行うため、入力信号の性質が急激に変わったりした場合でも、ミキシング回路は影響を受けることなく、安定かつ確実なミキシングを行うことができる。

聴取者１７を囲むように配置された６チャンネルの音声信号用のスピーカ１１〜１６を示す図である。 本発明の本実施形態によるオーディオミキシング装置１００のブロック図である。 加算回路１１０（図２）の詳細な構成を示すブロック図である。 ミキシング回路１０９（図２）の詳細な構成を示すブロック図である。 判定回路１０２によって副音声および効果音が存在しないと識別される条件を示す図である。 判定回路１０２の判断処理の手順を示すフローチャートである。

以下、添付の図面を参照しながら、本発明によるオーディオミキシング装置の実施形態を説明する。

図２は、本発明の本実施形態によるオーディオミキシング装置１００のブロック図である。オーディオミキシング装置１００は、解析回路１０１と、判定回路１０２と、主音声再生回路１０３と、係数記憶回路１０８と、ミキシング回路１０９と、加算回路１１０と、従音声再生回路１１１とを備えている。

解析回路１０１は、音声データを受け取る。この音声データには、主音声データ、少なくとも１つの従音声データ、および、制御データが重畳されている。解析回路１０１は、受け取った音声データを、主音声データ、従音声データおよび制御データに分離する。

なお、副音声は一般的に主音声に付随する補助的な音声で、効果音は一般的に使用者の操作を反映させる音声である。映画の音声を例に挙げると、「主音声データ」は本編の音声（主音声）のデータであり、「副音声データ」は他国語の吹き替え音声や映画スタッフのコメンタリーの音声（副音声）のデータであり、効果音データとは、表示されたメニューの選択、決定時の効果音のデータである。

音声データは、たとえばブルーレイディスクに記録され、ＢＤプレーヤ（図示せず）によって読み出された音声データである。この音声データがにトランスポートストリーム形式で記録されていたとすると、音声データは、複数のパケットから構成されたデータである。解析回路１０１は、主音声データ、従音声データ（副音声データおよび効果音データ）および制御データを格納した各パケットに別個に付された異なる識別子（パケットＩＤ；ＰＩＤ）に基づいて、各データを分離する。

判定回路１０２は、解析回路１０１が出力する制御データに基づいて従音声データが存在する場合と従音声データが存在しない場合とを識別する。そして、識別結果に応じて、後述する係数記憶回路１０８に記憶されている複数のミキシング係数群のうちのひとつの群を選択してミキシング回路１０９に設定する。判定回路１０２は、たとえばコンピュータである中央処理ユニット（ＣＰＵ）が図示しないメモリに格納されたコンピュータプログラムを実行することによって実現される。当該コンピュータプログラムは、後述する図６に示す処理手順に従って作成されている。

主音声再生回路１０３は、主音声データを少なくとも１チャンネルの主音声信号に復号する。一方、従音声再生回路１１１は、副音声再生回路１０４と効果音再生回路１０５とを有しており、従音声データを少なくとも１チャンネルの従音声信号に復号する。

加算回路１１０は、副音声加算回路１０６および効果音加算回路１０７を有しており、主音声信号に対し、少なくとも１つの従音声信号を加算する。なお、図２では加算回路１１０は１つのみ示されているが、加算回路１１０は複数でもよい。複数の加算回路１１０を設けることにより、たとえば副音声信号のチャンネル数が多いときであっても、処理の高速化を図ることが可能である。

係数記憶回路１０８は、ミキシング回路１０９でＭチャンネルの信号をＮチャンネルに変換するミキシング係数を複数種類記憶している。たとえば係数記憶回路１０８は、先に説明した数１および数２に対応するミキシング係数群（Ａ１）および（Ａ２）（以下、「ミキシング係数群（Ａ）」と記述する。）を保持している。さらに係数記憶回路１０８は、後述する数７および数８に対応するミキシング係数群（Ｂ１）および（Ｂ２）（以下、「ミキシング係数群（Ｂ）」と記述する。）を保持している。係数記憶回路１０８は、判定回路１０２からの指示に基づいて、ミキシング係数群（Ａ）、または、ミキシング係数群（Ｂ）のいずれかを出力する。

ミキシング回路１０９は、少なくとも１つの従音声信号が加算されたＭチャンネルの前記主音声信号をＭチャンネルよりも少ないチャンネル数Ｎ（Ｎ＜Ｍ）に変換する。たとえばミキシング回路１０９は、入力された６チャンネルの音声信号に対し、ミキシング係数に応じたダウンミキシングを行い、２チャンネルの音声信号を出力する。

なお、オーディオミキシング装置１００は、ミキシング回路１０９に入力される前の６チャンネルの信号を、ミキシング回路１０９を通さずに外部に出力することが可能である。

図３は、加算回路１１０（図２）の詳細な構成を示すブロック図である。加算回路１１０の副音声加算回路１０６は、チャンネルごとの加算回路２０１−２０６を有している。加算回路２０１−２０６は、６チャンネルの主音声信号（Ｌｐ、Ｃｐ、Ｒｐ、ＬＳｐ、ＲＳｐ、ＬＦＥｐ）と、６チャンネルの副音声信号（Ｌｓ、Ｃｓ、Ｒｓ、ＬＳｓ、ＲＳｓ、ＬＦＥｓ）とをそれぞれ加算する。

効果音加算回路１０７もまた、チャンネルごとの加算回路２０７−２１２を有している。加算回路２０７−２１２は、副音声加算回路１０６による加算処理によって得られた、主音声および副音声が合成された６チャンネルの音声信号と、６チャンネルの効果音信号（Ｌｉ、Ｃｉ、Ｒｉ、ＬＳｉ、ＲＳｉ、ＬＦＥｉ）とをそれぞれ加算する。その結果、効果音加算回路１０７は、主音声、副音声および効果音が合成された６チャンネルの音声信号（Ｌｍ、Ｃｍ、Ｒｍ、ＬＳｍ、ＲＳｍ、ＬＦＥｍ）を出力する。

なお、添え字“ｐ”、“ｓ”、“ｉ”、“ｍ”が付された記号Ｌ、Ｃ、Ｒ、ＬＳ、ＲＳ、ＬＦＥの意味は、背景技術の欄において図１に関連して説明したとおりである。

図４は、ミキシング回路１０９（図２）の詳細な構成を示すブロック図である。ミキシング回路１０９は、左チャンネル乗算回路３０１−３０６と、右チャンネル乗算回路３０７−３１２と、左チャンネル加算回路３１３と、右チャンネル加算回路３１４とを有している。

左チャンネル乗算回路３０１−３０６は、加算回路１１０（図３）の効果音加算回路１０７から出力された各チャンネルＬｍ、Ｃｍ、Ｒｍ、ＬＳｍ、ＲＳｍ、ＬＦＥｍに対して、左ミキシング係数（ＫＬＬ， ＫＬＣ， ＫＬＲ， ＫＬＬＳ， ＫＬＲＳ， ＫＬＬＦＥ）をそれぞれ乗じる。右チャンネル乗算回路３０７−３１２は、効果音加算回路１０７から出力された各チャンネルＬｍ、Ｃｍ、Ｒｍ、ＬＳｍ、ＲＳｍ、ＬＦＥｍに対して右ミキシング係数（ＫＲＬ， ＫＲＣ， ＫＲＲ， ＫＲＬＳ， ＫＲＲＳ， ＫＲＬＦＥ）をそれぞれ乗じる。

左チャンネル乗算回路３０１−３０６および右チャンネル乗算回路３０７−３１２が乗算する際に利用する左ミキシング係数および右ミキシング係数は、外部から変更することが可能である。後述のように、これらのミキシング係数は係数記憶回路１０８に格納されており、判定回路１０２からの指示に基づいて変更される。

左チャンネル加算回路３１３は、左ミキシング係数を乗じられた各チャンネルの信号の総和を求める。右チャンネル加算回路３１４は、右ミキシング係数を乗じられた各チャンネルの信号の総和を求める。この結果、ミキシング回路１０９は、チャンネル数２の音声信号（ＬｄｍおよびＲｄｍ）を出力する。これにより、６チャンネル（Ｍ＝６）の信号を２チャンネル（Ｎ＝２）の信号にダウンミキシングされる。

次に、オーディオミキシング装置１００（図２）の動作を説明する。上述の例ではチャンネル数を６としたが、以下ではより一般的に説明するため、チャンネル数はＭ以下とする。チャンネル数がＭより小さいときは、信号値０の信号が出力されているとして取り扱うことにより、下記のチャンネル数Ｍの演算処理が行われるとする。

解析回路１０１は、入力された音声データを受け取って、その音声データを、主音声データ、従音声データおよび制御データに分離する。上述のように、従音声データは副音声データと効果音データとを包含する。解析回路１０１は、副音声データおよび効果音データについても分離する。

主音声再生回路１０３は、主音声データに基づいて、最大Ｍチャンネルの主音声信号を復号する。そして副音声再生回路１０４は副音声データに基づいて、最大Ｍチャンネルの副音声信号を復号する。そして効果音再生回路１０５は効果音データに基づいて最大Ｍチャンネルの効果音信号を復号する。

次に、副音声加算回路１０６は、主音声再生回路１０３から出力されたＭチャンネルの主音声信号に、副音声再生回路１０４から出力されたＭチャンネルの副音声信号を加算する。加算は、対応するチャンネル毎に行われる。また効果音加算回路１０７は、副音声加算回路１０６から出力された、副音声が加算されたＭチャンネルの主音声信号に、効果音再生回路１０５から出力されたＭチャンネルの効果音信号を加算する。ここでも加算は、対応するチャンネル毎に行われる。

一方、上述した処理と並行して、判定回路１０２は、解析回路１０１によって分離され、出力された制御データに基づいて、入力データに副音声データまたは効果音データが存在するか否かを識別する。係数記憶回路１０８には、副音声データおよび効果音データが存在しない場合のミキシング係数群Ａと、入力データに副音声データもしくは効果音データが存在する場合のミキシング係数群Ｂとが記憶されている。判定回路１０２は、識別結果に基づいて、係数記憶回路１０８に記憶されているミキシング係数群Ａか、ミキシング係数群Ｂかを選択し、係数記憶回路１０８に対してそれらをミキシング回路１０９に出力するよう指示する。その結果、ミキシング回路１０９にはいずれかのミキシング係数群が設定される。判定回路１０２は、識別結果に応じてミキシング係数群Ａかミキシング係数群Ｂかを選択し、ミキシング回路１０９に設定しているといえる。

ミキシング回路１０９は、効果音加算回路１０７から出力されたＭチャンネルの音声信号を、係数記憶回路１０８に格納されているミキシング係数を使ってＭチャンネルよりも少ないチャンネル数Ｎ（Ｎ＜Ｍ）に変換する。

ミキシング回路１０９には、複数のミキシング係数群が設定され得る。そのうちのひとつが、数１および数２による演算を実現するミキシング係数群Ａである。ミキシング係数群Ａを改めて示すと以下のとおりである。
（Ａ１） ＫＬＬ＝１．０， ＫＬＣ＝０．７０７， ＫＬＲ＝０．０， ＫＬＬＳ＝−０．７０７， ＫＬＲＳ＝−０．７０７， ＫＬＬＦＥ＝０．０
（Ａ２） ＫＲＬ＝０．０， ＫＲＣ＝０．７０７， ＫＲＲ＝１．０， ＫＬＬＳ＝０．７０７， ＫＬＲＳ＝０．７０７， ＫＬＬＦＥ＝０．０

この上述のミキシング係数群Ａのみでは、ダウンミキシングによって生成されるＮチャンネルによる音像が、当初のＭチャンネルの信号の音像と全く異なってしまうことがある。そこで本実施形態では、ミキシング係数群Ａとは異なるミキシング係数群Ｂを設け、条件に応じていずれかのミキシング係数群を選択して、ミキシング回路１０９に設定するようにした。

本実施形態において設定した条件とは、入力データに副音声データまたは効果音データが存在するか、副音声データおよび効果音データが存在しないかである。なお、副音声データおよび効果音データが両方存在するときは、入力データに副音声データが存在することをもって上述の条件に該当するとして処理している。この処理は後に図６を参照しながら詳述する。

ＢＤにおいては、副音声信号や効果音信号の音像をチャンネル内で移動させることが可能であるため、入力データに副音声データまたは効果音データが存在する場合には、そのような音像の移動が想定される。したがって、副音声信号や効果音信号の音像をチャンネル内で移動させるような場合には、不自然な音像が生じにくいミキシング係数を適用して、ダウンミキシングを行えばよい。

たとえば、ダウンミキシング後のチャンネル数がＮ＝２のときには、中央（Ｃ）チャンネル、左後方（ＬＳ）チャンネルおよび右後方（ＲＳ）チャンネルは存在しないチャンネルである。このような、Ｎチャンネル（Ｎ＝２）には存在しないＭチャンネル（Ｍ＝６）中のチャンネルの音声信号については、そのチャンネル配置上の距離が最も近いＮチャンネル内の１個ないし複数のチャンネルに同位相で加算する。このような演算を可能にするミキシング係数を設定すればよい。これにより、Ｍチャンネル信号をＮチャンネルにミキシングしても、音像定位を極力保つことができる。

下記数７および数８は、６チャンネルの入力データに副音声データまたは効果音データが存在する場合の、２チャンネルへのダウンミキシング方法を示す計算式である。
Ｌｄｍ’＝Ｌｍ＋０．７０７×Ｃｍ＋０．７０７×ＬＳｍ
（数７）
Ｒｄｍ’＝０．７０７×Ｃｍ＋Ｒｍ＋０．７０７×ＲＳｍ
（数８）

数７および数８に利用されたミキシング係数Ｂ１およびＢ２は以下のとおりである。
（Ｂ１） ＫＬＬ＝１．０， ＫＬＣ＝０．７０７， ＫＬＲ＝０．０， ＫＬＬＳ＝０．７０７， ＫＬＲＳ＝０．０， ＫＬＬＦＥ＝０．０
（Ｂ２） ＫＲＬ＝０．０， ＫＲＣ＝０．７０７， ＫＲＲ＝１．０， ＫＬＬＳ＝０．０， ＫＬＲＳ＝０．７０７， ＫＬＬＦＥ＝０．０

数７では、左（Ｌ）チャンネルの信号Ｌｍと、中央（Ｃ）チャンネルの信号Ｃｍにミキシング係数を乗じた０．７０７×Ｃｍと、左後方（ＬＳ）チャンネルの信号ＬＳｍにミキシング係数を乗じた０．７０７×ＬＳｍとを加算（ミキシング）している。これにより、左出力信号Ｌｄｍ’が得られる。

また、数８では、中央（Ｃ）チャンネルの信号Ｃｍにミキシング係数を乗じた０．７０７×Ｃｍと、右（Ｒ）チャンネルの信号Ｒｍと、右後方（ＲＳ）チャンネルの信号ＲＳｍにミキシング係数を乗じた０．７０７×ＲＳｍとを加算（ミキシング）している。これにより、右出力信号Ｒｄｍ’が得られる。

上述のミキシング係数群Ｂ（Ｂ１およびＢ２）は、図４に示すミキシング回路１０９に入力される。

なお、副音声データおよび効果音データが存在しない場合には、不自然な音像が生じる可能性を考慮する必要はない。よって、従来用いられていた、数１および数２に示すダウンミキシングを行えばよい。

次に、図５および図６を参照しながら、判定回路１０２の動作を詳細に説明する。

まず、図５は、判定回路１０２によって副音声および効果音が存在しないと識別される条件を示す。

図５の見方を説明する。図５の最上段に示されている、「Ｓｏｕｎｄ．ｂｄｍｖ」、「ａｕｄｉｏ＿ｍｉｘ＿ａｐｐ＿ｆｌａｇ」、「Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈｉｃｓ」および「Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏ」は、それぞれ、ＢＤ規格において規定されているパラメータである。

最上段に示されている「Ｓｏｕｎｄ．ｂｄｍｖの有無」とは、効果音格納ファイル（Ｓｏｕｎｄ．ｂｄｍｖ）が存在するか否かを示している。このファイルは、ＢＤ規格の「インタラクティブグラフィックストリームアプリケーション」または「ＢＤ−Ｊアプリケーション」に関連する音声データの情報を格納している。列の下方向に沿って、ＨＤＭＶ（１）は不定、ＨＤＭＶ（２）は無し、ＨＤＭＶ（３）は有り、ＨＤＭＶ（４）は不定、を示している。

次の「ａｕｄｉｏ＿ｍｉｘ＿ａｐｐ＿ｆｌａｇ」は、従音声存在フラグとも呼ばれている。従音声存在フラグは、副音声（Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏ）ミキシングおよび／またはインタラクティブ音声ミキシングがプレイリスト（ＰｌａｙＬｉｓｔ）に適用されるかどうかのプレイリストの状態を示している。「プレイリスト」とは、１以上の動画ストリームの一部または全部の再生順序を規定した情報である。プレイリストによる映像再生時に、副音声（Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏ）ミキシングおよび／またはインタラクティブ音声ミキシングが同期して再生される場合には「１」が設定され、再生されない場合には「０」が設定される。フラグが「０」の場合は、副音声も効果音も存在しないことを意味している。

次の「Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈｉｃｓの有無」はインタラクティブ映像（たとえば特典映像）の有無を示している。列の下方向に沿って、「不定」、「不定」、「無し」および「不定」である。

最後の「Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏの有無」とは、従音声のうちの副音声の実体であるデータが存在するか否かを示している。

上述の説明から明らかなとおり、「Ｓｏｕｎｄ．ｂｄｍｖ」、「ａｕｄｉｏ＿ｍｉｘ＿ａｐｐ＿ｆｌａｇ」および「Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏ」は、いずれも従音声の存在の有無を示している。一方、「Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈｉｃｓ」は、従音声の存在を直接示すものではない。しかしながら、このパラメータは従音声の存在を示唆していると言える。その理由は、インタラクティブグラフィックスが存在すれば、多くの場合、それに付随して効果音も存在していると推測されるためである。そこで本実施形態においては、「Ｓｏｕｎｄ．ｂｄｍｖ」、「ａｕｄｉｏ＿ｍｉｘ＿ａｐｐ＿ｆｌａｇ」、「Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈｉｃｓ」および「Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏ」の各パラメータを、従音声の存在の有無を示すパラメータであるとして取り扱う。

上述した「Ｓｏｕｎｄ．ｂｄｍｖの有無」、「ａｕｄｉｏ＿ｍｉｘ＿ａｐｐ＿ｆｌａｇ」、「Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈｉｃｓの有無」および「Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏの有無」は、解析回路１０１によって分離された制御データによって判断される。よって、制御データを参照すれば各パラメータを特定することができる。なお、各パラメータはＢＤ規格において規定されているものであり、それぞれが異なる目的で設けられている。相互の関連付けはされておらず、互いに独立して設定されている。

以下、判定回路１０２によるミキシング係数を判定する処理を説明する。

まず判定回路１０２は、解析回路１０１が分離した制御データに基づいて、図６に示す判断を行って、入力された音声データに副音声データまたは効果音データが存在するか、それとも、副音声データおよび効果音データがいずれも存在しないかを判定する。

図６は、判定回路１０２の判断処理の手順を示す。

ステップＳ１において、判定回路１０２は、ａｕｄｉｏ＿ｍｉｘ＿ａｐｐ＿ｆｌａｇに基づいて、従音声存在フラグが「０」であるか否かを判定する。フラグが「０」のとき、すなわち副音声も効果音も存在しないときは処理はステップＳ５に進み、「１」のときは処理はステップＳ２に進む。図５の例では、ＨＤＭＶ（１）およびＢＤ−ＪについてはステップＳ５に進み、ＨＤＭＶ（２）および（３）についてはステップＳ２に進む。

ステップＳ２において、判定回路１０２は、「Ｓｅｃｏｎｄａｒｙ Ａｕｄｉｏの有無」に基づいて副音声の有無を判定する。副音声が存在しないとき（ステップＳ２でＮＯ）のときは、処理はステップＳ３に進み、それ以外のとき（ステップＳ２でＹＥＳ）は、処理はステップＳ６に進む。

図５の例に関してステップＳ２の条件を判断すると、ＨＤＭＶ（２）および（３）については副音声が存在しないことが明示されているため、処理はステップＳ３に進む。一方、ＨＤＭＶ（１）およびＢＤ−Ｊについては、処理はステップＳ６に進む。ＨＤＭＶ（１）およびＢＤ−Ｊでは副音声の存在は不定とされている。「不定」では、存在しないことが明示されているとは言えないため、本実施形態においては副音声が存在するとして取り扱っている。

ステップＳ３では、判定回路１０２は「Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈｉｃｓの有無」に基づいてインタラクティブグラフィックスの有無を判定する。インタラクティブグラフィックスが存在しないとき（ステップＳ３でＮＯ）は、処理はステップＳ５に進み、それ以外のとき（ステップＳ３でＹＥＳ）は、処理はステップＳ４に進む。インタラクティブグラフィックスの有無に基づく処理は、ミキシング係数を判定する基準として適切である。上述した通り、インタラクティブグラフィックスが存在すれば効果音の存在を推測できるからである。これにより、効果音がパニング操作された場合に不自然な音像の発生を確実に防ぐことが可能になる。

図５の例に関してステップＳ３の条件を判断すると、ＨＤＭＶ（３）についてはインタラクティブグラフィックスが存在しないことが明示されているため、処理はステップＳ５に進む。このとき判定回路１０２は、ＨＤＭＶ（３）には副音声も効果音も存在しないと識別する。一方、ＨＤＭＶ（１）、（２）およびＢＤ−Ｊについては、処理はステップＳ４に進む。これは先の例と同様、「不定」では、存在しないことが明示されているとは言えないためである。

ステップＳ４において、判定回路１０２は「Ｓｏｕｎｄ．ｂｄｍｖの有無」に基づいて効果音格納ファイルの有無を判定する。ファイルが存在しないとき（ステップＳ４でＮＯ）は、処理はステップＳ５に進み、それ以外のとき（ステップＳ４でＹＥＳ）は、処理はステップＳ６に進む。

図５の例に関してステップＳ４の条件を判断すると、ＨＤＭＶ（２）については効果音格納ファイルが存在しないことが明示されているため、処理はステップＳ５に進む。一方、ＨＤＭＶ（１）、（３）およびＢＤ−Ｊについては、処理はステップＳ６に進む。その理由は先の例と同様である。

ステップＳ５では、判定回路１０２は係数記憶回路１０８に対して、数１および数２に示す演算を行うためのミキシング係数群を出力するように制御する。たとえばステップＳ４におけるＨＤＭＶ（３）のように、副音声も効果音も存在しないと識別したときは、判定回路１０２は係数記憶回路１０８に対して上述したミキシング係数群Ａを出力するように制御する。この結果、ミキシング回路１０９にはミキシング係数群Ａが設定され、ミキシング回路１０９において数１および数２に対応するダウンミキシングが行われる。

一方ステップＳ６では、判定回路１０２は係数記憶回路１０８に対して、上述したミキシング係数群Ｂを出力するように制御する。この結果、ミキシング回路１０９にはミキシング係数群Ｂが設定され、ミキシング回路１０９において数７および数８に示す演算により、ダウンミキシングが行われる。

上述の判定処理は、たとえばＢＤからのコンテンツ（たとえば映画）の再生開始時に行われる。再生開始時とは、たとえば、オーディオミキシング装置１００がＢＤプレーヤに内蔵されているときにおいて、ＢＤプレーヤおよびオーディオミキシング装置１００への電源投入後に解析回路１０１がＢＤから再生された音声データを最初に受信した時である。または、ＢＤがＢＤプレーヤに挿入された後、解析回路１０１がそのＢＤから再生された音声データを最初に受信した時である。これは解析回路１０１が新たに音声データを受信した時と同じ意味である。さらに、再生中であっても判定回路１０２が常時または一定の時間間隔で制御データの内容を監視し、上述したパラメータに変化があったときは判定処理を再実行し、ミキシング係数群を再度決定してもよい。これらのタイミングで判定を行い、制御データに基づいてミキシング係数群を設定しておくことにより、聴取者はその後再生される音声の音像に対して違和感を覚えることはない。

なお、上述の例では４つのパラメータを利用して説明したが、この数は例である。たとえば４つのうちの少なくともひとつで従音声の存在の有無を判定してもよい。

以上のように本実施形態によれば、解析回路１０１が出力した制御データに基づいて、判定回路１０２が入力された音声データに副音声データまたは効果音データが存在するか否かを判定する。

判定の結果、いずれかのデータが存在すると判定した場合には、判定回路１０２は、係数記憶回路１０８に記憶された、ＮチャンネルにミキシングしてもＭチャンネル信号の音像位置を極力保つことができるミキシング係数群Ｂ（数７および数８参照）を、ミキシング回路１０９に設定する。それ以外の場合には、判定回路１０２は、係数記憶回路１０８に記憶された、ミキシング係数群Ａ（数１および数２参照）を、ミキシング回路１０９に設定する。判定回路１０２は、入力データ中の制御データに基づいて、予め複数種類用意されていたミキシング係数群のうちからひとつを選択してミキシング回路１０９に設定する。ミキシング係数群の設定は、ミキシング回路１０９に保持された各ミキシング係数を書き換えるだけで実現されるため、処理が簡単であるとともに、大規模なハードウェアも不要である。そして、副音声データまたは効果音データが存在する場合には、音像の位置や音像変化の方向性が維持されるミキシング係数がミキシング回路１０９に設定されるため、音像位置が良好に維持されたまま副音声データまたは効果音データを主音声にミキシングした出力音声信号を得ることができる。

本発明によるオーディオミキシング装置は、たとえば再生専用のＢＤ（ＢＤ−ＲＯＭ）の再生機やＨＤ−ＤＶＤの再生機に内蔵されてもよい。これにより、副音声や効果音においてミキシングしても元来の音像位置を極力保つことできるので、その効果は非常に大きい。これにより、視聴者は、パニング操作で音像を積極的に動かした映画監督の声などの副音声や効果音（たとえば「ヒューン」）をオーサリング制作者の意図通りに視聴できる。もちろん、本発明によるオーディオミキシング装置を、たとえば放送局の機器に内蔵することもできる。上述した処理により、Ｍチャンネルの音声信号を含むコンテンツをＮ（Ｍ＞Ｎ）チャンネルにダウンミキシングして放送することにより、受信した機器に特別の処理を要求することなく、コンテンツ製作者が意図した音像位置を再現できる。

さらに判定回路１０２が、入力データに副音声データもしくは効果音データが存在するか否かの判定を、入力信号そのものでなく解析回路１０１が出力した制御データに基づいて行う。これにより、入力信号の性質が急激に変わった場合でも影響を受けず、ミキシング回路１０９は、数１および数２、または、数７および数８の演算によってミキシングするので、安定した確実なミキシングを行うことができる。

なお、上述の処理は、常に行われなくてもよい。たとえば使用者等が強制的に副音声と効果音のミキシングをしないように設定したときは、数１および数２に示す通常のミキシング方法のみを行ってもよい。これにより、音像定位が保たれる必要が高い副音声や効果音が存在してもミキシングしない場合には、たとえば、外部機器で数３および数４に示す演算でダウンミキシング処理を施すことにより、２チャンネル信号をマルチチャンネル信号に変換できるようになる。本実施形態においては判定回路１０２は、ミキシング係数群Ａかミキシング係数群Ｂかを選択していた。しかしながら、上述の説明から明らかなように、選択対象のミキシング係数群は２つに限られず、３つまたはそれ以上設けてもよい。図６に示す条件分岐の数をより多くしたり、分岐先を３以上に変更することにより、きめ細かいダウンミキシングが可能になる。

本発明に係るオーディオミキシング装置は、従音声を再生する機能があり、かつ、出力先の接続機器の条件により出力チャンネル数を変える必要がある機器、たとえばＢＤ−ＲＯＭ録画再生機、ＨＤ−ＤＶＤ再生機等の一般民生機器や、放送向けの業務用機器の用途に適用できる。

１０１ 解析回路
１０２ 判定回路
１０３ 主音声再生回路
１０４ 副音声再生回路
１０５ 効果音再生回路
１０６ 副音声加算回路
１０７ 効果音加算回路
１０８ 係数記憶回路
１０９ ミキシング回路
１１０ 加算回路
１１１ 従音声再生回路

Claims (7)

1. 主音声データ、従音声データおよび制御データを含む音声データを受け取って、前記音声データから各々を分離する解析回路であって、前記制御データは従音声の存在の有無を示す複数のパラメータを含む、解析回路と、
   分離された前記主音声データを、複数チャンネルの主音声信号に復号する主音声再生回路と、
   分離された前記従音声データを、複数チャンネルの従音声信号に復号する従音声再生回路と、
   チャンネルごとに前記従音声信号を前記主音声信号に加算してＭチャンネルの合成音声信号を生成し、設定されたミキシング係数群に基づいて、前記Ｍチャンネルの合成音声信号をＮチャンネル（Ｎ＜Ｍ）の音声信号に変換するミキシング回路と、
   前記ミキシング回路に設定されるミキシング係数群を複数種類記憶する係数記憶回路と、
   前記従音声データの存在の有無にかかわらず、分離された前記制御データに含まれる前記複数のパラメータの各々に基づいて前記従音声の存在の有無を判定し、判定結果に応じて、前記係数記憶回路に記憶されている複数種類のミキシング係数群の中から１つのミキシング係数群を選択し、前記ミキシング回路に設定する判定回路と
   を備えた、オーディオミキシング装置。
2. 前記従音声は、副音声および効果音の少なくとも一方であり、前記複数のパラメータの各々は、前記副音声の存在の有無または効果音の存在の有無を示しており、
   前記判定回路は、前記複数のパラメータの各々によって、前記副音声および前記効果音が存在しないことが示されているときに、前記従音声が存在しないと判定する、請求の範囲１に記載のオーディオミキシング装置。
3. 前記従音声は、副音声および効果音の少なくとも一方であり、
   前記複数のパラメータは、前記効果音を格納したファイルの有無を示すパラメータ、前記従音声の存在を示すフラグ、インタラクティブ映像の有無を示すパラメータ、および、前記従音声のうちの前記副音声のデータの有無を示すパラメータを含んでおり、
   前記判定回路は、
   （ａ）前記従音声の存在を示すフラグが前記従音声の存在を示していないとき、
   （ｂ）前記従音声の存在を示すフラグが前記従音声の存在を示しており、前記副音声のデータの有無を示すパラメータが前記副音声のデータの存在を示しておらず、かつ、前記インタラクティブ映像の有無を示すパラメータが、前記インタラクティブ映像の存在を示していないとき、または、
   （ｃ）前記従音声の存在を示すフラグが前記従音声の存在を示しており、前記副音声のデータの有無を示すパラメータが前記副音声のデータの存在を示しておらず、前記インタラクティブ映像の有無を示すパラメータが前記インタラクティブ映像の存在を示しておらず、かつ、前記効果音を格納したファイルの有無を示すパラメータが前記効果音の存在を示していないとき
   は、前記従音声が存在しないと判定する、請求の範囲２に記載のオーディオミキシング装置。
4. 前記インタラクティブ映像の有無を示すパラメータによって、前記インタラクティブ映像の存在が示されていないときは、前記判定回路は前記効果音が存在しないと判定し、
   前記インタラクティブ映像の有無を示すパラメータによって、前記インタラクティブ映像の存在が示されているときは、前記判定回路は前記効果音が存在すると判定する、請求の範囲３に記載のオーディオミキシング装置。
5. 前記従音声は、副音声および効果音の少なくとも一方であり、
   前記複数のパラメータは、前記効果音を格納したファイルの有無を示すパラメータ、前記従音声の存在を示すフラグ、インタラクティブ映像の有無を示すパラメータ、および、前記従音声のうちの前記副音声のデータの有無を示すパラメータのうちの少なくともひとつを含んでおり、
   前記判定回路は、前記複数のパラメータの各々によって、前記副音声および前記効果音の存在が示されていないときに、前記従音声が存在しないと判定する、請求の範囲２に記載のオーディオミキシング装置。
6. 電源投入後に前記解析回路が前記音声データを最初に受信した時、前記判定部は前記ミキシング係数群を前記ミキシング回路に設定する、請求の範囲５に記載のオーディオミキシング装置。
7. 前記解析回路が、新たに音声データを受信した時、前記判定部は前記ミキシング係数群を前記ミキシング回路に設定する、請求の範囲５に記載のオーディオミキシング装置。

Images