JP6550473B2 - スピーカの配置位置提示装置 - Google Patents

スピーカの配置位置提示装置 Download PDF

Info

Publication number
JP6550473B2
JP6550473B2 JP2017558194A JP2017558194A JP6550473B2 JP 6550473 B2 JP6550473 B2 JP 6550473B2 JP 2017558194 A JP2017558194 A JP 2017558194A JP 2017558194 A JP2017558194 A JP 2017558194A JP 6550473 B2 JP6550473 B2 JP 6550473B2
Authority
JP
Japan
Prior art keywords
speaker
arrangement position
speakers
arrangement
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017558194A
Other languages
English (en)
Other versions
JPWO2017110882A1 (ja
Inventor
健明 末永
健明 末永
永雄 服部
永雄 服部
北浦 竜二
竜二 北浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2017110882A1 publication Critical patent/JPWO2017110882A1/ja
Application granted granted Critical
Publication of JP6550473B2 publication Critical patent/JP6550473B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Description

本発明の一態様は、マルチチャネル音声信号を物理振動として出力する複数のスピーカの配置位置を提示する技術に関する。
近年、放送波、DVD(Digital Versatile Disc)やBD(Blu-ray(登録商標) Disc)などのディスクメディア、インターネットなどを介して、ユーザは、マルチチャネル音声(サラウンド音声)を含むコンテンツを簡単に入手できるようになっている。映画館等においては、Dolby Atmosに代表されるオブジェクトベースオーディオによる立体音響システムが多く配備され、更に日本国内においては、次世代放送規格に22.2chオーディオが採用されるなど、ユーザがマルチチャネルコンテンツに触れる機会は格段に多くなった。
従来のステレオ方式の音声信号に関しても、マルチチャネル化手法が様々検討されており、ステレオ信号の各チャネル間の相関に基づいてマルチチャネル化する技術が、例えば特許文献2に開示されている。マルチチャネル音声を再生するシステムについても、映画館やホールのような大型音響設備が配された施設でなくても、家庭などで手軽に楽しめるようなシステムが一般的となってきつつある。ユーザ(聴取者)は、国際電気通信連合(International Telecommunication Union:ITU)が推奨する配置基準(非特許文献1を参照)に基づいて、複数のスピーカを配置することによって、5.1chや7.1chなどのマルチチャネル音声を聴取する環境を家庭内に構築することができる。また、少ないスピーカ数で、マルチチャネルの音像定位を再現する手法なども研究されている(非特許文献2)。
日本国公開特許公報「特開2006−319823号公報」 日本国公開特許公報「特開2013−055439号公報」
ITU-R BS.775-1 Virtual Sound Source Positioning Using Vector Base AmplitudePanning, VILLE PULKKI, J. Audio. Eng., Vol. 45, No. 6, 1997 June
しかしながら、非特許文献1では、マルチチャネル再生のためのスピーカ配置位置について、汎用的なものが開示されているため、ユーザの視聴環境によってはこれを満たすことができない場合がある。図2(A)に示すように、ユーザUの正面を0°、ユーザの右位置、左位置を各々90°、−90°とするような座標系で示すと、例えば、非特許文献1に記載されている5.1chでは、図2(B)に示すように、ユーザUを中心とした同心円上のユーザ正面にセンターチャネル201を配置し、フロントライトチャネル202、フロントレフトチャネル203を各々30°、−30°の位置に配置し、サラウンドライトチャネル204、サラウンドレフトチャネル205を各々100°〜120°、−100°〜−120°の範囲内に配置することを推奨している。しかし、ユーザの視聴環境、例えば、部屋の形状や家具の配置によっては、スピーカを推奨位置に配することができない場合がある。
これらの課題を解決するため、特許文献1には、配置されたスピーカ各々から発音し、その音声をマイクで取得し、解析することで得られた特徴量を出力音声にフィードバックすることで、実際のスピーカ配置位置の推奨位置からのずれを補正する手法が明らかにされている。しかし、特許文献1に記載されている技術の音声補正手法では、ユーザが配置したスピーカの位置に基づいた音声補正を行なうため、このユーザによるスピーカの配置における局所的な最適解を示すことはできても、そもそものスピーカの配置の位置を含めた全体としての最適解を示すことは難しい。例えば、ユーザがスピーカを極端な配置、例えば、前や右などに集中してスピーカを並べた場合、良好な音声補正結果を得られるとは限らない。
また、視聴するコンテンツによっては特定の方向に音声定位が集中し、実際に配されたスピーカがほぼ使用されない場合がある。例えば、音声定位が前方に集中するコンテンツにおいては、後方のスピーカからの音声再生はほとんどなされず、ユーザにとっては、配置したリソースが活用されないという不利益を被ることとなる。
本発明は、このような事情に鑑みてなされたものであり、ユーザにとって好適なスピーカの配置位置を自動で算出し、その配置位置情報をユーザに提供することができるスピーカの配置位置提示システムを提供することを目的とする。
上記の目的を達成するために、本発明の一態様は、以下のような手段を講じた。すなわち、本発明の一態様のスピーカの配置位置提示装置は、音声信号を物理振動として出力する複数のスピーカの配置位置を提示するスピーカの配置位置提示装置であって、入力されたコンテンツデータの特徴量、および入力された、前記コンテンツデータを再生する環境を特定する情報の少なくとも一方に基づいて、スピーカの配置位置を算出するスピーカ配置位置算出部と、前記算出したスピーカの配置位置を提示する提示部と、を備える。
本発明の一態様によれば、視聴するコンテンツや視聴する環境に適合したスピーカの配置位置を提示することが可能となる。その結果、ユーザは、より好適な音声視聴環境を構築することが可能となる。
第1の実施形態に係るスピーカ配置位置指示システムの概略構成を示す図である。 座標系を模式的に示した図である。 座標系を模式的に示した図である。 第1の実施形態におけるメタデータの一例を示す図である。 定位頻度のヒストグラムの一例を示す図である。 第1の実施形態において、隣り合うチャネルのペアの例を示した図である。 第1の実施形態において、隣り合うチャネルのペアの例を示した図である。 仮想音像位置の算出結果を模式的に示す図である。 スピーカ配置位置算出部の動作を示すフローチャートである。 第1の実施形態における定位頻度のヒストグラムと閾値との交点を示す図である。 ベクトルベースの音圧パンニングの概念を示した図である。 第1の実施形態に係るスピーカ配置位置指示システムが出力する提示例を示す図である。 第1の実施形態に係るスピーカ配置位置指示システムが出力する提示例を示す図である。 第1の実施形態の変形例1に係るスピーカ配置位置指示システムの概略構成を示す図である。 第1の実施形態の変形例2に係るスピーカ配置位置指示システムの概略構成を示す図である。 第2の実施形態に係るスピーカ配置位置指示システムの概略構成を示す図である。 第2の実施形態において、スピーカの設置環境を模式的に示す図である。 第2の実施形態において、スピーカの設置環境を模式的に示す図である。 第2の実施形態において、スピーカの設置環境を模式的に示す図である。 第2の実施形態におけるスピーカ設置尤度の一例を示す図である。 第2の実施形態におけるスピーカ配置位置算出部902の動作を示すフローチャートである。 第2の実施形態において、スピーカ配置位置を示す模式的に示す図である。 第2の実施形態において、スピーカ配置位置を示す模式的に示す図である。
本発明者らは、ユーザがマルチチャネル音声信号を再生し、複数のスピーカから出力する際、コンテンツデータの特徴量や視聴環境におけるスピーカの配置位置によっては、適切な視聴ができなくなる点に着目し、コンテンツデータの特徴量や視聴環境を特定する情報に基づいて、スピーカの配置位置を算定することによって、視聴するコンテンツや視聴する環境に適合したスピーカの配置位置を提示することができることを見出し、本発明の一態様をするに至った。
すなわち、本発明の一態様のスピーカの配置位置提示システム(スピーカの配置位置提示装置)は、マルチチャネル音声信号を物理振動として出力する複数のスピーカの配置位置を提示するスピーカの配置位置提示システムであって、入力されたコンテンツデータの特徴量または前記コンテンツデータを再生する環境を特定する情報の少なくとも一方を解析する解析部と、前記解析された特徴量または前記環境を特定する情報に基づいて、スピーカの配置位置を算出するスピーカ配置位置算出部と、前記算出したスピーカの配置位置を提示する提示部と、を備える。
これにより、本発明者らは、視聴するコンテンツや視聴する環境に適合したスピーカの配置位置を提示し、ユーザが、より好適な音声視聴環境を構築することを可能とした。以下、本発明の実施形態について図面を参照して説明する。なお、本明細書において、スピーカとは、ラウドスピーカ(Loudspeaker)のことである。
<第1の実施形態>
図1は、本発明の第1の実施形態に係るスピーカ配置位置指示システムの主要な構成を示す図である。第1の実施形態に係るスピーカ配置位置指示システム1は、再生するコンテンツの特徴量を解析し、これに基づいた好適なスピーカ配置位置を指示する。すなわち、図1に示すように、スピーカ配置位置指示システム1は、DVDやBDなどのディスクメディア、HDD(Hard Disc Drive)等に記録されている映像コンテンツや音声コンテンツに含まれる音声信号を解析するコンテンツ解析部101と、コンテンツ解析部101で得られた解析結果や、コンテンツ解析に必要な各種パラメータを記録している記憶部104と、コンテンツ解析部101で得られた解析結果に基づきスピーカの配置位置を算出するスピーカ配置位置算出部102と、スピーカ配置位置算出部102で算出された各スピーカの位置に基づいて、各々が再生する音声信号を生成し、再合成する音声信号処理部103と、から構成されている。
また、スピーカ配置位置指示システム1は、外部装置としてユーザにスピーカ位置を提示する提示部105、および信号処理を施した音声信号を出力する音声出力部106に接続されている。スピーカ配置位置指示システム(スピーカ配置位置指示部)1と提示部105とによって、スピーカの配置位置提示装置が構成される。
[コンテンツ解析部101について]
コンテンツ解析部101は、再生するコンテンツに含まれる任意の特徴量を解析し、その情報をスピーカ配置位置算出部102に送る。
(1)再生コンテンツにオブジェクトベースオーディオが含まれていた場合
本実施形態では、再生コンテンツにオブジェクトベースオーディオが含まれていた場合、この特徴量を用いて、コンテンツに含まれる音声の定位の頻度グラフを作成し、これをスピーカ配置位置算出部102に送る特徴量情報とする。
まず、オブジェクトベースオーディオの概要について説明する。オブジェクトベースオーディオとは、個々の発音オブジェクトをミキシングせずにプレイヤー(再生機)側でこれら発音オブジェクトを適宜レンダリングするものである。各々の規格において差はあるものの、一般的には、これら発音オブジェクトには各々、いつ、どこで、どの程度の音量で発音されるべきかといったメタデータ(付随情報)が紐づけられており、プレイヤーはこれに基づいて個々の発音オブジェクトをレンダリングする。
本実施形態では、このメタデータを解析することでコンテンツ全体の音声の定位位置情報を割り出す。なお、説明を簡単にする為、これらのメタデータを図3に示すように、どの発音オブジェクトのトラックに紐づけられているかを示すトラックID、および再生時刻とその時刻での位置のペアで構成される1つ以上の発音オブジェクト位置情報で構成されているものとする。本実施形態では、発音オブジェクトの位置情報は、図2(A)に示した座標系で表現されるものとする。また、これらメタデータは例えばコンテンツ内ではXML(Extensible Markup Language)のようなマークアップ言語で記述されているものとする。
コンテンツ解析部101は、まず、すべてのトラックのメタデータに含まれるすべての発音オブジェクト位置情報から、図4に示されるような定位位置のヒストグラム4を作成する。これについて、図3に示す発音オブジェクト位置情報を例にして、具体的に説明する。発音オブジェクト位置情報は、「0:00:00〜0:01:10」の70秒間、トラックID 1の発音オブジェクトが0°の位置にとどまることを意味する。ここで、コンテンツ全体長がN(秒)であった場合、この停留時間70秒をNで正規化した値70/Nをヒストグラム値として加算する。以上のような処理をすべての発音オブジェクト位置情報に対して行なうことで、図4に示す定位位置のヒストグラム4を得ることができる。
なお、本実施形態では、発音オブジェクトの位置情報の一例として、図2(A)に示す座標系について説明したが、これが例えばx軸とy軸で表される2次元座標系でも良いことは言うまでもない。
(2)再生コンテンツにオブジェクトベースオーディオ以外の音声信号が含まれていた場合
この場合のヒストグラム生成方法は、以下の通りである。例えば、再生コンテンツに5.1ch音声が含まれていた場合、特許文献2に開示されている2チャネル間の相関情報に基づく音像定位算出技術を応用し、以下の手順に基づいて同様のヒストグラムを作成する。
5.1ch音声に含まれる低音効果音(Low Frequency Effect:LFE)以外の各チャン
ネルにおいて、隣り合うチャネル間でその相関を計算する。隣り合うチャネルの組は、5.1chの音声信号においては、図5(A)に示す通り、FRとFL、FRとSR、FLとSL、SLとSRの4対となる。この時、隣り合うチャネルの相関情報は、単位時間nあたりの任意に量子化されたf個の周波数帯の相関係数値d(i)が算出され、これに基づいてf個の周波数帯各々の音像定位位置θが算出される。これについては、特許文献2に記載されている。
例えば、図6に示すように、FL1201とFR1202間の相関に基づく音像定位位置1203は、FL1201とFR1202が成す角の中心を基準としたθとして表される。このθを求めるには、数式(1)を用いる。ただし、αは音圧バランスを表すパラメータである(特許文献2参照)。
Figure 0006550473
本実施形態では、量子化されたf個の周波数帯の中であらかじめ設定された閾値Th_d以上の相関係数値d(i)を持つものに関して、定位位置のヒストグラムに含めるものとする。この時、ヒストグラムに加算される値は、n/Nとなる。ただし、前述の通りnは相関を計算する単位時間、Nはコンテンツ全体長である。また、前述の通り、音像定位位置として求められるθは、これを挟む音源位置の中心を基準としている為、適宜、図2(A)に示す座標系に変換を行なうものとする。以上の処理をFLとFR以外の組み合わせについても、同様に行なう。
なお、以上の説明では、特許文献2に開示されている通り、主に人のセリフ音声などが割り付けられるFCチャネルについては、同チャネルとFL乃至FR間に音像を生じさせるような音圧制御がなされている箇所が多くないものとして、FCは相関の計算対象からは外し、代わりにFLとFRの相関について考えるものとした。しかし、本発明の一態様は、これに限定されるわけではなく、勿論FCを含めた相関を考慮してヒストグラムを算出しても良く、図5(B)に示すように、FCとFR、FCとFL、FRとSR、FLとSL、SLとSRの5対の相関について、上記算出法でのヒストグラム生成を行なって良いことは言うまでもない。
以上の処理により、再生コンテンツにオブジェクトベースオーディオ以外の音声信号が含まれていた場合であっても発音オブジェクトの位置情報で説明した時と同様のヒストグラムを作成することができる。
[スピーカ配置位置算出部102について]
スピーカ配置位置算出部102は、コンテンツ解析部101で得られた定位位置のヒストグラムに基づいて、スピーカの配置位置を算出する。図7は、スピーカの配置位置を算出する動作を示すフローチャートである。スピーカ配置位置算出部102の処理が開始されると(ステップS001)、閾値Thに値MAX_THが設定される(ステップS002)。ここで、MAX_THは、コンテンツ解析部101で得られた定位位置のヒストグラムの最大値である。次に、閾値Thと定位位置のヒストグラムグラフとの交点数を算出し(ステップS003)、これら交点の隣り合う交点との間隔があらかじめ設定された閾値Θ_min以上Θ_max未満を満たす場合は(ステップS004においてYES)、その交点位置各々をキャッシュ領域に記憶し(ステップS005)、次のステップS015に進む。
図8では、定位位置ヒストグラム701と閾値Th702並びにその交点703、704、705、706を示した模式図を示している。一方、交点の間隔が閾値Θ_min以上Θ_max未満を満たさない場合は、含まれる交点のうち、閾値Θ_min未満の間隔の交点の対が含まれていた場合、これらを統合し、新たな1つの交点とした上で(ステップS006)、その交点位置各々をキャッシュ領域に記憶する(ステップS005)。
この統合された交点の位置は、統合前の対となる交点の中間位置とする。次に、交点数とスピーカ数を比較し、これが「スピーカ数>交点数」である場合(ステップS015においてYES)、閾値Thから値stepを減算し、新たな閾値Thとする(ステップS007)。
ここでThが予め定められている閾値下限MIN_TH以下となる場合は(ステップS009においてYES)、交点位置を記憶したキャッシュ情報があるかどうかを検査し、これが存在する場合は(ステップS010においてYES)、キャッシュに記憶された交点の位置座標をスピーカ配置位置として出力し(ステップS014)、処理を終了する(ステップS012)。
一方で、交点位置を記憶したキャッシュ情報が存在しない場合(ステップS010においてNO)、あらかじめ設定されているデフォルトスピーカ配置位置をスピーカ位置として出力し(ステップS011)、処理を終了する(ステップS012)。また、ステップS015において、「スピーカ数=交点数」であった場合(ステップS015においてNOかつステップS008においてYES)、その交点の位置座標をスピーカ配置位置として出力し(ステップS014)、処理を終了する(ステップS012)。
更に、「スピーカ数<交点数」であった場合(ステップS015においてNOかつステップS008においてNO)、交点数の削減処理を行ない、スピーカ数と交点数を一致させた上で(ステップS013)、交点の位置座標をスピーカ配置位置として出力し(ステップS014)、処理を終了する(ステップS012)。
ここでの交点数の削減処理は、交点間の距離が最も近いある2つの交点を選出し、これらに対してステップS006で説明した交点統合処理を適用するものとし、この距離が最も近い交点に対する統合処理を、「スピーカ数=交点数」となるまで繰り返し行なうものとする。
以上のステップにより、スピーカの配置位置を決定する。なお、音声信号処理部103で予め設定されている値として言及した各種パラメータは、予め記憶部104に記録されているものとする。勿論、これらパラメータを任意のユーザインタフェース(図示しない)を用いて、ユーザに入力させるようにしても良い。
また、これ以外の手法を用いてスピーカ位置を決定するようにしても良いことは言うまでもない。例えば、ヒストグラム値の大きい上位1〜s番目までに対応する位置、すなわち、特徴的な音像定位位置にスピーカを配置することとしても良い。それ以外にも、ヒストグラムに“大津の閾値選定法”を応用した多値化法を適用し、算出されたs個の閾値位置にスピーカを配置することで、全体の音像定位位置をカバーするスピーカ配置とするものとしても良い。ここでsは、前述の通り配置されるべきスピーカ数である。
[音声信号処理部103について]
(1)再生コンテンツにオブジェクトベースオーディオの音声信号が含まれていた場合
音声信号処理部103は、スピーカ配置位置算出部102で算出されたスピーカの配置位置に基づいて、各スピーカから出力される音声信号を構築する。図9は、第2の実施形態において、ベクトルベースの音圧パンニングの概念を示した図である。図9において、オブジェクトベースオーディオ中の1つの発音オブジェクトのある時間における位置が1103であるとする。また、スピーカ配置位置算出部102で算出されたスピーカの配置位置が発音オブジェクトの位置1103を挟むように1101と1102に指定されていた場合、例えば、非特許文献2に示されるように、これらスピーカを用いたベクトルベースの音圧パンニングで発音オブジェクトを位置1103に再現する。具体的には、受聴者1107に対し、発音オブジェクトから発せられる音の強さを、ベクトル1105で表したとき、このベクトルを受聴者1107と位置1101に位置するスピーカ間のベクトル1104と、受聴者1107と位置1101に位置するスピーカ間のベクトル1106に分解し、この時のベクトル1105に対する比を求める。
すなわち、ベクトル1104とベクトル1105の比をr1、ベクトル1106とベクトル1105の比をr2とすると、これらは各々、
r1=sin(θ2)/sin(θ1+θ2)
r2=cos(θ2)-sin(θ2)/tan(θ1+θ2)
で表すことができる。
求めた比を発音音声から発せられる音声信号に掛け合わせたものを、各々1101と1102に配置されたスピーカから再生することで、発音オブジェクトがあたかも位置1103から再生されているように、視聴者に知覚させることができる。以上の処理を、すべての発音オブジェクトに対して行なうことで、出力音声信号を生成することができる。
(2)再生コンテンツにオブジェクトベースオーディオ以外の音声信号が含まれていた場合
この場合、例えば、5.1ch音声が含まれていた場合も同様の処理で、5.1chの推奨配置位置のひとつが位置1103、スピーカ配置位置算出部102で算出されたスピーカの配置位置が1101と1102と考え、上記手順を実行する。
[記憶部104について]
記憶部104は、コンテンツ解析部101で用いられる種々のデータを記録するための二次記憶装置によって構成される。記憶部104は、例えば、磁気ディスク、光ディスク、フラッシュメモリなどによって構成され、より具体的な例としては、HDD、SSD(Solid State Drive)、SDメモリーカード、BD、DVDなどが挙げられる。コンテン
ツ解析部101は、必要に応じて記憶部104からデータを読み出す。また、解析結果を含む各種パラメータデータを記憶部104に記録することもできる。
[提示部105について]
提示部105は、スピーカ配置位置算出部102で得られたスピーカの配置位置情報をユーザに提示する。提示方法としては、例えば、図10(A)に示すように液晶ディスプレイ等にユーザとスピーカの配置位置関係を図示しても良いし、図10(B)に示すように、配置位置を数値のみで示しても良い。また、ディスプレイ以外を用いてスピーカ位置を提示しても良く、例えば天井近くにレーザポインタやプロジェクタを設置し、これと連携することで、設置位置を現実世界にマッピングする形で提示することとしても良い。
[音声出力部106について]
音声出力部106は、音声信号処理部103で得られた音声を出力する。ここで、音声出力部106は、配置されるs個のスピーカ乃至これらを駆動させる増幅器(アンプ)で構成される。
なお、本実施形態においては、説明を簡単にし、より分かり易くするため、2次元平面上のスピーカ配置について説明を行なったが、これが3次元空間上の配置であっても問題ない。すなわち、オブジェクトベースオーディオの発音オブジェクトの位置情報が高さ方向の情報も含めた3次元座標で表現されたり、22.2chオーディオのような上下位置も含めたスピーカ配置を推奨としたりするものであっても構わない。
<第1の実施形態の変形例1>
第1の実施形態では、スピーカの位置に応じた出力音声の構築処理をスピーカ配置位置指示システム1内の音声信号処理部103で行なったが、この機能をスピーカ配置位置指示システム外部に持たせても良い。すなわち、図11に示すように、第1の実施形態の変形例1に係るスピーカ配置位置指示システム8は、映像コンテンツ乃至音声コンテンツに含まれる音声信号を解析するコンテンツ解析部101と、コンテンツ解析部101で得られた解析結果やコンテンツ解析に必要な各種パラメータを記録している記憶部104と、コンテンツ解析部101で得られた解析結果に基づきスピーカの配置位置を算出するスピーカ配置位置算出部801と、から構成される。なお、スピーカ配置位置指示システム(スピーカ配置位置指示部)8と提示部105とによって、スピーカの配置位置提示装置が構成される。
更に、スピーカ配置位置指示システム8はスピーカ配置位置算出部801で算出された各スピーカの位置に基づいて各々が再生する音声信号を再合成する音声信号処理部802と、ユーザにスピーカ位置を提示する提示部105と、信号処理を施した音声信号を出力する音声出力部106といった外部装置と接続されている。
スピーカ配置位置算出部801から、音声信号処理部802へは、第1の実施形態で示したようなスピーカの位置情報が例えばXMLのような任意のフォーマットで伝達され、音声信号処理部802では、第1の実施形態で示したように例えばVBAP方式で出力音声の再構築処理が行なわれる。
なお、図11の中で、他の図と同じ番号を付したものは同様の機能を持つものとし、説明を省略している。
<第1の実施形態の変形例2>
図12に示すように、ユーザが提示部105で提示した位置にスピーカを配置しているかを確認するために、第1の実施形態の構成にさらにスピーカ位置確認部1701を設ける構成としても良い。スピーカ位置確認部1701には、マイクロホンが少なくともひとつ具備され、例えば、特許文献1に開示された技術を用いて、ユーザが配置したスピーカから発せられた音をこのマイクロホンで集音、解析することで実際のスピーカの位置を把握し、これが、提示部105に示した位置と異なる場合は、その旨を提示部105に示し、ユーザに知らせるようにしても良い。なお、スピーカ配置位置指示システム(スピーカ配置位置指示部)17と提示部105とによって、スピーカの配置位置提示装置が構成される。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。図13は、本発明の第2の実施形態に係るスピーカ配置位置指示システム9の主要な構成を示す図である。第2の実施形態に係るスピーカ配置位置指示システム9は、再生する環境情報例えば部屋の間取り情報を取得し、これに基づいた好適なスピーカ配置位置を指示するシステムである。図13に示すように、スピーカ配置位置指示システム9は、さまざまな外部機器から得られる環境情報からスピーカ配置に必要な情報を解析する環境情報解析部901と、環境情報解析部901で得られた解析結果や環境情報解析に必要な各種パラメータを記録している記憶部104と、環境情報解析部901で得られた解析結果に基づきスピーカの配置位置を算出するスピーカ配置位置算出部102と、スピーカ配置位置算出部102で算出された各スピーカの位置に基づいて各々が再生する音声信号を再合成する音声信号処理部103と、から構成される。
また、スピーカ配置位置指示システム9は、外部装置としてユーザにスピーカ位置を提示する提示部105と、信号処理を施した音声信号を出力する音声出力部106に接続されている。なお、スピーカ配置位置指示システム(スピーカ配置位置指示部)9と提示部105とによって、スピーカの配置位置提示装置が構成される。
なお、図13に示したブロック図のうち、図1と同様の番号を付したブロックについては同様の機能を持つため説明を割愛し、本実施形態では、主に環境情報解析部901、スピーカ配置位置算出部902について説明する。
[環境情報解析部901について]
環境情報解析部901は、入力されたスピーカを配置する部屋の情報から、スピーカ配置位置の尤度情報を計算する。まず、環境情報解析部901は、図14Aに示すような平面図を取得する。平面図は、例えば、部屋の天井に設置されたカメラで撮影された画像を用いるものとする。本実施形態で入力された平面図1401内には、テレビ1402、ソファー1403、家具1404並びに1405が配置されているものとする。ここで、環境情報解析部901は、液晶ディスプレイ等で構成される提示部103を介してユーザに対し平面図1401を提示し、ユーザに、ユーザ入力受付部903を介して、テレビの位置1407と、視聴位置1406を入力させる。
環境情報解析部901は、スピーカを配置する位置の候補として、入力されたテレビの位置1407と、視聴位置1406の距離を半径とする同心円1408を平面図1401上に表示する。更に環境情報解析部901は、ユーザに対し、表示した同心円上でスピーカの配置することのできないエリアを入力させる。本実施形態では、配置されている家具によって設置できないエリアとなる1409と1410、部屋の形状から設置できないエリアとなる1411が入力されるものとする。以上の入力から、環境情報解析部901は、スピーカ設置可能エリアの設置尤度を1、スピーカ設置不可能エリアの設置尤度を0とする、図15に示すような設置尤度(グラフ)1301を作成し、スピーカ配置位置算出部902にその情報を引き渡す。
なお、本実施形態において、ユーザの入力は、環境情報解析部901に接続された外部装置ユーザ入力受付部903を介して入力されるものとし、ユーザ入力受付部903はタッチパネルやマウス、キーボードなどで構成されるものとする。
[スピーカ配置位置算出部902について]
スピーカ配置位置算出部902は、環境情報解析部901から得られたスピーカの設置尤度情報に基づいて、スピーカを配置する位置を決定する。図16は、スピーカ配置位置を算出する動作を示すフローチャートである。図16において処理が開始されると(ステップS201)、スピーカ配置位置算出部902は、記憶部104から、デフォルトのスピーカ配置位置情報を読み出す(ステップS202)。本実施形態では、5.1chのLFE(Low Frequency Effect)を除くスピーカの配置位置情報を読み出すものとする。
なお、図17Aに示すように、第1の実施形態で示したコンテンツ情報に基づくスピーカ配置位置情報を使用してスピーカ位置1501〜1505と表示しても良い。すなわち、本実施形態で示すスピーカ配置位置指示システム9にコンテンツ解析部101を含める構成としても良い。
次に、スピーカ配置位置算出部902は、読みだした全てのスピーカ位置について、ステップS203からステップS206間の処理を繰り返す。各スピーカ位置は、現在のスピーカ位置±Θαの範囲内に、その隣接するスピーカとの位置関係がΘ_min以上Θ_max未満且つ尤度値が0より大きい値を持つ位置が存在するかどうかを検査し、これが存在する場合(ステップS204においてYES)、前記条件を満たす位置情報の中で、最大尤度値を持つ位置にスピーカ位置を更新する(ステップS205)。
例えば、平面図1401においては、設置尤度1301に基づいて、図17Bに示すように、デフォルト位置が1504、1505に指定されていたスピーカ位置を、各々1506、1507の位置に更新する。全てのスピーカで処理が行なわれたら、スピーカ配置位置を出力し(ステップS207)、処理を終了する(ステップS208)。
一方で、ステップS204の条件を満たさないスピーカ位置情報が一つでも存在した場合は、スピーカの配置が不可能と判断しエラーを提示し(ステップS209)、処理を終了する(ステップS208)。なお、Θα、Θ_min、Θ_maxは、記憶部104に記憶された予め設定された値である。最終的にスピーカ配置位置算出部902は、以上の処理で得られた結果を、提示部105を通じてユーザに提示する。
なお、以上の実施形態では、設置尤度グラフを、部屋内に物理的に配置可能か否かに基づいて作成したが、それ以外の情報を用いて同グラフを作成しても良いことは言うまでもない。例えば、環境情報解析部901におけるユーザからの入力に、壁や家具の位置に加えて、その材質情報(木材、金属、コンクリート)を入力させるようにし、この反射係数を加味した設置尤度を設定するようにしても良い。
本発明の一態様は、以下の態様を取ることが可能である。すなわち、(1)本発明の一態様のスピーカの配置位置提示システムは、音声信号を物理振動として出力する複数のスピーカの配置位置を提示するスピーカの配置位置提示システムであって、入力されたコンテンツデータの特徴量または前記コンテンツデータを再生する環境を特定する情報の少なくとも一方を解析する解析部と、前記解析された特徴量または前記環境を特定する情報に基づいて、スピーカの配置位置を算出するスピーカ配置位置算出部と、前記算出したスピーカの配置位置を提示する提示部と、を備える。
(2)また、本発明の一態様のスピーカの配置位置提示システムにおいて、前記解析部は、前記入力されたコンテンツデータに含まれる音声信号に付随する位置情報パラメータを用いて、スピーカを配置する候補となる位置における音声定位の頻度を示すヒストグラムを生成し、前記スピーカ配置位置算出部は、音声定位の頻度の閾値と前記ヒストグラムとの交点の数が、前記スピーカの数と同数となったときの前記交点の座標位置をスピーカの配置位置とする。
(3)また、本発明の一態様のスピーカの配置位置提示システムにおいて、前記解析部は、前記入力されたコンテンツデータに含まれる音声信号に付随する位置情報パラメータを用いて、隣接する位置から出力される音声信号間の相関値を算出し、前記相関値に基づいて、スピーカを配置する候補となる位置における音声定位の頻度を示すヒストグラムを生成し、前記スピーカ配置位置算出部は、音声定位の頻度の閾値と前記ヒストグラムとの交点の数が、前記スピーカの数と同数となったときの前記交点の座標位置をスピーカの配置位置とする。
(4)また、本発明の一態様のスピーカの配置位置提示システムにおいて、前記解析部は、スピーカの配置が可能である領域または不可能である領域を示す可否情報を入力し、スピーカを配置する候補となる位置の尤度を示す尤度情報を生成し、前記スピーカ配置位置算出部は、前記尤度情報に基づいて、スピーカの配置位置を決定する。
(5)また、本発明の一態様のスピーカの配置位置提示システムは、ユーザの操作を受け付けて、スピーカの配置が可能である領域または不可能である領域を示す可否情報を入力するユーザ入力受付部を備える。
(6)また、本発明の一態様のスピーカの配置位置提示システムは、前記スピーカの配置位置を示す情報および前記入力されたコンテンツデータに基づいて、各スピーカで出力される音声信号を生成する音声信号処理部を備える。
(7)また、本発明の一態様のプログラムは、マルチチャネル音声信号を物理振動として出力する複数のスピーカの配置位置を提示するスピーカの配置位置提示システムのプログラムであって、入力されたコンテンツデータの特徴量または前記コンテンツデータを再生する環境を特定する情報の少なくとも一方を解析する処理と、前記解析された特徴量または前記環境を特定する情報に基づいて、スピーカの配置位置を算出する処理と、前記算出したスピーカの配置位置を提示する処理と、の一連の処理を、コンピュータに実行させる。
(8)また、本発明の一態様のプログラムは、前記入力されたコンテンツデータに含まれる音声信号に付随する位置情報パラメータを用いて、スピーカを配置する候補となる位置における音声定位の頻度を示すヒストグラムを生成する処理と、音声定位の頻度の閾値と前記ヒストグラムとの交点の数が、前記スピーカの数と同数となったときの前記交点の座標位置をスピーカの配置位置とする処理と、をさらに含む。
(9)また、本発明の一態様のプログラムは、前記入力されたコンテンツデータに含まれる音声信号に付随する位置情報パラメータを用いて、隣接する位置から出力される音声信号間の相関値を算出し、前記相関値に基づいて、スピーカを配置する候補となる位置における音声定位の頻度を示すヒストグラムを生成する処理と、音声定位の頻度の閾値と前記ヒストグラムとの交点の数が、前記スピーカの数と同数となったときの前記交点の座標位置をスピーカの配置位置とする処理と、をさらに含む。
(10)また、本発明の一態様のプログラムは、スピーカの配置が可能である領域または不可能である領域を示す可否情報を入力し、スピーカを配置する候補となる位置の尤度を示す尤度情報を生成する処理と、前記尤度情報に基づいて、スピーカの配置位置を決定する処理と、をさらに含む。
(11)また、本発明の一態様のプログラムは、ユーザ入力受付部において、ユーザの操作を受け付けて、スピーカの配置が可能である領域または不可能である領域を示す可否情報を入力する処理をさらに含む。
(12)また、本発明の一態様のプログラムは、前記スピーカの配置位置を示す情報および前記入力されたコンテンツデータに基づいて、各スピーカで出力される音声信号を生成する処理をさらに含む。
以上説明したように、本実施形態によれば、ユーザにとって好適なスピーカの配置位置を自動で算出し、その配置位置情報をユーザに提供することが可能となる。
(関連出願の相互参照)
本出願は、2015年12月21日に出願された日本国特許出願:特願2015-248970に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
1 スピーカ配置位置指示システム(スピーカ配置位置指示部)
4 ヒストグラム
8 スピーカ配置位置指示システム(スピーカ配置位置指示部)
9 スピーカ配置位置指示システム(スピーカ配置位置指示部)
101 コンテンツ解析部
102 スピーカ配置位置算出部
103 音声信号処理部
104 記憶部
105 提示部
106 音声出力部
201 センターチャネル
202 フロントライトチャネル
203 フロントレフトチャネル
204 サラウンドライトチャネル
205 サラウンドレフトチャネル
701 定位位置ヒストグラム
702 閾値Th
703、704、705、706 交点
801 スピーカ配置位置算出部
802 音声信号処理部
901 環境情報解析部
902 スピーカ配置位置算出部
903 ユーザ入力受付部
1101、1102 発音オブジェクトの位置
1103 オブジェクトベースオーディオ中の1つの発音オブジェクトのある時間における位置
1104、1105、1106 ベクトル
1107 受聴者
1201 FL(フロントレフトチャネル)
1202 FR(フロントライトチャネル)
1203 音像定位位置
1301 設置尤度
1401 平面図
1402 テレビ
1403 ソファー
1404、1405 家具
1406 視聴位置
1407 入力されたテレビの位置
1408 同心円
1409、1410、1411 設置できないエリア
1501、1502、1503、1504、1505、1506、1507 スピーカ位置

Claims (5)

  1. 数のスピーカの配置位置を提示するスピーカの配置位置提示装置であって、
    入力されたコンテンツデータに含まれる音声信号に付随する位置情報パラメータに基づいて、スピーカの配置位置を算出するスピーカ配置位置指示部と、
    出した前記スピーカの配置位置を提示する提示部と、
    を備えるスピーカの配置位置提示装置。
  2. 前記スピーカ配置位置指示部は、スピーカを配置する候補となる位置における音声定位の頻度に基づいて、前記スピーカの配置位置を算出することを特徴とする請求項1に記載のスピーカの配置位置提示装置。
  3. 前記スピーカ配置位置指示部は、隣接する位置から出力される音声信号間の相関値に基づいて、前記スピーカの配置位置を算出することを特徴とする請求項2に記載のスピーカの配置位置提示装置。
  4. 複数のスピーカの配置位置を提示するスピーカの配置位置提示装置であって、
    スピーカの配置が可能である領域または不可能である領域を示す可否情報を入力し、スピーカを配置する候補となる位置の尤度を示す尤度情報を生成し、前記尤度情報に基づいて、スピーカの配置位置を決定するスピーカ配置位置指示部と、
    算出した前記スピーカの配置位置を提示する提示部と、
    を備えるスピーカの配置位置提示装置。
  5. ユーザの操作を受け付けて、スピーカの配置が可能である領域または不可能である領域を示す可否情報を入力するユーザ入力受付部を備える請求項4に記載のスピーカの配置位置提示装置。
JP2017558194A 2015-12-21 2016-12-21 スピーカの配置位置提示装置 Expired - Fee Related JP6550473B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015248970 2015-12-21
JP2015248970 2015-12-21
PCT/JP2016/088122 WO2017110882A1 (ja) 2015-12-21 2016-12-21 スピーカの配置位置提示装置

Publications (2)

Publication Number Publication Date
JPWO2017110882A1 JPWO2017110882A1 (ja) 2018-10-11
JP6550473B2 true JP6550473B2 (ja) 2019-07-24

Family

ID=59089408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017558194A Expired - Fee Related JP6550473B2 (ja) 2015-12-21 2016-12-21 スピーカの配置位置提示装置

Country Status (4)

Country Link
US (1) US10547962B2 (ja)
JP (1) JP6550473B2 (ja)
CN (1) CN109479177B (ja)
WO (1) WO2017110882A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020144062A1 (en) 2019-01-08 2020-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Efficient spatially-heterogeneous audio elements for virtual reality
WO2020235307A1 (ja) 2019-05-17 2020-11-26 株式会社東海理化電機製作所 コンテンツ提供システム、出力装置、及び情報処理方法
WO2021029447A1 (ko) * 2019-08-09 2021-02-18 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
WO2021220821A1 (ja) * 2020-04-28 2021-11-04 パナソニックIpマネジメント株式会社 制御装置、制御装置の処理方法、および、プログラム
KR20240039120A (ko) * 2021-08-06 2024-03-26 소니그룹주식회사 음향 처리 장치, 음향 처리 방법, 음향 처리 프로그램 및 음향 처리 시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004023841A1 (en) * 2002-09-09 2004-03-18 Koninklijke Philips Electronics N.V. Smart speakers
JP4581831B2 (ja) 2005-05-16 2010-11-17 ソニー株式会社 音響装置、音響調整方法および音響調整プログラム
CN1878433A (zh) * 2005-06-09 2006-12-13 乐金电子(沈阳)有限公司 家庭影院中背部扬声器的最佳位置设定方法及装置
CN101136199B (zh) * 2006-08-30 2011-09-07 纽昂斯通讯公司 语音数据处理方法和设备
JP2008227942A (ja) * 2007-03-13 2008-09-25 Pioneer Electronic Corp コンテンツ再生装置及びコンテンツ再生方法
JP2010193323A (ja) * 2009-02-19 2010-09-02 Casio Hitachi Mobile Communications Co Ltd 録音装置、再生装置、録音方法、再生方法、及びコンピュータプログラム
JP5439602B2 (ja) * 2009-11-04 2014-03-12 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 仮想音源に関連するオーディオ信号についてスピーカ設備のスピーカの駆動係数を計算する装置および方法
JP2013055439A (ja) 2011-09-02 2013-03-21 Sharp Corp 音声信号変換装置、方法、プログラム、及び記録媒体
EP2891335B1 (en) * 2012-08-31 2019-11-27 Dolby Laboratories Licensing Corporation Reflected and direct rendering of upmixed content to individually addressable drivers
KR102160519B1 (ko) * 2013-04-26 2020-09-28 소니 주식회사 음성 처리 장치 및 방법, 및 기록 매체
US9432791B2 (en) * 2013-12-11 2016-08-30 Harman International Industries, Inc. Location aware self-configuring loudspeaker
JP6243755B2 (ja) * 2014-03-03 2017-12-06 日本放送協会 スピーカ配置提示装置、スピーカ配置提示方法、スピーカ配置提示プログラム
JP6357884B2 (ja) 2014-06-02 2018-07-18 ヤマハ株式会社 位置特定装置およびオーディオ装置

Also Published As

Publication number Publication date
CN109479177B (zh) 2021-02-09
JPWO2017110882A1 (ja) 2018-10-11
CN109479177A (zh) 2019-03-15
US10547962B2 (en) 2020-01-28
US20190007782A1 (en) 2019-01-03
WO2017110882A1 (ja) 2017-06-29

Similar Documents

Publication Publication Date Title
JP6550473B2 (ja) スピーカの配置位置提示装置
RU2764227C1 (ru) Способ и устройство для представления входного звука
CN104822036B (zh) 用于局域化感知音频的技术
RU2586842C2 (ru) Устройство и способ преобразования первого параметрического пространственного аудиосигнала во второй параметрический пространственный аудиосигнал
EP2848009B1 (en) Method and apparatus for layout and format independent 3d audio reproduction
CN107690123B (zh) 音频提供方法
CN109891503B (zh) 声学场景回放方法和装置
JP7504140B2 (ja) 音響処理装置および方法、並びにプログラム
JP7192786B2 (ja) 信号処理装置および方法、並びにプログラム
CN106961647A (zh) 音频再生装置以及方法
US11627427B2 (en) Enabling rendering, for consumption by a user, of spatial audio content
US10999678B2 (en) Audio signal processing device and audio signal processing system
JP6663490B2 (ja) スピーカシステム、音声信号レンダリング装置およびプログラム
KR102527336B1 (ko) 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치
US10986457B2 (en) Method and device for outputting audio linked with video screen zoom
WO2018150774A1 (ja) 音声信号処理装置及び音声信号処理システム
EP3002960A1 (en) System and method for generating surround sound
EP3013072B1 (en) System and method for generating surround sound

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190701

R150 Certificate of patent or registration of utility model

Ref document number: 6550473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees