JP2011166407A - 音響設定装置および音響設定方法 - Google Patents
音響設定装置および音響設定方法 Download PDFInfo
- Publication number
- JP2011166407A JP2011166407A JP2010026308A JP2010026308A JP2011166407A JP 2011166407 A JP2011166407 A JP 2011166407A JP 2010026308 A JP2010026308 A JP 2010026308A JP 2010026308 A JP2010026308 A JP 2010026308A JP 2011166407 A JP2011166407 A JP 2011166407A
- Authority
- JP
- Japan
- Prior art keywords
- listening space
- listener
- audio output
- sound
- listening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
【課題】聴取空間に配置された静止物体を検出しながら静止物体のスピーカに対する相対関係の変化に応じて聴取音の出力状態に関するオーディオ出力条件の設定が可能な音響設定装置を提供すること。
【解決手段】複数のスピーカ101が設置された聴取空間SPに向けて、スピーカ101から出力される聴取者に聴取させるべき聴取音の、聴取空間SPに対する出力状態に関するオーディオ出力条件の設定を行なう音響システム100が、複数のスピーカ101をオーディオ信号に基づき駆動させるオーディオ出力手段と、聴取空間SPに存在する静止物体を検出する聴取空間環境検出手段と、前記聴取空間環境検出手段が、空間内存在物体のスピーカ101に対する相対関係が変化したことを検出したときに、オーディオ出力条件設定を前記変化に対応した設定とするオーディオ出力条件設定手段とを備えている。
【選択図】図7
【解決手段】複数のスピーカ101が設置された聴取空間SPに向けて、スピーカ101から出力される聴取者に聴取させるべき聴取音の、聴取空間SPに対する出力状態に関するオーディオ出力条件の設定を行なう音響システム100が、複数のスピーカ101をオーディオ信号に基づき駆動させるオーディオ出力手段と、聴取空間SPに存在する静止物体を検出する聴取空間環境検出手段と、前記聴取空間環境検出手段が、空間内存在物体のスピーカ101に対する相対関係が変化したことを検出したときに、オーディオ出力条件設定を前記変化に対応した設定とするオーディオ出力条件設定手段とを備えている。
【選択図】図7
Description
本発明は、オーディオ機器などのスピーカから聴取空間に向けて出力される聴取者に聴取させるべき聴取音の、前記聴取空間に対するオーディオ出力条件の設定を行なう音響設定装置および音響設定方法に関する。
近年、複数のスピーカを配置して、臨場感ある音場を表現する音響システムに関する技術が各種提案されている。このような音響システムでは、特定した聴取者の聴取位置に応じてスピーカ位置、音声フィルタ処理、音圧や出力タイミングなどの聴取音に関するオーディオ出力条件の設定を行なって音場を実現させる音響設定装置を備えている。
また、音響システムにカメラを設置し、撮像したフレームに顔が進入した際に、肌色成分を検出しその位置に応じてオーディオ出力条件設定を行なう技術も知られている(例えば、特許文献1参照)。
しかしながら、上述の従来の音響設定装置では、まず、使用前に聴取音の聴取空間に対する出力状態に関するオーディオ出力条件設定を、聴取空間の環境に応じて行う必要がある。例えば、5.1chサラウンドシステムでは、聴取者位置に対するフロント、リア、サブウーハなどの複数のスピーカのそれぞれの距離を聴取者自らが測定しオーディオ出力条件設定を行なう必要があった。
また、近年では聴取者が測定する代わりに、聴取者位置にヘッドセットのような集音装置を事前に設置し、聴取空間における聴取空間環境を確認するものがある。その場合には、聴取者や障害物などの影響が無い環境にしなければならないため、その分、聴取者の手間となってしまうという問題や、集音時に音域毎に確認する必要があるため、設定時間を要するという問題がある。
また、近年では聴取者が測定する代わりに、聴取者位置にヘッドセットのような集音装置を事前に設置し、聴取空間における聴取空間環境を確認するものがある。その場合には、聴取者や障害物などの影響が無い環境にしなければならないため、その分、聴取者の手間となってしまうという問題や、集音時に音域毎に確認する必要があるため、設定時間を要するという問題がある。
そして何より、その設定された聴取空間内の環境に変化が生じると、聴取者がそれに応じて各スピーカの位置などを再度設定する必要がある。例えば、聴取空間に配置された椅子が大きさの異なるものに交換され、その設置位置も変更されるといった聴取空間環境の変化が生じた場合、聴取者の位置および音響の反射度合いが変わるため、各スピーカの位置・向きその他の聴取音の聴取空間に対する出力状態に関するオーディオ出力条件を再設定する必要がある。
また、上述の特許文献1に記載の技術は、顔の進入の際にのみ肌色成分に応じてオーディオ出力条件設定を行なうため、上述のような静止物体の大きさや位置などの変動に対応することができず、加えて、聴取者が存在するのに肌色成分(顔)の検出ができなかった場合、聴取空間に対する聴取音の適正なオーディオ出力条件の設定ができなかった。
また、上述の特許文献1に記載の技術は、顔の進入の際にのみ肌色成分に応じてオーディオ出力条件設定を行なうため、上述のような静止物体の大きさや位置などの変動に対応することができず、加えて、聴取者が存在するのに肌色成分(顔)の検出ができなかった場合、聴取空間に対する聴取音の適正なオーディオ出力条件の設定ができなかった。
本発明は、上述の課題を解決することを目的とするものであり、聴取空間に配置された静止物体を検出しながら静止物体のスピーカに対する相対関係の変化に応じて聴取音の出力状態に関するオーディオ出力条件の設定が可能な音響設定装置および音響設定方法を提供することを目的とする。
上記目的を達成するために本発明の音響設定装置は、 複数のスピーカが設置された聴取空間に向けて、前記スピーカから出力される聴取者に聴取させるべき聴取音の、前記聴取空間に対する出力状態に関するオーディオ出力条件の設定を行なう音響設定装置であって、前記複数のスピーカをオーディオ信号に基づき駆動させるオーディオ出力手段と、前記聴取空間に存在する静止物体を検出する聴取空間環境検出手段と、前記聴取空間環境検出手段が、前記静止物体の前記スピーカに対する相対関係が変化したことを検出したときに、前記変化に対応したオーディオ出力条件に設定するオーディオ出力条件設定手段とを備えていることを特徴とする。
本発明の音響設定装置では、聴取空間に配置された静止物体を検出しながら静止物体体のスピーカに対する相対関係が変化したときには、聴取音の聴取空間に対する出力状態に関するオーディオ出力条件設定を、相対関係の変化に応じた設定とするため、聴取空間において静止物体とスピーカとの相対関係に変化が生じた場合にも最適なオーディオ出力条件の設定が可能である。
以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。
[構成]
まず、図1〜図4に基づいて、実施例1の音響設定装置の構成について説明する。なお、図1は本発明の実施例1に係る音響設定装置を備えた音響システム100の外観を示す斜め正面から見た斜視図、図2は実施例1の音響設定装置を備えた音響システム100の外観を示す平面図、図3は音響システム100の概要を示すブロック図、図4は音響システム100に組み込まれているカメラユニット102の概要を示すブロック図である。
まず、図1〜図4に基づいて、実施例1の音響設定装置の構成について説明する。なお、図1は本発明の実施例1に係る音響設定装置を備えた音響システム100の外観を示す斜め正面から見た斜視図、図2は実施例1の音響設定装置を備えた音響システム100の外観を示す平面図、図3は音響システム100の概要を示すブロック図、図4は音響システム100に組み込まれているカメラユニット102の概要を示すブロック図である。
音響システム100は、一対のスピーカ101,101、カメラユニット102、スピーカ101を垂直方向の軸を中心に回転させる駆動ステージ103、電源スイッチ104を有している。
図3に示すように、音響システム100は、外部機器I/Fブロック111、D/A変換ブロック112、信号処理ブロック113、駆動ブロック114、カメラユニット102、音響出力ブロック(オーディオ出力手段)30を備えている。また、カメラユニット102は、カメラコントロールブロック21およびレンズユニットブロック22を備え、音響出力部30はアンプブロック31を備えている。
外部機器I/Fブロック111は、テレビやDVDプレーヤなどの外部機器からオーディオ信号を入力するオーディオ入力端子を有している。外部機器I/Fブロック111に入力されたオーディオ信号は、信号処理ブロック113によりデジタル出力データへ変換する信号処理が施される。信号処理ブロック113は、DSP(Digital Signal Processor)により構成されており、入力されたデータに対してノイズリダクションや、フィルタ処理などの処理を行なう。
外部機器I/Fブロック111は、テレビやDVDプレーヤなどの外部機器からオーディオ信号を入力するオーディオ入力端子を有している。外部機器I/Fブロック111に入力されたオーディオ信号は、信号処理ブロック113によりデジタル出力データへ変換する信号処理が施される。信号処理ブロック113は、DSP(Digital Signal Processor)により構成されており、入力されたデータに対してノイズリダクションや、フィルタ処理などの処理を行なう。
信号処理ブロック113で変換されたデジタル出力データは、D/A変換ブロック112によりアナログデータに変換され、そのアナログデータが音響出力部30へ入力される。音響出力部30は、アンプブロック31により、アナログデータに対して増幅処理を行うことができる。
駆動ブロック114は、各スピーカ101の下部にある駆動ステージ103を、それぞれ所定角度に回動可能である。この駆動ブロック114および駆動ステージ103が、スピーカ101,101の向きを変更する手段に相当する。
次に、図4に基づいてカメラユニット102の構成を説明する。
カメラユニット102は、聴取空間SP(図7参照)内を撮影して画像データを得る撮像手段であって、カメラコントロールブロック21とレンズユニットブロック22とを備えており、本実施例1では、後述する聴取空間環境検出手段としての機能を有する。なお、聴取空間SPとは、図7に示すように、音響システム100が配置されてスピーカ101,101によりオーディオ出力が成される空間を指しており、図7では、椅子CH1が置かれた部屋を一例として示している。
カメラユニット102は、聴取空間SP(図7参照)内を撮影して画像データを得る撮像手段であって、カメラコントロールブロック21とレンズユニットブロック22とを備えており、本実施例1では、後述する聴取空間環境検出手段としての機能を有する。なお、聴取空間SPとは、図7に示すように、音響システム100が配置されてスピーカ101,101によりオーディオ出力が成される空間を指しており、図7では、椅子CH1が置かれた部屋を一例として示している。
図4に戻り、カメラコントロールブロック21は、レンズユニットブロック22で得られた画像信号の処理や、レンズユニットブロック22に対して後述するオートフォーカス(以下、AFと表す)処理などを実行させる制御を行う。
カメラコントロールブロック21は、カメラプロセッサ7(以下、単に「プロセッサ7」という)を備えている。
プロセッサ7は、CCD1信号処理ブロック72、CCD2信号処理ブロック76、CPUブロック73、ローカルSRAM77、メモリコントローラブロック71、I2Cブロック75を備えており、これらは相互にバスラインで接続されている。プロセッサ7の外部には、YUV画像データを保存するSDRAM9が配置されていて、プロセッサ7とバスラインによって接続されている。プロセッサ7の外部には、制御プログラムが格納されたROM8が配置されていて、プロセッサ7とバスラインによって接続されている。
プロセッサ7は、CCD1信号処理ブロック72、CCD2信号処理ブロック76、CPUブロック73、ローカルSRAM77、メモリコントローラブロック71、I2Cブロック75を備えており、これらは相互にバスラインで接続されている。プロセッサ7の外部には、YUV画像データを保存するSDRAM9が配置されていて、プロセッサ7とバスラインによって接続されている。プロセッサ7の外部には、制御プログラムが格納されたROM8が配置されていて、プロセッサ7とバスラインによって接続されている。
レンズユニットブロック22は、鏡胴ユニット5を備えている。鏡胴ユニット5は、ズームレンズ51aを有するズーム光学系51、およびフォーカスレンズ52aを有するフォーカス光学系52を有する。ズーム光学系51、フォーカス光学系52は、それぞれズームモータ51b、フォーカスモータ52bによって駆動されるようになっている。これら各モータ51b,52bは、プロセッサ7のCPUブロック73によって制御されるモータドライバ55によって動作が制御される。ズームモータ51bには、DCモータを使用し、電源スイッチ104がOnされた場合に焦点距離を35mmフィルム換算で35mm相当の位置へ移動するように制御する。また、フォーカスモータ52bには、ステッピンモータを使用し、フォーカスレンズ52aの駆動範囲は、音響システム100を実際に設置した場合の聴取空間環境を考えて、音響システム100の正面方向に焦点距離を1m〜5mの範囲で移動させるようにしている。このフォーカスレンズ52aによる前記範囲の繰り出し量(パルス量)に基づいて、後述するAF処理を実行する。
鏡胴ユニット5は、撮像素子であるCCD10に被写体像を結ぶ撮影レンズを有する。CCD10は、上記被写体像を画像信号に変換してF/E−IC6に入力する。F/E−IC6はCDS回路61、ADC回路62、A/D変換器63を有し、画像信号にそれぞれ所定の処理を施し、デジタル信号に変換してプロセッサ7のCCD1信号処理ブロック72に入力する。これらの信号処理動作は、プロセッサ7のCCD1信号処理ブロック72から出力されるVD信号(垂直駆動信号)・HD信号(水平駆動信号)により、タイミングジェネレータ64を介して制御される。
次に、このカメラユニット102のAF動作について説明する。
まず、両レンズ51a,52aを通してCCD10に入射した光は、電気信号に変換されてアナログ信号のR,G,BとしてCDS回路61、A/D変換器63に送られる。A/D変換器63でデジタル信号に変換されたそれぞれの信号は、SDRAM9内のYUV変換部(図示省略)でYUV信号に変換されて、メモリコントローラブロック71によってフレームメモリに書き込まれる。このYUV信号は、VD信号毎に出力され、そのつど更新できるようにしている。また、このYUV信号は、メモリコントローラブロック71に読み出されて、画像データの合焦度合いを示すAF評価値、同データの露光状態を示すAF評価値が算出される。
まず、両レンズ51a,52aを通してCCD10に入射した光は、電気信号に変換されてアナログ信号のR,G,BとしてCDS回路61、A/D変換器63に送られる。A/D変換器63でデジタル信号に変換されたそれぞれの信号は、SDRAM9内のYUV変換部(図示省略)でYUV信号に変換されて、メモリコントローラブロック71によってフレームメモリに書き込まれる。このYUV信号は、VD信号毎に出力され、そのつど更新できるようにしている。また、このYUV信号は、メモリコントローラブロック71に読み出されて、画像データの合焦度合いを示すAF評価値、同データの露光状態を示すAF評価値が算出される。
AF評価値データは、特徴データとしてCPUブロック73に読み出されて、AFの処理に利用される。AF評価値(フーリエ係数の高周波成分の画像面上での積分値(平均値))は合焦状態にあるとき、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、AFによる合焦検出動作時は、それぞれのフォーカスレンズ位置におけるAF評価値を取得して、その極大になる点(ピーク位置)を検出する。また極大になる点が複数あることも考慮に入れ、複数あった場合はピーク位置の評価値の大きさや、その周辺の評価値との下降、上昇度合いを判断し、最も信頼性のある点を合焦位置としてAFを実行する。
また、AF評価値は、本実施例1では、デジタルRGB信号内の細分化された複数のエリアにおいてそれぞれ算出する。図5が実施例1で用いるRGBの画像データにおける細分化されたエリアを示している。本実施例1では、水平方向、垂直方向ともに8分割されたエリアを使用している。各エリアは座標をもっており、左上なら水平1、垂直1、右下なら水平8、垂直8としている。なお、この場合のエリア分割数は、これに限定されず、さらに細分化するなどしてもよい。
実施例1の音響システム100におけるオーディオ出力条件設定処理の流れを図6のフローチャートを用いて説明する。
まず、ステップS1では、音響システム100の電源スイッチ104がOnになっているどうかを確認し、Onになっていなければ処理を終了し、OnであればステップS2に進む。
電源がOnの場合に進むステップS2では、外部機器I/Fブロック111に音響データが受信されているかどうかを確認し、受信されていない場合は処理を終了し、受信されている場合はステップS3に進む。
ステップS3では、音響システム100の駆動ステージ103がすでに駆動されているかどうかを確認し、駆動していない場合は、ステップS6に進み、既に駆動されている場合はステップS4に進む。
ステップS4では、カメラユニット102によって聴取空間SPを撮像し、聴取空間SP内において環境変動があったかどうかを確認する変動確認処理を行った後、ステップS5に進む。なお、実施例1における環境変動とは、聴取空間SPに配置された静止物体を含む空間内に存在する物体のスピーカ101,101に対する相対関係の変化をいう。また、静止物体とは、聴取空間SPに配置されて静止した物体を指し、図7に一例を示す聴取空間SPでは椅子CH1を指す。また、環境変動の確認に関しては、方法に関してはいろいろあるが、本実施例1では、カメラユニット102において現在のフレームで出力された画像データと、その1つ前のフレームの画像データとの差分による画像変動を用いて確認を行う。この画像変動の演算については後述する。
ステップS5では、画面変動があったか否か確認し、画像変動があった場合はステップS6に進み、画像変動が無かった場合は、ステップS8に進む。以上のように、ステップS4、S5では、静止物体のスピーカ101,101に対する相対関係の変化の有無を検出するために、空間内に存在する物体のカメラユニット102に対する相対変位を検出している。音響システム100において、この処理を行う部分が聴取空間環境検出手段に相当する。
ステップS6では、AF処理を実行し、次のステップS7に進む。なお、AF処理は、カメラユニット102が有するAF機能を用いて、カメラユニット102と聴取空間SPに存在する静止物体との距離を計測する処理である。カメラユニット102おいてこの処理を行なう部分が距離検出手段に相当するもので、その詳細については後述する。
ステップS7では、AF処理の結果に基づいて、駆動ブロック114により駆動ステージ103を駆動させる処理を実行した後、ステップS8に進む。この駆動ステージ103を駆動させる処理とは、本実施例1では、駆動ステージ103を、図示を省略した垂直方向の軸を中心に回転させる処理である。これにより、各スピーカ101,101の水平方向の向きが変化し、聴取空間SPのオーディオ出力条件設定が変化する。このオーディオ出力条件設定のパラメータは角度であり、図8に示すように、2つあるスピーカ101,101の正面方向であってカメラユニット102の光軸Oに沿う方向に対する角度θ1、θ2を決定する。なお、この角度θ1、θ2の演算は、CPUブロック73と信号処理ブロック113とのいずれかで行なう。
ステップS8では、音響出力部30により外部機器I/Fブロック111で得られた外部機器からのオーディオ信号をスピーカ101,101により再生させる音響出力処理を実行した後、処理を終了する。このステップS8の音響出力処理の詳細は後述する。
ステップS7では、AF処理の結果に基づいて、駆動ブロック114により駆動ステージ103を駆動させる処理を実行した後、ステップS8に進む。この駆動ステージ103を駆動させる処理とは、本実施例1では、駆動ステージ103を、図示を省略した垂直方向の軸を中心に回転させる処理である。これにより、各スピーカ101,101の水平方向の向きが変化し、聴取空間SPのオーディオ出力条件設定が変化する。このオーディオ出力条件設定のパラメータは角度であり、図8に示すように、2つあるスピーカ101,101の正面方向であってカメラユニット102の光軸Oに沿う方向に対する角度θ1、θ2を決定する。なお、この角度θ1、θ2の演算は、CPUブロック73と信号処理ブロック113とのいずれかで行なう。
ステップS8では、音響出力部30により外部機器I/Fブロック111で得られた外部機器からのオーディオ信号をスピーカ101,101により再生させる音響出力処理を実行した後、処理を終了する。このステップS8の音響出力処理の詳細は後述する。
以上のように、ステップS7,S8の処理により、静止物体の変化に対応してスピーカ101,101の向きを変えることでオーディオ出力条件設定を行っている。音響システム100において、これらの処理を行う部分がオーディオ環境設定手段に相当する。
次に、ステップS4の変動確認処理について説明を加える。
本実施例1では、変動確認処理に用いる画像変動確認には 、VD信号に同期したタイミングで連続的に取得された画像データをSDRAM9のバッファメモリに記憶し、次に取得された画像データと、輝度差分から算出される積算結果で比較する。例えば、まず、一つ前の画像データをバッファメモリに記憶し、この記憶された画像データと最新のタイミングで取得された画像データとの差分を演算し、この演算ののち、最新のタイミングで取得された画像データを一つ前の画像データに上書きしてバッファメモリに記憶する。そして、この上書きされた最新のタイミングの画像データと次のタイミングで取得された画像データとを用いて、差分演算を繰り返す。
本実施例1では、変動確認処理に用いる画像変動確認には 、VD信号に同期したタイミングで連続的に取得された画像データをSDRAM9のバッファメモリに記憶し、次に取得された画像データと、輝度差分から算出される積算結果で比較する。例えば、まず、一つ前の画像データをバッファメモリに記憶し、この記憶された画像データと最新のタイミングで取得された画像データとの差分を演算し、この演算ののち、最新のタイミングで取得された画像データを一つ前の画像データに上書きしてバッファメモリに記憶する。そして、この上書きされた最新のタイミングの画像データと次のタイミングで取得された画像データとを用いて、差分演算を繰り返す。
最新のタイミングで取得された画像データとSDRAM9に記憶されている一つ前のタイミングで取得された画像データを用いて行う差分演算処理は、各画像データを構成する各画素の隣接する画素間の輝度差分を水平方向と垂直方向のそれぞれにおいて積算し、さらにそれを1つ前のタイミングで取得された積算結果と比較し、その水平方向の差分結果と垂直方向の差分結果を合算したものから変動確認評価値Qを算出する処理である。変動確認評価値Qは、VD信号の発生タイミングごとに算出される。
変動確認処理における差分演算処理に用いる演算式について説明をする。
最新のタイミングにおいて水平方向の隣接する画素間での輝度差分の積算結果をH(v)とすると、その演算式は下記の式(1)で表される。
式(1)において、D(i,j)はAF処理エリア内の画素の座標を示す。HstartはAF処理エリアの水平開始位置であって、mはAF処理エリアの水平範囲である。
また、垂直方向の隣接する画素間での輝度差分の積算結果をV(h)とすると、その演算式は下記の式(2)で表される。
式(2)において、D(i,j)はAF処理エリア内の画素の座標を示す。VstartはAF処理エリアの垂直開始位置であって、nはAF処理エリアの垂直範囲である。
上記式(1)と式(2)によって算出されるH(v)とV(h)と、その一つ前のタイミングで算出された積分結果H’(v)とV’(h)を用いて、その差分の総和をQ(t)とすると、その演算式は下記の式(3)で表される。
式(3)において、tはVDタイミングカウントである。
最新のタイミングにおいて水平方向の隣接する画素間での輝度差分の積算結果をH(v)とすると、その演算式は下記の式(1)で表される。
また、垂直方向の隣接する画素間での輝度差分の積算結果をV(h)とすると、その演算式は下記の式(2)で表される。
上記式(1)と式(2)によって算出されるH(v)とV(h)と、その一つ前のタイミングで算出された積分結果H’(v)とV’(h)を用いて、その差分の総和をQ(t)とすると、その演算式は下記の式(3)で表される。
この評価値Q(t)を画像更新タイミング(Vdタイミング)毎に演算し、ステップS5では、その差分があらかじめ設定された判定閾値以上であった場合に、環境変動があったと判定する。なお、この判定閾値は、明暗による画像データの変化も想定されるために、ある程度の明暗変化を許容する値に設定しておくことが好ましい。また、本実施例1では、上述のように、画像データのフレーム間差分により静止物体の変動を検知しているがこの限りではなく、ヒストグラムによる差分抽出を行うことで検知したり、あるいは処理速度に問題が無いようであれば、画像差からオプティカルフローを算出したりする他の方法を用いることもできる。
次に、ステップS6で実行するAF処理の詳細を図9のフローチャートに基づいて説明する。なお、AF処理では、測距エリアを、カメラユニット102から光軸方向に1mの位置から5mの位置までの範囲とし、AF処理の開始時点では、フォーカスレンズ52aの焦点を1mの距離に配置しておく。
まず、ステップS61では、VD信号の立ち下がりを検出するまで待ち処理を行い、VD信号の立ち下がりを検出すると、ステップS62に進む。
ステップS62では、所定パルス数に応じてフォーカスモータ52bを駆動し、フォーカスレンズ52aを焦点距離5mの位置に向けて移動を開始させた後、次のステップS63に進む。
まず、ステップS61では、VD信号の立ち下がりを検出するまで待ち処理を行い、VD信号の立ち下がりを検出すると、ステップS62に進む。
ステップS62では、所定パルス数に応じてフォーカスモータ52bを駆動し、フォーカスレンズ52aを焦点距離5mの位置に向けて移動を開始させた後、次のステップS63に進む。
ステップS63では、フォーカスレンズ52aを移動した後の映像信号を取得し、この映像信号に基づく画像データによってAF評価値を算出し、ステップS64に進む。ステップS64では、フォーカスレンズ52aの位置が終了位置(本実施例1では、焦点距離5mに相当する位置)まで移動したか否か判定し、終了位置に達した場合はステップS65に進み、終了位置に達していない場合は、ステップS62に戻って、フォーカス駆動とAF評価値取得とを繰り返し行う。
ステップS65では、ピーク位置検出処理を実行し、ステップS66に進む。このピーク位置検出処理では、まず、図5の細分化されたそれぞれのエリアにおける各画素の高周波成分の積分値によりピーク位置を検出する。そして、各エリアにおいて、ピーク位置が同距離と思われる位置をグルーピングし、その範囲が含まれる端のエリア番号を取得する。
ここで、グルーピングについて説明を加える。
このグルーピングの説明にあたり、聴取空間SPにおける椅子CH1が取り替えられた場合を例に挙げて説明する。すなわち、音響システム100が設置されている聴取空間SPにおいて、図7に示すように複数人掛けの椅子CH1が置かれている状態から、図10に示すように、一人掛けの椅子CH2に取り替えられたというように、静止物体の変動が生じた場合のグルーピングの違いについて説明する。
このグルーピングの説明にあたり、聴取空間SPにおける椅子CH1が取り替えられた場合を例に挙げて説明する。すなわち、音響システム100が設置されている聴取空間SPにおいて、図7に示すように複数人掛けの椅子CH1が置かれている状態から、図10に示すように、一人掛けの椅子CH2に取り替えられたというように、静止物体の変動が生じた場合のグルーピングの違いについて説明する。
図11、図12がそれぞれ図7および図10に示す聴取空間SPに対するAF処理を行ったときの画像データとグルーピング結果を示している。すなわち、聴取空間SPが図7に示す状態である場合、図11(a)に示す画像データが得られ、同図(b)において斜線を付したエリアでグルーピングされている。この例では、グルーピングエリアは、水平方向1〜7、垂直方向6〜8のエリアとなっている。一方、聴取空間SPが図10に示す状態である場合、図12(a)に示す画像データが得られ、同図(b)において斜線を付したエリアでグルーピングされている。この例では、水平方向2〜5、垂直方向6〜8のエリアとなっている。このように聴取空間SPにおいて静止物体が変動する環境変動が生じても、グルーピングを行うことによってこの変動を検出できるとともに、聴取空間SPの空間内存在物体の存在位置を推定することが可能となる。
最後のステップS66では、フォーカスレンズ52aの焦点をピーク位置へ移動する処理を行い、AF処理を終了する。
最後のステップS66では、フォーカスレンズ52aの焦点をピーク位置へ移動する処理を行い、AF処理を終了する。
次に、図6のフローチャートで説明したステップS7のステージ駆動処理について説明を加える。前述のように、ステージ駆動時のパラメータは角度であるが、2つの角度θ1、θ2の演算には、図8に示すように、AF処理によるグルーピングエリアから、そのエリア番号の水平方向両端位置の検出値を用いる。本実施例1では、各スピーカ101,101を、水平方向にのみ回動させるため、グルーピングエリアの水平方向両端位置に各スピーカ101,101の正面が向くように回動させ、グルーピングエリアにおける左右のスピーカ101,101のオーディオ出力状態が均等になるようにしている。このため、グルーピングエリアの両端に相当する水平エリア位置を、焦点距離35mmの画角と聴取距離dとから算出し、画角端と水平エリア位置との差分L1,L2(図12(b)参照)を算出し、下記式(4)(5)に基づき、この差分L1,L2聴取距離dとのatan(アークタンジェント)により角度θ1,θ2を算出する。
θ1=atan(L1/d) ・・・(4)
θ2=atan(L2/d) ・・・(5)
次に、図6のフローチャートで説明したステップS8の音響出力処理について説明を加える。
音響出力処理では、デジタル変換されたオーディオ信号に対して、増幅処理などを行い各スピーカ101,101へと出力する。このとき、聴取位置により出力タイミングを変化させる必要がある場合は、フィルタ処理を行うことにより両スピーカ101,101における出力タイミングをずらす処理を行ってもよい。その際には、AF処理にて取得したグルーピングによって推定される静止物体(例えば、椅子CH1,CH2)から各スピーカ101,101までの聴取距離dを算出しフィルタをかけることになる。
θ1=atan(L1/d) ・・・(4)
θ2=atan(L2/d) ・・・(5)
次に、図6のフローチャートで説明したステップS8の音響出力処理について説明を加える。
音響出力処理では、デジタル変換されたオーディオ信号に対して、増幅処理などを行い各スピーカ101,101へと出力する。このとき、聴取位置により出力タイミングを変化させる必要がある場合は、フィルタ処理を行うことにより両スピーカ101,101における出力タイミングをずらす処理を行ってもよい。その際には、AF処理にて取得したグルーピングによって推定される静止物体(例えば、椅子CH1,CH2)から各スピーカ101,101までの聴取距離dを算出しフィルタをかけることになる。
次に、実施例1の作用を、音響システム100が配置された聴取空間SPにおいて、静止物体としての図7に示す椅子CH1が、図10に示す椅子CH2に取り替えられるという変動、すなわち、スピーカ101,101に対する静止物体の相対関係に変化が生じた場合を例に挙げて説明する。
音響システム100では電源スイッチ104がOnされると、オーディオ出力条件設定処理が継続して実行される。ここで、オーディオ出力条件設定処理の最初の処理の時点では、駆動ステージ103が駆動されていないことから、ステップS1、S2、S3、S6の流れに基づきAF処理が実行される。このとき、聴取空間SPにおいて、図7に示す位置に2,3人掛け用の椅子CH1が置かれている場合、ステップS65のピーク位置検出処理により、図11(b)に示すように、水平方向で1〜7、垂直方向で6〜8の範囲のグルーピングが成される。そして、ステップS7のステージ駆動処理により、スピーカ101,101の正面をグルーピングエリアの水平方向両端に向かせる角度θ1,θ2(図13参照)が得られ、さらに、両角度θ1,θ2に基づいて、駆動ステージ103が回動される。これに伴い両スピーカ101,101は、駆動ステージ103と一体的に回動して図13に示すように正面が若干外側を向いた状態となり、その後、音響出力処理が実行される。
なお、その後、椅子CH1がそのまま置かれている場合、ステップS5において画面変動有りの判定が成されず、スピーカ101,101の向きが維持されたままで音響出力処理が実行される。
音響システム100がこのように作動した場合、音響システム100による音場は、椅子CH1に掛けた聴取者MA(図16参照)にとって臨場感に富む最適のオーディオ出力条件に設定される。
一方、聴取空間SPにおいて、図10に示す1人掛け用の椅子CH2に取り替えられて図示のように配置されて環境変動が生じた場合、ステップS5において、画面変動が有りと判定されて、再び、AF処理およびステージ駆動処理が実行され、再度オーディオ出力条件の設定が成される。
このとき、ステップS65のピーク位置検出処理により、図12(b)に示すように、水平方向2〜5、垂直方向6〜8の範囲がグルーピングされる。そして、ステップS7のステージ駆動処理により、グルーピングエリアの水平方向両端に対応する図14に示す角度θ1,θ2が得られる。この例では、角度θ1は、変化していないが、角度θ2が大きく変化し、これに伴って、装置右側に配置された駆動ステージ103が回動されて図14に示すように装置右側に配置されたスピーカ101が回動される。
したがって、音響システム100による音場は、椅子CH2に掛けた聴取者MAにとって臨場感に富む最適の音場を形成するオーディオ出力条件に設定に変更される。
以上説明したように、本実施例1では、聴取空間SPに配置された静止物体の存在を検出し、これら静止物体に応じてオーディオ出力条件(音響パラメータ)を設定するとともに、聴取空間SPにおいてスピーカ101,101に対する静止物体の相対関係に変化(画像変動)が生じた場合には、静止物体の変化に伴ってオーディオ出力条件を変化させ、最適なオーディオ出力を可能とすることができる。
この場合、聴取者MAが自らスピーカ101からの距離などを測定する必要が無く、聴取者MAの手間を省くことができる。加えて、聴取空間SPにおける椅子CH1,CH2などの他動的な静止物体のスピーカ101,101に対する相対関係の変化に応じてオーディオ出力条件の設定を変更でき、聴取者MAがオーディオ出力条件の設定のために、このような静止物体など移動させる必要もなく、短時間に手間を掛けることの無い設定が可能となる。
この場合、聴取者MAが自らスピーカ101からの距離などを測定する必要が無く、聴取者MAの手間を省くことができる。加えて、聴取空間SPにおける椅子CH1,CH2などの他動的な静止物体のスピーカ101,101に対する相対関係の変化に応じてオーディオ出力条件の設定を変更でき、聴取者MAがオーディオ出力条件の設定のために、このような静止物体など移動させる必要もなく、短時間に手間を掛けることの無い設定が可能となる。
そして何より、聴取空間SPにおいて静止物体の相対関係の変化が生じても、聴取者MAが再度設定し直すこと無く自動的にオーディオ出力条件設定の変更が成され、聴取者MAの手間をさらに大幅に省くことが可能である。
(他の実施例)
以下に、他の実施例の音響環定装置について説明する。
なお、他の実施例を説明するのにあたり、実施例1と同じ構成については同じ符号を付けて説明を省略する。作用についても、実施例1と相違する作用について説明し、実施例1と同じ作用については説明を省略する。
以下に、他の実施例の音響環定装置について説明する。
なお、他の実施例を説明するのにあたり、実施例1と同じ構成については同じ符号を付けて説明を省略する。作用についても、実施例1と相違する作用について説明し、実施例1と同じ作用については説明を省略する。
<実施例2>
実施例2の音響設定装置は、音響システム100における処理の内容が実施例1と異なり、聴取空間SPの聴取空間環境を検出する聴取空間環境検出手段に、聴取者MAを検出する聴取者検出手段を加えた例である。
実施例2の音響設定装置は、音響システム100における処理の内容が実施例1と異なり、聴取空間SPの聴取空間環境を検出する聴取空間環境検出手段に、聴取者MAを検出する聴取者検出手段を加えた例である。
この実施例2の音響システム100における処理の流れを図15のフローチャートに基づいて説明する。なお、このフローチャートにおいて、ステップS1〜S6までは実施例1と同様であるので、実施例1と同じステップ符号を付けて説明を省略し、実施例1と相違する処理ステップについて説明する。
ステップS6のAF処理を終えると、ステップS21に進み、顔検知判定処理を実行し、ステップS22に進む。
このステップS21の顔検知判定処理では、聴取空間SPに顔が存在するか否かに基づいて、聴取者MAが存在するか否かを判定し、聴取者MAが存在する場合は、その顔が存在する位置について再度グルーピングを行う。顔検知方法に関しては、デジタルスチルカメラの技術において、既に、公知となった下記のa〜cに列挙する方法が知られており、本実施例2では、下記の技術のいずれかの方法を用いるものとする。
a)テレビジョン学会誌Vol.49、No.6、pp.787−797(1995)の「顔領域抽出に有効な修正HSV表色系の提案」に示されるように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
b)電子情報通信学会誌Vol.74−D−II、No.11、pp.1625−1627(1991)の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
c)画像ラボ1991−11(1991)の「テレビ電話用顔領域検出とその効果」に示されるように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。
このステップS21の顔検知判定処理では、聴取空間SPに顔が存在するか否かに基づいて、聴取者MAが存在するか否かを判定し、聴取者MAが存在する場合は、その顔が存在する位置について再度グルーピングを行う。顔検知方法に関しては、デジタルスチルカメラの技術において、既に、公知となった下記のa〜cに列挙する方法が知られており、本実施例2では、下記の技術のいずれかの方法を用いるものとする。
a)テレビジョン学会誌Vol.49、No.6、pp.787−797(1995)の「顔領域抽出に有効な修正HSV表色系の提案」に示されるように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
b)電子情報通信学会誌Vol.74−D−II、No.11、pp.1625−1627(1991)の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
c)画像ラボ1991−11(1991)の「テレビ電話用顔領域検出とその効果」に示されるように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。
ステップS22では、ステップS21の顔検知判定処理の結果に基づいて、聴取者MAの有無を判定し、聴取者MAが存在する場合はステップS23に進み、聴取者MAが不在の場合はステップS7に進む。
ステップS23では、再度、顔検知位置でのグルーピング処理によりその範囲を設定する顔検知範囲設定処理を行った後、ステップS7に進む。以上のように、実施例2で追加したステップS21〜S23の処理を行う部分が、聴取者検出手段に相当する。
なお、ステップS7以降の処理は、実施例1と同様であるので説明を省略する。
なお、ステップS7以降の処理は、実施例1と同様であるので説明を省略する。
次に、実施例2の作用を説明する。
この作用を説明するのにあたり、聴取空間SP内の環境変化として、図16に示すように聴取者MAが椅子CH1に座った状態から、図17に示すように聴取者MAが椅子CH1に寝そべった状態に変化した場合を例に挙げて説明する。すなわち、実施例2では、スピーカ101,101に対し、静止物体としての椅子CH1の相対関係には変化がなく一定の状態であるが、聴取者MAの相対関係が変化している。
この作用を説明するのにあたり、聴取空間SP内の環境変化として、図16に示すように聴取者MAが椅子CH1に座った状態から、図17に示すように聴取者MAが椅子CH1に寝そべった状態に変化した場合を例に挙げて説明する。すなわち、実施例2では、スピーカ101,101に対し、静止物体としての椅子CH1の相対関係には変化がなく一定の状態であるが、聴取者MAの相対関係が変化している。
図16に示す聴取空間SPの聴取空間環境で、実施例2の音響設定装置の作動が開始されたとする。この場合、まず、ステップS1〜S3、S6、S21、S22、S23、S7、S8の順で処理が実行され、この聴取空間SPの聴取空間環境に応じて駆動ステージ103が駆動されてスピーカ101の向きが設定された後、音響出力が成される。
この場合、ステップS6のAF処理において図18(a)に示す画像データが得られるとともに、図18(b)に示すグルーピング結果が得られ、この図に示すように、水平範囲で1〜7、垂直範囲で4〜8の範囲でグルーピングされている。
さらに、本実施例2では、ステップS23の顔検知範囲設定処理により、図18(c)において斜線で示すように顔が検知されるエリアが設定され、この図示の例では、顔検知範囲が、水平範囲で4〜5、垂直範囲で4〜6の範囲に設定される。
さらに、本実施例2では、ステップS23の顔検知範囲設定処理により、図18(c)において斜線で示すように顔が検知されるエリアが設定され、この図示の例では、顔検知範囲が、水平範囲で4〜5、垂直範囲で4〜6の範囲に設定される。
本実施例2では、ステップS7のステージ駆動処理では、実施例1と同様に、顔検知範囲の水平方向両端と画角端との差分L1,L2と聴取距離dとのatan(アークタンジェント)により角度θ1,θ2が算出され、駆動ステージ103が駆動される。その結果、両スピーカ101,101は、図20に示すように、顔検知範囲の両端を向くように、音響システム100の正面中央方向を向く。
したがって、音響システム100では、椅子CH1の幅方向中央付近に着座した聴取者MAにとって最適の臨場感にあふれた音場が得られる。
したがって、音響システム100では、椅子CH1の幅方向中央付近に着座した聴取者MAにとって最適の臨場感にあふれた音場が得られる。
次に、聴取者MAの姿勢が、図16に示すように椅子CH1に着座した状態から、図17に示すように椅子CH1に寝転がった状態に変動した場合について説明する。
この場合、このような聴取者MAのスピーカ101,101に対する相対関係の変化が画面変動に現れ、ステップS5、S6、S21〜S23の流れに基づき、再びAF処理、顔検知範囲設定処理などが実行される。
このとき、AF処理では、図19(a)に示す画像データが得られ、さらに、図19(b)に示すようなグルーピングエリアが得られる。この場合、AF処理によるグルーピングエリアは、水平方向範囲は、図18に示す例と同様である。
そこで、本実施例2では、ステップS23の顔検知範囲設定処理によって、図19(c)に示す顔検知範囲が設定され、この場合、顔検知範囲は、水平範囲で2〜4、垂直範囲で5〜8の範囲と判定され、図18に示す状態とは範囲が異なっている。
したがって、ステップS7のステージ駆動処理では、この顔検知範囲に基づいて、図21に示すように、角度θ1,θ2が変更され、駆動ステージ103,103の回動に基づいてスピーカ101,101の向きが変更される。
この場合も、両スピーカ101,101は、顔検知範囲の両端を向き、椅子CH1に寝転がった聴取者MAにとって最適の臨場感にあふれた音場が得られる。
この場合も、両スピーカ101,101は、顔検知範囲の両端を向き、椅子CH1に寝転がった聴取者MAにとって最適の臨場感にあふれた音場が得られる。
以上のように、実施例2では、椅子CH1,CH2などの静止物体のスピーカ101,101に対する相対関係の変化に加え、聴取者MAの相対関係の変化に応じたオーディオ出力条件設定が可能となり、聴取者MAに、いっそう臨場感ある音場を提供することが可能である。
しかも、実施例2では、顔検知だけでなく、実施例1と同様に聴取空間SPに存在する静止物体を含む空間内に存在する物体に対するAF処理も実行している。このため、顔検知時に、その特徴点、例えば目や口といった部位が隠れるなどにより顔検知できなかった場合でも、実施例1と同様に、静止物体(図16に示す例では椅子)に対するAF処理結果に基づいてオーディオ出力条件設定を行うことが可能である。したがって、顔検知が成されない場合でも、聴取空間SPに適したオーディオ出力条件設定が可能である。
<実施例3>
次に、実施例3について説明する。
この実施例3は、聴取空間SPにおいて、聴取者MAの人数を判定し、聴取者MAの人数の変動にも対応できるようにした例である。
次に、実施例3について説明する。
この実施例3は、聴取空間SPにおいて、聴取者MAの人数を判定し、聴取者MAの人数の変動にも対応できるようにした例である。
図22、図23のフローチャートは、実施例3の処理の流れを示している。なお、実施例3では音響システム100における処理の流れの一部のみが、実施例2と相違しており、これら実施例2と同様の処理の部分は、実施例1,2と同じステップ符号を付して説明を省略し、相違点についてのみ説明する。
実施例1,2と相違するのは、ステップS22において聴取者MA有りと判定して顔検知範囲設定処理を行うステップS23に進むまでの間に、ステップS31において顔検知数検索処理を行っている点である。
実施例1,2と相違するのは、ステップS22において聴取者MA有りと判定して顔検知範囲設定処理を行うステップS23に進むまでの間に、ステップS31において顔検知数検索処理を行っている点である。
この顔検知数検索処理は、聴取空間SPにおける聴取者MAの人数を検出するもので、顔検知可能な人数に関しては、カメラユニット102内のCPUブロック73など演算能力などにも影響されるが、少なくとも4人程度は必要と考えられる。
次に、ステップS31の顔検知数検索処理にて人数が確定された状態で、再度、顔検知範囲に対してのグルーピング処理を行う顔検知範囲設定処理を行う。この顔検知範囲設定処理自体は、実施例2のステップS23と同様であるが、図24に示すように、聴取者MAが2人存在する場合は以下のようになる。
すなわち、ステップS6のAF処理では、図25(a)に示す画像データに基づいてグルーピングが行われ、図25(b)に示すグルーピング結果が得られる。この場合、グルーピングエリアは、水平範囲で1〜7、垂直範囲で4〜8となっている。これに対し、ステップS23の顔検知範囲設定処理で設定される顔検知範囲は、複数の全ての顔(この例では、2人の顔)が含まれる範囲が設定され、図25(c)において斜線で示すように、水平範囲で3〜7、垂直範囲で4〜6の範囲が設定される。
したがって、ステップS7のステージ駆動処理では、実施例1と同様に、顔検知範囲の両端と画角端との差分L1,L2と聴取距離dとのatan(アークタンジェント)により角度θ1,θ2が算出され、駆動ステージ103が駆動される。
次に、実施例3の作動例について説明する。
まず、聴取空間SPの聴取空間環境が図16に示すように、椅子CH1に1人の聴取者MAが座っている状態であるときには、実施例2の説明と同様に、図18(c)に示す顔検知範囲が設定され、スピーカ101,101は、図20に示すように傾けられる。したがって、椅子CH1に座った1人の聴取者MAにとって最適なオーディオ出力条件設定を形成する。
まず、聴取空間SPの聴取空間環境が図16に示すように、椅子CH1に1人の聴取者MAが座っている状態であるときには、実施例2の説明と同様に、図18(c)に示す顔検知範囲が設定され、スピーカ101,101は、図20に示すように傾けられる。したがって、椅子CH1に座った1人の聴取者MAにとって最適なオーディオ出力条件設定を形成する。
この聴取空間環境から、図24に示すように、椅子CH1に2人の聴取者MAが座る環境変動が生じた場合、S5において画面変動有りと判定されて、AF処理(S6)、顔検知判定処理(S21)、顔検知数検索処理(S31)、顔検知範囲設定処理(S23)が実行される。
これらの処理により、図25(c)に示すように2人の顔が含まれる顔検知範囲が設定され、前述したようにステージ駆動処理では、顔検知範囲の水平方向端縁と画角端との差分L1,L2と、聴取距離dとのatan(アークタンジェント)により角度θ1,θ2が算出され、駆動ステージ103が駆動される。したがって、スピーカ101,101は、図20に示すように、中央に傾いた状態から図26に示すように、若干外側を向くように向きが変更され、これにより、2人の聴取者MAのいずれに対しても均等で最適な音場の形成が可能となる。
以上説明したように、実施例3にあっては、聴取空間SPに複数の聴取者MAが存在する場合には、顔検知された複数の聴取者MAの全てが含まれるような範囲に向けてオーディオ出力することによって、複数の聴取者MAの全てに対して最適な音場を提供することができる。
また、実施例2と同様に、顔検知できなかった場合でも、静止物体に対するAF処理結果に基づいてオーディオ出力条件設定を行って、聴取空間SPに適したオーディオ出力条件設定が可能である。
<実施例4>
実施例4の音響設定装置は、聴取者MAが眠った場合に、最適な音響設定を行うことを可能とした例である。
実施例4の音響設定装置は、聴取者MAが眠った場合に、最適な音響設定を行うことを可能とした例である。
図27、図28のフローチャートは、実施例4の処理の流れを示している。なお、実施例4では音響システム100における処理の流れの一部のみが、実施例3と相違しており、これら実施例3と同様の処理の部分は、実施例1〜3と同じステップ符号を付して説明を省略し、相違点についてのみ説明する。
実施例3と相違するのは、ステップS31の顔検知数検索処理と、ステップS23の顔検知範囲設定処理の間に、検知人数に応じて視線検知処理を行っている点である。
実施例3と相違するのは、ステップS31の顔検知数検索処理と、ステップS23の顔検知範囲設定処理の間に、検知人数に応じて視線検知処理を行っている点である。
すなわち、ステップS31の顔検知数検索処理にて人数が確定した後に進むステップS41では、検知人数が2人以上であるか否か判定し、検知人数が1人の場合はステップS23の顔検知範囲設定処理に進み、検知人数が2人以上の場合はステップS42に進む。
ステップS42では、顔検知された各顔画像に対して視線検知処理を行う。この視線検知処理は、聴取者MAが開眼している(起きている)か閉眼している(眠っている)かを確認する処理である。この場合、図29(a)に示す目画像テンプレートTPを用い、この目画像テンプレートTPを拡大縮小させながら顔画像とマッチングを行って画像データGを検索し目を検出、つまり開眼している状態かどうかを検出する。なお、図29(b)は目画像テンプレートTPのマッチング状態を示している。ここで、顔が検知された聴取者MAの顔画像において開眼が検出されない場合には、この顔は検知されていないものとして聴取者MAから除外する処理を行う。
したがって、複数の聴取者MAの全てが含まれる顔検知範囲を設定する際に、水平方向で端およびその隣の聴取者MAの開眼が検出されずに聴視者MAから除外された場合は、これらの聴取者MAは、複数の顔画像を含む顔検知範囲に含まれなくなる。
よって、本実施例4では、図24に示すように、聴取空間SPに2人の聴取者MA,MAが存在し、図示のように、2人の聴取者MA,MAとも開眼している場合は、実施例3と同様に、図25(c)において斜線で示す範囲のように、2人の聴取者MA,MAの顔が含まれる顔検知範囲が設定される。また、この場合、駆動ステージ103,103は、図26に示す角度θ1,θ2だけ回動し、両スピーカ101,101は、顔検知範囲の水平方向両端を向くように、中央方向に傾けられる。
一方、図30(a)の画像データに示すように、装置正面の右側の聴取者MAが閉眼している場合について説明する。この場合、AF処理によるグリーピングは、図25(b)に示す例と同様に、水平範囲で1〜7、垂直範囲で4〜8となり、また、ステップS31の顔検知数検索処理を実行した時点での顔検知範囲は、図25(c)に示す例と同様に、水平範囲で3〜7、垂直範囲で4〜6のエリアとなる。
さらに、ステップS42の視線検知処理を実行し、向かって右側の聴取者MAは、閉眼していることから顔検知範囲から除外するため、ステップS23においける顔検知範囲設定処理により設定される顔検知範囲は、図30(d)において斜線で示すように、向かって左側の聴取者MAの顔のみが含まれる水平範囲で3〜4、垂直範囲で4〜6のエリアとなる。
したがって、ステップS7のステージ駆動処理では、実施例1と同様に、図31に示すように、顔検知範囲の水平方向両端と画角端との差分L1,L2と聴取距離dとのatan(アークタンジェント)により角度θ1,θ2が算出される。これにより、駆動ステージ103が駆動され、装置左側のスピーカ101が大きく傾いた状態となる。
よって、実施例4では、聴取者MAが複数存在する場合、目が閉じているかどうかを確認し、目を開けて起きていると思われる聴取者MAのみに最適な音場を形成するオーディオ出力条件を設定することができる。
また、オーディオ出力条件の設定後に、顔が検知されていた聴取者MAが眠るなどして目を閉じた場合、その画像変動の検出で、顔検知範囲設定処理、視線検知処理が行われ、眠った聴取者MAは除外されて顔検知範囲が設定され、この設定に応じてオーディオ出力条件(角度θ1,θ2)の再設定が行われ、起きている聴取者MAにとって最適の音場が形成される。
また、実施例2と同様に、顔検知できなかった場合でも、静止物体に対するAF処理結果に基づいてオーディオ出力条件設定を行って、聴取空間SPに適したオーディオ出力条件設定が可能である。
以上、本発明の実施の形態について実施例を用いて説明したが、本発明はこうした実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
例えば、実施例では、各駆動ステージ103,103を水平方向に回動させているが、垂直方向にも回動させるようにしてもよい。
また、実施例では、AF処理において、ピーク値をスキャンするいわゆる山登りAFの採用例を示したが、距離結果がでるようなもの、例えば、レンズを2段構成にしてステレオ方式による視差画像を用いて距離を算出することができればより高速に聴取空間SPに存在する空間内存在物体との距離を捉えることが可能となる。
また、実施例では、2つのスピーカ101,101を用いた例を示したが、その数は、この限りでなく、5.1chなどの3以上のスピーカを用いてもよい。
また、実施例では、AF処理において、ピーク値をスキャンするいわゆる山登りAFの採用例を示したが、距離結果がでるようなもの、例えば、レンズを2段構成にしてステレオ方式による視差画像を用いて距離を算出することができればより高速に聴取空間SPに存在する空間内存在物体との距離を捉えることが可能となる。
また、実施例では、2つのスピーカ101,101を用いた例を示したが、その数は、この限りでなく、5.1chなどの3以上のスピーカを用いてもよい。
また、実施例では、静止物体として椅子CH1,CH2を示したが、静止物体としてはこれら椅子に限定されるものではない。
また、実施例では、オーディオ出力条件設定処理の実行開始時のオーディオ出力条件の設定も自動的に行うようにした例を示したが、少なくとも、空間内存在物体のスピーカに対する相対関係の変化時に、この変化に応じたオーディオ出力条件設定とするものであれば、最初の設定は、他の要因に基づいて自動設定したり、手動設定したりするものでもよい。
また、実施例では、オーディオ出力条件の設定として、スピーカを回動させるものを示したが、これに限定されるものではなく、聴取音に関するオーディオ出力条件の設定であれば、スピーカ位置、音声フィルタ処理、音圧や出力タイミングなどの聴取音に関する設定を行なうようにしてもよい。
また、実施例では、聴取空間環境検出手段における距離検出手段として、撮像手段のオートフォーカス機能を用いたものを適用したが、静止物体との距離を計測できるものであれば、音波や光の反射時間を用いて距離を計測するものなど他の手段を用いてもよい。
また、実施例では、静止物体を検出するのにあたり、画像データとして撮像され、AF処理により距離が計測された物体は全て、静止物体として処理したが、例えば、実施例において画像変動の有無を判定する手段を用いて、あらかじめ設定された画像データ間で変動が生じないものを静止物体とする処理を追加してもよい。
本発明は、オーディオ機器、ならびにオーディオ機器を搭載したテレビまたはプロジェクタなどに利用可能である。
30 音響出力部(オーディオ出力手段)
100 音響システム(オーディオ出力条件設定手段)
101 スピーカ
102 カメラユニット(聴取空間環境検出手段)
CH1 椅子(静止物体)
CH2 椅子(静止物体)
SP 聴取空間
100 音響システム(オーディオ出力条件設定手段)
101 スピーカ
102 カメラユニット(聴取空間環境検出手段)
CH1 椅子(静止物体)
CH2 椅子(静止物体)
SP 聴取空間
Claims (12)
- 複数のスピーカが設置された聴取空間に向けて、前記スピーカから出力される聴取者に聴取させるべき聴取音の、前記聴取空間に対する出力状態に関するオーディオ出力条件の設定を行なう音響設定装置であって、
前記複数のスピーカをオーディオ信号に基づき駆動させるオーディオ出力手段と、
前記聴取空間に存在する静止物体を検出する聴取空間環境検出手段と、
前記聴取空間環境検出手段が、前記静止物体の前記スピーカに対する相対関係が変化したことを検出したときに、前記変化に対応したオーディオ出力条件に設定するオーディオ出力条件設定手段とを備えていることを特徴とする音響設定装置。 - 前記聴取空間環境検出手段は、前記聴取空間の画像データを得る撮像手段を備え、時間的に前後する前記画像データの相違に基づいて前記相対関係の変化を検出することを特徴とする請求項1に記載の音響設定装置。
- 前記聴取空間環境検出手段は、前記聴取空間の画像データを得る撮像手段と、前記画像データから画像データ領域全体を細分化したエリアに分割し、それぞれのエリアにおける前記スピーカと前記静止物体との相対距離情報を取得する距離検出手段とを有することを特徴とする請求項1または請求項2に記載の音響設定装置。
- 前記距離検出手段は、前記撮像手段のオートフォーカス機構を用いて前記相対距離の検出を行なうことを特徴とする請求項3に記載の音響設定装置。
- 前記聴取空間環境検出手段は、前記画像データを用いて、前記聴取者の顔に関する特徴検出により前記聴取空間内に存在する前記聴取者の検出を行う聴取者検出手段を有し、
前記オーディオ出力条件設定手段は、前記聴取空間環境検出手段が前記静止物体と前記聴取者とのいずれかに前記スピーカに対する相対関係の変化を検出したときに、前記オーディオ出力条件設定を前記変化に対応した設定とすることを特徴とする請求項2〜請求項4のいずれか1項に記載の音響設定装置。 - 前記聴取者検出手段は、前記聴取者が複数検出された場合、前記聴取者の顔画像の開眼を検出し、非開眼の顔画像の聴取者は前記聴取者から除外することを特徴とする請求項5に記載の音響設定装置。
- 前記オーディオ出力条件設定手段は、前記聴取空間に対する前記スピーカの向きを変更する手段を備えていることを特徴とする請求項1〜請求項6のいずれか1項に記載の音響設定装置。
- 前記聴取空間環境検出手段は、前記聴取空間の画像データを得る撮像手段を備え、前記画像データを縦横に複数個のエリアに等分割して各エリア内の合焦位置を検出し、合焦位置が一致するエリアをグループ化し、このグループ化されたエリアの水平方向両端の座標位置を特定し、この水平方向座標位置と前記静止物体までの距離に基づいて前記スピーカの向きを設定することを特徴とする請求項7に記載の音響設定装置。
- 複数のスピーカが設置された聴取空間に向けて、前記スピーカから出力される聴取者に聴取させるべき聴取音の、前記聴取空間に対する出力状態に関するオーディオ出力条件の設定を行なう音響設定方法であって、
前記複数のスピーカをオーディオ信号に基づき駆動させるオーディオ出力工程と、
前記聴取空間に存在する静止物体を検出する聴取空間環境検出工程と、
前記聴取空間環境検出工程で、前記静止物体の前記スピーカに対する相対関係が変化したことを検出したときに、前記変化に対応したオーディオ出力条件に設定するオーディオ出力条件設定工程とを備えていることを特徴とする音響設定方法。 - 前記聴取空間環境検出工程は、前記聴取空間の画像データを得る撮像工程と、前記画像データから画像データ領域全体を細分化したエリアに分割し、それぞれのエリアにおける前記スピーカと前記静止物体との相対距離情報を取得する距離検出工程とを有することを特徴とする請求項9に記載の音響設定方法。
- 前記聴取空間環境検出工程は、前記画像データを用いて、前記聴取者の顔に関する特徴検出により前記聴取空間内に存在する前記聴取者の検出を行う聴取者検出工程を有し、
前記オーディオ出力条件設定工程は、前記静止物体と前記聴取者とのいずれかに前記スピーカに対する相対関係が変化したことを検出したときに、前記変化に対応したオーディオ出力条件設定とすることを特徴とする請求項10に記載の音響設定方法。 - 前記聴取者検出工程は、前記聴取者が複数検出された場合、前記聴取者の顔画像の開眼を検出し、非開眼の顔画像の聴取者は前記聴取者から除外することを特徴とする請求項11に記載の音響設定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010026308A JP2011166407A (ja) | 2010-02-09 | 2010-02-09 | 音響設定装置および音響設定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010026308A JP2011166407A (ja) | 2010-02-09 | 2010-02-09 | 音響設定装置および音響設定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011166407A true JP2011166407A (ja) | 2011-08-25 |
Family
ID=44596579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010026308A Pending JP2011166407A (ja) | 2010-02-09 | 2010-02-09 | 音響設定装置および音響設定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011166407A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8928799B2 (en) | 2011-10-13 | 2015-01-06 | Ricoh Company, Ltd. | Imaging device and imaging method to perform autofocus operation to a subject |
-
2010
- 2010-02-09 JP JP2010026308A patent/JP2011166407A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8928799B2 (en) | 2011-10-13 | 2015-01-06 | Ricoh Company, Ltd. | Imaging device and imaging method to perform autofocus operation to a subject |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5870264B2 (ja) | 撮像装置、撮像方法、プログラム、および集積回路 | |
US9747492B2 (en) | Image processing apparatus, method of processing image, and computer-readable storage medium | |
JP4824586B2 (ja) | 撮像装置 | |
JP6184189B2 (ja) | 被写体検出装置およびその制御方法、撮像装置、被写体検出装置の制御プログラムおよび記憶媒体 | |
JP6739064B1 (ja) | 撮像装置 | |
JP2010278725A (ja) | 画像音響処理装置及び撮像装置 | |
KR101710626B1 (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
US9774841B2 (en) | Stereoscopic image capture device and control method of the same | |
JP2012002951A (ja) | 撮像装置、合焦位置検出方法および合焦位置検出プログラム | |
JP2008233470A (ja) | 絞り制御装置及び画像処理装置 | |
US20130335619A1 (en) | Imaging device and imaging method | |
JP6610725B2 (ja) | 音処理装置および音処理プログラム | |
JP2014102293A (ja) | 自動焦点検出装置およびその制御方法 | |
KR20140116014A (ko) | 화상 취득 장치, 화상 취득 방법 및 기록매체 | |
JP2014122978A (ja) | 撮像装置、音声認識方法、及びプログラム | |
JP2011166407A (ja) | 音響設定装置および音響設定方法 | |
JP2011008579A (ja) | 画像処理装置、撮像装置及び再生装置 | |
JP2010283706A (ja) | ビデオカメラ | |
KR20150000911A (ko) | 투사면과 영상의 자동 맵핑 장치 및 방법 | |
JP2014120139A (ja) | 画像処理装置およびその制御方法、撮像装置、および表示装置 | |
JP2022003753A (ja) | 撮像装置 | |
JP2010130403A (ja) | 映像制御装置およびそれを備えた撮像装置、表示装置 | |
JP2009021929A (ja) | 撮像装置及び撮像方法 | |
JP2014179937A (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP6793369B1 (ja) | 撮像装置 |